2 63581804 2018-07-09 stsp * Copyright (c) 2018 Stefan Sperling <stsp@openbsd.org>
4 63581804 2018-07-09 stsp * Permission to use, copy, modify, and distribute this software for any
5 63581804 2018-07-09 stsp * purpose with or without fee is hereby granted, provided that the above
6 63581804 2018-07-09 stsp * copyright notice and this permission notice appear in all copies.
8 63581804 2018-07-09 stsp * THE SOFTWARE IS PROVIDED "AS IS" AND THE AUTHOR DISCLAIMS ALL WARRANTIES
9 63581804 2018-07-09 stsp * WITH REGARD TO THIS SOFTWARE INCLUDING ALL IMPLIED WARRANTIES OF
10 63581804 2018-07-09 stsp * MERCHANTABILITY AND FITNESS. IN NO EVENT SHALL THE AUTHOR BE LIABLE FOR
11 63581804 2018-07-09 stsp * ANY SPECIAL, DIRECT, INDIRECT, OR CONSEQUENTIAL DAMAGES OR ANY DAMAGES
12 63581804 2018-07-09 stsp * WHATSOEVER RESULTING FROM LOSS OF USE, DATA OR PROFITS, WHETHER IN AN
13 63581804 2018-07-09 stsp * ACTION OF CONTRACT, NEGLIGENCE OR OTHER TORTIOUS ACTION, ARISING OUT OF
14 63581804 2018-07-09 stsp * OR IN CONNECTION WITH THE USE OR PERFORMANCE OF THIS SOFTWARE.
17 63581804 2018-07-09 stsp #include <sys/queue.h>
19 63581804 2018-07-09 stsp #include <stdio.h>
20 63581804 2018-07-09 stsp #include <stdlib.h>
21 63581804 2018-07-09 stsp #include <string.h>
22 63581804 2018-07-09 stsp #include <sha1.h>
23 63581804 2018-07-09 stsp #include <zlib.h>
24 63581804 2018-07-09 stsp #include <time.h>
26 63581804 2018-07-09 stsp #include "got_error.h"
27 63581804 2018-07-09 stsp #include "got_object.h"
29 63581804 2018-07-09 stsp #include "got_lib_path.h"
30 63581804 2018-07-09 stsp #include "got_lib_inflate.h"
33 63581804 2018-07-09 stsp #define MIN(_a,_b) ((_a) < (_b) ? (_a) : (_b))
36 63581804 2018-07-09 stsp const struct got_error *
37 63581804 2018-07-09 stsp got_inflate_init(struct got_zstream_buf *zb, uint8_t *outbuf, size_t bufsize)
39 63581804 2018-07-09 stsp const struct got_error *err = NULL;
41 63581804 2018-07-09 stsp memset(&zb->z, 0, sizeof(zb->z));
43 63581804 2018-07-09 stsp zb->z.zalloc = Z_NULL;
44 63581804 2018-07-09 stsp zb->z.zfree = Z_NULL;
45 63581804 2018-07-09 stsp if (inflateInit(&zb->z) != Z_OK) {
46 63581804 2018-07-09 stsp err = got_error(GOT_ERR_IO);
50 63581804 2018-07-09 stsp zb->inlen = zb->outlen = bufsize;
52 63581804 2018-07-09 stsp zb->inbuf = calloc(1, zb->inlen);
53 63581804 2018-07-09 stsp if (zb->inbuf == NULL) {
54 63581804 2018-07-09 stsp err = got_error_from_errno();
58 63581804 2018-07-09 stsp zb->flags = 0;
59 63581804 2018-07-09 stsp if (outbuf == NULL) {
60 63581804 2018-07-09 stsp zb->outbuf = calloc(1, zb->outlen);
61 63581804 2018-07-09 stsp if (zb->outbuf == NULL) {
62 63581804 2018-07-09 stsp err = got_error_from_errno();
65 63581804 2018-07-09 stsp zb->flags |= GOT_ZSTREAM_F_OWN_OUTBUF;
67 63581804 2018-07-09 stsp zb->outbuf = outbuf;
71 63581804 2018-07-09 stsp got_inflate_end(zb);
75 63581804 2018-07-09 stsp const struct got_error *
76 63581804 2018-07-09 stsp got_inflate_read(struct got_zstream_buf *zb, FILE *f, size_t *outlenp)
78 63581804 2018-07-09 stsp size_t last_total_out = zb->z.total_out;
79 63581804 2018-07-09 stsp z_stream *z = &zb->z;
80 63581804 2018-07-09 stsp int ret = Z_ERRNO;
82 63581804 2018-07-09 stsp z->next_out = zb->outbuf;
83 63581804 2018-07-09 stsp z->avail_out = zb->outlen;
85 63581804 2018-07-09 stsp *outlenp = 0;
87 63581804 2018-07-09 stsp if (z->avail_in == 0) {
88 63581804 2018-07-09 stsp size_t n = fread(zb->inbuf, 1, zb->inlen, f);
89 63581804 2018-07-09 stsp if (n == 0) {
90 63581804 2018-07-09 stsp if (ferror(f))
91 63581804 2018-07-09 stsp return got_ferror(f, GOT_ERR_IO);
93 63581804 2018-07-09 stsp ret = Z_STREAM_END;
96 63581804 2018-07-09 stsp z->next_in = zb->inbuf;
97 63581804 2018-07-09 stsp z->avail_in = n;
99 63581804 2018-07-09 stsp ret = inflate(z, Z_SYNC_FLUSH);
100 63581804 2018-07-09 stsp } while (ret == Z_OK && z->avail_out > 0);
102 63581804 2018-07-09 stsp if (ret == Z_OK) {
103 63581804 2018-07-09 stsp zb->flags |= GOT_ZSTREAM_F_HAVE_MORE;
105 63581804 2018-07-09 stsp if (ret != Z_STREAM_END)
106 63581804 2018-07-09 stsp return got_error(GOT_ERR_DECOMPRESSION);
107 63581804 2018-07-09 stsp zb->flags &= ~GOT_ZSTREAM_F_HAVE_MORE;
110 63581804 2018-07-09 stsp *outlenp = z->total_out - last_total_out;
111 63581804 2018-07-09 stsp return NULL;
114 63581804 2018-07-09 stsp const struct got_error *
115 63581804 2018-07-09 stsp got_inflate_read_fd(struct got_zstream_buf *zb, int fd, size_t *outlenp)
117 63581804 2018-07-09 stsp size_t last_total_out = zb->z.total_out;
118 63581804 2018-07-09 stsp z_stream *z = &zb->z;
119 63581804 2018-07-09 stsp int ret = Z_ERRNO;
121 63581804 2018-07-09 stsp z->next_out = zb->outbuf;
122 63581804 2018-07-09 stsp z->avail_out = zb->outlen;
124 63581804 2018-07-09 stsp *outlenp = 0;
126 63581804 2018-07-09 stsp if (z->avail_in == 0) {
127 63581804 2018-07-09 stsp ssize_t n = read(fd, zb->inbuf, zb->inlen);
129 63581804 2018-07-09 stsp return got_error_from_errno();
130 63581804 2018-07-09 stsp else if (n == 0) {
132 63581804 2018-07-09 stsp ret = Z_STREAM_END;
135 63581804 2018-07-09 stsp z->next_in = zb->inbuf;
136 63581804 2018-07-09 stsp z->avail_in = n;
138 63581804 2018-07-09 stsp ret = inflate(z, Z_SYNC_FLUSH);
139 63581804 2018-07-09 stsp } while (ret == Z_OK && z->avail_out > 0);
141 63581804 2018-07-09 stsp if (ret == Z_OK) {
142 63581804 2018-07-09 stsp zb->flags |= GOT_ZSTREAM_F_HAVE_MORE;
144 63581804 2018-07-09 stsp if (ret != Z_STREAM_END)
145 63581804 2018-07-09 stsp return got_error(GOT_ERR_DECOMPRESSION);
146 63581804 2018-07-09 stsp zb->flags &= ~GOT_ZSTREAM_F_HAVE_MORE;
149 63581804 2018-07-09 stsp *outlenp = z->total_out - last_total_out;
150 63581804 2018-07-09 stsp return NULL;
153 63581804 2018-07-09 stsp const struct got_error *
154 63581804 2018-07-09 stsp got_inflate_read_mmap(struct got_zstream_buf *zb, uint8_t *map, size_t offset,
155 63581804 2018-07-09 stsp size_t len, size_t *outlenp, size_t *consumed)
157 63581804 2018-07-09 stsp size_t last_total_out = zb->z.total_out;
158 63581804 2018-07-09 stsp z_stream *z = &zb->z;
159 63581804 2018-07-09 stsp int ret = Z_ERRNO;
161 63581804 2018-07-09 stsp z->next_out = zb->outbuf;
162 63581804 2018-07-09 stsp z->avail_out = zb->outlen;
164 63581804 2018-07-09 stsp *outlenp = 0;
165 63581804 2018-07-09 stsp *consumed = 0;
168 63581804 2018-07-09 stsp if (z->avail_in == 0) {
169 63581804 2018-07-09 stsp if (len == 0) {
171 63581804 2018-07-09 stsp ret = Z_STREAM_END;
174 63581804 2018-07-09 stsp z->next_in = map + offset;
175 63581804 2018-07-09 stsp z->avail_in = MIN(zb->inlen, len);
176 63581804 2018-07-09 stsp *consumed += z->avail_in;
177 63581804 2018-07-09 stsp offset += z->avail_in;
178 63581804 2018-07-09 stsp len -= z->avail_in;
180 63581804 2018-07-09 stsp ret = inflate(z, Z_SYNC_FLUSH);
181 63581804 2018-07-09 stsp } while (ret == Z_OK && z->avail_out > 0);
183 63581804 2018-07-09 stsp if (ret == Z_OK) {
184 63581804 2018-07-09 stsp zb->flags |= GOT_ZSTREAM_F_HAVE_MORE;
186 63581804 2018-07-09 stsp if (ret != Z_STREAM_END)
187 63581804 2018-07-09 stsp return got_error(GOT_ERR_DECOMPRESSION);
188 63581804 2018-07-09 stsp zb->flags &= ~GOT_ZSTREAM_F_HAVE_MORE;
191 63581804 2018-07-09 stsp *outlenp = z->total_out - last_total_out;
192 63581804 2018-07-09 stsp return NULL;
196 63581804 2018-07-09 stsp got_inflate_end(struct got_zstream_buf *zb)
198 63581804 2018-07-09 stsp free(zb->inbuf);
199 63581804 2018-07-09 stsp if (zb->flags & GOT_ZSTREAM_F_OWN_OUTBUF)
200 63581804 2018-07-09 stsp free(zb->outbuf);
201 63581804 2018-07-09 stsp inflateEnd(&zb->z);
204 63581804 2018-07-09 stsp const struct got_error *
205 63581804 2018-07-09 stsp got_inflate_to_mem(uint8_t **outbuf, size_t *outlen, FILE *f)
207 63581804 2018-07-09 stsp const struct got_error *err;
208 63581804 2018-07-09 stsp size_t avail;
209 63581804 2018-07-09 stsp struct got_zstream_buf zb;
210 63581804 2018-07-09 stsp void *newbuf;
212 63581804 2018-07-09 stsp *outbuf = calloc(1, GOT_ZSTREAM_BUFSIZE);
213 63581804 2018-07-09 stsp if (*outbuf == NULL)
214 63581804 2018-07-09 stsp return got_error_from_errno();
215 63581804 2018-07-09 stsp err = got_inflate_init(&zb, *outbuf, GOT_ZSTREAM_BUFSIZE);
217 63581804 2018-07-09 stsp return err;
219 63581804 2018-07-09 stsp *outlen = 0;
222 63581804 2018-07-09 stsp err = got_inflate_read(&zb, f, &avail);
224 63581804 2018-07-09 stsp return err;
225 63581804 2018-07-09 stsp *outlen += avail;
226 63581804 2018-07-09 stsp if (zb.flags & GOT_ZSTREAM_F_HAVE_MORE) {
227 63581804 2018-07-09 stsp newbuf = reallocarray(*outbuf, 1,
228 63581804 2018-07-09 stsp *outlen + GOT_ZSTREAM_BUFSIZE);
229 63581804 2018-07-09 stsp if (newbuf == NULL) {
230 63581804 2018-07-09 stsp err = got_error_from_errno();
231 63581804 2018-07-09 stsp free(*outbuf);
232 63581804 2018-07-09 stsp *outbuf = NULL;
233 63581804 2018-07-09 stsp *outlen = 0;
236 63581804 2018-07-09 stsp *outbuf = newbuf;
237 63581804 2018-07-09 stsp zb.outbuf = newbuf + *outlen;
238 63581804 2018-07-09 stsp zb.outlen = GOT_ZSTREAM_BUFSIZE;
240 63581804 2018-07-09 stsp } while (zb.flags & GOT_ZSTREAM_F_HAVE_MORE);
243 63581804 2018-07-09 stsp got_inflate_end(&zb);
244 63581804 2018-07-09 stsp return err;
247 63581804 2018-07-09 stsp const struct got_error *
248 63581804 2018-07-09 stsp got_inflate_to_mem_fd(uint8_t **outbuf, size_t *outlen, int infd)
250 63581804 2018-07-09 stsp const struct got_error *err;
251 63581804 2018-07-09 stsp size_t avail;
252 63581804 2018-07-09 stsp struct got_zstream_buf zb;
253 63581804 2018-07-09 stsp void *newbuf;
255 63581804 2018-07-09 stsp *outbuf = calloc(1, GOT_ZSTREAM_BUFSIZE);
256 63581804 2018-07-09 stsp if (*outbuf == NULL)
257 63581804 2018-07-09 stsp return got_error_from_errno();
258 63581804 2018-07-09 stsp err = got_inflate_init(&zb, *outbuf, GOT_ZSTREAM_BUFSIZE);
260 63581804 2018-07-09 stsp return err;
262 63581804 2018-07-09 stsp *outlen = 0;
265 63581804 2018-07-09 stsp err = got_inflate_read_fd(&zb, infd, &avail);
267 63581804 2018-07-09 stsp return err;
268 63581804 2018-07-09 stsp *outlen += avail;
269 63581804 2018-07-09 stsp if (zb.flags & GOT_ZSTREAM_F_HAVE_MORE) {
270 63581804 2018-07-09 stsp newbuf = reallocarray(*outbuf, 1,
271 63581804 2018-07-09 stsp *outlen + GOT_ZSTREAM_BUFSIZE);
272 63581804 2018-07-09 stsp if (newbuf == NULL) {
273 63581804 2018-07-09 stsp err = got_error_from_errno();
274 63581804 2018-07-09 stsp free(*outbuf);
275 63581804 2018-07-09 stsp *outbuf = NULL;
276 63581804 2018-07-09 stsp *outlen = 0;
279 63581804 2018-07-09 stsp *outbuf = newbuf;
280 63581804 2018-07-09 stsp zb.outbuf = newbuf + *outlen;
281 63581804 2018-07-09 stsp zb.outlen = GOT_ZSTREAM_BUFSIZE;
283 63581804 2018-07-09 stsp } while (zb.flags & GOT_ZSTREAM_F_HAVE_MORE);
286 63581804 2018-07-09 stsp got_inflate_end(&zb);
287 63581804 2018-07-09 stsp return err;
290 63581804 2018-07-09 stsp const struct got_error *
291 63581804 2018-07-09 stsp got_inflate_to_mem_mmap(uint8_t **outbuf, size_t *outlen, uint8_t *map,
292 63581804 2018-07-09 stsp size_t offset, size_t len)
294 63581804 2018-07-09 stsp const struct got_error *err;
295 63581804 2018-07-09 stsp size_t avail;
296 63581804 2018-07-09 stsp struct got_zstream_buf zb;
297 63581804 2018-07-09 stsp void *newbuf;
298 63581804 2018-07-09 stsp size_t consumed;
300 63581804 2018-07-09 stsp *outbuf = calloc(1, GOT_ZSTREAM_BUFSIZE);
301 63581804 2018-07-09 stsp if (*outbuf == NULL)
302 63581804 2018-07-09 stsp return got_error_from_errno();
303 63581804 2018-07-09 stsp err = got_inflate_init(&zb, *outbuf, GOT_ZSTREAM_BUFSIZE);
305 60507209 2018-07-13 stsp free(*outbuf);
306 60507209 2018-07-13 stsp *outbuf = NULL;
307 63581804 2018-07-09 stsp return err;
310 63581804 2018-07-09 stsp *outlen = 0;
313 63581804 2018-07-09 stsp err = got_inflate_read_mmap(&zb, map, offset, len, &avail,
314 63581804 2018-07-09 stsp &consumed);
317 63581804 2018-07-09 stsp offset += consumed;
318 63581804 2018-07-09 stsp len -= consumed;
319 63581804 2018-07-09 stsp *outlen += avail;
320 63581804 2018-07-09 stsp if (len == 0)
322 63581804 2018-07-09 stsp if (zb.flags & GOT_ZSTREAM_F_HAVE_MORE) {
323 63581804 2018-07-09 stsp newbuf = reallocarray(*outbuf, 1,
324 63581804 2018-07-09 stsp *outlen + GOT_ZSTREAM_BUFSIZE);
325 63581804 2018-07-09 stsp if (newbuf == NULL) {
326 63581804 2018-07-09 stsp err = got_error_from_errno();
327 63581804 2018-07-09 stsp free(*outbuf);
328 63581804 2018-07-09 stsp *outbuf = NULL;
329 63581804 2018-07-09 stsp *outlen = 0;
332 63581804 2018-07-09 stsp *outbuf = newbuf;
333 63581804 2018-07-09 stsp zb.outbuf = newbuf + *outlen;
334 63581804 2018-07-09 stsp zb.outlen = GOT_ZSTREAM_BUFSIZE;
336 63581804 2018-07-09 stsp } while (zb.flags & GOT_ZSTREAM_F_HAVE_MORE);
339 63581804 2018-07-09 stsp got_inflate_end(&zb);
340 63581804 2018-07-09 stsp return err;
343 63581804 2018-07-09 stsp const struct got_error *
344 63581804 2018-07-09 stsp got_inflate_to_fd(size_t *outlen, FILE *infile, int outfd)
346 63581804 2018-07-09 stsp const struct got_error *err = NULL;
347 63581804 2018-07-09 stsp size_t avail;
348 63581804 2018-07-09 stsp struct got_zstream_buf zb;
350 63581804 2018-07-09 stsp err = got_inflate_init(&zb, NULL, GOT_ZSTREAM_BUFSIZE);
354 63581804 2018-07-09 stsp *outlen = 0;
357 63581804 2018-07-09 stsp err = got_inflate_read(&zb, infile, &avail);
359 63581804 2018-07-09 stsp return err;
360 63581804 2018-07-09 stsp if (avail > 0) {
362 63581804 2018-07-09 stsp n = write(outfd, zb.outbuf, avail);
363 63581804 2018-07-09 stsp if (n != avail) {
364 63581804 2018-07-09 stsp err = got_error_from_errno();
367 63581804 2018-07-09 stsp *outlen += avail;
369 63581804 2018-07-09 stsp } while (zb.flags & GOT_ZSTREAM_F_HAVE_MORE);
372 63581804 2018-07-09 stsp if (err == NULL) {
373 63581804 2018-07-09 stsp if (lseek(outfd, SEEK_SET, 0) == -1)
374 63581804 2018-07-09 stsp err = got_error_from_errno();
376 63581804 2018-07-09 stsp got_inflate_end(&zb);
377 63581804 2018-07-09 stsp return err;
380 63581804 2018-07-09 stsp const struct got_error *
381 63581804 2018-07-09 stsp got_inflate_to_file(size_t *outlen, FILE *infile, FILE *outfile)
383 63581804 2018-07-09 stsp const struct got_error *err;
384 63581804 2018-07-09 stsp size_t avail;
385 63581804 2018-07-09 stsp struct got_zstream_buf zb;
387 63581804 2018-07-09 stsp err = got_inflate_init(&zb, NULL, GOT_ZSTREAM_BUFSIZE);
391 63581804 2018-07-09 stsp *outlen = 0;
394 63581804 2018-07-09 stsp err = got_inflate_read(&zb, infile, &avail);
396 63581804 2018-07-09 stsp return err;
397 63581804 2018-07-09 stsp if (avail > 0) {
399 63581804 2018-07-09 stsp n = fwrite(zb.outbuf, avail, 1, outfile);
400 63581804 2018-07-09 stsp if (n != 1) {
401 63581804 2018-07-09 stsp err = got_ferror(outfile, GOT_ERR_IO);
404 63581804 2018-07-09 stsp *outlen += avail;
406 63581804 2018-07-09 stsp } while (zb.flags & GOT_ZSTREAM_F_HAVE_MORE);
409 63581804 2018-07-09 stsp if (err == NULL)
410 63581804 2018-07-09 stsp rewind(outfile);
411 63581804 2018-07-09 stsp got_inflate_end(&zb);
412 63581804 2018-07-09 stsp return err;
415 63581804 2018-07-09 stsp const struct got_error *
416 63581804 2018-07-09 stsp got_inflate_to_file_fd(size_t *outlen, int infd, FILE *outfile)
418 63581804 2018-07-09 stsp const struct got_error *err;
419 63581804 2018-07-09 stsp size_t avail;
420 63581804 2018-07-09 stsp struct got_zstream_buf zb;
422 63581804 2018-07-09 stsp err = got_inflate_init(&zb, NULL, GOT_ZSTREAM_BUFSIZE);
426 63581804 2018-07-09 stsp *outlen = 0;
429 63581804 2018-07-09 stsp err = got_inflate_read_fd(&zb, infd, &avail);
431 63581804 2018-07-09 stsp return err;
432 63581804 2018-07-09 stsp if (avail > 0) {
434 63581804 2018-07-09 stsp n = fwrite(zb.outbuf, avail, 1, outfile);
435 63581804 2018-07-09 stsp if (n != 1) {
436 63581804 2018-07-09 stsp err = got_ferror(outfile, GOT_ERR_IO);
439 63581804 2018-07-09 stsp *outlen += avail;
441 63581804 2018-07-09 stsp } while (zb.flags & GOT_ZSTREAM_F_HAVE_MORE);
444 63581804 2018-07-09 stsp if (err == NULL)
445 63581804 2018-07-09 stsp rewind(outfile);
446 63581804 2018-07-09 stsp got_inflate_end(&zb);
447 63581804 2018-07-09 stsp return err;
450 63581804 2018-07-09 stsp const struct got_error *
451 63581804 2018-07-09 stsp got_inflate_to_file_mmap(size_t *outlen, uint8_t *map, size_t offset,
452 63581804 2018-07-09 stsp size_t len, FILE *outfile)
454 63581804 2018-07-09 stsp const struct got_error *err;
455 63581804 2018-07-09 stsp size_t avail;
456 63581804 2018-07-09 stsp struct got_zstream_buf zb;
457 63581804 2018-07-09 stsp size_t consumed;
459 63581804 2018-07-09 stsp err = got_inflate_init(&zb, NULL, GOT_ZSTREAM_BUFSIZE);
463 63581804 2018-07-09 stsp *outlen = 0;
466 63581804 2018-07-09 stsp err = got_inflate_read_mmap(&zb, map, offset, len, &avail,
467 63581804 2018-07-09 stsp &consumed);
469 63581804 2018-07-09 stsp return err;
470 63581804 2018-07-09 stsp offset += consumed;
471 63581804 2018-07-09 stsp len -= consumed;
472 63581804 2018-07-09 stsp if (avail > 0) {
474 63581804 2018-07-09 stsp n = fwrite(zb.outbuf, avail, 1, outfile);
475 63581804 2018-07-09 stsp if (n != 1) {
476 63581804 2018-07-09 stsp err = got_ferror(outfile, GOT_ERR_IO);
479 63581804 2018-07-09 stsp *outlen += avail;
481 63581804 2018-07-09 stsp } while (zb.flags & GOT_ZSTREAM_F_HAVE_MORE);
484 63581804 2018-07-09 stsp if (err == NULL)
485 63581804 2018-07-09 stsp rewind(outfile);
486 63581804 2018-07-09 stsp got_inflate_end(&zb);
487 63581804 2018-07-09 stsp return err;