Как я могу распаковать поток gzip с помощью zlib?

Question

Файлы формата Gzip (созданные с помощью gzip программе, например) использовать алгоритм сжатия «deflate», который является тем же алгоритмом сжатия, что и zlib использует.Однако при использовании zlib для раздувания файла, сжатого gzip, библиотека возвращает Z_DATA_ERROR.

Как я могу использовать zlib для распаковки файла gzip?

Answer 1

Чтобы распаковать файл формата gzip с помощью zlib, вызовите inflateInit2 с windowBits параметр как 16+MAX_WBITS, так:

inflateInit2(&stream, 16+MAX_WBITS);

Если вы этого не сделаете, zlib будет жаловаться на неправильный формат потока.По умолчанию zlib создает потоки с заголовком zlib, а при инфляции не распознает другой заголовок gzip, если вы этого не укажете.Хотя это документировано начиная с версии 1.2.1 zlib.h заголовочный файл, его нет в руководство по zlib.Из заголовочного файла:

windowBits также может быть больше 15 для дополнительного декодирования gzip.Добавлять 32 до windowBits Включение декодирования zlib и gzip с автоматическим заголовком detection, или добавить 16 для декодирования только формата gzip (формат zlib Возвращаем Z_DATA_ERROR).Если декодируется поток gzip, strm->adler есть CRC32 вместо Adler32.

Answer 2

питон

zlib поддержка библиотеки:

• РФК 1950 (zlib сжатый формат)
• РФК 1951 (deflate сжатый формат)
• РФК 1952 г. (gzip сжатый формат)

Питон zlib модуль также будет поддерживать их.

выбор оконных битов

Но zlib может распаковать все эти форматы:

• (де-)сжать deflate форматировать, использовать wbits = -zlib.MAX_WBITS
• (де-)сжать zlib форматировать, использовать wbits = zlib.MAX_WBITS
• (де-)сжать gzip форматировать, использовать wbits = zlib.MAX_WBITS | 16

См. документацию в http://www.zlib.net/manual.html#Advanced (раздел inflateInit2)

Примеры

данные испытаний:

>>> deflate_compress = zlib.compressobj(9, zlib.DEFLATED, -zlib.MAX_WBITS)
>>> zlib_compress = zlib.compressobj(9, zlib.DEFLATED, zlib.MAX_WBITS)
>>> gzip_compress = zlib.compressobj(9, zlib.DEFLATED, zlib.MAX_WBITS | 16)
>>> 
>>> text = '''test'''
>>> deflate_data = deflate_compress.compress(text) + deflate_compress.flush()
>>> zlib_data = zlib_compress.compress(text) + zlib_compress.flush()
>>> gzip_data = gzip_compress.compress(text) + gzip_compress.flush()
>>> 

очевидный тест на zlib:

>>> zlib.decompress(zlib_data)
'test'

тест на deflate:

>>> zlib.decompress(deflate_data)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
zlib.error: Error -3 while decompressing data: incorrect header check
>>> zlib.decompress(deflate_data, -zlib.MAX_WBITS)
'test'

тест на gzip:

>>> zlib.decompress(gzip_data)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
zlib.error: Error -3 while decompressing data: incorrect header check
>>> zlib.decompress(gzip_data, zlib.MAX_WBITS|16)
'test'

данные также совместимы с gzip модуль:

>>> import gzip
>>> import StringIO
>>> fio = StringIO.StringIO(gzip_data)
>>> f = gzip.GzipFile(fileobj=fio)
>>> f.read()
'test'
>>> f.close()

автоматическое определение заголовка (zlib или gzip)

добавление 32 к windowBits вызовет обнаружение заголовка

>>> zlib.decompress(gzip_data, zlib.MAX_WBITS|32)
'test'
>>> zlib.decompress(zlib_data, zlib.MAX_WBITS|32)
'test'

с использованием gzip вместо

Для gzip данные с заголовком gzip, которые вы можете использовать gzip модуль напрямую;но пожалуйста, помните, что под капотом, gzip использует zlib.

fh = gzip.open('abc.gz', 'rb')
cdata = fh.read()
fh.close()

Answer 3

Структура zlib и gzip различается.zlib использует РФК 1950 и gzip использует РФК 1952 г., так что имеют разные заголовки, но остальные имеют одинаковую структуру и следуют за РФК 1951.

Answer 4

Node.js

const { gunzip } = require('zlib');

const decompressGzip = compressedData =>
  new Promise((resolve, reject) => {
    gunzip(compressedData, (error, decompressedData) => {
      if (error) return reject(error);
      return resolve(decompressedData);
    });
  });

module.exports = { decompressGzip };

Вы устанавливаете zlib используя пряжу

yarn add zlib