Обслуживание динамически генерируемых ZIP-архивов в Django

StackOverflow https://stackoverflow.com/questions/67454

  •  09-06-2019
  •  | 
  •  

Вопрос

Как предоставить пользователям динамически создаваемый ZIP-архив в Django?

Я делаю сайт, на котором пользователи могут выбирать любую комбинацию доступных книг и скачивать их в виде ZIP-архива.Я беспокоюсь, что создание таких архивов для каждого запроса замедлит работу моего сервера.Я также слышал, что в настоящее время у Django нет хорошего решения для обслуживания динамически генерируемых файлов.

Это было полезно?

Решение

Решение заключается в следующем.

Используйте модуль Python zip-файл создать zip архив, а в качестве файла указать СтрокаIO объект (конструктору ZipFile требуется файловый объект).Добавьте файлы, которые хотите сжать.Затем в вашем приложении Django верните содержимое объекта StringIO в HttpResponse с установленным mimetype application/x-zip-compressed (или по крайней мере application/octet-stream).Если хотите, можете установить content-disposition заголовок, но на самом деле это не обязательно.

Но будьте осторожны: создавать zip-архивы при каждом запросе — плохая идея, и это может убить ваш сервер (не считая таймаутов, если архивы большие).Подход с точки зрения производительности заключается в том, чтобы кэшировать сгенерированные выходные данные где-нибудь в файловой системе и восстанавливать их только в том случае, если исходные файлы были изменены.Еще лучшая идея — заранее подготовить архивы (например.по заданию cron) и ваш веб-сервер будет обслуживать их как обычную статику.

Другие советы

Вот представление Django, позволяющее сделать это:

import os
import zipfile
import StringIO

from django.http import HttpResponse


def getfiles(request):
    # Files (local path) to put in the .zip
    # FIXME: Change this (get paths from DB etc)
    filenames = ["/tmp/file1.txt", "/tmp/file2.txt"]

    # Folder name in ZIP archive which contains the above files
    # E.g [thearchive.zip]/somefiles/file2.txt
    # FIXME: Set this to something better
    zip_subdir = "somefiles"
    zip_filename = "%s.zip" % zip_subdir

    # Open StringIO to grab in-memory ZIP contents
    s = StringIO.StringIO()

    # The zip compressor
    zf = zipfile.ZipFile(s, "w")

    for fpath in filenames:
        # Calculate path for file in zip
        fdir, fname = os.path.split(fpath)
        zip_path = os.path.join(zip_subdir, fname)

        # Add file, at correct path
        zf.write(fpath, zip_path)

    # Must close zip for all contents to be written
    zf.close()

    # Grab ZIP file from in-memory, make response with correct MIME-type
    resp = HttpResponse(s.getvalue(), mimetype = "application/x-zip-compressed")
    # ..and correct content-disposition
    resp['Content-Disposition'] = 'attachment; filename=%s' % zip_filename

    return resp

Многие ответы здесь предлагают использовать StringIO или BytesIO буфер.Однако в этом нет необходимости, так как HttpResponse уже является файлоподобным объектом:

response = HttpResponse(content_type='application/zip')
zip_file = zipfile.ZipFile(response, 'w')
for filename in filenames:
    zip_file.write(filename)
response['Content-Disposition'] = 'attachment; filename={}'.format(zipfile_name)
return response

Для python3 я использую io.ByteIO с СтрокаIO устарел для достижения этой цели.Надеюсь, поможет.

import io

def my_downloadable_zip(request):
    zip_io = io.BytesIO()
    with zipfile.ZipFile(zip_io, mode='w', compression=zipfile.ZIP_DEFLATED) as backup_zip:
        backup_zip.write('file_name_loc_to_zip') # u can also make use of list of filename location
                                                 # and do some iteration over it
     response = HttpResponse(zip_io.getvalue(), content_type='application/x-zip-compressed')
     response['Content-Disposition'] = 'attachment; filename=%s' % 'your_zipfilename' + ".zip"
     response['Content-Length'] = zip_io.tell()
     return response

Django не занимается генерацией динамического контента напрямую (в частности, Zip-файлов).Эту работу будет выполнять стандартная библиотека Python.Вы можете посмотреть, как динамически создать Zip-файл в Python. здесь.

Если вы беспокоитесь о замедлении работы вашего сервера, вы можете кэшировать запросы, если ожидаете, что будет много одинаковых запросов.Вы можете использовать Django структура кэширования чтобы помочь вам в этом.

В целом, сжатие файлов может быть ресурсоемким, но Django не должен быть медленнее, чем другой веб-фреймворк Python.

Бесстыжая пробка:вы можете использовать Джанго-zipview с той же целью.

После pip install django-zipview:

from zipview.views import BaseZipView

from reviews import Review


class CommentsArchiveView(BaseZipView):
    """Download at once all comments for a review."""

    def get_files(self):
        document_key = self.kwargs.get('document_key')
        reviews = Review.objects \
            .filter(document__document_key=document_key) \
            .exclude(comments__isnull=True)

        return [review.comments.file for review in reviews if review.comments.name]

я использовал Джанго 2.0 и Питон 3.6.

import zipfile
import os
from io import BytesIO

def download_zip_file(request):
    filelist = ["path/to/file-11.txt", "path/to/file-22.txt"]

    byte_data = BytesIO()
    zip_file = zipfile.ZipFile(byte_data, "w")

    for file in filelist:
        filename = os.path.basename(os.path.normpath(file))
        zip_file.write(file, filename)
    zip_file.close()

    response = HttpResponse(byte_data.getvalue(), content_type='application/zip')
    response['Content-Disposition'] = 'attachment; filename=files.zip'

    # Print list files in zip_file
    zip_file.printdir()

    return response

Этот модуль генерирует и передает архив: https://github.com/allanlei/python-zipstream

(Я не связан с разработкой.Просто подумываю об использовании.)

Я предлагаю использовать отдельную модель для хранения временных zip-файлов.Вы можете создать zip-архив на лету, сохранить его в модели с помощью поля файла и, наконец, отправить URL-адрес пользователю.

Преимущества:

  • Обслуживание статических zip-файлов с помощью медиа-механизма django (как при обычной загрузке).
  • Возможность очистки устаревших zip-файлов путем обычного выполнения сценария cron (который может использовать поле даты из модели zip-файла).

Не могли бы вы просто написать ссылку на "zip-сервер" или еще что-нибудь?Почему сам zip-архив нужно обслуживать из Django?CGI-скрипт эпохи 90-х для создания zip-архива и вывода его на стандартный вывод — это действительно все, что здесь требуется, по крайней мере, насколько я понимаю.

Лицензировано под: CC-BY-SA с атрибуция
Не связан с StackOverflow
scroll top