Обслуживание динамически генерируемых ZIP-архивов в Django
Вопрос
Как предоставить пользователям динамически создаваемый ZIP-архив в Django?
Я делаю сайт, на котором пользователи могут выбирать любую комбинацию доступных книг и скачивать их в виде ZIP-архива.Я беспокоюсь, что создание таких архивов для каждого запроса замедлит работу моего сервера.Я также слышал, что в настоящее время у Django нет хорошего решения для обслуживания динамически генерируемых файлов.
Решение
Решение заключается в следующем.
Используйте модуль Python zip-файл создать zip архив, а в качестве файла указать СтрокаIO объект (конструктору ZipFile требуется файловый объект).Добавьте файлы, которые хотите сжать.Затем в вашем приложении Django верните содержимое объекта StringIO в HttpResponse
с установленным mimetype application/x-zip-compressed
(или по крайней мере application/octet-stream
).Если хотите, можете установить content-disposition
заголовок, но на самом деле это не обязательно.
Но будьте осторожны: создавать zip-архивы при каждом запросе — плохая идея, и это может убить ваш сервер (не считая таймаутов, если архивы большие).Подход с точки зрения производительности заключается в том, чтобы кэшировать сгенерированные выходные данные где-нибудь в файловой системе и восстанавливать их только в том случае, если исходные файлы были изменены.Еще лучшая идея — заранее подготовить архивы (например.по заданию cron) и ваш веб-сервер будет обслуживать их как обычную статику.
Другие советы
Вот представление Django, позволяющее сделать это:
import os
import zipfile
import StringIO
from django.http import HttpResponse
def getfiles(request):
# Files (local path) to put in the .zip
# FIXME: Change this (get paths from DB etc)
filenames = ["/tmp/file1.txt", "/tmp/file2.txt"]
# Folder name in ZIP archive which contains the above files
# E.g [thearchive.zip]/somefiles/file2.txt
# FIXME: Set this to something better
zip_subdir = "somefiles"
zip_filename = "%s.zip" % zip_subdir
# Open StringIO to grab in-memory ZIP contents
s = StringIO.StringIO()
# The zip compressor
zf = zipfile.ZipFile(s, "w")
for fpath in filenames:
# Calculate path for file in zip
fdir, fname = os.path.split(fpath)
zip_path = os.path.join(zip_subdir, fname)
# Add file, at correct path
zf.write(fpath, zip_path)
# Must close zip for all contents to be written
zf.close()
# Grab ZIP file from in-memory, make response with correct MIME-type
resp = HttpResponse(s.getvalue(), mimetype = "application/x-zip-compressed")
# ..and correct content-disposition
resp['Content-Disposition'] = 'attachment; filename=%s' % zip_filename
return resp
Многие ответы здесь предлагают использовать StringIO
или BytesIO
буфер.Однако в этом нет необходимости, так как HttpResponse
уже является файлоподобным объектом:
response = HttpResponse(content_type='application/zip')
zip_file = zipfile.ZipFile(response, 'w')
for filename in filenames:
zip_file.write(filename)
response['Content-Disposition'] = 'attachment; filename={}'.format(zipfile_name)
return response
Для python3 я использую io.ByteIO с СтрокаIO устарел для достижения этой цели.Надеюсь, поможет.
import io
def my_downloadable_zip(request):
zip_io = io.BytesIO()
with zipfile.ZipFile(zip_io, mode='w', compression=zipfile.ZIP_DEFLATED) as backup_zip:
backup_zip.write('file_name_loc_to_zip') # u can also make use of list of filename location
# and do some iteration over it
response = HttpResponse(zip_io.getvalue(), content_type='application/x-zip-compressed')
response['Content-Disposition'] = 'attachment; filename=%s' % 'your_zipfilename' + ".zip"
response['Content-Length'] = zip_io.tell()
return response
Django не занимается генерацией динамического контента напрямую (в частности, Zip-файлов).Эту работу будет выполнять стандартная библиотека Python.Вы можете посмотреть, как динамически создать Zip-файл в Python. здесь.
Если вы беспокоитесь о замедлении работы вашего сервера, вы можете кэшировать запросы, если ожидаете, что будет много одинаковых запросов.Вы можете использовать Django структура кэширования чтобы помочь вам в этом.
В целом, сжатие файлов может быть ресурсоемким, но Django не должен быть медленнее, чем другой веб-фреймворк Python.
Бесстыжая пробка:вы можете использовать Джанго-zipview с той же целью.
После pip install django-zipview
:
from zipview.views import BaseZipView
from reviews import Review
class CommentsArchiveView(BaseZipView):
"""Download at once all comments for a review."""
def get_files(self):
document_key = self.kwargs.get('document_key')
reviews = Review.objects \
.filter(document__document_key=document_key) \
.exclude(comments__isnull=True)
return [review.comments.file for review in reviews if review.comments.name]
я использовал Джанго 2.0 и Питон 3.6.
import zipfile
import os
from io import BytesIO
def download_zip_file(request):
filelist = ["path/to/file-11.txt", "path/to/file-22.txt"]
byte_data = BytesIO()
zip_file = zipfile.ZipFile(byte_data, "w")
for file in filelist:
filename = os.path.basename(os.path.normpath(file))
zip_file.write(file, filename)
zip_file.close()
response = HttpResponse(byte_data.getvalue(), content_type='application/zip')
response['Content-Disposition'] = 'attachment; filename=files.zip'
# Print list files in zip_file
zip_file.printdir()
return response
Этот модуль генерирует и передает архив: https://github.com/allanlei/python-zipstream
(Я не связан с разработкой.Просто подумываю об использовании.)
Я предлагаю использовать отдельную модель для хранения временных zip-файлов.Вы можете создать zip-архив на лету, сохранить его в модели с помощью поля файла и, наконец, отправить URL-адрес пользователю.
Преимущества:
- Обслуживание статических zip-файлов с помощью медиа-механизма django (как при обычной загрузке).
- Возможность очистки устаревших zip-файлов путем обычного выполнения сценария cron (который может использовать поле даты из модели zip-файла).
Не могли бы вы просто написать ссылку на "zip-сервер" или еще что-нибудь?Почему сам zip-архив нужно обслуживать из Django?CGI-скрипт эпохи 90-х для создания zip-архива и вывода его на стандартный вывод — это действительно все, что здесь требуется, по крайней мере, насколько я понимаю.