Чтение и запись больших файлов в Google Drive или Cloud Storage с помощью двигателя Google App

Question

Мне было интересно, если Google App поддерживает чтение и запись больших файлов (пример, текстовые файлы размера более 2 ГБ) в и из Google Drive или Cloud Storage?

Какие проблемы я могу ожидать?

Я использую Python 2,7 Google App Engine SDK кстати.

---

Обновления.

Я намерен читать до миллиона строк данных из хранилища данных Google (или, возможно, нового NDB), и сохранить данные в текстовый файл для дальнейшей обработки либо в Compute Compute Compute, либо в некоторых сторонних услугах, таких как Picloud.

Данные в основном связаны с сетью, и она идет так:

A -> B
B -> C
A -> D

.

Приведенное выше означает, что A связан с B, B связан с C и A связан с D и так далее ...

Как у меня есть более миллиона ребер, я думаю, что мне придется использовать очередь задачи или CRON, чтобы сделать это?

Поэтому после того, как я обработал отношения, у меня будет другой текстовый файл, который содержит некоторые баллы между каждой парой узлов, которые я буду писать обратно в базу данных.

С наилучшими пожеланиями.

Answer 1

Да, это делает - вопрос в том, как вы собираетесь написать файлы?

Вы можете либо загрузить непосредственно к облачному хранилищу, используя либо gsutil или create_upload_url или вы можете написать из вашего приложения, используя этот Файлы API .

Если вы используете API файла, вам нужно прочитать или писать в кусках не более 32 МБ.

Answer 2

API вокруг для приложений или я полагаю, вы можете использовать API Cloud Cloud.Я только что начал с этого, но вот страница API https://developers.google.com/appengine/docs/Python/googlestorage/