我想知道Google App Engine是否支持读取和写入大文件(示例,大小超过2GB的文本文件)进出Google Drive或云存储?

我期望有什么问题?

我正在使用Python 2,7 Google App Engine SDK。


更新。

我打算从谷歌的数据存储(或新的NDB)中读取多百万行数据,并将数据保存到文本文件中,以便在Google Cloud Compute或Picloud等一些第三方服务上进一步处理。

数据基本上是网络关系,它如下所示:

A -> B
B -> C
A -> D
.

上述意味着A与B连接,B与C连接到C,A与D. 相连。

当我有超过一百万个边缘时,我想我可能必须使用任务队列或Cron作业来执行此操作? 所以在我处理的关系后,我将拥有另一个文本文件,其中包含每对节点之间的一些分数,我将写入数据库。

最好的问候。

有帮助吗?

解决方案

是的,问题是您打算如何编写文件的问题?

您可以使用 gsutil create_upload_url ,或者您可以使用此 files api

如果您使用的文件API,则需要在块中读取或写入不大于32MB的块。

其他提示

API适用于App Engine,或者我想你可以使用REST云API。我刚刚开始了这个,但这是API页面 https://developers.google.com/appeNgine/docs/python/GoogLestorage/

许可以下: CC-BY-SA归因
不隶属于 StackOverflow
scroll top