使用Google App Engine读取和从Google Drive或云存储读取和写入大文件
-
11-12-2019 - |
题
我想知道Google App Engine是否支持读取和写入大文件(示例,大小超过2GB的文本文件)进出Google Drive或云存储?
我期望有什么问题?
我正在使用Python 2,7 Google App Engine SDK。
更新。
我打算从谷歌的数据存储(或新的NDB)中读取多百万行数据,并将数据保存到文本文件中,以便在Google Cloud Compute或Picloud等一些第三方服务上进一步处理。
数据基本上是网络关系,它如下所示:
A -> B
B -> C
A -> D
.
上述意味着A与B连接,B与C连接到C,A与D. 相连。
当我有超过一百万个边缘时,我想我可能必须使用任务队列或Cron作业来执行此操作? 所以在我处理的关系后,我将拥有另一个文本文件,其中包含每对节点之间的一些分数,我将写入数据库。
最好的问候。
解决方案
是的,问题是您打算如何编写文件的问题?
您可以使用 gsutil 或 create_upload_url ,或者您可以使用此 files api 。
如果您使用的文件API,则需要在块中读取或写入不大于32MB的块。
其他提示
API适用于App Engine,或者我想你可以使用REST云API。我刚刚开始了这个,但这是API页面 https://developers.google.com/appeNgine/docs/python/GoogLestorage/
不隶属于 StackOverflow