Google App Engine - 任务队列与Cron Jobs

Question

最新的Google App Engine版本支持新的任务队列API 在Python中。我正在比较此API的功能与现有的 Cron服务。对于非用户启动的后台作业，例如抓取RSS源并按日间隔解析它。任务队列API可以并且应该用于非用户发起的请求吗？

Answer 1

我会说“有点”。关于任务队列要记住的事情是：

1）每分钟/小时/天的操作限制与定期重复某些操作不同。即使将令牌桶大小设置为1，我也不认为您可以保证这些重复将均匀分布。这取决于他们说队列被实现为令牌桶时的严重程度，以及该语句是否应该是接口的保证部分。这是实验室，没有任何保证。

2）如果任务失败则会重新排队。如果一个cron作业失败，那么它会被记录，直到它再次到期才会被重试。因此，cron作业的行为方式不同于添加自身副本然后刷新Feed的任务，或者作为刷新Feed的任务，然后添加自身副本。

很可能使用任务模拟cron作业，但我怀疑这是值得的。如果你正在尝试解决一个运行时间超过30秒（或达到任何其他请求限制）的cron作业，那么你可以将工作分成几部分，并有一个cron作业，将所有部分添加到一个任务队列。有一些关于异步urlfetch的讨论（在GAE博客中？），这可能是更新RSS提要的最佳方式。

Answer 2

在我观看谷歌I / O视频之前，我并没有很好地理解这些差异。官方消息来源通常是最好的。

youtube video

演示文稿中的幻灯片

Answer 3

我看待它的方式是，如果我只是解析一个RSS源，那么Cron作业可能就足够了。如果我必须解析用户或任何其他系统变量在运行时指定的X个RSS源，那么我每次都会选择任务。

我只是这样说，因为在过去我不得不定期执行许多用户定义的Twitter搜索并且使用Cron作业我结束了制作一个非常糟糕的排队系统来执行需要运行的请求 - 它没有规模，它没有帮助，并且一个cron作业的最小间隔只有1分钟（我有更多的搜索执行比当天的几分钟）。

关于任务的一个很酷的事情是你可以给他们一个ETA，所以你可以说我希望将来47秒执行它，或者我希望这个在12:30执行。