Scrapyd を使用してスパイダーの実行を自動化するにはどうすればよいですか?

Question

おそらくこれはばかげていると思われることはわかっています。私はWindowsのscrapyd実装をあきらめ、ubuntuマシンをセットアップし、すべてがうまく動作するようになりました。それぞれ独自のスパイダーを含む 3 つのプロジェクトがあります。以下を使用してターミナルからスパイダーを実行できます。

curl http://localhost:6800/schedule.json -d project=myproject -d spider=spider2

Web UI でもすべてが機能しているようで、上記のコードを実行したときにスクレイピングされたアイテムが正しい場所に表示されます。

プロジェクト 1 を毎日午前 12 時に実行し、プロジェクト 2 を 2 日ごとの午前 2 時に実行し、プロジェクト 3 を 2 週間ごとの午前 4 時に実行したいと考えています。これを行う方法を学ぶのを手伝ってください。

そもそも、scrapyd はこのタスクに適切なソリューションなのでしょうか?

Answer 1

スケジュールされたタスクがうまくいくようです。Scrapy のクロール コマンドを次のようにスケジュールできたのに、scrapyd を実行することだけを目的として ubuntu マシンをセットアップする労力が本当に価値があるのか​​疑問に思ったと言わざるを得ません。 schtasks 窓の中で。