Scrapyの複数のクモ間で訪問したURLを共有しますか？

Question

Scrapydを使用して、同じドメイン間のジョブとして複数のクモを実行しています。私はScrapyを訪問したURLが訪れたURLを持っていました。

で同じクモのインスタンスを作成すると

curl http://localhost:6800/schedule.json -d project=projectname -d spider=spidername.

.

それはむしろ同じURLと重複したデータを削除されています。誰かが前に同様の問題を扱っていますか？

Answer 1

私のアドバイスは、サイトを複数のstart_urlsに分割しようとすることです。それから、 start_urlsのさまざまな値を各クモに渡すことができます。。

特に派情を得たい場合（または定期的に変更したいページが定期的に変更したい場合）サイトマップをクロールするクローラを作成し、リンクをn Cunksに分割してから、その他のクモを起動します。実際にサイトをクロールする...