Screperwikiレートは、スクレイピングしているサイトを制限しますか？

Question

Scraperwikiは何らかの形で自動的に制限のスクレイピングをレートしますか、それともスリープ（1 * random.random（））のようなものをループに追加する必要がありますか？

Answer 1

自動レートの制限はありません。言語に記述された睡眠コマンドを追加して、レートの制限を追加できます。

レートの制限をチェックするサーバーはほとんどなく、通常はパブリックデータを含むサーバーはありません。

ただし、リモートサーバーをオーバーランしないようにすることをお勧めします。デフォルトでは、スクレーパーは1つのスレッドでのみ実行されるため、生成できる負荷に制限が組み込まれています。