Beschränken Scraperwiki die Sites, die sie abkratzen?

Question

Bewertet Scraperwiki automatisch das Abkrainer der Grenze oder sollte ich der Schleife so etwas wie Schlaf hinzufügen (1 * random.Random ())?

Answer 1

Es gibt keine automatische Rate einschränkend. Sie können einen in Ihrer Sprache geschriebenen Schlafbefehl hinzufügen, um die Ratenbeschränkung hinzuzufügen.

Nur sehr wenige Server prüfen die Ratenlimitierung, und in der Regel, die öffentliche Daten enthalten, tun dies in der Regel nicht.

Es ist jedoch eine gute Praxis, sicherzustellen, dass Sie den Remote -Server nicht überrennen. Standardmäßig werden Scraper nur in einem Thread ausgeführt, sodass die Last, die Sie erzeugen können, ein integriertes Grenzwert enthält.