Места лимит скорости Scraperwiki он соскребает?

Question

Скрейпервики каким -то образом автоматически оценивает ограничение ограничения, или я должен добавить что -то вроде сна (1 * random.random ()) в цикл?

Answer 1

Там нет автоматического ограничения. Вы можете добавить команду сна, написанную на вашем языке, чтобы добавить ограничение скорости.

Очень немногие серверы проверяют ограничение скорости, а обычно серверы, содержащие публичные данные.

Однако это хорошая практика, чтобы убедиться, что вы не переполняете удаленный сервер. По умолчанию скрещины запускаются только в одном потоке, поэтому есть встроенный предел нагрузки, который вы можете создать.