Места лимит скорости Scraperwiki он соскребает?
-
27-10-2019 - |
Вопрос
Скрейпервики каким -то образом автоматически оценивает ограничение ограничения, или я должен добавить что -то вроде сна (1 * random.random ()) в цикл?
Решение
Там нет автоматического ограничения. Вы можете добавить команду сна, написанную на вашем языке, чтобы добавить ограничение скорости.
Очень немногие серверы проверяют ограничение скорости, а обычно серверы, содержащие публичные данные.
Однако это хорошая практика, чтобы убедиться, что вы не переполняете удаленный сервер. По умолчанию скрещины запускаются только в одном потоке, поэтому есть встроенный предел нагрузки, который вы можете создать.
Не связан с StackOverflow