¿Los sitios de la velocidad de scraperwiki están raspando?

Question

¿Scraperwiki de alguna manera califica automáticamente el desguace, o debería agregar algo como dormir (1 * random.random ()) al bucle?

Answer 1

No hay limitación de velocidad automática. Puede agregar un comando de sueño escrito en su idioma para agregar limitación de tarifas.

Muy pocos servidores verifican la limitación de tarifas, y generalmente los servidores que contienen datos públicos no lo hacen.

Sin embargo, es una buena práctica asegurarse de no invadir el servidor remoto. Por defecto, los raspadores solo se ejecutan en un hilo, por lo que hay un límite incorporado para la carga que puede producir.