ScraperWiki Limita i siti di limite che sta raschiando?

Question

Scraperwiki valuta in qualche modo il limite automatico o dovrei aggiungere qualcosa come il sonno (1 * casual.random ()) al ciclo?

Answer 1

Non esiste una limitazione automatica del tasso. Puoi aggiungere un comando di sonno scritto nella tua lingua per aggiungere la limitazione della tariffa.

Pochissimi server controllano la limitazione della velocità e di solito i server contenenti dati pubblici no.

È, tuttavia, una buona pratica assicurarsi di non invadere il server remoto. Per impostazione predefinita, i raschiatori funzionano solo in un thread, quindi c'è un limite integrato al carico che puoi produrre.