Falso un cookie per raschiare un sito in pitone
Domanda
Il sito che sto cercando di raschiare usi js per creare un cookie. Quello che stavo pensando è che posso creare un cookie in Python e quindi utilizzare tale cookie per raschiare il sito. Tuttavia, non conosco alcun modo di farlo. Qualcuno ha qualche idea?
Soluzione
Si prega di consultare Python httplib2 - Gestione cookie in HTTP Form messaggi per un esempio di l'aggiunta di un cookie a una richiesta.
ho spesso bisogno di automatizzare le attività di web applicazioni basate su. Mi piace fare questo a livello di protocollo simulando una le interazioni reali degli utenti via HTTP. Pitone dotato di due moduli incorporati per questo: urllib (Web di livello superiore interfaccia) e httplib (livello inferiore interfaccia HTTP).
Altri suggerimenti
Se si vuole fare l'emulazione del browser più coinvolti (inclusa l'impostazione cookie) dare un'occhiata a mechanize . E 'capacità di simulazione sono quasi completa (nessun supporto Javascript purtroppo):. Ho usato per costruire diversi raschietti con molto successo