Faux un cookie pour racler un site en python
Question
Le site que je suis en train de gratter les utilisations js pour créer un cookie. Ce que je pensais était que je peux créer un cookie en python et ensuite utiliser ce cookie pour gratter le site. Cependant, je ne sais pas moyen de le faire. Est-ce que quelqu'un a des idées?
La solution
Python httplib2 - Manipulation des cookies dans formulaire HTTP messages pour un exemple de l'ajout d'un cookie à une demande.
J'ai souvent besoin d'automatiser des tâches dans le Web applications. J'aime faire au niveau du protocole en simulant un Les interactions utilisateur réel via HTTP. Python est livré avec deux modules intégrés pour cela: urllib (niveau supérieur Web interface) et httplib (au niveau inférieur interface HTTP).
Autres conseils
Si vous voulez faire l'émulation de navigateur plus impliqués (y compris la définition de cookies) jeter un oeil à mécaniser . Ses capacités de simulation sont presque complète (pas de support Javascript malheureusement). Je l'ai utilisé pour construire plusieurs racleurs avec beaucoup de succès