Faux un cookie pour racler un site en python

Question

Le site que je suis en train de gratter les utilisations js pour créer un cookie. Ce que je pensais était que je peux créer un cookie en python et ensuite utiliser ce cookie pour gratter le site. Cependant, je ne sais pas moyen de le faire. Est-ce que quelqu'un a des idées?

Answer 1

Python httplib2 - Manipulation des cookies dans formulaire HTTP messages pour un exemple de l'ajout d'un cookie à une demande.

  

J'ai souvent besoin d'automatiser des tâches dans le Web   applications. J'aime faire   au niveau du protocole en simulant un   Les interactions utilisateur réel via HTTP.   Python est livré avec deux modules intégrés   pour cela: urllib (niveau supérieur Web   interface) et httplib (au niveau inférieur   interface HTTP).

Answer 2

Si vous voulez faire l'émulation de navigateur plus impliqués (y compris la définition de cookies) jeter un oeil à mécaniser . Ses capacités de simulation sont presque complète (pas de support Javascript malheureusement). Je l'ai utilisé pour construire plusieurs racleurs avec beaucoup de succès