Falso una cookie para raspar un sitio en Python

Question

El sitio que estoy tratando de raspar los usos js para crear una cookie. Lo que estaba pensando era que puedo crear una cookie en Python y luego usar esa cookie para raspar el sitio. Sin embargo, no sé de ninguna manera de hacer eso. ¿Alguien tiene alguna idea?

Answer 1

Por favor, vea Python httplib2 - Manejo de las galletas en forma de HTTP Mensajes para un ejemplo de añadiendo una cookie a una solicitud.

  

A menudo necesito para automatizar tareas en Web   aplicaciones basadas. Me gusta hacer esto   a nivel de protocolo mediante la simulación de una   interacciones reales del usuario a través de HTTP.   Python viene con dos módulos integrados   para esto: urllib (mayor nivel de Web   interface) y httplib (nivel inferior   interfaz HTTP).

Answer 2

Si usted quiere hacer la emulación de navegador más involucrados (incluyendo el establecimiento de las cookies) echar un vistazo a mecanizar . Es la capacidad de simulación son casi completa (sin soporte para Javascript desgracia):. Yo he utilizado para construir varios raspadores con mucho éxito