Falso una cookie para raspar un sitio en Python
Pregunta
El sitio que estoy tratando de raspar los usos js para crear una cookie. Lo que estaba pensando era que puedo crear una cookie en Python y luego usar esa cookie para raspar el sitio. Sin embargo, no sé de ninguna manera de hacer eso. ¿Alguien tiene alguna idea?
Solución
Por favor, vea Python httplib2 - Manejo de las galletas en forma de HTTP Mensajes para un ejemplo de añadiendo una cookie a una solicitud.
A menudo necesito para automatizar tareas en Web aplicaciones basadas. Me gusta hacer esto a nivel de protocolo mediante la simulación de una interacciones reales del usuario a través de HTTP. Python viene con dos módulos integrados para esto: urllib (mayor nivel de Web interface) y httplib (nivel inferior interfaz HTTP).
Otros consejos
Si usted quiere hacer la emulación de navegador más involucrados (incluyendo el establecimiento de las cookies) echar un vistazo a mecanizar . Es la capacidad de simulación son casi completa (sin soporte para Javascript desgracia):. Yo he utilizado para construir varios raspadores con mucho éxito