raspar / simular ayuda de navegación

Question

Quiero hacer un programa que simule a un usuario navegando por un sitio y haciendo clic en los enlaces. Las cookies y javascript deben estar habilitados. Lo hice con éxito en Python, pero quiero escribirlo en un lenguaje compilable (las ideas de Python no lo cortan). Los enlaces en el sitio se generan con javascript y son dinámicos. Con python utilicé PAMIE (módulo de terceros que utiliza win32com) para lanzar una instancia de Internet Explorer, eliminar el html generado para los enlaces y luego navegar a uno de ellos. El punto es que todo el proceso sea transparente para el servidor. ¿Cuál es el mejor lenguaje (compilable) y método para hacer esto? Estaba pensando en C # con el control de WebBrowser, pero no quiero pasar mucho tiempo aprendiendo algo si no funciona. ¡Se agradece cualquier tipo de ayuda!

Answer 1

Es posible que desee ver las pruebas automatizadas a través de suites de navegador: http: / /www.teknologika.com/blog/the-holy-grail-net-automated-web-gui-testing-for-internet-explorer/ http://watin.sourceforge.net/

Answer 2

Escribí una publicación de blog hace un tiempo: Web raspado en .NET . Eso discute las cookies pero no JavaScript; No sé si eso requeriría una codificación adicional.

Answer 3

Puede valer la pena echar un vistazo a selenium .

Lo usamos para pruebas web en un entorno C # asp.net.

La documentación no está tan mal