¿Cómo rizar o wget una página web?

Question

Me gustaría realizar un trabajo cron nocturno que obtenga mi página de stackoverflow y la diferencie de la página del día anterior, para poder ver un resumen de cambios de mis preguntas, respuestas, clasificación, etc.

Desafortunadamente, no pude obtener el conjunto correcto de cookies, etc., para que esto funcione.¿Algunas ideas?

Además, cuando finalice la versión beta, ¿se podrá acceder a mi página de estado sin iniciar sesión?

Answer 1

Su página de estado está disponible ahora sin necesidad de iniciar sesión (haga clic en cerrar sesión y pruébalo).Cuando la cookie beta esté desactivada, no habrá nada entre usted y su página de estado.

Para wget:

wget --no-cookies --header "Cookie: soba=(LookItUpYourself)" https://stackoverflow.com/users/30/myProfile.html

Answer 2

De Marcos Harrison

Y esto es lo que funciona...

curl -s --cookie soba=. https://stackoverflow.com/users

Y para wget:

wget --no-cookies --header "Cookie: soba=(LookItUpYourself)" https://stackoverflow.com/users/30/myProfile.html

Answer 3

Buena idea :)

Supongo que has usado wget

--load-cookies (filename)

Podría ayudar un poco, pero podría ser más fácil usar algo como Mechanize (en Perl o Python) para imitar un navegador más completamente y obtener una buena araña.

Answer 4

Tampoco pude encontrar cómo hacer que las cookies funcionaran, pero pude acceder a mi página de estado en mi navegador mientras estaba desconectado, así que supongo que esto funcionará una vez que stackoverflow se haga público.

Esta es una idea interesante, pero ¿no captarás también las diferencias del código html subyacente?¿Tiene una estrategia para evitar terminar con una diferencia del html y no del contenido real?

Answer 5

Y esto es lo que funciona...

curl -s --cookie soba=. http://stackoverflow.com/users