Comment curl ou wget une page web?

Question

Je voudrais faire une soirée un cron job qui ramène mon stackoverflow page et de diff de la précédente journée de la page, pour que je puisse voir un résumé de changement de mes questions, de réponses, classement, etc.

Malheureusement, je ne pouvais pas obtenir le droit de définir des cookies, etc, pour faire ce travail.Des idées?

Aussi, lorsque la beta est fini, ma page de statut d'être accessible sans avoir à vous connecter?

Answer 1

Votre page de statut est maintenant disponible sans connexion (cliquez sur déconnexion et de l'essayer).Lorsque le bêta-cookie est désactivé, il n'y aura rien entre vous et votre page d'état.

Pour wget:

wget --no-cookies --header "Cookie: soba=(LookItUpYourself)" https://stackoverflow.com/users/30/myProfile.html

Answer 2

À partir de Mark Harrison

Et voici ce qui fonctionne...

curl-s --cookie soba=. https://stackoverflow.com/users

Et pour wget:

wget --no-cookies --header "Cookie: soba=(LookItUpYourself)" https://stackoverflow.com/users/30/myProfile.html

Answer 3

Belle idée :)

Je suppose que vous avez utilisé wget est

--load-cookies (filename)

pourrait aider un peu, mais il pourrait être plus facile à utiliser quelque chose comme Mécaniser (en Perl ou python) pour simuler un navigateur plus complètement pour obtenir une bonne araignée.

Answer 4

Je ne pouvais pas comprendre comment obtenir les cookies pour travailler, mais j'ai pu me rendre à mon statut de page dans mon navigateur alors que j'étais connecté, donc je suppose que cela va fonctionner une fois stackoverflow va public.

C'est une idée intéressante, mais n'est-ce pas aussi ramasser des diff du code html?Avez-vous une stratégie pour éviter de se retrouver avec un diff de l'html et non pas le contenu réel?

Answer 5

Et voici ce qui fonctionne...

curl -s --cookie soba=. http://stackoverflow.com/users