Как свернуть или получить веб-страницу?

Question

Я хотел бы выполнить ночное задание cron, которое извлекает мою страницу stackoverflow и отличает ее от страницы предыдущего дня, чтобы я мог видеть сводку изменений в моих вопросах, ответах, рейтинге и т. д.

К сожалению, мне не удалось получить правильный набор файлов cookie и т. д., чтобы все заработало.Есть идеи?

Кроме того, когда бета-версия завершится, моя страница статуса будет доступна без входа в систему?

Answer 1

Страница вашего статуса теперь доступна без входа в систему (нажмите выйти и попробуй).Когда бета-куки отключены, между вами и вашей страницей статуса ничего не будет.

Для wget:

wget --no-cookies --header "Cookie: soba=(LookItUpYourself)" https://stackoverflow.com/users/30/myProfile.html

Answer 2

От Марк Харрисон

И вот что работает...

локон -s --cookie соба=. https://stackoverflow.com/users

И для wget:

wget --no-cookies --header "Cookie: soba=(LookItUpYourself)" https://stackoverflow.com/users/30/myProfile.html

Answer 3

Хорошая идея :)

Я предполагаю, что вы использовали wget

--load-cookies (filename)

может немного помочь, но, возможно, было бы проще использовать что-то вроде Mechanize (на Perl или Python), чтобы более полно имитировать браузер и получить хорошего паука.

Answer 4

Я также не мог понять, как заставить работать файлы cookie, но мне удалось перейти на страницу статуса в браузере, когда я вышел из системы, поэтому я предполагаю, что это сработает, как только stackoverflow станет общедоступным.

Это интересная идея, но не могли бы вы также изучить различия базового html-кода?Есть ли у вас стратегия, позволяющая избежать разницы в HTML, а не в реальном контенте?

Answer 5

И вот что работает...

curl -s --cookie soba=. http://stackoverflow.com/users