Как свернуть или получить веб-страницу?
Вопрос
Я хотел бы выполнить ночное задание cron, которое извлекает мою страницу stackoverflow и отличает ее от страницы предыдущего дня, чтобы я мог видеть сводку изменений в моих вопросах, ответах, рейтинге и т. д.
К сожалению, мне не удалось получить правильный набор файлов cookie и т. д., чтобы все заработало.Есть идеи?
Кроме того, когда бета-версия завершится, моя страница статуса будет доступна без входа в систему?
Решение
Страница вашего статуса теперь доступна без входа в систему (нажмите выйти и попробуй).Когда бета-куки отключены, между вами и вашей страницей статуса ничего не будет.
Для wget:
wget --no-cookies --header "Cookie: soba=(LookItUpYourself)" https://stackoverflow.com/users/30/myProfile.html
Другие советы
И вот что работает...
локон -s --cookie соба=. https://stackoverflow.com/users
И для wget:
wget --no-cookies --header "Cookie: soba=(LookItUpYourself)" https://stackoverflow.com/users/30/myProfile.html
Хорошая идея :)
Я предполагаю, что вы использовали wget
--load-cookies (filename)
может немного помочь, но, возможно, было бы проще использовать что-то вроде Mechanize (на Perl или Python), чтобы более полно имитировать браузер и получить хорошего паука.
Я также не мог понять, как заставить работать файлы cookie, но мне удалось перейти на страницу статуса в браузере, когда я вышел из системы, поэтому я предполагаю, что это сработает, как только stackoverflow станет общедоступным.
Это интересная идея, но не могли бы вы также изучить различия базового html-кода?Есть ли у вас стратегия, позволяющая избежать разницы в HTML, а не в реальном контенте?
И вот что работает...
curl -s --cookie soba=. http://stackoverflow.com/users