Como curl ou wget uma página da web?

Question

Eu gostaria de fazer um trabalho cron nocturno, que busca o meu stackoverflow página e diffs ele desde o dia anterior da página, para que eu possa ver uma mudança de resumo de minhas perguntas, respostas, ranking, etc.

Infelizmente, eu não conseguia chegar a um certo conjunto de cookies, etc, para fazer este trabalho.Qualquer idéias?

Além disso, quando o beta for concluída, será a minha página de status de ser acessíveis sem necessidade de login?

Answer 1

A sua página de status está disponível sem necessidade de login (clique em logout e experimentá-lo).Quando o beta-cookie está desativado, não haverá nada entre você e sua página de status.

Para o wget:

wget --no-cookies --header "Cookie: soba=(LookItUpYourself)" https://stackoverflow.com/users/30/myProfile.html

Answer 2

A partir de Mark Harrison

E aqui está o que funciona...

curl-s --cookie soba=. https://stackoverflow.com/users

E para o wget:

wget --no-cookies --header "Cookie: soba=(LookItUpYourself)" https://stackoverflow.com/users/30/myProfile.html

Answer 3

Boa ideia :)

Eu presumo que você já tenha usado o wget do

--load-cookies (filename)

pode ajudar um pouco, mas pode ser mais fácil usar algo como Mecanizar (em Perl ou python) para imitar um navegador mais plenamente para obter uma boa aranha.

Answer 4

Eu não conseguia descobrir como obter os cookies para trabalhar, mas eu era capaz de chegar a minha página de status no meu navegador, enquanto eu estava registrado, então eu suponho que isso vai funcionar uma vez stackoverflow vem a público.

Esta é uma idéia interessante, mas não você também pegar diffs de o código html?Você tem uma estratégia para evitar acabar com um 'diff' do html e não o conteúdo real?

Answer 5

E aqui está o que funciona...

curl -s --cookie soba=. http://stackoverflow.com/users