Fake um biscoito para raspar um site em Python
https://stackoverflow.com/questions/1117491
italiano
english
français
española
中国
日本の
العربية
Deutsch
한국어
Português
RussianPergunta
O site que estou tentando raspar usa JS para criar um cookie. O que eu estava pensando era que posso criar um cookie em python e depois usar esse cookie para raspar o site. No entanto, não sei nada de fazer isso. alguém tem alguma ideia?
Solução
Por favor, veja Python httplib2 - biscoitos de manuseio no formulário http postagens Para um exemplo de adição de um cookie a uma solicitação.
Muitas vezes, preciso automatizar tarefas em aplicativos baseados na Web. Eu gosto de fazer isso no nível do protocolo, simulando as interações de um usuário real via HTTP. O Python vem com dois módulos internos para isso: URLLIB (interface da Web de nível superior) e HTTPLIB (interface HTTP de nível inferior).
Outras dicas
Se você quiser fazer mais emulação de navegador envolvida (incluindo os cookies de configuração), dê uma olhada mecanizar. Os recursos de simulação estão quase completos (infelizmente, nenhum suporte ao JavaScript): eu o usei para criar vários raspadores com muito sucesso.
