Pergunta

Eu tenho um site que eu baixar 2-3 MB de dados brutos de que, em seguida, alimenta um processo de ETL para carregá-lo no meu data mart. Infelizmente o provedor de dados é o Departamento dos EUA de Ag (USDA) e eles não permitem o download via FTP. Eles exigem que eu use um formulário web para selecionar os elementos que eu quero, clique por 2-3 telas e, eventualmente, clique para baixar o arquivo. Eu gostaria de automatizar esse processo de download. Eu não sou um desenvolvedor web, mas de alguma forma parece que eu deveria ser capaz de usar alguma ferramenta para me dizer exatamente o que colocar / get / magic vai desde o último pedido para o servidor. Se eu tivesse uma ferramenta que disse: "passar esses parâmetros para essa url e esperar por uma resposta" Eu poderia, então, cortar alguma coisa juntos em Perl para automatizar esse processo.

Eu percebo que se eu desconstruído todos os 5 de suas páginas e ler o JavaScript inclui e bateu meus cura junto 3 vezes eu poderia obter esta informação do que eu têm acesso. Mas eu quero um caminho mais rápido e mais direto que não requer me para analisar manualmente todos os seus JS.

Atualização da última pergunta: Existe uma ferramenta ou método que irá mostrar claramente o que a solicitação de pedido final enviado a partir de um formulário web foi e como ele foi estruturado?

Foi útil?

Solução

Uma melhores amigos de Tamperer (estes são extensões do Firefox, você também poderia usar algo como Wireshark )

HttpFox

Tamper Data

Boa sorte

Outras dicas

Use Fiddler2 como um proxy para ver o que está sendo passado para trás e para frente. Eu tenho feito isso com sucesso em outras circunstâncias semelhantes

Home page está aqui: http://www.fiddler2.com/fiddler2/

Tal como acontece com as outras respostas, exceto a minha ferramenta de escolha é Charles

Que tal usar um kit de ferramentas de testes web, como Watir e Ruby?

Fácil de preencher os formulários .. basta usar a saída ..

Use WatiN e combiná-lo com WatiN TestRecorder (Google por isso)

Ele pode "simular" um usuário sentado na frente da perfuração navegador em valores que você pode fornecer a partir de seu próprio código C # ...

Licenciado em: CC-BY-SA com atribuição
Não afiliado a StackOverflow
scroll top