Ingegnere inverso Un modulo Web
https://stackoverflow.com/questions/299474
-
08-07-2019 - |
italiano
english
français
española
中国
日本の
العربية
Deutsch
한국어
Português
RussianDomanda
Ho un sito web da cui scarico 2-3 MB di dati non elaborati che poi inserisce in un processo ETL per caricarlo nel mio data mart. Purtroppo il fornitore di dati è il Dipartimento degli Stati Uniti d'America (USDA) e non consente il download tramite FTP. Mi richiedono l'uso di un modulo Web per selezionare gli elementi desiderati, fare clic su 2-3 schermate e infine fare clic per scaricare il file. Vorrei automatizzare questo processo di download. Non sono uno sviluppatore web, ma in qualche modo sembra che dovrei essere in grado di utilizzare alcuni strumenti per dirmi esattamente cosa passa put / get / magic dalla richiesta finale al server. Se avessi uno strumento che dicesse, "passa questi parametri a questo url e attendo una risposta" Potrei quindi hackerare qualcosa insieme in Perl per automatizzare questo processo.
Mi rendo conto che se avessi distrutto tutte e 5 le loro pagine e letto le inclusioni di JavaScript e toccato le mie cure 3 volte potrei ottenere queste informazioni da ciò a cui ho accesso. Ma voglio un percorso più veloce e diretto che non mi richiede di analizzare manualmente tutti i loro JS.
Riaffermazione della domanda finale: esiste uno strumento o un metodo che mostrerà chiaramente quale era la richiesta di richiesta finale inviata da un modulo Web e come era strutturata?
Soluzione
I migliori amici di un manomissione (queste sono estensioni di firefox, potresti anche usare qualcosa come Wireshark )
Buona fortuna
Altri suggerimenti
Usa Fiddler2 come proxy per vedere cosa viene passato avanti e indietro. L'ho fatto con successo in altre circostanze simili
La home page è qui: http://www.fiddler2.com/fiddler2/
Come per le altre risposte, tranne per il fatto che il mio strumento preferito è Charles
Che dire dell'utilizzo di un toolkit di test Web, come Watir e Ruby?
Facile da compilare i moduli .. basta usare l'output ..
Usa WatiN e combinalo con WatiN TestRecorder (Google for it)
Può " simulare " un utente seduto di fronte al browser digitando valori che puoi fornire dal tuo codice C # ...
