Разобрать a .Сетевую страницу с обратными отправками

Question

Мне нужно прочитать данные из онлайн-базы данных, которая отображается с использованием aspx-страницы ООН.Я уже делал синтаксический анализ HTML раньше, но это всегда было путем манипулирования значениями строки запроса.В этом случае сайт использует asp.net обратную отправку.Итак, вы нажимаете на значение в поле один, затем отображается поле два, нажимаете на значение в поле 2 и нажимаете кнопку, чтобы получить свои результаты.

Кто-нибудь знает, как я мог бы автоматизировать этот процесс?

Спасибо,

Майк

Answer 1

Возможно, вам по-прежнему потребуется отправить только один запрос, но этот запрос может быть довольно сложным.ASP.Общеизвестно, что Net сложно (хотя и не невозможно) экранировать scrape.Между проверкой события и состоянием просмотра сложно получить правильные запросы.Самый простой способ сделать это - часто использовать инструмент сниффера, такой как скрипач чтобы точно увидеть, как выглядит http-запрос, а затем просто имитировать этот запрос.

Если вам все еще нужно отправить два запроса, это потому, что первый запрос также помещает где-то некоторое состояние в сеанс, и это означает, что все, что вы используете для отправки этих запросов, должно иметь возможность отправлять их с одним и тем же сеансом.Часто это означает поддержку файлов cookie.

Answer 2

Ватин это был бы мой первый выбор.Вы бы закодировали выбор и щелчок, а затем проанализировали HTML после.

Answer 3

Я бы посмотрел на HtmlAgilityPack HtmlAgilityPack с помощью Формопроцессор аддон.