Круто:Кибернеко | Пользовательские агенты | Версия браузера

Question

В настоящее время я использую CyberNeko, пытаясь получить нужную мне информацию с веб-сайта.Однако я считаю, что веб-сайт проверяет версию пользовательского агента/браузера, чтобы не просто захватить содержимое URL-адреса.

Мне известно об использовании htmlunit для изменения версии браузера, но я не уверен, смогу ли я сделать это с помощью CyberNeko.

Кто-нибудь знает, возможно ли сделать такое?

Answer 1

Я никогда не пользовался CyberNeko, но думал, что это просто парсер HTML, т.е.Я не думал, что вы сможете использовать его для отправки HTTP-запросов и на самом деле скачать веб-страница.

Возможно, в HTTP-запросе, отправленном CyberNeko, отсутствуют различные заголовки, например заголовок пользовательского агента.Простой способ убедиться, что HTTP-запрос выглядит как запрос, отправленный из браузера, — использовать HttpClient вместо CyberNeko для загрузки веб-страницы.Доступен пример кода здесь.

После успешной загрузки страницы используйте CyberNeko для анализа интересующих вас фрагментов.