Groovy: CyberNeko | Agents de l'utilisateur | Version du navigateur

Question

Je suis actuellement à l'aide CyberNeko pour tenter de l'information grab je veux d'un site Web. Cependant, je crois que le site vérifie l'agent utilisateur / version du navigateur pour ne pas saisir tout le contenu de l'URL.

Je suis au courant de l'utilisation HtmlUnit changer la version du navigateur, mais pas sûr si je peux aller à ce sujet en utilisant CyberNeko.

Est-ce que quelqu'un sait s'il est possible de faire une telle chose?

Answer 1

Je ne l'ai jamais utilisé CyberNeko, mais je pensais que c'était juste un analyseur HTML, à savoir que je ne pense pas que vous pouvez l'utiliser pour émettre les requêtes HTTP et en fait Télécharger de la page Web.

Il pourrait être le fait que la requête HTTP émise par CyberNeko manque divers en-têtes tels que l'en-tête de l'agent utilisateur. Un moyen facile de faire en sorte que les regards de la requête HTTP comme une demande envoyée à partir d'un navigateur est d'utiliser HttpClient au lieu de CyberNeko pour télécharger la page Web. Il y a quelques exemples de code disponible .

Une fois que vous avez téléchargé avec succès la page, utilisez CyberNeko pour analyser les morceaux qui vous intéressent.