Groovy: CyberNeko | User Agents | Browserversion

Question

Ich bin derzeit CyberNeko in einem Versuch zu greifen Informationen, die ich von einer Website will. Ich glaube jedoch, die Website überprüft die User-Agent / Browser-Version, um zu verhindern einfach die URL Inhalt greifen.

Ich bin mir bewusst, Htmlunit der Verwendung der Browser-Version zu ändern, aber nicht sicher, ob ich diese mit CyberNeko gehen kann.

Wer weiß, ob es möglich ist, so etwas zu tun?

Answer 1

Ich habe noch nie CyberNeko verwendet, aber ich dachte, es war nur ein HTML-Parser, also ich glaube nicht, dass Sie es verwenden könnten die HTTP-Anfragen zu stellen und tatsächlich Download die Webseite.

Es könnte die Tatsache sein, dass die HTTP-Anforderung von CyberNeko ausgegeben verschiedene Header wie der User-Agent-Header fehlt. Ein einfacher Weg, um sicherzustellen, dass die HTTP-Anforderung sieht aus wie eine Anfrage von einem Browser gesendet wird Httpclient statt CyberNeko verwenden, um die Web-Seite zum Download bereit. Es gibt einige Beispiele-Code verfügbar hier .

Wenn Sie erfolgreich die Seite heruntergeladen haben, verwenden CyberNeko die Bits zu analysieren, Sie daran interessiert sind.