Web-Crawler und GET vs POST-Anfragen

Question

Ich habe gehört, dass Web-Crawler sollen nur folgen GET-Anfragen und nicht diejenigen, Post.

In der realen Welt ist dies eine gültige Annahme?

Answer 1

Im Allgemeinen tun sie nicht POST-Anfragen. Dies ist nur der aktuelle Stand der Dinge und ist nicht überall diktiert, glaube ich. Einige Suchmaschinen sind Experimentieren mit kriechenden Formen , aber diese sind immer noch Anfragen.

Answer 2

Sind Sie fragen, ob Crawler URLs von Formular-Tags parsen wird und ihnen folgen? Einige werden. Es ist eine ziemlich sichere Annahme werden sie immer wenn das GET-Verb verwenden.

Spam Bots ist eine andere Geschichte.

Answer 3

Polite-Crawler verwenden nur GET-Anfragen. Genau wie höflich Crawlern gehorchen den bots.txt.

Aber auch Google ist schnell und locker mit der Definition von höflich zu spielen, ihre Crawler hat einschließlich Stackoverflow schweren Bandbreite Schäden an einigen Standorten durchgeführt.