Crawles Web et requêtes GET vs POST

Question

J'ai entendu dire que les robots Web sont supposés suivre uniquement les requêtes GET et non les requêtes POST.

Dans le monde réel, cette hypothèse est-elle valable?

Answer 1

Généralement, ils ne font pas de requêtes POST. C’est juste l’état actuel des choses et ce n’est pas dicté nulle part, je crois. Certains moteurs de recherche expérimentent des formulaires d'analyse , mais ce sont toujours des requêtes GET.

Answer 2

Demandez-vous si les robots d'exploration analyseront les URL des balises de formulaire et les suivront? Certains vont. C’est une hypothèse plutôt sûre, mais ils utiliseront toujours le verbe GET.

Les robots de spam sont une autre histoire.

Answer 3

Les robots d'analyse n'utilisent que les requêtes GET. Tout comme les chenilles polies obéissent aux robots.txt.

Cependant, même si Google ne joue pas avec la définition de poli, son robot d'exploration a causé de graves dommages en bande passante à certains sites, y compris le stackoverflow.