Rastreadores web y solicitudes GET vs POST

Question

He oído que los rastreadores web deben seguir solo las solicitudes GET y no las POST.

¿En el mundo real es una suposición válida?

Answer 1

Generalmente no hacen solicitudes POST. Esto es solo el estado actual de las cosas y no se dicta en ninguna parte, creo. Algunos motores de búsqueda son experimentando con los formularios de rastreo , pero estas siguen siendo solicitudes GET.

Answer 2

¿Pregunta si los rastreadores analizarán las URL de las etiquetas de formulario y las seguirán? Algunos lo harán. Sin embargo, es una suposición bastante segura que siempre usarán el verbo GET.

Los robots de spam son una historia diferente.

Answer 3

Los rastreadores educados solo usan solicitudes GET. Al igual que los rastreadores educados obedecen los bots.txt.

Sin embargo, incluso Google está jugando rápido y suelto con la definición de educado, su rastreador ha causado graves daños al ancho de banda en algunos sitios, incluido stackoverflow.