crawlers e GET vs POST pedidos

Question

Ouvi dizer que crawlers devem seguir apenas requisições GET e não os POST.

No mundo real, isso é uma suposição válida?

Answer 1

Geralmente eles não fazem solicitações POST. Este é apenas o estado atual das coisas e não é ditada em qualquer lugar, eu acredito. Alguns motores de busca são experimentando com rastejando formas , mas estes ainda são requisições GET.

Answer 2

Você está perguntando se indexadores irá analisar os URLs de tags de formulário e segui-los? Alguns vão. É uma suposição bastante segura eles sempre usará o GET verbo embora.

bots de spam são uma história diferente.

Answer 3

crawlers Polite só usam solicitações GET. Assim como rastreadores educado obedecer à bots.txt.

No entanto, até mesmo o Google está jogando rápido e solto com a definição de educado, seu rastreador fez sérios danos largura de banda para alguns sites, incluindo stackoverflow.