Googlebots Ignorando robots.txt? [fechadas]

Question

Eu tenho um site com o seguinte robots.txt na raiz:

User-agent: *
Disabled: /

User-agent: Googlebot 
Disabled: /

User-agent: Googlebot-Image
Disallow: /

e páginas dentro deste site estão sendo digitalizados por Googlebots todo o dia. Existe errado alguma coisa com o meu arquivo ou com o Google?

Answer 1

Deve ser Disallow:, não Disabled:.

Answer 2

Talvez dar a Google robots.txt verificador uma tentativa

Answer 3

O Google tem uma ferramenta de análise para verificação de entradas robots.txt, leia sobre isso aqui

Você também pode querer verificar os endereços IP dos robôs "párias" para ver se eles realmente são de propriedade da Google.

Answer 4

Também acredito que o bot vai para baixo a página e leva a primeira directiva que se aplica a ele. No seu caso, o Googlebot e o Googlebot-Imagem nunca veria suas directivas específicas, porque eles iriam respeitar o "User-Agent: *". First

Desconsidere esta resposta. Eu encontrei a informação que aponta para o que não é o caso. O bot deve encontrar o específico directiva-la e respeitá-lo