¿Googlebots ignorando el archivo robots.txt? [cerrado]

StackOverflow https://stackoverflow.com/questions/344697

  •  19-08-2019
  •  | 
  •  

Pregunta

Tengo un sitio con el siguiente robots.txt en la raíz: 

User-agent: *
Disabled: /

User-agent: Googlebot 
Disabled: /

User-agent: Googlebot-Image
Disallow: /

Y Googlebots escanea las páginas de este sitio todo el día. ¿Hay algún problema con mi archivo o con Google?

¿Fue útil?

Solución

Debe ser Disallow: , no Disabled: .

Otros consejos

Quizás proporcione el Google robots.txt checker una prueba

Google tiene una herramienta de análisis para verificar las entradas de robots.txt, lea sobre esto aquí

También es posible que desee verificar las direcciones IP del '' pícaro '' robots para ver si realmente son propiedad de Google.

También creo que el bot baja la página y toma la primera directiva que le corresponde. En su caso, Googlebot y Googlebot-Image nunca verían sus directivas específicas porque respetarían el " User-Agent: * " primero.

Haga caso omiso de esta respuesta. Encontré información que señala que este no es el caso. El bot debe encontrar la directiva específica y respetarla

Licenciado bajo: CC-BY-SA con atribución
No afiliado a StackOverflow
scroll top