¿Googlebots ignorando el archivo robots.txt? [cerrado]
-
19-08-2019 - |
Pregunta
Tengo un sitio con el siguiente robots.txt en la raíz:
User-agent: *
Disabled: /
User-agent: Googlebot
Disabled: /
User-agent: Googlebot-Image
Disallow: /
Y Googlebots escanea las páginas de este sitio todo el día. ¿Hay algún problema con mi archivo o con Google?
Solución
Debe ser Disallow:
, no Disabled:
.
Otros consejos
Quizás proporcione el Google robots.txt checker una prueba
Google tiene una herramienta de análisis para verificar las entradas de robots.txt, lea sobre esto aquí
También es posible que desee verificar las direcciones IP del '' pícaro '' robots para ver si realmente son propiedad de Google.
También creo que el bot baja la página y toma la primera directiva que le corresponde. En su caso, Googlebot y Googlebot-Image nunca verían sus directivas específicas porque respetarían el " User-Agent: * " primero.
Haga caso omiso de esta respuesta. Encontré información que señala que este no es el caso. El bot debe encontrar la directiva específica y respetarla