Googlebots Ignorant le fichier robots.txt? [fermé]
-
19-08-2019 - |
Question
J'ai un site avec le fichier robots.txt suivant à la racine:
User-agent: *
Disabled: /
User-agent: Googlebot
Disabled: /
User-agent: Googlebot-Image
Disallow: /
Et les pages de ce site sont numérisées par Googlebots toute la journée. Quelque chose ne va pas dans mon fichier ou dans Google?
La solution
Ce doit être interdit:
, pas désactivé:
.
Autres conseils
Vous pouvez éventuellement indiquer le vérificateur Google robots.txt à essayer
Google dispose d'un outil d'analyse permettant de vérifier les entrées de robots.txt, lisez à ce sujet ici
Vous pouvez également vérifier les adresses IP du " voyous " robots pour voir s’ils appartiennent réellement à Google.
Je pense aussi que le bot descend la page et prend la première directive qui lui est applicable. Dans votre cas, Googlebot et Googlebot-Image ne verraient jamais leurs directives spécifiques car ils respecteraient le paramètre "User-Agent: *". premier.
Ne tenez pas compte de cette réponse. J'ai trouvé des informations qui indiquent que ce n'est pas le cas. Le bot doit trouver la directive qui lui est propre et la respecter