Googlebots Ignorant le fichier robots.txt? [fermé]

StackOverflow https://stackoverflow.com/questions/344697

  •  19-08-2019
  •  | 
  •  

Question

J'ai un site avec le fichier robots.txt suivant à la racine: 

User-agent: *
Disabled: /

User-agent: Googlebot 
Disabled: /

User-agent: Googlebot-Image
Disallow: /

Et les pages de ce site sont numérisées par Googlebots toute la journée. Quelque chose ne va pas dans mon fichier ou dans Google?

Était-ce utile?

La solution

Ce doit être interdit: , pas désactivé: .

Autres conseils

Vous pouvez éventuellement indiquer le vérificateur Google robots.txt à essayer

Google dispose d'un outil d'analyse permettant de vérifier les entrées de robots.txt, lisez à ce sujet ici

Vous pouvez également vérifier les adresses IP du " voyous " robots pour voir s’ils appartiennent réellement à Google.

Je pense aussi que le bot descend la page et prend la première directive qui lui est applicable. Dans votre cas, Googlebot et Googlebot-Image ne verraient jamais leurs directives spécifiques car ils respecteraient le paramètre "User-Agent: *". premier.

Ne tenez pas compte de cette réponse. J'ai trouvé des informations qui indiquent que ce n'est pas le cas. Le bot doit trouver la directive qui lui est propre et la respecter

Licencié sous: CC-BY-SA avec attribution
Non affilié à StackOverflow
scroll top