Googlebots Ignoriert robots.txt? [geschlossen]

Question

Ich habe eine Seite mit dem folgende robots.txt im Stamm:

User-agent: *
Disabled: /

User-agent: Googlebot 
Disabled: /

User-agent: Googlebot-Image
Disallow: /

Und Seiten auf dieser Site werden immer von Googlebots den ganzen Tag gescannt. Gibt es etwas falsch mit meiner Datei oder mit Google?

Answer 1

Es sollte Disallow: werden, nicht Disabled:.

Answer 2

Vielleicht geben die Google robots.txt checker ein Versuch

Answer 3

Google ein Analysetool zur Überprüfung robots.txt Einträge hat, lesen sie hier

Sie mögen vielleicht auch die IP-Adressen der „Schurkenstaaten“ Roboter überprüfen, um zu sehen, ob sie wirklich im Besitz von Google ist.

Answer 4

Auch glaube ich, dass der Bot geht unten auf der Seite und nimmt die erste Richtlinie, die sie sich bezieht. In Ihrem Fall Googlebot und Googlebot-Bild würden nie ihre spezifische Richtlinien, weil sie den „User-Agenten: *“ respektieren würden. Erste Seite

Ignorieren Sie diese Antwort. Ich fand Informationen, die diese Punkte nicht der Fall zu sein. Der Bot sollte die Richtlinie speziell für sie finden und respektieren es