Googlebots Ignorando robots.txt? [chiuso]

StackOverflow https://stackoverflow.com/questions/344697

  •  19-08-2019
  •  | 
  •  

Domanda

Ho un sito con il seguente robots.txt nella radice: 

User-agent: *
Disabled: /

User-agent: Googlebot 
Disabled: /

User-agent: Googlebot-Image
Disallow: /

E le pagine di questo sito vengono scansionate dai Googlebot tutto il giorno. C'è qualcosa di sbagliato nel mio file o in Google?

È stato utile?

Soluzione

Dovrebbe essere Non consentire: , non Disabilitato: .

Altri suggerimenti

Forse dai il Google robots.txt checker una prova

Google ha uno strumento di analisi per controllare le voci di robots.txt, leggi qui

Potresti anche voler controllare gli indirizzi IP di " rogue " robot per vedere se sono realmente di proprietà di Google.

Inoltre credo che il bot scenda la pagina e prenda la prima direttiva ad esso applicabile. Nel tuo caso, Googlebot e Googlebot-Image non vedrebbero mai le loro direttive specifiche perché rispetterebbero l'Agente utente: * " prima.

Ignora questa risposta. Ho trovato informazioni che indicano che questo non è il caso. Il bot dovrebbe trovare la direttiva specifica e rispettarla

Autorizzato sotto: CC-BY-SA insieme a attribuzione
Non affiliato a StackOverflow
scroll top