Impedire a Googlebot di chiamare i metodi ajax

Question

Googlebot continua a cercare di chiamare i metodi ajax sul mio sito. Ad esempio: default.aspx / GetStuffWithAjax

Il problema è che questo metodo dovrebbe essere impossibile per Google di chiamare dal im controllo con javascript se querystring ha id = xxxx prima di chiamare. Non v'è alcun legame con nessuna parte questo querystring che Google potrebbe seguire.

È possibile che le scansioni Bot per PageMethods.GetStuffWithAjax nel mio codice html e poi cerca solo di chiamare il metodo ajax? E come potrei evitare questo .. Chiunque?

Answer 1

Mettere Disallow: /GetStuffWithAjax come riga nel file robots.txt alla radice del tuo dominio.

Answer 2

È possibile utilizzare robots.txt per comunicare a Google (e altri bot buoni) non andarci. Controllare qui:

• http://www.robotstxt.org/