Googlebot sta strisciando il mio sito e inserendo feedback sul mio sistema di rating

Question

Il mio sistema di classificazione consente agli utenti anonimi di aggiungere voti, ma crawler di Google è cose di rating.

Come posso garantire che Googlebot non seguirà il link?

Answer 1

Non si dovrebbe accettare una richiesta GET per qualsiasi azione che modifica i dati (di voto, la modifica di un post, ecc). Il tuo voto dovrebbe essere fatto tramite una richiesta POST, che Googlebot non eseguirà.

Maggiori informazioni in questo post SO: quando si usa POST e quando si usa GET?

Answer 2

Usa un file robots.txt per sottolineare i collegamenti che i bot non dovrebbero seguire. Ad esempio, inserire il seguente nel http://example.com/robots.txt

User-Agent: *
Disallow: /vote.php

Si può leggere di più su robots.txt qui: http://www.robotstxt.org/

Google e tutti gli altri bot ben educati leggeranno e seguire le indicazioni nel file robots.txt.

Se si hanno anche problemi con i bot non seguendo queste direzioni si dovrà codice di una logica per bloccare i bot, o almeno a diminuire il loro impatto. È possibile ad esempio log quanti voti hai avuto da un indirizzo IP in un determinato periodo di tempo e di blocco voti sopra di tale livello. Un'altra soluzione può essere quella di consentire solo i messaggi, e anche avere una logica JS (o simile) per bloccare bots spam, ma che è molto più lavoro di quanto robots.txt in modo che solo mettere tempo in esso se diventa un problema.

Si può anche bloccare i bot cattivi-comportandosi completamente bloccando i loro indirizzi IP sul server web. Ci sono alcune liste di bot cattivi-comportarsi là fuori si può provare, se si preferisce la soluzione di blocco.