Googlebot sostituisce i link dei Rails con sottodominio

Question

Ho questa applicazione Rails, con nome di dominio abc.com. Inoltre sto avendo un sottodominio separato per Piwik statistiche, in questo sottodominio stats.abc.com.

Googlebot qualche modo elencato alcuni dei collegamenti con la mia sottodominio troppo.

http://abc.com/login
http://stats.abc.com/login
http://abc.com/signup
http://stats.abc.com/signup

Quelli con stats farà riferimento alla stessa pagina in app, ma sono trattati sito completamente diverso.

ho messo in robots.txt in stats dopo questa materia, ma chiedendosi se c'è un modo adeguato per bloccare questo perché io possa avere nuovi sottodomini in futuro. Ecco il mio contenuto in robots.txt

User-agent: *
Disallow: /

Grazie.

Answer 1

robots.txt blocca proprio bene. E 'solo importante ricordare prima di pubblicare un sito - Google è piuttosto veloce. Alcuni motori di ricerca ignorano robots.txt. La cosa migliore da fare è non avere sottodomini che in realtà non si adattano situazione. Vi consiglio di leggere il vero scopo di sottodomini. Non si dovrebbe essere servendo lo stesso sito in domini diversi. È necessario utilizzare un 301 diretta o avere contenuti diversi su diversi (sotto) domini ... A meno che stats.abc.com contiene materiale diverso, non dovrebbe essere un sottodominio. Che cosa esattamente cosa avete bisogno per tanti sottodomini?

potrebbe rilevare l'user-agent, e se si tratta di un bot, restituire un 404 troppo