Googlebot substitue les liens de l'application Rails avec sous-domaine

Question

J'ai cette application Rails, avec le nom de domaine abc.com. J'ai aussi un sous-domaine séparé pour les statistiques Piwik, dans ce sous-domaine stats.abc.com.

Googlebot liste en quelque sorte quelques-uns des liens avec mon sous-domaine aussi.

http://abc.com/login
http://stats.abc.com/login
http://abc.com/signup
http://stats.abc.com/signup

Ceux avec stats fera référence à la même page dans l'application, mais sont traités site tout à fait différent.

Je l'ai mis en robots.txt dans stats après cette question, mais se demander s'il y a un bon moyen de bloquer parce que je peux avoir de nouveaux sous-domaines à l'avenir. Voici mon contenu dans robots.txt

User-agent: *
Disallow: /

Merci.

Answer 1

robots.txt bloquer très bien. Il est juste important de se rappeler avant de publier un site - Google est assez rapide. Certains moteurs de recherche ignorent robots.txt. La meilleure chose à faire est pas sous-domaines qui ne vous convient pas vraiment la situation. Je recommande la lecture du vrai but de sous-domaines. Vous ne devriez pas être hébergez le même site sur des domaines différents. Vous devez utiliser un 301 domaines direct ou avoir des contenus sur différents (sous) ... À moins stats.abc.com contient un matériau différent, il ne doit pas être un sous-domaine. Que faites-vous exactement besoin de tant de sous-domaines pour?

peut détecter l'agent utilisateur, et si elle est un bot, retourner un 404 trop