GoogleBotは、Railsアプリのリンクをサブドメインに置き換えます

Question

ドメイン名のこのRailsアプリがあります abc.com. 。また、このサブドメインでは、piwik統計のために別のサブドメインを持っています stats.abc.com.

GoogleBotは、何らかの形で私のサブドメインとのリンクの一部をリストしました。

http://abc.com/login
http://stats.abc.com/login
http://abc.com/signup
http://stats.abc.com/signup

とのもの stats アプリ内の同じページを参照しますが、まったく異なるWebサイトが扱われます。

私は入れました robots.txt の stats この問題の後、しかし、これをブロックするのに適切な方法があるかどうか疑問に思っています。これが私のコンテンツです robots.txt

User-agent: *
Disallow: /

ありがとう。

Answer 1

robots.txtはそれをうまくブロックします。サイトを公開する前に覚えておくことが重要です - Googleはかなり速いです。一部の検索エンジンはrobots.txtを無視しています。最善のことは、あなたの状況に本当に合わないサブドメインがないことです。サブドメインの真の目的を読むことをお勧めします。異なるドメインで同じサイトを提供してはいけません。 301の直接を使用するか、異なる（sub）ドメインに異なる内容を持つ必要があります... stats.abc.comに異なる素材が含まれていない限り、サブドメインであってはなりません。非常に多くのサブドメインが必要なのは正確には何ですか？

君 たぶん......だろう ユーザーエージェントを検出し、ボットの場合は404も返します