Googlebot заменяет приложение ссылки Rails SubdomaN

Question

У меня есть это приложение Rails с доменным именем abc.com. Анкет У меня также есть отдельный поддомен для статистики Piwik, в этом субдомене stats.abc.com.

Googlebot каким -то образом перечислил некоторые ссылки с моим поддоменом.

http://abc.com/login
http://stats.abc.com/login
http://abc.com/signup
http://stats.abc.com/signup

Те с stats будет ссылаться на одну и ту же страницу в приложении, но обращаются совершенно разные веб -сайты.

Я вставил robots.txt в stats После этого, но задается вопросом, есть ли какой -нибудь подходящий способ заблокировать это, потому что у меня могут быть новые субдомены в будущем. Вот мой контент в robots.txt

User-agent: *
Disallow: /

Спасибо.

Answer 1

Robots.txt будет блокировать это просто отлично. Перед тем, как публиковать сайт, просто важно помнить - Google довольно быстрый. Некоторые поисковые системы игнорируют robots.txt. Лучше всего не иметь субдоменов, которые на самом деле не соответствуют вам ситуации. Я рекомендую прочитать истинную цель субдоменов. Вы не должны служить одним и тем же сайтом в разных доменах. Вы должны использовать 301 Direct или иметь различное содержимое в разных (суб) доменах ... если только Stats.abc.com не содержит различный материал, он не должен быть субдоменом. Для чего именно вам нужно так много поддоменов?

Ты мог Обнаруйте пользовательский агент, и если это бот, верните 404