Googlebot用子域替换了Rails应用程序的链接

Question

我有这个铁路应用程序，带有域名 abc.com. 。我也有一个单独的子域，用于Piwik统计数据，在此子域中 stats.abc.com.

Googlebot以某种方式列出了我的子域的一些链接。

http://abc.com/login
http://stats.abc.com/login
http://abc.com/signup
http://stats.abc.com/signup

与那些 stats 将在应用程序中引用同一页面，但被视为完全不同的网站。

我放了 robots.txt 在 stats 此事之后，但是想知道是否有任何适当的方法可以阻止此问题，因为我将来可能会有新的子域。这是我的内容 robots.txt

User-agent: *
Disallow: /

谢谢。

Answer 1

Robots.txt将固定好的。在发布网站之前，请记住很重要 - Google非常快。一些搜索引擎忽略了robots.txt。最好的办法是没有真正适合您情况的子域。我建议阅读子域的真正目的。您不应在不同域上提供同一站点。您应该在不同的（子）域上使用301直接或具有不同的内容...除非stats.abc.com包含不同的材料，否则它不应是子域。您到底需要这么多子域？

你 可以 检测用户代理，如果是机器人，也返回404