是否有任何点在具有 与内容只有一行象下面一个robots.txt

用户代理:*

相比在所有不具有它?

有帮助吗?

解决方案

没有,谷歌(我们不要拐弯抹角,谷歌是你应该关心的搜索引擎),在默认情况下,除非你告诉它不要会爬的一切。

如果你想帮助谷歌,谷歌使用网站管理员工具,并以正确的格式提交Sitemap

http://www.google.com /support/webmasters/bin/answer.py?hl=en&answer=156184

其他提示

没有;存在这样做没有任何意义。

许可以下: CC-BY-SA归因
不隶属于 StackOverflow
scroll top