题
是否有任何点在具有 与内容只有一行象下面一个robots.txt
用户代理:*
相比在所有不具有它?
解决方案
没有,谷歌(我们不要拐弯抹角,谷歌是你应该关心的搜索引擎),在默认情况下,除非你告诉它不要会爬的一切。
如果你想帮助谷歌,谷歌使用网站管理员工具,并以正确的格式提交Sitemap
http://www.google.com /support/webmasters/bin/answer.py?hl=en&answer=156184
其他提示
没有;存在这样做没有任何意义。
不隶属于 StackOverflow