对于面向公众的网站,我是否绝对需要robots.txt文件?
-
03-07-2019 - |
题
我正在审查我的几个网站,以确保我的SEO基础被覆盖。相关网站上没有私人网页,我们希望将所有网页编入索引。无论如何,包括robots.txt文件,即使不需要,也会让我的网站看起来更有信誉,对Google很重要吗?
解决方案
我只会包含一个空白的,因为没有它,你的服务器仍在向请求者吐出404消息。这可能比空白的robots.txt文件更大。
其他提示
根据 Google ,它是一个好主意。他们的指示/指导实际上非常彻底。
只有谷歌才能为您解答。
根据维基百科,robots.txt仅适用于黑名单,速率限制和站点地图
这个问题已经得到解答,但答案都有点陈旧,搜索结果中出现了这个问题,事情也发生了变化。
Google现在推荐以下内容:
如果您希望搜索引擎为您网站中的所有内容编制索引,则不会 需要一个robots.txt文件(甚至不是空文件)。
JohnMu(谷歌)也制作了以下建议:
我建议更进一步,也许删除 robots.txt文件完全。
不,它不会。
谷歌有自己的规则来决定,不会依赖于robots.txt的存在。
搜索引擎会查找robots.txt文件。如果不存在,搜索引擎将获得404.即使它是空白的,也有一个好主意。
不隶属于 StackOverflow