Googlebots 忽略 robots.txt？[关闭]

StackOverflow https://stackoverflow.com/questions/344697

  •  19-08-2019
  •  | 
  •  

题

我有一个网站，根目录中有以下 robots.txt：

User-agent: *
Disabled: /

User-agent: Googlebot 
Disabled: /

User-agent: Googlebot-Image
Disallow: /

该网站内的页面整天都被 Googlebot 扫描。我的文件或 Google 有问题吗？

有帮助吗？

解决方案

应当Disallow:，不Disabled:。

其他提示

Google 有一个用于检查 robots.txt 条目的分析工具， 在这里阅读相关内容

您可能还想检查“流氓”机器人的 IP 地址，看看它们是否确实属于 Google 所有。

此外，我认为，BOT下降的页面，并采取适用于它的第一个指令。在你的情况，那么Googlebot和Googlebot-Image再也看不到他们的具体指示，因为他们会尊重“的User-Agent：*”。第一个

<强>忽略此答案。我发现，指向这个情况不是这样的信息。机器人应该找到特定于它的指令，尊重它

许可以下： CC-BY-SA 和 归因
不隶属于 StackOverflow
scroll top