只说“Mozilla/4.0”的用户代理就是机器人，对吗？

Question

我在网络应用程序中收到几个请求，这些请求基本上是错误的，我的代码不应该生成......主要是对 .ashx 的请求，没有指定任何 GET 参数。

用户代理是“ Mozilla/4.0”（仅此）IPS每天都有不同。

这是一个机器人，对吧？

谢谢！

Answer 1

这对我来说似乎很奇怪。任何合法的机器人都会以您能识别的方式识别自己。任何恶意机器人都能够做得更好，使用户代理看起来像普通的浏览器。这是在中间的某个地方。结合不好的要求，这让我相信你正在处理普通的无能。

无论哪种方式，您可能希望404这些请求而不是返回黄屏错误。

Answer 2

很抱歉碰到旧问题，但我认为这是中国防火墙使用的机器人。 他们抓取网页内容，并进行审查。

检查您的日志，看看是否有类似'GET /cert/bazs.cert'的内容。

100％确定是否找到了。

Answer 3

根据 http://www.user-agents.org ，'雅虎心态：意图-driven Search'bot报告此事。

但是，它不是浏览器报告的。

Answer 4

这些请求是您自己编写的现有页面，还是获得404？

在后一种情况下，它可能是某种扫描攻击，试图在使用漏洞攻击它们之前检测易受攻击的应用程序实例。

Answer 5

我已经在几个网站上实现了 asp.net 端请求跟踪，通过查看记录，我可以说只有用户代理“Mozilla/4.0”可以由以下任何原因生成：

• 无能
• 搜索机器人
• 攻击机器人

有趣的是，我的第一个Android被识别为“Safari 3.0”，最新的Android被识别为“Mozilla 0”！因此很难将无能归咎于特定的软件生成。

对每个此类请求返回 404 可能不是搜索机器人的最佳方法，特别是如果这是内容频繁更改的公共网站。

另一方面，您应该意识到，要求 WebResource.axd 目标无效的地方指向跨站点脚本攻击。在这种情况下，建议使用 SanitizerProvider。您可以阅读有关此类攻击的更多信息 跨站脚本.

识别攻击的另一个好处是查看 IIS 日志文件，这些文件通常位于 [系统根目录]:\inetpub\logs\LogFiles\W3SVC1。以下是我的用于解析 IIS 日志文件的工具的片段：

在这种情况下，用户代理不是问题，机器人攻击是通过从 2 个不同的 IP 请求“/dbadmin/index.php”来识别的。攻击机器人正在寻找几个文件/页面。

希望这会有所帮助并为这个问题带来额外的价值。