只说“Mozilla/4.0”的用户代理就是机器人,对吗?
-
08-07-2019 - |
题
我在网络应用程序中收到几个请求,这些请求基本上是错误的,我的代码不应该生成......主要是对 .ashx 的请求,没有指定任何 GET 参数。
用户代理是“ Mozilla/4.0”(仅此)IPS每天都有不同。
这是一个机器人,对吧?
谢谢!
解决方案
这对我来说似乎很奇怪。任何合法的机器人都会以您能识别的方式识别自己。任何恶意机器人都能够做得更好,使用户代理看起来像普通的浏览器。这是在中间的某个地方。结合不好的要求,这让我相信你正在处理普通的无能。
无论哪种方式,您可能希望404这些请求而不是返回黄屏错误。
其他提示
很抱歉碰到旧问题,但我认为这是中国防火墙使用的机器人。 他们抓取网页内容,并进行审查。
检查您的日志,看看是否有类似'GET /cert/bazs.cert'的内容。
100%确定是否找到了。
根据 http://www.user-agents.org ,'雅虎心态:意图-driven Search'bot报告此事。
但是,它不是浏览器报告的。
这些请求是您自己编写的现有页面,还是获得404?
在后一种情况下,它可能是某种扫描攻击,试图在使用漏洞攻击它们之前检测易受攻击的应用程序实例。
我已经在几个网站上实现了 asp.net 端请求跟踪,通过查看记录,我可以说只有用户代理“Mozilla/4.0”可以由以下任何原因生成:
- 无能
- 搜索机器人
- 攻击机器人
有趣的是,我的第一个Android被识别为“Safari 3.0”,最新的Android被识别为“Mozilla 0”!因此很难将无能归咎于特定的软件生成。
对每个此类请求返回 404 可能不是搜索机器人的最佳方法,特别是如果这是内容频繁更改的公共网站。
另一方面,您应该意识到,要求 WebResource.axd
目标无效的地方指向跨站点脚本攻击。在这种情况下,建议使用 SanitizerProvider。您可以阅读有关此类攻击的更多信息 跨站脚本.
识别攻击的另一个好处是查看 IIS 日志文件,这些文件通常位于 [系统根目录]:\inetpub\logs\LogFiles\W3SVC1。以下是我的用于解析 IIS 日志文件的工具的片段:
在这种情况下,用户代理不是问题,机器人攻击是通过从 2 个不同的 IP 请求“/dbadmin/index.php”来识别的。攻击机器人正在寻找几个文件/页面。
希望这会有所帮助并为这个问题带来额外的价值。