使用数据挖掘/统计进行日志监控

Question

我有一大堆日志文件，我想要描述它们的特征，或者可能添加某种决策树或某种分析。但我不知道具体是什么。你对日志文件做了什么样的分析，很多日志文件。

例如，到目前为止，我正在收集对给定日志文件的特定页面发出的请求数量。

servlet = 60 recrets servlet2 = 70请求，等等。

我想就在那里，仅按最受欢迎的请求进行过滤。此外，可能会在 2 小时内执行 60 个请求之类的操作。60 / 160 分钟。

Answer 1

决定进行哪些分析取决于您尝试根据该分析做出哪些决策。例如，我当前监视应用程序报告的异常日志（客户端应用程序中的所有异常都记录在服务器中），以确定哪些应该是需要调查的高优先级客户端错误。我还使用日志搜索软件来监视我们的服务器软件报告的任何可能需要立即进行调查的异常。除了一切生成的日志之外，我还使用一些监控软件来跟踪我们的网络服务器和数据库服务器的使用情况，记录使用情况统计等。在数据库中。这样做的最终目的是预测未来的使用水平并酌情购买更多硬件以满足需求。

我一直在使用的两个（免费）工具是：

金丝桃属 对于监控来说，它的设置非常容易，并且可能能够开始记录您可能感兴趣的大量数据，即网络服务器上每秒的请求数。

斯普朗克 对于搜索日志文件，它非常容易设置和使用，并为您提供出色的日志文件搜索功能。如果您现在正在处理日志文件并且尚未尝试过 splunk，我绝对推荐它。我注意到在我们的主生产服务器上使用它时，有几次 cpu 利用率为 100%，因此最近停止在该机器上运行它，只是警告一下。

不确定您的分析目的是什么，我的分析主要是寻找我应该知道的任何错误，并规划未来的容量需求。如果你对后者感兴趣我也推荐 容量规划的艺术.