ログ監視のためのデータマイニング/統計を使用しました

Question

私は特性または多分決定木や分析のいくつかの種類のいくつかの種類を追加したいログファイルの大規模なセットを持っています。しかし、私は正確に何を知りません。分析のどのようなログファイル、ログファイルの多くで行われている。

たとえば、これまでのところ、私は与えられたログファイルの特定のページに作られていますどのように多くの要求を収集しています。

サーブレット= 60 requets Servlet2 = 70曲のリクエスト、など。

私は、すぐそこだけ最も人気の要求によって、フィルタを推測します。また、2時間の期間を与えられた60個の要求のような何かをするかもしれません。 160分の60分。

Answer 1

何をすべきかを分析決めるのはあなたがその分析に基づいて作成しようとしているものの決定に依存します。例えば、私は現在、調査する優先度の高いクライアントのバグがどうあるべきかを決定する（クライアントアプリケーション内のすべての例外は、サーバにログインしている）我々のアプリケーションによって報告された例外のログを監視します。私はまた、より迅速な調査が必要になる場合があり、当社のサーバソフトウェアによって報告されたすべての例外を監視し、ログ検索ソフトウェアを使用しています。とにかくすべてによって生成されるログの上に、私はまた、当社のウェブサーバとデータベースになど使用統計情報を記録するデータベース・サーバの使用状況を追跡するために、いくつかの監視ソフトウェアを使用しています。この最終的な目的は、将来の使用レベルを予測し、需要に追いつくために、必要に応じてより多くのハードウェアを購入することです。

私が使用してきた2つ（無料）ツールがあります：

のHyperic の監視のために、それを設定するために非常に簡単ですし、たくさんのログを開始することができるかもしれませんデータは、Webサーバー上の毎秒、すなわちリクエストに興味があるかもしれません。

のSplunk のログファイルを検索するためには、セットアップとで作業を取得するのは非常に簡単です、あなたが優れた提供しますログファイルの上に検索機能を。あなたが今、ログファイルを操作しているとのSplunkを試していない場合、私は間違いなくそれをお勧めします。私は、私たちの主な生産・サーバ上でそれを使用しながら、100％のCPUの瞬間のカップルはそう、最近、そのマシン上で警告のちょうど単語を、それを実行している停止に気づいています。

あなたの目的は、この分析では何かわからない、鉱山は、私が知っておくべきすべてのエラーを探して、そして将来の容量のニーズのための計画について非常に多くなっています。あなたは後者に興味があるなら、私も計画キャパシティのアート