Mit Datamining / Statistiken für Log Monitoring

Question

Ich habe einen großen Satz von Protokolldateien, die ich mag möglicherweise charakterisieren oder irgendeine Art von Entscheidungsbaum oder irgendeine Art von Analytik hinzufügen. Aber ich weiß nicht genau, was. Welche Art von Analyse haben Sie mit Log-Dateien durchgeführt, viele Protokolldateien.

Zum Beispiel, so weit ich sammle, wie viele Anträge sind auf eine bestimmte Seite für eine bestimmte Protokolldatei.

Servlets = 60 requets Servlet2 = 70 Anfragen, etc.

Ich denke, genau dort, Filter nur die beliebtesten Anfragen. Auch könnte so etwas wie 60 Anträge der einen Zeitraum von 2 Stunden tun. 60/160 Minuten.

Answer 1

Die Entscheidung, was zu tun Analyse hängt davon ab, welche Entscheidungen Sie basiert zu machen sind die versuchen, auf dieser Analyse. Zum Beispiel überwache ich zur Zeit Protokoll für Ausnahmen von unserer Anwendung gemeldet (alle Ausnahmen in der Client-Anwendung mit dem Server angemeldet), um zu entscheiden, was mit hohen Priorität Client Fehler zu untersuchen sein sollte. Ich log Suchsoftware auch für alle Ausnahmen von unserem Server Software berichtet zu überwachen benutzen, die direktere Untersuchung benötigen. Hinzu kommt die durch alles generierten Protokolle wie auch immer, benutze ich auch einige Monitoring-Software Nutzung unseres Web-Server und Datenbank-Server zu verfolgen, die Nutzungsstatistiken usw. in einer Datenbank erfasst. Das endgültige Ziel ist die künftige Nutzung Ebene und kaufen mehr Hardware als angemessen zu halten mit der Nachfrage.

vorherzusagen

Zwei (kostenlos) Werkzeuge, die ich verwendet habe, sind:

Hyperic für die Überwachung, ist es ziemlich einfach einzurichten und könnte eine Menge anfangen kann, Protokollierung Daten können Sie in, dh Anfragen pro Sekunde auf einem Web-Server interessiert sein.

Splunk für Log-Dateien suchen, ist es sehr einfach, mit zu gründen und zu arbeiten und gibt Ihnen eine ausgezeichnete Suchfunktionen über Ihre Log-Dateien. Wenn Sie mit Protokolldateien jetzt arbeiten und haben nicht ausprobiert splunk Ich kann es auf jeden Fall. Ich habe ein paar Minuten Zeit von 100% cpu bemerkt, während es auf unsere Produktionsserver mit so hörte es auf dieser Maschine läuft vor kurzem nur ein Wort der Warnung.

Nicht sicher, was Ihr Ziel mit dieser Analyse ist es, Mine für Fehler sehr viel war über die Suche ich wissen soll, und für künftige Kapazitätsbedarfsplanung. Wenn Sie im letzteren interessieren würde ich empfehlen, auch Die Kunst der Kapazitätsplanung .