Utilizzando datamining / statistiche per il Monitoraggio log

Question

Ho un grande insieme di file di log che voglio caratterizzare o, eventualmente, aggiungere un qualche tipo di albero di decisione o di un qualche tipo di analisi. Ma io non so esattamente cosa. Che tipo di analisi hai fatto con i file di log, un sacco di file di log.

Per esempio, finora sto raccogliendo quante richieste sono fatti per una pagina particolare per un determinato file di log.

Servlet = 60 requets Servlet2 = 70 richieste, ecc.

Credo che proprio lì, filtro soltanto le richieste più popolari. Inoltre, potrebbe fare qualcosa di simile a 60 richieste di un periodo di 2 ore. 60/160 minuti.

Answer 1

Decidere cosa fare analisi dipende da ciò che le decisioni che stai cercando di fare sulla base di tale analisi. Per esempio, ho attualmente monitorare i log relativi a eccezioni segnalati dai nostri applicazione (tutte le eccezioni nell'applicazione client vengono registrati con il server) per decidere quello che dovrebbe essere alti bug client priorità per indagare. Io uso anche il software di ricerca di log per monitorare eventuali eccezioni segnalati dai nostri server software che potrebbe essere necessario un'indagine più immediata. In cima i log generati da tutto ciò in ogni caso, ho anche utilizzare alcuni software di monitoraggio per monitorare l'utilizzo del nostro server web e server di database che registra statistiche di utilizzo, ecc in un database. Lo scopo finale di questo è quello di prevedere futuri livelli di utilizzo e l'acquisto di più hardware come appropriato per tenere il passo con la domanda.

Due (gratuito) strumenti che ho usato sono:

Hyperic per il monitoraggio, è abbastanza facile da installare e potrebbe essere in grado di avviare la registrazione un sacco di dati che potrebbe essere interessato a, vale a dire le richieste al secondo su un server web.

Splunk per la ricerca dei file di registro, è molto facile da ottenere impostare e lavorare con e ti dà eccellente capacità di ricerca oltre i file di log. Se si lavora con i file di log in questo momento e non hanno provato splunk Lo consiglio vivamente. Ho notato un paio di momenti di 100% della CPU durante l'utilizzo sul nostro server di produzione principale in modo fermato in esecuzione su quella macchina di recente, solo una parola di avvertimento.

Non sei sicuro di ciò che il vostro obiettivo è con questa analisi, il mio è stato molto in cerca di eventuali errori che dovrei sapere, e la pianificazione per esigenze di capacità future. Se siete interessati a quest'ultimo Consiglio anche L'arte di Capacity Planning .