Usando Datamining / Estadística para el registro de monitorización

Question

Tengo un gran conjunto de archivos de registro que quiero caracterizar o, posiblemente, añadir una especie de árbol de decisión o algún tipo de análisis. Pero no sé exactamente qué. ¿Qué tipo de análisis se han hecho con los archivos de registro, una gran cantidad de archivos de registro.

Por ejemplo, hasta ahora estoy recogiendo el número de solicitudes se hacen para una página en particular para un determinado archivo de registro.

Servlet = 60 requets Servlet2 = 70 peticiones, etc.

Creo que allí mismo, filtro solamente las peticiones más populares. Además, podría hacer algo como 60 solicitudes dado un periodo de 2 horas. 60/160 minutos.

Answer 1

Decidir qué análisis hacer depende de lo que las decisiones que estamos tratando de hacer en base a ese análisis. Por ejemplo, yo actualmente un seguimiento de los registros de excepciones reportadas por nuestra aplicación (todas las excepciones en la aplicación cliente se registran con el servidor) para decidir lo que debe haber errores de cliente de alta prioridad para investigar. También uso el software de búsqueda de registro para monitorear cualquier excepción informó a los software de servidor que puede necesitar una investigación más inmediata. En la parte superior de los registros generados por todo lo que de todos modos, también utilizo algún software de monitoreo para rastrear el uso de nuestro servidor web y el servidor de base de datos que registra las estadísticas de uso, etc., en una base de datos. El objetivo final de este es predecir futuros niveles de uso y comprar más hardware según sea apropiado para cumplir con la demanda.

Dos herramientas (gratis) He estado usando son:

Hyperic para la supervisión, que es bastante fácil de configurar y podría ser capaz de iniciar el registro de una gran cantidad de datos que puede estar interesado en, por ejemplo, las solicitudes por segundo en un servidor web.

Splunk para buscar archivos de registro, que es muy fácil para ponerse en marcha y trabajar con y le da una excelente capacidades de búsqueda más de los archivos de registro. Si está trabajando con archivos de registro en este momento y no ha probado splunk Definitivamente lo recomiendo. Me he dado cuenta de un par de momentos de 100% de la CPU durante el uso en nuestro servidor principal de producción de modo que deje de funcionar en esa máquina hace poco, sólo una palabra de advertencia.

No está seguro de lo que su objetivo es con este análisis, la mía ha sido en gran medida por buscar cualquier error que debería saber, y la planificación de las futuras necesidades de capacidad. Si está interesado en este último También recomiendo El arte de la capacidad de planificación .