Usando Datamining / Estatísticas de Monitoramento Log

Question

Eu tenho um grande conjunto de arquivos de log que eu quero para caracterizar ou, eventualmente, adicionar algum tipo de árvore de decisão ou algum tipo de análise. Mas eu não sei exatamente o quê. Que tipo de análise que você fez com os arquivos de log, um monte de arquivos de log.

Por exemplo, até agora estou recolhendo quantas solicitações são feitas para uma página específica para um determinado arquivo de log.

= 60 servlet requets Servlet2 = 70 solicitações, etc.

Eu acho que ali mesmo, filtro, apenas os pedidos mais populares. Além disso, pode fazer algo como 60 solicitações dado um período de 2 horas. 60/160 minutos.

Answer 1

Decidir o que a análise a fazer depende do que decisões que você está tentando fazer com base nessa análise. Por exemplo, eu atualmente monitorar logs para exceções relatados por nosso aplicativo (todas as exceções no aplicativo cliente são registradas com o servidor) para decidir o que deve ser elevado erros cliente prioritárias para investigar. Eu também uso software busca log para monitorar quaisquer excepções relatado por nosso software de servidor que pode precisar de investigação mais imediato. No topo dos logs gerados por tudo de qualquer maneira, eu também usar algum software de monitoramento para rastrear o uso do nosso servidor web e servidor de banco de dados que registra estatísticas de uso etc. numa base de dados. O objectivo final desta acção consiste em prever os níveis de utilização futuras e comprar mais hardware conforme apropriado para acompanhar a demanda.

Dois (livre) ferramentas que eu tenho usado são:

Hyperic para o monitoramento, é muito fácil de configurar e pode ser capaz de começar a registrar um monte de dados que você pode estar interessado em, ou seja, pedidos por segundo em um servidor web.

Splunk para pesquisar arquivos de log, é muito fácil de se configurar e trabalhar com e dá-lhe excelente pesquisar capacidades mais de seus arquivos de log. Se você estiver trabalhando com arquivos de log agora e ainda não experimentou o Splunk Definitivamente recomendo. Tenho notado um par de momentos de 100% da CPU, enquanto a usá-lo em nosso servidor de produção principal, então parou de executá-lo nessa máquina recentemente, apenas uma palavra de advertência.

Não sei o que o seu objectivo é com esta análise, a mina tem sido muito sobre a procura de quaisquer erros que eu deva saber, e planejamento para as necessidades de capacidade futura. Se você estiver interessado no último Eu também recomendo A arte do planejamento de capacidade .