En utilisant Datamining / Statistiques pour Log Monitoring

Question

J'ai un grand nombre de fichiers journaux que je veux caractériser ou peut-être ajouter une sorte d'arbre de décision ou une sorte d'analyse. Mais je ne sais pas exactement quoi. Quel genre d'analyse avez-vous fait avec les fichiers journaux, un grand nombre de fichiers journaux.

Par exemple, jusqu'à présent je collectionne le nombre de demandes sont faites à une page particulière pour un fichier journal donné.

Servlet = 60 Requets Servlet2 = 70 demandes, etc.

Je suppose que là, filtrer par seules les demandes les plus populaires. Aussi, pourrait faire quelque chose comme 60 demandes d'un délai de 2 heures. 60/160 minutes.

Answer 1

Décider ce que l'analyse à faire dépend de ce que les décisions que vous essayez de faire en fonction de cette analyse. Par exemple, je surveille actuellement les journaux pour les exceptions signalées par notre application (toutes les exceptions dans l'application cliente sont connectés avec le serveur) de décider ce qui devrait être des bugs de clients hautement prioritaires pour enquêter. J'utilise également un logiciel de recherche de journal pour surveiller toutes les exceptions signalées par notre logiciel serveur qui peut nécessiter une enquête plus immédiate. En plus des journaux générés par tout cas, je l'utilise également un logiciel de surveillance pour suivre l'utilisation de notre serveur Web et le serveur de base de données qui enregistre des statistiques d'utilisation, etc. dans une base de données. L'objectif final de c'est de prédire les niveaux d'utilisation futurs et d'acheter plus de matériel, le cas échéant pour répondre à la demande.

Deux outils (gratuits) Je l'ai utilisé sont:

Hyperic pour la surveillance, il est assez facile à mettre en place et pourrait être en mesure de commencer à vous connecter beaucoup de les données que vous pouvez être intéressé par, demandes-à-dire par seconde sur un serveur web.

Splunk pour la recherche des fichiers journaux, il est très facile de se mettre en place et de travailler avec et vous offre une excellente la recherche des capacités sur vos fichiers journaux. Si vous travaillez avec des fichiers journaux en ce moment et ne l'avez pas essayé splunk Je le recommande vraiment. Je l'ai remarqué quelques instants de cpu 100% tout en utilisant sur notre serveur principal de production ainsi arrêté en cours d'exécution sur cette machine récemment, juste un mot d'avertissement.

Je ne sais pas ce que votre objectif est de cette analyse, la mienne a été beaucoup sur la recherche d'erreurs que je devrais connaître, et la planification des besoins futurs en capacité. Si vous êtes intéressé par ce dernier, je vous recommande également L'art de la capacité de planification .