Le meilleur format XML pour les événements de journal en termes de prise en charge des outils pour l’exploration de données et la visualisation?

Question

Nous souhaitons pouvoir créer des fichiers journaux à partir de notre application Java, ce qui convient au traitement ultérieur d'outils permettant de rechercher des bogues et de rassembler des statistiques de performances.

Actuellement, nous utilisons le "journal" traditionnel qui peut ou non être aplati sous forme de texte et ajouté à un fichier journal ", mais cela fonctionne mieux pour de petites quantités d'informations lues par un humain.

Après mûre réflexion, le mieux est de stocker les événements du journal sous forme d'extraits XML dans des fichiers texte (qui sont ensuite traités comme tout autre fichier journal), puis de les télécharger sur la machine avec l'outil approprié pour le post-traitement.

J'aimerais utiliser un format XML aussi largement pris en charge que possible, et je suis actuellement dans la catégorie "recherche-alors-prise de décision". phase. J'apprécierais toute aide à la fois en termes de format XML et d'outils, et je serais heureux d'écrire du code collant pour obtenir ce dont j'ai besoin.

Ce que j'ai trouvé jusqu'à présent:

Format XML log4j: pris en charge par tronçonneuse et Vigilog. Lilith format XML: pris en charge par Lilith

Outils non étudiés:

Microsoft Log Parser: Apparemment, supporte XML. Visualiseur de journal OS X:

De plus, il existe de nombreux outils sur http: // www. loganalysis.org/sections/parsing/generic-log-parsers/

Des suggestions?

Answer 1

Il semble que la visionneuse de journaux Lilith contienne un format XML bien adapté à la gestion des fonctionnalités supplémentaires disponibles dans la consignation, et pas seulement à la fonctionnalité log4j.

C’est - pour l’instant - le meilleur pari pour le moment:)

J'ai adapté la classe log4j xmllayout à logback, qui fonctionne avec tronçonneuse.

Comme je n’ai pas pu trouver un visualiseur de journal approprié capable de visualiser les informations sur les événements (au lieu de simplement présenter tous les événements dans un tableau), j’ai pour l’instant décidé de créer une mise en page xml très concise contenant des informations analysables par machine basées sur la ci-dessus, qui peut ensuite être post-traité par Microsoft LogParser dans n’importe quel format dont j’ai besoin.

Answer 2

Malheureusement, je ne peux pas vous donner la réponse que vous recherchez, mais je voudrais vous avertir de quelque chose à prendre en compte lorsque vous vous connectez au XML. Par exemple:

<log>
 <msg level="info">I'm a log message</msg>
 <msg level="info">I'm another message</msg>
 <!-- maybe you won't even get here -->
 <msg level="fatal">My server just ate a flaming death

Dans l'extrait ci-dessus d'un journal XML potentiel, vous pouvez voir le plus gros inconvénient de la journalisation au format XML. En cas de défaillance grave, le format de votre journal est rompu car il nécessite la fermeture des balises. Toutefois, si vous utilisez un programme qui analyse la sortie de votre journal principal, cela ne devrait pas poser trop de problème.

Answer 3

Si vous définissez votre propre écriture de fichier journal XML, vous n'avez pas à vous soucier des balises d'ouverture et de fermeture afin de produire un code XML valide. Elijah a raison de dire que vous avez le problème si vous voulez créer un document XML , mais ce n'est pas nécessaire tout de suite. Le standard W3 définit également les entités XML (voir la section 4.3 de la spécification XML 1.0 du W3, deuxième édition, que je ne peux malheureusement pas renvoyer pour vous car je n’ai pas assez de points), ce qui conviendrait mieux. pour ajouter continuellement des fichiers de style log à un fichier sans réécrire certaines de ses parties. Vous pouvez ensuite créer un document wrapper XML de référence si vous devez travailler avec un document XML réel plutôt qu’une entité XML (voir http://www.perlmonks.org/?node_id=217788#217797 pour un exemple)

Answer 4

L’un des avantages de log4j est qu’il offre de belles possibilités pour personnaliser les formats de journaux et leur emplacement d’écriture.

Ainsi, au lieu de choisir un format de fichier journal, je choisirais une bibliothèque de journalisation qui permette de changer le format et permet également de transférer le journal directement à un programme.

Answer 5

Je vous conseillerais de considérer accès à la consignation pour les événements.

Autre que cela, tout ce qui utilise JMX, car il a été conçu pour correspondre à l'ensemble de fonctionnalités de SNMP.