Comment visualisez-vous les fichiers journaux en temps réel?

Question

Parfois, cela peut être utile, mais surtout avoir l'air cool ou impressionnant de visualiser les fichiers journaux (quelque chose à partir des requêtes http et de l'utilisation de la bande passante pour des tasses de café bues par jour). Je connais les Visitorville qui ont l'air un peu ridicules, et puis il y a gltail .

Comment "visualisez-vous" vos fichiers journaux en temps réel?

Answer 1

Vous pouvez jeter un oeil à Apache Chainsaw. Cet outil astucieux permet d’enregistrer des revenus de presque tout le monde et dispose d’un filtrage et d’une coloration en direct. Si vous avez un journal déjà écrit, je ne sais pas s'il peut le lire, cela fait un moment que je ne l'ai pas utilisé la dernière fois (très utile pour la phase de prototypage de notre serveur JBoss)

Answer 2

Il existe également l’outil logstalgia. Visualise les journaux Apache. Voir http://code.google.com/p/logstalgia/ pour plus de détails et une vidéo youtube.

Answer 3

Google a publié la API de visualisation suffisamment souple pour vous aider:

  

L'API de visualisation de Google vous permet d'accéder à plusieurs sources de données structurées que vous pouvez afficher, en choisissant parmi une vaste sélection de visualisations. L’API de visualisation de Google fournit également une plate-forme permettant de créer, partager et réutiliser des visualisations écrites par la communauté des développeurs.

Il nécessite des connaissances en Javascript et inclut l'intégration de Google Documents, Intégration de tableur. Consultez la Galerie pour des exemples.

Answer 4

Vous pouvez jeter un oeil à ceci. http://www.intalisys.com . Application 3D temps réel

Answer 5

Nous utilisons des Awk et des scripts Perl pour analyser les fichiers journaux et créer des rapports de synthèse et " ; bases de données " (techniquement, les bases de données dans le sens où chaque ligne correspond à un événement unique avec de nombreuses colonnes de données sur cet événement, mais non stockées dans un format de base de données traditionnel. Nous allons dans cette direction). J'aime Awk car vous pouvez très rapidement rechercher des chaînes spécifiques dans les fichiers journaux à l'aide de regex, conserver des compteurs et collecter des données à partir des entrées de fichier journal, et effectuer toutes sortes de calculs avec ces données. Ensuite, utilisez votre logiciel de traçage préféré. Nous utilisons Excel, principalement parce que c’était ce qui était là avant que je commence ce travail. Je préfère MATLAB et son cousin open source, Octave , qui repose sur gnuplot.

Answer 6

Je préfère Scierie pour visualiser les données. En gros, vous pouvez utiliser n'importe quel fichier journal et le système ne détectera pas uniquement sa structure *, mais décidera également de la manière de l’analyser. Même si vous avez un fichier journal personnalisé, vous pouvez toujours définir quoi et comment doit être analysé et visualisé.

Answer 7

J'utilise principalement R pour visualiser les données, mais j'ai entendu parler de Orange également.

Answer 8

Je ne suis pas sûr que cela corresponde à la question, mais je viens de publier ceci:

• numStepCsvLogVis - analyse les données du fichier journal au format CSV

Il utilise matplotlib de Python, est motivé par le besoin de visualiser les données syslog dans le contexte du débogage de l'opération (et des variables) du tampon circulaire du noyau en C; et il visualise en utilisant le format de fichier CSV comme intermédiaire pour les données du fichier journal (je ne peux pas l'expliquer mieux en bref - jetez un coup d'œil au fichier README pour plus de détails).

Il comporte une "étape". joueur accédé dans le terminal, et peut gérer "live" stdin , mais malheureusement, je ne peux pas obtenir une meilleure réponse que 1 FPS lors du rendu du tracé, je ne l'appellerais donc pas vraiment "temps réel". per se - mais vous pouvez l'utiliser pour éventuellement générer des vidéos sonifiées d'animations de tracés.

Answer 9

Une solution simple consiste à utiliser Logstalgia avec le poids léger serveur Web local .

Installez d'abord ce qui précède. Ensuite, à partir du dossier racine de votre site, visualisez vos journaux en temps réel avec:

$ ws --log-format default | logstalgia -

Answer 10

À l'aide de SciTe, Notepad ++ ou d'un autre éditeur de texte puissant doté de routines de traitement de fichiers, vous pouvez créer un script qui colorise des parties du journal ou en efface simplement certaines lignes non importantes.