Der beste Weg, mehrere Protokolldateien von mehreren Servern aggregieren [geschlossen]

Question

Ich brauche eine einfache Möglichkeit, mehrere Text Log-Dateien über eine Reihe von HP-UX-Server verteilt zu überwachen. Sie sind eine Mischung aus Text und XML-Protokolldateien aus mehreren verteilten Legacy-Systemen. Derzeit nur ssh wir zu den Servern und verwenden tail -f und grep , aber das nicht skaliert, wenn Sie viele Protokolle haben im Auge zu behalten.

Da die Protokolle sind in verschiedenen Formaten und Dateien nur in Ordnern (automatisch gedreht, wenn sie eine bestimmte Größe erreichen) Ich muß sowohl sie aus der Ferne sammeln und jedem anders zu analysieren.

Mein erster Gedanke war, einen einfachen Daemon-Prozess zu machen, dass ich auf jedem Server mit einem benutzerdefinierten Dateileser für jeden Dateityp ausführen kann es in ein gemeinsames Format zu analysieren, die über das Netzwerk über eine Socket exportiert werden können. Ein anderer Viewer-Programm lokal ausgeführt werden an diese Anschlüsse an und die analysierten Protokolle in einigen einfachen Tabbed GUI zeigen oder auf einer Konsole zusammengefasst.

Was Log-Format sollte ich versuchen, zu konvertieren, wenn ich es auf diese Weise zu implementieren?

Gibt es eine andere Art und Weise einfacher? Soll ich versuchen, die Protokolldateien in die log4j-Format zu übersetzen, verwenden, um mit Chainsaw oder gibt es bessere log Zuschauer, die auf Remote-Buchsen anschließen können? Könnte ich BareTail wie in eine andere Protokoll Frage? Dies ist kein massivly System verteilt und die aktuellen Protokollimplementierungen für alle Anwendungen zu ändern UDP-Broadcast zu verwenden oder eine JMS-Warteschlange gestellt Nachrichten auf keine Option ist.

Answer 1

Optionen:

1. ein SocketAppender Verwenden Sie alle Protokolle 1 Server direkt zu senden. (Dies könnte serverly Leistung behindern und einen Single Point of Failure hinzuzufügen.)
2. Verwenden Sie Skripte, um die Daten zu aggregieren. Ich benutze scp, ssh und Authentifizierungsschlüssel meine Skripte zu ermöglichen, Daten von allen Servern ohne Anmeldungsaufforderungen zu erhalten.

Answer 2

Wahrscheinlich die leichteste Lösung für Echtzeit-Protokollbeobachtung zu verwenden ist

Wir verwenden einen einfachen Shell-Skript wie das unten. Sie würden offensichtlich haben es zu zwicken etwas es über die verschiedenen Dateinamen zu sagen und entscheiden, welche für die auf aussehen Box, aber Sie die grundlegende Idee. In unserem Fall sind Tailing uns eine Datei an der gleichen Stelle auf mehreren Boxen. Dies erfordert SSH-Authentifizierung über gespeicherten Schlüssel stattdessen in Passwörter eingeben.

#!/bin/bash
FILE=$1
for box in box1.foo.com box2.foo.com box3.foo.com box4.foo.com; do
     ssh $box tail -f $FILE &
done

In Bezug auf Mike Funk Kommentar über nicht in der Lage, tötet das Tailing mit ^ C, speichere ich die oben in einer Datei namens multitails.sh und die folgenden zu dem Ende davon angehängt. Dies erzeugt eine Datei kill_multitails.sh die Sie ausführen, wenn Sie Tailing fertig sind, und löscht sie dann selbst.

# create a bash script to kill off 
# all the tails when you're done
# run kill_multitails.sh when you're finished

echo '#!/bin/sh' > kill_multitails.sh
chmod 755 kill_multitails.sh
echo "$(ps -awx | grep $FILE)" > kill_multitails_ids
perl -pi -e 's/^(\d+).*/kill -9 $1/g' kill_multitails_ids
cat kill_multitails_ids >> kill_multitails.sh
echo "echo 'running ps for it'" >> kill_multitails.sh
echo "ps -awx | grep $FILE" >> kill_multitails.sh
echo "rm kill_multitails.sh" >> kill_multitails.sh
rm kill_multitails_ids


wait

Logscape - wie splunk ohne das Preisschild

multitail oder

" Chip ist eine lokale und Remote-Log-Analyse und Monitoring-Tool für Systemadministratoren und Entwickler.
Es wickelt die Eigenschaften von Swatch, T-Stück, Schwanz, grep, ccze und E-Mail in ein, mit einigen Extras "

Eg.

Chip -f -M0 = 'RUN' -s0 = 'rot' -m1 = -s1 user1 @ remote_ip1 '*.': '/ Var / log / log1 / var / log / log 2 / var / log / log 3 user2 @ remote_ip2: '/ var / log / log1 / var / log / log 2 / var / log / log 3’ ' | egrep "RUN | ==> /"

Dies wird das Vorkommen des -M0 Musters in rot markieren, Vorfilterung des. ‚RUN | ==> /‘ Muster aus allen Protokolldateien

Ich schrieb vsConsole genau zu diesem Zweck - einfachen Zugriff auf Log-Dateien - und dann hinzugefügt App Überwachung und Versionsverfolgung. Möchte wissen, was Sie davon halten. http://vs-console.appspot.com/

Dinastats bietet einen Perl-Skript, das zusammen mehr Apache-Log-Dateien zusammenführen kann. Dieses Skript skaliert gut, da der Speicherbedarf sehr gering ist, protokolliert Dateien werden nie in den Speicher geladen. Ich weiß, dass si nicht genau das, was man braucht, aber vielleicht können Sie von diesem Skript starten und passen es für Ihre Bedürfnisse.

Sie können die verschiedenen Empfänger verwenden zur Verfügung mit Kettensäge (VFSLogFilePatternReceiver bis zum Schwanz Dateien über ssh, SocketReceiver, UDPReceiver, CustomSQLDBReceiver, usw.) und dann aggregieren die Protokolle in einer einzigen Registerkarte durch die Standard-Tab-Kennung zu ändern oder einen ‚benutzerdefinierten Ausdruck logpanel Schaffung 'durch einen Ausdruck erstellen, die die Ereignisse in den verschiedenen Quell Registerkarten entspricht.

gltail - Echtzeit-Visualisierung von Server-Verkehr, Veranstaltungen und Statistiken mit Ruby SSH und OpenGL von mehreren Servern

XpoLog für Java

Answer 3

Answer 4

Answer 5

Wir verwenden einen einfachen Shell-Skript wie das unten. Sie würden offensichtlich haben es zu zwicken etwas es über die verschiedenen Dateinamen zu sagen und entscheiden, welche für die auf aussehen Box, aber Sie die grundlegende Idee. In unserem Fall sind Tailing uns eine Datei an der gleichen Stelle auf mehreren Boxen. Dies erfordert SSH-Authentifizierung über gespeicherten Schlüssel stattdessen in Passwörter eingeben.

#!/bin/bash
FILE=$1
for box in box1.foo.com box2.foo.com box3.foo.com box4.foo.com; do
     ssh $box tail -f $FILE &
done

In Bezug auf Mike Funk Kommentar über nicht in der Lage, tötet das Tailing mit ^ C, speichere ich die oben in einer Datei namens multitails.sh und die folgenden zu dem Ende davon angehängt. Dies erzeugt eine Datei kill_multitails.sh die Sie ausführen, wenn Sie Tailing fertig sind, und löscht sie dann selbst.

# create a bash script to kill off 
# all the tails when you're done
# run kill_multitails.sh when you're finished

echo '#!/bin/sh' > kill_multitails.sh
chmod 755 kill_multitails.sh
echo "$(ps -awx | grep $FILE)" > kill_multitails_ids
perl -pi -e 's/^(\d+).*/kill -9 $1/g' kill_multitails_ids
cat kill_multitails_ids >> kill_multitails.sh
echo "echo 'running ps for it'" >> kill_multitails.sh
echo "ps -awx | grep $FILE" >> kill_multitails.sh
echo "rm kill_multitails.sh" >> kill_multitails.sh
rm kill_multitails_ids


wait

Answer 6

Answer 7

Logscape - wie splunk ohne das Preisschild

Answer 8

Answer 9

Answer 10

Answer 11

multitail oder

" Chip ist eine lokale und Remote-Log-Analyse und Monitoring-Tool für Systemadministratoren und Entwickler.
Es wickelt die Eigenschaften von Swatch, T-Stück, Schwanz, grep, ccze und E-Mail in ein, mit einigen Extras "

Eg.

Chip -f -M0 = 'RUN' -s0 = 'rot' -m1 = -s1 user1 @ remote_ip1 '*.': '/ Var / log / log1 / var / log / log 2 / var / log / log 3 user2 @ remote_ip2: '/ var / log / log1 / var / log / log 2 / var / log / log 3’ ' | egrep "RUN | ==> /"

Dies wird das Vorkommen des -M0 Musters in rot markieren, Vorfilterung des. ‚RUN | ==> /‘ Muster aus allen Protokolldateien

Answer 12

Ich schrieb vsConsole genau zu diesem Zweck - einfachen Zugriff auf Log-Dateien - und dann hinzugefügt App Überwachung und Versionsverfolgung. Möchte wissen, was Sie davon halten. http://vs-console.appspot.com/

Answer 13

Dinastats bietet einen Perl-Skript, das zusammen mehr Apache-Log-Dateien zusammenführen kann. Dieses Skript skaliert gut, da der Speicherbedarf sehr gering ist, protokolliert Dateien werden nie in den Speicher geladen. Ich weiß, dass si nicht genau das, was man braucht, aber vielleicht können Sie von diesem Skript starten und passen es für Ihre Bedürfnisse.

Answer 14

Sie können die verschiedenen Empfänger verwenden zur Verfügung mit Kettensäge (VFSLogFilePatternReceiver bis zum Schwanz Dateien über ssh, SocketReceiver, UDPReceiver, CustomSQLDBReceiver, usw.) und dann aggregieren die Protokolle in einer einzigen Registerkarte durch die Standard-Tab-Kennung zu ändern oder einen ‚benutzerdefinierten Ausdruck logpanel Schaffung 'durch einen Ausdruck erstellen, die die Ereignisse in den verschiedenen Quell Registerkarten entspricht.

Answer 15

gltail - Echtzeit-Visualisierung von Server-Verkehr, Veranstaltungen und Statistiken mit Ruby SSH und OpenGL von mehreren Servern

Answer 16

XpoLog für Java