Was ist der beste Komponenten Stack für verteilte Protokoll Aggregator Gebäude (wie Splunk)?

Question

Ich versuche, die besten Komponenten zu finden ich etwas ähnliches wie Splunk, um aggregierte Protokolle aus einer großen Anzahl von Servern in Computing Grid bauen nutzen könnte. Auch sollte es verteilt werden, weil ich Gigs von Protokollen jeden Tag haben und keine einzige Maschine zu speichern Protokolle können.

bin ich besonders in etwas interessiert, die mit Ruby arbeitet und wird unter Windows arbeiten und neuesten Solaris (ja, ich habe einen Zoo).

Ich sehe Architektur wie:

• Log-Crawler (Ruby-Skript).
• Distributed Log-Speicher.
• Distributed-Suchmaschine.
• Leichte Frontend.

Log-Crawler und verteilte Suchmaschine sind aus Fragen - Protokolle werden von Ruby-Skript und Elasticsearch analysiert wird, um Indexprotokollmeldungen verwendet werden. Front-End ist auch sehr einfach zu wählen -. Sinatra

Mein Hauptproblem ist, verteilt Protokollspeicher. Ich schaute auf MongoDB, CouchDB, HDFS, Cassandra und HBase.

• MongoDB wurde abgelehnt, weil es nicht auf Solaris funktioniert.
• CouchDB nicht unterstützt Sharding (smartproxy ist erforderlich, damit es funktioniert, aber das ist etwas, was ich will nicht einmal versuchen).
• Cassandra funktioniert gut, aber es ist nur ein Speicherplatz Schwein und es erfordert Laufen Autobalance Alltag die Last zwischen Cassandra Knoten zu verbreiten.
• HDFS sah vielversprechend aus, aber Filesystem API ist nur Java und JRuby ein Schmerz war.
• sah HBase wie eine beste Lösung um, aber es Bereitstellung und Überwachung ist nur eine Katastrophe - um HBase ich Notwendigkeit zu starten HDFS starten Prüfen Sie zunächst, dass es ohne Probleme gestartet, dann HBase starten und es auch prüfen, und dann starten REST-Service und überprüfen sie es auch.

So bin ich stecken. Etwas sagt mir, HDFS oder HBase sind das Beste, was als Log-Speicher zu verwenden, aber HDFS funktioniert nur reibungslos mit Java und HBase ist nur ein sich entfalte / Überwachung Alptraum.

Kann jemand teilen seine Gedanken oder Erfahrung im Aufbau ähnliche Systeme Komponenten I oben oder mit etwas beschrieben ganz anderes?

Answer 1

würde ich mit Flume empfehlen Ihre Daten in HBase . Sie könnten auch die Elasticsearch Sink verwenden für Flume einen Suchindex auf dem Laufenden zu halten Echtzeit.

Für mehr finden Sie unter meine Antwort auf eine ähnliche Frage auf Quoren .

Answer 2

In Bezug auf Java und HDFS - ein Tool wie Beanshell verwenden, können Sie mit dem HDFS Speicher via Javascript in Wechselwirkung treten.