ログ情報からカスタムデータを収集するために使用する適切なETLツール

Question

さまざまな種類のログファイルから大量のデータを収集して保存する必要がありますが、必要な前に必要な情報のみを抽出するために特定のフィールドをフィルタリングします。だから私は、ETLツールを使用して私のためにダートサービスを行う可能性について考えています。私のアイデアは、ファイルコネクタ、プログラミング、または変換プロセスのカスタマイズに基づいてソリューションを構築し、最後にこのソリューションをLinuxマシンに展開して、ファイルを監視し、必要な情報を抽出し、これをデータベースに保存できるようにします。

だから私の質問はそうです。この仕事にもっと適した、柔軟で、より多くのキスをするオープンソースツールは何ですか？

Scriptella、Kettle、才能など？

繰り返しますが、事実上のツールとしてログ/テキストファイルを使用して作業しますか？

男らしい意図と目的は、ログを監視、抽出し、データ形式のログ形式を監視し、抽出し、保存するための効率的なソリューションを作成することです。

どうも！

Answer 1

私が最良の組み合わせであると信じているのは、Apache HadoopまたはGridgain、またはJPPF（大きなデータセットの処理用）のようなマップレディュース実装です + JDMP データマイニング + NOSQL DBの場合、クエリと検索用（NEO4JまたはBigTableなど）。正確なユースケースは何であるかはまだ明確ではありません;-)

また、このリンクを参照してください。 Hadoopのバッチログ処理ツール（Zohmg Alternatives）を知っていますか？