Utilidad de la herramienta ETL derecho de uso de datos personalizada a cobro revertido de información de registro

Question

necesito para recoger y almacenar una gran cantidad de datos de diferentes tipos de archivos de registro, pero antes es necesario ciertos campos de filtro para extraer sólo la información necesaria. Así que estoy pensando acerca de la posibilidad de utilizar una herramienta ETL para hacer el servicio de tierra para mí. Mi idea es construir una solución basada en el conector de archivos, programación o personalizar los procesos de transformación y finalmente implementar esta solución en máquinas Linux para el archivo de observación de poder sobre la marcha, extraer la información necesaria y almacenar esto en la base de datos, por ejemplo.

Así que mi pregunta es. ¿Qué herramienta de código abierto es más adecuado, flexible y más de KISS para este trabajo?

Scriptella, Hervidor, el talento o la otra?

Una vez más, para el trabajo con el registro / archivos de texto que existe como una herramienta de facto?

La intención viril y es objetivo crear una solución eficiente para ver, los registros de extraer y almacenar datos de forma distritos registros formatos.

Thx!

Answer 1

Lo que yo creo que es la mejor combinación es: mapa-reducir aplicación como Apache Hadoop o gridgain o JPPF (para el procesamiento de grandes conjuntos de datos) + jdmp para la minería de datos NoSQL + dB para consulta y recuperación (Neo4j o Bigtable etc). Todavía no está claro en lo que es el caso de uso exacto; -)

También busque este enlace para más detalles: ¿conoce herramientas de procesamiento de registro de lote para hadoop (alternativas) zohmg?