¿Cómo se implementa reglas de calidad de datos y validación en un almacén de datos?

Question

Estoy desarrollando un almacén de datos para ser parte de la suite de aplicaciones empresariales de mi compañía. Así que he aprendido mucho acerca de los conceptos DW pero el motor de reglas parece difícil y no puedo encontrar mucha información sobre diversas formas de implementar. El enfoque de las reglas es que la calidad de los datos de validación, y también alerta cuando se alcanzan ciertas métricas de negocio ($ xx, xx en las ventas para el mes, por ejemplo)

Nuestras necesidades de aplicaciones para ser personalizable para cada cliente, por lo que me gustaría hacer las reglas genéricas. ¿Cuáles son algunas maneras de implementar un motor de reglas?

1. listas herramientas hechas? (Voy a redistribuir por lo que esta por lo general no funciona bien)
2. Marcos / API
3. Diseño Paterns para crear nuestra propia
4. Otras ideas

Gracias.

Answer 1

Se puede ayudar a ver esto como tener unos sistemas independientes que trabajan juntos -. A diferencia de un "gran motor" ser responsable de todo

Cuando se trata de "métricas de negocio", vistazo a KPI (indicadores clave de rendimiento). motores analíticos ( MS-SSAS , Pentaho-Mondrian , etc ...) para permitir la sencilla definición y presentación (cuadros de mando) de los KPI. Si el desarrollo de su propia, es posible hacerse una idea del concepto.

Calidad de la mayoría es la responsabilidad de los "sistemas operativos", que es donde se recogen los datos. Si la basura llega a DW, ya es demasiado tarde. Utilice de datos de perfiles de herramientas para tener una idea de cómo se ven los datos de origen como -. calidad de los datos se ha de aplicar a la fuente

Durante el proceso de carga del DW, se puede utilizar de CDPI (Extracto, limpio, Conform, Deliver) enfoque paso a paso para implementar ciertos "estándares de datos". herramientas ETL ( MS-SSIS , Pentaho-Hervidor , Oracle Data Itegrator , etc ..) están diseñados para ayuda con esto.

En cuanto a motores de reglas, mira inrule ILOG Fico , Corticon , Jboss Drools , etc. Estos son 'sistemas independientes', y pueden ser utilizados para hacer cumplir las reglas de negocio cuando orquestada con operativa Los sistemas. La aplicación de las reglas de negocio por lo general conduce a una mayor calidad de los datos. Puede descargar Drools y empezar a juguetear con bastante rapidez, otros proveedores permiten que algunas descargas de regalo de promoción también.