¿Cómo deben implementarse las reglas comerciales en ETL?

Question

Trabajo en un producto que importa datos de un mainframe usando SSIS a través de un archivo plano. Los paquetes SSIS usan una base de datos de etapa para transformar los datos de archivos planos y luego llamar a los procedimientos almacenados en los ODS para cargar los datos transformados. Existe un plan potencial para enrutar todos los datos ETL a través de una capa de servicio .NET (en lugar de directamente a los OD a través de procedimientos almacenados) para centralizar las reglas/actividades comerciales, etc. Estoy buscando información sobre este enfoque y opiniones disidentes.

Answer 1

Suena bien; Estás convirtiendo ETL básico en ETVL, agregando un paso de "validar". Normalmente, esto se considera parte de la etapa de "transformación", pero prefiero mantener esa etapa más pura cuando conceptualizo una arquitectura como esta; La transformación está convirtiendo los campos crudos que se sacaron y se cortaron en la etapa de extracto en objetos de mi modelo de dominio. Verificar que esos objetos se encuentren en un estado válido para el sistema es la validación.