Comment les règles métier doivent-elles être implémentées dans ETL?

Question

Je travaille sur un produit qui importe des données d'un mainframe en utilisant SSIS via un fichier plat.Les packages SSIS utilisent une base de données d'étape pour transformer les données de fichier plat, puis appellent des procédures stockées dans l'ODS pour charger les données transformées.Il existe un plan potentiel pour acheminer toutes les données ETL via une couche de service .NET (au lieu de directement vers l'ODS via des procédures stockées) pour centraliser les règles / activités métier, etc. Je recherche des commentaires sur cette approche et des opinions dissidentes.

Answer 1

Ça a l'air bien;vous transformez l'ETL de base en ETVL, en ajoutant une étape de «validation».Normalement, cela est considéré comme faisant partie de l'étape de «transformation», mais je préfère garder cette étape plus pure lorsque je conceptualise une architecture comme celle-ci;transformer transforme les champs bruts qui ont été extraits et découpés au stade de l'extraction en objets de mon modèle de domaine.Vérifier que ces objets sont dans un état valide pour le système est une validation.