Come dovrebbero essere implementate le regole aziendali in ETL?

Question

Lavoro su un prodotto che importa dati da un mainframe utilizzando SSIS tramite file flat. I pacchetti SSIS utilizzano un database stage per trasformare i dati dei file flat e quindi chiamare le procedure memorizzate negli OD per caricare i dati trasformati. Esiste un potenziale piano per instradare tutti i dati ETL attraverso un livello di servizio .NET (anziché direttamente su ODS tramite procedure memorizzate) per centralizzare le regole/attività aziendali, ecc. Sto cercando input su questo approccio e opinioni dissenzienti.

Answer 1

Suona bene; Stai trasformando ETL di base in ETVL, aggiungendo un passaggio "convalidato". Normalmente questo è considerato parte della fase di "trasformata", ma preferisco mantenere quella fase più pura quando concettualizza un'architettura come questa; La trasformazione sta trasformando i campi grezzi che sono stati estratti e tagliati nella fase di estrazione in oggetti del mio modello di dominio. Verificare che tali oggetti siano in uno stato valido per il sistema è la convalida.