Comment séparer physiquement/logiquement la couche d'intégration et l'entrepôt de données et est-ce nécessaire ?

Question

Sur notre serveur de test DWH, nous utilisons Vertica Community Edition.Nous sommes très satisfaits des performances du processus ETL et des requêtes.

Nous importons des données de quelques sources (Informix, SQL Server, MySQL, Google Docs) en les plaçant dans un seul schéma, avec le préfixe businessProcessName_stage_

À la fin du processus ETL, il existe de nombreuses tables appelées businessProcessName_fact et bussinessProcessName_dim_dimName et peu shared_dim_dimName.

Est-il nécessaire de séparer ces tables dans un schéma différent, ou peut-être dans une base de données différente ?La même question concerne les datamarts au sein de DWH.

Nous utilisons principalement des schémas en étoile, des show-flake à quelques reprises, et il existe même un datamart conçu avec une table plate.

Answer 1

La plupart des systèmes de bases de données utilisent le niveau de base de données comme hiérarchie logique la plus élevée.Cependant, Vertica ne permet qu'à une seule base de données de s'exécuter à la fois.Cela signifie que la conception logique a lieu au niveau du schéma.Par exemple, un système de base de données traditionnel peut comporter des bases de données telles que customers et orders.Dans Vertica, ceux-ci seraient identifiés au niveau du schéma.

L'organisation logique et la convention de dénomination varient selon les organisations.Ce qui compte, c'est qu'il soit standard et utilisé de manière cohérente.Vous voudrez peut-être examiner ce qui s’emboîte logiquement et regrouper les tables en conséquence.Par exemple, chaque nom de processus métier peut avoir son propre schéma (business_process_name.fact_table).Il est préférable d'être explicite plutôt que d'utiliser un seul schéma, même si vous disposez de peu de tables.Si à l’avenir vous ajoutez des tables supplémentaires, ce sera plus facile à gérer.

Un autre avantage de l’utilisation de schémas serait l’administration.Lors de l'exécution de sauvegardes ou de tâches de maintenance, elles peuvent être effectuées au niveau du schéma.