Como separar física/logicamente a camada de integração e o data warehouse e isso é necessário?

Question

Em nosso servidor DWH de teste, estamos usando o Vertica Community Edition.Estamos muito satisfeitos com o processo ETL e o desempenho das consultas.

Importamos dados de algumas fontes (Informix, SQL Server, MySQL, Google Docs) colocando-os em um esquema, com prefixo negócioProcessName_stage_

No final do processo ETL existem muitas tabelas chamadas negócioProcessName_fact e negócioProcessName_dim_dimName e poucos shared_dim_dimName.

Existe a necessidade de separar essas tabelas em esquemas diferentes ou talvez em bancos de dados diferentes?A mesma pergunta se aplica aos data marts dentro do DWH.

Estamos usando principalmente esquema em estrela, show-flake algumas vezes, e há até um data mart projetado para tabela plana.

Answer 1

A maioria dos sistemas de banco de dados usa o nível do banco de dados como a hierarquia lógica mais alta.No entanto, o Vertica permite apenas que um único banco de dados seja executado por vez.Isto significa que o design lógico ocorre no nível do esquema.Por exemplo, um sistema de banco de dados tradicional pode ter bancos de dados como customers e orders.No Vertica, eles seriam identificados no nível do esquema.

A organização lógica e a convenção de nomenclatura variam entre as organizações.O que importa é que seja padrão e usado de forma consistente.Você pode querer ver o que se encaixa logicamente e agrupar as tabelas de acordo.Por exemplo, cada nome de processo de negócios pode ter seu próprio esquema (business_process_name.fact_table).É melhor ser explícito em vez de usar um único esquema, mesmo se você tiver poucas tabelas.Se no futuro você adicionar tabelas adicionais, será mais fácil de gerenciar.

Outro benefício do uso de esquemas seria para administração.Ao realizar backups ou tarefas de manutenção, eles podem ser executados no nível do esquema.