Consolidar dados de muitos bancos de dados diferentes em um com latência mínima

Question

Eu tenho 12 bancos de dados totalizando aproximadamente 1,0 TB, cada um em um servidor físico diferente executando a SQL 2005 Enterprise - todos com o mesmo esquema exato. Preciso descarregar esses dados em um banco de dados único separado para que possamos usar para outros fins (relatórios, serviços da Web, ECT) com um máximo de latência de 1 hora.

Deve -se notar também que esses servidores estão todos no mesmo rack, conectados por conexões de gigabit e que as inserções nos bancos de dados são mínimos (Avg. 2500 registros/hora). O método atual é muito flakey: os dados estão sendo replicados no momento (replicação transacional do SQL Server) de cada um dos 12 servidores para um banco de dados em outro servidor (sim, 12 tabelas de funcionários diferentes de 12 servidores diferentes em uma única tabela de funcionários em uma diferente servidor).

Cada tabela possui uma chave primária e as linhas são únicas em todas as tabelas (existe um FacilityID em cada tabela).

Quais são minhas opções? Tem que haver uma maneira simples de fazer isso.

Answer 1

Qual é o problema com a replicação transacional do SQL Server, muitos lugares a usam? Parece que está bem configurado, com um FacilityID em cada banco de dados?

Answer 2

Dependendo de quantas tabelas você está lidando, pode ser mais fácil configurar alguns pacotes SSIS ETL que movem os dados de cada uma das tabelas. Se você configurar configurações de pacote e o esquema for o mesmo, poderá usar o mesmo conjunto de pacotes para todos os bancos de dados. Se você tiver mais de 10 a 20 tabelas, eu provavelmente não faria os pacotes ETL ou garantiria que a criação deles fosse automatizada de alguma forma.

Answer 3

Como você tem a Enterprise Edition e com os tamanhos de dados, os mesmos esquemas que você mencionou, uma abordagem pode ser usar tabelas partitadas, 1 para cada uma das diferentes fontes no servidor de destino, exemplo que você pode usar para a chave de partição, a coluna [FacilityId] Você mencionou assumindo que isso não se una a cada fonte e, em seguida, seguindo as operações normais de mover dados que são usadas para mover dados entre a partição, isso daria a você uma tabela consolidada (particionada) que você parece.