Consolidare i dati provenienti da molti diversi database in uno con latenza minima

Question

Ho 12 basi di dati per un totale di circa 1,0 TB, ciascuno su un diverso server fisico che esegue SQL 2005 Enterprise - tutte con lo stesso schema preciso. Ho bisogno di scaricare questi dati in un unico database separato in modo che possiamo utilizzare per altri scopi (reporting, servizi web, ecc) con un massimo di latenza di 1 ora.

Si deve anche notare che questi server sono tutti nello stesso rack, collegati da connessioni gigabit e che gli inserti relativi alle banche dati sono minime (Med. 2500 record / ora). Il metodo attuale è molto flakey: I dati sono attualmente in fase di replica (SQL Server replica transazionale) da ciascuno dei 12 server a un database su un altro server (sì, 12 diverse tabelle dei dipendenti provenienti da 12 diversi server in un'unica tabella impiegato in diversi server).

Ogni tavolo ha una chiave primaria e le file sono unici in tutte le tabelle (c'è un FacilityID in ogni tabella).

Quali sono le opzioni? Ci deve essere un modo semplice per farlo.

Answer 1

Qual è il problema con SQL Server replica transazionale, molti luoghi lo usano? sembra che è impostato bene, con un FacilityID in ogni database?

Answer 2

A seconda di quanti tavoli hai a che fare con esso potrebbe essere più facile da impostare alcuni pacchetti ETL SSIS che spostano i dati da ciascuno dei tavoli. Se si imposta le configurazioni dei pacchetti e lo schema è lo stesso che si dovrebbe essere in grado di utilizzare lo stesso set di pacchetti per tutti i database. Se si dispone di più di 10-20 tavoli che probabilmente o non fare i pacchetti ETL o vorrei fare in modo che la creazione di loro è stato automatizzato in qualche modo.

Answer 3

Come avete Enterprise Edition e con le dimensioni dei dati, stessi schemi lei ha ricordato, un approccio potrebbe essere quello di utilizzare le tabelle partizionati, 1 per ciascuna delle diverse fonti sul server di destinazione, esempio si potrebbe utilizzare per la chiave di partizione della [ FacilityID] colonna citato sempre che sia unqiue per ciascuna sorgente, poi seguendo solo dati normali operazioni di spostamento che areUsed per spostare i dati tra partizione, questo sarebbe allora invia un tavolo consolidata (partizionata) sembra quindi sei dopo.