Konsolidieren von Daten aus vielen unterschiedlichen Datenbanken in einen mit minimaler Latenz

Question

Ich habe 12 Datenbanken rund 1,0 TB in Höhe von jeweils auf einem anderen physischen Server mit SQL 2005 Enterprise - alle mit dem gleichen genauen Schema. Ich brauche diese Daten in eine separate einzelne Datenbank auszulagern, so dass wir für andere Zwecke (Reporting, Web Services, ect) mit maximal 1 Stunde Latenz verwenden können.

Es sollte auch beachtet werden, dass diese Server sind alle im gleichen Rack verbunden, von Gigabit-Verbindungen und dass die Einsätze auf die Datenbanken minimal sind (durchschnittl. 2500 Datensätze / Stunde). Die aktuelle Methode ist sehr flakey: Die Daten werden zur Zeit (SQL Server Transactional Replication) von jedem der auf einem anderen Server mit einer Datenbank 12 Server repliziert werden (ja, 12 verschiedene Mitarbeiter Tabellen aus 12 verschiedenen Server in eine einzigen Mitarbeiter Tabelle auf einem anderen Server).

Jede Tabelle hat einen Primärschlüssel und die Reihen sind einzigartig in allen Tabellen (es gibt eine FacilityID in jeder Tabelle ist).

Was sind meine Optionen? Es muss eine einfache Möglichkeit, dies zu tun.

Answer 1

Was ist das Problem mit SQL Server-Transaktionsreplikation, es viele Orte benutzen? es sieht aus wie es schön eingerichtet ist, mit einem FacilityID in jeder Datenbank?

Answer 2

Je nachdem, wie viele Tabellen, die Sie mit ihm zu tun haben könnten einfacher sein, einige SSIS ETL-Pakete einzurichten, die die Daten von jedem der Tabellen bewegen. Wenn stellen Sie Paketkonfigurationen und das Schema ist das gleiche sollten Sie in der Lage sein, den gleichen Satz von Paketen zu benutzen und für alle Datenbanken. Wenn Sie älter als 10 bis 20 Tabellen haben würde ich wahrscheinlich auch nicht die ETL-Pakete tun, oder ich würde sicherstellen, dass die Schaffung von ihnen war irgendwie automatisiert.

Answer 3

Wie Sie Enterprise Edition und mit den Datengrößen haben, gleichen Schemata erwähnt Sie könnte ein Ansatz sein Partitoned Tabellen zu verwenden, 1 für jede der verschiedenen Quellen auf dem Zielserver, Beispiel könnten Sie für die Partition Key mit den Tasten [ FacilityID] Spalte Sie dies unter der Annahme, erwähnt unqiue für jede Quelle, dann folgt nur normale Datenoperationen bewegen, die Daten zwischen Partition verschieben areUsed zu, dies würde Ihnen dann eine konsolidierte Tabelle (partitioniert) Sie klingen wie Sie nach.