Dateireplikationslösungen

Question

Nachdenken über einen Windows-gehosteten Build-Prozess, der regelmäßig Dateien auf der Festplatte fallen wird auf mehr anderen Windows-Server im selben Rechenzentrum repliziert werden. Die anderen Maschinen würden IIS ausgeführt und dienen diese Dateien, um die Massen.

Die gesamte Korpus Größe würde Millionen von Dateien, 100 von GB Daten sein. Es müßte mit möglichen Konkurrenzsituationen auf den Zielservern, latent Links behandeln z.B. über ein WAN, Kaltstart sauber Server

Lösungen Ich habe darüber nachgedacht, so weit:

• queue'd System und Dämonen entweder wake regelmäßig kopieren oder als Dienst ausgeführt werden.
• SAN - teuer, komplex, teurer
• ROBOCOPY, auf einem schnellen Job - einfach, aber effektiv. Viele interne / unbestimmten Zustand z.B. wo sein in Kopieren, Fehler
• Aus dem Regal ers. Software - weniger teuer als SAN, aber immer noch teuer
• UNC freigegebene Ordner und keine ers. Höhere Latenz, niedriger Kosten - müssen noch eine Clustering-Lösung zu
.
• Die DFS-Replikation.

Was haben andere Leute verwendet?

Answer 1

Ich habe für diese Art von Arbeit, 1000 von Maschinen in unserem Fall rsync-Skripte mit gutem Erfolg verwendet. Ich glaube, es ist ein rsync-Server für Windows, aber ich habe es nicht auf etwas anderes als Linux verwendet wird.

Answer 2

Obwohl wir nicht über diese Millionen von giga von Daten zu verwalten, senden wir und viele Dateien über Nacht zwischen unserer Gesellschaft und ihren Agenturen im Ausland zu sammeln. Wir haben für eine Weile allwaysync. Es ermöglicht Ordner / ftp-Synchronisation. Es hat eine schöne Oberfläche, die Ordner und Dateien Analyse und Vergleiche zu ermöglichen, und es kann geplant natürlich sein.

Answer 3

UNC freigegebene Ordner und keine Replikation viele Nachteile hat, vor allem, wenn IIS UNC-Pfade als Home-Verzeichnisse für Websites verwenden wird. Unter Stress, laufen Sie in http://support.microsoft.com/default.aspx / kb / 810886 aufgrund der Anzahl gleichzeitiger Sitzungen auf dem Server die Ordner teilen. Außerdem werden Sie langsam IIS-Website Start-ups auftreten, da IIS wollen, wird zum Scannen / index / Cache (abhängig von der IIS-Version und ASP-Einstellungen) den UNC-Ordnern.

Ich habe Tests mit DFS gesehen, die sehr vielversprechend sind, Ausstellung keine der oben genannten Einschränkungen.

Answer 4

Wir verwenden ROBOCOPY in meiner Organisation Dateien um zu übergeben. Es läuft sehr reibungslos und ich fühle es eine Empfehlung wert.

Darüber hinaus sind Sie nicht etwas zu verrückt zu tun. Wenn Sie auch kompetent in Perl sind, bin ich sicher, dass Sie könnte eine schnelle Skript schreiben, das Ihren Bedürfnissen gerecht wird.