Soluzioni di replica dei file

Question

Pensando a un processo di compilazione ospitato su Windows che rilascerà periodicamente i file su disco per essere replicati su diversi altri server Windows nello stesso data center.Le altre macchine eseguirebbero IIS e fornirebbero quei file alle masse.

La dimensione totale del corpus sarebbe di milioni di file, centinaia di GB di dati.Dovrebbe gestire possibili conflitti sui server di destinazione, collegamenti latenti, ad es.su una WAN, avviare a freddo i server puliti

Soluzioni a cui ho pensato finora:

• il sistema in coda e i demoni si riattivano periodicamente e copiano o vengono eseguiti come servizi.
• SAN: costoso, complesso, più costoso
• ROBOCOPIA, lavoro a tempo: semplice ma efficace.Molti stati interni/indeterminati, ad es.dove si trova nella copia, errori
• Sostituzione pronta all'uso.software: meno costoso di SAN ma comunque costoso
• Cartelle condivise UNC e nessuna sostituzione.Latenza più elevata, costi inferiori: è comunque necessaria anche una soluzione di clustering.
• Replica DFS.

Cos'altro hanno usato gli altri?

Answer 1

Ho utilizzato gli script rsync con buon successo per questo tipo di lavoro, migliaia di macchine nel nostro caso.Credo che esista un server rsync per Windows, ma non l'ho usato su nient'altro che Linux.

Answer 2

Anche se non abbiamo questi milioni di giga di dati da gestire, stiamo inviando e raccogliendo molti file durante la notte tra la nostra azienda principale e le sue agenzie all'estero.Utilizziamo allwaysync da un po'.Permette la sincronizzazione di cartelle/ftp.Ha una bella interfaccia che consente l'analisi e il confronto di cartelle e file e ovviamente può essere programmato.

Answer 3

Le cartelle condivise UNC e l'assenza di replica presentano molti svantaggi, soprattutto se IIS utilizzerà percorsi UNC come directory home per i siti.Sotto stress, ti imbatterai http://support.microsoft.com/default.aspx/kb/810886 a causa del numero di sessioni simultanee sul server che condivide la cartella.Inoltre, si verificheranno avvii lenti del sito IIS poiché IIS vorrà eseguire la scansione/indicizzare/memorizzare nella cache (a seconda della versione IIS e delle impostazioni ASP) la cartella UNC.

Ho visto test con DFS che sono molto promettenti e non mostrano alcuna delle restrizioni di cui sopra.

Answer 4

Usiamo ROBOCOPY nella mia organizzazione per trasferire file.Funziona molto bene e ritengo che valga la pena consigliarlo.

Inoltre, non stai facendo nulla di troppo folle.Se sei esperto anche in Perl, sono sicuro che potresti scrivere uno script veloce che soddisferà le tue esigenze.