Solutions de réplication de fichiers

Question

Pensez à un processus de construction hébergé par Windows qui lâchera périodiquement des fichiers sur le disque afin de les répliquer sur plusieurs autres serveurs Windows du même centre de données. Les autres machines exécuteraient IIS et serviraient ces fichiers à la masse.

La taille totale du corpus serait de millions de fichiers, 100 de Go de données. Il devrait faire face à un conflit éventuel sur les serveurs cibles, par exemple les liens latents. sur un réseau étendu, serveurs propres à démarrage à froid

Solutions auxquelles j'ai pensé jusqu'à présent:

• Le système et les démons mis en file d'attente se réveillent périodiquement et sont copiés ou exécutés en tant que services.
• SAN - cher, complexe, plus cher
• ROBOCOPIE, un travail chronométré - simple mais efficace. Beaucoup d'états internes / indéterminés, par ex. où sa à la copie, les erreurs
• Réplique standard. logiciel - moins cher que SAN mais toujours cher
• Dossiers partagés UNC et pas de réplication. Latence plus élevée, coût réduit - toujours besoin d'une solution de clustering.
• Réplication DFS.

Qu'est-ce que les autres personnes ont utilisé d'autre?

Answer 1

J'ai utilisé des scripts rsync avec un bon succès pour ce type de travail, des milliers de machines dans notre cas. Je crois qu’il existe un serveur rsync pour Windows, mais je ne l’ai jamais utilisé que sous Linux.

Answer 2

Bien que nous n’ayons pas à gérer ces millions de giga de données, nous envoyons et collectons beaucoup de fichiers pendant la nuit entre notre société principale et ses agences à l’étranger. Nous utilisons allwaysync depuis un moment. Il permet la synchronisation des dossiers / ftp. Il possède une interface agréable qui permet l'analyse et la comparaison de dossiers et de fichiers. Il peut bien sûr être programmé.

Answer 3

Les dossiers partagés UNC et l'absence de réplication présentent de nombreux inconvénients, notamment si IIS doit utiliser les chemins UNC comme répertoires de base pour les sites. Sous contrainte, vous rencontrerez http://support.microsoft.com/default.aspx / kb / 810886 en raison du nombre de sessions simultanées sur le serveur partageant le dossier. En outre, le démarrage du site IIS sera lent, car IIS va vouloir analyser / indexer / mettre en cache (selon la version d'IIS et les paramètres ASP) le dossier UNC.

J'ai vu des tests très prometteurs avec DFS, ne présentant aucune des restrictions ci-dessus.

Answer 4

Nous utilisons ROBOCOPY dans mon organisation pour transmettre des fichiers. Il fonctionne très bien et je pense que cela mérite une recommandation.

De plus, vous ne faites rien de trop fou. Si vous maîtrisez également perl, je suis sûr que vous pourrez écrire un script rapide qui répondra à vos besoins.