Soluciones de replicación de archivos

Question

Pensando en un proceso de compilación alojado en Windows que periódicamente colocará archivos en el disco para replicarlos en varios otros servidores Windows en el mismo centro de datos.Las otras máquinas ejecutarían IIS y entregarían esos archivos a las masas.

El tamaño total del corpus sería de millones de archivos, cientos de GB de datos.Tendría que lidiar con posibles conflictos en los servidores de destino, enlaces latentes, p.a través de una WAN, servidores limpios de arranque en frío

Soluciones en las que he pensado hasta ahora:

• El sistema en cola y los demonios se activan periódicamente y se copian o ejecutan como servicios.
• SAN: caro, complejo, más caro
• ROBOCOPY, en un trabajo cronometrado: simple pero efectivo.Mucho estado interno/indeterminado, p.dónde está en copia, errores
• Respuesta lista para usar.software: menos costoso que SAN pero aún costoso
• Carpetas compartidas UNC y sin respuesta.Mayor latencia, menor costo: también se necesita una solución de agrupación en clústeres.
• Replicación DFS.

¿Qué más han usado otras personas?

Answer 1

He usado scripts rsync con buen éxito para este tipo de trabajo, miles de máquinas en nuestro caso.Creo que existe un servidor rsync para Windows, pero no lo he usado en nada que no sea Linux.

Answer 2

Aunque no tenemos estos millones de giga de datos que gestionar, estamos enviando y recopilando muchos archivos de la noche a la mañana entre nuestra empresa principal y sus agencias en el extranjero.Hemos estado usando allwaysync por un tiempo.Permite la sincronización de carpetas/ftp.Tiene una interfaz agradable que permite el análisis y comparación de carpetas y archivos y, por supuesto, se puede programar.

Answer 3

Las carpetas compartidas UNC y la falta de replicación tienen muchas desventajas, especialmente si IIS va a utilizar rutas UNC como directorios de inicio para los sitios.Bajo estrés, te toparás con http://support.microsoft.com/default.aspx/kb/810886 debido a la cantidad de sesiones simultáneas en el servidor que comparte la carpeta.Además, experimentará inicios lentos del sitio IIS ya que IIS querrá escanear/indexar/cachear (dependiendo de la versión de IIS y la configuración de ASP) la carpeta UNC.

He visto pruebas con DFS que son muy prometedoras y no presentan ninguna de las restricciones anteriores.

Answer 4

Usamos ROBOCOPY en mi organización para pasar archivos.Funciona sin problemas y creo que vale la pena recomendarlo.

Además, no estás haciendo nada demasiado loco.Si también domina Perl, estoy seguro de que podría escribir un script rápido que satisfaga sus necesidades.