File Replication Solutions

Question

pensando em um processo de compilação do Windows hospedado que vai cair periodicamente os arquivos para o disco a ser replicado para vários outros servidores Windows no mesmo datacenter. As outras máquinas seria executado IIS, e servir esses arquivos para as massas.

O tamanho total corpus seria milhões de arquivos, 100 dos GB de dados. Ele teria que lidar com uma possível disputa nos servidores de destino, links latentes por exemplo através de uma WAN, frio-iniciar servidores limpas

Soluções Tenho pensado até agora:

• sistema queue'd e daemons quer acordar periodicamente e copiar ou executar como serviços.
• SAN - caro, complexo, mais caro
• ROBOCOPY, em um trabalho cronometrado - simples, mas eficaz. Lotes de estado interno / indeterminado e.g. onde seu em copiar, erros
• Off the repl prateleira. software - menos caro do que SAN, mas ainda caro
• UNC pastas compartilhadas e não repl. maior latência, menor custo - ainda precisam de uma solução de cluster demasiado
.
• Replicação DFS.

O que mais outras pessoas usado?

Answer 1

Eu usei scripts de rsync com bom sucesso para este tipo de trabalho, 1000, de máquinas em nosso caso. Eu acredito que há um servidor rsync para Windows, mas eu nunca usei isso em outra coisa senão Linux.

Answer 2

Embora não temos esses milhões de giga de dados para gerenciar, estamos enviando e recolher lotes de arquivos durante a noite entre a nossa empresa principal e as suas agências no exterior. Temos vindo a utilizar allwaysync por um tempo. Ele permite a sincronização de pastas / ftp. Ele tem uma interface agradável que permitem pastas e arquivos análises e comparações, e pode ser naturalmente programado.

Answer 3

UNC pastas compartilhadas e sem replicação tem muitas desvantagens, especialmente se o IIS está indo para usar caminhos UNC como diretórios home para sites. Sob estresse, você vai correr em http://support.microsoft.com/default.aspx / kb / 810886 por causa do número de sessões simultâneas contra o servidor de partilha da pasta. Além disso, você vai experimentar startups local IIS lento desde IIS vai querer fazer a varredura / index / cache (dependendo da versão do IIS e configurações ASP) na pasta UNC.

Eu vi testes com DFS que são muito promissores, exposição nenhuma das restrições acima.

Answer 4

Nós usamos ROBOCOPY na minha organização para passar arquivos de volta. Corre-se muito facilmente e eu sinto que uma recomendação vale a pena.

Além disso, você não está fazendo nada muito louco. Se você também é proficiente em perl, eu tenho certeza que você poderia escrever um script rápido que irá atender suas necessidades.