opções ideais para arquivamento de arquivos simples

Question

Recebemos vários milhares de arquivos simples por semana atualmente, e eu tenho um sistema que executa relatórios sobre estes e os exporta a PDF para o nosso povo para processar e referência.

I carga atualmente em massa-los em um banco de dados, certifique-se todos os campos / formatação é válido, exportá-los, e truncar as tabelas na próxima corrida.

O que eu estou querendo saber é o que todo mundo acha que seria a maneira mais eficiente do espaço para armazenar possivelmente 6 meses deste carregamento em massa de dados de texto simples?

Seja na forma de backups diários SQL ou arquivos zipados, ou qualquer outra coisa, então eu sempre teve a capacidade de recarregar dados antigos para resolução de problemas.

Todas as idéias são bem-vindos, estou aberto a sugestões.

Answer 1

Assim, você Bulk-carga arquivos planos de dados brutos, você usa o SQL Server 2005 para processá-los e obter um grupo separado de arquivos simples processados, e depois despejar os dados?

Bem, se isso é correto, backups SQL não ajuda desde que você parece estar dizendo que os dados não ficar no DB. Sua única opção é a compressão eficiente dos arquivos de entrada e / ou saída, juntamente com uma boa organização dos lotes em diretórios.

Eu recomendaria um programa de compressão agressivo, que tem agendada funcionalidade batch, mas tenha cuidado para não chegar ao esotérico com o programa que você usa para o bem de evitar ser preso a um programa de ...

Answer 2

Use um utilitário de compressão geração recente (7z e compressão rar são grandes) e compressa em feixes depois organizar tudo por isso é fácil de encontrar.

Existem SDK é para 7zip que o trabalho com .net para fazer isso fácil.

-Adam

Answer 3

Existem dois tipos de dados pós-análise:

• dados originais (geralmente muito grande)
• dados derivados (geralmente mais pequena)

No seu caso, os dados derivados podem ser os dados que vai para seus relatórios. Para seus dados originais eu tinha acabado de fazer uma enorme, arquivo comprimido do mesmo com um nome sistemático com base na data e do tipo de dados. O valor deste é que se algum novato na sua equipe de alguma forma elimina totalmente o código que as importações seus dados originais no banco de dados, você pode recuperar-se. Se os dados derivados é pequeno, você pode pensar sobre a cópia que a qualquer outra tabela de banco de dados, ou mantê-lo em um arquivo simples separado porque alguns dos seus problemas poderia ser resolvido por apenas começando com os dados derivados.

Fazer backup de seus dados em geral é um problema complicado, porque depende de coisas como:

• A quantidade de dados taxa de transferência
• O espaço disponível para backups off-site
• Valor de atualização de seu sistema de backup contra apenas resignando-se a regeneração de dados se os problemas acontecem.

Qual é a sua configuração como? Vai discos rígidos crescer rápido o suficiente para manter a versão compactada de seus dados? Você já pensou em backups off-site?

Answer 4

Construir uma hierarquia de arquivos que organiza os arquivos de forma adequada, zip todo o diretório, e usar a bandeira -u em zip para adicionar nova files.after de arquivá-los, você pode apagar os arquivos, mas preservar a estrutura de diretório para o próximo lote a ser adicionado.

Se os nomes de arquivo codificam a versão de alguma forma (datas ou qualquer outro) ou de outra forma única que não precisa ser extravagante nada do que um diretório signle. Se não, você precisa configurar seus diretórios para deixá-lo recuperar versões.

Answer 5

comprimi-los e salvá-los em um campo binário no banco de dados. Em seguida, você pode construir um botão "reload conjunto de dados" para fazer trazer em seu conjunto de dados (eu estou supondo que você manter o controle de cada conjunto de dados que você importa para substituí-lo, etc.)

Desta forma, tudo é armazenado no banco de dados e backup com o banco de dados, indexados e ligados corretamente, e comprimido ao mesmo tempo.

Answer 6

Você indicou que você gostaria de evitar SDKs e software instalar em sistemas remotos.

As suas opções são muito limitadas.

Uma vez que você estiver usando computadores com Windows, por que não usar um script simples?

Esta questão oferece várias sugestões sobre como usar o Windows VBScript para arquivos comprimir e descomprimir:
Can do Windows' built-in ZIP compressão ser programado?

Nada a 'install', há SDKs. Basta copiar o script mais, chamá-lo através do programador, e você está tudo definido.

-Adam