Opzioni ideali per l'archiviazione di file flat

Question

Abbiamo ricevuto più di migliaia di file flat a settimana attualmente, e ho un sistema che esegue il report su questi e li esporta in PDF per il nostro popolo, di processo e di riferimento.

Io attualmente caricamento di massa in un database, assicurarsi che tutti i campi/formattazione è valido, l'esportazione di loro, e troncano le tabelle di prossima esecuzione.

Quello che mi chiedo è ciò che tutti pensano che sarebbe più efficienti in termini di spazio per conservare in modo, eventualmente, da 6 mesi a questa massa di carico normale di dati di testo?

Sia nella forma di quotidiano backup SQL, o un archivio zip o qualsiasi altra cosa, quindi ho sempre avuto la possibilità di ricaricare i vecchi dati per la risoluzione dei problemi.

Tutte le idee sono i benvenuti, io sono aperto a qualsiasi suggerimento.

Answer 1

Quindi, si flat file di massa a vuoto di dati grezzi, si utilizza SQL Server 2005 per la loro elaborazione e ottenere un mucchio separata di file flat processati, e poi scaricare i dati?

Bene, se questo è corretto, i backup di SQL non aiuterà dal momento che sembrano dire i dati non rimane nel DB. L'unica opzione è efficace la compressione dei file di input e / o uscita accoppiata con una buona organizzazione dei lotti nelle directory.

mi sento di raccomandare un programma di compressione aggressivo, che ha in programma la funzionalità batch, ma stare attenti a non arrivare al esoterica con il programma che si utilizza per il bene di evitare di essere bloccato a un programma ...

Answer 2

Con un recente utility di compressione generazione (7z e compressione RAR sono grandi) e comprimere in fasci dopo aver organizzato tutto in modo che sia facile da trovare.

Ci sono delle SDK per 7zip che lavorano con .net per rendere questo facile.

-Adam

Answer 3

Ci sono due tipi di dati post-analisi:

• dati originali (di solito molto grandi)
• dati derivati (di solito più piccoli)

Nel tuo caso, i dati derivati potrebbero essere i dati che va nel tuo report.Per i dati originali vorrei solo fare un grande archivio compresso di file con un nome sistematico basato sulla data e il tipo di dati.Il valore di questo è che se alcuni newbie della tua squadra, in qualche modo, totalmente cancella il codice che consente di importare i dati originali nel database, è possibile recuperare da esso.Se la derivata di dati, si potrebbe pensare a copiare che a un'altra tabella del database, o tenendolo in un separato file flat perché alcuni dei vostri problemi potrebbero essere risolti con un solo raggiungere i dati derivati.

Il backup dei dati, in generale, è un problema difficile, perché dipende da cose come:

• Quantità della velocità di trasmissione dati
• Spazio disponibile per il backup off-site
• Valore di aggiornare il vostro sistema di backup contro le dimissioni di te per rigenerare i dati se il verificarsi di problemi.

Qual è la tua configurazione come?Hard disk crescere a sufficienza per contenere la versione compressa dei dati?Avete mai pensato di backup off-site?

Answer 4

Costruire una gerarchia di file che organizza i file in modo appropriato, zip l'intera directory, e utilizzare il -u bandiera sulla zip per aggiungere nuovi files.after volta archiviati, è possibile eliminare i file, ma mantenere la struttura di directory per il prossimo gruppo da aggiungere.

Se i nomi dei file codificare la versione in qualche modo (date o altro) o altrimenti sono unici non ha bisogno di essere qualcosa di più elaborato rispetto una directory signle. In caso contrario, è necessario impostare le directory che consente di recuperare le versioni.

Answer 5

comprimerli e salvarli in un campo binario nel database. Poi si può costruire un pulsante "reload set di dati" per fare portare nel vostro set di dati (sto assumendo a tenere traccia di ogni set di dati che si importa di sostituirlo, ecc)

In questo modo, tutto è memorizzato nel database e backup con il database, indicizzati e collegati in modo corretto, e compresso allo stesso tempo.

Answer 6

Hai indicato che desideri evitare SDK e l'installazione di software su sistemi remoti.

Le opzioni sono piuttosto limitate.

Dal momento che si sta utilizzando i computer Windows, perché non utilizzare un semplice script?

Questa domanda offre diversi suggerimenti su come usare le finestre VBscript per comprimere e decomprimere i file:
Può Windows' compressione ZIP integrato inserire nello script?

Niente da 'install', nessun SDK. Basta copiare lo script sopra, chiamare tramite l'utilità di pianificazione, e sei a posto.

-Adam