Ideal Optionen für die Archivierung von flachen Dateien

Question

Wir erhalten mehrere tausend flache Dateien pro Woche zur Zeit, und ich habe ein System, das Berichte über diese läuft und exportiert sie in PDF für unser Volk und Referenz zu verarbeiten.

ich derzeit Bulk Load einer Datenbank diese in, stellen Sie sicher, dass alle Felder / Formatierung gültig ist, exportieren, und die Tabellen auf den nächsten Lauf gestutzt.

Was ich mich frage ist, was jeder denkt, den meisten Platz effizient zu speichern, möglicherweise 6 Monate dieses Massenladeklartextdaten wäre?

Entweder in Form von täglichen SQL-Backups oder ZIP-Archiven, oder was auch immer, so habe ich immer die Möglichkeit hatte alte Daten neu geladen wird für die Fehlersuche.

Alle Ideen sind willkommen, ich bin offen für alle Vorschläge.

Answer 1

Also, Sie Bulk-Load flache Dateien von Rohdaten, verwenden Sie SQL Server 2005 zu verarbeiten und eine separate Gruppe von veredelten Flach Dateien zu erhalten, und dann die Daten-Dump?

Nun, wenn dies richtig ist, SQL-Backups wird nicht helfen, da Sie die Daten zu sein scheinen zu sagen bleibt nicht in der DB. Ihre einzige Option ist eine effiziente Kompression der Ein- und / oder Ausgabedateien bei guter Organisation der Partien in Verzeichnissen.

würde ich ein aggressives Komprimierungsprogramm empfehlen, die Batch-Funktionen geplant, aber darauf achten, nicht mit dem Programm, das Sie zum Zweck verwenden, um esoterischen zu bekommen zu vermeiden, um ein Programm in gesperrt werden ...

Answer 2

Mit

einem aktuellen Generation Komprimierungsprogramm (7z und rar Kompression ist gut) und komprimiert zu Bündel nach allem, was der Organisation, so ist es leicht zu finden.

Es gibt SDK für 7zip, die mit .net arbeiten diese leicht zu machen.

-Adam

Answer 3

Es gibt zwei Arten von Daten post-Analyse:

• Originaldaten (in der Regel sehr groß)
• abgeleiteten Daten (in der Regel kleiner)

In Ihrem Fall könnten die abgeleiteten Daten die Daten sein, die in den Berichten geht. Für Ihre Originaldaten würde ich mache nur eine große, komprimierte Archivdatei mit einem systematischen Namen auf dem Zeitpunkt und die Art der Daten. Der Wert hierfür ist, dass, wenn einige Neulinge in Ihrem Team irgendwie total den Code auslöscht, die ursprünglichen Daten in die Datenbank importiert, können Sie davon erholen. Wenn die abgeleiteten Daten klein ist, könnte man denken, über das Kopieren, dass entweder eine andere Datenbank-Tabelle oder in einem separaten flachen Datei zu halten, weil einige Ihrer Probleme nur immer auf die abgeleiteten Daten gelöst werden konnten.

Ihre Daten im Allgemeinen Sichern ist ein heikles Problem, weil es auf Dinge wie abhängig:

• Anzahl der Datendurchsatz
• Der verfügbare Platz für Off-Site-Backups
• Wert Ihres Backup-System ein Upgrade im Vergleich zu sich selbst nur resignieren zu regenerieren Daten, wenn Probleme auftreten.

Was ist dein Setup wie? Werden Festplatten wachsen schnell genug, um die komprimierte Version Ihrer Daten zu halten? Haben Sie darüber nachgedacht, Off-Site-Backups?

Answer 4

Erstellen Sie eine Dateihierarchie, die die Dateien in geeigneter Weise organisiert, zip das gesamte Verzeichnis, und verwenden Sie die -u Flagge auf zip neue files.after Sie sie archiviert hinzufügen, können Sie die Dateien löschen können, aber die Verzeichnisstruktur für die nächste Charge erhalten hinzugefügt werden.

Wenn die Dateinamen, die Version irgendwie (Daten oder was auch immer) kodieren oder sonst einzigartig es braucht nichts schicker als ein signle Verzeichnis. Wenn nicht, müssen Sie die Verzeichnisse einrichten, um Sie Versionen wiederherstellen lassen.

Answer 5

sie komprimieren und sie in einem binären Feld in der Datenbank speichern. Dann können Sie einen „Reload-Datensatz“, um bauen im Dataset zu tun bringen (ich bin vorausgesetzt, Sie verfolgen jeden Datensatz, die Sie importieren, sie zu ersetzen, etc.)

Auf diese Weise ist alles in der Datenbank gespeichert ist, und unterstützte mit der Datenbank auf, indiziert und richtig, und komprimiert zugleich verknüpft.

Answer 6

Sie haben angegeben, dass Sie auf Remote-Systemen SDKs und die Installation von Software vermeiden möchten.

Ihre Optionen ziemlich begrenzt sind.

Da Sie Windows-Computer verwenden, warum nicht ein einfaches Skript verwenden?

Diese Frage bietet mehrere Vorschläge, wie Fenster VBscript verwenden, um Dateien zu komprimieren und dekomprimieren:
Kann von Windows integrierten ZIP-Komprimierung scripted werden?

Nichts zu 'installieren', keine SDKs. Kopieren Sie einfach das Skript über, rufen Sie es über den Scheduler, und Sie sind alle gesetzt.

-Adam