フラット ファイルをアーカイブするための理想的なオプション
https://stackoverflow.com/questions/511797
-
21-08-2019 - |
italiano
english
français
española
中国
日本の
العربية
Deutsch
한국어
Português
Russian質問
現在、私たちは毎週数千のフラット ファイルを受け取り、これらに関するレポートを実行し、従業員が処理して参照できるように PDF にエクスポートするシステムを持っています。
現在、これらをデータベースに一括ロードし、すべてのフィールド/書式設定が有効であることを確認してエクスポートし、次回の実行時にテーブルを切り捨てます。
私が疑問に思っているのは、おそらく 6 か月分のこの一括読み込みプレーン テキスト データを保存する最もスペース効率の良い方法は何だとみんなが考えているのかということです。
毎日の SQL バックアップや圧縮アーカイブなどの形式で、トラブルシューティングのために古いデータを常にリロードすることができました。
あらゆるアイデアを歓迎します。あらゆる提案を歓迎します。
解決
だから、あなたバルクロードフラットファイル、あなたがそれらを処理し、処理されたフラットファイルの個別の束を取得し、データをダンプするために、SQL Server 2005を使用する？
これが正しい場合は、データをDBに滞在しないと言っているように見えるので、まあ、SQLのバックアップは助けにはなりません。あなたの唯一のオプションは、ディレクトリ内のバッチの良い組織と結合された入力および/または出力ファイルを効率的に圧縮されます。
私は...バッチ機能を予定していること、積極的な圧縮プログラムをお勧めしていますが、一つのプログラムにしてロックさ回避のために使用するプログラムで難解に取得しないように注意することでしょう。
他のヒント
最近の世代の圧縮ユーティリティを使用します（7ZやRAR圧縮は素晴らしいです）、それを見つけるのは簡単ですので、すべてを整理した後、束に圧縮します。
これは簡単にするために、.NETと連携7zipをのためのSDKのがあります。
-Adam
分析後のデータには次の 2 種類があります。
- 元のデータ (通常は非常に大きい)
- 派生データ (通常は小さい)
あなたの場合、派生データはレポートに組み込まれるデータである可能性があります。元のデータについては、日付とデータの種類に基づいた体系的な名前を付けて、巨大な圧縮アーカイブ ファイルを作成します。これの利点は、チーム内の誰かがデータベースに元のデータをインポートするコードを何らかの方法で完全に消去した場合でも、そこから回復できることです。派生データが小さい場合は、派生データを取得するだけで問題の一部を解決できる可能性があるため、それを別のデータベース テーブルにコピーするか、別のフラット ファイルに保存することを検討するかもしれません。
一般に、データのバックアップは次のような要素に依存するため、難しい問題です。
- データスループットの量
- オフサイトバックアップに利用可能なスペース
- バックアップ システムをアップグレードすることと、問題が発生した場合にデータを再生成することだけを諦めることの価値。
セットアップはどうなっていますか?ハードドライブは、データの圧縮バージョンを保持できるほど急速に成長しますか?オフサイトバックアップについて考えたことはありますか?
、適切なファイルを整理し、ファイルの階層構造を構築し、ディレクトリ全体を圧縮し、あなたがそれらをアーカイブ新しいfiles.afterを追加するにはジップに-uフラグを使用して、ファイルを削除することができますが、次のバッチのためのディレクトリ構造を維持追加する。
ファイル名は、何らかの形で（日付または何でも）バージョンをエンコードするか、ACシングルディレクトリよりも複雑なものである必要はありませんそれ以外の場合は一意である場合。そうでない場合、あなたはバージョンを回復させるために、あなたのディレクトリを設定する必要があります。
それらを圧縮し、データベースにバイナリフィールドに保存します。そして、あなたはあなたのデータセットに持ち込む行うために、「データセットをリロード」ボタンを構築することができます。
（私はあなたがそれを置き換えるためにインポートする各データセットなどを追跡すると仮定しています）この方法で、すべてがデータベースに格納され、データベースでバックアップされ、インデックスが作成され、正しくリンクされ、同時に圧縮されています。
あなたがSDKを避けたいとリモートシステムにソフトウェアをインストールしたいことが示されました。
あなたの選択肢はかなり限られてます。
あなたがWindowsコンピュータを使用しているので、なぜ簡単なスクリプトを使用していない？
：
この質問は、ファイルを圧縮して解凍するには、Windows VBScriptを使用する方法についていくつかの提案を提供しています は、WindowsのビルトインZIP圧縮スクリプト化することはできますか？の
、何のSDK「をインストールしていない」ことは何も。ただ、スクリプトをコピーし、スケジューラを経由して、それを呼び出すと、あなたはすべてのセットです。
-Adam
