圧縮図書館利用のマテリアルは、Nvidia CUDA[定休日]
https://stackoverflow.com/questions/456829
-
19-08-2019 - |
italiano
english
français
española
中国
日本の
العربية
Deutsch
한국어
Português
Russian質問
なんだろうけど、日本人プロジェクトを実装する標準圧縮方式（Zip、GZip,BZip2,LZMA,...)を使用NVIDIAの CUDA図書館?
破壊も修復もおもしろくなるアルゴリズムの多く並列タスクのような圧縮)となく高速にグラフィックカード、デュアルやquadcore CPUを搭載しています。
てみてはいかがでの是非等のアプローチを考えていますか。
解決
誰もそれをして公開したことを知らない。ただ私見、それは非常に有望に聞こえません。
Martinusが指摘しているように、一部の圧縮アルゴリズムは高度にシリアルです。 LZWのようなブロック圧縮アルゴリズムは、各ブロックを個別にコーディングすることで並列化できます。ファイルの大きなツリーの圧縮は、ファイルレベルで並列化できます。
ただし、これらのどれも実際にはSIMDスタイルの並列処理（単一命令複数データ）ではなく、大規模な並列処理ではありません。
GPUは基本的にベクトルプロセッサであり、数百または数千のADD命令をすべてロックステップで実行でき、データ依存ブランチがほとんどないプログラムを実行できます。
一般的な圧縮アルゴリズムは、SPMD（Single Program Multiple Data）またはMIMD（Multiple Instruction Multiple Data）プログラミングモデルに似ており、マルチコアCPUに適しています。
ビデオ圧縮アルゴリズムは、CUDAのようなGPGPU処理によって、コサイン変換または畳み込まれている（動き検出のために）非常に多数のピクセルブロックと、IDCTまたは畳み込みサブルーチンがある場合にのみ加速できます。ブランチレスコードで表現できます。
GPUは、数値強度が高いアルゴリズム（算術演算とメモリアクセスの比率）も好きです。数値強度が低いアルゴリズム（2つのベクトルを追加するなど）は、超並列およびSIMDにできますが、gpuでは、メモリバウンドだからです。
他のヒント
ロスレスデータ圧縮アルゴリズムのパフォーマンスを向上させるための研究の第1フェーズを終了しました。 プロトタイプにはBzip2が選択され、チームはBurrows <！>＃8211; Wheeler変換の1つの操作のみを最適化し、いくつかの結果を得ました：優れた圧縮可能なファイルで2倍から4倍高速化。コードはすべてのテストで高速に動作します。
bzip2、deflate、LZMAをサポートして、HTTPトラフィックやバックアップ圧縮などの実際のタスクを実行します。
通常、圧縮アルゴリズムは並列タスクを利用できません。アルゴリズムを高度に並列化できるようにするのは簡単ではありません。あなたの例では、TARは圧縮アルゴリズムではなく、ブロック圧縮アルゴリズムであるため、高度に並列化できる可能性がある唯一のアルゴリズムはBZIPです。各ブロックは個別に圧縮できますが、これには大量のメモリが必要になります。複数のスレッドを使用する7zipを見ると、LZMAは並行して動作しません。これは、7zipがデータストリームを2つの異なるストリームに分割し、それぞれが個別のスレッドでLZMAで圧縮されるため、圧縮アルゴリズム自体が並列ではないためです。この分割は、データで許可されている場合にのみ機能します。
暗号化アルゴリズムはこの分野で非常に成功しているので、調べてみてください。 CUDAおよびAES暗号化に関連する論文は次のとおりです。 http://www.manavski.com/downloads/PID505889.pdf
bzip2をCUDAに移植しようとしています。 :)これまでのところ（そして大まかなテストのみが行われている場合）、Burrows-Wheeler変換はシリアルアルゴリズムより30％高速です。 http://bzip2.github.com
30%も素敵ですが、アプリケーションのための、バックアップになる。
私の経験は、平均データストリームなどのインスタンスを返し1.2-1.7:1圧縮をgzip、限定出力率30-60Mb/s(これは、幅広い代の頃より2010年から2012年中-高のCpuを搭載しています。
に限定ここでは、通常のスピードのデータを送り込むことができるCPU。
残念ながら、すべく、LTO5テープドライブを幸せにで必要 原 (uncompressable)データレートの160Mb/sとなります。ばfrb compressableデータが必要なのでさらに高速なデータです。
LTO圧縮が明らかく速いものの、やや非効率に相当をgzip-1でもほとんどの目的のLTO4ドライブが以上であり、通常の建AES256暗号化エンジンでもこれらの種類の速度で実行します。
このために私の場合はいいが必要400%以impreovementするために、い内容であることを期待する。
同様の配慮を横断的Lan.で30Mb/s、圧縮はhinderanceにGbクラスのネットワークの問題であるかどうかによりネットワークまたは圧縮...:)
