アドバイスを扱う大きなデータ量
https://stackoverflow.com/questions/87679
-
01-07-2019 - |
italiano
english
français
española
中国
日本の
العربية
Deutsch
한국어
Português
Russian質問
ん"大"の大きな大きな"ASCIIファイルの数値データ(ギガバイトした、プログラムが必要工程全体で順次に行くことになったのです。
アドバイスに保存、読み込みのデータはもらえますか？私は考えを変換するファイルのバイナリーに小さく、高速で出荷します。
う負荷のすべてを一度にメモリ?
ない場合には、開れたほうが良いと思い方の負荷データの一部?
このJava関連の効率化のヒント?
解決
それの場合は加工が必要でジャンプのデータを複数のファイルに複数のバッファ?は一定の開閉のバイナリファイルしようとしている。
んの大ファンの 'メモリマップドi/o, 赤 ダイレクトbyteバッファ.Javaと呼ばれ マップされたByteバッファ は一部のjava.nio.(基本的には、このメカニズム用のOSに仮想メモリのページングシステムの"地図"を自分のファイルることはもちろんのこと、プログラムを使ってバイトバッファ.OSの運動のバイトからのディスクやメモリのオート-魔法およびます。
私はこのアプローチが作れない私にとって、まだ主要都市へのアクセスもスムーアルゴリズムのようになりましたJVM、OSやハードウェアの性能を最適化するすべてのこれから何をしなければいけないかを最以上の米低ります。;)
どのように使用MBBsにコンテキスト?を作成しMBBの各ファイルの読み取ることとしています。す必要がある店です。.
ちなみ:データはどはご対応では、GB?場合は以上の3-4GB、こんにおまかせください32ビット機として、MBBの実装は、被告は連想記憶空間のメモリーのプラットフォームアーキテクチャ.64ビットの機械-OSま1TB以128TBのmappableデータです。
場合を考えている業績、知カークペパーダイン(少し有名なJava性能グルなのです。) 著者であるウェブサイト、www.JavaPerformanceTuning.comがありMBB詳細： NIO性能のヒント その他のJava実績関連物です。
他のヒント
いというものがエントリ Wideプロジェクトファインダー （検索 "ワイファインダー"java).
のファインダーを読み合わせ多くのラインログファイルで、見て、Javaの実装は、どうして動作しなかった。
きに変換するバイナリー、その場合は1+かのコピー、データが必要な場合は元に保管します。
で実務を何らかのインデックスのオリジナルのasciiデータは、その場として安心してご利用いただけのデータを再度行うことができるので早くなっておりその後の。
質問にお答えした:
う負荷のすべてを一度にメモリ?
ない場合なっています。一部のファイルでできる場合もありますが、いずれもまだ処理の順番に、いくつかの種類のバッファの読みのものを一つ一つ、保管、必要なものがあります。
ない場合には、開れたほうが良いと思い方の負荷データの一部?
BufferedReaders/などは簡単にはいかをより深く入FileChannel/etc利用memorymapped I/Oをwindowsのデータです。
このJava関連の効率化のヒント?
その内容によって何をやっているデータそのもの！
などのような処理は、こちらのは一般的な思いかがでしょうがない類似のです。
書く試作品のご応募もも"を捨て")を実行する任意の操作データセットです。加えているにすぎないことが分かる。場合は、最もシンプルに、もっともナイーブなものにとらわれず自由に考えるのはacceptably、安心!
の場合はナイーブアプローチは、前処理のデータだけでなく、その後の運転まで可能。すばる"ジャンプ周り"のデータセットもしております。必要があります。前処理する。または、前処理することが明らかとなっ成してもより多くのデータ-指標データを提供するバイト-正確な位置情報は、必要な部分のデータセットです。その後、メインの処理実行を活用できるこれらの情報にジャンプに必要なデータです。
なので、このように、私のアプローチも試してみようとすぐにどのようになります。●います。その他、加工、複数のステップでデータの保存が高くなるという問題のための業務少前処となります。
ない"負荷をすべて記憶"。直行ファイルにアクセスの経営システムのハードディスクのページのキャッシュを決めきのように実際に吸引物が直接メモリ不足。
これにより多くのデータのファイルです。大きなメインフレーム用いて順次データ処理に長時間いない通常ランダムアドレスとパスワードを設定したデータです。かなりワイヤーに引っ掛けて引っ張って行時及び工程が以前続いています。
ランダムアクセスでベストをオブジェクトのキャッシング包装を知っているが、ファイルのデータを構築することも必要である。必要な時に読み取りおよそのデータを構築します。このようにメモリがないのでできる無料でご利用いただけ殺人もoffを気にせずもができるのです。
きんでくれな十分な情報をお手伝いいたします。させていただきます。荷重それぞれのファイルにentiretly処理するために?または加工できますラインがかかってしまいます。
負荷の全ファイルでは性能が出ないものためのファイルのいないものすごく大きい。あなたの最善の策は定義するバッファサイズをすることができ、読み過程のデータバッファです。
がその場で発音を確認することがテムを構築する非常に有用なデータ処理ツールです。しかし、最近のバージョンに決められているものであJava小さなものに過ぎません。だが扱うデータ量である時間にはポニーの最高の英語-日本語両方を使えるツールです。
僕はというと、結果の処理にこのような店内ではどこかということです。
場合の数値データは定期的にサンプリングとだけランダムアクセスが考えることによって、 quadtree.
をお勧めしまく活用の正規表現との"新しい"IO nioパッケージが高速に入力します。それでは早くできる現実的な期待ギガバイトのデータです。
可能であれば、データのデータベース化します。その後に活用することが可能ですすべてのインデックス、キャッシュメモリピンニング、その他の機能をご利用頂けたらと思います。
場合のアクセスに必要なデータは、以下に負荷でのデータベース化します。最もデータベースのバルク負荷る。データが得られない場合にはすべて適合メモリーなどで周辺のアクセスすることができるのではないでしょうか書くのに単純なPerlやお好きなスクリプト言語です。
