東京キャビネットハッシュテーブルDB(.tchファイル)をマージする方法(キーを重複していません)

StackOverflow https://stackoverflow.com/questions/2664189

質問

これは可能ですか?どこにも答えが見つかりませんでした。

基本的に、私はすべての労働者(ボックス)があるセットアップを見ています。これらはすべて、すべてのデータを東京キャビネットインデックス/DBに保存する必要があります(最終的には、Memcached Protocol AvtwでTokyto Tyrantを使用しています。

基本的に、私はデータを東京暴君を実行する別のボックスに直接プッシュしようとしましたが、TTはしばらくするとそれを処理できません。インサートは非常に遅くなり、労働者はそこに座って、データをTT-Serverにオフロードしたいと考えています。 (私はパフォーマンスを改善するためにあらゆる種類のことを試みました、より多くのRAM、RAIDコンフィグ、ボックス上の複数のTTサーバーなど)が、パフォーマンスの大きな低下(INSERTS/ SEC)は遅かれ早かれ続きます。

今、私は各労働者が地元の東京暴君DBに独自のデータを保存させ、その後すべての労働者のDBをマージできるようにするオプションを見ています(キーを重複させません)

あらゆる助けに感謝します(TTに負荷を分配する他の方法も高く評価されています)

ところで:TTの構成:#bnum = 20000000#opts = l#xmsiz = 162000000私は予想されるアイテムの上限にbnumを設定します:20 mil。

ありがとう、Geert-Jan

役に立ちましたか?

解決

kchashmgrをご覧ください。ファイルをデータファイルにダンプしてから、より大きなBNUMで作成された新しいKCHファイルにロードできます。

ライセンス: CC-BY-SA帰属
所属していません StackOverflow
scroll top