come unire i file (.TCH) Tokyo Gabinetto hash-table di db (nessun chiavi duplicate)

Question

È possibile? Non riuscivo a trovare da nessuna parte una risposta.

In sostanza sto guardando una configurazione in cui ho più lavoratori (caselle), che devono tutti negozio c'è dati in un gabinetto di Tokyo index / db alla fine (sto usando Tokyto Tyrant tramite il protocollo memcached abtw. Non che sia importante ma ancora)

In sostanza, ho provato spingendo i dati direttamente ad un'altra scatola che corre Tokyo Tiranno, ma il TT non riesco a gestire la cosa dopo un po '. Inserti ottenere molto lento, e gli operai non si siedono al minimo volendo dati offload al TT-server. (Ho provato un sacco di cose per migliorare le prestazioni, più ram, RAID-configurazioni, più TT-server sulla scatola, ecc) ma il forte calo di prestazioni (inserti / sec) prima o poi arriva.

Ora, sto guardando la possibilità di lasciare che ogni negozio lavoratore è propri dati in un db Tokyo tiranno locale e unire il db dispone di tutti i lavoratori in seguito (senza chiavi duplicate guarenteed)

Qualsiasi aiuto apprezzato, (anche altri modi per distribuire il carico su TT apprezzato)

A proposito: la configurazione per TT: # bnum = 20000000 # opta = l # xmsiz = 162000000 Ho impostato bnum al limite superiore di elementi previsto: 20 mil.

Grazie, Geert-Jan

Answer 1

controllare kchashmgr. si potrebbe eseguire il dump dei file fuori in file di dati e poi caricarli in un nuovo file KCH creata con un bnum più grande.