wie Tokyo Cabinet Hash-Tabelle DBs (.tch Dateien) (keine doppelten Schlüssel) fusionieren

Question

Ist das möglich? Ich konnte keine Antwort finden überall.

Im Grunde betrachte ich ein Setup, wo ich mehrere Arbeiter (Boxen) haben, die müssen alle Speicher gibt Daten in eine Tokyo Cabinet Index / db schließlich (Ich verwende Tokyto Tyrant über die Memcached-Protokoll abtw. Nicht, dass es darauf ankommt aber immer noch)

Im Grunde habe ich versucht, die Daten direkt an ein anderes Feld schieben, die Tokyo Tyrant läuft, aber der TT kann es nach einer gewissen Zeit nicht umgehen. Einsätze bekommen wirklich langsam, und die Arbeiter sitzen im Leerlauf auf den TT-Server Offload-Daten wollen. (Ich habe versucht, alle möglichen Dinge Leistung, mehr RAM zu verbessern, RAID-Konfigurationen, mehrere TT-Server auf der Box, usw.), aber die großen Leistungsabfall (Einsätze / s) kommt früher oder später.

Jetzt bin ich an der Option suchen jeden Arbeitnehmer speichern zu lassen, eigene Daten in einem lokalen Tokyo Tyrant db ist und fusionieren die DBs aller Arbeiter danach (keine doppelten Schlüssel guarenteed)

Jede Hilfe willkommen, (auch andere Möglichkeiten Last auf TT zu verteilen geschätzt)

btw: die Config für TT: # bnum = 20000000 # opts = l # xmsiz = 162000000 Ich setze bnum auf die Oberegrenze der Elemente erwartet: 20 mil.

Danke, Geert-Jan

Answer 1

Besuche kchashmgr. Sie können die Dateien aus in Daten Dump-Dateien und sie dann in eine neue KCH-Datei mit einem größeren bnum erstellt laden.