comment fusionner Tokyo Cabinet hachage table db (fichiers .TCH) (pas de clés en double)

Question

Est-ce possible? Je ne pouvais pas trouver une réponse nulle part.

En fait, je suis à la recherche d'une configuration où j'ai plusieurs travailleurs (boîtes) qui doivent tous y stocker les données dans un index Cabinet Tokyo / db par la suite (j'utilise Tokyto Tyran sur le protocole memcached abtw. Pas qu'il importe mais quand même)

En fait, j'ai essayé de pousser les données directement à une autre boîte qui fonctionne Tokyo Tyrant, mais le TT ne peut pas gérer après un certain temps. Les inserts deviennent vraiment lent, et les travailleurs sont assis là au repos vouloir déchargement des données au TT-serveur. (J'ai essayé toutes sortes de choses pour améliorer les performances, plus de ram, RAID-configs, plusieurs serveurs TT sur la boîte, etc.), mais la baisse importante des performances (inserts / sec) vient tôt ou tard.

Maintenant, je regarde la possibilité de laisser chaque magasin travailleur ses propres données dans une base locale de Tokyo Tyrant et la fusion de tous les travailleurs du db après (pas de clés en double GARANTI)

Toute aide appréciée, (aussi d'autres façons de répartir la charge sur TT apprécié)

BTW: la configuration pour TT: # bnum = 20000000 # opts = l # xmsiz = 162000000 Je mis bnum à la borne supérieure des éléments attendus: 20 mil.

Merci, Geert-Jan

Answer 1

vérifier kchashmgr. vous pouvez vider les fichiers dans des fichiers de données, puis les charger dans un nouveau fichier créé kch avec un plus grand bnum.