Как объединить кабинета Tokyo Hash-Table DB (.tch files) (не дублирующие ключи)

Question

Это возможно? Я не мог найти ответ где угодно.

В основном я смотрю на установку, где у меня есть несколько рабочих (коробок), которые все должны хранить там данные в индексе кабинета Токио / дБ в конце концов (я использую Tokyto Tyrant над Memcached Protocol ABTW. Не то чтобы это важно, но все еще)

По сути, я попытался толкать данные прямо в другую коробку, которая управляет Tokyo Tyrant, но TT не может справиться с ним через некоторое время. Вставки становятся действительно медленными, и рабочие сидят там простой, желая разгрузить данные на TT-сервере. (Я пробовал всевозможные вещи, чтобы улучшить производительность, больше RAM, RAID-Configs, несколько TT-серверов на коробке и т. Д.) Но главное падение производительности (вкладыши / сек) приходит рано или поздно.

Теперь я смотрю на вариант, чтобы позволить каждому работнику хранить свои данные в местном Tokyo Tyrant DB и объединить дБ всех работников потом (не дублирующие ключи Guarenteed)

Любая помощь оценила, (также другие способы распространения нагрузки на ТТ ценится)

BTW: конфиг для TT: # BNUM = 20000000 # OPTS = L # XMSIZ = 162000000 Я устанавливаю BNUM на верхний контур от ожидаемых предметов: 20 мил.

Спасибо, Герт-Ян

Answer 1

Проверьте kchashmgr. Вы можете выбросить файлы в файлы данных, а затем загрузить их в новый файл KCH, созданный с помощью BNUM BNUM.