Какой анализатор lucene можно использовать для обработки текста на японском языке?

Question

Какой анализатор lucene можно использовать для правильной обработки японского текста? Он должен быть в состоянии справиться с кандзи, хирагана, катакана, ромаджи и любой их комбинацией.

Answer 1

Я нашел lucene-gosen , когда выполнял поиск в своих целях:

Их пример выглядит довольно прилично, но я думаю, это то, что требует тщательного тестирования. Я также беспокоюсь об их политике обратной совместимости (точнее, о полном ее отсутствии).

Answer 2

Вам, вероятно, следует взглянуть на CJK , который находится в области contrib Lucene. Есть анализатор и токенизатор специально для работы с китайским, японским и корейским языками.