лучший подход к анализу текста в PHP?

Question

Мне нужно проанализировать сообщение пользователя и классифицировать его.Например:Мне приходится классифицировать каждое сообщение как сообщение о покупке или сообщение о продаже на основе текста: «Я ищу продавать мой дом» относится к категории «продать».Проблема в том, что зачастую все не так просто: «Я хочу избавиться от своего старого дома» также нужно отнести к категории «продать».«Я ищу дом» становится «покупаю».Я также хотел бы классифицировать эти сообщения в зависимости от рассматриваемого элемента — например, сообщение выше можно было бы отнести к категории «покупка» и «дом».

Может ли кто-нибудь порекомендовать хороший подход/хорошую структуру/методику, когда дело доходит до анализа и понимания пользовательского ввода?Спасибо.

Answer 1

Ты прав;это трудно сделать.

Yahoo!имеет Извлечение термина API/веб-сервис, который вы можете использовать.Это довольно хороший способ использовать языковой анализ вашего собственного текста, не написав при этом миллионы строк кода.Я не использовал его, поэтому понятия не имею, насколько хорошо он работает с похожими значениями, как задает ваш вопрос.

Answer 2

То, о чем вы говорите, по сути, Проблема байесовской фильтрации, также используется для фильтрации спама.Смотрите также этот разговор.Это достаточно сложная область.