태그가 지정된 코퍼스 데이터가없는 숨겨진 Markov 모델 교육

Question

언어학 과정의 경우 숨겨진 변수가 음성의 일부인 숨겨진 Markov 모델을 사용하여 Speech (POS) 태그의 일부를 구현했습니다. 우리는 일부 태그 데이터에 대한 시스템을 교육 한 다음 테스트 한 다음 결과를 금 데이터와 비교했습니다.

태그 교육 세트없이 HMM을 훈련시키는 것이 가능했을까요?

Answer 1

이론적으로는 그렇게 할 수 있습니다. 이 경우 Baum-Welch-Algorithm을 사용합니다. 그것은 매우 잘 설명됩니다 Rabiner의 HMM 튜토리얼.

그러나 HMM을 음성의 일부에 적용한 후 표준 형식으로 얻는 오류는 그렇게 만족스럽지 않습니다. 그것은 지역 최대로만 수렴하는 기대 최대화의 한 형태입니다. 규칙 기반 접근 방식은 HMMS 손을 이기고 IIRC.

파이썬 용 자연어 툴킷 NLTK는 정확한 목적을 위해 HMM 구현을 가지고 있다고 생각합니다.

Answer 2

NLP는 몇 년 전 이었지만 HMM을 태그하지 않고 N- 그램의 기호/상태 전이 확률을 결정하는 데 도움이 될 수 있다고 생각합니다 (즉, "hello"이후에 발생하는 "세계"의 확률은 무엇입니까). -연설. POS가 어떻게 상호 관계를 맺는 지 배우려면 태그가 지정된 코퍼스가 필요합니다.

내가 이것에 빠져 있다면 댓글에 알려주십시오!