Formación de Modelos Ocultos de Markov sin Etiquetado del Corpus de Datos

Question

Para una lingüística del curso hemos implementado Parte de la oración (POS) etiquetar el uso de un modelo oculto de markov, donde las variables ocultas eran las partes de la oración.Entrenamos el sistema en algunos de etiquetado de datos y, a continuación, probamos y comparamos nuestros resultados con el oro de los datos.

Hubiera sido posible entrenar a las HMM sin el etiquetado conjunto de entrenamiento?

Answer 1

En teoría, usted puede hacer eso.En ese caso debe utilizar la Baum-Welch-Algoritmo.Se describe muy bien en Rabiner del HMM Tutorial.

Sin embargo, habiendo aplicado Hmm a parte de su discurso, el error que se obtiene con el modelo de formulario que no será tan satisfactorio.Es una forma de maximización de la expectativa que sólo converge a los máximos locales.Regla de enfoques basados en el ritmo Hmm manos hacia abajo, si mal no recuerdo.

Creo que el lenguaje natural toolkit NLTK para python tiene un HMM aplicación para ese propósito exacto.

Answer 2

PNL fue hace un par de años, pero creo que sin etiquetar el HMM podría ayudar a determinar las probabilidades de transición de emisión símbolo / estado de n-gramas (es decir, ¿cuáles son las probabilidades de "mundo" que ocurre después de "hola"), pero no partes de la oración. Se necesita el corpus etiquetados para aprender cómo se relacionan entre sí los puntos de venta.

Si estoy lejos en este hágamelo saber en los comentarios!