Extracción de palabras clave/frase del texto utilizando bibliotecas de aprendizaje profundo

Question

Quizás esto sea demasiado amplio, pero estoy buscando referencias sobre cómo usar el aprendizaje profundo en una tarea de resumen de texto.

Ya he implementado el resumen de texto utilizando enfoques de frecuencia de palabras estándar y rango de oraciones, pero me gustaría explorar la posibilidad de utilizar técnicas de aprendizaje profundo para esta tarea. También he pasado por algunas implementaciones dadas en Wildml.com utilizando redes neuronales convolucionales (CNN) para el análisis de sentimientos; Me gustaría saber cómo se podría usar bibliotecas como TensorFlow o Theo para resumen de texto y extracción de palabras clave. Ha pasado aproximadamente una semana desde que comencé a experimentar con redes neuronales, y estoy realmente emocionado de ver cómo el rendimiento de estas bibliotecas se compara con mis enfoques anteriores para este problema.

En particular, estoy buscando algunos documentos interesantes y proyectos de GitHub relacionados con el resumen de texto utilizando estos marcos. ¿Alguien puede proporcionarme algunas referencias?

Answer 1

los Blog de investigación de Google debe ser útil en el contexto de Flujo tensor.

En el artículo anterior, hay una referencia al Conjunto de datos de gigaword en inglés anotado que se usa rutinariamente para el resumen de texto.

El documento de 2014 por Sutskever et al noble Secuencia al aprendizaje de secuencia con redes neuronales Podría ser un comienzo significativo en su viaje, ya que resulta que para textos más cortos, la resumen se puede aprender de extremo a extremo con una técnica de aprendizaje profundo.

Por último, aquí es un gran repositorio de GitHub que demuestra el resumen de texto mientras utiliza TensorFlow.

Answer 2

Esta es un área abierta de investigación y ciertamente depende de la forma en que enmarca el problema. Si está hablando de resumen de documentos múltiples, el problema es ligeramente diferente a si estuviera hablando de resumen de un solo documento.

Vale la pena revisar brevemente la literatura.

El enlace proporcionado por U/Sociedad de científicos de datos es genial y es útil para el abstractivo Tarea de resumen en un solo documento. También hay trabajo realizado en extractivo resumidos, que identifican oraciones importantes para extraer.

Rush et. Al tiene un buen artículo sobre el resumen abstracto con atención, que se basa en el aprendizaje profundo.

Para un resumen extractivo, puede usar un LSTM para construir su clasificador y usar bibliotecas estándar de tensorflow/antorcha, pero no parece haber publicaciones actuales sobre el uso de un aprendizaje profundo para este enfoque.

Aquí hay algunos reposadores de GitHub adicionales:

• El original Rush et. Al Repo.
• Una implementación de TensorFlow del mismo artículo

Answer 3

Parece que este es un resumen más extractivo si está buscando palabras clave. Aquí hay algunos documentos que probablemente tengan implementaciones:

Resumen neural extrayendo oraciones y palabras

Resumen extractivo utilizando el aprendizaje profundo

Redes neuronales convolucionales semi-supervisadas para la categorización de texto a través de la integración de la región

Además, Spacy (no afiliado) tiene un buen Blog Sobre la arquitectura general de las tareas de extracción de texto.