Keyword-/Phrase -Extraktion aus dem Text mit Deep Learning Libraries

Question

Vielleicht ist das zu breit, aber ich suche nach Referenzen, wie man Deep Learning in einer Textübersichtsaufgabe verwendet.

Ich habe bereits die Textübersicht mit Standard-Wortfrequenzansätzen und Satzrangern implementiert, aber ich möchte die Möglichkeit untersuchen, Deep-Lern-Techniken für diese Aufgabe zu verwenden. Ich habe auch einige Implementierungen durchlaufen Wildml.com Verwendung von Faltungsnetzwerken (CNN) zur Stimmungsanalyse; Ich würde gerne wissen, wie man Bibliotheken wie TensorFlow oder Theano für die Textübersicht und die Keyword -Extraktion verwenden kann. Es ist ungefähr eine Woche her, seit ich angefangen habe, mit neuronalen Netzen zu experimentieren, und ich freue mich sehr zu sehen, wie die Leistung dieser Bibliotheken mit meinen früheren Ansätzen zu diesem Problem vergleichbar ist.

Ich suche besonders einige interessante Papiere und Github -Projekte, die sich mit diesen Frameworks zusammensetzen. Kann mir jemand einige Referenzen geben?

Answer 1

Das Google Research Blog sollte im Kontext von hilfreich sein Tensorflow.

Im obigen Artikel gibt es einen Hinweis auf die Annotierter englischer Gigaword -Datensatz Dies wird routinemäßig für die Textübersicht verwendet.

Die Zeitung 2014 von Sutskever et al betitelt Sequenz zum Sequenzlernen mit neuronalen Netzwerken Könnte ein sinnvoller Start auf Ihre Reise sein, da sich herausstellt, dass für kürzere Texte die Zusammenfassung von End-to-End mit einer Deep-Lern-Technik gelernt werden kann.

Zuletzt, hier ist ein großes Github -Repository, das die Textübersicht demonstriert, während TensorFlow verwendet wird.

Answer 2

Dies ist ein offener Forschungsbereich und hängt sicherlich davon ab, wie Sie das Problem umrahmen. Wenn Sie über die Zusammenfassung der Multi-Dokumenten sprechen, unterscheidet sich das Problem geringfügig als wenn Sie über die Zusammenfassung der Einzeldokuments sprechen.

Es lohnt sich, die Literatur kurz zu überprüfen.

Der Link zur Verfügung gestellt von U/Society der Datenwissenschaftler ist großartig und es ist nützlich für die abstrakt Zusammenfassung der Aufgabe in einem einzigen Dokument. Es wird auch Arbeiten erledigt Rohstoff Zusammenfassungen, die wichtige Sätze zum Extrahieren identifizieren.

Rush et. Al hat ein schönes Papier über die abstrakte Zusammenfassung mit Aufmerksamkeit, was auf tiefem Lernen basiert.

Für eine extraktive Zusammenfassung können Sie einen LSTM verwenden, um Ihren Klassifizierer zu erstellen und Standard -TensorFlow/Torch -Bibliotheken zu verwenden, aber es scheint keine aktuellen Veröffentlichungen zur Verwendung von Deep -Lernen für diesen Ansatz zu geben.

Hier sind einige zusätzliche Github -Repos:

• Der ursprüngliche Rush ET. Al Repo.
• Eine Tensorflow -Implementierung desselben Papiers

Answer 3

Klingt so, als wäre dies eine extraktivere Zusammenfassung, wenn Sie nach Schlüsselwörtern suchen. Hier sind ein paar Papiere, die wahrscheinlich Implementierungen haben:

Neuronale Zusammenfassung durch Extrahieren von Sätzen und Wörtern

Rohige Zusammenfassung unter Verwendung von Deep Learning

Semi-überprüfte Faltungsnetzwerke für die Kategorisierung von Text durch Region Einbettung

Außerdem hat Spacy (nicht verbunden) ein Gutes Blog über die allgemeine Architektur von Textentwicklungsaufgaben.