PNL: qualitativamente & # 8220; positivo & # 8221; vs & # 8220; negativo & # 8221; condanna, frase

Question

Ho bisogno del tuo aiuto per determinare l'approccio migliore per l'analisi di frasi specifiche del settore (es. recensioni di film) per "positivo" vs "negativo". Ho già visto librerie come OpenNLP, ma è di livello troppo basso: mi dà solo la composizione di base delle frasi; ciò di cui ho bisogno è una struttura di livello superiore: - si spera con liste di parole - si spera sia addestrabile sulla mia serie di dati

Grazie!

Answer 1

Quello che stai cercando è comunemente soprannominato Analisi dei sentimenti . In genere, l'analisi del sentimento non è in grado di gestire delicate sottigliezze, come il sarcasmo o l'ironia, ma si comporta abbastanza bene se ci lanci un ampio set di dati.

L'analisi dei sentimenti di solito richiede un po 'di pre-elaborazione. Almeno tokenizzazione, rilevamento del limite di frase e tag di parte del discorso. A volte, l'analisi sintattica può essere importante. Farlo nel modo giusto è un'intera branca della ricerca in linguistica computazionale, e non ti consiglierei di trovare la tua soluzione a meno che tu non prenda il tuo tempo per studiare prima il campo.

OpenNLP ha alcuni strumenti per aiutare l'analisi del sentimento, ma se vuoi qualcosa di più serio, dovresti esaminare LingPipe toolkit. Ha alcune funzionalità SA integrate e un bel tutorial . E puoi addestrarlo sul tuo set di dati, ma non pensare che sia del tutto banale :-).

Googling per il termine probabilmente ti darà anche alcune risorse con cui lavorare. Se hai qualche domanda più specifica, chiedi, sto guardando attentamente il tag nlp ;-)

Answer 2

Alcuni approcci all'analisi dei sentimenti utilizzano strategie diffuse in altre attività di classificazione del testo. L'essere più comune sta trasformando la tua rassegna cinematografica in un vettore di parole e inserendola in un algoritmo di classificazione come dati di formazione. I pacchetti di data mining più popolari possono aiutarti qui. Puoi dare un'occhiata a questo tutorial sulla classificazione dei sentimenti che illustra come eseguire un esperimento utilizzando l'open source Toolkit RapidMiner .

Per inciso, esiste un buon set di dati resi disponibili a fini di ricerca relativi alla rilevazione di opinioni sulle recensioni dei film. Si basa sulle recensioni degli utenti IMDB e puoi controllare molte lavori di ricerca correlati sull'area e su come utilizzano il set di dati.

Vale la pena ricordare che l'efficacia di questi metodi può essere giudicata solo da un punto di vista statistico, quindi puoi praticamente presumere che ci saranno classificazioni errate e casi in cui è difficile rilevare l'opinione. Come già notato in questo thread, rilevare cose come l'ironia e il sarcasmo può essere davvero molto difficile.