Miglior approccio algoritmico di Sentiment Analysis [chiusa]

Question

La mia esigenza sta prendendo in articoli di notizie e determinare se siano positivi o negativi su un argomento. Sto prendendo l'approccio descritto di seguito, ma io continuo a leggere la PNL può essere utile qui. Tutto quello che ho letto ha puntato NLP opinione rilevare dal fatto, che non credo che sarebbe un problema molto nel mio caso. Mi chiedo due cose:

1) Perché non sarebbe il mio lavoro algoritmo e / o come posso migliorarlo? (So ??che il sarcasmo sarebbe probabilmente una trappola, ma ancora una volta non vedo quella che si verifica molto nel tipo di notizia saremo sempre)

2) Come NLP aiuto, perché dovrei usarlo?

Il mio approccio algoritmico (ho dizionari di positivo, negativo, e parole negazione):

1) Numero conte di parole positive e negative dell'articolo

2) Se una parola è trovato con la negazione 2 o 3 parole da positive o negative, (vale a dire: non il migliore) nega il punteggio

.

3) Moltiplicare i punteggi di pesi che sono stati assegnati manualmente a ogni parola. (1,0 per iniziare)

4) Aggiungere i totali per positivi e negativi di ottenere il punteggio sentimento.

Answer 1

Non credo che ci sia niente di particolarmente sbagliato con il proprio algoritmo, è un modo abbastanza semplice e pratico per andare, ma ci sono molte situazioni in cui lo farà ottenere gli errori di chiusura.

1. parole sentimento ambiguo - "Questo prodotto funziona terribilmente" vs "Questo prodotto è terribilmente bene"

2. negazioni perse - "Non avrei mai in un milioni di anni dico che questo prodotto è un valore di acquisto"

3. Citato / text indiretta - "Mio padre dice che questo prodotto è terribile, ma non sono d'accordo"

4. Confronti - "Questo prodotto è quanto di più utile come un buco nella testa"

5. Tutto sottile - "Questo prodotto è brutto, lento e poco interessante, ma è la sola cosa sul mercato che fa il lavoro"

sto usando recensioni per questo prodotto per gli esempi, invece di notizie, ma si ottiene l'idea. In realtà, i singoli articoli sono probabilmente più difficile perché spesso cercare di mostrare entrambi i lati di un argomento e tendono ad usare un certo stile di trasmettere un punto. L'ultimo esempio è abbastanza comune in pezzi di opinione, per esempio.

Per quanto riguarda la NLP aiutandovi con tutto questo, parola senso disambigua (o anche solo analisi grammaticale ) può aiutare con (uno), analisi sintattica aiuto potenza con le dipendenze a lungo raggio in (2), una sorta di chunking aiuto potenza con (3). E 'tutta la ricerca di lavoro di livello, però, non c'è niente che io sappia che è possibile utilizzare direttamente. Issues (4) e (5) sono molto più difficili, mi passi le mie mani e rinunciare a questo punto.

mi piacerebbe restare con l'approccio che si ha e guardare in uscita con attenzione per vedere se sta facendo quello che vuoi. Certo che poi solleva la questione di ciò che si vuole capire la definizione di "sentimento" di essere, in primo luogo ...

Answer 2

Il mio esempio preferito è "semplicemente leggere il libro". non contiene nessuna parola esplicita sentimento ed è altamente a seconda del contesto. Se apears in una recensione di film significa che il-film-succhia-è-un-rifiuti-di-tuo-tempo-ma-il-libro-è-buona. Tuttavia, se si è in una recensione del libro trasporta un sentimento positivo.

E che dire - "questo è il più piccolo [cellulare] telefono nel mercato". indietro negli anni '90, è stato un grande elogio. Oggi si può indicare che si tratta di un modo troppo piccolo.

Credo che questo è il punto di partenza al fine di ottenere la complessità di sentiment analysis: http://www.cs.cornell.edu/home/llee/opinion-mining-sentiment-analysis-survey.html (da Lillian Lee della Cornell).

Answer 3

Si possono trovare il sistema OpinionFinder ei giornali lo descrivono utili. È disponibile presso http://www.cs.pitt.edu/mpqa/ con altri risorse per l'analisi opinione.

Si va oltre la classificazione di polarità a livello di documento, ma cercare di trovare opinioni individuali a livello di frase.

Answer 4

Credo che la migliore risposta a tutte le domande che lei ha citato è di leggere il libro con il titolo di "Sentiment Analysis e opinion mining" dal professor Bing Liu . Questo libro è il meglio delle proprie nel campo della sentiment analysis. è stupefacente. Basta dare un'occhiata e troverete la risposta a tutte le vostre 'perché' e 'come' domande!

Answer 5

tecniche di apprendimento automatico sono probabilmente meglio.

Whitelaw, Garg, e Argamon avere una tecnica che raggiunge 92% di precisione, utilizzando una tecnica simile al tuo per affrontare negazione, e macchine sostegno vettore per la classificazione testo.

Answer 6

Perché non provare qualcosa di simile a come funziona il filtro SpamAsassin di spam? In realtà non molta differenza tra intensione mineraria e opinion mining.