Criteri di informazione per matrici confusione

Question

Si può misurare la bontà di adattamento di un modello statistico utilizzando Akaike Information Criterion (AIC) , che rappresenta bontà di adattamento e per il numero di parametri che sono stati utilizzati per la creazione del modello. AIC comporta il calcolo del valore massimizzato della funzione di verosimiglianza per il modello ( L ). Come si può calcolare L , determinati risultati di predizione di un modello di classificazione, rappresentata come una matrice di confusione?

Answer 1

Informazioni-Based Evaluation Criterio di classificatore prestazioni di Kononenko e Bratko è esattamente quello che ho era alla ricerca di:

  

precisione classificazione è di solito usato come una misura della performance di classificazione. Questa misura è, tuttavia, noto per avere diversi difetti. Un criterio di valutazione equa dovrebbe escludere l'influenza delle probabilità di classe che possono consentire un classificatore completamente disinformato per ottenere banalmente elevata precisione di classificazione. In questo lavoro viene proposto un metodo per valutare il punteggio di informazioni risposte un classificatore di '. Si esclude l'influenza di probabilità a priori, si occupa di vari tipi di risposte imperfetti o probabilistici e può essere utilizzato anche per confrontare le prestazioni in domini diversi.

Answer 2

Non è possibile calcolare l'AIC da una matrice di confusione in quanto non contiene alcuna informazione circa la probabilità. A seconda del modello che si sta utilizzando può essere possibile calcolare la probabilità o quasi-verosimiglianza e quindi l'AIC o QIC.

Qual è il problema di classificazione che si sta lavorando, e che cosa è il tuo modello?

In un contesto di classificazione vengono utilizzati spesso altre misure per fare test GoF. Mi raccomando di leggere attraverso gli elementi di apprendimento statistico di Hastie, Tibshirani e Friedman per avere una buona visione di questo tipo di metodologia.

Spero che questo aiuti.