critères d'information pour les matrices de confusion

Question

On peut mesurer la qualité d'ajustement d'un modèle statistique en utilisant Akaike Information Criterion (AIC) , qui représente la bonté de l'ajustement et le nombre de paramètres qui ont été utilisés pour la création de modèles. AIC implique le calcul de la valeur maximisée de la fonction de probabilité pour que le modèle ( L ). Comment peut-on calculer L , les résultats de prévision données d'un modèle de classification, représentée comme une matrice de confusion?

Answer 1

Évaluation de l'information basée sur le critère de Performance de classificateur par Kononenko et Bratko est exactement ce que je était à la recherche pour:

  

Précision de classification est généralement utilisé comme une mesure de la performance de classification. Cependant, cette mesure est, connu pour avoir plusieurs défauts. Un critère d'évaluation équitable devrait exclure l'influence des probabilités de classe qui peut permettre à un classificateur complètement mal informés pour obtenir trivialement une grande précision de la classification. Dans cet article, une méthode d'évaluation de la note d'information des réponses d'un classificateur »est proposé. Elle exclut l'influence des probabilités a priori, traite de différents types de réponses imparfaites ou probabiliste et peut également être utilisé pour comparer les performances dans différents domaines.

Answer 2

Il est impossible de calculer l'AIC à partir d'une matrice de confusion car il ne contient aucune information sur la probabilité. Selon le modèle que vous utilisez, il peut être possible de calculer la probabilité ou la quasi-vraisemblance et par conséquent l'AIC ou QIC.

Quel est le problème de classification que vous travaillez, et quel est votre modèle?

Dans un contexte de classification souvent d'autres mesures sont utilisées pour faire des tests GoF. Je recommande la lecture à travers les éléments d'apprentissage statistique par Hastie, Tibshirani et Friedman pour obtenir un bon aperçu de ce genre de méthode.

Hope this helps.