Informationskriterien für Verwirrungsmatrizen

Question

Man kann die Güte der Anpassung eines statistischen Modells verwenden Akaike Information Criterion (AIC), was für die Anpassungsgüte und für die Anzahl der Parameter für die Modellierung von Modellen berücksichtigt wird. AIC beinhaltet die Berechnung des maximierten Wertes der Wahrscheinlichkeitsfunktion für dieses Modell (L). Wie kann man berechnen L, Angesichts der Vorhersageergebnisse eines Klassifizierungsmodells, dargestellt als Verwirrungsmatrix?

Answer 1

Informationsbasierter Bewertungskriterium für die Leistung des Klassifizierers von Kononenko und Bratko ist genau das, wonach ich gesucht habe:

Die Klassifizierungsgenauigkeit wird normalerweise als Maß für die Klassifizierungsleistung verwendet. Es ist jedoch bekannt, dass diese Maßnahme mehrere Mängel aufweist. Ein Kriterium für faire Bewertungen sollte den Einfluss der Klassenwahrscheinlichkeiten ausschließen, die es einem vollständig uninformierten Klassifizierer ermöglichen können, die Genauigkeit der hohen Klassifizierung trivial zu erreichen. In diesem Artikel wird eine Methode zur Bewertung der Informationsbewertung der Antworten eines Klassifikators vorgeschlagen. Es schließt den Einfluss früherer Wahrscheinlichkeiten aus, befasst sich mit verschiedenen Arten von unvollkommenen oder probabilistischen Antworten und kann auch zum Vergleich der Leistung in verschiedenen Bereichen verwendet werden.

Answer 2

Es ist nicht möglich, das AIC aus einer Verwirrungsmatrix zu berechnen, da sie keine Informationen über die Wahrscheinlichkeit enthält. Abhängig vom Modell, das Sie verwenden, kann es möglich sein, die Wahrscheinlichkeit oder Quasi-Likelihood und damit die AIC oder QIC zu berechnen.

Was ist das Klassifizierungsproblem, an dem Sie arbeiten, und was ist Ihr Modell?

In einem Klassifizierungskontext werden häufig andere Maßnahmen für GOF -Tests verwendet. Ich würde empfehlen, die Elemente des statistischen Lernens durch Hastie, Tibshirani und Friedman durchzulesen, um einen guten Überblick über diese Art von Methodik zu erhalten.

Hoffe das hilft.