criterios de información para matrices de confusión

Question

Uno puede medir bondad de ajuste de un modelo estadístico usando Akaike Criterio de Información (AIC) , que representa bondad de ajuste y para el número de parámetros que se utiliza para la creación del modelo. AIC implica cálculo del valor maximizado de la función de probabilidad para que el modelo ( L ). ¿Cómo se puede calcular L , los resultados de predicción de dados de un modelo de clasificación, representada como una matriz de confusión?

Answer 1

información basada en la evaluación del criterio de Rendimiento del clasificador por Kononenko y Bratko es exactamente lo que yo ha buscado:

  

Exactitud en la clasificación general se utiliza como una medida del rendimiento de clasificación. Esta medida es, sin embargo, sabe que tiene varios defectos. Un criterio de evaluación justo debe excluir la influencia de las probabilidades de clase que pueden permitir un clasificador completamente desinformados para lograr trivialmente alta precisión de la clasificación. En este trabajo se propone un método para la evaluación de la información de resultados de las respuestas de un clasificador. Se excluye la influencia de probabilidades previas, se ocupa de diversos tipos de respuestas imperfectas o probabilísticos y se puede utilizar también para comparar el desempeño en diferentes dominios.

Answer 2

No es posible calcular la AIC a partir de una matriz de confusión, ya que no contiene ninguna información acerca de la probabilidad. Dependiendo del modelo que está utilizando, puede ser posible calcular la probabilidad o cuasi-probabilidad y por lo tanto el AIC o QIC.

¿Cuál es el problema de clasificación que se está trabajando, y lo que es su modelo?

En un contexto de clasificación se utilizan a menudo otras medidas para hacer pruebas GoF. Me gustaría recomendar la lectura a través de los elementos del aprendizaje estadístico de Hastie, Tibshirani y Friedman para obtener una buena visión de conjunto de este tipo de metodología.

Espero que esto ayude.