critérios de informação para matrizes de confusão

Question

Pode-se medir a qualidade do ajuste de um modelo estatístico usando Critério de Informação de Akaike (AIC), que leva em conta a qualidade do ajuste e o número de parâmetros que foram usados ​​para a criação do modelo.AIC envolve o cálculo do valor maximizado da função de verossimilhança para esse modelo (eu).Como alguém pode calcular eu, dados os resultados de previsão de um modelo de classificação, representado como uma matriz de confusão?

Answer 1

Critério de avaliação baseado em informações para desempenho do classificador de Kononenko e Bratko é exatamente o que eu procurava:

A precisão da classificação é geralmente usada como uma medida do desempenho da classificação.Esta medida é, no entanto, conhecida por ter vários defeitos.Um critério de avaliação justo deve excluir a influência das probabilidades de classe que podem permitir que um classificador completamente desinformado alcance trivialmente uma alta precisão de classificação.Neste artigo é proposto um método para avaliar o escore de informação das respostas de um classificador.Exclui a influência de probabilidades anteriores, lida com vários tipos de respostas imperfeitas ou probabilísticas e pode ser usado também para comparar o desempenho em diferentes domínios.

Answer 2

Não é possível calcular o AIC a partir de uma matriz de confusão, pois esta não contém nenhuma informação sobre a probabilidade.Dependendo do modelo que você está usando, pode ser possível calcular a probabilidade ou quase probabilidade e, portanto, o AIC ou QIC.

Qual é o problema de classificação em que você está trabalhando e qual é o seu modelo?

Num contexto de classificação, muitas vezes outras medidas são usadas para fazer testes GoF.Eu recomendo a leitura de The Elements of Statistical Learning, de Hastie, Tibshirani e Friedman, para obter uma boa visão geral desse tipo de metodologia.

Espero que isto ajude.