информационные критерии для матриц путаницы

Question

Можно измерить степень соответствия статистической модели, используя Информационный критерий Акайке (AIC), что учитывает качество подгонки и количество параметров, которые были использованы для создания модели.AIC включает в себя вычисление максимального значения функции правдоподобия для этой модели (L).Как можно вычислить L, учитывая результаты прогнозирования классификационной модели, представленные в виде матрицы путаницы?

Answer 1

Основанный на информации критерий оценки эффективности классификатора автор: Кононенко и Братко - это именно то, что я искал:

Точность классификации обычно используется в качестве показателя эффективности классификации.Однако известно, что эта мера имеет несколько недостатков.Справедливый критерий оценки должен исключать влияние вероятностей классов, которые могут позволить совершенно неосведомленному классификатору тривиально достичь высокой точности классификации.В этой статье предлагается метод оценки информативности ответов классификатора.Он исключает влияние предшествующих вероятностей, имеет дело с различными типами несовершенных или вероятностных ответов и может также использоваться для сравнения результатов в разных областях.

Answer 2

Невозможно вычислить AIC по матрице путаницы, поскольку она не содержит никакой информации о вероятности.В зависимости от используемой вами модели может оказаться возможным вычислить вероятность или квазивероятность и, следовательно, AIC или QIC.

В чем заключается проблема классификации, над которой вы работаете, и какова ваша модель?

В контексте классификации часто для проведения тестирования GoF используются другие показатели.Я бы порекомендовал ознакомиться с "Элементами статистического обучения" Хасти, Тибширани и Фридмана, чтобы получить хороший обзор такого рода методологии.

Надеюсь, это поможет.