Взвешенные деревья решений с использованием энтропии

Question

Я строю дерево двоичной классификации, используя взаимный информационный выигрыш как функция расщепления.Но поскольку данные обучения смещены в сторону нескольких классов, желательно взвешивать каждый пример обучения по обратной частоте занятий.

Как мне взвесить данные обучения?Использую ли я средневзвешенные значения при расчете вероятностей для оценки энтропии?

РЕДАКТИРОВАТЬ:Мне нужно выражение для энтропии с весами.

Answer 1

Взвешенная по стоимости государства энтропия как мера инвестиционного риска.
http://www56.homepage.villanova.edu/david.nawrocki/State%20Weighted%20Entropy%20Nawrocki%20Harding.pdf

Answer 2

Статья в Википедии, которую вы процитировали, посвящена взвешиванию.Там говорится:

Взвешенные варианты
В традиционной формулировке взаимной информации

каждое событие или объект, указанный (x,y), взвешивается соответствующей вероятностью p(x,y).Это предполагает, что все объекты или события эквивалентны, за исключением вероятности их возникновения.Однако в некоторых приложениях может случиться так, что определенные объекты или события более значимы, чем другие, или что определенные шаблоны ассоциаций более семантически важны, чем другие.

Например, детерминированное отображение {(1,1),(2,2),(3,3)} можно рассматривать как более сильное (по некоторому стандарту), чем детерминированное отображение {(1,3),(2,1 ),(3,2)}, хотя эти отношения дадут одну и ту же взаимную информацию.Это связано с тем, что взаимная информация совершенно не чувствительна к какому-либо внутреннему порядку значений переменных (Cronbach 1954, Coombs & Dawes 1970, Lockhead 1970) и, следовательно, совершенно не чувствительна к форме реляционного отображения между связанными переменными. .Если желательно, чтобы первое отношение, показывающее согласие по всем значениям переменных, оценивалось сильнее, чем более позднее отношение, тогда можно использовать следующую взвешенную взаимную информацию (Guiasu 1977):

который присваивает вес w(x,y) вероятности совместного появления каждого значения переменной p(x,y).Это позволяет некоторым вероятностям иметь большее или меньшее значение, чем другие, тем самым позволяя количественно оценить соответствующие целостные или предварительные факторы.В приведенном выше примере использование больших относительных весов для w(1,1), w(2,2) и w(3,3) приведет к оценке большей информативности отношения {(1,1),( 2,2),(3,3)}, чем для отношения {(1,3),(2,1),(3,2)}, что может быть желательно в некоторых случаях распознавания образов и т.п.

http://en.wikipedia.org/wiki/Mutual_information#Weighted_variants