엔트로피를 사용한 가중 의사 결정 트리

Question

나는 이진 분류 트리를 사용하고 있습니다 상호 정보 이득 분할 함수로. 그러나 훈련 데이터는 몇 가지 클래스로 비뚤어 지므로 역 클래스 주파수로 각 훈련 예를 가중치하는 것이 좋습니다.

훈련 데이터는 어떻게 가중치를가합니까? 엔트로피를 추정 할 확률을 계산할 때 가중 평균을 취합니까?

편집 : 무게가있는 엔트로피의 표현을 원합니다.

Answer 1

투자 위험의 척도로서 상태 가치 가중 엔트로피.
http://www56.homepage.villanova.edu/david.nawrocki/state%20weighted%20Entropy%20Nawrocki%20Harding.pdf

Answer 2

당신이 인용 한 Wikipedia 기사는 가중치로 들어갑니다. 그것은 말한다 :

가중 변형
상호 정보의 전통적인 공식화에서

(x, y)로 지정된 각 이벤트 또는 객체는 해당 확률 P (x, y)에 의해 가중됩니다. 이것은 모든 객체 또는 이벤트가 발생 가능성과 동일하다고 가정합니다. 그러나 일부 응용 분야에서는 특정 객체 나 이벤트가 다른 개체보다 중요하거나 특정 연관 패턴이 다른 것보다 의미 적으로 중요하다는 것이 경우 일 수 있습니다.

예를 들어, 결정 론적 매핑 {(1,1), (2,2), (3,3)}는 결정 론적 매핑 {(1,3), (2,1에 의해 일부 표준에 의해 더 강한 것으로 간주 될 수 있습니다. ), (3,2)}, 이러한 관계는 동일한 상호 정보를 산출 할 것입니다. 이는 상호 정보가 변수 값 (Cronbach 1954, Coombs & Dawes 1970, Lockhead 1970)의 고유 한 순서에 전혀 민감하지 않기 때문에 관련 변수 간의 관계 매핑 형태에 전혀 민감하지 않기 때문입니다. . 모든 변수 값에 대한 계약을 보여주는 전자 관계가 이후의 관계보다 더 강력하게 판단되기를 원한다면, 다음의 가중 상호 정보를 사용할 수 있습니다 (Guiasu 1977).

각 변수 값 동시 발생 확률, p (x, y)의 확률에 가중치 W (x, y)를 배치합니다. 이를 통해 특정 확률은 다른 확률이 다른 확률보다 다소 중요성을 부여 할 수 있으므로 관련 전체적 또는 Prägnanz 요인의 정량화가 가능합니다. 위의 예에서, w (1,1), w (2,2) 및 w (3,3)에 더 큰 상대 가중치를 사용하면 관계 {(1,1), ( 2,2), (3,3)} 관계 {(1,3), (2,1), (3,2)}보다, 일부 패턴 인식의 경우에 바람직 할 수 있습니다.

http://en.wikipedia.org/wiki/mutual_information#weighted_variants