Ponderados de árboles de decisión utilizando la entropía

Question

Estoy construyendo un árbol de clasificación binaria utilizando ganar como la función de división. Pero dado que los datos de entrenamiento está sesgada hacia unas pocas clases, es conveniente ponderar cada ejemplo de entrenamiento por la frecuencia de la clase inversa.

¿Cómo ponderar los datos de entrenamiento? En el cálculo de las probabilidades para calcular la entropía, lo tomo promedios ponderados?

EDIT:. Me gustaría una expresión para la entropía con los pesos

Answer 1

Estado-ponderada valor de entropía como una medida de riesgo de inversión.
http: //www56.homepage.villanova. edu / david.nawrocki / Estado% 20Weighted% 20Entropy% 20Nawrocki% 20Harding.pdf

Answer 2

El artículo de Wikipedia ha citado entra en ponderación. Dice:

variantes tabuladas
En la formulación tradicional de la información mutua,

cada evento o objeto especificado por (x, y) se pondera por el p probabilidad correspondiente (x, y). Esto supone que todos los objetos o eventos son equivalentes, aparte de su probabilidad de ocurrencia. Sin embargo, en algunas aplicaciones puede ser el caso de que ciertos objetos o eventos son más significativos que otros, o que ciertos patrones de asociación son más semánticamente importantes que otros.

Por ejemplo, el mapeo determinista {(1,1), (2,2), (3,3)} puede ser visto como más fuerte (por algún estándar) que el mapeo determinista {(1,3), ( 2,1), (3,2)}, aunque estas relaciones producirían la misma información mutua. Esto es porque la información mutua no es sensible en absoluto a cualquier ordenación inherente a los valores de las variables (Cronbach 1954, Coombs y Dawes 1970, Lockhead 1970), y por lo tanto no es sensible en absoluto a la forma de la cartografía relacional entre las variables asociadas . Si se desea que la relación anterior - mostrando un acuerdo sobre todos los valores de las variables - juzgarse más fuerte que la relación más adelante, entonces es posible usar la siguiente información mutua ponderada (Guiasu 1977)

que coloca un peso w (x, y) en la probabilidad de cada valor de la variable co-ocurrencia, p (x, y). Esto permite que ciertas probabilidades pueden tener más o menos importancia que otros, lo que permite la cuantificación de los factores holísticos o pregnancia pertinentes. En el ejemplo anterior, utilizando pesos relativos más grandes para w (1,1), w (2,2), y w (3,3) tendría el efecto de la evaluación de una mayor capacidad informativa para la relación {(1,1), ( 2,2), (3,3)} que para la relación {(1,3), (2,1), (3,2)}, que puede ser deseable en algunos casos de reconocimiento de patrones, y similares.

http://en.wikipedia.org/wiki/Mutual_information#Weighted_variants