¿Cómo se obtiene el valor esperado en la entropía derivada?

Question

Yo era auto aprendiendo acerca de la entropía y encontré esta ecuación. $$ H= - \ suma p (x) \ log p (x) $$

La ecuación para la entropía en valor esperado, $$ H (x)=operatorname * {\ mathbb {e}} _ {x \ sim p} [i (x)]= - \ operatorname * {\ mathbb {e}} _ {x \ sim p} [\ logP (x)]. $$

Pero el valor esperado se escribe como

$$ \ mathbb {e} [x]=sum_ {i= 1} ^ k x_i p_i= x_1p_1 + x_2p_2 + \ cdots + x_k p_k $$

Usando la fórmula de valor esperado anterior, esperaba que la ecuación de entropía se vea algo así

$$ h (x)= - \ operatorname * {\ mathbb {e}} _ {x \ sim p (x)} [\ log p (x)]=- \ SUM XP (X) \ LOG P (X) $$

¿Dónde está el $ x $ ido en la fórmula de entropía real en la notación de suma?

Answer 1

Aquí está la definición de la expectativa de una variable aleatoria discreta $ y $ : $$ \ mathbb {e} [y]= - \ sum_y \ pr [y= y] \ cdot y. $$ En su caso, $ y=log p (x) $ , donde $ x \ sim p $ .Por lo tanto $$ \ mathbb {e} [x]=sum_y \ pr [\ log p (x)= y] \ cdot y. $$ Darse cuenta de $$ \ Pr [- \ log p (x)= y]=sum_ {x \ colon \ log p (x)= y} \ pr [x= x] \ cdot y=sum_ {x \ colon \ log p (x)= y} \ pr [x= x] \ cdot \ log p (x). $$ Por lo tanto $$ \ mathbb {e} [x]=sum_y \ sum_ {x \ colon \ log p (x)= y} \ pr [x= x] \ cdot \ log p (x)=sum_x \ pr [x= x] \ log p (x)=sum_x p (x) \ log p (x). $$