Come viene richiesto il valore previsto nell'entropia?

Question

Sono stato autoapprendente sull'entropia e sono arrivato a questa equazione. $$ H= - \ sum p (x) \ log p (x) $$

L'equazione per l'entropia nel valore atteso, $$ H (x)=OperatorName * {\ MATHBB {E}} _ {X \ SIM P} [I (X)]= - \ OperatorName * {\ MathBB {E}} _ {X \ SIM P} [\ LogP (x)]. $$

Ma il valore atteso è scritto come

$$ \ mathbb {e} [x]=sum_ {i= 1} ^ k x_i p_i= x_1p_1 + x_2p_2 + \ cdots + x_k p_k $$

Usando la formula del valore prevista sopra riportata, mi aspettavo che l'equazione entropia assomiglia a questo come questa

$$ h (x)= - \ OperatorName * {\ MATHICB {E}} _ {X \ SIM P (X)} [\ log P (x)]=- \ sum xp (x) \ log p (x) $$

Dov'è la $ x $ andato nella formula di entropia reale in notazione sommata?

Answer 1

Ecco la definizione dell'aspettativa di una variabile casuale discreta $ y $ : $$ \ mathbb {e} [y]= - \ suum_y \ PR [y= y] \ cdot y. $$ Nel tuo caso, $ y=log p (x) $ , dove $ x \ SIM P $ .Perciò $$ \ mathbb {e} [x]=sum_y \ PR [\ log p (x)= y] \ cdot y. $$ Notare che $$ \ PR [- \ log p (x)= y]=sum_ {x \ \ Colon \ log p (x)= y} \ PR [x= x] \ cdot y=suum_ {x \ Colon \ log p (x)= y} \ PR [x= x] \ cdot \ log p (x). $$ Perciò $$ \ mathbb {e} [x]=sum_y \ sum_ {x \ Colon \ log p (x)= y} \ PR [x= x] \ cdot \ log p (x)=sum_x \ pr [x= x] \ log p (x)=sum_x p (x) \ log p (x). $$