Comment est-ce que la valeur attendue dans l'entropie dérivée?

Question

J'étais auto-apprenant sur l'entropie et je suis tombé sur cette équation. $$ H= - \ somme p (x) \ journal p (x) $$

L'équation pour entropie dans la valeur attendue, $$ H (x)=opérateurName * {\ mathbb {e}} _ {x \ sim p} [i (x)]= - \ opérateurName * {\ mathbb {e}} _ {x \ sim p _ _ \ \ journalP (x)]. $$

Mais la valeur attendue est écrite comme

$$ \ mathbb {e} [x]=sum_ {i= 1} ^ k x_i p_i= x_1p_1 + x_2p_2 + \ cdots + x_k p_k $$

Utilisation de la formule de valeur attendue ci-dessus, je m'attendais à ce que l'équation d'entropie ressemble à quelque chose comme ça

$$ h (x)= - \ opérateurName * {\ mathbb {e}} _ {x \ sim p (x)} [\ journal p (x)]=- \ somme XP (x) \ journal p (x) $$

Où est la $ x $ est parti dans la formule de l'entropie réelle en notation de sommation?

Answer 1

Voici la définition de l'attente d'une variable aléatoire discrète $ y $ : $$ \ mathbb {e} [y]= - sum_y \ pr [y= y] \ CDOT y. $$ Dans votre cas, $ y=journal p (x) $ , où $ x \ sim p $ .Par conséquent $$ \ mathbb {e} [x]=sum_y \ pr [\ journal p (x)= y] \ CDOT y. $$ Remarquerez que $$ \ PR [- \ journal p (x)= y]=sum_ {x \ colon \ journal p (x)= y} \ pr [x= x] \ cdot y=sum_ {x \ colon \ journal p (x)= y} \ pr [x= x] \ cdot \ journal p (x). $$ Par conséquent $$ \ mathbb {e} [x]=sum_y \ sum_ {x \ colon \ journal p (x)= y} \ pr [x= x] \ cdot \ journal p (x)=sum_x \ pr [x] \ journal p (x)=sum_x p (x) \ journal p (x). $$