Wie wird der erwartete Wert in der Entropie abgeleitet?

Question

Ich war selbst lernend über Entropie und kam auf diese Gleichung. $$ H= - \ sum p (x) \ log p (x) $$

die Gleichung zur Entropie im erwarteten Wert, $$ H (X)=ONTERNAME * {\ mathbb {E}} _ {X \ SIM P} [I (x)]= - \ operatorname * {\ mathbb {e}} _ {x \ SIM P} [\ \ \ \ \ \ \ \P (x)]. $$

Der erwartete Wert wird jedoch als

geschrieben

$$ \ mathbb {e} [x]=sum_ {i= 1} ^ k x_i p_i= x_1p_1 + x_2p_2 + \ cdots + x_k p_k $$

Mit der oben genannten erwarteten Wertformel habe ich erwartet, dass die Entropiegleichung so etwas aussieht

$$ h (x)= - \ operatorname * {\ mathbb {e}} _ {x \ SIM P (x)} [\ log p (x)]=- \ SUM XP (X) \ log P (x) $$

wo ist der $ x $ in der echten Entropie-Formel in Summation Notation gegangen?

Answer 1

Hier ist die Definition der Erwartung einer diskreten zufälligen Variablen $ y $ : $$ \ mathbb {e} [y]= - \ sum_y \ pR [y= y] \ cdot y. $$ In Ihrem Fall $ y=log P (x) $ , wobei $ x \ SIM P $ .Deshalb $$ \ mathbb {e} [x]=sum_y \ pr [\ · log p (x)= y] \ cdot y. $$ Beachte das $$ \ PR [- \ \ log p (x)= y]=\ sum_ {x \ colon \ log p (x)= y} \ pR [x= x] \ cdot y=sum_ {x \ colon \ log p (x)= y} \ PR [x= x] \ cdot \ log p (x). $$ Deshalb $$ \ mathbb {e} [x]=sum_y \ sum_ {x \ colon \ log p (x)= y} \ pR [x= x] \ cdot \ · \ \ pl [x)=sum_x \ pr [x= x] \ log p (x)=sum_x p (x) \ log p (x). $$