エントロピーの予想価値はどのように派生していますか？

Question

私はエントロピーについて自己学習し、この式に渡って来ました。 $$ h= - \ sum p（x）\ log p（x） $$

期待値のエントロピーの方程式、 $$ h（x）=¥operatorname * {\ mathbb {e}} _ {x \ sim p} [i（x）]= - \ operatorname * {\ mathbb {e}} _ {x \ sim p} [\ logP（x）]。 $$

しかし期待値は

として書かれています

$$ \ mathbb {e} [x]=sum_ {i= 1} ^ k x_i p_i= x_1p_1 + x_1p_1 + x_2p_2 + \ cdots + x_k p_k $$

上記の期待値式を使用して、エントロピー方程式がこのようなものに見える予想

$$ h（x）= - ¥operatorname * {¥mathbb {e}} _ {x \ sim p（x）} [\ log p（x）]= - \ sum xp（x）\ log p（x）$$

合計表記の実際のエントロピー式で $ x $ はどこにありますか？

Answer 1

これは、離散的なランダム変数 $ Y $ の期待の定義です。 $$ \ mathbb {e} [y]= - \ sum_y \ pr [y= y] \ cdot y。 $$ あなたの場合、 $ y=log p（x）$ 、 $ x \ sim p $ 。したがって $$ \ mathbb {e} [x]=sum_y \ pr [\ log p（x）= y] \ cdot y。 $$ それに注意してください $$ \ pr [ - \ log p（x）= y]=sum_ {x \ colon \ log p（x）= y} \ pr [x= x] \ cdot=sum_ {x \ colon \ log p（x）= y} \ pr [x= x] \ cdot \ log p（x）。 $$ したがって $$ \ mathbb {e} [x]=sum_y \ sum_ {x \ colon \ log p（x）= y} \ pr [x= x] \ cdot \ log p（x）=sum_x \ pr [x= x] \ log p（x）=sum_x p（x）\ log p（x）。 $$