熵衍生的预期价值如何？

Question

我是对熵的自我学习，遇到了这个方程。 $$ h= - \ sum p（x）\ log p（x） $$

预期值熵的等式， $$ h（x）=operatorname * {\ mathbb {e}} _ {x \ sim p} [i（x）]= - \ operatorname * {\ mathbb {e}} _ {x \ sim p} [\ logp（x）]。 $$

但预期的值被写为

$$ \ mathbb {e} [x]=sum_ {i= 1} ^ k x_i p_i= x_1p_1 + x_2p_2 + \ cdots + x_k p_k $$

使用上述预期值公式，我期待熵方程看起来像这样

$$ h（x）= - \ operatorname * {\ mathbb {e}} _ {x \ sim p（x）} [\ log p（x）]= - \ sum xp（x）\ log p（x）$$

$ x $ 在求和符号符号中的真正熵公式中消失了？

Answer 1

以下是离散随机变量 $ y $ 的定义： $$ \ mathbb {e} [y]= - \ sum_y \ pr [y= y] \ cdot y。 $$ 在您的情况下， $ y=log p（x）$ ，其中 $ x \ sim p $ 。所以 $$ \ mathbb {e} [x]=sum_y \ pr [\ log p（x）= y] \ cdot y。 $$ 注意 $$ \ Pr [ - \ log p（x）= y]=sum_ {x \ colon \ log p（x）= y} \ pr [x= x] \ cdot y=sum_ {x \ colon \ log p（x）= y} \ pr [x= x] \ cdot \ log p（x）。 $$ 所以 $$ \ mathbb {e} [x]=sum_y \ sum_ {x \ colon \ log p（x）= y} \ pr [x= x] \ cdot \ log p（x）=sum_x \ pr [x= x] \ log p（x）=sum_x p（x）\ log p（x）。 $$