엔트로피에서 예상되는 가치는 어떻게 파생됩니까?

Question

나는 엔트로피에 대해 자주 배우고이 방정식을 가로 질러 온 것입니다. $$ h= - \ sum p (x) \ log p (x) $$

예상 값의 엔트로피 방정식, $$ h (x)=operatorname * {\ mathbb {e}} _ {x \ sim p} [i (x)]= - \ operatorname * {\ mathbb {e}} _ {x \ sim p} [\ logp (x)]. $$

그러나 예상 값은

로 작성되었습니다.

$$ \ mathbb {e} [x]= sum_ {i= 1} ^ K x_i p_i= x_1p_1 + x_2p_2 + \ cdots + x_k p_k $$

위의 예상 값 공식을 사용하여 엔트로피 방정식이 다음과 같이 보입니다

$$ h (x)= - \ operatorname * {\ mathbb {e}} _ {x \ sim p (x) [\ log p (x)]=- \ sum xp (x) \ log p (x) $$

여기서는 $ x $ 은 합계 표기법에서 실제 엔트로피 수식에서 사라 졌습니까?

Answer 1

여기에 이산 랜덤 변수 $ y $ 의 기대에 대한 정의입니다. $$ \ mathbb {e} [y]= - \ sum_y \ pr [y= y] \ cdot y. $$ 귀하의 경우 $ y=log p (x) $ , 여기서 $ x \ sim p $ ...에따라서 $$ \ mathbb {e} [x]=sum_y \ pr [\ log p (x)= y] \ cdot y. $$ 그것을주의해라 $$ \ PR [- \ log p (x)=sum_ {x \ colon \ log p (x)= y} \ pr [x] \ cdot y=sum_ {x \ colon \ log p (x)= Y} \ PR [x= x] \ cdot \ log p (x). $$ 따라서 $$ \ mathbb {e} [x]= sum_y \ sum_ {x \ colon \ log p (x)= y} \ pr [x= x] \ cdot \ log p (x)=sum_x \ pr [x= x] \ log p (x)=sum_x p (x) \ log p (x). $$