Как ожидаемое значение, полученное в энтропии?

Question

Я был самостоятельно изучать энтропию и вот в этом уравнении. $$ H= - \ sum p (x) \ log p (x) $$

Уравнение для энтропии в ожидаемом значении, $$ H (x)=operatorname * {\ mathbb {e}} _ {x \ sim p} [i (x)]= - \ apportnname * {\ mathbb {e}} _ {x \ sim p} [\ logP (x)]. $$

Но ожидаемое значение написано как

$$ \ mathbb {e} [x]=sum_ {i= 1} ^ k x_i p_i= x_1p_1 + x_2p_2 + \ cdots + x_k p_k $$

Использование вышеупомянутой предполагаемой формулы значения, я ожидал, что уравнение энтропии выглядит что-то вроде этого

$$ h (x)= - \ apportnname * {\ mathbb {e}} _ {x \ sim p (x)} [\ log p (x)]=- \ Sum XP (x) \ log p (x) $$

Где находится $ x $ Исчезли в настоящей формуле энтропии в обозначении суммирования?

Answer 1

Вот определение ожидания дискретной случайной переменной $ y $ : $$ \ mathbb {e} [y]= - \ sum_y \ pr [y= y] \ cdot y. $$ В вашем случае $ y=log p (x) $ , где $ x \ sim p $ ОтказСледовательно $$ \ mathbb {e} [x]=sum_y \ pr [\ log p (x)= y] \ cdot y. $$ Заметь $$ \ Pr [- \ log p (x)= y]=sum_ {x \ culon \ log p (x)= y} \ pr [x= x] \ cdot y=sum_ {x \ culon \ log p (х)= y} \ pr [x= x] \ cdot \ log p (x). $$ Следовательно $$ \ mathbb {e} [x]=sum_y \ sum_ {x \ culon \ log p (x)= y} \ pr [x= x] \ cdot \ log p (x)=sum_x \ pr [x= x] \ log p (x)=sum_x p (x) \ log p (x). $$