Como é o valor esperado na entropia derivada?

Question

Eu era auto-aprendendo sobre a entropia e encontrei essa equação. $$ H= - \ sum p (x) \ log p (x) $$

A equação de entropia no valor esperado, $$ H (x)=operatorName * {\ mathbb {e}} _ {x \ sim p} [i (x)]= - \ operatorName * {\ mathbb {e}} _ {x \ sim p} [\ logP (x)]. $$

Mas o valor esperado é escrito como

$$ \ mathbb {e} [x]=sum_ {i= 1} ^ k x_i p_i= x_1p_1 + x_2p_2 + \ cdoots + x_k p_k $$

Usando a fórmula de valor esperado acima, esperava que a equação de entropia parece algo como este

$$ h (x)= - \ operatorName * {\ mathbb {e}} _ {x \ sim p (x)} [\ log p (x)]=- \ Sum xp (x) \ log p (x) $$

Onde é a $ x $ ido na fórmula real de entropia na notação de somação?

Answer 1

Aqui está a definição da expectativa de uma variável aleatória discreta $ y $ : $$ \ mathbb {e} [y]= - \ sum_y \ pr [y= y] \ cdot y. $$ No seu caso, $ y=log p (x) $ , onde $ x \ sim p $ .Portanto $$ \ mathbb {e} [x]=sum_y \ pr [\ log p (x)= y] \ cdot y. $$ Notar que $$ \ Pr [- \ log P (x)= y]=sum_ {x \ colon \ log p (x)= y} \ pr [x= x] \ cdot y=sum_ {x \ colon \ log p (x)= y} \ pr [x= x] \ cdot \ log p (x). $$ Portanto $$ \ mathbb {e} [x]=sum_y \ sum_ {x \ colon \ log p (x)= y} \ pr [x= x] \ cdot \ log p (x)=sum_x \ pr [x= x] \ log p (x)=sum_x p (x) \ log p (x). $$