Como é o valor esperado na entropia derivada?
Pergunta
Eu era auto-aprendendo sobre a entropia e encontrei essa equação. $$ H= - \ sum p (x) \ log p (x) $$
A equação de entropia no valor esperado, $$ H (x)=operatorName * {\ mathbb {e}} _ {x \ sim p} [i (x)]= - \ operatorName * {\ mathbb {e}} _ {x \ sim p} [\ logP (x)]. $$
Mas o valor esperado é escrito como
$$ \ mathbb {e} [x]=sum_ {i= 1} ^ k x_i p_i= x_1p_1 + x_2p_2 + \ cdoots + x_k p_k $$
Usando a fórmula de valor esperado acima, esperava que a equação de entropia parece algo como este
$$ h (x)= - \ operatorName * {\ mathbb {e}} _ {x \ sim p (x)} [\ log p (x)]=- \ Sum xp (x) \ log p (x) $$
Onde é a $ x $ ido na fórmula real de entropia na notação de somação?
Solução
Aqui está a definição da expectativa de uma variável aleatória discreta $ y $ : $$ \ mathbb {e} [y]= - \ sum_y \ pr [y= y] \ cdot y. $$ No seu caso, $ y=log p (x) $ , onde $ x \ sim p $ .Portanto $$ \ mathbb {e} [x]=sum_y \ pr [\ log p (x)= y] \ cdot y. $$ Notar que $$ \ Pr [- \ log P (x)= y]=sum_ {x \ colon \ log p (x)= y} \ pr [x= x] \ cdot y=sum_ {x \ colon \ log p (x)= y} \ pr [x= x] \ cdot \ log p (x). $$ Portanto $$ \ mathbb {e} [x]=sum_y \ sum_ {x \ colon \ log p (x)= y} \ pr [x= x] \ cdot \ log p (x)=sum_x \ pr [x= x] \ log p (x)=sum_x p (x) \ log p (x). $$