كيف تكون القيمة المتوقعة في Entropy مشتق؟

Question

كنت تعلم النفس حول الانتروبيا واتصلت عبر هذه المعادلة. $$ H= - \ sum p (x) \ log p (x)

المعادلة عن الانتروبيا في القيمة المتوقعة، $$ H (x)=operatorname * {\ mathbb {e}} _ {x \ sim p} [i (x)]= - \ operatorname * {\ mathbb {e}} _ {x \ sim p} [\ logص (س)].

ولكن القيمة المتوقعة مكتوبة باسم

$$ \ mathbb {e} [x]=sum_ {i= 1} ^ k x_i p_i= x_1p_1 + x_2p_2 + \ cdots + x_k p_k

باستخدام صيغة القيمة المتوقعة أعلاه، كنت أتوقع أن تكون معادلة الانتروبيا تبدو مثل هذا

$$ H (x)= - \ operatorname * {\ mathbb {e}} _ {x \ sim p (x)} [\ log p (x)]=- \ مبلغ XP (x) \ Log P (x) $

أين هو $ x $ ذهبت في صيغة الانتروبيا الحقيقية في تدوين العلامات؟

Answer 1

هنا هو تعريف توقع متغير عشوائي منفصل $ y $ : $$ \ mathbb {e} [y]= - \ sum_y \ pr [y= y] \ cdot y. $ في حالتك، $ y=log p (x) $ ، حيث $ x \ sim p $ وبعدلذلك $$ \ mathbb {e} [x]=sum_y \ pr [\ log p (x)= y] \ cdot y. $ لاحظ أن $$ \ PR [- \ Log p (x)= y]=sum_ {x \ colon \ log p (x)= y} \ pr [x= x] \ cdot y=sum_ {x \ colon \ log p (x)= y} \ pr [x= x] \ cdot \ log p (x). $ لذلك $$ \ mathbb {e} [x]=sum_y \ sum_ {x \ colon \ log p (x)= y} \ pr [x= x] \ cdot \ log p (x)=sum_x \ pr [x= x] \ سجل p (x)=sum_x p (x) \ log p (x).