تعريف انتروبيا الاصطدام

Question

يتم تعريف انتروبيا الاصطدام على أنه Renyi Interpy للحالة $ \ alpha= 2 $ . يتم إعطاء بواسطة

$$ \ mathrm {h} _ {2} (x)= - \ log \ sum_ {i= 1}} ^ {n} p_ {}} ^ {2} \ TAG {1} $$

تأخذ اثنين من المتغيرات العشوائية $ x $ و $ x '$ والتي تتبع نفس توزيع الاحتمالات. احتمالية التصادم هو ببساطة $ p _ _ {\ rm colle}=sum_ {i= 1} {} p_ {}} ^ {2} $ وبعد سأتوقع بعد ذلك أن نقول انتروبيا الاصطدام هو مجرد $ h (p _ {\ rm colle}) $ i.e.

$ - \ left (\ sum_ {i= 1} {i} p_ {}} ^ ^ {2} \ right) \ log \ left (\ sum_ {i= 1} ^ {n} p_ {I} ^ ^ {2} \ right) - \ left (1 - \ sum_ {i= 1} {} p_ {i}} ^ {2} \ right) \ log \ left (1- \ sum_ {i= 1} ^ {n} p_ {i} ^ {2} \ right) $

هذا هو في القياس مع الانتروبيا الثنائية ولكن مع استبدال الاحتمالات باحتمال تصادم.

ما هو الدافع وراء اختيار $ (1) $ ليكون تعريف entropy الاصطدام؟

Answer 1

عندما يتم توزيع $ x $ بشكل موحد عبر مجال الحجم $ n $ ، ثم Shannon Entropy، الانتروبي الاصطدام و min-entropy كلها تساوي $ \ log n $ .بمعنى ما، كل هذه المعلمات تقيس كمية عدم اليقين في $ x $ .

على النقيض من ذلك، فإن التعريف المقترح الخاص بك هو دائما بين $ 0 $ و $ 1 $ ، تميل إلى الصفر $ x $ يحصل غير متوقع.هذا مختلف تماما عن مفاهيم غيرها من الانتروبي، حيث تقف الصفر ل يمكن التنبؤ .