Collision-Entropie-Definition.

Question

Die Collision-Entropie ist definiert als Renyi-Entropie für den Fall $ \ alpha= 2 $ . Es wird von

gegeben

$$ \ mathrm {h} _ {2} (x)= - \ log \ sum_ {i= 1} ^ {n} p_ {i} ^ {2} \ Tag {1} $$

Nehmen Sie zwei Zufallsvariablen $ x $ und $ x '$ , die derselben Wahrscheinlichkeitsverteilung folgen. Die Wahrscheinlichkeit einer Kollision ist dann einfach $ P _ {\ RM Coll}=sum_ {i= 1} ^ {n} p_ {i} ^ {2} $ . Ich würde dann erwarten, dass wir sagen, dass die Collision-Entropie nur $ H (P _ {\ RM Coll}) $ d .a ist.

$$ - \ links (\ sum_ {i= 1} ^ {n} p_ {i} ^ {2} {i} ^ {2} \ rechts) \ log \ link (\ sum_ {i i= 1} ^ {n} p_ {i} ^ {2}} ^ {2} \ rechts) - \ links (1 - \ sum_ {i= 1} ^ {n} p_ {i} ^ {2} \ rechts) \ log \ link (1- \ sum_ {i= 1} ^ {n} p_ {i} ^ {2} \ rechts) $$

Dies ist in Analogie mit der binären Entropie, jedoch mit der Wahrscheinlichkeit, dass durch die Wahrscheinlichkeit einer Kollision ersetzt wird.

Was ist die Motivation hinter der Wahl $ (1) $ Um die Definition von Collision-Entropie zu sein?

Answer 1

Wenn $ x $ einheitlich über eine Domäne der Größe $ N $ verteilt ist, dann Shannon-Entropie, Collision-Entropie und Min-Entropie sind alle gleich $ \ log n $ .In einem Sinne messen alle diese Parameter den Betrag der Unsicherheit in $ x $ .

Im Gegensatz dazu ist Ihre vorgeschlagene Definition immer zwischen $ 0 $ und $ 1 $ , und tendiert auf Null $ x $ wird mehr unvorhersehbar.Dies unterscheidet sich ganz von anderen Entropierenerstellungen, in denen Null für vorhersehbar ist .