衝突エントロピー定義

Question

衝突エントロピーは、ケース $ \ alpha= 2 $ のRENYIエントロピーとして定義されています。それは

によって与えられます

$$ \ mathrm {h} _ {2}（x）= - \ log \ sum_ {i= 1} ^ {n} {2} \ tag {1} $$

2つのランダム変数 $ x $ 、 $ x '$ を同じ確率分布に続く。その場合、衝突の確率は単純に $ P _ {\ RM COLL}=sum_ {i= 1} ^ {n} p_ {i} ^ {2} $ 。衝突エントロピーがただ $ H（P _ {\ RM COLL}）$ i.e。

$$ - \ left（\ sum_ {i= 1} ^ {n} p_ {i} ^ {2} \ right）\ log \ left（\ sum_ {i= 1} ^ {n} p_ {i} {2} \ rewl） - \ rever（1 - \ sum_ {i= 1} ^ {n} p_ {i} ^ {2} \ right）\ log \左（1- \ sum_ {i= 1} ^ {n} p_ {i} ^ {2} \ right）$$

これはバイナリエントロピーと同様であるが、確率は衝突の可能性に置き換えられている。

$（1）$ の選択の背後にある動機とは何ですか？

Answer 1

$ x $ が、sys $ n $ のドメインを介して一様に分散されている、それからシャノンエントロピー、衝突エントロピーと最小エントロピーはすべて $ \ log n $ です。ある意味では、これらのパラメータのすべてが $ x $ の不確実性の量を測定します。

これとは対照的に、提案された定義は常にと $ 1 $ の間にある。 $ X $ はより予測不可能です。これは他のエントロピーの概念とは全く異なり、ゼロは予測可能を表します。