Определение энтропии столкновения

Question

Энтропия столкновения определяется как энтропия Renyi для случая $ \ alpha= 2 $ . Это дается путем

$$ \ mathrm {h} _ {2} (x)= - \ log \ sum_ {i= 1} ^ {n} p_ {i} ^ {2} \ tag {1} $$

Возьмите две случайные переменные $ x $ и $ x '$ , которые следуют тому же распределению вероятностей. Вероятность столкновения затем просто $ P _ {\ RM coll}=sum_ {i= 1} ^ {n} p_ {i} ^ {2} $ Отказ Затем я ожидаю, что мы говорим, что энтропия столкновения - это просто $ H (P _ {\ RM Coll}) $ i.e.

$$ - \ left (\ sum_ {i= 1} ^ {n} p_ {i} ^ {2} \ vant) \ log \ left (\ sum_ {i= 1} ^ {n} p_ {i} ^ {2} \ справа) - \ левый (1 - \ sum_ {i= 1} ^ {n} p_ {i} ^ {2} \ справа) \ log \ left (1- \ sum_ {i= 1} ^ {n} p_ {i} ^ {2} \ вправо) $$

Это аналогично с двоичной энтропией, но с вероятностью заменена вероятностью столкновения.

Какова мотивация выбора $ (1) $ Чтобы быть определением энтропии столкновения?

Answer 1

Когда $ x $ равномерно распределяется над областью размера $ n $ , затем Shannon Entryopy, энтропия столкновения и мин-энтропия равны $ \ log n $ .В некотором смысле все эти параметры измеряют количество неопределенности в $ x $ .

Напротив, вашему предложенному определению всегда между $ 0 $ и $ 1 $ , стремящийся к нулю, как $ x $ становится более непредсказуемым.Это совсем отличается от других понятий энтропии, в котором нулевые подписываются для предсказуемого .