Definição de entropia de colisão

Question

A entropia de colisão é definida como a entropia de Renyi para o caso $\alfa = 2$.É dado por

$$\mathrm{H}_{2}(X)=-\log \sum_{i=1}^{n} p_{i}^{2} ag{1}$$

Pegue duas variáveis ​​aleatórias $X$ e $X'$ que seguem a mesma distribuição de probabilidade.A probabilidade de uma colisão é então simplesmente $P_{ m col} = \sum_{i=1}^{n} p_{i}^{2}$.Eu esperaria então que disséssemos que a entropia de colisão é apenas $H(P_{ m col})$ ou seja

$$-\left(\sum_{i=1}^{n} p_{i}^{2} ight)\log\left(\sum_{i=1}^{n} p_{i}^{ 2} ight) - \left(1 -\sum_{i=1}^{n} p_{i}^{2} ight)\log\left(1-\sum_{i=1}^{n } p_{i}^{2}\direita)$$

Isto está em analogia com a entropia binária, mas com a probabilidade substituída pela probabilidade de uma colisão.

Qual é a motivação por trás da escolha $(1)$ ser a definição de entropia de colisão?

Answer 1

Quando $X$ é distribuído uniformemente em um domínio de tamanho $n$, então a entropia de Shannon, a entropia de colisão e a min-entropia são todas iguais a $\logn$.De certa forma, todos esses parâmetros medem a quantidade de incerteza em $X$.

Em contraste, a definição proposta está sempre entre $0$ e $1$, tendendo a zero como $X$ fica mais imprevisível.Isto é bastante diferente de outras noções de entropia, nas quais zero representa previsível.