A Entropia de Shannon cálculo

Question

Eu tenho uma distribuição de probabilidade, que define a probabilidade de ocorrência de n estados possíveis.

Eu gostaria de calcular o valor da entropia de Shannon, em bits, de uma dada distribuição de probabilidade.

Posso usar wentropy(x,'shannon') para obter o valor e se sim, onde posso definir o número de estados possíveis de um sistema?

Answer 1

Como você já tem a distribuição de probabilidade, chamá-lo de p, você pode fazer o seguinte fórmula de Shannon Entropy em vez de usar wentropy:

H = sum(-(p(p>0).*(log2(p(p>0)))));

Isso dá a entropia H em bits.

p devem somar 1.