La Entropía de Shannon de cálculo

Question

Tengo una distribución de probabilidad que define la probabilidad de ocurrencia de n estados posibles.

Quiero calcular el valor de la entropía de Shannon, en bits, de la distribución de probabilidad.

Puedo usar wentropy(x,'shannon') para obtener el valor y si es así ¿dónde puedo definir el número de estados posibles de un sistema tiene?

Answer 1

Ya que usted ya tiene la distribución de probabilidad, lo llaman p, puede hacer lo siguiente la fórmula de la Entropía de Shannon en lugar de utilizar wentropy:

H = sum(-(p(p>0).*(log2(p(p>0)))));

Esto le da a la entropía H en bits.

p debe sumar 1.