Calcul de l'entropie de Shannon

Question

J'ai une distribution de probabilité qui définit la probabilité d'apparition de n états possibles.

Je voudrais calculer la valeur de l'entropie de Shannon, en bits, de la distribution de probabilité donnée.

Puis-je utiliser wentropy(x,'shannon') pour obtenir la valeur et si oui, où puis-je définir le nombre d'états possibles d'un système ?

Answer 1

Puisque vous avez déjà la distribution de probabilité, appelez-la p, vous pouvez faire ce qui suit formule pour l'entropie de Shannon à la place d'utiliser wentropy:

H = sum(-(p(p>0).*(log2(p(p>0)))));

Cela donne l'entropie H en morceaux.

p doit totaliser 1.