Calcolo entropia di Shannon

Question

Ho una distribuzione di probabilità che definisce la probabilità di verificarsi di stati n possibili.

Vorrei calcolare il valore dell'entropia di Shannon, in bit, della distribuzione di probabilità data.

Posso usare wentropy(x,'shannon') per ottenere il valore e se sì, dove posso definire il numero di possibili stati è un sistema?

Answer 1

Dal momento che hai già la distribuzione della probabilità, chiamalo p, puoi fare quanto segue Formula per l'entropia Shannon invece di usare wentropy:

H = sum(-(p(p>0).*(log2(p(p>0)))));

.

Dà l'entropia H in bit .

p deve sommare a 1.