Shannons Entropieberechnung

Question

Ich habe eine Wahrscheinlichkeitsverteilung, die die Eintrittswahrscheinlichkeit von definiert n mögliche Zustände.

Ich möchte den Wert der Shannon-Entropie der gegebenen Wahrscheinlichkeitsverteilung in Bits berechnen.

Kann ich benutzen wentropy(x,'shannon') um den Wert zu erhalten, und wenn ja, wo kann ich die Anzahl der möglichen Zustände eines Systems definieren?

Answer 1

Da Sie bereits über die Wahrscheinlichkeitsverteilung verfügen, nennen Sie sie p, können Sie Folgendes tun Formel für Shannon-Entropie statt zu verwenden wentropy:

H = sum(-(p(p>0).*(log2(p(p>0)))));

Dies ergibt die Entropie H in Bits.

p muss 1 ergeben.