Расчет энтропии Шеннона

Question

У меня есть распределение вероятностей, которое определяет вероятность появления n возможные состояния.

Я хотел бы вычислить значение энтропии Шеннона в битах данного распределения вероятностей.

Могу ли я использовать wentropy(x,'shannon') чтобы получить значение, и если да, то где я могу определить количество возможных состояний, которые имеет система?

Answer 1

Поскольку у вас уже есть распределение вероятностей, назовите его p, вы можете сделать следующее формула энтропии Шеннона Вместо того, чтобы использовать wentropy:

H = sum(-(p(p>0).*(log2(p(p>0)))));

Это дает энтропию H по кусочкам.

p сумма должна быть равна 1.