섀넌의 엔트로피 계산

Question

나는 n 가능한 상태의 발생 확률을 정의하는 확률 분포를 가지고있다.

주어진 확률 분포의 Shannon의 엔트로피의 가치를 비트로 계산하고 싶습니다.

wentropy(x,'shannon')를 사용하여 값을 가져오고 그렇다면 시스템이있는 경우 가능한 상태의 수를 정의 할 수 있습니까?

Answer 1

이미 확률 배포가 있으므로 p를 호출하기 때문에 다음을 수행 할 수 있습니다 Shannon 엔트로피에 대한 공식 wentropy를 사용하는 대신 :

H = sum(-(p(p>0).*(log2(p(p>0)))));

.

이것은 Entropy H 비트 을 제공합니다.

p는 1로 합산해야합니다.