Compressão de dados - Entropia

Question

digamos que eu tenho um alfabeto $$ \ sigma= {a, b, c, d, e \} $$

com probabilidades $$ p (a)= p (b)= p (c)= 0,25 \ texto {e} p (d)= p (e)= 0,125. $$

Eu sei que a entropia é: $$ H (\ Sigma)= 3 \ Cdot 0.25 \ Cdot \ Log 4 + 2 \ Cdot 0.125 \ Cdot \ Log 8= 2.25. $$

Minha pergunta agora é: O que isso significa em relação ao limite inferior da compressão?Quantos bits terei pelo menos para comprimir um texto que consiste no alfabeto acima?

Answer 1

A ideia é decodificar os símbolos mais utilizados com menos número de bits do que os menos usados

Então, seu exemplo significa que podemos comprimir mais se decodificar A, B, c em menos bits do que e, em vez de decodificação equiplível Por Huffman Coding A, B, C é representado por 2 bits (que é o log 4);Enquanto D, e tome 3 bits (log 8) Desta forma, o tamanho de codificação esperado é mínimo (comprimento de texto 2.25 *) porque você espera que seu arquivo tenha 0,25 de seus caracteres como um ... 0,125 como e, ...

Espero que isso deixe claro ...