Compresión de datos - Entropía

Question

Digamos que tengo un alfabeto $$ \ SIGMA={A, B, C, D, E \} $$

con probabilidades $$ P (A)= P (B)= P (C)= 0.25 \ Texto {y} P (D)= P (E)= 0.125. $$

Sé que la entropía es entonces: $$ H (\ SIGMA)= 3 \ CDOT 0.25 \ CDOT \ LOG 4 + 2 \ CDOT 0.125 \ CDOT \ LOG 8= 2.25. $$

Mi pregunta ahora es: ¿Qué significa esto en relación con el límite inferior de la compresión?¿Cuántos bits, al menos necesitará comprimir un texto que consiste en el alfabeto anterior?

Answer 1

La idea es decodificar los símbolos más utilizados con menos cantidad de bits que los menos utilizados

Por lo tanto, su ejemplo significa que podemos comprimir más si decodificamos A, B, C en menos bits que E, D en lugar de decodificación equipalable. Por Huffman Coding A, B, C está representado por 2 bits (que es el registro 4);Mientras d, E tome 3 bits (registro 8) De esta manera, el tamaño de codificación esperado es mínimo (2.25 * longitud de texto) porque espera que su archivo tenga 0,25 de sus caracteres como a, ... 0.125 como e, ...

Espero que esto lo haga claro ...