Compression de données - entropie

Question

disons que j'ai un alphabet $$ \ sigma={a, b, c, d, e \} $$

avec probabilités $$ p (a)= p (b)= p (c)= 0.25 \ texte {et} p (d)= p (e)= 0.125. $$

Je sais que l'entropie est alors: $$ h (\ sigma)= 3 \ CDOT 0.25 \ CDOT \ journal 4 + 2 \ CDOT 0.125 \ CDOT \ LOG 8= 2.25. $$

Ma question est maintenant: Qu'est-ce que cela signifie par rapport à la limite inférieure de la compression?Combien de bits aurez-je au moins besoin de compresser un texte composé de l'alphabet ci-dessus?

Answer 1

L'idée est de décoder les symboles les plus fréquemment utilisés avec moins de bits que les moins utilisés

SO UR EXEMPLE signifie que nous pouvons compresser davantage si nous décodons A, B, C dans moins de bits que E, D plutôt que le décodage équipéfrobable Par le codage de Huffman A, B, C est représenté par 2 bits (c'est-à-dire le journal 4);tandis que d, e prendre 3 bits (log 8) De cette façon, votre taille de codage attendue est une longueur minimale (2,25 * du texte), car vous attendez que votre fichier ait 0,25 de ses caractères de ... 0.125 comme E, ...

J'espère que cela le rend clair ...