ضغط البيانات - انتروبيا

Question

دعنا نقول أن لدي أبجدية $$ \ sigma={a، b، c، d، e \} $$

مع الاحتمالات $$ p (a)= p (b)= p (c)= p (c)= 0.25 \ text {and} p (d)= p (e)= 0.125. $

أعرف أن الانتروبيو ثم هو: $$ h (\ sigma)= 3 \ cdot 0.25 \ cdot \ log 4 + 2 \ cdot 0.125 \ cdot \ log 8= 2.25. $

سؤالي الآن هو: ماذا يعني هذا فيما يتعلق بالحد الأدنى للضغط؟كم عدد البتات التي سأحتاجها على الأقل إلى ضغط نص يتكون من الأبجدية المذكورة أعلاه؟

Answer 1

الفكرة هي فكدي الرموز الأكثر استخداما بشكل متكرر مع عدد قليل من البتات من تلك الأقل استخداما

لذلك، يعني مثال UR أننا نتمكن من ضغط المزيد إذا قمت بفك تشفير A، B، C في أجزاء أقل من E، D بدلا من فك تشفير بواسطة Huffman ترميز A، B، C ممثلة في 2 بت (هذا السجل 4)؛بينما D، e تأخذ 3 بتات (سجل 8) بهذه الطريقة حجم الترميز المتوقع الخاص بك أمر ضئيل (2.25 * طول النص) لأنك تتوقع أن يكون ملفك 0.25 من شخصياته كأداة ... 0.125 كما E، ...

آمل أن يكون ذلك واضحا ...