Prouver que la limite supérieure du théorème de codage silencieux est stricte

Question

Étant donné une distribution de probabilité $ p $ À travers un alphabet, nous définissons la redondance comme:

Longueur attendue des mots de code - Entropie de p = $ E (s) - h (p) $

Prouver que pour chacun $ epsilon $ avec $ 0 le epsilon lt 1 $ il existe un $ p $ tel que le codage optimal a une redondance $ epsilon $.

Tentatives

J'ai essayé de construire une distribution de probabilité comme $ p_o = epsilon, p_1 = 1 - epsilon $ Sur la base d'une réponse précédente, mais je ne peux pas le faire fonctionner.

Toute aide serait très appréciée.

Éditer:

La solution que je pense que j'ai trouvée est cartographiée ci-dessous.

redondance = $ E (s) - h (p) = sum p_is_i + sum p_ilogp_i $. Nous voulons montrer cela pour une donnée $ epsilon $, nous pouvons trouver un $ p $ Cela fait la redondance = $ epsilon $. Alors $ sum p_is_i + sum p_ilogp_i = epsilon ==> sum p_is_i = - sum p_ilogp_i + epsilon $.

Nous connaissons la valeur optimale pour $ s_i $ sera inférieur à $ -logp_i + 1 $, donc nous pouvons tout écrire $ s_i $ comme $ s_i = -logp_i + alpha_i $.

À présent, dollars.

Intuitivement, je pense que vous pouvez toujours trouver AP afin que ce qui précède soit vrai $ epsilon $, parce que le $ alpha $ Les valeurs sont régies par la distance d'une puissance de deux $ m $ est, mais je ne sais pas comment prouver cette dernière étape.