Dimostra che il limite superiore nel teorema di codifica noisless è severo

Question

Data una distribuzione di probabilità $ p $ Attraverso un alfabeto, definiamo la ridondanza come:

Lunghezza prevista delle parole in codice - Entropia di P = $ E (s) - h (p) $

Dimostrarlo per ciascuno $ epsilon $ insieme a $ 0 le epsilon lt 1 $ esiste a $ p $ in modo tale che la codifica ottimale abbia ridondanza $ epsilon $.

Tentativi

Ho provato a costruire una distribuzione di probabilità come $ p_o = epsilon, p_1 = 1 - epsilon $ Sulla base di una risposta precedente, ma non riesco a farlo funzionare.

Qualsiasi aiuto sarebbe molto apprezzato.

Modificare:

La soluzione che penso di aver trovato è mappata di seguito.

ridondanza = $ E (s) - h (p) = sum p_is_i + sum p_ilogp_i $. Vogliamo dimostrarlo per un dato $ epsilon $, possiamo trovare un $ p $ che rende ridondanza = $ epsilon $. Così $;.

Conosciamo il valore ottimale per $ s_i $ sarà meno di $ -logp_i + 1 $, così possiamo scrivere tutto $ s_i $ come $ s_i = -logp_i+ alpha_i $.

Adesso, $;.

Intuitivamente sento che puoi sempre trovare AP in modo che quanto sopra sia vero per $ Epsilon $, perché il $ alpha $ I valori sono regolati da quanto lontano da un potere di due $ m $ è, ma non sono sicuro di come dimostrare quest'ultimo passaggio.