Perché la capacità del canale è di AWGN infinita?

Question

Il mio professore ci ha insegnato che la capacità del canale del canale AWGN è infinita senza alcun limite di alimentazione in ingresso.Il rumore è $ z \ sim \ mathcal {n} (0, \ sigma ^ 2) $ .Non c'è vincolo sul segnale di ingresso.Non capisco come il professore può dire direttamente che la capacità del canale è infinita.Non dobbiamo massimizzare le informazioni reciproche tra l'input e l'output per ottenere la capacità del canale?Come farlo per le variabili continue?

Answer 1

Ecco uno schema di codifica che dimostra l'idea principale:

Codifica: Lascia che il vincolo di potenza $ P $ Sii fisso e supponiamo che vogliamo trasmettere un po 'di tempo. Impostiamo il nostro schema di codifica come $ x (0)=sqrt {p}, x (1)= - \ sqrt {p} $ , dove $ x $ è la funzione di codifica.

Decodifica: Let $ y $ Denota il segnale ricevuto e $ z $ L'additivo rumore gaussiano come te definito. Impostiamo il decodificatore come $ \ hat {x}=mathbb {1} _ {\ {y> 0}}} (y) $ , dove $ \ mathbb {1} _a (w) $ è la funzione dell'indicatore che produce $ 1 $ Se $ W \ in un $ e $ 0 $ altrimenti.

Probabilità di errore: Let $ P_E $ Dennare la probabilità di errore. Supponiamo che i bit di informazione siano ugualmente probabili, poiché altrimenti potremmo usare semplicemente la codifica ottimale della fonte per garantire che siano. Quindi,

\ begin {allinea} P_e &=frac {1} {2} P (y> 0 | x= - \ sqrt {p}) + \ frac {1} {2} P (y \ leq 0 | x=sqrt {p}) \\ &=frac {1} {2} P (z> \ sqrt {p} | x= - \ sqrt {p}) + \ frac {1} {2} P (z \ leq - \ sqrt {p} | X=sqrt {p}) \\ &= P (z> \ sqrt {p})= 1 - \ phi \ sinistra (\ sqrt {\ frac {p} {\ sigma ^ 2}} \ destra), \ end {allinea}

dove $ \ phi (t)=int _ {t)=int _ {- \ infty} ^ t \ frac {1} {\ sqrt {2 \ pi}} e ^ {- \ frac {-t ^ 2} {2}} $ è il cdf gaussiano. L'osservazione chiave qui è che, come CDF, questa è una funzione non decrescente che converge a $ 1 $ nel limite. Aumentando $ P $ , possiamo renderlo arbitrariamente vicino a $ 1 $ . In altre parole, Let $ \ Epsilon> 0 $ , per abbastanza grande $ p $ , $ p_e <\ epsilon $ . Senza un vincolo di potenza, possiamo inviare un bit di informazioni con un'arbitrariamente piccola probabilità di errore. Questo schema di codifica dimostra una velocità di $ 1 $ è realizzabile.

OK, quindi come otteniamo da un tasso realizzabile di $ 1 $ a $ \ Infty $ ? Vediamo cosa succede quando aumentiamo il nostro tasso da $ 1 $ a $ 2 $ , codificando due bit di informazione a un tempo. Permettere $$ x (B_1, B_2)=Begin {casi} \ sqrt {p}, & \ text {if} (B_1, B_2) &= (0,0) \\ \ frac {\ sqrt {p}} {2}, & \ text {IF} (B_1, B_2) &= (0,1) \\ - \ sqrt {p}, & \ text {IF} (B_1, B_2 ) &= (1,0) \\ - \ frac {\ sqrt {p}} {2}, & \ text {if} (B_1, B_2) &= (1,1) \ end {casi} $$ < / span>

Ora, se segui la stessa procedura di cui sopra, scoprirai che $ p_e= p \ sinistra (z> \ frac {\ sqrt {p}} {2 } \ destra)= 1 - \ phi \ sinistra (\ sqrt {\ frac {p} {4 \ sigma ^ 2}} \ destra) $ . Pertanto, possiamo trovare nuovamente un (più grande) $ p $ che ci consente di spremere $ 2 $ bit di informazioni In $ 1 $ Bit codificato con un errore di probabilità arbitrariamente piccolo. Come puoi immaginare, se $ p $ è illimitato, possiamo semplicemente continuare a farlo per codificare sempre più bit di informazioni su un singolo bit codificato senza sacrificare da $ p_e $ .

Moral of the Story: Senza un rilegato sulla potenza di trasmissione, possiamo scegliere un set di bit codificati (codici di lunghezza 1) che raggiungono arbitrariamente piccoli $ P_e $ e possiamo farlo per un insieme arbitrariamente ampio di bit di codice per spremere come molti bit di informazioni in 1 come vogliamo. Quindi, i tassi realizzabili sono iuti e poiché la capacità è il più piccolo limite superiore sul set di tariffe realizzabili, è $ \ Infty $ .