Warum ist die Kanalkapazität von Awgn unendlich?

Question

Mein Professor hat uns gelehrt, dass die Kanalkapazität von AWGN-Kanal unendlich ist, ohne dass die Stromeinschränkungen eingeht.Das Rauschen ist $ Z \ SIM \ MATHCAL {N} (0, \ Sigma ^ 2) $ .Es gibt keine Einschränkung des Eingangssignals.Ich verstehe nicht, wie der Professor direkt sagen kann, dass die Kanalkapazität unendlich ist.Müssen wir nicht gegenseitige Informationen zwischen Input und Ausgabe maximieren, um die Kanalkapazität zu erhalten?Wie geht es dem für kontinuierliche Variablen?

Answer 1

Hier ist ein Codierungsschema, das die Hauptidee zeigt:

codieren: Lassen Sie die Stromeinschränkung $ P $ behoben und angenommen werden, dass wir ein Informationsbit eine Zeit übertragen möchten. Wir setzen unser Codierungsprogramm als $ x (0)=sqrt {p}, x (1)= - \ sqrt {p} $ , wobei $ x $ ist die Codierungsfunktion.

decoding: let $ y $ Bezeichnen Sie das empfangene Signal und $ Z $ Das additive Gaußsche Rauschen wie Sie definiert haben. Wir setzen den Decoder als $ \ Hat {x}=Mathbb {1} _ {\ y y> 0 \}}} (y) $ , wobei $ \ mathbb {1} _a (W) $ ist die Indikatorfunktion, die $ 1 $ ergibt, wenn $ W \ in einem $ und $ 0 $ Ansonsten.

Fehlerwahrscheinlichkeit: Lassen Sie $ p_e $ die Wahrscheinlichkeit des Fehlers bezeichnen. Wir gehen davon aus, dass die Informationsbits gleich wahrscheinlich sind, da wir sonst eine optimale Quellcodierung verwenden können, um sicherzustellen, dass sie sich befinden. Dann,

\ beginnen {ALIGN} P_e &=frac {1} {2} p (y> 0 | x= - \ sqrt {p}) + \ frac {1} {2} p (y \ leq 0 | x=sqrt {p}) \\ &=frac {1} {2} p (z> \ sqrt {p} | x= - \ sqrt {p}) + \ frac {1} {2} p (z \ leq - \ sqrt {p} | X=sqrt {p}) \\ &= P (z> \ sqrt {p})= 1 - \ phi \ linke (\ sqrt {\ frac {p} {\ Sigma ^ 2}}} \ \ \ sigma ^ 2}} \ \ \ \ Sigma ^} \ \ \ \ s \ END {ALIGN}

wo $ \ phi (t)=int _ {- \ fly} ^ t \ frac {1} {\ sqrt {2 \ pi}} E ^ {- \ frac {-t ^ 2} {2}} $ ist die Gaußsche CDF. Die wichtigste Beobachtung hierbei ist, dass dies als CDF eine nicht abnehmende Funktion ist, die an 1 $ $ in der Grenze konvergiert. Durch die Erhöhung der $ P $ können wir es willkürlich in der Nähe von $ 1 $ machen. Mit anderen Worten, lassen Sie $ \ Epsilon> 0 $ , für groß genug $ P $ , $ p_e <\ Epsilon $ . Ohne Leistungseinschränkung können wir ein Bit Information mit willkürlich kleiner Fehlerwahrscheinlichkeit senden. Dieses Codierschema erweist sich als Rate von $ 1 $ ist erreichbar.

ok, wie kommen wir von einer erreichbaren Rate von $ 1 $ bis $ \ Infty $ ? Mal sehen, was passiert, wenn wir unsere Rate von $ 1 $ bis $ 2 $ , durch codieren von zwei Information Bits bei eine Zeit. Lassen $$ x (B_1, B_2)=beginnen {Hüllen} \ sqrt {p}, & \ Text {if} (B_1, B_2) &= (0,0) \\ \ frac {\ sqrt {p}} {2}, & \ text {if} (b_1, b_2) &= (0,1) \\ - \ sqrt {p} \ text {if} (b_1, b_2 ) &= (1,0) \\ - \ frac {\ sqrt {p \ frac {\ sqrt {p \ frac {2}, & \ text {if} (B_1, B_2) &= (1,1) \ END {Hüllen} $$ < / span>

Jetzt, wenn Sie das gleiche Verfahren wie oben verfolgen, erfahren Sie, dass $ p_e= p \ linke (z> \ frac {\ sqrt {p}} {2 } \ RECHTS)= 1 - \ phi \ linke (\ sqrt {\ frac {p} {4 \ sigma ^ 2}} \} \} \ · rechts) $ . Daher können wir erneut einen (größeren) $ P $ finden, mit dem wir $ 2 $ Informationsbits senken können in $ 1 $ codiertes Bit mit einem beliebig kleinen Wahrscheinlichkeitsfehler. Wenn Sie sich vorstellen können, wenn $ P $ unbegrenzt ist, können wir dies einfach weiter machen, um mehr und mehr Informationen zu codieren, um in einem einzelnen codierten Bit in einem einzigen codierten Bit zu codieren, ohne von $ p_e $ .

Moral der Geschichte: ohne eingebundenes an der Übertragungsleistung können wir einen Satz codierter Bits (Codewords der Länge 1) auswählen, die willkürlich kleiner $ P_e $ und wir können dies für eine beliebig große Reihe von Codebits tun, um so viele Informationsbits in 1 zu drücken, wie wir möchten. Die erreichbaren Raten sind also unbegrenzt, und da die Kapazität die kleinste obere Grenze an den erreichbaren Raten ist, ist es $ \ Infty $ .