AWGN無限のチャネル容量があるのはなぜですか？

Question

私の教授は、AWGNチャネルのチャネル容量が入力電力制約なしに無限であることを教えました。ノイズは $ z \ sim \ mathcal {n}（0、\ sigma ^ 2）$ です。入力信号に制約はありません。教授がどのようにしてチャネル容量が無限であると言うことができるかわかりません。チャネル容量を取得するには、入力と出力の間で相互情報を最大化する必要がありませんか？継続的な変数のためにそれをする方法？

Answer 1

これは主なアイデアを実証するコーディング方式です：

エンコーディング：電源制約 $ p $ を修正し、1つの情報を少し送信したいとします。コーディング方式を $ x（0）=sqrt {p}、x（1）= - \ sqrt {p} $ 、 $ x $ はエンコーディング関数です。

復号化： ret $ Y $ 受信信号と $ z $ 定義されたような加法的なガウス雑音。デコーダを $ \ hat {x}=mathbb {1} _ {\ {y> 0 \}}}（y）$ 、 $ \ mathbb {1} _a（w）$ は、 $ 0 $ の数学コンテナ "> $ w \ $ 0 $ 。

エラーの可能性： ret $ p_e $ はエラーの可能性を表します。そうでなければ、それらが確実にあることを確認するために単に最適なソースコーディングを単に使用することができるので、情報ビットが同様に可能性が高いと仮定する。それから、

\ begin {align} p_e＆=frac {1} {2} p（y> 0 | x= - \ sqrt {p}）+ \ frac {1} {2} p（y \ LEQ 0 | x=sqrt {p}） \ \ ＆=frac {1} {2} p（z> \ sqrt {p} | x= - \ sqrt {p}）+ \ frac {1} {2} p（z \ leq - \ sqrt {p} | X=SQRT {P}）\\ ＆= P（Z> \ SQRT {P}）= 1 - \ PHI \ LEFT（\ SQRT {\ frac {P} {\ Sigma ^ 2}} \ right） \ end {align}

ここで、 $ \ PHI（t）=int _ { - \ infty} ^ t \ frac {1} {\ sqrt {2 \ pi}}}}} { - \ frac {-t ^ 2} {2}} $ はGaussian CDFです。ここでの重要な観察は、CDFとして、これは $ 1 $ に収束する非減少関数です。 $ p $ を増やすことで、 $ 1 $ に任意に近づけることができます。言い換えれば、 0 $ epsilon> 0 $ 、 $ p $ 、 $ p_e <\ epsilon $ 。電力制約なしでは、任意に小さなエラー確率で1ビットの情報を送信できます。このコーディング方式は、 $ 1 $ のレートを証明します。

OK、 $ \ infty $ の達成可能な率から取得する方法？ $ 1 $ から $ 2 $ から2つの情報ビットをエンコードすることで、何が起こるかを見てみましょう。時間。遅刻する $$ x（b_1、b_2）=begin {ケース} \ sqrt {p}、＆\ text {if}（b_1、b_2）＆=（0,0）\\ \ frac {\ sqrt {p}} {2}、＆\ text {if}（b_1、b_2）＆=（0,1）\\ - \ sqrt {p}、＆\ text {if}（b_1、b_2 ）＆=（1,0）\\ - \ frac {\ sqrt {p}} {2}、＆\ text {if}（b_1、b_2）＆=（1,1）\ end {ケース} $$ < / SPAN>

上記と同じ手順に従う場合は、 $ p_e= p \左（z> \ frac {\ sqrt {p}}} {2 \ right）= 1 - \ phi \ left（\ sqrt {\ frac {p} {4 \ Sigma ^ 2}} \ right）$ 。したがって、 $ 2 $ 情報ビットを押すことができる（大きい） $ p $ を見つけることができます。 $ 1 $ 任意の小さな確率誤差を持つ符号化ビット。想像できるように、 $ p $ が解除されていない場合は、 $ p_e $ 。

物語の道徳：送信電力に縛られず、任意の小さいを達成する符号化ビット（長さ1のコードワード）を選ぶことができます。 $ P_E $ で、任意の大きな一連のコードビットが望むように多くの情報ビットを1に絞るためにこれを行うことができます。したがって、達成可能なレートは無制限になり、容量は達成可能なレートのセットの最小の上限であるため、 $ \ infty $ です。