为什么AWGN无限的频道容量？

Question

我的教授教授AWGN频道的频道容量是无限的，没有任何输入功率约束。噪声是 $ z \ sim \ mathcal {n}（0，\ sigma ^ 2）$ 。输入信号没有约束。我不明白教授如何直接说频道容量是无限的。我们是否需要最大化输入和输出之间的相互信息以获得频道容量？如何为连续变量做到这一点？

Answer 1

以下是一种编码方案，演示了主要思想：

编码：让功率约束 $ p $ 固定并假设我们想要一次传输一个信息。我们将编码方案设置为 $ x（0）=sqrt {p}，x（1）= - \ sqrt {p} $ ，其中 $ x $ 是编码功能。

解码： let $ y $ 表示接收的信号和 $ z $ 像你定义的那样的添加剂高斯噪声。我们将解码器设置为 $ \ hat {x}=mathbb {1} _ {\ {y> 0 \}}（y）$ ，其中 $ \ mathbb {1} _a（w）$ 是产生 $ 1 $ 如果 $ w \以$ 和 $ 0 $ 否则。

错误概率： let $ p_e $ 表示错误的概率。我们假设信息位同样可能，因为我们可以简单地使用最佳源编码来确保它们是。然后，

\ begin {align} p_e＆=frac {1} {2} p（y> 0 | x= - \ sqrt {p}）+ \ frac {1} {2} p（y \ leq 0 | x=sqrt {p}） \\ ＆=frac {1} {2} p（z> \ sqrt {p} | x= - \ sqrt {p}）+ \ frac {1} {2} p（z \ leq - \ sqrt {p} | x=sqrt {p}）\\ ＆= p（z> \ sqrt {p}）= 1 - \ phi \ left（\ sqrt {\ frac {p} {\ sigma ^ 2}} \右）， \结束{对齐}

其中 $ \ phi（t）=int _ { - \ idty} ^ t \ frac {1} {\ sqrt {2 \ pi}} e ^ { - \ frac {-t ^ 2} {2}} $ 是高斯CDF。这里的关键观察是，作为CDF，这是一个非减少函数，它会聚到限制中的<跨度类=“数学容器”> $ 1 $ 。通过增加 $ p $ ，我们可以任意接近 $ 1 $ 。换句话说，让 $ \ epsilon> 0 $ ，足够大的 $ p $ ， $ p_e <\ epsilon $ 。如果没有功率约束，我们可以通过任意误差概率发送一点信息。该编码方案证明了 $ 1 $ 的速率是可实现的。

好的，所以我们如何从可实现的 $ 1 $ 到 $ \ idty $ ？让我们看看，当我们从 $ 1 $ 到 $ 2 $ 2 $ ，通过编码两个信息位一个时间。让 $$ x（b_1，b_2）=begin {is} \ sqrt {p}，＆\ text {if}（b_1，b_2）＆=（0,0）\\ \ frac {\ sqrt {p}} {2}，＆\ text {if}（b_1，b_2）＆=（0,1）\\ - \ sqrt {p}，＆\ text {if}（b_1，b_2 ）＆=（1,0）\\ - \ frac {\ sqrt {\ \ sqrt {p}} {2}，＆\ text {if}（b_1，b_2）＆=（1,1）\结束{is} $$ < / span>

现在，如果您遵循与上述相同的步骤，则会发现 $ p_e= p \ left（z> \ frac {\ sqrt {p}} {2 } \右）= 1 - \ phi \ left（\ sqrt {\ frac {p} {4 \ sigma ^ 2}} \右）$ 。因此，我们可以再次找到（较大） $ p $ ，允许我们挤压 $ 2 $ 信息位进入 $ 1 $ 编码位，具有任意小的概率误差。正如您可以想象的那样，如果 $ p $ 是无限的，我们只需继续执行此操作即可在单个编码位中对越来越多的信息位进行编码，而不会从 $ p_e $ 。

故事的寓意：没有传输功率的绑定，我们可以选择一组编码位（长度为1），该编码位（码字1）可以任意小 $ P_E $ ，我们可以为任意大量的代码位进行此操作，以便按照我们想要的方式挤压多个信息位。因此，可实现的速率是无界的，并且由于该集合是可实现的速率集中的最小的上限，它是 $ \ idty $ 。