Почему пропускная способность канала AWGN бесконечна?

Question

Мой профессор учил нас, что пропускная способность канала AWGN бесконечна без каких-либо ограничений входной мощности.Этот шум такой $Z \sim \mathcal{N}(0,\сигма ^2) $.Нет никаких ограничений на входной сигнал.Я не понимаю, как профессор может прямо сказать, что пропускная способность канала бесконечна.Разве нам не нужно максимально увеличить взаимную информацию между входом и выходом, чтобы получить пропускную способность канала?Как это сделать для непрерывных переменных?

Answer 1

Вот схема кодирования, которая демонстрирует основную идею:

Кодирование: Пусть ограничение мощности $P$ будем фиксированы и предположим, что мы хотим передавать один бит информации за раз.Мы устанавливаем нашу схему кодирования следующим образом $X(0) = \sqrt{P}, X(1) = -\sqrt{P}$, где $X$ это функция кодирования.

Декодирование: Пусть $Y$ обозначают принятый сигнал и $Z$ аддитивный гауссов шум, как вы определили.Мы устанавливаем декодер следующим образом $\hat{X} = \mathbb{1}_{\{Y > 0\}}(Y)$, где $\mathbb{1}_A(w)$ является ли индикаторная функция, которая выдает $1$ если $w \в A$ и $0$ в противном случае.

Вероятность ошибки: Пусть $P_e$ обозначьте вероятность ошибки.Мы предполагаем, что информационные биты равновероятны, поскольку в противном случае мы могли бы просто использовать оптимальное исходное кодирование, чтобы убедиться в их достоверности.Тогда,

\начать{выровнять} P_e &= \frac{1}{2}P(Y> 0 | X = -\sqrt{P}) + \frac{1}{2}P(Y \leq 0 | X = \sqrt {P}) \\ &= \frac{1}{2}P(Z > \sqrt{P} | X = -\sqrt{P}) + \frac{1}{2}P( Z \leq -\sqrt{P} | X = \sqrt {P}) \\ &= P(Z > \sqrt{P}) = 1 - \Phi\слева(\sqrt{\frac{P}{\sigma^2}}\справа), \end{выровнять}

где $\Phi(t) = \int_{-\infty}^t \frac{1}{\sqrt{2\pi}}e^{-\frac{-t ^ 2}{2}}$ является гауссовым cdf.Ключевое наблюдение здесь заключается в том, что, как cdf, это неубывающая функция, которая сходится к $1$ в пределе своих возможностей.Путем увеличения $P$, мы можем сделать его сколь угодно близким к $1$.Другими словами, пусть $\ эпсилон > 0$, для достаточно больших $P$, $P_e < \эпсилон$.Без ограничения мощности мы можем отправить один бит информации со сколь угодно малой вероятностью ошибки.Эта схема кодирования доказывает скорость $1$ это достижимо.

Хорошо, итак, как мы можем получить от достижимого уровня $1$ Для $\infty$?Давайте посмотрим, что произойдет, когда мы увеличим нашу ставку с $1$ Для $2$, путем кодирования двух информационных битов одновременно.Пусть $$X(b_1, b_2)=\begin{cases} \sqrt{P}, & ext{ if} (b_1,b_2) &= (0,0) \\ \frac{\sqrt{P}}{2}, & ext{ if } (b_1,b_2) &= (0,1) \\ -\ sqrt{P}, & ext{ if } (b_1,b_2) &= (1,0) \\ -\ frac{\sqrt{P}}{2}, & ext{ if } (b_1,b_2) &= (1,1) \end{случаи}$$

Теперь, если вы выполните ту же процедуру, что и вышеописанная, вы обнаружите, что $P_e = P\left(Z > \frac{\sqrt{P}}{2} ight) = 1 - \Phi\left(\sqrt{\frac{P}{4\сигма^2}} ight)$.Следовательно, мы снова можем найти (больший) $P$ это позволяет нам сжимать $2$ информационные биты в $1$ кодированный бит со сколь угодно малой вероятностью ошибки.Как вы можете себе представить, если $P$ является неограниченным, мы можем просто продолжать делать это, чтобы кодировать все больше и больше информационных битов в один закодированный бит, не жертвуя при этом $P_e$.

Мораль этой истории: Без ограничения мощности передачи мы можем выбрать набор закодированных битов (кодовых слов длиной 1), которые достигают сколь угодно малых значений. $P_e$ и мы можем сделать это для сколь угодно большого набора битов кода, чтобы втиснуть в 1 столько информационных битов, сколько захотим.Таким образом, достижимые скорости неограниченны, и поскольку пропускная способность является наименьшей верхней границей набора достижимых скоростей, это $\infty$.