왜 AWGN 무한의 채널 능력이 있는가?

Question

내 교수는 입력 전력 제약이없는 AWGN 채널의 채널 용량이 무한히 알게되었다는 것을 알려줍니다.노이즈는 $ z \ sim \ mathcal {n} (0, \ sigma ^ 2) $ 입니다.입력 신호에는 제약 조건이 없습니다.나는 교수가 채널 능력이 무한대라고 말할 수있는 방법을 이해하지 못합니다.입력과 출력 사이에서 상호 정보를 최대화하여 채널 용량을 얻을 필요가 있습니까?지속적인 변수에 대해 어떻게해야합니까?

Answer 1

여기에 주요 아이디어를 보여주는 코딩 구성표가 있습니다.

인코딩 : 전원 제약 조건 $ P $ 을 고정시키고 하나의 정보 비트를 시간을 전송하고자한다고 가정합니다. 우리는 코딩 체계를 $ x (0)=sqrt {p}, x (1)=sqrt {p} $ 을 설정합니다. "수학 용기"> $ x $ 은 인코딩 기능입니다.

디코딩 : $ y $ 은 수신 된 신호와 $ z $ 당신이 정의한 것처럼 첨가제 가우스 소음. 우리는 $ \ hat {x}=mathbb {1} _ {\ {y> 0 \}} (y) $ \ {y> 0 \}} (\ span 클래스)로 설정합니다.="Math-Container"> $ \ mathbb {1} _A (W) $ 은 $ 1 $ 을 생성하는 표시기 함수입니다. $ w $ \ $ \ span> 및 $ 0 $

오류의 확률 : $ p_e $ 은 오류 확률을 나타냅니다. 그렇지 않으면 정보 비트가 똑같이 가능성이 있다고 가정합니다. 그렇지 않으면 최적의 소스 코딩을 사용하여 최적의 소스 코딩을 사용할 수 있습니다. 그런 다음

\ begin {Align} P_E &=FRAC {1} {2} p (y> 0 | x= - \ sqrt {p}) + \ frac {1} {2} p (y \ leq 0 | x= sqrt {p}) \\ &=frac {1} {2} p (z> \ sqrt {p} | x= - \ sqrt {p}) + \ frac {1} {2} p (z \ leq - \ sqrt {p} | x=sqrt {p}) \\ &= p (z> \ sqrt {p})= 1 - phi \ left (\ sqrt {\ frac {p} {\ sigma ^ 2}} \ righ), \ end {정렬}

여기서 $ \ phi (t)=int _ {- \ infty} ^ t \ frac {1} {\ sqrt {2 \ pi}} e ^ {- \ frac {-t ^ 2} {2}} $ 은 가우시안 CDF입니다. 여기서 핵심 관찰은 CDF로서, 이것은 $ 1 $ 으로 수렴하는 비 감소 함수이다. $ P $ 을 늘리면 $ 1 $ 에 임의로 가까워 질 수 있습니다. 즉, $ \ epsilon> 0 $ 을 $ p $ , $ P_E <\ 엡실론 $ . 전력 제약 없이는 임의로 작은 오류 확률로 하나의 정보를 하나의 정보를 보낼 수 있습니다. 이 코딩 체계는 $ 1 $ 을 달성 할 수 있습니다.

OK, $ 1 $ $ \ infty $ 에 대해 어떻게 얻을 수 있습니까? ~을 빼앗아가는 것 2 개의 정보 비트를 인코딩하여 $ 1 $ 에서 $ 2 $ 에서 우리의 속도를 늘릴 때 일어나는 일을 보자. 시간. 허락하다 $$ x (b_1, b_2)=begin {casess} \ sqrt {p}, & \ text {if} (b_1, b_2) &= (0,0) \\ \ frac {\ sqrt {p}} {2}, & \ text {if} (b_1, b_2) &= (0,1) \\ - \ sqrt {p}, & \ text {if} (b_1, b_2) ) &= (1,0) \\ - \ frac {2}, & \ text {if} (b_1, b_2) &= (1,1) \ END {사례} $$ < / span>

위와 동일한 절차를 따르면 $ P_E= P \ left (z> \ frac {\ sqrt {p}} {2) } \ right)= 1 - \ phi \ left (\ sqrt {\ frac {p} {4 \ sigma ^ 2}} \ 오른쪽) $ . 따라서 $ 2 $ 정보 비트를 짜내는 것을 허용하는 (더 큰) $ p $ 을 다시 찾을 수 있습니다. 임의로 작은 확률 오류가있는 $ 1 $ 코드화 된 비트에. 상상할 수 있듯이 $ P $ 이 $ P_E $ .

이야기의 도덕 : 송신 전력에 묶여 있지 않으면, 임의로 작은 $ P_E $ 은 우리가 원하는대로 많은 정보 비트로 많은 정보 비트를 쥐어 짜기 위해 임의로 큰 코드 조각을 짜내기 위해이 작업을 수행 할 수 있습니다. 따라서 달성 가능한 비율은 무한으로 이루어지고 있으며 달성 가능한 속도의 세트에서 용량이 가장 작은 상한이므로 $ \ infty $ 입니다.