Pourquoi la capacité de canal d'AWGN INFINIITE?

Question

Mon professeur nous a appris que la capacité de canal de canal AWGN est infinie sans aucune contrainte de puissance d'entrée.Le bruit est $ z \ sim \ mathcal {n} (0, \ sigma ^ 2) $ .Il n'y a pas de contrainte sur le signal d'entrée.Je ne comprends pas comment le professeur peut dire directement que la capacité de la chaîne est infinie.N'a-t-il pas besoin de maximiser les informations mutuelles entre l'entrée et la sortie pour obtenir la capacité de la chaîne?Comment faire cela pour des variables continues?

Answer 1

Voici un schéma de codage qui démontre l'idée principale:

codage: laissez la contrainte de puissance $ p $ être corrigé et supposons que nous souhaitons transmettre une information un peu. Nous définissons notre schéma de codage comme x (0)=sqrt {p}, x (1)= - \ sqrt {p} $ , où $ x $ est la fonction de codage.

décodage: laisse $ y $ désigne le signal reçu et $ z $ Le bruit additif gaussien comme vous avez défini. Nous définissons le décodeur comme $ \ chapeau {x}=mathbb {1} _ {\ {y> 0 \}} (y) $ , où $ \ mathbb {1} _a (w) $ est la fonction indicateur qui donne 1 $ si $ w \ dans une $ et $ 0 $ sinon.

Probabilité d'erreur: let $ p_e $ dénote la probabilité d'erreur. Nous supposons que les bits d'information sont également probables, car sinon, nous pourrions simplement utiliser un codage source optimal pour vous assurer qu'ils sont. Ensuite,

\ commence {align} P_e &=frac {1} {2} p (y> 0 | x= - \ sqrt {p}) + \ frac {1} {2} p (y \ leq 0 | x=sqrt {p}) \\ &=frac {1} {2} p (z> \ sqrt {p} | x= - \ sqrt {p}) + \ frac {1} {2} p (z \ Leq - \ sqrt {p} | X=sqrt {p}) \\ &= P (z> \ sqrt {p})= 1 - \ phi \ gauche (\ sqrt {\ frac {p} {\ sigma ^ 2}} \ à droite), \ fin {align}

où $ \ phi (t)=int _ {- \ inft} ^ t \ frac {1} {\ sqrt {2 \ pi}} e ^ ^ {- \ frac {-t ^ 2} {2}} $ est le CDF gaussien. L'observation clé ici est que, en tant que CDF, il s'agit d'une fonction non diminuée qui converge sur 1 $ dans la limite. En augmentant $ p $ , nous pouvons le rendre arbitrairement proche de $ 1 $ . En d'autres termes, laissez $ \ epsilon> 0 $ , pour assez large $ p $ , $ p_e <\ epsilon $ . Sans contrainte de puissance, nous pouvons envoyer un bit d'informations avec une probabilité d'erreur arbitraire faible. Ce schéma de codage prouve un taux de 1 $ est réalisable.

OK, comment pouvons-nous obtenir un taux réalisable de 1 $ à $ \ / span> ? Voyons ce qui se passe lorsque nous augmentons notre taux de $ 1 $ à $ 2 $ , en codant deux bits d'information à un temps. Laisser $$ x (b_1, b_2)=commencez {cas} \ sqrt {p}, et \ texte {si} (b_1, b_2) &= (0,0) \\ \ frac {\ sqrt {p}} {2}, & \ text {si {si} (b_1, b_2) &= (0,1) \\ - \ sqrt {p}, et \ text {si} (b_1, b_2 ) &= (1,0) \\ - \ frac {\ sqrt {p}} {2}, et \ texte {si} (b_1, b_2) &= (1,1) \ fin {cas} $$ < / span>

Maintenant, si vous suivez la même procédure que ci-dessus, vous découvrirez que $ p_e= p \ gauche (z> \ frac {\ sqrt {p}} {2 } \ droite)= 1 - \ Phi \ Gauche (\ sqrt {\ frac {p} {4 \ sigma ^ 2}} \ droite) $ . Par conséquent, nous pouvons à nouveau trouver un (plus grand) $ p $ qui nous permet de presser 2 $ bits d'information dans 1 $ $ bit codé avec une erreur de probabilité arbitrairement petite. Comme vous pouvez l'imaginer, si $ p $ est illimité, nous pouvons simplement continuer à faire cela pour encoder de plus en plus d'informations d'information dans un seul bit codé sans sacrifier de $ p_e $ .

morale de l'histoire: sans une puissance de transmission, nous pouvons choisir un ensemble de bits codés (codions de longueur de longueur 1) qui réalisent une petite classe $ P_e $ et nous pouvons le faire pour un ensemble arbitrairement important de bits de code pour presser autant de bits d'information dans 1 comme nous le souhaitons. Ainsi, les taux réalisables sont sans bornes et, étant donné que la capacité est la plus petite limite supérieure de l'ensemble des taux réalisables, c'est $ \ g $ .