¿Por qué la capacidad de canal de AWGN INFINITE?

Question

Mi profesor nos enseñó que la capacidad de canal del canal AWGN es infinita sin restricciones de potencia de entrada.El ruido es $ z \ sim \ mathcal {n} (0, \ sigma ^ 2) $ .No hay restricción en la señal de entrada.No entiendo cómo el profesor puede decir directamente la capacidad del canal es infinita.¿No necesitamos maximizar la información mutua entre la entrada y la salida para obtener la capacidad del canal?¿Cómo hacer eso para las variables continuas?

Answer 1

Aquí hay un esquema de codificación que demuestra la idea principal:

codificación: Deje que la restricción de potencia $ P $ sea fijo y suponga que queremos transmitir una bit de información un tiempo. Establecemos nuestro esquema de codificación como $ x (0)=sqrt {p}, x (1)= - \ sqrt {p} $ , donde $ x $ es la función de codificación.

decodificación: deja $ y $ denota la señal recibida y $ z $ El aditivo gaussian ruido como usted definido. Configuramos el decodificador como $ \ hat {x}=mathbb {1} _ {\ \ {y> 0 \}} (y) $ , donde $ \ mathbb {1} _a (w) $ es la función indicadora que produce $ 1 $ si $ W \ en A $ y $ 0 $ de lo contrario.

Probabilidad de error: Let $ p_e $ denota la probabilidad de error. Asumimos que los bits de información son igualmente probables, ya que de lo contrario podríamos simplemente usar una codificación de origen óptima para asegurarse de que sean. Entonces,

\ comienzan {align} P_E &=frac {1} {2} P (y> 0 | x= - \ sqrt {p}) + \ frac {1} {2} P (y \ leq 0 | x=sqrt {p}) \\ &=frac {1} {2} P (z> \ sqrt {p} | x=sqrt {p}) + \ frac {1} {2} P (Z \ leq - \ sqrt {p} | X=sqrt {p}) \\ &= P (z> \ sqrt {p})= 1 - \ PHI \ izquierda (\ sqrt {\ frac {p} {\ sigma ^ 2}} \ Derecha), \ End {align}

donde $ \ phi (t)=int _ {- \ INFTY} {\ SQRT {2} {\ sqrt {2 \ pi}} e ^ {- \ frac {-t ^ 2} {2}} $ es el CDF gaussiano. La observación clave aquí es que, como CDF, esta es una función no decreciente que converge a $ 1 $ en el límite. Al aumentar $ P $ , podemos hacerlo arbitrariamente cerca de $ 1 $ . En otras palabras, permita que $ \ epsilon> 0 $ , para lo suficientemente grande como $ P $ , $ P_E <\ Epsilon $ . Sin una restricción de potencia, podemos enviar un bit de información con una probabilidad arbitrariamente pequeña de error. Este esquema de codificación demuestra una tasa de $ 1 $ es alcanzable.

OK, entonces, ¿cómo obtenemos de una tasa alcanzable de $ 1 $ a $ \ infty $ ? Veamos lo que sucede cuando aumentamos nuestra tarifa desde $ 1 $ a $ 2 $ , codificando dos bits de información en un momento. Dejar $$ x (b_1, b_2)=comienzan {casos} \ sqrt {p}, & \ texto {if} (b_1, b_2) &= (0,0) \\ \ frac {\ sqrt {p}} {2}, & \ texto {if} (b_1, b_2) &= (0,1) \\ - \ sqrt {p}, & \ texto {if} (b_1, b_2 ) &= (1,0) \\ - \ frac {\ sqrt {p}} {2}, & \ texto {if} (b_1, b_2) &= (1,1) \ final {casos} $$ < / span>

Ahora, si sigue el mismo procedimiento que arriba, descubrirá que $ p_e= p \ izquierda (z> \ frac {\ sqrt {p}} {2 } \ Derecha)= 1 - \ PHI \ izquierda (\ sqrt {\ frac {p} {4 \ sigma ^ 2}} \ Derecha) $ . Por lo tanto, podemos encontrar nuevamente encontrar un (más grande) $ P $ que nos permite apretar $ 2 $ bits de información en $ 1 $ bit codificado con un error de probabilidad arbitrariamente pequeño. Como puede imaginar, si $ p $ está ilimitado, simplemente podemos seguir haciendo esto para codificar más y más bits de información en un solo bit codificado sin sacrificar de $ P_E $ .

moral de la historia: sin un límite en la potencia de transmisión, podemos elegir un conjunto de bits codificados (Codewordordes de longitud 1) que logren y podemos hacerlo para obtener un conjunto arbitrariamente grande de bits de código para apretar tantos bits de información en 1 como queremos. Por lo tanto, las tasas alcanzables están ilimitadas y, dado que la capacidad es el límite superior más pequeño en el conjunto de tasas alcanzables, es $ \ INFTY $ .