¿Información mutua de punto punto versus información mutua?

Question

Estoy aprendiendo sobre la teoría de la información y la información mutua. Sin embargo, estoy bastante confundido con el MI (información mutua) frente a PMI (información mutua de puntos), especialmente los signos de los valores de MI y PMI. Aquí están mis preguntas.

• ¿Es los valores de MI un valor no negativo o puede ser positivo o negativo? Si siempre es un valor no negativo, ¿por qué es?

• Como busco en línea, el PMI puede ser valores positivos o negativos y el MI es el valor esperado de todo PMI posible. Sin embargo, el valor esperado puede ser positivo o negativo. Si MI es realmente el valor esperado de PMI, ¿por qué siempre es positivo?

¿Entendí mal algo de MI y PMI aquí? Muchísimas gracias,

Answer 1

PMI puede ser claramente negativo, ya que si $ P (x, y)

Pero mi siempre es no negativo, ya que se puede escribir como $ d_ {kl} (p (x, y) || p (x), p (y)) $, donde $ d_ {kl} $ es el Divergencia Kullback -Lebler que no es negativo (el prueba de este último no es completamente trivial).

Intuitivamente, esto sucede porque si hay un punto tal que $ P (x, y)u003Cp(x)p(y)$, then the probability must "compensate" for this later, with a pair $p(x',y')> P (x ') P (y') $.