偶然的互信息与共同信息？

Question

我正在学习信息理论和共同信息。但是，我与MI（相互信息）与PMI（点式相互信息）特别混淆，尤其是MI和PMI值的迹象。这是我的问题。

• MI值是非负值还是可以为正值或负值？如果它始终是一个非负值，为什么？

• 当我在线搜索时，PMI可以是正值或负值，MI是所有可能的PMI的预期值。但是，期望值可能是正面的或负的。如果MI确实是PMI的预期价值，为什么它总是积极的？

我在这里误解了Mi和PMI吗？非常感谢，

Answer 1

PMI显然可能是负面的，因为如果$ p（x，y）

但是mi总是不含的，因为它可以写成$ d_ {kl}（p（x，y）|| p（x），p（y））$，其中$ d_ {kl} $是 kullback -leibler发散 这是非负的（ 证明 后者并不是完全微不足道的）。

直观地，这发生了，因为如果有$ p（x，y）的一点u003Cp(x)p(y)$, then the probability must "compensate" for this later, with a pair $p(x',y')>p（x'）p（y'）$。