ポイントワイズ相互情報対相互情報？

Question

私は情報理論と相互情報について学んでいます。しかし、私はMI（相互情報）対PMI（ポイントワイズ相互情報）、特にMIおよびPMI値の兆候と非常に混乱しています。これが私の質問です。

• MI値は非陰性値ですか、それとも正または負になる可能性がありますか？それが常に非陰性の価値であるなら、なぜそれはなぜですか？

• オンラインで検索すると、PMIは正または負の値になり、MIはすべての可能なPMIの期待値です。ただし、期待値は正または負になる可能性があります。 MIが本当にPMIの期待値である場合、なぜそれが常にポジティブなのですか？

ここでMIとPMIの何かを誤解しましたか？どうもありがとうございます、

Answer 1

$ p（x、y）の場合、PMIは明らかに負になる可能性があります

しかし、miは$ d_ {kl}（p（x、y）|| p（x）、p（y））$として記述できるため、常に非陰性です。ここで、$ d_ {kl} $は Kullback – Leiblerの発散 これは非陰性です（ 証拠 後者のものは完全に些細なことではありません）。

直感的には、これは$ p（x、y）などの点がある場合に発生します。u003Cp(x)p(y)$, then the probability must "compensate" for this later, with a pair $p(x',y')> p（x '）p（y'）$。