Punkte gegenseitige Informationen gegen gegenseitige Informationen?

Question

Ich lerne über Informationstheorie und gegenseitige Informationen. Ich bin jedoch ziemlich verwechselt mit MI (gegenseitige Information) im Vergleich zu PMI (punktuelle gegenseitige Informationen), insbesondere Anzeichen von MI- und PMI -Werten. Hier sind meine Fragen.

• Ist MI-Werte ein nicht negativer Wert oder kann entweder positiv oder negativ sein? Wenn es immer ein nicht negativer Wert ist, warum ist es dann?

• Während ich online suche, kann der PMI positive oder negative Werte sein und der MI ist der erwartete Wert aller möglichen PMI. Der erwartete Wert kann jedoch positiv oder negativ sein. Wenn MI wirklich der erwartete Wert von PMI ist, warum ist es immer positiv?

Habe ich hier etwas von MI und PMI falsch verstanden? Vielen Dank,

Answer 1

PMI kann eindeutig negativ sein, da wenn $ P (x, y)

Aber Mi ist immer nicht negativ, da es als $ d_ {kl} (p (x, y) || p (x), p (y)) $ geschrieben werden kann, wobei $ d_ {kl} $ das ist Kullback -Leibler -Divergenz das ist nicht negativ (die nachweisen von letzterem ist nicht vollständig trivial).

Dies geschieht intuitiv, denn wenn es einen Punkt so gibt, dass $ P (x, y)u003Cp(x)p(y)$, then the probability must "compensate" for this later, with a pair $p(x',y')> p (x ') p (y') $.