Посторонняя взаимная информация против взаимной информации?

Question

Я узнаю о теории информации и взаимной информации. Тем не менее, я довольно запутался с MI (взаимная информация) против PMI (точечная взаимная информация), особенно признаки значений MI и PMI. Вот мои вопросы.

• Является ли MI значения неотрицательным значением или может быть либо положительным, либо отрицательным? Если это всегда неотрицательная ценность, почему это так?

• По мере того, как я ищу онлайн, PMI может быть положительным или отрицательным значением, а MI является ожидаемым значением всех возможных PMI. Однако ожидаемое значение может быть положительным или отрицательным. Если MI действительно является ожидаемой стоимостью PMI, почему это всегда позитивно?

Я неправильно понял что -нибудь из MI и PMI здесь? Большое спасибо,

Answer 1

PMI может быть явно отрицательным, так как, если $ p (x, y)

Но MI всегда не отрицательный, так как он может быть написан как $ d_ {kl} (p (x, y) || p (x), p (y)) $, где $ d_ {kl} $-это Kullback -Leibler Divergence который неотрицательный ( доказательство последнего не совсем тривиально).

Интуитивно это происходит потому, что если есть момент, что $ p (x, y)u003Cp(x)p(y)$, then the probability must "compensate" for this later, with a pair $p(x',y')> p (x ') p (y') $.