Pointwise information mutuelle par rapport à l'information mutuelle?

Question

J'apprends sur la théorie de l'information et l'information mutuelle. Cependant, je suis tout à fait confondre avec MI (information mutuelle) par rapport PMI (Pointwise d'information mutuelle), en particulier des signes de valeurs MI et PMI. Voici mes questions.

• est MI valeurs d'une valeur non négative ou il peut être positif ou négatif? Si elle est toujours une valeur non-négative, pourquoi est-il?

• Je recherche en ligne, le PMI peut être des valeurs positives ou négatives et le MI est la valeur attendue de tous les possibles PMI. Cependant, la valeur attendue peut être positif ou négatif. Si MI est vraiment la valeur attendue de PMI, pourquoi est-il toujours positif?

Ai-je mal comprendre quoi que ce soit de MI et PMI ici? Merci beaucoup,

Answer 1

PMI peut clairement être négatif, car si $ p (x, y)

Mais MI est toujours non-négative, car il peut être écrit $ d_ {KL} (p (x, y) || p (x), p (y)) $, où $ d_ {KL} $ est Kullback-Leibler divergence qui est non-négatif (la la preuve de ce dernier n'est pas complètement trivial)

Intuitivement, cela se produit parce que s'il y a un point tel que $ p (x, y)

p (x') p (y') $.