Puntuale informazione reciproca vs Informazione reciproca?

Question

sto imparando sulla teoria dell'informazione e l'informazione reciproca. Tuttavia, sono abbastanza confuso con MI (Informazione reciproca) vs. PMI (puntuale informazione reciproca) in particolare i segni di valori MI e PMI. Ecco le mie domande.

• Is MI Valori un valore non negativo o può essere positivo o negativo? Se è sempre un valore non negativo, perché è?

• Come ho di ricerca online, la PMI può essere valori positivi o negativi e il MI è il valore atteso di tutti i possibili PMI. Tuttavia, valore atteso può essere positivo o negativo. Se MI è davvero il valore atteso di PMI, perché è sempre positivo?

Ti ho fraintendere nulla di infarto miocardico e PMI qui? La ringrazio molto,

Answer 1

PMI può chiaramente essere negativo, dal momento che se $ p (x, y)

Ma MI è sempre non negativo, in quanto può essere scritto come $ d_ {KL} (P (x, y) || p (x), p (y)) $, dove $ d_ {KL} $ è il Kullback-Leibler divergenza che è non negativo ( la prova di questi ultimi non è del tutto banale)

Intuitivamente, questo avviene perché se c'è un punto tale che $ p (x, y)

p (x') p (y') $.