information mutuelle et les fonctions de génération de moment

Question

Je suis allé écouter un atelier et une personne du public a demandé au présentateur comment les moments peuvent améliorer la mutuelle informations . J'apprends à propos de MI (information mutuelle) n'a donc pas assez de connaissances pour comprendre ce que cela signifie. Puis, je l'ai fait quelques recherches mais j'ai encore une certaine confusion. Je me demande si quelqu'un qui a plus de connaissances sur ce qui peut clarifier les choses pour moi. Voici mes questions:

• L'information mutuelle est généralement calculé en fonction de bin pour estimer la probabilité de deux variables aléatoires qui peut être un cas de deux vecteurs $ X $ et $ Y $. La fonction génératrice des moments d'une autre manière à la probabilité d'estimation?

• Si les fonctions de génération de moment peuvent présenter la probabilité de $ X $ et $ Y $, comment le calculer?

• Est-ce un MI ont une fonction de génération de moment?

• Si MI a une fonction de génération de moment, comment pouvons-nous présenter un MI de $ X $ et $ Y $ par ses fonctions de moment?

Answer 1

La fonction génératrice des moments $ m_x $ est une propriété d'une variable aléatoire $ X $. Il est défini par la valeur attendue de $ e ^ {tX} $ (où $ t $ est l'argument).

Puisque la fonction exponentielle $ e ^ x = \ sum_0 ^ \ infty \ frac {x ^ n} {n!} $ Contient tous les pouvoirs naturels de son argument comme summand, la valeur attendue d'une somme est la somme de les valeurs attendues ($ \ mathbb {E} (\ sum_i X_i) = \ sum_i \ mathbb {E} (X_i) $) et la valeur attendue d'une puissance naturelle de $ X $ ($ \ mathbb {E} (X ^ n) $) est appelé est $ n $ instant -ème, le $ n $ instant -ème est présent dans le n $ $ -ème summand:

$$ m_x (t) = \ mathbb {E} ({e ^ tX}) = \ sum_ {i = 0} ^ \ infty \ frac {t ^ i \ mathbb {E} (X ^ i)} {i!} \ quad. $$

Si l'on considère maintenant le dérivé -Times $ k $ de $ m_x $:

$$ m_x ^ {(k)} (t) = \ mathbb {E} ({e ^ tX}) = \ sum_ {i = 0} ^ \ infty \ frac {\ mathbb {E} (X ^ {i + k})} {i!} \ quad, $$

et utiliser $ 0 $ comme argument, vous obtenez $$ m_x ^ {(k)} (0) = \ mathbb {E} (X ^ k) \ quad, $$

de sorte que le $ k $ a été généré instant -ème.

---

Maintenant, regardez l'information mutuelle:

$$ I (X, Y) = \ sum _ {(x, y)} P (X = x, Y = y) \ log \ left (\ frac {P (X = x, Y = y)} {P (X = x) \ cdot P (Y = y)} \ right) = \ mathbb {E} (\ mathrm {} PMI (X, Y)), $$

qui est la valeur attendue de l'pointwise information mutuelle (il est probable qu'ils traitent effectivement le cas où $ continu I $ et $ \ mathrm {PMI} $ sont définis à l'aide et des densités Intégrales, respectivement). Ainsi, l'information mutuelle ne dispose pas d'un instant (ou fonction de génération de moment), mais est le premier moment d'une variable aléatoire, donc:

$$ I (X, Y) = M _ {\ mathrm {} PMI (X, Y)} '(0) \ quad. $$