相互信息和力矩生成功能

Question

我去听一个研讨会，听众的人问主持人，这些时刻如何改善 相互信息. 。我正在学习有关MI（共同信息）的知识，因此没有足够的知识来理解它的含义。然后，我做了一些研究，但我仍然有些困惑。我想知道是否有人对此有更多了解的人可以为我澄清事情。这是我的问题：

• 相互信息通常由bin函数计算，以估计两个随机变量的概率，这可能是两个向量$ x $和$ y $的情况。力矩生成函数是另一种估计概率的方法吗？

• 如果力矩生成的功能可以呈现$ x $和$ y $的概率，我们如何计算？

• MI有片刻生成功能吗？

• 如果Mi具有瞬间生成功能，我们如何在其时刻功能上呈现$ x $和$ y $的MI？

Answer 1

生成函数$ m_x $的时刻是随机变量$ x $的属性。它由$ e^{tx} $的预期值（其中$ t $是参数）定义。

由于指数函数$ e^x = sum_0^ infty frac {x^n} {n！} $都包含其论点的所有自然权力，因此总和的期望值是预期值的总和（$ mathbb {e}（ sum_i x_i）= sum_i mathbb {e}（x_i）$）和$ x $的自然功率的预期值（$ mathbb {e}（x^n）$ ）被称为$ n $ themine，$ n $ themist在$ n $ th-th的汇总中存在：

$ M_X（T）= Mathbb {E}（E^{tx}）= sum_ {i = 0}^ infty frac {t^i mathbb {e}（x^i）（x^i）} {i！ } Quad。$$

如果您现在考虑$ m_x $的$ k $ -times衍生物：

$$ m_x^{（k）}（t）= mathbb {e}（e^{tx}）= sum_ {i = 0}^ infty frac { mathbb { mathbb {e}（x^{i++） k}）} {i！} quad，$$

并使用$ 0 $作为参数，您得到$$ m_x^{（k）}（0）= mathbb {e}（x^k） quad，$$

因此，生成了$ k $ - $ TH的时刻。

---

现在查看相互信息：

$$ i（x，y）= sum _ {（x，y）} p（x = x，y = y） log left（ frac {p（x = x，y = y）} {p（ x = x） cdot p（y = y）} right）= mathbb {e}（ mathrm {pmi}（x，y）），$$

这是点上互相信息的预期价值（它们实际上很可能处理$ i $和$ m rmm {pmi} $的连续情况，分别是使用积分和密度定义的）。因此，共同的信息没有片刻（或力矩生成功能），但是 是 随机变量的第一时刻，因此：

$$ i（x，y）= m _ { mathrm {pmi}（x，y）}'（0） quad。$$