Взаимная информация и момента, генерирующие функции

Question

Я пошел послушать мастерскую, и кто -то из аудитории спросил докладчика, как моменты могут улучшить взаимная информация. Анкет Я узнаю о MI (взаимная информация), поэтому не имел достаточных знаний, чтобы понять, что это значит. Затем я провел некоторое исследование, но у меня все еще есть некоторая путаница. Мне интересно, может ли кто -то, у кого больше знаний об этом прояснить для меня. Вот мои вопросы:

• Взаимная информация обычно рассчитывается по функциям BIN для оценки вероятности двух случайных величин, которые могут быть случаем двух векторов $ x $ и $ y $. Является ли момент генерирования функции еще одним способом оценить вероятность?

• Если моментные функции могут представить вероятность того, что $ x $ и $ y $, как мы рассчитываем?

• У MI есть момент, генерирующая функцию?

• Если у MI есть момент, создавая функцию, как мы можем представить MI $ x $ и $ y $ по моментным функциям?

Answer 1

Момент генерирования функции $ m_x $ является свойством случайной величины $ x $. Это определяется ожидаемой стоимостью $ e^{tx} $ (где $ t $ является аргументом).

Поскольку экспоненциальная функция $ e^x = sum_0^ infty frac {x^n} {n!} $ Содержит все естественные способности своего аргумента в качестве итогов, ожидаемое значение суммы - сумма ожидаемых значений ($ mathbb {e} ( sum_i x_i) = sum_i mathbb {e} (x_i) $) и ожидаемое значение естественной силы $ x $ ($ mathbb {e} (x^n) $ ) называется $ n $ -th Moment, $ n $-й момент присутствует в $ n $-th Summand:

$$ m_x (t) = mathbb {e} (e^{tx}) = sum_ {i = 0}^ infty frac {t^i mathbb {e} (x^i)} {i! } Quad. $$

Если вы сейчас рассмотрите производную $ k $-times $ m_x $:

$$ m_x^{(k)} (t) = mathbb {e} (e^{tx}) = sum_ {i = 0}^ infty frac { mathbb {e} (x^{i+ k})} {i!} Quad, $$

и используйте $ 0 $ в качестве аргумента, вы получаете $$ m_x^{(k)} (0) = mathbb {e} (x^k) Quad, $$

Так что $ k $-этот момент был сгенерирован.

---

Теперь посмотрите на взаимную информацию:

$$ i (x, y) = sum _ {(x, y)} p (x = x, y = y) log Left ( frac {p (x = x, y = y)} {p ( X = x) cdot p (y = y)} right) = mathbb {e} ( mathrm {pmi} (x, y)), $$

Что является ожидаемой стоимостью точечной взаимной информации (вполне вероятно, что они фактически имеют дело с непрерывным случаем, когда $ i $ и $ mathrm {pmi} $ определяются с использованием интегралов и плотности соответственно). Таким образом, взаимная информация не имеет момента (или момента, генерирующей функцию), но это является первый момент случайной переменной, так:

$$ i (x, y) = m _ { mathrm {pmi} (x, y)} '(0) Quad. $$