相互情報と瞬間生成関数

Question

私はワークショップを聴きに行き、聴衆の誰かがプレゼンターに瞬間がどのように改善できるか尋ねました 相互情報. 。私はMI（相互情報）について学んでいるので、それが何を意味するのかを理解するのに十分な知識がありませんでした。それから、私はいくつかの研究をしましたが、私はまだいくつかの混乱があります。これについてより多くの知識を持っている人が私のために物事を明確にすることができるかどうか疑問に思っています。これが私の質問です：

• 相互情報は通常、BIN関数によって計算され、2つのベクトル$ x $と$ y $の場合になる可能性のある2つのランダム変数の確率を推定します。瞬間の生成関数は、確率を推定する別の方法ですか？

• モーメント生成関数が$ x $と$ y $の確率を提示できる場合、どのように計算しますか？

• MIには一瞬生成機能がありますか？

• MIにモーメント生成関数がある場合、そのモーメント関数によってMIの$ x $と$ y $をどのように提示できますか？

Answer 1

機能を生成するモーメント$ m_x $は、ランダム変数$ x $のプロパティです。これは、$ e^{tx} $の期待値で定義されます（$ t $が引数です）。

指数関数$ e^x = sum_0^ infty frac {x^n} {n！} $には、その議論のすべての自然な力がsummandとして含まれているため、和の期待値は期待値の合計です（$ mathbb {e}（ sum_i x_i）= sum_i mathbb {e}（x_i）$）と$ x $（$ mathbb {e}（x^n）$ $の自然なパワーの期待値）$ n $ -th瞬間と呼ばれます。$ n $ -thモーメントは$ n $ -th summandに存在します。

$$ m_x（t）= mathbb {e}（e^{tx}）= sum_ {i = 0}^ infty frac {t^i mathbb {e}（x^i）} {i！ } quad。$$

$ m_x $の$ k $ -times派生物を検討した場合：

$$ m_x^{（k）}（t）= mathbb {e}（e^{tx}）= sum_ {i = 0}^ infty frac { mathbb {e}（x^{i+ k}）} {i！} quad、$$

引数として$ 0 $を使用すると、$$ m_x^{（k）}（0）= mathbb {e}（x^k） quad、$$を取得します。

したがって、$ k $ -thモーメントが生成されました。

---

今、相互情報を見てください：

$$ i（x、y）= sum _ {（x、y）} p（x = x、y = y） log left（ frac {p（x = x、y = y）}} {p（p（ x = x） cdot p（y = y）} right）= mathbb {e}（ mathrm {pmi}（x、y））、$$

これは、PointWise相互情報の期待値です（$ i $と$ Mathrm {PMI} $がそれぞれ積分と密度を使用して定義される連続ケースを実際に扱う可能性があります）。したがって、相互情報には瞬間（または瞬間生成関数）がありませんが、それは は ランダム変数の最初の瞬間、だから：

$$ i（x、y）= m _ { mathrm {pmi}（x、y）} '（0） quad。$$