Gegenseitige Informationen und Momentgenerierung Funktionen

Question

Ich ging, um mir einen Workshop zu hören, und jemand aus dem Publikum fragte den Moderator, wie die Momente das verbessern können gegenseitige Information. Ich lerne etwas über MI (gegenseitige Informationen) und hatte nicht genug Wissen, um zu verstehen, was es bedeutet. Dann habe ich einige Nachforschungen angestellt, aber ich habe immer noch etwas Verwirrung. Ich frage mich, ob jemand, der mehr Wissen darüber hat, Dinge für mich klären kann. Hier sind meine Fragen:

• Die gegenseitigen Informationen werden normalerweise durch Bin -Funktionen berechnet, um die Wahrscheinlichkeit von zwei Zufallsvariablen zu schätzen, die zwei Vektoren $ x $ und $ y $ sein können. Ist das Momentgenerierungsfunktion eine weitere Möglichkeit, die Wahrscheinlichkeit abzuschätzen?

• Wenn Momentgenerierungsfunktionen die Wahrscheinlichkeit von $ x $ und $ y $ darstellen können, wie berechnen wir sie dann?

• Hat ein MI eine momentige Erzeugung von Funktionen?

• Wenn MI eine Moment generierende Funktion hat, wie können wir dann einen MI von $ x $ und $ y $ in den Momentfunktionen präsentieren?

Answer 1

Der Momentgenerierungsfunktion $ M_X $ ist eine Eigenschaft einer zufälligen Variablen $ x $. Es wird durch den erwarteten Wert von $ e^{tx} $ definiert (wobei $ t $ das Argument ist).

Da die exponentielle Funktion $ e^x = sum_0^ infty frac {x^n} {n!} $ Alle natürlichen Kräfte seines Arguments als Summandand ($ mathbb {e} ( sum_i x_i) = sum_i mathbb {e} (x_i) $) und der erwartete Wert einer natürlichen Leistung von $ x $ ($ mathbb {e} (x^n) $ ) nennt es ist $ n $ -Th, der $ n $ -Th-Moment ist im $ n $ -T-Summand vorhanden:

$$ m_x (t) = mathbb {e} (e^{tx}) = sum_ {i = 0}^ infty frac {t^i mathbb {e} (x^i)} {i! } quad. $$

Wenn Sie jetzt die Ableitung von $ k $ -Times von $ m_x $ betrachten:

$$ m_x^{(k)} (t) = mathbb {e} (e^{tx}) = sum_ {i = 0}^ infty frac { mathbb {e} (x^{i+ k})} {i!} quad, $$

und verwenden Sie $ 0 $ als Argument, Sie erhalten $$ m_x^{(k)} (0) = mathbb {e} (x^k) quad, $$

Der Moment $ k $ wurde also generiert.

---

Schauen Sie sich nun die gegenseitigen Informationen an:

$$ i (x, y) = sum _ {(x, y)} p (x = x, y = y) log links ( frac {p (x = x, y = y)} {P ( X = x) cdot p (y = y)} right) = mathbb {e} ( mathrm {pmi} (x, y)), $$

Dies ist der erwartete Wert der punktuellen gegenseitigen Informationen (es ist wahrscheinlich, dass sie sich tatsächlich mit dem kontinuierlichen Fall befassen, in dem $ i $ und $ mathrm {pmi} $ unter Verwendung von Integralen bzw. Dichten definiert werden). Die gegenseitigen Informationen haben also keinen Moment (oder eine Momentgenerierungsfunktion), sondern sie ist Der erste Moment einer zufälligen Variablen, also:

$$ i (x, y) = m _ { mathhrm {pmi} (x, y)} '(0) quad. $$