Información mutua y funciones de generación de momentos

Question

Fui a escuchar un taller y alguien de la audiencia le preguntó al presentador cómo los momentos pueden mejorar el información mutua. Estoy aprendiendo sobre MI (información mutua), así que no tenía suficiente conocimiento para entender lo que significa. Luego, investigué un poco, pero todavía tengo algo de confusión. Me pregunto si alguien que tiene más conocimiento sobre esto puede aclararme las cosas. Aquí están mis preguntas:

• La información mutua generalmente se calcula mediante funciones de bin para estimar la probabilidad de dos variables aleatorias que pueden ser un caso de dos vectores $ x $ y $ y $. ¿Es el momento de generación de la función de otra forma de estimar la probabilidad?

• Si las funciones de generación de momentos pueden presentar la probabilidad de $ x $ y $ y $, ¿cómo lo calculamos?

• ¿Un MI tiene una función de generación de momento?

• Si MI tiene una función de generación de momento, ¿cómo podemos presentar un MI de $ x $ y $ y $ por sus funciones de momento?

Answer 1

La función de generación de momento $ M_X $ es una propiedad de una variable aleatoria $ x $. Se define por el valor esperado de $ e^{tx} $ (donde $ t $ es el argumento).

Dado que la función exponencial $ e^x = sum_0^ infty frac {x^n} {n!} $ Contiene todos los poderes naturales de su argumento como una sumanda, el valor esperado de una suma es la suma de los valores esperados ($ mathbb {e} ( sum_i x_i) = sum_i mathbb {e} (x_i) $) y el valor esperado de un poder natural de $ x $ ($ mathbb {e} (x^n) $ ) se llama $ n $ -th momento, el $ n $ -th momento está presente en el $ n $ -th sumand:

$$ m_x (t) = mathbb {e} (e^{tx}) = sum_ {i = 0}^ infty frac {t^i mathbb {e} (x^i)} {i! } quad. $$

Si ahora considera la derivada de $ K $ -Times de $ m_x $:

$$ m_x^{(k)} (t) = mathbb {e} (e^{tx}) = sum_ {i = 0}^ infty frac { mathbb {e} (x^{i++ k})} {i!} quad, $$

y usa $ 0 $ como argumento, obtienes $$ m_x^{(k)} (0) = mathbb {e} (x^k) quad, $$

Entonces se generó el $ K $ -th momento.

---

Ahora mira la información mutua:

$$ I (x, y) = sum _ {(x, y)} p (x = x, y = y) log left ( frac {p (x = x, y = y)} {p ( X = x) cdot p (y = y)} right) = mathbb {e} ( mathrm {pmi} (x, y)), $$

Cuál es el valor esperado de la información mutua puntiaguda (es probable que realmente traten con el caso continuo donde $ i $ y $ mathrm {pmi} $ se definen utilizando integrales y densidades, respectivamente). Entonces la información mutua no tiene un momento (o función de generación de momento), pero es El primer momento de una variable aleatoria, entonces:

$$ i (x, y) = m _ { mathrm {pmi} (x, y)} '(0) quad. $$