informazione reciproca e di momento funzioni generatrici

Question

Sono andato ad ascoltare un workshop e qualcuno del pubblico ha chiesto il presentatore come i momenti possono migliorare la reciproca informazioni . Sto imparando in merito a MI (Mutual informazioni) quindi non ha avuto abbastanza conoscenza per capire che cosa significa. Poi, ho fatto qualche ricerca ma non ho ancora una certa confusione. Mi chiedo se qualcuno che ha più conoscenza di questo può chiarire le cose per me. Ecco le mie domande:

• L'informazione mutua è di solito calcolato funzioni bin per stimare la probabilità di due variabili casuali che può essere un caso di due vettori $ X $ e $ y $. È la funzione generatrice dei momenti un altro modo di probabilità stima?

• Se le funzioni generatrici dei momenti in grado di presentare la probabilità di $ X $ e $ Y $, come facciamo a calcolarla?

• Esiste un MI hanno una funzione generatrice dei momenti?

• Se MI ha una funzione generatrice dei momenti, come possiamo presentare un MI di $ X $ e $ Y $ per le sue funzioni momento?

Answer 1

La funzione generatrice dei momenti $ m_X $ è una proprietà di una variabile casuale $ X $. E 'definito dal valore atteso di $ e ^ {tX} $ (dove $ t $ è l'argomento).

Dal momento che la funzione esponenziale $ e ^ x = \ sum_0 ^ \ infty \ frac {x ^ n} {n!} $ Contiene tutti i poteri naturali del suo argomento come un addendo, il valore atteso di una somma è la somma di i valori attesi ($ \ mathbb {e} (\ sum_i x_i) = \ sum_i \ mathbb {e} (x_i) $) e il valore atteso di una potenza naturale di $ X $ ($ \ mathbb {e} (X ^ n) $) è chiamato è $ n $ momento esimo, il $ n $ momento esimo è presente nel $ n $ -esimo addendo:

$$ m_X (t) = \ mathbb {E} (e ^ {} tX) = \ sum_ {i = 0} ^ \ infty \ frac {t ^ i \ mathbb {E} (X ^ i)} {i!} \ quad. $$

Se ora si considera il $ $ k -Times derivato di $ m_X $:

$$ m_X ^ {(k)} (t) = \ mathbb {E} (e ^ {} tX) = \ sum_ {i = 0} ^ \ infty \ frac {\ mathbb {E} (X ^ {i + k})} {i!} \ quad, $$

e utilizzare $ 0 $ come argomento, si ottiene $$ m_X ^ {(k)} (0) = \ mathbb {E} (X ^ k) \ quad, $$

in modo che il $ k $ momento esimo è stata generata.

---

Ora cerca nella informazione reciproca:

$$ I (X, Y) = \ sum _ {(x, y)} P (X = x, Y = y) \ log \ left (\ frac {P (X = x, Y = y)} {P (x = x) \ cdot P (Y = y)} \ right) = \ mathbb {E} (\ mathrm {} PMI (x, Y)), $$

che è il valore atteso del puntuale informazione reciproca (è probabile che in realtà affrontare il caso continuo dove $ I $ e $ \ mathrm {PMI} $ sono definite utilizzando integrali e densità, rispettivamente). Così informazione reciproca non avere un momento (o momento funzione generatrice), ma il primo momento di una variabile casuale, così:

$$ I (X, Y) = M _ {\ mathrm {} PMI (X, Y)} '(0) \ quad. $$