estimation des paramètres EM pour gaussiennes conditionnelles

Question

Soit $$ X_1 \ sim N (\ mu_ {} X_1, \ sigma_ {} ^ 2 X_2) $$ $$ X_2 \ sim N (\ mu_ {} X_2, \ Sigma_ {} X_2 ^ 2) $$ où $ \ mu_ {} X_2 = c + aX_1 $. De plus, j'ai données $ D $ (avec des valeurs manquantes sur X_1 $, X_2 $).

Comment puis-je mettre à jour / estimer les paramètres $ \ mu_ {} x 1, \ sigma_ {}, \ x 1 mu_ {}, x 2 a, c, \ sigma_ {X_2} $ en utilisant EM? I.e.. quelle est la formule de mise à jour $ \ sigma_ {X_2} $?

Mon modèle est une condition gaussienne, qui est une forme d'une gaussienne à deux variables $ (X_1, X_2) conditionnelle $ avec le vecteur moyenne $ (\ mu_1, \ mu_2) ^ \ supérieure $ et de la matrice de covariance $$ \ left (\ begin {matrix} \ Sigma _ {11} et \ Sigma _ {12} \\ \ Sigma _ {21} et \ Sigma _ {22} \\ \ End {matrix} \ right) $$

Voici une référence à convertir deux variables gaussienne conditionnelle gaussienne: $$ \ mu_ {2 | 1} = \ mu_ {2} + \ sigma_ {21} \ sigma_ {11} ^ {- 1} (X_1- \ mu_1) \ quad, \ quad \ sigma_ {22 | 1} = \ sigma_ {22} - \ sigma_ {21} \ sigma_ {11} ^ {- 1} \ sigma_ {12} $$ qui donne mon modèle

Il semble que lorsque X_1 $ $ a des observations et X_2 $ est inobservé, la variance de $ X_2 $ reste unchanged.So comment mettre à jour le $ \ sigma_ {} $ x 2?

Réglage initial pour le modèle $$ X_1 \ sim N (5,7) \ quad, \ quad X_2 \ sim N (0.5X_1,8) $$

Données:

$$ X_1: \ operatorname {9 \, \, 4 \, \, NA} $$

$$ \ quad X_2: \ operatorname {NA \, \, NA \, \, 3} $$

Answer 1

Lorsque X_1 $ est observé, à l'itération k $ = 1 $ de EM, la valeur moyenne postérieure (lorsque X_2 $ = 3 $) est $ 5.18 $ en utilisant un algorithme d'inférence, à savoir le filtre arbre / Kalman Junction. Ensuite, les statistiques suffisantes pour $ X_1 $ est:

$ S_1 = \ sigma_ {i = 1} ^ nx_ {i1} = 9 + 4 + 5,18 $ et $ s_ {11} = \ sigma_ {i = 1} ^ nx_ {i1} ^ 2 = 9 ^ 2 + 4 ^ 2 + (5.18 ^ 2 + \ {sigma_ 11.2}) $

où $ \ sigma_ {11.2} $ est la variance conditionnelle postérieure de X_1 $ $ $ $ X_2 donné, quand X_1 $ est inobservée.

$ s_2 = \ {sigma_ i = 1} ^ {nx_ i2} $ et $ S_ {22} = \ {sigma_ i = 1} ^ {nx_ i2} ^ 2 $. Lorsque X_2 $ est un terme inobservé $ \ sigma_ {22,1} $ est également ajouté à $ x_ {i2} ^ 2 $.

paramètres $ \ mu_ {} X_1 $ et $ \ sigma_ {} X_1 sont obtenus $. De même, moyenne a posteriori de inobservée X_2 $ est également obtenue en utilisant à savoir l'inférence d'arbre Junction.

Les statistiques suffisantes pour $ S_ {12} = \ sigma_ {i = 1} ^ nx_ {i1} x_ {i2} $ et $ S_ {21} = \ sigma_ {i = 1} ^ nx_ {i2} x_ {} $ i1.

vecteur moyen est alors:. $ \ Mu ^ {(k)} = (s_1 / n, s_2 / n) $

est la matrice Covariance: $ \ Sigma ^ {(k)} = $$ \ left (\ begin {matrix} \ Sigma _ {11} et \ Sigma _ {12} \\ \ Sigma _ {21} et \ Sigma _ {22} \\ \ End {matrix} \ right) $$ = $$ \ left (\ begin {matrix} s_ {11} / n- (s_1 / n) ^ 2 & s_ {21} / n- (s_2 / n) (s_1 / n) \\ s_ {12} / n- (s_1 / n) (s_2 / n) & s_ {22} / n- (s_2 / n) ^ 2 \\ \ End {matrix} \ right) $$ $

D'autres paramètres de la question sont obtenus. Variance conditionnelle moyenne et conditionnelle de X_2 $ |. X_1 $ est calculé par la formule dans la référence de la question