Analyse en composantes principales, vecteurs propres se situant dans l'intervalle des points de données observées?

Question

J'ai lu plusieurs documents et articles liés à l'analyse en composantes principales (ACP) et certains d'entre eux, il y a une étape qui est tout à fait clair pour moi (en particulier (3) [ Schölkopf 1996 ]).

Permettez-moi de reproduis leur raisonnement ci-dessous.

---

tenir compte des données centrées ensemble $ D = \ {\ textbf {x} _k \} _ {k = 1} ^ M $ à $ \ textbf {x} _k \ in \ textbf {R} ^ N $ et $ \ sum_ {k = 1} ^ M \ textbf {x} _k = 0 $. PCA diagonalise la matrice de covariance (échantillon)

$$ C = \ frac {1} {M} \ sum_ {j = 1} ^ M \ textbf {x} _j \ textbf {x} _j ^ T. \ Balise {1} $$

Pour ce faire, nous trouvons la solution à l'équation vecteur propre

$$ \ Lambda \ textbf {v} = C \ textbf {v} \ balise {2} $$

pour les valeurs propres $ \ lambda \ geq 0 $ et $ vecteurs propres \ textbf {v} \ in \ textbf {R} ^ N de la barre oblique inverse \ {{0} \} $. Comme

$$ \ Lambda \ textbf {v} = C \ textbf {v} = \ frac {1} {M} \ sum_ {j = 1} ^ M (\ textbf {x} _j ^ T \ textbf {v}) \ textbf { x} _j, \ balise {3} $$

toutes les solutions $ \ textbf {v} $ avec $ \ lambda \ neq 0 $ doit se situer dans l'espace de $ \ textbf {x} _1, \ points, \ textbf {x} _M $, par conséquent (2) est équivalent à

$$ \ Lambda (\ textbf {x} _k ^ T \ textbf {v}) = \ textbf {x} _k ^ TC \ textbf {v}, \ qquad \ texte {for} k = 1, \ dots, M \ tag { 4} $$

---

(4), qui ne fonctionne pas $ \ lambda (\ textbf {x} ^ T \ textbf {v}) = \ textbf {x} ^ TC \ textbf {v} $ pour tenir $ \ textbf {any} $ valeur de $ \ textbf {x} $? Pourquoi (4) est de seulement quand $ \ textbf {x} \ in D $? Je ne comprends pas comment leur rencontriez (4).

Merci.

Answer 1

La déclaration dit que (2) et (4) sont égaux. Cela signifie (2) $ \ rightarrow $ (4) et (4) $ \ rightarrow $ (2). La première implication est triviale, comme vous l'avez souligné à juste titre. $$ \ lambda v = Cv $$ implique $$ \ lambda x ^ x ^ Tv = TCV $$ pour tous $ v $, pas seulement celles de $ D $. Mais la deuxième implication est un peu plus compliqué, mais est ce que la preuve est sur le point. Il vous dit que si vous voulez vérifier, si un vecteur est un vecteur propre de $ C $, vous ne devez pas vérifier si (2) est satisfaite. Il vous dit, que lorsque (4) est satisfaite, (2) est satisfait aussi bien.

Imaginez que vous avez 2 points dans l'espace 3D. Ces 2 points $$ x 1 = (- 1, -1,0) $$ $$ x 2 = (1,1,0) $$ (S'il vous plaît excusez-moi de ne pas faire de ce « jeu de données » centré) Notez que les deux points se trouvent dans le plan de $ xy $. Maintenant, la matrice de corrélation est $$ = C \ begin {} bmatrix 1/2 et -1/2 & 0 \\ [0.3em] -1/2 et 1/2 & 0 \\ [0.3em] 0 & 0 & 0 \ End {bmatrix} $$ Maintenant, vous voulez savoir, si $ v = [1 \ -1 \ 0] ^ T $ est un vecteur propre de valeur propre 1. La déclaration vous indique que vous pouvez vérifier simplement, si (2) est satisfaite (3 équations) ou si $$ \ frac {1} {2} x 1 x 1 = ^ Tv ^ TCV = 0 $$ et $$ \ frac {1} {2} x 2 x 2 = ^ Tv ^ TCV = 0 $$ qui ne sont que deux équations.