$ ell_1 $ Minimierung der Wahrscheinlichkeitsverteilung und KL-Divergenz

Question

Angenommen, $ ell_1 $ minimierung habe ich zwei spärliche Wahrscheinlichkeitsverteilungen $ p erhalten, q $, die viele Nullbegriffe enthalten können. Dann möchte ich die KL-Divergenz von ihnen $ D (p || q) = sum_i {p_i log ( frac {p_i} {q_i})} $ berechnen. Da die Wahrscheinlichkeitsverteilung jedoch spärlich ist, kann es auftreten, dass $ p_i nicht = 0 $ und $ q_i = 0 $. In diesem Fall ist die KL-Divergenz nicht gut definiert. Eine Lösung besteht darin, Dirichlet Prior zu integrieren. Ich fürchte jedoch, dass die Sparsity der Wahrscheinlichkeitsverteilungen verletzt wird. Gibt es eine andere Möglichkeit, die KL-Divergenz der beiden Wahrscheinlichkeitsverteilungen zu berechnen?

Answer 1

Hast du dich angeschaut? Jensen-Shannon-Divergenz? Es vermeidet die Situation, die Sie durch Hinzufügen eines Mittelpunkts beschrieben haben. Formal haben wir $$ mathrm {jsd} (p || q) = frac {1} {2} mathrm {kl} (p || m) + frac {1} {2} mathrm {kl } (Q || m) $$ wobei $ m = frac {1} {2} (p + q) $. Informell ist JSD schön, wenn Sie Verteilungen vergleichen möchten, die die gleiche Form zu haben scheinen, sich aber nicht vollständig überlappen.