$ \ Ell_1 $ Minimizzazione delle Probabilità Distribuzione e KL-Divergenza

Question

Supponiamo attraverso $ \ ell_1 $ minimizzazione ho ottenuto due distribuzioni di probabilità sparse $ P, Q $ che possono contenere molti a zero termini. Poi vorrei calcolare la KL-Divergenza di loro $ D (P || Q) = \ {sum_i p_i \ log (\ frac {} {p_i q_i})} $. Tuttavia, dal momento che la distribuzione di probabilità è scarsa, potrebbe accadere che $ p_i \ non = 0 $ e $ q_i = 0 $. In tal caso, KL-Divergenza non è ben definito. Una soluzione è quella di incorporare Dirichlet Prior. Tuttavia, temo, così facendo, la scarsità delle distribuzioni di probabilità è violata. C'è un altro modo per calcolare il KL-divergenza delle due distribuzioni di probabilità?

Answer 1

Hai guardato in Jensen-Shannon divergenza ? Evita la situazione che hai descritto con l'aggiunta di un punto medio. Formalmente abbiamo, $$ \ mathrm {} JSD (P || Q) = \ frac {1} {2} \ mathrm {KL} (P || M) + \ frac {1} {2} \ mathrm {KL} (Q | | M) $$ dove $ M = \ frac {1} {2} (P + Q) $. Informalmente, JSD è bello quando si desidera confrontare le distribuzioni che sembrano avere la stessa forma, ma non lo si sovrappongono completamente.