$ ELL_1 $確率分布とKL-Divergenceの最小化

Question

$ ell_1 $の最小化により、2つのスパース確率分布$ p、q $がゼロ項を含む場合があると仮定します。次に、$ d（p || q）= sum_i {p_i log（ frac {p_i} {q_i}）} $のkl-divergenceを計算したいと思います。ただし、確率分布はまばらであるため、$ p_i not = 0 $および$ q_i = 0 $が発生する可能性があります。その場合、KL-Divergenceは十分に定義されていません。解決策の1つは、Dirichlet Priorを組み込むことです。しかし、私はそうすることで、確率分布のスパース性に違反しているのではないかと心配しています。 2つの確率分布のKLダイバージェンスを計算する他の方法はありますか？

Answer 1

調べましたか ジェンセンシャノンの発散？中間点を追加することで説明した状況を回避します。正式には、$$ mathrm {jsd}（p || q）= frac {1} {2} mathrm {kl}（p || m） + frac {1} {2} mathrm {kl }（q || m）$$ where $ m = frac {1} {2}（p + q）$。非公式には、JSDは、同じ形状を持っているように見えるが完全に重複しない分布を比較したい場合に優れています。