SVMがうまく機能しているかどうかの幾何学的解釈

Question

私はこれに出くわしました 研究論文 この図が含まれていました

これは、マスの中心（おそらく、トレーニングデータセットのデータポイントのことについて？）について語り、SVMの解決策をポリゴンとして表しています（またはポイントですか？）。私はこの数字を理解するのに苦労しています。SVMがパフォーマンスが低下したときの幾何学的な解釈を提供しているように見えるので、私はそれに興味があります。何かご意見は？

Answer 1

最も興味深い紙！続く オッパーとハウスラー^{$ dagger $}, 、著者はaを定義します バージョンスペース;トレーニングサンプルを分離するユニットベクトルのセット：

$ mathcal v equiv { mathtt w | y_i f（ mathtt x_i）> 0、i = 1、 ldots、n、 | mathtt w | _2 = 1 } $

$ y_i in {-1、+1 } $であるため、分類$ f（x_i）$が$ y_i $と同じ記号を持たせたいという分類問題を扱っていることを忘れないでください。 $ mathtt w = sum_i alpha_i phi（ mathtt x_i）$および$ f（ mathtt x）= left < mathtt w、 phi（ mathtt x） right> = sum_i alpha_i k（ mathtt x_i、 mathtt x）$

通常、$ y_i left（ left < mathtt w、 phi（ mathtt x_i） right> + b right） ge 1 $。彼らがしたことは、$ b = 0 $を設定し、マージン（RHS）を排除することです。長さの制約は、一意性を確保することです。

バージョンスペースは、図2と図2に示すように、球体上の領域として示されています。 5および6。バージョンスペースが図5のように形成されている場合、SVMソリューションは最適なポイントに近いです。ただし、図6のように細長い形状がある場合、SVM溶液は最適なものとはほど遠いものです。

刻まれた球体がある理由は次のとおりです。

SVMソリューションは、$ mathcal v $に含まれる最大の球体の中心であるバージョンスペースのtchebycheff-centerと一致します。ただし、ベイズ最適な決定境界を生成するバージョン空間の理論的最適ポイントはベイズポイントであり、これは質量の中心によって密接に近似されることが知られています。

言い換えれば、彼らはSVM分類器が常にベイズ最適ではないと言っています。証明の参照をご覧ください。 Hypersphereは、マージン$ gamma equiv min y_i f（ mathtt x_i）$を考慮すると発生します。サポートベクターは、ぶら視球に接するバージョン空間の境界です。

引用された論文*は、バージョンスペースでバウンスするビリヤードボールの軌跡を平均化することにより、マスの中心を実際に推定するアルゴリズムを開発するためにこのアイデアに従います。 SVMの障害の診断に興味がある場合は、代わりにより良いアルゴリズムを提供すると主張するため、おそらくその論文も読むのに役立つでしょう。

---

$ Dagger $ M. OpperおよびD. Haussler、「ベイズの一般化パフォーマンスPERCEPTRONを学習するための最適分類アルゴリズム、」 Phys。牧師レット、Vol。 66、p。 2677、1991。

* T. Graepel、R。Herbrich、およびC. Campbell、「ベイズポイントマシン：カーネルスペースのベイズポイントの推定」、Proc。 IJCAIワークショップサポートベクターマシン、1999、pp。23–27