Uniform Deplicationに関する学習対PAC Learning.

Question

関数のクラス $ \ mathcal {f} $ は、アルゴリズムが存在する場合 $ a $ 配布 $ d $ の場合、未知の関数 $ f $ と任意の $ \ epsilon、\ delta $ $ m $ が存在することを保持します。 $ m $ iidサンプル $（x、f（x））$ SPAN CLASS="math-container"> $ x \ sim d $ 、 $ a $ リターン、 $¥epsilon $ - $ fに属している関数$ （ $ d $ に関して）。クラス $ \ mathcal {f} $ は、PAC REARINABLEである場合はexpareが認識可能で、 $ a $ 時間内に実行されます。 $ \ text {poly}（1 / \ epsilon、1 / \ delta、n）$ （ $ | X |= n $ ）および $ f $ の説明。

クラス $ \ mathcal {f} $ は効率的に知られていない場合がありますが、それでも均一な分布で効率的に学ばれますか？

Answer 1

クラス $ \ mathcal {f} $ は効率的に知られていない場合がありますが、それでも均一な分布で効率的に学ばれますか？

これは尋問されました ON TCS.SE 。 短い答えがイエスであるように見えます - Aaron Rothはwidth- $ k $ の $ k \の例です。 GG \ Log N $ 。そしてコメントでは、AVRIM Blumは $ 2 $ -term dnfの答えを与えるように引用されています。

私はそこにある例を全く理解していません - それは実際に結果を導き出すためにもう少し仕事をする必要があります（私は自己完全な証明を見つけた場合、この答えを更新します）。しかし、この統一された分布に関する一般的な問題は、ターゲット関数 $ f $ が "sparse"の場合、それはほとんどの $ \ delta $ $ 1 $ を使用した入力分布の端数は、これらの注意とこれらのノート

要約すると、追加の参考文献については、均一な分布の下で学習することに多くの作業があるようです（均一な分布の下での「PAC学習」）。そして、この問題はPAC学習を勉強するよりも簡単であるようです、そこで私たちはそれほど証明できない。 Ryan O'Donnellの上記の注意事項を見積もる：

一般的なPAC学習は、すべての分布に対して同時に1つのアルゴリズムが機能すると主張します。実際、実際のアプリケーションに興味を持っている機械学習コミュニティは、疑わしい疑問障害者を見つけることができます：「彼らはこれのアルゴリズムについて彼らに伝えようとした場合、鼻の中であなたをパンチするでしょう フレームワーク。「 - ローナン。しかし、より一般的なフレームワークでは、誰も本当に何も証明できません。