PAC学习与学习统一分配

Question

功能类 $ \ mathcal {f} $ 如果存在算法 $ a $ 为任何发行版 $ d $ ，任何未知函数 $ f $ 和任何 $ \ epsilon，\ delta $ 它保存存在 $ m $ 在 $ m $ iid样本 $（x，f（x））$ 其中< Span Class=“math-container”> $ x \ sim d $ ， $ a $ 返回，概率大于 $ 1- \ delta $ ，一个函数 $ \ epsilon $ -close to $ f $ （关于 $ d $ ）。 Class $ \ Mathcal {F} $ 如果是PAC学习，并且 $ a $ 在时间中运行 $ \ text {poly}（1 / \ epsilon，1 / \ delta，n）$ （其中 $ | x |= n $ ）和 $ f $ 的描述。

是否存在类，其中 $ \ mathcal {f} $ 没有有效的PAC学习，但它在统一分布上有效地学习？

Answer 1

是否存在类，其中 $ \ mathcal {f} $ 没有有效的PAC学习，但它在统一分布上有效地学习？

这已被问到 tcs.se 。 看起来很短的答案是肯定 - Aaron Roth给出了宽度的示例 - $ k $ $ k \ gg \ log n $ 。在评论中，引用Avrim Blum为 $ 2 $ -term DNF。

我不完全了解那里的例子 - 它必须需要更多的工作来真正推导结果（如果我找到一个独立的证明，我会更新这个答案）。但是，这里的一般问题与统一分布是，如果目标函数 $ f $ 是“稀疏”，则意味着它最多是 $ \ delta $ 输入分布的分数 $ 1 $ ，只需猜测 $ 0 $ 。

---

除了高效（多项式）PAC学习，还有其他示例似乎有助于帮助。例如，PAC学习的经典难题是DNF，一个问题被猜测不是PAC学习，并且很难。另一方面，在均匀分布上的DNF几乎是PAC学习：我们有一个 Qausi 多项式时间算法。请参阅这些音符和这些音符。

总结，在统一分布下似乎有很多工作学习（在均匀分布下的PAC学习“以获得其他参考文献）。似乎这个问题比学习PAC学习更容易，在那里我们无法证明很多。引用Ryan O'Donnell的注释：

Pac-Learning坚持认为，一种算法同时适用于所有分布。事实上，对现实世界应用的机器学习界发现了统一的设置可疑：“如果你试图告诉他们关于这个算法，他们会把你撞到鼻子里 框架。“ - ryan。但是，在更一般的框架中，没有人能够真正证明任何东西。