PAC учится против изучения равномерного распределения

Question

Класс функции $ \ mathcal {f} $ - это научная информация, если существует алгоритм $ A $ такое, что для любого распределения $ d $ , любая неизвестная функция $ F $ и любой $ \ epsilon, \ delta $ он содержит, что существует $ m $ такой Это на входе $ m $ iid образцы $ (x, f (x)) $ где < Spaness Class="Math-container"> $ x \ sim d $ , $ a $ Возврат, с вероятностью больше, чем $ 1- \ delta $ , функция, которая представляет собой $ \ epsilon $ --close для $ f $ (в отношении $ d $ ). Класс $ \ Mathcal {f} $ эффективно PAC для учащихся PAC, если он является учащимся PAC, а также $ a $ Работает во времени $ \ Text {Poly} (1 / \ epsilon, 1 / \ delta, n) $ (где $ | x |= n $ ) и описание $ f $ .

Есть ли случай, когда класс $ \ mathcal {f} $ не является эффективным учащимся PAC, но это эффективно изучает равномерное распространение?

Answer 1

Есть ли случай, когда класс $ \ mathcal {f} $ не является эффективным учащимся PAC, но это эффективно изучает равномерное распространение?

Это было задано на Tcss . Похоже, краткосрочный ответ - да - Aaron Roth дает примеру шириной - $ K $ CANGENTIONS для $ k \ GG \ log n $ . И в комментариях Avrim Blum цитируется, что дает ответ $ 2 $ --term dnf.

Я не совсем понимаю примеры там - это должно потребоваться немного больше работы, чтобы по-настоящему вывести результат (я буду обновлять этот ответ, если я найду автономное доказательство). Но общая проблема здесь с равномерным распространением является то, что если целевая функция $ f $ - это «редкий», то есть этикетки не более $ \ delta $ Фракция входного распределения с $ 1 $ , то легко учиться, просто угадая $ 0 $ .

---

за пределами просто эффективного (полиномиального) изучения PAC, есть и другие примеры, в которых однородное распределение, по-видимому, помогает. Например, классическая трудная проблема для изучения PAC является DNF, проблема, которая предположительна, а не научной и довольно сложной. С другой стороны, DNF над равномерным распределением практически практически PAC: у нас есть алгоритм многочленного времени «em> Qausi». Смотрите Эти заметки и эти заметки .

Там, кажется, существует много работы по обучению в области равномерного распределения (поиск », изучающий PAC в однородном распределении« для дополнительных ссылок). И кажется, что эта проблема проще, чем изучение науки PAC, где мы не можем много доказать. Цитируя заметок Райана О'Доннелла выше:

Общее обучение PAC-обучения настаивает на том, что один алгоритм работает одновременно для всех распределений. На самом деле, сообщество машинного обучения, заинтересованное в реальном мире приложения, находит однородную настройку сомнительной: «Они будут ударить вас в нос, если вы попытаетесь сказать им об алгоритмах в этом Framework. - Арьюн. Но, в более общей структуре, никто не может ничего доказать.