균일 한 분포에 대한 학습 대 학습

Question

함수 $ \ mathcal {f} $ \ span>은 알고리즘 $ a $ 임의의 배포 $ d $ , 알 수없는 함수 $ f $ 및 $ \ epsilon, \ Δ $ $ m $ $ m $ IID 샘플 $ (x, f (x)) $ < SPAN 클래스="수학 컨테이너"> $ x \ SIM D $ , $ a $ 은 $ 1- \ Δ $ , $ \ epsilon $ - $ f $ ( $ d $ 에 대해서). $ \ mathcal {f} $ 은 팩스가 배울 수 있고 $ a $ 시간 $ \ text {poly} (1 / \ epsilon, 1 / \ Δ, n) $ (여기서 $ | x |= n $ ) 및 $ f $ 의 설명.

클래스 $ \ mathcal {f} $ 이 효율적으로 균형이 아직 균일 한 분포에서 효율적으로 학습 할 수있는 경우가 있습니다.

Answer 1

클래스 $ \ mathcal {f} $ 이 효율적으로 균형이 아직 균일 한 분포에서 효율적으로 학습 할 수있는 경우가 있습니다.

이것은 on tcs.se . 짧은 대답은 예입니다 - Aaron Roth는 $ k $ 연락처"> $ k \ gg \ log n $ . 그리고 의견에서 Avrim Blum은 $ 2 $ -term DNF

에 대한 답변을 제공하는 것으로 인용됩니다.

저는 그 예를 완전히 이해하지 못합니다. 결과를 정말로 파생시키기 위해 조금 더 많은 일을해야합니다 (자체 포함 된 증거를 찾으면이 답변을 업데이트 할 것입니다). 그러나 균일 한 분포를 가진 일반적인 문제는 대상 기능 $ f $ 은 "sparse"입니다. 즉, 대부분의 $ \ 델타 $ $ 1 $ 을 사용하여 입력 배포의 일부분, $ 0 $ .

---

뿐만 아니라 효율적인 (다항식) PAC 학습, 균일 한 분포가 도움이되는 다른 예가 있습니다. 예를 들어, PAC 학습을위한 고전적인 어려운 문제는 DNF, 즉, 팩스가 아닌 문제가 아니며 꽤 열심히 일으키는 문제입니다. 반면에 균일 한 분포에 대한 DNF는 거의 팩을 배우는 것입니다 : 우리는 QAUSI 다항식 시간 알고리즘을 가지고 있습니다. 이 노트 및 이 메모 .

요약하면 추가 참조를 위해 균일 한 분포 (균일 한 분포 하에서 검색 "PAC 학습"에 대한 학습에 많은 작업이있는 것으로 보입니다. 그리고이 문제는 PAC 학습을 공부하는 것보다 쉽습니다. 우리는 많이 증명할 수 없습니다. 위의 Ryan O'Donnell의 메모를 인용 :

일반 Pac-Learning은 모든 알고리즘이 모든 분포에 대해 동시에 작동하는 것을 주장합니다. 사실, 실제 응용 프로그램에 관심이있는 커뮤니티를 학습하는 기계는 균일 한 설정을 의심스럽게 생각합니다. "이에 대해 알고리즘에 대해 알려주려고하면 코를 펀치 할 것입니다. 프레임 워크. "--ryan. 그러나 더 일반적인 프레임 워크에서 아무도 정말로 무엇이든 증명할 수 없습니다.