如果VC维度是有限的，则均匀收敛证明

Question

在书中»了解机器学习：从理论到算法«，由Ben-David和Shalev-Shwartz编写，有一个证明我不明白。证明了上下文，如果假设类 $ \ mathcal {h} $ 具有有限的VC维度，那么它就会享受统一的收敛属性。

这种含义的证明涉及Sauer的雷姆玛（具有有限VC维度的假设类具有»小有效尺寸«）和定理说明具有»小型有效尺寸的假设类别«享受统一的收敛性。后者的证据涉及本定理（本书中的定理6.11）：

let $ \ mathcal {h} $ 是域中的二进制分类器的催眠类别 $ \ mathcal {x $ ，让 $ \ tau _ {\ mathcal {h}} $ 是它的增长函数（来自Sauer的Lemma）。然后，对于所有 $ m \ in \ mathbb {n} $ ，对于每个发行版 $ \ mathcal {d} $ < / span> over $ \ mathcal {x} \ times \ {0，1 \} $ and pall $ \ delta \在（0,1）$ ： $$ \ arall h \ in \ mathcal {h}：\ mathbb {p} _ {s \ sim \ mathcal {d} ^ left [| l _ {\ mathcal {d}}（h） - l_s（h）| \ leq \ frac {4 + \ sqrt {\ log（\ tau _ {\ mathcal {h}}（2m））}} {\ delta \ sqrt {2m}} \ loct] \ geq 1 - \ delta $$

在本定理的证据中，它被说明，它立即从不平等中遵循 $$ \ mathbb {e} _ {s \ sim \ mathcal {d} ^ m} \ left [\ sup_ {h \ in \ mathcal {h}} | l _ {\ mathcal {d}}（h） - l_s（h）| \右] \ leq \ frac {4 + \ sqrt {\ log（\ tau _ {\ mathcal {h}}（2m））}} {\ sqrt {2m}}， $$ 一个事实：随机变量 $ \ theta：=sup_ {h \ in \ mathcal {h}} | l _ {\ mathcal {d}}（h） - l_s（h）| $ 是非负面和马尔可夫的不等式。

---

但是，我做不是看看它是如何立即遵循这些事实的。我错过了什么？

Answer 1

let $ x= | l_ \ mathcal {d}（h） - l_s（h）| $ 。关于 $ x $ 的期望期望的陈述尤其暗示了一些 $ m $ $$ \ mathbb {e} [x] \ Leq M. $$ 由于<跨度类=“math-container”> $ x \ geq 0 $ ，Markov的不等式意味着 $$ \ pr \ left [x \ geq \ frac {m} {\ delta} \ over] \ leq \ delta。 $$ 这意味着 $$ \ pr \ left [x \ leq \ frac {m} {\ delta} \ revally] \ geq \ pr \ left [x <\ frac {m} {\ delta} \ revally]= 1 - \ pr \ left [x \ geq \ frac {m} {\ delta} \ revally] \ geq 1 - \ delta。 $$