统计学习方法理论（一）
1.经验误差和泛化误差
以线性分类问题为例，其损失函数0-1损失。其中设计的模型是经验风险最小化（Empirical risk minimization）
2.两个引理
要证明一致性收敛（Uniform convergence）：即训练误差很小的话，那么对应的假设函数的泛化误差也很小
需要两个引理：一致限（union bound）和Hoeffding不等式
3.一致收敛（Union convergence）
一致收敛：有限假设空间（集合大小为k）里的假设函数h，对于所有h，其训练误差和泛化误差的差距都小于γ的概率是1-2*k*exp（-2γ平方m）。具体证明过程如下：
这就是一致收敛。
4.样本复杂度和误差边界
对于一致收敛，令δ=2kexp（-2γ平方m），求解m，得到样本复杂度（Sample complexity）bound。
对于一致收敛，固定m和δ，求解γ，得到误差边界（Error bound）
5.用一致收敛及其推论解释偏差和方差
对于ERM求得的h和最理想情况下的h之间差距最多是2倍的γ，证明如下：