模型评估与选择

经验误差与过拟合

通常，分类错误的样本数占样本总数的比例称为“错误率”，即是m个样本中a个样本分类错误，错误率为E=a/m；同时，1-E称为“精度”；学习器的真实输出与预测输出的差异称为“误差”，误差常分为“训练误差”（训练集）和“泛化误差”（新样本）。

当然，机器学习时对于样本学习得过好或者过坏，都将导致“过拟合”或是“欠拟合”现象。

对于上述的想象，欠拟合解决的方法是：（1）在决策树学习中扩展分支 （2）神经网络学习中增加训练轮数

评估方法

通常，我们可通过实验测试来对学习器的泛化误差进行评估并作出选择。为此，需使用一个“测试集”来测试学习器对新样本的判别能力，然后其中的“测试误差”作为泛化误差的近似。但是需要注意的是，测试集和训练集应该相互斥。

留出法：将数据集D分为互斥的两个集，一个作为训练集S，一个作为测试集T，即D=S∪T，S∩T=空集，在S上训练出模型后，用T来评估测试误差，作为对泛化误差的估计。一般来说，将2/3~4/5的样本用于训练，剩余样本用于测试。

交叉验证法：将数据集D分为k个大小相似的互斥子集，每个子集尽可能保持数据分布的一致性；然后每次用k-1个子集的并集作为训练集，剩下作为测试集，最终返回的是k个测试结果的均值。

k常用的取值为10，称为10折交叉验证，上图为10折交叉验证示意图。

自助法：以自助采样法为基础，给定包含m个样本的数据集D，我们对它采样产生数据集D’：每次随机从D中挑选样本加入D’中，再将该样本放回D中；重复m次此操作，就得到了自助采样的结果。显然，D 中有一部分样本会在 D'中多次出现，而另一部分样本不出现。可以做一个简单的估计，样本在 m 次采样中始终不被采到的概率是（1-1/m）^m，取极限得到约为0.368。

性能度量

对学习器的泛化性能进行评估，不仅需要有效可行的实验估计方法，还需要有衡量模型泛化能力的评价标准。