[机器学习]机器学习笔记07—模型的评估与选择

一 名词解释

训练误差：模型在训练集上的误差. 

二 模型选择与评估方法

通常为了选择适当的模型，我们需要对该模型进行评估，可以使用实验测试对模型的泛化误差进行比较，因此，需要测试集。用测试误差来近似泛化误差。 

具体方法

1、留出法

直接将数据集D划分为两个互斥的集合，其中一个集合作为训练集S,另一个作为测试集T，即有 

注意点 

2、交叉验证法

通过分层采样的方式从中将数据集划分为k个大小相似的互斥子集。选k-1个子集的并集作为训练集，余下作为测试集。  

3、自助法

数据集D中包含m个样本，从中随机随机挑选一个样本，拷贝到D* 中，然后放回，重复这个过程m次，则D中有一部分样本会在D* 

4、调参

对算法参数进行设定，参数调节。调参需要注意，常用的做法是对每个参数选定一个范围与变化步长，在计算开销与性能估计之间折中。

5.最终模型

对于m个样本的数据集D,训练出模型并选择完成后，学习算法与参数配置都已选定，还需要用数据集D重新训练，这个模型才是我们的最终模型。

三 性能度量

性能度量: 对学习器的泛化性能进行评估，不仅需要有效可行的实验评估方法，还需要有模型泛化能力的评价标准。这就是性能度量。 均方误差:  

错误率与精度

错误率就是分类错误的样本占样本总数的比例；精度就是分类正确的样本占样本总数的比例， 对于样例D,分类错误率定义为：   

查全率、查准率与F1

对于分类问题我们可以将样例与预测类别的组合划分为真正例(TP)、假正例(FP)、真反例(TN)、假反例(FN),显然有TP+FP+TN+FN=样例总数，混淆矩阵如下：   

F1度量

F1度量更为实用 

F1度量的一般形式-Fβ  

ROC与AUC

ROC曲线是“受试者工作特征”曲线，是用来衡量学习器泛化能力性能的有力工具，  

参考

frankstars.基于《机器学习》学习整理- chapter 2