ESL 7 模型的评估与选择

bias, variance and Model Complexity

预测值与真实值得算是函数一般用两种:

ESL 7 模型的评估与选择

检验误差或者泛化误差,是在独立的预测样本上的预测误差:

ESL 7 模型的评估与选择

对于模型的评估和选择有两个目标:

  • 模型评估:比较多个模型的performance从中选取最优
  • 模型评价:估计它在测试集合的泛化误差

数据集一般划分为:训练集,验证集,检验集

bias variance decomposition

ESL 7 模型的评估与选择

对于k-neareast 有一下简要形式:

ESL 7 模型的评估与选择

对于线性拟合