统计学习笔记2
策略：
- 考虑按什么准则学习或选择最优的模型
损失函数：
度量模型一次预测的好坏，有以下几种：
由于输入输出（X,Y）为随机变量，且为联合分布，因此其期望是：
统计学习的目标就是选择期望风险最小的模型，由于联合分布P（X,Y）未知，不能直接计算；我们选择用经验风险估计期望风险；由大数定理可知，当样本规模足够大的时候，经验风险将趋于期望风险；但由于实际的样本量往往无法达到要求，需要对经验风险进行矫正，下面将介绍“经验风险最小化”与"结构风险最小化“两种基本策略
经验风险最小化：
经验风险最小化的策略认为，经验风险最小的模型是最优模型
当样本足够大的时候，经验风险最小化效果显著，如极大似然估计；但样本数据较少时，可能会出现”过拟合“现象；为解决这一问题，我们引入”结构风险最小化“策略。
结构风险最小化：
在”经验风险最小化“的基础上加上正则化项（罚项）
J（f)是模型复杂度，模型越复杂，J（f)越大，反之越小；
如：最大后验概率估计
”结构风险最小化“策略认为结构风险最小的模型为最优模型
现在，监督学习问题就变成了”经验风险“或”结构风险“最小化问题