机器学习---斯坦福机器学习笔记：模型优化与问题诊断
- 好的模型定义：
1） 训练误差小。
2） 训练误差接近测试误差 -
高偏差&高方差
1）偏差： 训练模型预测结果期望与实际值的偏差的期望。
2）方差：训练模型预测结果的方差（预测值-预测值期望）的平方期望。
3）偏差与方差与模型复杂度关系
高偏差（high bias）： 模型预测值与实际值偏离较大，即模型欠拟合（增加更多特征，改变特征）。高方差（high variance）：过拟合（收集更多的训练样本，减少特征数）
3.算法优化与目标优化
1)加权准确率
2)目标函数最大化Case 1
假设存在算法A，B， 如果A加权准确率大于等于B的加权准确率，同时A的最大目标函数大于等于B的目标函数
原因：模型未收敛。
解决方法： 梯度下降多跑几次，使用牛顿法
Case 2:
假设存在算法A，B， 如果A加权准确率大于等于B的加权准确率，同时A的最大目标函数小于等于B的目标函数。
原因：优化目标错误，换SVM. - 误差分析与消浊分析
1） 误差分析： 将特征分为多个组件，查看每个组件对算法准确率提升。
2）消浊分析： 从总体特征，逐步减去特征，然后查看准确率变化。