Chapeter 8 Regularization（正则化）

8.1 Overfiitting（过拟合）

先举例子：

左图，拟合度较低——欠拟合、高偏差；中图，拟合度正好；右图，拟合度过高——过拟合、高方差。

过拟合时代价函数吴恩达机器学习课程笔记——Ch8 正则化的值约等于0，这在训练集很好，然而建模的目的是预测训练集以外的东西，可以想象过拟合的模型无法胜任。

什么情况会出现过拟合呢？在变量过多，数据量不足的情况下，有限的数据无法限制模型的拟合度，就出现了过拟合。

解决过拟合的方法：

——减少变量，优点是简单粗暴，缺点是会删去真正有相关性的变量；

——模型选择算法，会自动选择变量；

——正则化（下一节）。

以4个变量的线性回归举例，可以看到为了防止过拟合+减去变量，在代价函数中加了额外的两项以使吴恩达机器学习课程笔记——Ch8 正则化、的值尽可能小。

这就是线性回归的正则化。

更一般地：

把所有变量的平方都乘以系数吴恩达机器学习课程笔记——Ch8 正则化加入代价函数，以控制变量的大小来防止过拟合。这个过程就是线性回归的正则化；

一般来说，不加吴恩达机器学习课程笔记——Ch8 正则化。

需要注意的是，吴恩达机器学习课程笔记——Ch8 正则化不能过大，这样会导致所有参数都约等于0。

公式和目的。

要达成目的需要代价方程来得到最小的代价，在线性回归里，方式是梯度下降和正规方程。来看一下引入正则化后有什么变化。

梯度下降：

正规方程：

当吴恩达机器学习课程笔记——Ch8 正则化 > 0时，一定可逆（行列式不为0?）。

和线性回归一样，逻辑回归要达成目的也有两种方法：梯度下降和高级算法。

梯度下降：

高级算法：

高级算法的数学原理可能比较复杂，了解实现原理是第一步。