机器学习系列10：线性回归和逻辑回归的正则化
线性回归的正则化
还记得在线性回归中我们有哪两种方法去求代价函数的最小值吗？当然是梯度下降和正规方程了。让我们来复习一下线性回归中梯度下降算法，如下：
其中黄色部分就是代价函数对参数 θ 的偏导数。当我们正则化代价函数后，代价函数发生了改变：
相应地，偏导数也会改变，得到正则化后的梯度下降算法：
把其中的 θ_j 提出来，简化后：
那正规方程正则化后呢？就成了下面这样：
逻辑回归的正则化
逻辑回归的代价函数为：
与线性回归的正则化类似，逻辑回归的正则化就是在逻辑回归的代价函数中加入对参数的惩罚：
正则化后得到的梯度下降算法与线性回归中非常像，只是假设函数不同而已。
ps. 本篇文章是根据吴恩达机器学习课程整理的学习笔记。如果想要一起学习机器学习，可以关注微信公众号「SuperFeng」，期待与你的相遇。