吴恩达机器学习笔记5——线性回归加入正则项
一、 梯度下降法进行线性回归时加入正则项
（1）之前没有加正则项时，用梯度下降法：（α后面是对假设函数J（θ）求导后得到的式子）
接下来因为添加正则项的时候没有考虑θ0，所以单独把它写出来：
（2）添加正则项后求解
【注意】这个正则项添加本来是λ θ2 ，因为梯度下降的更新θ的式子都是求导之后的，因此得到下面的：
下面将这个式子整理一下以便于理解：
对于这个式子的理解：
分为两部分，前面粉色框框的部分其实是对θ做了个缩小，几乎就是0.99的缩小（也不一定），后面这一项跟没有正则化之前是一样的。
所以说，当进行正则化线性回归时，每次迭代时，把参数缩小一点，然后做和之前一样的更新操作
梯度下降只是进行拟合线性回归时的一种算法。另一种算法是正规方程。
二、正规方程进行线性回归时加入正则项
（1）没有正则化时求解θ：
【注】θ求解是： 对于每个θ求解偏导，然后让其等于0，求得的θ值。
（2）加入正则化后求解
正则化还可以使得XTX可逆。（加上λ[]后一定是可逆的）