Andrew Ng chapter8 正则化

正则化

overfitting

Andrew Ng chapter8 正则化
解决过拟合的方法:第一种是人为的手动删减特征,或者使用算法模型直接挑选特征。但是由于有些特征信息或多或少都是有些作用的,所以就产生了第二种方法,正则化思想,保留特征,但是降低这些特征的参数值,相当于给他们加上一个惩罚项,从而实现简化模型的作用。
Andrew Ng chapter8 正则化

线性回归的正则化

(1) 针对梯度下降法
Andrew Ng chapter8 正则化
Andrew Ng chapter8 正则化
(2) 针对正规方程法
Andrew Ng chapter8 正则化
这时,只要正则参数λ大于0,就不用在考虑,可不可逆的问题了。

逻辑回归的正则化

(1)针对梯度下降方法
Andrew Ng chapter8 正则化
Andrew Ng chapter8 正则化
(2)其它高级优化方法