吴恩达机器学习笔记8——正则化Regularization
第8章 正则化Regularization
1，过拟合（the problem of overfitting）
欠拟合，过拟合
过多的特征变量，很少的训练样本，会引起正则化。
有两种方法处理过拟合的问题，一个是减少特征的数量，人为选择去除部分特征或者模型选择算法，用算法来选择特征；
另一个是正则化，保留所有的特征，但是可以减小某个特征的幅度或者值。
2，代价函数
加入惩罚项，从1到100，一般不用对theta_0加惩罚项，加了也不要紧。
如果lambda太大了，拟合的结果就会趋于一条直线，惩罚力度太大，偏差太大。
3，线性回归的正则化（Regularized linear regression）
梯度下降法：正则化
正规方程：正则化
正则化可以解决不可逆的问题，只要加上lambda这一部分，就肯定是可逆的。
4，Logistic回归的正则化
在高级算法中，主要是构建出代价函数和梯度。