为什么正则化可以减小过拟合
先记录一下吧,日后再整理。
1cs231n课程笔记
2吴恩达老师课程笔记
特征变量过多会导致过拟合,为了防止过拟合会选择一些比较重要的特征变量,而删掉很多次要的特征变量。但是,如果我们实际上却希望利用到这些特征信息,所以可以添加正则化项来约束这些特征变量,使得这些特征变量的权重很小,接近于0,这样既能保留这些特征变量,又不至于使得这些特征变量的影响过大。
3知乎回答
相当于加入了先验知识(这一条我并不懂)
先记录一下吧,日后再整理。
特征变量过多会导致过拟合,为了防止过拟合会选择一些比较重要的特征变量,而删掉很多次要的特征变量。但是,如果我们实际上却希望利用到这些特征信息,所以可以添加正则化项来约束这些特征变量,使得这些特征变量的权重很小,接近于0,这样既能保留这些特征变量,又不至于使得这些特征变量的影响过大。
相当于加入了先验知识(这一条我并不懂)