Lecture 14 ：Regularization
Lecture 14 ：Regularization
【参考】https://redstonewill.com/252/
【概括】
本节课主要介绍了Regularization。
- 首先，原来的hypothesis set加上一些限制条件，就成了Regularized Hypothesis Set。
- 加上限制条件之后，我们就可以把问题转化为Eaug最小化问题，即把w的平方加进去。
- 这种过程，实际上回降低VC Dimension。
- 最后，介绍regularization是通用的机器学习工具，设计方法通常包括target-dependent，plausible，friendly等等。
下节课将介绍如何选取合适的\ambda来建立最佳拟合模型。
14.1 Regularized Hypothesis Set
如何对过拟合现象进行修正，使hypothesis更接近于target function呢？一种方法就是regularized fit。
这种方法得到的红色fit曲线，要比overfit的红色曲线平滑很多，更接近与目标函数，它的阶数要更低一些。那么问题就变成了我们要把高阶（10阶）的hypothesis sets转换为低阶（2阶）的hypothesis sets。通过下图我们发现，不同阶数的hypothesis存在如下包含关系：
我们发现10阶多项式hypothesis sets里包含了2阶多项式hypothesis sets的所有项，那么在H10中加入一些限定条件，使它近似为H2即可。
这种函数近似曾被称之为不适定问题（ill-posed problem）。
对于高阶的hypothesis，为了防止过拟合，我们可以将其高阶部分的权重w限制为0，这样，就相当于从高阶的形式转换为低阶，fit波形更加平滑，不容易发生过拟合。
14.2 Weight Decay Regularization
14.3 Regularization and VC Theory
下面我们研究一下Regularization与VC理论之间的关系。Augmented Error表达式如下：
VC Bound表示为：
14.4 General Regularizers
regularization是通用的机器学习工具，设计方法通常包括target-dependent，plausible，friendly等等
regularizer与error measure是机器学习模型设计中的重要步骤。