三、岭回归

根据线性回归标准方程法的公式:

三、岭回归

当数据特征n>样本个数m的时候,xTx会出现有一些行或者列全是0的情况,这就不是满秩矩阵(没有哪一行或列全是0),所以不可逆。

I这个单位矩阵的行列与xTx是一样的,且单位矩阵I是满秩矩阵,λ一般是一个比较小的数,xTx + λI 的结果就是一个满秩矩阵。所以可逆。

岭回归的公式是通过L2正则化推演出来的,推演过程如下:

三、岭回归

三、岭回归

没有加上正则化的代价函数,称之为无偏估计,加上了正则化的代价函数称之为有偏估计,岭回归是一种有偏估计。

三、岭回归

λ的取值,需要满足各回归系数的岭估计基本稳定的情况下,越小越好。