岭回归

收缩方法：

通过选择自变量的一个子集产生新的线性模型，这个模型是可以解释的并且可能具有比完整模型更低的误差，然而由于它是一个离散过程（变量或者保留或者丢弃），使得子集选择方法常常表现出高方差，因此不能降低整个模型的预测误差，收缩方法更加连续，并且不会因为变量多而降低性能。

岭回归：

岭回归主要解决回归中的两大问题：排除多重共线性和进行变量的选择。

思想是在原先的最小二乘估计中加入一个小扰动，也叫惩罚项，使得原先无法求广义逆的情况下变为可以求广义逆，是的问题稳定并得以求解。

岭回归通过对系数向量的长度平方添加处罚来收缩稀疏。

当线性回归模型中存在多个相关变量时，它们的系数确定性变差并呈现高方差。比如说，在一个变量上的一个很大的正系数可能被在其相关变量上的类似大小的负系数抵消，岭回归就是通过在系数上施加约束来避免这种现象的发生。此外当特征数p>>样本数量时，矩阵X^TX不可逆，此时不可以直接使用最小二乘法，而岭回归没有这个限制。

https://www.jianshu.com/p/1677d27e08a7看这个网址到时复习。