线性回归——lasso回归和岭回归（ridge regression）

线性回归很简单，用线性函数拟合数据，用 mean square error (mse) 计算损失（cost），然后用梯度下降法找到一组使 mse 最小的权重。

lasso 回归和岭回归（ridge regression）其实就是在标准线性回归的基础上分别加入 L1 和 L2 正则化（regularization）。

线性回归（linear regression）

线性回归（linear regression），就是用线性函数$f(x)=\omega^Tx+b$f(x)=ωTx+b 去拟合一组数据。

Lasso回归和岭回归

Lasso回归和岭回归的同和异：

相同：

• 都可以用来解决标准线性回归的过拟合问题。（线性回归也存在过拟合问题）

不同：

• lasso 可以用来做 feature selection，而 ridge 不行。或者说，lasso 更容易使得权重变为 0，而 ridge 更容易使得权重接近 0。
  从贝叶斯角度看，lasso（L1 正则）等价于参数 w 的先验概率分布满足拉普拉斯分布，而 ridge（L2 正则）等价于参数 w 的先验概率分布满足高斯分布。