岭回归其实高斯回归的特殊情况，不行你看！

贝叶斯概率

贝叶斯概率区别于频率（frequency）概率论主要在于做贝叶斯推断时候会给出一个先验分布，再加持以可能性方程得到最终的后验分布，有一类特殊的分布，先验和后验分布会属于相同的分布。比如，当先验分布是高斯分布时候，后验分布也会是高斯分布。

高斯回归（贝叶斯推断先验分布是高斯分布）

• 先验分布： $w$w 决定最后预测值分布分参数，假设一开始满足正态分布
  

• 数据：design matrix: $X$X,response column vector: $y$y,高斯回归通俗来讲就是通过数据不断来缩小参数空间的发散度，具体就是，一开始的正态分布的方差越来越小。

• 可能性函数：
  

• 后验分布：
  

• 根据后验分布和损失函数来确定预测的点估计：
  

推出岭回归（ridge regression）

• 先验高斯分布的协方差矩阵：单位矩阵的倍数
  

• 后验分布和（可能性函数x先验分布）成正比
  

• 寻找最大可能性点：即最小化上log -后验分布，这里我们就看到了岭回归的表达式，是不是很自然哈哈，还有各位可以把一开始协方差单位矩阵代入后验分布的$u_p$up​即可以得到岭回归的全局最优解！

岭回归的全局最优解: