正规方程的另一种推导方式

正规方程的另一种推导方式

1.损失表示方式

总损失定义为:

正规方程的另一种推导方式

  • yi为第i个训练样本的真实值
  • h(xi)为第i个训练样本特征值组合预测函数
  • 又称最小二乘法

2.另一种推导方式

把损失函数分开书写:
正规方程的另一种推导方式
对展开上式进行求导:

正规方程的另一种推导方式

需要求得求导函数的极小值,即上式求导结果为0,经过化解,得结果为:
正规方程的另一种推导方式
经过化解为:

正规方程的另一种推导方式

补充:需要用到的矩阵求导公式:

正规方程的另一种推导方式