多项式回归:正规方程参数θ的推导过程

多变量线性回归代价函数为:

多项式回归:正规方程参数θ的推导过程

其中: 
多项式回归:正规方程参数θ的推导过程

正规方程是通过求解下面的方程来找出使得代价函数最小的参数:

多项式回归:正规方程参数θ的推导过程

设有m个训练实例,每个实例有n个特征,则训练实例集为:

多项式回归:正规方程参数θ的推导过程 
其中多项式回归:正规方程参数θ的推导过程表示第i个实例第j个特征。

特征参数为:

多项式回归:正规方程参数θ的推导过程

输出变量为:

多项式回归:正规方程参数θ的推导过程

故代价函数为:

多项式回归:正规方程参数θ的推导过程

进行求导,等价于如下的形式:

多项式回归:正规方程参数θ的推导过程

求导公式:

多项式回归:正规方程参数θ的推导过程

多项式回归:正规方程参数θ的推导过程

  • 其中第一项:

多项式回归:正规方程参数θ的推导过程

  • 第二项:

多项式回归:正规方程参数θ的推导过程 
该矩阵求导为分母布局下的标量/向量形式: 
故有, 
多项式回归:正规方程参数θ的推导过程

  • 第三项:

多项式回归:正规方程参数θ的推导过程 
该矩阵求导为分母布局下的标量/向量形式: 
故有: 
多项式回归:正规方程参数θ的推导过程

  • 第四项:

多项式回归:正规方程参数θ的推导过程 
其中多项式回归:正规方程参数θ的推导过程为标量,可看成一个常数。 
该矩阵求导为分母布局下的标量/向量形式: 
故有: 
多项式回归:正规方程参数θ的推导过程

综上,正规方程为:

多项式回归:正规方程参数θ的推导过程

最终可得特征参数的表示:

多项式回归:正规方程参数θ的推导过程