牛顿法

牛顿法

首先学习一下多元函数的泰勒展开式

  • 一元函数在点x_{k}处的泰勒展开式为:

牛顿法

  • 二元函数在点(x_{k}, y_{k})处的泰勒展开式为:

牛顿法

  • 多元函数(n)在点x_{k}处的泰勒展开式为:

牛顿法

  • 把Taylor展开式写成矩阵的形式:

牛顿法

具体展开式为:

牛顿法

对等式两边同时求导

则:牛顿法

因此得到:牛顿法

如果将梯度向量简写为g,上面的公式可以简写为

牛顿法

上式就是牛顿法的递推公式

牛顿法的一般计算步骤

牛顿法

参考文章

https://zhuanlan.zhihu.com/p/33316479
https://zhuanlan.zhihu.com/p/37588590

三克油!!!