海森矩阵(Hessian Matrix)与泰勒展开式:

一元泰勒展开式:
定理:设n为一正整数,若定义在一个包含 $\alpha$α 的区间上的函数f在 $\alpha$α 点处n+1次可导,那么对于这个区间上的任意x1都有:
$f(x) = f(\alpha ) + \frac{{f}^{1}(a)}{1!}(x-\alpha )+\frac{{f}^{2}(a)}{2!}(x-\alpha )^{2}+...+\frac{{f}^{n}(a)}{n!}(x-\alpha )^{n}+R_{n}(x)$f(x)=f(α)+1!f1(a)​(x−α)+2!f2(a)​(x−α)2+...+n!fn(a)​(x−α)n+Rn​(x)
其中的多项式称为函数在 $\alpha$α 处的泰勒展开式,剩余的 $R_{n}(x)$Rn​(x) 是泰勒公式的余项,是 $(x-\alpha)^{n}$(x−α)n 的高阶无穷小.

多元泰勒展开式
$f(x)=f(x_{0})+\bigtriangledown f(x_{0})^{T}\bigtriangleup x+\frac{1}{2}\bigtriangleup x^{T}G(x_{0})\bigtriangleup x+...$f(x)=f(x0​)+▽f(x0​)T△x+21​△xTG(x0​)△x+...
其中
$\bigtriangledown f(x_{0})=\begin{bmatrix} & \frac{\vartheta f}{\vartheta x_{1}}\\ & \frac{\vartheta f}{\vartheta x_{2}} \end{bmatrix}$▽f(x0​)=[​ϑx1​ϑf​ϑx2​ϑf​​]

倒三角为一阶导,G(x0)为二阶导