https://mp.****.net/ 博主其他博客

引子：

文章链接：https://arxiv.org/abs/1708.07878

翻译：https://zhuanlan.zhihu.com/p/29769576

高斯牛顿——Gauss Newton

小可拙见，拙荆见肘了！

现阶段非线性问题最优化求解方法层出不群，其大概可以分为解析法和直接法，而解析法只为求得目标函数那一最优化的回眸包含了：梯度下降、牛顿法、共轭梯度法、变尺度法等。

高斯牛顿法实际上是牛顿法在求解非线性最小二乘问题时的一个特例，也可以说是牛顿法的改进版，且只能处理二次函数。高斯牛顿法的基本思想是使用泰勒级数展开式去近似地代替非线性回归模型，然后通过多次迭代，多次修正回归系数，使得回归系数不断逼近非线性回归模型的最佳回归系数，最后使原模型的残差平方和达到最小。详细可见Wikipedia。有时候为了拟合数据，比如根据重投影误差求相机位姿(R,T为方程系数)，常常将求解模型转化为非线性最小二乘问题。高斯牛顿法正是用于解决非线性最小二乘问题，达到数据拟合、参数估计和函数估计的目的。文字性的东西说多了也就是一眼瞟过，没有公式那么带劲，那就上公式呗

****************************************************************************************

****************************************************************************************

残差：r = (r1, …, rm)    变量：β = (β1, …, βn)   m ≥ n

目标函数：求得最优的β使得残差r最小

给定一个初值，迭代求解：

    其中雅可比：

如果m=n，迭代问题就简化为：

  

了解牛顿方法的你估计也知道了上式就是牛顿法的一维直接推广啊！！！给自己一个smile吧！！！