Levenberg-Marquardt算法简介和C++实现
http://blog.****.net/fightingforcv/article/details/51354985
什么是最优化，可分为几大类？
答：Levenberg-Marquardt算法是最优化算法中的一种。最优化是寻找使得函数值最小的参数向量。它的应用领域非常广泛，如：经济学、管理优化、网络分析、最优设计、机械或电子设计等等。
根据求导数的方法，可分为2大类。第一类，若f具有解析函数形式，知道x后求导数速度快。第二类，使用数值差分来求导数。
根据 使用模型不同，分为非约束最优化、约束最优化、最小二乘最优化。
什么是Levenberg-Marquardt算法？
它是使用最广泛的非线性最小二乘算法，中文为列文伯格-马夸尔特法。它是利用梯度求最大（小）值的算法，形象的说，属于“爬山”法的一种。它同时具有梯度法和牛顿法的优点。当λ很小时，步长等于牛顿法步长，当λ很大时，步长约等于梯度下降法的步长。在作者的科研项目中曾经使用过多次。图1显示了算法从起点，根据函数梯度信息，不断爬升直到最高点（最大值）的迭代过程。共进行了12步。（备注：图1中绿色线条为迭代过程）。
图1 LM算法迭代过程形象描述
图1中，算法从山脚开始不断迭代。可以看到，它的寻优速度是比较快的，在山腰部分直接利用梯度大幅度提升（参见后文例子程序中lamda较小时），快到山顶时经过几次尝试（lamda较大时），最后达到顶峰（最大值点），算法终止。
如何快速学习LM算法？
学 习该算法的主要困难是入门难。 要么国内中文教材太艰涩难懂，要么太抽象例子太少。目前，我看到的最好的英文入门教程是K. Madsen等人的《Methods for non-linear least squares problems》本来想把原文翻译一下，贴到这里。请让我偷个懒吧。能找到这里的读者，应该都是E文好手，我翻译得不清不楚，反而事倍功半了。
可在 下面的链接中找到
http://www2.imm.dtu.dk/pubdb/public/publications.php? year=&pubtype=7&pubsubtype=§ion=1&cmd=full_view&lastndays=&order=author
或者直接下载pdf原文：
http://www2.imm.dtu.dk/pubdb/views/edoc_download.php/3215/pdf/imm3215.pdf
LM算法是介于牛顿法与梯度下降法之间的一种非线性优化方法，对于过参数化问题不敏感，能有效处理冗余参数问题，使代价函数陷入局部极小值的机会大大减小，这些特性使得LM算法在计算机视觉等领域得到广泛应用。
算法流程
在LM算法中，每次迭代是寻找一个合适的阻尼因子λ，当λ很小时，算法就变成了GAuss-Newton法的最优步长计算式，λ很大时，蜕化为梯度下降法的最优步长计算式。
参考文献：
[1]. 张鸿燕， 狄征. Levenberg-Marquardt算法的一种新解释. 计算机工程与应用，2009，45(19),5-8.
from： http://heleiying.blog.163.com/blog/static/3110429201081693815164/
LM算法是介于牛顿法与梯度下降法之间的一种非线性优化方法，对于过参数化问题不敏感，能有效处理冗余参数问题，使代价 函数陷入局部极小值的机会大大减小，这些特性使得LM算法在计算机视觉等领域得到广泛应用。
算法流程
在LM算法中，每次迭代是寻找一个合适的阻尼因子λ，当λ很小时，算法就变成了GAuss-Newton法的最优步长计算式，λ很大时，蜕化为梯度下降法的最优步长计算式。
参考文献：
[1]. 张鸿燕， 狄征. Levenberg-Marquardt算法的一种新解释. 计算机工程与应用，2009，45(19),5-8.
*********************************************************************************************************************************
重点：
该算法已经比较成熟，并有专门介绍该算法的网站，并提供不同的版本进行下载。下载的网址如下（含有C++代码和Matlab代码，不过都是在Linux操作系统下运行的）：
C++实现网址:http://users.ics.forth.gr/~lourakis/levmar/index.html#download
下载最新的版本levmar-2.6
开始编译：
编译之前需要安装如下库：
lapack：LAPACKLAPACK,全称是Linear Algebra PACKage,一个高性能的线性代数的程序库，主页http://www.netlib.org/lapack/
blas：BLAS,即基础线性代数子程序库，里面拥有大量已经编写好的关于线性代数运算的程序。