最小均方算法LMS总结
一、算法介绍
最小均方算法（Least Mean Square，LMS）由 Bernard Widrow 和 Marcian E. Hoff 提出，用于修正滤波器参数使均方差（Mean Square Error，MSE）达到最小。
LMS算法可认为是机器学习里面最基本也比较有用的算法，神经网络中对参数的学习使用的就是LMS的思想，在通信信号处理领域LMS也非常常见，比如自适应滤波器。
二、算法详解
LMS的各种最优化方式有几下几类：
1、LMS滤波结构
原理上跟感知机也差不多，也是对包含一组共M个元素的x1、x2、x3。。。xM的输入用一个线性组合器处理，也就是对其进行加权求和，得出结果y ，与期望响应d 相比较，获得误差信号e ，并由此修正权值，如下图：
可以表述成：
y(i)=w1(i) x1(i)+w2(i) x2(i)+w3(i) x3(i)+…+wM(i) xM(i)
误差信号为期望响应跟输出的差，即：
e(i)=d(i)-y(i)
三、总结
之前自学过斯坦福大学的机器学习公开课的一部分，对LMS算法还是挺理解的，这里就简单总结总结，不详细展开了。
参考资料：