指数加权平均
在深度学习优化算法中，我们会涉及到指数加权平均这个概念，下面我将通过例子来一步一步引出这个概念。
平均数求法
比如我们现在有100天的温度值，要求这100天的平均温度值。
24，25，24，26，34，28，33，33，34，35..........32。
我们直接可以用公式：
通过上面的公式就可以直接求出10天的平均值。而我们要介绍的指数加权平均本质上就是一种近似求平均的方法。
2
指数加权平均
化简开得到如下表达式：
通过上面表达式，我们可以看到，V100等于每一个时刻天数的温度值再乘以一个权值。
本质就是以指数式递减加权的移动平均。各数值的加权而随时间而指数式递减，越近期的数据加权越重，但较旧的数据也给予一定的加权。
而在我们上面提到的普通平均数求法，它的每一项的权值都是一样的，如果有n项，权值都为1/n。
指数加权平均的本质还可以用下图表示：
指数加权平均的结果是由当天温度值乘以指数衰减函数值，然后类和求得！