Deep learning II - II Optimization algorithms - Exponentially weighted averages 指数加权平均

Exponentially weighted averages 指数加权平均

指数加权平均指的是通过综合当前点之前的数据和该点数据，通过调整加权值，来得到需要的值的技术。

• 当β$\beta$接近于1时（0.98），当前点的值Vt$V_t$更加依赖于之前的数值Vt−1$V_{t-1}$而不是θt${\theta }_t$，因此曲线会更光滑，并产生延迟（如绿色曲线）
• 当β$\beta$远小于1时，当前点的值Vt$V_t$更加依赖于θt${\theta }_t$而不是之前的数值Vt−1$V_{t-1}$，因此曲线会震荡的厉害，接近于原图像（如黄色曲线）
• 上述公式可以看成是Vt$V_t$是其之前11−βdays$\frac{1}{1-\beta }days$的均值（当β=0.9$\beta =0.9$时，通过展开式V100=0.1θ100+0.1×0.9θ99+0.1×0.92θ98+0.1×0.93θ97+⋯+0.1×0.999θ1$V_{100}=0.1{\theta }_{100}+0.1\times 0.9{\theta }_{99}+0.1\times {0.9}^2{\theta }_{98}+0.1\times {0.9}^3{\theta }_{97}+\cdots +0.1\times {0.9}^{99}{\theta }_1$，当βx≈1e${\beta }^x\approx \frac{1}{e}$时，认为到了临界值。所以当β=0.98$\beta =0.98$时，相当于50天的均值。

• 当使用上述公式Vt=βVt−1+(1−β)θt$V_t=\beta V_{t-1}+(1-\beta ){\theta }_t$时，我们得到曲线并不是与绿色曲线完全一样，会得到如下图紫色曲线。为了消除这种变差，可以使用Vt1−βt$\frac{V_t}{1-{\beta }^t}$代替Vt$V_t$。