神经网络的优化（2）---- 滑动平均 ema

点击此处返回总目录

这一节分享另一个优化方法：滑动平均。有些书里把它叫做“影子值”。滑动平均记录了每个参数一段时间内过往值的平均。由于滑动平均值不仅表现了当前值，还表现了过去一段时间内的平均值，这样可以增加模型的泛化性。

滑动平均通常针对所有参数进行优化，包括所有的w和b。

滑动平均的感觉就好比给参数加了个影子，参数变化，影子缓慢追随。

滑动平均值是这样计算的：

神经网络的优化（2）---- 滑动平均 ema

影子等于衰减率乘以影子，加上(1-衰减率)乘以参数。衰减率等于MOVING_AVERAGE_DECAY与(1+轮数)/(10+轮数)中小的那一个。

其中滑动平均衰减率MOVING_AVERAGE_DECAY是一个超参数。影子的初值等于参数的初值。

我们来看这个例子：

神经网络的优化（2）---- 滑动平均 ema

衰减率的第一个参数MOVING_AVERAGE_DECAY是个超参数，一般会给一个比较大的值，比如0.99。参数w1在初始化时赋值为0。轮数global_step定义为0。由于影子的初值等于参数初值，所以w1的滑动平均值初值也为0。

当参数w1被更新时，比如更新为1时，影子会慢慢追随。通过计算，w1的滑动平均值=min{0.99,(1+0)/(10+0)} * 0 + (1-min{0.99,(1+0)/(10+0)})*1=0.1*0 + 0.9*1 = 0.9

当100轮，参数更新为10时。w1的滑动平均值=1.644

再次运行时，w1的滑动平均值为2.328

再次运行时，为2.956

可见，滑动平均像影子一样，缓慢追随者参数变化。

在TensorFlow里，我们用这样三句话描述滑动平均：

神经网络的优化（2）---- 滑动平均 ema

第一句话：ema=tf.train.ExponentialMovingAverage(MOVING_AVERAGE_DECAY, global_step)。有两个参数，第一个参数是滑动平均衰减率，是个超参数，一般会给一个比较大的值。第二个参数是当前轮数，和其他程序公用一个轮数计数器global_step。

第二句话：ema.apply([]) 定义了对括号里列出的参数求滑动平均。我们在实际应用中，会写ema.apply(tf.trainable_variables())。用tf.trainable_variable()函数可以自动把所有待训练的参数汇总成列表。

第三句话是：with...这句话。在工程应用中，我们常把计算滑动平均ema_op和训练过程train_step绑定在一起运行，使他们合成一个训练节点。用train_op = tf.no_op(name='train') 这句话实现。我们在下节手写识别的应用中，会用到这个功能。

用ema.average()可以返回某些参数的滑动平均值。

神经网络的优化（2）---- 滑动平均 ema

我们通过代码实现一下：

#coding:utf-8
import tensorflow as tf

#定义变量及滑动平均类

w1=tf.Variable(0,dtype=tf.float32) #初值为0.0。这个代码就是不断更新w1参数，优化w1参数，滑动平均做了w1的影子
global_step = tf.Variable(0,trainable=False) #迭代轮数，初值为0，不可被优化（训练）
MOVING_AVERAGE_DECAY = 0.99

ema = tf.train.ExponentialMovingAverage(MOVING_AVERAGE_DECAY,global_step) #第一句

ema_op = ema.apply(tf.trainable_variables()) #第二句。每次运行ema_op时，对所有参数求滑动平均

with tf.Session() as sess:
init_op = tf.global_variables_initializer()
sess.run(init_op)
print(sess.run([w1,ema.average(w1)])) #打印出当前参数和滑动平均。

sess.run(tf.assign(w1,1)) #人为模拟参数更新。参数w1的值赋为1
sess.run(ema_op)
print(sess.run([w1,ema.average(w1)]))

sess.run(tf.assign(global_step,100)) #人为修改轮数。
sess.run(tf.assign(w1,10))   #人为修改参数。
sess.run(ema_op)
print(sess.run([w1,ema.average(w1)]))

sess.run(ema_op) #多执行几次，可以看到缓慢跟随。
print(sess.run([w1,ema.average(w1)]))

sess.run(ema_op)
print(sess.run([w1,ema.average(w1)]))

sess.run(ema_op)
print(sess.run([w1,ema.average(w1)]))

运行结果：

[0.0, 0.0] #刚开始时的值。
[1.0, 0.9] #参数更新为1时
[10.0, 1.6445453] #100轮的时候
[10.0, 2.3281732] #继续执行
[10.0, 2.955868]
[10.0, 3.532206]

可以看到滑动平均值追随参数变化的过程。

神经网络的优化（2）---- 滑动平均 ema

相关推荐