caffe：debug之参数更新过程（接上篇反向传播）
随后便要根据后向传播中得到得diff更新权重和偏置
ApplyUpdate（位于sgd_solver.cpp）
上图便为update函数，可见，参数学习得步骤为：得到学习率，正则化梯度后
归一化，正则化，然后更新数据。
首先来看GetLearningRate() (sgd_solver.cpp)
函数封装了各种样式的学习率衰减方式
继续往下
笔者猜测本例为是否使用L2正则化梯度，本例中不需正则化，所以直接return
随后便是Normalize
然后进入Regularize，此处是L2
随后便是计算更新的参数