【caffe】SGD模式调参概念理解
1、SGD概念理解？
批量随机梯度下降，对小批量数据进行梯度计算，均值作为运动方向和幅度：
2、caffe设置SGD的方法是什么？对应的公式是什么？
caffe的是通过solver.prototxt来传递参数的，如下图所示：
具体的公式在alexnet论文里面给出的很形象，如下图所示：3. momentum和decay的意义分别是什么？
momentum：动量操作，就是以上一次的运动为依据，避免错误的方向，导致陷入局部最优。
decay：正在化操作，避免过拟合。