一、参数优化器简介

待优化参数w，损失函数loss，学习率Ir，每次迭代一个batch，t表示当前batch迭代的总次数：
1，计算时刻损失函数关于当前参数的梯度 $g_{t} = \frac{\partial loss}{\partial (w_{t})}$gt​=∂(wt​)∂loss​
2，计算t时刻一阶动量$m_{t}$mt​，和二阶动量$V_{t}$Vt​，
3，计算时刻下降梯度： $\eta _{t}=lr * \frac{m}{\sqrt{V}}$ηt​=lr∗V​m​
4，计算t+1时刻参数: $w_{t+1}=w_{t}-\eta_{t}=w_{t}-lr * \frac{m}{\sqrt{V}}$wt+1​=wt​−ηt​=wt​−lr∗V​m​
一阶动量：与梯度相关的函数
二阶动量：与梯度平方相关的函数
客观来说，需优化的参数仅为输入的权重w和偏置b，不需要优化输入的特征值和超参数，并且优化器之间的差异也是因一阶动量和二阶动量赋值不同而不同。下面来分别详细介绍SGD、SGDM、Adagrad、Rmsprop、Adam五种参数优化器。

二、五种参数优化器

2.1 SGD（不含momentum的梯度下降算法）

$m_{t} = g_{t}$mt​=gt​ ，$V_{t} = 1$Vt​=1
$\eta _{t}=lr * \frac{m_{t}}{\sqrt{V_{t}}} = lr * g_{t}$ηt​=lr∗Vt​​mt​​=lr∗gt​
$w_{t+1}=w_{t}-\eta_{t}=w_{t}-lr * \frac{m_{t}}{\sqrt{V_{t}}} = w_{t} - lr * g_{t}$wt+1​=wt​−ηt​=wt​−lr∗Vt​​mt​​=wt​−lr∗gt​

2.2 SGDM（含momentum的梯度下降算法，在SGD基础上增加一阶动量）

$m_{t} = \beta m_{t-1} + (1-\beta)g_{t}$mt​=βmt−1​+(1−β)gt​ ，$V_{t} = 1$Vt​=1
$\eta _{t}=lr * \frac{m_{t}}{\sqrt{V_{t}}} = lr * m_{t} = lr *[ \beta m_{t-1} + (1-\beta)g_{t}]$ηt​=lr∗Vt​​mt​​=lr∗mt​=lr∗[βmt−1​+(1−β)gt​]
$w_{t+1}=w_{t}-\eta_{t}=w_{t}-lr * \frac{m_{t}}{\sqrt{V_{t}}} = w_{t} - lr *[ \beta m_{t-1} + (1-\beta)g_{t}]$wt+1​=wt​−ηt​=wt​−lr∗Vt​​mt​​=wt​−lr∗[βmt−1​+(1−β)gt​]

注：$\beta = 0.9$β=0.9

2.3 Adagrad（在SGD基础上增加二阶动量）

$m_{t} = g_{t}$mt​=gt​ ，$V_{t} = \sum_{t=1}^{t} g_{t}^{2}$Vt​=∑t=1t​gt2​
$\eta _{t}=lr * \frac{m_{t}}{\sqrt{V_{t}}} = lr * \frac{g_{t}}{\sqrt{\sum_{t=1}^{t} g_{t}^{2}}}$ηt​=lr∗Vt​​mt​​=lr∗∑t=1t​gt2​​gt​​
$w_{t+1}=w_{t}-\eta_{t}=w_{t}-lr * \frac{m_{t}}{\sqrt{V_{t}}} = w_{t} - lr * \frac{g_{t}}{\sqrt{\sum_{t=1}^{t} g_{t}^{2}}}$wt+1​=wt​−ηt​=wt​−lr∗Vt​​mt​​=wt​−lr∗∑t=1t​gt2​​gt​​

2.4 RMSProp（在SGD基础上增加二阶动量）

$m_{t} = g_{t}$mt​=gt​ ，$V_{t} = \beta V_{t-1}+(1-\beta) g_{t}^{2}$Vt​=βVt−1​+(1−β)gt2​
$\eta _{t}=lr * \frac{m_{t}}{\sqrt{V_{t}}} = lr * \frac{g_{t}}{\sqrt{ \beta V_{t-1}+(1-\beta) g_{t}^{2}}}$ηt​=lr∗Vt​​mt​​=lr∗βVt−1​+(1−β)gt2​​gt​​
$w_{t+1}=w_{t}-\eta_{t}=w_{t}-lr * \frac{m_{t}}{\sqrt{V_{t}}} = w_{t} - lr * \frac{g_{t}}{\sqrt{ \beta V_{t-1}+(1-\beta) g_{t}^{2}}}$wt+1​=wt​−ηt​=wt​−lr∗Vt​​mt​​=wt​−lr∗βVt−1​+(1−β)gt2​​gt​​

注：$\beta = 0.9$β=0.9

2.5 Adam（同时结合SGDM一阶动量和RMSProp二阶动量）

$m_{t} = \beta_{1} m_{t-1} + (1 - \beta_{1})g_{t}$mt​=β1​mt−1​+(1−β1​)gt​ ，$V_{t} = \beta_{2} V_{t-1}+(1-\beta_{2}) g_{t}^{2}$Vt​=β2​Vt−1​+(1−β2​)gt2​
对$m_{t}$mt​和$v_{t}$vt​分别进行修正动量的偏差，改为：
$\hat{m_{t}} = \frac{m_{t}}{1-\beta_{1}^{t}}$mt​^​=1−β1t​mt​​
$\hat{V_{t}} = \frac{v_{t}}{1-\beta_{2}^{t}}$Vt​^​=1−β2t​vt​​
$\eta _{t}=lr * \frac{\hat{m_{t}} }{\sqrt{\hat{V_{t}}}}$ηt​=lr∗Vt​^​​mt​^​​
$w_{t+1}=w_{t}-\eta_{t}=w_{t}-lr * \frac{\hat{m_{t}} }{\sqrt{\hat{V_{t}}}}$wt+1​=wt​−ηt​=wt​−lr∗Vt​^​​mt​^​​

注：$\beta1 = 0.9$β1=0.9，$\beta2=0.999$β2=0.999

总结

1.当lr=0.1 epoch=500 batch=32

loss变化趋势：

acc精确度变化趋势:

训练消耗时间：

从对比图中不难看出，损失函数loss衰减趋势图，Adam优化器衰减速度更快，且精确度在epoch=100后表现较为稳定，但是训练时间比前四个都要长，但为了得到较稳定的精确度，往往会以时间换准确度。

将参数改动，变为lr=0.01 epoch=100 batch=32

loss变化趋势：

准确度变化趋势：

训练耗时：

和之前的类似，就损失函数衰减的速度和结果准确率而言，还是Adam优化器比较占优势，但是由于调整了学习率lr和迭代的次数epoch，在时间上大大减少，均在2~4秒之间。

综上所述表明，找到适合的优化模型、学习率大小和迭代次数对模型的优化至关重要。