2.2.5 Adam优化算法
Adam优化算法
Adam算法的全称是Adaptive Moment Estimation
Adam算法基本上是momentum算法和RMSprop算法的结合。我们下面介绍一下这个算法
算法如图所示，注意图中表示的是偏差修正。
这个算法中有许多的超参数，那么该如何选择超参数呢？
如图所示，学习率是我们需要调整的参数。是momentum的超参数，一般设置为0.9。的话Adam算法的发明者推荐使用0.999。这里的数一般设置成这个就挺好的了，业内人士很少去改变关于的参数。还有也是如此。