一，TensorFlow中提供了如下的对的优化器：

tf.train.Optimizer
tf.train.GradientDescentOptimizer
tf.train.AdadeltaOptimizer
tf.train.AdagtadOptimizer
tf.train.AdagradDAOptimizer
tf.train.MomentumOptimizer
tf.train.AdamOptimizer
tf.train.FtrlOptimizer
tf.train.ProximalGradientDescentOptimizer
tf.train.ProximalAdagradOptimizer
tf.train.RMSProOptimizer

二，比较

这里我们挑几个常用的算法来讲解，那么他们几个的收敛速度比较快呢？请看下图：

观察图中我们发现：

• SGD随机梯度下降算法收敛的速度是最慢的；
• Adadelta收敛得速度是最快的；
• Momentum所走的路程是最远的，会冲出最低点

 我们再来看看在马鞍型数据下，它们各自的表现又如何呢：

三，重点介绍三种常用优化器

1. tf.train.GradientDescentOptimizer（梯度下降算法）

 2. tf.train.MomentumOptimizer（动量梯度下降算法 ）

 3.  tf.train.AdamOptimizer（Adam优化算法）

 

改天再细写，今天没时间了

 

欢迎扫码关注我的微信公众号