Tensorflow optimizer源码解读配合文章写优化器

以下链接给了重要参考!
https://zhuanlan.zhihu.com/p/63500952
记录一下过程中的难点

  1. 首先这些优化词都是继承自父类optimizer.py
    (D:\anaconda3\envs\tsor_gpu1.9\Lib\site-packages\tensorflow\python\training\optimizer.py
  2. 自定义优化器中需要重写overrides一些方法
  3. get_slot()这个api疑惑了很久,就是自定义或者给的优化器比如说Adam中需要给变量或者可迭代的变量创建一个名字为‘name’的slot,可以理解为参数,准确说应该是在这个优化器中需要的中间参数。
  4. 现在还不太懂的是,这些重写的方法在哪儿被调用,又是怎么确定需要重写的方法的。哪些方法只需要继承就行。
  5. Tensorflow optimizer源码解读配合文章写优化器
  6. Tensorflow optimizer源码解读配合文章写优化器
  7. Tensorflow optimizer源码解读配合文章写优化器
  8. Tensorflow optimizer源码解读配合文章写优化器
  9. 关于文中的新优化器算法,明日再看看,试试改改