优化器（一）
优化器（一）
- 先由损失函数模块得出模型输出和标签之间的差异的loss值
- 再利用AutoGrad自动求导模块求到模型中学习参数（权值、偏置）的梯度
- 最后优化器拿到这个梯度，采取一系列策略，更新模型的学习参数，使得Loss值下降
很多人对方向导数有困惑，特别和梯度一起讲，就懵b了
方向导数不还是导数嘛，指的还是变化率
在一维空间，方向导数就是导数，在二维空间，方向导数就是二维向量，在三维空间，方向导数就是三维向量，方向的个数是由在几维空间决定的。其模长就是变化率。
对于初学者，方向导数的方向根本不重要，看都不要看的，完全可以把方向导数看成导数，一个很简单的技巧就是，既然你已经习惯了一维的导数，那每一次你看方向导数的模长就行了。到后面自然而然就了解了什么是方向导数。
梯度是什么？（就是方向导数）
梯度本身是一个向量，既然是向量，就有两个概念，一是方向、二是模长。方向就是方向导数取得最大值的方向，就是变化率最大方向，模长就是方向导数的值。
由此可见，梯度就是无数方向导数中最靓的仔（在某个定义域值，方向导数值取得最大值，的方向导数）