方向导数与梯度
方向导数是一个值，梯度是一个向量。
方向导数
顾名思义，方向导数就是某个方向上的导数。
这里的方向什么是方向？
这个方向是在二维的xy平面上的，而不是三维空间上的方向
函数在这个方向上的图像：
我们知道：
函数 的
点在这个方向上也是有切线的，其切线的斜率就是方向导数：
梯度
很显然， 点不止一个方向，而是
都有方向：
每个方向都是有方向导数的：
这就引出了梯度的定义：
梯度：是一个矢量，其方向上的方向导数最大，其大小正好是此最大方向导数。
以上转载自：https://www.matongxue.com/madocs/222.html，这个文章里面有3D可拖动的图，更便于理解。
同济高等数学下册教材里面的关于方向导数与梯度的内容如下：
关于梯度下降法参考下面的文章
深入浅出--梯度下降法及其实现：https://www.jianshu.com/p/c7e642877b0e