深度学习知识点(1):有关导数、偏导数、方向导数、梯度的基本概念问题

目录

1、导数

2、偏导数

3、方向导数

4、梯度


1、导数

导数反映的是函数y=f(x)在某一点处沿x轴正方向的变化率。

深度学习知识点(1):有关导数、偏导数、方向导数、梯度的基本概念问题

比如深度学习知识点(1):有关导数、偏导数、方向导数、梯度的基本概念问题,在x=1处的导数是2。

导数是通过极限来定义的,某一点的导数=tanψ,只是前提是△x趋近于0,此时tanψ=tanα=该点导数,公式如下:

深度学习知识点(1):有关导数、偏导数、方向导数、梯度的基本概念问题

 深度学习知识点(1):有关导数、偏导数、方向导数、梯度的基本概念问题

注:下图是高数中的一张经典图,用于区分导数微分的概念,基本看着这张图就能全部想起来。

 

深度学习知识点(1):有关导数、偏导数、方向导数、梯度的基本概念问题

解释一下,是函数f(x)在x轴上某一点处沿着x轴正方向的变化率/变化趋势。直观地看,也就是在x轴上某一点处,如果f’(x)>0,说明f(x)的函数值在x点沿x轴正方向是趋于增加的;如果f’(x)<0,说明f(x)的函数值在x点沿x轴正方向是趋于减少的。

 这里补充上图中的Δy、dy等符号的意义及关系如下:
 Δx:x的变化量;
 dx:x的变化量Δx趋于0时,则记作微元dx;
 Δy:Δy=f(x0+Δx)-f(x0),是函数的增量;
 dy:dy=f’(x0)dx,是切线的增量;
 当Δx→0时,dy与Δy都是无穷小,dy是Δy的主部,即Δy=dy+o(Δx).
 

2、偏导数

在多元函数中,偏导数指的是函数y(x1,x2,…,xn)沿某一坐标轴(x1,x2,…,xn)正方向的变化率。

 深度学习知识点(1):有关导数、偏导数、方向导数、梯度的基本概念问题

比如深度学习知识点(1):有关导数、偏导数、方向导数、梯度的基本概念问题,在(1,2)处的在x方向上的偏导数:深度学习知识点(1):有关导数、偏导数、方向导数、梯度的基本概念问题

深度学习知识点(1):有关导数、偏导数、方向导数、梯度的基本概念问题

截取y=2的曲线,可以发现在x方向的导数=2

深度学习知识点(1):有关导数、偏导数、方向导数、梯度的基本概念问题

3、方向导数

导数和偏导数都是沿坐标轴正方向的变化率。那么当我们讨论函数沿任意方向的变化率时,也就引出了方向导数的定义,即:某一点在某一趋近方向上的导数值。

深度学习知识点(1):有关导数、偏导数、方向导数、梯度的基本概念问题

深度学习知识点(1):有关导数、偏导数、方向导数、梯度的基本概念问题

比如,可以计算函数在点A(2,2,8)处沿黑色箭头方向的导数。这里有两种计算方式:

方式1:

深度学习知识点(1):有关导数、偏导数、方向导数、梯度的基本概念问题

方式2:

与x=y联立方程组,得到过点A的剖面

深度学习知识点(1):有关导数、偏导数、方向导数、梯度的基本概念问题

易知,剖面方程为z=2x2,以z为纵轴,x坐标轴方向换为L的方向,得到

深度学习知识点(1):有关导数、偏导数、方向导数、梯度的基本概念问题

深度学习知识点(1):有关导数、偏导数、方向导数、梯度的基本概念问题

点A(2,2,8)在x’方向上的坐标为深度学习知识点(1):有关导数、偏导数、方向导数、梯度的基本概念问题,因此在A点处沿L方向的导数为深度学习知识点(1):有关导数、偏导数、方向导数、梯度的基本概念问题

4、梯度

梯度是一个向量,表示某一函数在该点处的方向导数沿着该方向取得最大值,即函数在该点处沿着该方向(此梯度的方向)变化最快,变化率最大(为该梯度的模)。

深度学习知识点(1):有关导数、偏导数、方向导数、梯度的基本概念问题

这里注意三点: 
1)梯度是一个向量,即有方向有大小; 
2)梯度的方向是最大方向导数的方向; 
3)梯度的值是最大方向导数的值。

深度学习知识点(1):有关导数、偏导数、方向导数、梯度的基本概念问题

比如z=x2+y2+xy在点A(2,2,12)处的梯度为

深度学习知识点(1):有关导数、偏导数、方向导数、梯度的基本概念问题

如图,在A点,红色方向是最大方向导数的方向,很明显红线方向的导数高于沿着黑线方向的导数。

那么A点的梯度方向是红色方向;A点的梯度值为深度学习知识点(1):有关导数、偏导数、方向导数、梯度的基本概念问题

参考资料:

https://blog.csdn.net/walilk/article/details/50978864

https://www.cnblogs.com/itmorn/p/11115791.html