为什么梯度方向是函数值增大最快的方向
Welcome To My Blog
梯度下降中,梯度反方向是函数值下降最快的方向,说明梯度方向是函数值上升最快的方向.
下面给出说明,基础好的可以直接看最后一部分:沿梯度方向函数值增大最快
无穷小量
定理
高阶无穷小
引出微分
微分
全微分
方向导数
定义:
方向导数实际上是函数f在x_0处沿l方向关于距离t的变化率
方向导数的几何意义,f(x,y)在x_0处有唯一的切线,该点关于l方向的斜率就是方向导数.
在方向导数中,一种特别重要的情形是沿着坐标轴正向的方向导数,这就是偏导数
偏导数
定义:
梯度
定义:
梯度就是个向量
可微的必要条件
沿梯度方向函数值增大最快
在x0处沿某一方向的方向导数反映了:在x0的邻域内沿着这个方向,函数值能增大多少或者能减小多少
将上述f在(x0,y0)处沿任意方向l的方向导数结果写成向量的内积形式
所以在x0处沿着梯度方向能使f在该点处的方向导数最大,也就是在x0的邻域内沿着这个方向,函数值增长最快;同理沿着负梯度方向,函数值减小最快
参考:
王绵森,工科数学分析基础上下册
转自: https://blog.****.net/littlehaes/article/details/79767107
Welcome To My Blog
梯度下降中,梯度反方向是函数值下降最快的方向,说明梯度方向是函数值上升最快的方向.
下面给出说明,基础好的可以直接看最后一部分:沿梯度方向函数值增大最快
无穷小量
定理
高阶无穷小
引出微分
微分
全微分
方向导数
定义:
方向导数实际上是函数f在x_0处沿l方向关于距离t的变化率
方向导数的几何意义,f(x,y)在x_0处有唯一的切线,该点关于l方向的斜率就是方向导数.
在方向导数中,一种特别重要的情形是沿着坐标轴正向的方向导数,这就是偏导数
偏导数
定义:
梯度
定义:
梯度就是个向量
可微的必要条件
沿梯度方向函数值增大最快
在x0处沿某一方向的方向导数反映了:在x0的邻域内沿着这个方向,函数值能增大多少或者能减小多少
将上述f在(x0,y0)处沿任意方向l的方向导数结果写成向量的内积形式
所以在x0处沿着梯度方向能使f在该点处的方向导数最大,也就是在x0的邻域内沿着这个方向,函数值增长最快;同理沿着负梯度方向,函数值减小最快
参考:
王绵森,工科数学分析基础上下册