为什么梯度是上升方向，梯度下降要取负？

讨论

  这个问题是很容易忽略，也就一个负号的问题，大多是记下来，但是确实也一个搞不懂的问题。

方向导数

简单说明方向导数，毕竟梯度与方向导数是有关系的。
  上图 $l$l 对$x$x,$y$y的偏导，分别在$x$x和$y$y的方向上，两偏导线垂直映射到绿色线方向上，再求和就是绿色线向量长度；
  $θ=0$θ=0时，也就是绿色线和灰色线重合，也就是梯度方向上的最大方向导数。

梯度方向为何是上升方向

这个示例函数是$f(x)=(x-2)^2+2$f(x)=(x−2)2+2
在（1，3）位置的梯度为-2<0，梯度方向为x轴的负方向，上升
在（3，3）位置的梯度为2>0,梯度方向为x轴正方向，上升

推导：
设$f(x)$f(x)有一阶导：
$\frac{f(x+\Delta x)-f(x)}{\Delta x}\approx f'(x)$Δxf(x+Δx)−f(x)​≈f′(x)

• $如果f'(x)>0,在\Delta x邻域半径内单调上升,梯度方向取x的正方向，函数梯度上升$如果f′(x)>0,在Δx邻域半径内单调上升,梯度方向取x的正方向，函数梯度上升

• $如果f'(x)<0,在\Delta x邻域半径内单调下降,梯度方向取x的负方向，函数梯度上升$如果f′(x)<0,在Δx邻域半径内单调下降,梯度方向取x的负方向，函数梯度上升

注意，函数可以扩展到多维，所以梯度下降取负。