有关机器学习的梯度下降算法
梯度下降算法是一个一阶最优化算法，通常也称为最速下降算法。
要使用梯度下降算法寻找局部最小值，必须向函数上当前点对应梯度的反方向进行迭代搜索。相反地向函数正方向迭代搜索，则会接近函数的局部最大值，这个过程被称为梯度上升法。
梯度下降算法基于以下的观察：如果实值函数F(x)在点a处可微且有定义，那么函数F(x)在点a沿着梯度相反地方向-∇F(a)下降最快。
因而，如果
对于r>0为一个够小数值时成立，那么F(a)≥F(b)。
梯度下降算法是一个一阶最优化算法，通常也称为最速下降算法。
要使用梯度下降算法寻找局部最小值，必须向函数上当前点对应梯度的反方向进行迭代搜索。相反地向函数正方向迭代搜索，则会接近函数的局部最大值，这个过程被称为梯度上升法。
梯度下降算法基于以下的观察：如果实值函数F(x)在点a处可微且有定义，那么函数F(x)在点a沿着梯度相反地方向-∇F(a)下降最快。
因而，如果
对于r>0为一个够小数值时成立，那么F(a)≥F(b)。