神经网络 梯度下降算法/delta规则

1、梯度下降算法定义(gradient descent)(摘自百度百科)

      梯度下降算法是一种最优化算法,通常用于非线性可分的数据集。最速下降法是用负梯度方向为搜索方向的,最速下降法越接近目标值,步长越小,前进越慢。

神经网络 梯度下降算法/delta规则


2、梯度下降算法的核心是微积分,通过迭代以下步骤来获取局部最小值,主要求解过程如下:

神经网络 梯度下降算法/delta规则


3、深入梯度下降的讲解,我觉得这篇讲得非常详细,很值得学习。

http://www.cnblogs.com/ooon/p/4947688.html