9.3梯度下降方法

1. 梯度下降方法
2. 例子

梯度下降方法

用负梯度做搜索方向，即令，这种下降方法称为梯度下降方法：

给定初始点

重复进行

1. 
2. 直线搜索：通过精确或回溯直线搜索方法确定步长t
3. 修改：

直到满足停止条件

停止准则通常取为：，其中是小正数。一般情况下步骤１１完成后就检验停止条件而不是在修改后才检验。

例子

空间的二次问题

考虑上的二次目标函数：，显然最优点是。f的海瑟矩阵是常熟，其特征值是１和，因此起所有下水平集的条件数为

采用精确线性搜索，初始点为，迭代过程中每个点的表达式写成：

下图是时，精确线性搜索方法的迭代过程，其中虚线是等值线。

空间的非二次型问题

上图分别是该问题的回溯搜索方法和精确搜索方法的迭代过程。可以看出精确搜索方法的收敛速度大约是回溯收敛方法的两倍。

空间的一个问题

上图是分别采用回溯直线搜索和精确直线搜索的梯度优化方法所产生的误差和迭代次数之间的关系

梯度方法和条件数的结论

书上给出了一些结论

1. 梯度方法通常呈现近似线性收敛性质
2. 回溯参数的取值对收敛性有明显的影响，但不会产生戏剧性的效果。精确搜索方法有时可以改善梯度方法的收敛性，胆效果不是很大。
3. 收敛速度强烈以来与海瑟矩阵或下水平集的条件数。及时问题的条件数不是太坏，收敛速度也可能很慢，如果条件数很大，梯度方法已经慢的失去实用价值。