您的位置: 首页 > 文章 > 机器学习之GD、SGD 机器学习之GD、SGD 分类: 文章 • 2024-11-11 20:17:40 机器学习之GD、SGD 1. 梯度下降法 GD 2. 随机梯度下降法 SGD 1. 梯度下降法 GD 2. 随机梯度下降法 SGD SGD和之前的GD区别在于，GD是对函数进行求导，对整个训练集每个样本来计算，但是SGD则是对一个或者多个样本来操作，例如有10000个样本，但每次只对100个或1000个来计算梯度，从而更新参数； SGD存在一个弊端：因为求得的梯度不是严格的梯度，可能会使得结果变差，但在工程应用里效果却很好。 参考：机器学习入门（8）：梯度下降法
