机器学习 -- 梯度下降法(Ⅳ 多元线性回归中的梯度下降法)

之前都使用二次曲线作为损失函数进行梯度下降法过程的模拟。本次将梯度下降法应用在多元线性回归中。

由于多元线性回归中θ 为一组向量,故将J对θ求导变为J对θ向量分别求偏导。

机器学习 -- 梯度下降法(Ⅳ 多元线性回归中的梯度下降法)

目标:

机器学习 -- 梯度下降法(Ⅳ 多元线性回归中的梯度下降法)

根据上式发现:计算出的梯度大小与样本数量有关,若样本数量越大则梯度越大。(不合理)

要使每个梯度求出来的值与m无关,故我们将整个梯度值除以m。

机器学习 -- 梯度下降法(Ⅳ 多元线性回归中的梯度下降法)