GBDT模型
什么是gbdt?
利用损失函数的负梯度在当前模型的值
作为回归问题提升树算法中的残差的近似值,拟合一个回归树。
残差与负梯度的关系
当损失函数为平方差损失函数时,残差和负梯度相等,当损失函数为一般损失函数时,负梯度不等于残差。
为什么要考虑一般损失函数?
因为平方差损失函数优点明显就是容易计算,缺点也很明显,它容易受到异常值的影响,对异常值敏感。容易造成过拟合。
梯度提升算法
(3)得到回归树
算法第一步初始化,估计使损失函数极小化的常数值,它是只有一个根节点的树。第二步:计算损失函数的负梯度在当前模型的值,将它作为残差的估计,估计回归树叶结点区域,以拟合残差的近似值,利用线性搜索估计叶结点区域的值,使损失函数极小化。更新回归树,最后输出得到的最终模型fhat(x).