GBDT与XGBoost
分类:
文章
•
2024-11-06 20:24:40
GBDT与XGBoost
- 介绍过梯度下降法与牛顿法，
- GBDT与XGBoost就与这两种方法有关
- boosting(GBDT、XGBoost)是一个加法模型
- 可解释性强
- 可处理混合类型特征
- 具体伸缩不变性（不用归一化特征）
- 有特征组合的作用
- 可自然地处理缺失值
- 对异常点鲁棒
- 有特征选择作用
- 可扩展性强，容易并行
缺点：
- 缺乏平滑性（回归预测时输出值只能输出有限的若干种数值）
- 不适合处理高维稀疏数据
一、GBDT
- 泛指所有梯度提升树算法，
- XGBoost，是GBDT的一种变种，
- 为区分，
- GBDT一般特指“Greedy Function Approximation：A Gradient Boosting Machine”里提出的算法，
- 只用了一阶导数信息。
- GBDT是在函数空间上利用梯度下降优化
- GBDT是多个弱分类器合成强分类器的过程(加权求和)，
- 每次迭代产生一个弱分类器，
- 当前弱分类器是在之前分类器残差基础上训练。
- 目标：损失函数尽可能快减小，
- 则让损失函数沿着梯度方向下降。
- –> gbdt 的gb的核心了。
canci
