您的位置: 首页  >  文章  >  机器学习提升算法(XGBoost Anaboost GBGT)

机器学习提升算法(XGBoost Anaboost GBGT)

分类: 文章 • 2024-08-14 22:02:10

1. 提升算法产生背景

  • 假设当前一定得到了m-1棵决策树,是否可以通过现有样本和决策树信息,对第m棵决策树的建立产生有益影响?
  • 各个决策树组成随机森林后,最后的投票过程是否在建立决策树时即确定呢?

2. 提升的概念

  • 提升可以用于回归和分类问题,每一步产生一个弱预测模型(如决策树),并加权累加到总模型中,如果每一步的弱预测模型生成都是依据损失函数梯度方向,则称之为梯度提升
  • 梯度提升算法是献给一个目标损失函数,它的定义域是所有可行的弱函数集合,提升算法通过迭代的选择一个负梯度方向上的基函数来逐渐逼近局部极小值
  • 提升的理论意义:如果一个问题存在弱分类器,则可通过提升算法得到强分类器

3. 提升的概念

机器学习提升算法(XGBoost Anaboost GBGT)
机器学习提升算法(XGBoost Anaboost GBGT)
机器学习提升算法(XGBoost Anaboost GBGT)
机器学习提升算法(XGBoost Anaboost GBGT)

机器学习提升算法(XGBoost Anaboost GBGT)

4. 梯度提升决策树GBDT

机器学习提升算法(XGBoost Anaboost GBGT)
机器学习提升算法(XGBoost Anaboost GBGT)

5. 参数设置和正则化

机器学习提升算法(XGBoost Anaboost GBGT)
机器学习提升算法(XGBoost Anaboost GBGT)
机器学习提升算法(XGBoost Anaboost GBGT)
机器学习提升算法(XGBoost Anaboost GBGT)

6. 正则项定义

机器学习提升算法(XGBoost Anaboost GBGT)
机器学习提升算法(XGBoost Anaboost GBGT)
机器学习提升算法(XGBoost Anaboost GBGT)
机器学习提升算法(XGBoost Anaboost GBGT)
机器学习提升算法(XGBoost Anaboost GBGT)
机器学习提升算法(XGBoost Anaboost GBGT)
机器学习提升算法(XGBoost Anaboost GBGT)

相关推荐