XGBoosting简单原理及参数调优

XGBoosting简单原理及参数调优

XGBoosting简单原理及参数调优

XGBoosting简单原理及参数调优

XGBoosting简单原理及参数调优

XGBoosting简单原理及参数调优

XGBoosting简单原理及参数调优

XGBoosting简单原理及参数调优

XGBoosting简单原理及参数调优

Booster参数:

1.学习率和n_estimators具有相反的关系,建议学习率设小,用交叉验证确定estimators。

XGBoosting简单原理及参数调优

XGBoosting简单原理及参数调优

XGBoosting简单原理及参数调优

XGBoosting简单原理及参数调优

XGBoosting简单原理及参数调优

XGBoosting简单原理及参数调优

XGBoosting简单原理及参数调优

XGBoosting简单原理及参数调优

XGBoosting简单原理及参数调优

XGBoosting简单原理及参数调优

XGBoosting简单原理及参数调优

XGBoosting简单原理及参数调优

XGBoosting简单原理及参数调优

随机森林与XGBoosting区别   随机森林的损失函数对树的的处理是并行的,而XGB是串行的处理。

在XGB安装完成后就可以在sklearn的调用,XGB的弱学习器是不能换的,

XGB可以实现增量学习,对与连续特征,对样本中出现的特征认为是一个分裂点,这是精确搜索。

树的数目调整直接调用CV效果比较好,其他用网格。

Futureimportance  计算每个特征的重要性,进行特征选择。