XGBoosting简单原理及参数调优
Booster参数:
1.学习率和n_estimators具有相反的关系,建议学习率设小,用交叉验证确定estimators。
随机森林与XGBoosting区别 随机森林的损失函数对树的的处理是并行的,而XGB是串行的处理。
在XGB安装完成后就可以在sklearn的调用,XGB的弱学习器是不能换的,
XGB可以实现增量学习,对与连续特征,对样本中出现的特征认为是一个分裂点,这是精确搜索。
树的数目调整直接调用CV效果比较好,其他用网格。
Futureimportance 计算每个特征的重要性,进行特征选择。