【机器学习】集成算法——Boosting中的AdaBoost算法原理及sklearn应用
(写在前面:集成算法中基评估器可以是分类模型也可以是回归模型,因为个人习惯称基评估器为弱分类器,全文的弱分类器其实是指基评估器,而写基评估器就是基评估器,写到后面才发现这点不太严谨,后面逐步更改。另外要注意:随机森林的基评估器必定是决策树,可以是回归树也可以是分类树。XGBoost属于GBDT中的范畴,GBDT属于Boosting,Boosting的基评估器可以是回归和分类模型,而GBDT基评估器一定是回归模型,但GBDT模型虽然基是回归,但仍然可以解决分类问题,sigmoid函数)
Boosting的核心思想在上一篇博文中提过,基是有序提升的,我们这篇主要讲AdaBoost的应用,未来会再开一篇讲XGBoost,这个比较难,耗尽发丝……