集成学习(Ensemble Learning)—boosting(提升法)
Boosting 提升法
1. boosting是一个迭代的过程,用于自适应地改变训练样本的分布,使得基分类器聚焦在那些很难分的样本上。
2. boosting会给每一训练样本赋予一个权值,而且可以在每轮提升过程结束时自动地调整权值。开始时,所有的样本都赋予相同的权值1/n,从而使得它们被选作训练的可能性都是一样的。根据训练样本的抽样分布来抽取样本,得到新的样本集。然后,由该训练集归纳一个分类器,并用它对原始数据集中的所有样本进行分类。每轮提升结束时,更新训练集样本的权值。增加被错误分类的样本的权值,减小被正确分类的样本的权值,这使得分类器在随后的迭代中关注那些很难分类的样本,