机器学习技法笔记8：adaptive boosting（Adaboost）

8-1 Motivation of Boosting（提升的目的）

上节课我们主要开始介绍Aggregation Models，目的是将不同的hypothesis 得到的gt集合起来，利用集体智慧得到更好的预测模型G。首先我们介绍了 Blending，blending是将已存在的所有gt结合起来，可以是uniformly， linearly，或者non-linearly组合形式。然后，我们讨论了在没有那么多gtgt 的情况下，使用bootstrap方式，从已有数据集中得到新的类似的数据集，从 而得到不同的gt。这种做法称为bagging。本节课将继续从这些概念出发，介 绍一种新的演算法
1、 我们先来看一个简单的识别苹果的例子，老师展示20张图片，让6岁孩子们 通过观察，判断其中哪些图片的内容是苹果。从判断的过程中推导如何解决二 元分类问题的方法。 显然这是一个监督式学习，20张图片包括它的标签都是已知的，苹果x以及对 应的标签y（是否为苹果）均为已知的。 首先，学生Michael回答说：所有的苹果应该是圆形的。根据Michael的判 断，对应到20张图片中去，大部分苹果能被识别出来，但也有错误。其中错 误包括有的苹果不是圆形，而且圆形的水果也不一定是苹果。如下图所示：

8-2 Diversity by Re-weighting

1、 在介绍这个演算法之前，我们先来讲一下上节课就介绍过的bagging

8-3 Adaptive Boosting Algorithm

1、 Adaptive Boosting Algorithm(自适应提升方法) 在上一节中，我们学习到了：

8-4 Adaptive Boosting in Action

1、 上一小节我们已经介绍了选择一个“弱弱”的算法A（ϵt≤ϵ<1/2，比乱猜好就 行），就能经过多次迭代得到Ein=0。我们称这种形式为decision stump模 型。

总结

本节课主要介绍了Adaptive Boosting。首先通过讲一个老师教小学生识别苹 果的例子，来引入Boosting的思想，即把许多“弱弱”的hypotheses合并 起来，变成很强的预测模型。然后重点介绍这种算法如何实现，关键在于每次 迭代时，给予样本不同的系数u，宗旨是放大错误样本，缩小正确样本，得到 不同的小矩g。并且在每次迭代时根据错误ϵ值的大小，给予不同gt不同的权 重。最终由不同的gtgt进行组合得到整体的预测模型G。实际证明， Adaptive Boosting能够得到有效的预测模型。