一起学西瓜书08集成学习

(一)个体与集成

下面的图是集成学习的大概流程
这里的一个个个体学习器就相当于不同的机器学习算法
比如我们之前学的贝叶斯分类器,神经网络,决策树,集成学习就是把这些不同的算法结合起来
也就是将一个个 个体学习器结合起来最后输出

那么集成学习有什么好处呢?

下面就看一个简单的二分类例子 只有 对和错两种情况 ,并且集群的结果遵循少数服从多数的原则

在上图中, 集群随着个体的变化有着三种不同的结果,这告诉我们集成中的个体分类器应该好而不同
二分类问题


上面的公式可能有点难理解,这里用一个简单的案例来说明

注: 因为我们计算的准确率是 结果正确的概率,以三个模型为例,我们只要计算三种子模型全对,2对1错这两种情况就好了,其他的情况都是错误的结果
从上图的结果来看看,随着集成分类器数目的增加,集成的错误率将指数级下降,最后趋向于0

细心的同学可能会发现,之前假设是建立在个体学习器的误差相互独立的基础上的
然而在现实中这是不可能的 ,那么该如何应对呢

下面就是集成学习大致可以分成的两类了,细节将会在后面的文章里介绍