您的位置: 首页  >  文章  >  集成学习

集成学习

分类: 文章 • 2025-02-14 23:21:39

1.bagging与boosting区别

  1. 样本选择上：Bagging采用的是Bootstrap随机有放回抽样；而Boosting每一轮的训练集是不变的，改变的只是每一个样本的权重。
  2. 样本权重：Bagging使用的是均匀取样，每个样本权重相等；Boosting根据错误率调整样本权重，错误率越大的样本权重越大。
  3. 预测函数：Bagging所有的预测函数的权重相等；Boosting中误差越小的预测函数其权重越大。
  4. 并行计算：Bagging各个预测函数可以并行生成；Boosting各个预测函数必须按顺序迭代生成

2.什么是袋外数据(Out Of Bag, 简称OOB)？

对于一个样本，它在某一次含m个样本的训练集的随机采样中，每次被采集到的概率是1/m。不被采集到的概率为1−1/m。如果m次采样都没有被采集中的概率是(1−1/m)m。当m→∞时，(1−1/m)m→1/e≃0.368。

也就是说，在bagging的每轮随机采样中，训练集中大约有36.8%的数据没有被采样集采集中，最终使用的数据约为63.2%。

对于这部分大约36.8%的没有被采样到的数据，我们常常称之为袋外数据(Out Of Bag, 简称OOB)。这些数据没有参与训练集模型的拟合，因此可以用来检测模型的泛化能力。

3、随机森林原理：

Random Forest（随机森林）是Bagging的扩展变体，它在以决策树 为基学习器构建Bagging集成的基础上，进一步在决策树的训练过程中引入了随机特征选择，

因此可以概括RF包括四个部分：1、随机选择样本（放回抽样）；2、随机选择特征；3、构建决策树；4、随机森林投票（平均）。

随机选择样本和Bagging相同，随机选择特征是指在树的构建中，会从样本集的特征集合中随机选择部分特征，然后再从这个子集中选择最优的属 性用于划分，这种随机性导致随机森林的偏差会有稍微的增加（相比于单棵不随机树），但是由于随机森林的‘平均’特性，会使得它的方差减小，而且方差的减小补偿了偏差的增大，因此总体而言是更好的模型。

在构建决策树的时候，RF的每棵决策树都最大可能的进行生长而不进行剪枝；在对预测输出进行结合时，RF通常对分类问题使用简单投票法，回归任务使用简单平均法。

4、RF和Bagging对比：

RF的起始性能较差，特别当只有一个基学习器时，随着学习器数目增多，随机森林通常会收敛到更低的泛化误差。

随机森林的训练效率也会高于Bagging，因为在单个决策树的构建中，Bagging使用的是‘确定性’决策树，在选择特征划分结点时，要对所有的特征进行考虑，而随机森林使用的是‘随机性’特征数，只需考虑特征的子集。

5、随机森林的生成方法：

1）对于t=1,2…,T:

a)对训练集进行第t次随机采样，共采集m次，得到包含m个样本的采样集Dt；

b)用采样集Dt训练第t个决策树模型Gt(x)，在训练决策树模型的节点的时候， 在节点上所有的样本特征中选择一部分样本特征， 在这些随机选择的部分样本特征中选择一个最优的特征来做决策树的左右子树划分；

2) 如果是分类算法预测，则T个弱学习器投出最多票数的类别或者类别之一为最终类别。如果是回归算法，T个弱学习器得到的回归结果进行算术平均得到的值为最终的模型输出。

注意：

（1）RF使用了CART决策树作为弱学习器；

（2）RF通过随机选择节点上的一部分样本特征，这个数字小于n，从中选择一个最优的特征来做决策树的左右子树划分，这样进一步增强了模型的泛化能力。

6、RF的优缺点：

RF的主要优点有：

1） 训练可以高度并行化，对于大数据时代的大样本训练速度有优势。个人觉得这是的最主要的优点。

2） 由于可以随机选择决策树节点划分特征，这样在样本特征维度很高的时候，仍然能高效的训练模型。

3） 在训练后，可以给出各个特征对于输出的重要性，特征重要性的选择。

4） 由于采用了随机采样，训练出的模型的方差小，泛化能力强。

5） 相对于Boosting系列的Adaboost和GBDT， RF实现比较简单。

6） 对部分特征缺失不敏感。

RF的主要缺点有：

1）在某些噪音比较大的样本集上，RF模型容易陷入过拟合。

2) 取值划分比较多的特征容易对RF的决策产生更大的影响，从而影响拟合的模型的效果。

7.Adaboost算法原理，优缺点：

理论上任何学习器都可以用于Adaboost.但一般来说，使用最广泛的Adaboost弱学习器是决策树和神经网络。对于决策树，Adaboost分类用了CART分类树，而Adaboost回归用了CART回归树。

Adaboost算法可以简述为三个步骤：

（1）首先，是初始化训练数据的权值分布D1。假设有N个训练样本数据，则每一个训练样本最开始时，都被赋予相同的权值：w1=1/N。

（2）然后，训练弱分类器hi。具体训练过程中是：如果某个训练样本点，被弱分类器hi准确地分类，那么在构造下一个训练集中，它对应的权值要减小；相反，如果某个训练样本点被错误分类，那么它的权值就应该增大。权值更新过的样本集被用于训练下一个分类器，整个训练过程如此迭代地进行下去。

（3）最后，将各个训练得到的弱分类器组合成一个强分类器。各个弱分类器的训练过程结束后，加大分类误差率小的弱分类器的权重，使其在最终的分类函数中起着较大的决定作用，而降低分类误差率大的弱分类器的权重，使其在最终的分类函数中起着较小的决定作用。

换而言之，误差率低的弱分类器在最终分类器中占的权重较大，否则较小。

Adaboost的主要优点有：

1）Adaboost作为分类器时，分类精度很高。

2）在Adaboost的框架下，可以使用各种回归分类模型来构建弱学习器，不用对特征进行筛选，非常灵活。

3）作为简单的二元分类器时，构造简单，结果可理解。

4）不容易发生过拟合。

Adaboost的主要缺点有：

1）对异常样本敏感，异常样本在迭代中可能会获得较高的权重，影响最终的强学习器的预测准确性。

算法推导见笔记。

8. GBDT 如何构建特征

gbdt 本身是不能产生特征的，但是我们可以利用gbdt去产生特征的组合。利用gbdt去产生特征的组合，再采用逻辑回归进行处理，增强逻辑回归对非线性分布的拟合能力。

我们 使用 GBDT 生成了两棵树，两颗树一共有五个叶子节点。我们将样本 X 输入到两颗树当中去，样本X 落在了第一棵树的第二个叶子节点，第二颗树的第一个叶子节点，于是我们便可以依次构建一个五纬的特征向量，每一个纬度代表了一个叶子节点，样本落在这个叶子节点上面的话那么值为1，没有落在该叶子节点的话，那么值为 0。于是对于该样本，我们可以得到一个向量[0,1,0,1,0] 作为该样本的组合特征，和原来的特征一起输入到逻辑回归当中进行训练。实验证明这样会得到比较显著的效果提升。

集成学习
具体参详

9、GBDT 如何用于分类 ？

集成学习

10、优缺点：

目前GBDT的算法比较好的库是xgboost。当然scikit-learn也可以。

GBDT主要的优点有：

1) 可以灵活处理各种类型的数据，包括连续值和离散值，处理分类和回归问题。

2) 在相对少的调参时间情况下，预测的准备率也可以比较高。这个是相对SVM来说的。

3) 可以用于筛选特征。

4）使用一些健壮的损失函数，对异常值的鲁棒性非常强。比如 Huber损失函数和Quantile损失函数。

GBDT的主要缺点有：

1)由于弱学习器之间存在依赖关系，难以并行训练数据。不过可以通过自采样的SGBT来达到部分并行。
2)对异常值敏感

11.GBDT和XGBoost区别

XGBOOST相比于GBDT有何不同？XGBOOST为什么快？XGBOOST如何支持并行？

  1. 传统的GBDT以CART树作为基学习器，XGBoost还支持线性分类器，这个时候XGBoost相当于L1和L2正则化的逻辑斯蒂回归（分类）或者线性回归（回归）；

  2. 传统的GBDT在残差梯度方向拟合只用到一阶导数信息，XGBoost则对代价函数进行了二阶泰勒展开，得到一阶和二阶导数，xgboost工具支持自定义代价函数，只要函数可一阶和二阶求导；

  3. XGBoost在代价函数中加入了正则项，用于控制模型的复杂度。从权衡方差偏差来看，它降低了模型的方差，使学习出来的模型更加简单，放置过拟合，这也是XGBoost优于传统GBDT的一个特性；正则项里包含了树的叶子节点个数、每个叶子节点上输出的score的L2模的平方和shrinkage（缩减），相当于学习速率（XGBoost中的eta）。XGBoost在进行完一次迭代时，会将叶子节点的权值乘上该系数，主要是为了削弱每棵树的影响，防止过拟合；

  4. 列抽样。XGBoost借鉴了随机森林的做法，支持列抽样（特征抽样），不仅防止过 拟合，还能减少计算；

  5. 对缺失值的处理。对于特征的值有缺失的样本，XGBoost还可以自动 学习出它的分裂方向；

  6. XGBoost工具支持并行。Boosting不是一种串行的结构吗?怎么并行 的？注意XGBoost的并行不是tree粒度的并行，XGBoost也是一次迭代完才能进行下一次迭代的（第t次迭代的代价函数里包含了前面t-1次迭代的预测值）。XGBoost的并行是在特征粒度上的。我们知道，决策树的学习最耗时的一个步骤就是对特征的值进行排序（因为要确定最佳分割点），XGBoost在训练之前，预先对数据进行了排序，然后保存为block结构，后面的迭代 中重复地使用这个结构，大大减小计算量。这个block结构也使得并行成为了可能，在进行节点的分裂时，需要计算每个特征的增益，最终选增益最大的那个特征去做分裂，那么各个特征的增益计算就可以开多线程进行。

xgboost理论基础

params = {
‘booster’: ‘gbtree’,
‘objective’: ‘multi:softmax’, # 多分类的问题
‘num_class’: 10, # 类别数，与 multisoftmax 并用
‘gamma’: 0.1, # 用于控制是否后剪枝的参数,越大越保守，一般0.1、0.2这样子。
‘max_depth’: 12, # 构建树的深度，越大越容易过拟合
‘lambda’: 2, # 控制模型复杂度的权重值的L2正则化项参数，参数越大，模型越不容易过拟合。
‘subsample’: 0.7, # 随机采样训练样本
‘colsample_bytree’: 0.7, # 生成树时进行的列采样
‘min_child_weight’: 3,
‘silent’: 1, # 设置成1则没有运行信息输出，最好是设置为0.
‘eta’: 0.007, # 如同学习率
‘seed’: 1000,
‘nthread’: 4, # cpu 线程数
}

12、xgboost怎么给特征打分？如何解决缺失值问题？

（1）在训练的过程中，通过gini指数选择分离点的特征，一个特征被选中的次数越多，评分越高。
　　（2）xgboost对缺失值有默认的处理方法，对于特征的值有缺失的样本，xgboost可以自动学习出它的分裂方向，可以大大的提升算法的效率。

。

相关推荐