11.集成学习和随机森林
Soft Voting投票时有权值，更合理。
Bagging and Pasting：
放回取样：Bagging（也叫bootstrap）
不放回取样：Pasting
使模型产生差异化：
针对特征进行随机采样：Random Subspaces
既针对样本数量，又针对特征进行随机采样： Random Patches
使用决策树进行集成学习的方式也叫随机森林。
Extra-Trees:
决策树在节点划分上，使用随机的特征和随机的阈值，因此随机性更强。抑制过拟合（抑制了方差），但增大了偏差bias。训练速度更快。
Boosting:
集成多个模型，每个模型都在尝试增强（boosting）整体的效果。
Ada Boosting通过每次增加未预测成功的点的权值，生成新的子模型。
Stacking：
更复杂的Stacking模型：