赛题

零基础入门数据挖掘 - 二手车交易价格预测。
链接：零基础入门数据挖掘 - 二手车交易价格预测

模型融合目标

对于多种调参完成的模型进行模型融合。

内容介绍

模型融合大体有如下类型方式：

1. 简单加权融合：
   （1）回归（分类概率）：算术平均融合（Arithmetic mean），几何平均融合（Geometric mean）；
   （2）分类：投票（Voting)；
   （3）综合：排序融合(Rank averaging)，log融合。
2. stacking/blending：
   构建多层模型，并利用预测结果再拟合预测。
3. boosting/bagging（在xgboost，Adaboost,GBDT中已经用到）：
   多树的提升方法。

stacking

介绍

简单来说，stacking 就是当用初始训练数据学习出若干个基学习器后，将这几个学习器的预测结果作为新的训练集，来学习一个新的学习器。
将个体学习器结合在一起的时候使用的方法叫做结合策略。
对于分类问题，可以使用投票法来选择输出最多的类。对于回归问题，可以将分类器输出的结果求平均值。
上面说的投票法和平均法都是很有效的结合策略，还有一种结合策略是使用另外一个机器学习算法来将个体机器学习器的结果结合在一起，这个方法就是Stacking。
在stacking方法中，把个体学习器叫做初级学习器，用于结合的学习器叫做次级学习器或元学习器（meta-learner），次级学习器用于训练的数据叫做次级训练集。次级训练集是在训练集上用初级学习器得到的。

算法

过程1-3 是训练出来个体学习器，也就是初级学习器。
过程5-9是使用训练出来的个体学习器来得预测的结果，这个预测的结果当做次级学习器的训练集。
过程11 是用初级学习器预测的结果训练出次级学习器，得到最后训练的模型。