bagging和boosting对比:
区别一:数据方面
Bagging：对数据进行采样训练；
Boosting：根据前一轮学习结果调整数据的重要性。
区别二:投票方面
Bagging：所有学习器平权投票；
Boosting：对学习器进行加权投票。
区别三:学习顺序
Bagging的学习是并行的，每个学习器没有依赖关系；
Boosting学习是串行，学习有先后顺序。
区别四:主要作用
Bagging主要用于提高泛化性能（解决过拟合，也可以说降低方差（分布）)
Boosting主要用于提高训练精度 （解决欠拟合，也可以说降低偏差，即偏离程度）
Boosting
boosting串行建立n个模型, 后建立的模型受前面的模型影响，模型随着学习的积累从弱到强
简而言之：每新加入一个弱学习器，整体能力就会得到提升
代表算法：Adaboost，GBDT，XGBoost
AdaBoost
- 对每个样本进行赋权, 每个样本的权重(损失计算的权重)都相等
- 拿数据集去训练一个模型, 得到一个模型
- 拿2训练的到的模型, 对训练数据进行预测
- 把预测正确的样本的权重调低, 把预测错误的样本权重调高
D_{t+1}(x)=\frac{D_{t}(x)}{Z_{t}} \times\left{\begin{array}{l}{e^{-\alpha_{t}}} \\ {e^{\alpha_{t}}}\end{array}\right. -
再拿修改权重之后的数据训练下一个模型
-
最终结果: 训练的所有模型进行加权(模型的权重: 根据每个模型的准确率得到错误率)投票(连续问题加权求和)
\mathrm{H}(x)=\operatorname{sign}\left(\sum_{i=1}^{m} \alpha_{i} h_{i}(x)\right)
模型的权重:
\alpha_{t}=\frac{1}{2} \ln \left(\frac{1-\varepsilon_{t}}{\varepsilon_{t}}\right)
\mathcal{E}_{t}是错误率
tips: 以上实现方式重思路, 公式可能有变化
GBDT
梯度提升决策树(GBDT Gradient Boosting Decision Tree) 是一种迭代的决策树算法，该算法由多棵决策树组成，所有树的结论累加起来做最终答案。它在被提出之初就被认为是泛化能力（generalization)较强的算法。近些年更因为被用于搜索排序的机器学习模型而引起大家关注。
GBDT = 梯度下降 + Boosting + 决策树
决策树划分基于方差。
H(x)=h_{0}(x)+h_{1}(x)+h_{2}(x)+h_{3}(x)+h_{4}(x)+\ldots \ldots
前一个树的残差作为目标值更新数据集来训练得到第二棵树, 负梯度=残差=真实值-预测值 (损失函数为square loss残差的平方的二分之一；或者可以解释为这里损失函数是泰勒展开近似相等,高于1次方的项忽略)。
GBDT采用square loss损失函数容易受异常值影响，因为二次幂会放大异常值的损失。
GBDT采用梯度下降法的思想，这使得我们可以轻易的改用不同的损失函数设计Gradient Boosting算法。
Api：
from sklearn.ensemble import GradientBoostingRegressor
GradientBoostingRegressor(max_depth=2,n_estimators=150, learning_rate=1.0, warm_start=True)
AdaBoost与GBDT的对比：
AdaBoost用错分数据点来识别问题， 通过调整错分数据点的权重来改进模型。GBDT通过负梯度来识别问题， 通过计算负梯度来改进模型。
很多时候AdaBoost与GBDT都使用决策树桩作为分类器。
