XGBoost

相比于GBDT，XGBoost的目标函数在其基础上加入了正则项（L2正则），并且进行二阶泰勒展开，使用一阶和二阶梯度进行优化。

使用第一次优化的模型的残差作为目标值进行下一次优化。

XGBoost同样支持自定义损失函数，只需满足二次可微即可。

此算法理解不充分待完善