GBDT算法梳理

GBDT也是集成学习Boosting家族的成员，但是却和传统的Adaboost有很大的不同。回顾下Adaboost，我们是利用前一轮迭代弱学习器的误差率来更新训练集的权重，这样一轮轮的迭代下去。GBDT也是迭代，使用了前向分布算法，但是弱学习器限定了只能使用CART回归树模型，同时迭代思路和Adaboost也有所不同。
对于GBDT算法的梳理，刘建平老师的博客讲解的非常好，本文基本是对刘老师博客阅读过程中的笔记和搬运

梯度提升树(GBDT)原理小结

前向分布算法

adaboost算法是前向分步算法的特例。此时模型是由基本分类器组成的加法模型，损失函数是指数函数。
加法模型即指基函数的线性组合，而前向分布算法可以理解为将最终模型的所有参数，逐步分解为各个基函数的参数，逐步计算每一个基函数的权重。

负梯度拟合

提升树利用加法模型与前向分布算法实现学习的优化过程。当损失函数时平方损失和指数损失函数时，每一步优化是很简单的。但对一般损失函数而言，往往每一步优化并不那么容易。针对这一问题，friedman提出了梯度提升算法。这里是利用最速下降法的近似方法，即负梯度拟合。

损失函数

上节中提到对于不同的损失函数，对于优化的难度是不同的，本节对GBDT的损失函数进行一个总结：

对于分类算法，其损失函数一般有对数损失函数和指数损失函数两种:



对于回归算法，常用损失函数有如下4种:

回归

二分类，多分类

GBDT的分类算法从思想上和GBDT的回归算法没有区别，但是由于样本输出不是连续的值，而是离散的类别，导致我们无法直接从输出类别去拟合类别输出的误差。

为了解决这个问题，主要有两个方法，一个是用指数损失函数，此时GBDT退化为Adaboost算法。另一种方法是用类似于逻辑回归的对数似然损失函数的方法。也就是说，我们用的是类别的预测概率值和真实概率值的差来拟合损失。本文仅讨论用对数似然损失函数的GBDT分类。而对于对数似然损失函数，我们又有二元分类和多元分类的区别。

二元GBDT分类算法

多元GBDT分类算法

正则化

优缺点

GBDT主要的优点有：

1) 可以灵活处理各种类型的数据，包括连续值和离散值。

2) 在相对少的调参时间情况下，预测的准确率也可以比较高。这个是相对SVM来说的。

3）使用一些健壮的损失函数，对异常值的鲁棒性非常强。比如 Huber损失函数和Quantile损失函数。

GBDT的主要缺点有：

1)由于弱学习器之间存在依赖关系，难以并行训练数据。不过可以通过自采样的SGBT来达到部分并行。

sklearn参数

对于GBDT的调参可参考：scikit-learn 梯度提升树(GBDT)调参小结

应用场景

GBDT几乎可用于所有回归问题（线性/非线性），相对logistic regression仅能用于线性回归，GBDT的适用面非常广。亦可用于二分类问题（设定阈值，大于阈值为正例，反之为负例）。
作为集成方法，GBDT的性能一般优于基学习器，但是训练时间等也会上升。