GDBT系列算法梳理

最新推荐文章于 2025-05-28 23:10:29 发布
最新推荐文章于 2025-05-28 23:10:29 发布
阅读量1.4k 收藏 2
点赞数
CC 4.0 BY-SA版权
分类专栏： 时间序列 文章标签： 算法 决策树 GDBT XGBoost LightGBM
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ThomasCai001/article/details/129948327
文章介绍了BDT、GBDT、XGBoost和LightGBM四种机器学习算法，特别是它们在决策树集成学习中的优化策略，如XGBoost的正则化和并行计算，以及LightGBM的直方图优化和Leaf-wise生长策略。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、BDT

提升数，Boosting Decision Tree，以CART决策树为基学习器的集成学习方法。

1.1 BDT的表示

在这里插入图片描述

1.2 loss function

在这里插入图片描述
指数损失函数：
在这里插入图片描述
平方损失函数：
在这里插入图片描述

1.3 算法步骤

在这里插入图片描述

二、GBDT

2.1 GBDT的表示

GBDT全称为：Gradient Boosting Decision Tree，即梯度提升决策树，理解为梯度提升＋决策树。
核心思想：利用损失函数的负梯度（BDT是残差）来拟合基学习器
在这里插入图片描述
原理：
在这里插入图片描述

2.2 GBDT的梯度提升流程

在这里插入图片描述

三、XGBoost的优化

功能方面：

  1. GDBT的基函数是回归树，而XGBoost还支持线性分类器，对于分类问题，此时XGBoost就相当于logistic回归，回归就是线性回归。
  2. 传统的GDBT使用的一阶导数，而XGBoost是用的一阶导数和二阶导数，更快的拟合；

避免过拟合策略

  1. XGBoost在目标函数里面加个了正则化项，这可以一定程度控制生成树的复杂度，从偏差方差均衡的角度，这有助于降低方差，避免过拟合。
  2. shrinkage的方式来缩减每棵树的影响。

加速计算方面

  1. 引入了分位数，GDBT是对特征的每个值去计算增益值，而XGBoost根据百分位法列举几个可能成为分割点的候选者，然后从候选者中根据上面求分割点的公式计算找出最佳的分割点。

  2. 虽然生成每棵树一定要串行，但是选择特征是并行的，这也是非常耗时的一个阶段。

  3. 借鉴了随机森林的，行采样，列采用的特性，既省时间又可防止过拟合。

  4. 在工程方面，支持多线程，支持GPU等特性。

四、LightGBM的优化

4.1 引进直方图进行优化

XGBoost是采用presort的方式来选取最佳分割点，而LGBM是采用直方图，对于连续的特征统计为k类，然后以直方图为单位，选取最佳分割点；

  1. 用直方图算法来对特征进行计算，直方图累积了需要的统计量，然后根据直方图的离散值，遍历寻找最优的分割点。
    在这里插入图片描述
  2. 先计算直方图小的叶子节点，然后利用直方图做差来获得直方图大的叶子节点，这样就可以用非常微小的代价得到它兄弟叶子的直方图。
    在这里插入图片描述

4.2 带深度限制的 Leaf-wise 算法

XGBoost在预测的时候采用的是level-wise广度优先的策略，而LGBM采用的是leaf-wise的策略，区别对待同一层的叶子结点，对于增益较低结点不进行分裂，节约这部分没必要的计算开销。

  • 按层生长的决策树
    在这里插入图片描述
  • 按结点生长的决策树
    在这里插入图片描述
    说明：Level-wise相比
  1. Leaf-wise的优点是：在分裂次数相同的情况下，Leaf-wise可以降低更多的误差，得到更好的精度；
  2. Leaf-wise的缺点是：可能会长出比较深的决策树，产生过拟合。因此LightGBM会在Leaf-wise之上增加了一个最大深度的限制，在保证高效率的同时防止过拟合。

4.3 单边梯度采样算法(GOSS)

GOSS算法从减少样本的角度出发，排除大部分小梯度的样本，仅用剩下的样本计算信息增益，它是一种在减少数据量和保证精度上平衡的算法。

4.4 互斥特征捆绑算法

互斥特征捆绑算法（Exclusive Feature Bundling, EFB）指出如果将一些特征进行融合绑定，则可以降低特征数量。这样在构建直方图时的时间复杂度从O(#data * #feature)变为O(#data * #bundle)，这里#bundle指特征融合绑定后特征包的个数，且#bundle远小于#feature。

注意： 要捆绑互斥的特征，也就是onehot编码不同时为0的特征，这样才不会丢失信息，但现实中往往很难，因此用冲突比例来衡量，都为0则冲突比例越大，当这个值较小时，我们可以选择这个两个特征捆绑，而不影响最后的精度。

4.5 工程上的各种并行

包括特征并行、数据并行和投票并行。

参考：
https://mp.weixin.qq.com/s/clNVCXxNkAUsQC-oHL2b2g
https://zhuanlan.zhihu.com/p/99069186

GBDT算法
PanDawson的博客
03-19 4486
GBDT算法 Gradient Boosting Decision Tree 以梯度为优化目标，以提升为手段（前面讲到的集成算法中的串联），基础模型为决策树（这里用的是回归树）的算法 GBDT简单来说，就是用多个树串联，提升模型的效果 以下是学习唐宇迪老师的GBDT算法的理解，文末有其他直接更详细的的关于GBDT算法的实现 回归树的形式是CART 即二叉树 使用回归树做分类和回归都...
Task1 随机森林算法梳理
whut_aoyi 的博客
08-07 347
Task1 随机森林算法梳理 集成学习的概念 个体学习器的概念 boosting bagging的概念、异同点 理解不同的结合策略(平均法，投票法，学习法) 随机森林的思想 随机森林的推广 随机森林的优缺点 随机森林在sklearn中的参数解释 随机森林的应用场景 参考： 西瓜书 cs229吴恩达机器学习课程 李航统计学习 谷歌搜索 公式推导参考：http://t.cn/EJ4F9Q0 1. ...
GBDT算法（最简单）
程序猿进化梯
10-19 9264
https://github.com/NLP-LOVE/ML-NLP/blob/master/Machine%20Learning/3.2%20GBDT/3.2%20GBDT.md 1. 解释一下GBDT算法的过程 GBDT(Gradient Boosting Decision Tree)，全名叫梯度提升决策树，使用的是Boosting的思想。 1.1 Boosting思想 Boosting方法训练基分类器时采用串行的方式，各个基分类器之间有依赖。它的基本思路是将基分类器层层叠加，每一层在训练的时候，对前一
【机器学习基础】机器学习入门核心算法：GBDT（Gradient Boosting Decision Tree）
最新发布
weixin_43988131的博客
05-28 989
机器学习入门核心算法：GBDT（Gradient Boosting Decision Tree）
GBDT算法梳理
xiu351084315的博客
04-07 1545
1、GBDT基础概念与理解分析 GBDT(Gradient Boosting Decision Tree)又叫 MART（Multiple Additive Regression Tree)，是一种迭代的决策树算法，该算法由多棵决策树组成，所有树的结论累加起来做最终答案。它在被提出之初就和SVM一起被认为是泛化能力（generalization)较强的算法。近些年更因为被用于搜索排序的机器学习模...
高级算法梳理-XGB
xiu351084315的博客
04-10 3616
XGB算法梳理 1、算法原理 XGBoost(eXtreme Gradient Boosting)算法是Gradient Boosting算法的高效实现版本，因其在应用实践中表现出优良的效果和效率，因而也被工业界广为推崇。 想要了解XGBoost算法的原理，首先需要理解Boosting算法。简单来说，Boosting算法是将个体学习器集成为更复杂学习器的机器学习方法，它更强调个体学习器之间存...
R语言编写的GBDT算法
03-15
R语言GBDT算法
gbdt算法实现
12-12
C实现的gbdt算法，包含源码，训练和测试数据的文件
经典机器学习与深度学习算法梳理
天真不无邪，hello和world
09-21 1378
针对一些常见的机器学习算法，总结算法的思路、流程、应用和优缺点等。 k近邻算法（kNN） 简单地说，k近邻算法采用测量不同特征值之间的距离方法进行分类。 存在一个样本数据集合，也称作训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一数据与所属分类的对应关系。输人没有标签的新数据后，将新数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本...
GBDT算法原理深入解析
杨旭东的专栏
12-25 4万+
本文对GBDT算法原理进行介绍，从机器学习的关键元素出发，一步一步推导出GBDT算法背后的理论基础，读者可以从这个过程中了解到GBDT算法的来龙去脉。对于该算法的工程实现，本文也有较好的指导意义，实际上对机器学习关键概念元素的区分对应了软件工程中的“开放封闭原则”的思想，基于此思想的实现将会具有很好的模块独立性和扩展性。
GBDT（MART） 迭代决策树入门教程 | 简介
热门推荐
w28971023的专栏
11-29 18万+
在网上看到一篇对从代码层面理解gbdt比较好的文章，转载记录一下：                GBDT(Gradient Boosting Decision Tree) 又叫 MART（Multiple Additive Regression Tree)，是一种迭代的决策树算法，该算法由多棵决策树组成，所有树的结论累加起来做最终答案。它在被提出之初就和SVM一起被认为是泛化能力（g
机器学习-GBDT算法
m0_73426548的博客
03-06 1020
GBDT 通过梯度优化残差的机制，在结构化数据领域表现优异，是竞赛和工业界常用的算法之一。尽管存在训练速度和调参的挑战，但其改进版本（如 XGBoost、LightGBM）通过工程优化显著提升了效率，使其在实际应用中更具竞争力。
GBDT算法 (串行)
qq_43703185的博客
06-10 367
原文链接:https://blog.csdn.net/qq_40229367/article/details/88654293 GBDT算法 Gradient Boosting Decision Tree 以梯度为优化目标，以提升为手段（前面讲到的集成算法中的串联），基础模型为决策树（这里用的是回归树）
python中CART算法与GDBT算法
04-13
CART算法和GDBT算法都是常用的决策树算法。CART算法主要用于分类（Classification）和回归（Regression）问题，而GDBT算法则主要用于回归问题。CART算法将数据集切分成两个子集，使得切分后的子集纯度提高。GDBT算...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Thomas_Cai

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值