XGBoost和LightGBM

最新推荐文章于 2025-06-18 11:57:39 发布
原创 最新推荐文章于 2025-06-18 11:57:39 发布 · 410 阅读 · 10 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#算法

目录

 XGBoost

LightGBM

 XGBoost

 XGBoost的目标函数是损失加正则项Ω，损失的含义是yi和最后一棵树的预测的损失，最后一棵树的损失是yi^(t-1)+ft(xi)即前t-1棵树和最后一棵树（最后一棵树可以相当于拟合前t-1棵树的残差）相加。

然后对损失进行泰勒展开取前三项，可以得到下面的目标函数，前面的l没有了，是因为l是前t-1棵树的已知量，可以作为常量。并且其中gi和hi也都是常量，是xi样本对应的前t-1棵树的结果求导数和二阶导数的常量。

然后解释Ω，Ω是用来限制树的复杂度的，分别从叶节点个数和叶节点权值对树的复杂度进行考量

然后得到欧米伽的公式，我们要与前面的loss进行整合，我们需要把loss内的fk(xi)转化为和后面Ω变量相同的形式进行合并

一步一步分析上图，

第一步到第二步，fk(xi)等于样本xi最终预测对应的节点q(xi)的权值，即w^q(xi)，所有的w^q(xi)相加其实就是将所有样本xi对应的叶节点进行分类，然后再分别按节点求和（每个节点对应的样本有几个就），也就是这个，然后将按样本预测值求和转为按不同节点求和后就可以和Ω合并了，并且gi和hi虽然对于每个样本xi都是不同的值，但都是已知的在求前面t-1棵树时就已知的量，所以我们用一个Gj和Hj的符号表示。

最后得到一个一元二次目标函数即

这个一元二次函数的最小值点很容易看出来就是每个都取极值点（最小值）即每个wj都取，就可以得到简化后的目标函数。

这个目标函数的意思是，已知一个二叉决策树的形状，我们就会知道最小目标函数是这个，然后我们要更新这棵决策树，让他是否划分新的叶子结点，划分哪个叶子结点，就是要看哪个划分对应的决策树形状的目标函数值最小。然后XGBoost是采用贪心算法一个节点一个节点进行枚举划分的。

不断划分后如何停止呢？

可以设定一个阈值：1、新的划分的目标函数增益小于一个阈值时就停止划分。2、决策树的深度达到一定的时候停止划分。3、样本权重和小于设定阈值时则停止建树。什么意思呢，即涉及到一个超参数-最小的样本权重和min_child_weight，和GBM的 min_child_leaf 参数类似，但不完全一样。大意就是一个叶子节点样本太少了，也终止同样是防止过拟合。

LightGBM

XGBoost和LightGBM机器学习算法对比及实战
Cachel Wood的博客
03-02 160
XGBoost：理论严谨，适合精细化调参，在中小数据集上表现优异。LightGBM：通过直方图、GOSS、EFB等技术优化效率，适合大规模数据和高维特征，工业界应用广泛。两者均支持分布式训练，实际应用中可根据数据规模、特征复杂度和硬件资源灵活选择。以下是XGBoost和LightGBM的代码示例，使用Python的xgboost和lightgbm库实现分类任务（以鸢尾花数据集为例）。
机器学习算法实战系列：集成学习王者XGBoost与LightGBM原理与实战
资深全栈架构师，乐于在 CSDN 分享技术见解，与大家携手共进，共攀技术巅峰！
04-25 1504
顺序训练一系列弱学习器每个新模型都专注于纠正前一个模型的错误组合所有弱学习器形成强学习器AdaBoost算法回顾增加被错误分类样本的权重最终预测是加权投票“掌握XGBoost和LightGBM，你就能解决工业界90%的结构化数据问题！现在你已拥有这些冠军算法的完整知识体系。参加Kaggle比赛实践所学知识深入研究算法源代码实现尝试在不同业务场景中应用在下一篇文章中，我们将探索无监督学习的奥秘，从聚类到降维，揭示数据背后的隐藏模式！敬请期待！延伸阅读XGBoost官方文档。
RF,GBDT,XGBOOST, LightGBM的对比和分析
William Zhao's notes
08-29 5589
1.概述 RF、GBDT和都属于集成学习（Ensemble Learning），集成学习的目的是通过结合多个基学习器的预测结果来改善单个学习器的泛化能力和鲁棒性。 xgboost和lightgbm是gbdt的优秀工程实现及优化改进。 2.集成学习方法 bootstrap, boosting, bagging, stacking集成算法原理介绍 详细的bootstrap 3.各种实例解析 ...
LightGBM自定义损失函数的正确写法
I was young,I need more experience
03-31 1万+
导语: 在LightGBM中可以通过自定义损失函数和评价函数来解决新问题, 但在自定义损失函数时可能会忽略一些细节,导致效果不佳，收敛速度减慢。本文的背景是在GitHub的一个issues中读到了关于自定义的和官方提供的logloss不能完全复现的解决过程,当时没有太在意这个细节, 近期又读到作者关于当前开源的FocalLoss有相同的问题说法, 本文主要是拾人牙慧,在理解后的基础上，补充点笔记，跟着大佬再走一遍流程,以便加深记忆. 本文首发于公众号、知乎专栏： 一直学习一直爽 文章目录复现loglos.
手搓LightGBM
最新发布
2201_75509689的博客
06-18 433
【代码】手搓LightGBM。
lightgbm常用功能(自定义损失函数)
热门推荐
rosefun96的博客
10-16 1万+
1、自定义损失函数 比如： def smape_loss(preds, train_data): print('************************************') print(preds) labels = train_data.get_label() grad = np.zeros(shape=len(preds), dtype=np.f...
(十)LightGBM的原理、具体实例、代码实现
user_28608的博客
10-10 1492
可以用如下一个简单公式来说明LightGBM和XGBoost的关系：关于XGBoost的详细论述请看本系列的第九篇文章——(九)XGBoost的原理、具体实例、代码实现XGBoost与GBDT比较大的不同就是目标函数的定义，基本思想是一致的，同样是利用加法模型与前向分步算法实现学习的优化过程。yi∑k1Kfkxiy​i​k1∑K​fk​xi​其中，fkf_kfk​表示回归X树，K为回归树的数量。
lightgbm，一个超强的 Python 库！
涛哥聊Python
04-24 2403
更多Python学习内容：ipengtao.com大家好，今天为大家分享一个超强的 Python 库 - pyramid。Github地址：https://github.com/Pylons/pyramidLightGBM是一个快速、分布式、高性能的梯度提升决策树（Gradient Boosting Decision Tree）库，它在机器学习和数据挖掘领域被广泛应用。本文将介绍LightGBM库...
GBDT、XGBoost、LightGBM算法详解
酒酿小圆子呀～
05-23 6385
在进行节点的分裂时，需要计算每个特征的增益，最终选增益最大的那个特征去做分裂，那么各个特征的增益计算就可以开多线程进行。然后我们拿残差替代A,B,C,D的原值，到第二棵树去学习，如果我们的预测值和它们的残差相等，则只需把第二棵树的结论累加到第一棵树上就能得到真实年龄了。从树深度0开始，每一节点都遍历所有的特征，比如年龄、性别等等，然后对于某个特征，先按照该特征里的值进行排序，然后线性扫描该特征进而确定最好的分割点，最后对所有特征进行分割后，我们选择所谓的增益Gain最高的那个特征。
XGBoost和LightGBM算法区别.docx
12-29
在机器学习领域，XGBoost和LightGBM是两种广泛使用的梯度增强决策树（GBDT）算法，它们都是针对GBDT的高效实现，但在原理和性能上存在显著差异。本文将深入探讨这两种算法的本质区别，以及它们各自的优缺点。 ...
个人机器学习框架Xgboost和LightGBM训练代码.zip
04-02
机器学习（Machine Learning, ML）是一种应用人工智能（AI）领域的科学技术，它使得计算机系统能够从数据中自动学习和改进，而无需显式编程。在机器学习的过程中，算法会通过识别和挖掘数据中的模式来构建一个模型，...
LightGBM中的GBDT实现
07-20
LightGBM中的GBDT实现
说一说xgboost和lightgbm的区别是什么
SDFAA1的博客
07-18 1111
但如果实例梯度值小，误差就小，说明这个实例已经训练的很好了，直接的想法就是抛弃小梯度的数据，这样一来数据的分布就会发生改变，会损失学到的模型的精确度。EFB（独立特征合并），针对海量稀疏数据，根据数据间的冲突度（如cos夹角，0101和1010的冲突很小，因为非零位不相同，非零位不相同的占比越高，冲突度越少），对冲突度小的特征进行合并，变稀疏矩阵为稠密矩阵，减少特征维度；GOSS（基于梯度的单边采样），对海量学习数据，根据其梯度，筛除绝大部分的小梯度样本（几乎无更新作用），保持精度的同时加快速度；.....
lightGBM自定义损失函数loss和metric
zephyr_wang的博客
01-09 5539
def self_loss(labels, preds): preds = preds.get_label() k = labels - preds # 对labels求导 grad = np.where(k>0, 2*np.abs(preds)/(np.power(np.abs(labels)+np.abs(preds), 2)+0.1), -2*np.abs(preds)/(np.power(np.abs(labels)+np.abs(preds), 2)+0.1)) hess = np.
机器学习——LightGBM算法
weixin_39753819的博客
03-27 2104
LightGBM是一种基于梯度提升框架的机器学习算法，由微软团队开发。相比于传统的梯度提升决策树（GBDT）算法，LightGBM具有更高的训练效率和更低的内存消耗，尤其适用于大规模数据集。LightGBM的目标函数包括损失函数和正则项，通过梯度提升算法来优化目标函数，求得最优的模型参数。
lightgbm常用函数
weixin_41654661的博客
01-22 6515
1、lgb.Dataset()     train_data = lgb.Dataset(data, label=label, feature_name=['c1', 'c2', 'c3'], categorical_feature=['c3'], weight=w )     LightGBM 可以直接使用 categorical features（分类特征）作为 input（输入）. 它不...
分类算法——LightGBM 详解
goTsHgo的博客
10-31 5504
梯度提升树（Gradient Boosting Decision Tree, GBDT）是一种基于加法模型和前向分步算法的提升方法。GBDT 通过迭代地构建决策树来优化目标函数，其中每一棵树都拟合上一个模型的残差或负梯度。GBDT 在分类问题中通常使用交叉熵作为目标函数，而在回归问题中使用平方误差损失。LightGBM 通过多项优化使得 GBDT 在性能和效率上有了大幅提升。其基于叶节点的生长策略和直方图算法的创新设计，显著提高了模型的训练速度和精度。
【模型】LightGBM
藓类少女的博客
07-30 1822
LightGBM 是一种基于决策树算法的梯度提升框架，专为快速高效的模型训练和预测设计。它由微软开发，并且广泛应用于各种机器学习任务，尤其在结构化数据和分类问题上表现出色。
机器学习——lightGBM（学习整理）
CXDNW的博客
08-22 4134
LightGBM 是 微软的 一个团队 在 Github 上开发的一个 开源项目，高性能 的 LightGBM 算法具有分布式 和 可以 快速处理大量数据的 特点。LightGBM 虽然 基于 决策树和 XGBoost 而生，但它 还遵循 其他不同的 策略。XGBoost 使用决策树 对一个 变量进行 拆分，并在 该变量上 探索不同的 切割点（按级别划分的 树生长策略），而LightGBM 则 专注于 按叶子节点 进行拆分，以便 获得更好的 拟合（按叶划分的树生长策略）。
xgboost和lightgbm
03-08
### 比较XGBoost与LightGBM #### 数据集准备 为了公平地对比两种算法，需确保每种算法在同一数据集上以相同方式评估。这可以通过构建一致的测试框架来实现[^1]。 #### 算法特性差异 - **XGBoost** - 基于梯度提升决策树(Gradient Boosting Decision Tree)，通过优化计算过程提高效率。 - 支持并行处理，但在单节点上的性能可能不如其他方法优越。 - **LightGBM** - 同样基于梯度提升技术，但采用直方图算法减少内存消耗和加速训练速度。 - 利用Leaf-wise（按叶子生长）策略代替Level-wise（按层次生长），从而获得更好的精度和更快的速度。 #### 性能评价指标 对于机器学习模型的表现衡量，可以运用重采样的统计手段来进行估算，比如交叉验证(Cross Validation)、留一法交叉验证(Leave One Out Cross Validation)以及重复随机划分训练集与测试集等方法[^3]。 ```python from sklearn.model_selection import cross_val_score import lightgbm as lgb import xgboost as xgb # 定义模型 model_xgb = xgb.XGBClassifier() model_lgb = lgb.LGBMClassifier() # 使用相同的K折交叉验证评分机制 scores_xgb = cross_val_score(model_xgb, X, y, cv=5) scores_lgb = cross_val_score(model_lgb, X, y, cv=5) print(f'XGBoost Accuracy: {scores_xgb.mean()}') print(f'LightGBM Accuracy: {scores_lgb.mean()}') ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值