DataWhale机器学习高级算法梳理Day4-LightGBM算法梳理

LightGBM

LightGBM是一个实现GBDT算法的框架，支持高效率的并行训练，并且具有以下优点：

• 更快的训练速度

• 更低的内存消耗

• 更好的准确率

• 分布式支持，可以快速处理海量数据

和XGBoosting等GBDT算法相比的主要优化点：

• 基于 Histogram 的决策树算法
• 带深度限制的 Leaf-wise 的叶子生长策略
• 直方图做差加速
• 直接支持类别特征(Categorical Feature)
• Cache 命中率优化
• 基于直方图的稀疏特征优化
• 多线程优化。

LightGBM的起源

常用的机器学习算法，例如神经网络等算法，都可以以mini-batch的方式训练，训练数据的大小不会受到内存限制。

mini-batch:
在梯度下降中需要对所有数据计算一遍再决定下一步，当数据集样本规模特别大时，这样的一次迭代会非常耗时，这时的梯度下降叫full-batch。为提高效率，我们将样本总数为$N$的数据集分割为$T$个含$m$个样本的子数据集，循环遍历这$T$个子集，对每个子集做一次梯度下降，到下个子集时继续进行梯度下降，这就是mini-batch。

而GBDT在每一次迭代的时候，都需要遍历整个训练数据多次。如果把整个训练数据装进内存则会限制训练数据的大小；如果不装进内存，反复地读写训练数据又会消耗非常大的时间。尤其面对工业级海量的数据，普通的GBDT算法是不能满足其需求的。

LightGBM提出的主要原因就是为了解决GBDT在海量数据遇到的问题，让GBDT可以更好更快地用于工业实践。

Histogram VS pre-sorted

• 预排序算法

1. 首先，对所有特征值进行排序
2. 遍历分割点，用$O$的代价找到一个特征上的最好分割点
3. 找到一个分裂点后，将数据分裂为左右子节点

预排序算法的主要缺点：

1. 排序的空间消耗大，需要保存数据的特征值，还有每个特征分布的结果
2. 时间上开销大，需要对每层叶子进行遍历找到最佳分裂点
3. 对 cache 优化不友好。在预排序后，特征对梯度的访问是一种随机访问，并且不同的特征访问的顺序不一样，无法对 cache 进行优化。同时，在每一层长树的时候，需要随机访问一个行索引到叶子索引的数组，并且不同特征访问的顺序也不一样，也会造成较大的 cache miss。

• 直方图算法

直方图算法的基本思想是先把连续的浮点特征值离散化成k个整数，同时构造一个宽度为k的直方图。在遍历数据的时候，根据离散化后的值作为索引在直方图中累积统计量，当遍历一次数据后，直方图累积了需要的统计量，然后根据直方图的离散值，遍历寻找最优的分割点。

也就是：LightGBM通过直方图算法把连续的特征值离散化成对应的bin（可以理解成桶），然后累加每个bin对应特征的梯度值并计数，最后遍历所有特征和数据，寻找最优切分点。

直方图算法在运算内存和时间上都比预排序算法更好，但是，由于特征被离散化后，找到的并不是很精确的分割点，所以会对结果产生影响。但在不同的数据集上的结果表明，离散化的分割点对最终的精度影响并不是很大，甚至有时候会更好一点。

原因是决策树本来就是弱模型，分割点是不是精确并不是太重要；较粗的分割点也有正则化的效果，可以有效地防止过拟合；即使单棵树的训练误差比精确分割的算法稍大，但在梯度提升（Gradient Boosting）的框架下没有太大的影响。

leaf-wise VS level-wise

• level-wise

XGBoost是按层生长（level-wise）的方式展开节点，优点是不容易过拟合，缺点是它对每一层叶子节点不加区分的进行展开，实际上某些叶子节点的分裂增益较低，没必要进行搜索和分裂。如下图所示：

• leaf-wise

LightGBM是按最大增益的节点（叶子明智，Leaf-wise）进行展开，这样做的好处是找到分裂增益最大的叶子节点进行分裂，如此循环 。优点是效率高，在分裂次数相同的情况下，Leaf-wise可以得到更高的准确率 。缺点是可能会产生过拟合，通过设置树的最大生长深度避免 。如下图所示：

特征并行和数据并行

在特征并行算法中，通过在本地保存全部数据避免对数据切分结果的通信

特征并行的主要思想是在不同机器在不同的特征集合上分别寻找最优的分割点，然后在机器间同步最优的分割点。

在数据并行中使用分散规约 (Reduce scatter) 把直方图合并的任务分摊到不同的机器，降低通信和计算，并利用直方图做差，进一步减少了一半的通信量。基于投票的数据并行则进一步优化数据并行中的通信代价，使通信代价变成常数级别。在数据量很大的时候，使用投票并行可以得到非常好的加速效果。

数据并行则是让不同的机器先在本地构造直方图，然后进行全局的合并，最后在合并的直方图上面寻找最优分割点。

顺序访问梯度

预排序算法中有两个频繁的操作会导致cache-miss，也就是缓存消失（对速度的影响很大，特别是数据量很大的时候，顺序访问比随机访问的速度快4倍以上 ）。

• 对梯度的访问：在计算增益的时候需要利用梯度，对于不同的特征，访问梯度的顺序是不一样的，并且是随机的
• 对于索引表的访问：预排序算法使用了行号和叶子节点号的索引表，防止数据切分的时候对所有的特征进行切分。同访问梯度一样，所有的特征都要通过访问这个索引表来索引。

这两个操作都是随机的访问，会给系统性能带来非常大的下降。

LightGBM使用的直方图算法能很好的解决这类问题。首先。对梯度的访问，因为不用对特征进行排序，同时，所有的特征都用同样的方式来访问，所以只需要对梯度访问的顺序进行重新排序，所有的特征都能连续的访问梯度。并且直方图算法不需要把数据id到叶子节点号上（不需要这个索引表，没有这个缓存消失问题）

支持类别特征

实际上大多数机器学习工具都无法直接支持类别特征，一般需要把类别特征，转化到多维的0/1 特征，降低了空间和时间的效率。

而类别特征的使用是在实践中很常用的。基于这个考虑，LightGBM 优化了对类别特征的支持，可以直接输入类别特征，不需要额外的0/1 展开。并在决策树算法上增加了类别特征的决策规则。

在 Expo 数据集上的实验，相比0/1 展开的方法，训练速度可以加速 8 倍，并且精度一致。据我们所知，LightGBM 是第一个直接支持类别特征的 GBDT 工具。

应用场景

回归，分类，排序

sklearn参数

参见lightGBM中文文档
和python API接口

CatBoost(了解)