XGBoost系列文章（二）：数学原理与推导

XGBoost系列文章（二）：数学原理与推导

本文是XGBoost系列的第二篇，将深入解析其数学原理，用通俗语言+公式推导解释核心设计。内容涵盖目标函数、泰勒展开、正则化、节点分裂等关键环节，适合希望理解算法本质的读者。

1. XGBoost的目标函数由哪两部分组成？各自作用是什么？

XGBoost的目标函数是模型优化的核心，其形式为：
$$\text{Obj}=\sum _{i=1}^{n}L(y_i,{\hat{y}}_i)+\sum _{k=1}^K\Omega (f_k)$$

• 第一部分：损失函数（Loss Function）
  $$\sum _{i=1}^{n}L(y_i,{\hat{y}}_i)$$
  衡量预测值 ${\hat{y}}_i$ 与真实值 $y_i$ 的误差。例如：

  • 回归任务：均方误差（MSE）$L=(y_i-{\hat{y}}_i{)}^2$
  • 分类任务：对数损失（Logloss）$L=-y_i\log p_i-(1-y_i)\log (1-p_i)$

• 第二部分：正则化项（Regularization Term）
  $$\sum _{k=1}^K\Omega (f_k)$$
  控制模型复杂度，防止过拟合。XGBoost的正则化项定义为：
  $$\Omega (f_k)=\gamma T+\frac{1}{2}\lambda \sum _{j=1}^T{w}_j^2+\alpha \sum _{j=1}^T|w_j|$$

  • $T$: 树的叶子节点数
  • $w_j$: 第$j$个叶子节点的权重
  • $\gamma$, $\lambda$, $\alpha$: 超参数，惩罚复杂树结构

一句话总结：目标函数 = 让预测尽量准（损失函数） + 让模型尽量简单（正则化）。

2. 如何推导XGBoost的损失函数在泰勒二阶展开后的形式？

XGBoost采用泰勒二阶展开近似损失函数，具体推导如下：
假设在第$t$次迭代时，模型预测值为 ${\hat{y}}_i^{(t)}={\hat{y}}_i^{(t-1)}+f_t(x_i)$，则损失函数展开为：
$$\begin{array}{r}L(y_i,{\hat{y}}_i^{(t)})\\ \end{array}$$