Adaboost算法和提升树算法

AdaBoost，是英文"Adaptive Boosting"（自适应增强），它的自适应在于：前一个基本分类器分错的样本会得到加强，加权后的全体样本再次被用来训练下一个基本分类器。同时，在每一轮中加入一个新的弱分类器，直到达到某个预定的足够小的错误率或达到预先指定的最大迭代次数。

AdaBoost算法

输入：训练数据集KaTeX parse error: Undefined control sequence: \cal at position 51: …_N)\}, x_i\in \̲c̲a̲l̲ ̲X\sube \R^n, 弱学习方法

输出：最终分类器$G(x)$

步骤：

(1) 初始化训练数据的权值分布 $D_1=(w_{11},\cdots ,w_{1i},\cdots ,w_{1N}),w_{1i}=\frac{1}{N},i=1,2,\dots ,N$

(2) 对于第m次迭代($m=1,2,\dots ,M$)：

​ (a) 使用具有权值分布$D_m$的训练数据集学习，得到基本的分类器：
G m ( x ) : X − > { − 1 , + 1 } G_m(x):\mathcal X->\{-1,+1\} Gm​(x):X−>{ −1,+1}

​ (b) 求$G_m(x)$在训练集上的分类误差率 ：
$$e_m=\sum _{i=1}^{N}P(G_m(x_i)\ne y_i)=\sum _{i=1}^N{w}_{mi}I(G_m(x_i)\ne y_i)$$
​ © 计算$G_m(x)$的系数：
$${\alpha }_m=\frac{1}{2}log\frac{1-e_m}{e_m}$$

​ (d) 更新训练集的权值分布：
$$w_{m+1,i}=\frac{w_{mi}}{Z_m}exp(-{\alpha }_m{y}_i{G}_m(x_i))$$

​ 其中，$Z_m$ 是规范化因子，$Z_m={\sum }_{i=1}^N{w}_{mi}exp(-{\alpha }_m{y}_i{G}_m(x_i))$

(3) 构建基本分类器的线性组合：
$$f(x)=\sum _{m=1}^M{\alpha }_m{G}_m(x)$$

(4) 最终分类器:
$$G(x)=sign(f(x))=sign(\sum _{m=1}^M{\alpha }_m{G}_m(x))$$

说明：

步骤（1）假设训练数据具有均匀的权值分布，即每个训练样本在基本分类器的学习中作用相同，这一假设保证第一步能够在原始数据上学习基本分类器$G_1(x)$。

步骤（2）AdaBoost 反复学习基本分类器，在每一轮$m=1,2\dots ,M$ 顺次执行下列操作：

（a）使用当前分布$D_m$ 加权的训练数据集，学习基本分类器$G_m(x)$。

（b）计算基本分类器$G_m(x)$ 在加权训练集上的误分类误差：
$$e_m=\sum _{i=1}^N{w}_{mi}I(G_m(x_i)\ne y_i)=\sum _{G_m(x_i)\ne y_i}{w}_{mi}$$
​ 误差率是指被$G_m(x)$误分类样本的权值之和。

（c）计算基本分类器$G_m(x)$的系数${\alpha }_m$。由：
$${\alpha }_m=\frac{1}{2}log\frac{1-e_m}{e_m}$$
​ 可知，当$e_m\le \frac{1}{2}$ 时，${\alpha }_m\ge 0$，且${\alpha }_m$ 随着$e_m$ 的减小而增大，所以分类误差率越小的基本分类器在最终分类器中的作用越大。

（d）更新训练数据的权值分布为下一轮做准备。式$w_{m+1,i}=\frac{w_{mi}}{Z_m}exp(-{\alpha }_m{y}_i{G}_m(x_i))$中：

当$y_i=G_m(x_i)$时，$y_i{G}_m(x_i)=1$

当$y_i\ne G_m(x_i)$时，$y_i{G}_m(x_i)=-1$

所以有：
w m + 1 , i = { w m i Z m e − α m y i = G m ( x i ) w m i Z m e α m y i ≠ G m ( x i ) w_{m+1,i}=\begin{cases} \frac{w_{mi}}{Z_m}e^{-\alpha_m} \quad y_i=G_m(x_i) \\\frac{w_{mi}}{Z_m}e^{\alpha_m} \qquad y_i\ne G_m(x_i) \end{cases} wm+1,i​={ Zm​wmi​​e−αm​yi​=Gm​(xi​)Zm​wmi​​eα