机器学习之支持向量机python实现

前言：纸上得来终觉浅，绝知此事要躬行。

一. 理论基础

1. 函数间隔与几何间隔

函数间隔: $\hat{\gamma}=y_i(w*x_i+b)$
几何间隔: $\gamma=y_i(\frac{w*x_i+b}{\mid\mid{w}\mid\mid})$

2. 优化目标：

$$\min_{\alpha}\ \ \ \ \ \ \frac{1}{2}\sum_{i=0}^{m}\sum_{j=0}^{m}{\alpha_i\alpha_jy_iy_jx_ix_j}-\sum_{i=0}^{m}\alpha_i$$
$$s.t.\ \ \ \sum_{i=0}^{m}\alpha_iy_i=0$$
$$s.t.\ \ \ 0\le\alpha_i\le{C},\ \ \ (i=1,2,\cdots,m)$$

3. 推导过程：

我们的目标是最大化距离边界最近的点的几何间隔，可以形式化

$$\max_{w,b}\gamma$$
$$s.t.\ \ \ \ \ \ \ \ y_i(\frac{w*x_i+b}{\mid\mid{w}\mid\mid})\ge\gamma\ \ \ ,\ \ \ (i=1,2,\ldots,m)$$

根据几何间隔与函数间隔的关系

$$\max_{w,b}\frac{\hat{\gamma}}{\mid\mid{w}\mid\mid}$$
$$s.t.\ \ \ \ \ \ \ \ y_i(w*x_i+b)\ge\hat{\gamma}\ \ \ ,\ \ \ (i=1,2,\ldots,m)$$

由于$\hat{\gamma}$与w，b同步变化，所以$\gamma$的缩放对上述约束条件没有影响，令$\hat{\gamma}=1$

$$\max_{w,b}\frac{1}{\mid\mid{w}\mid\mid}$$
$$s.t.\ \ \ \ \ \ \ \ y_i(w*x_i+b)\ge1\ \ \ ,\ \ \ (i=1,2,\ldots,m)$$

最大化$\frac{1}{\mid\mid{w}\mid\mid}$与最小化$\frac{1}{2}\mid\mid{w}\mid\mid^2$等价

$$\min_{w,b}\frac{1}{2}\mid\mid{w}\mid\mid^2$$
$$s.t.\ \ \ \ \ \ \ \ y_i(w*x_i+b)\ge1\ \ \ ,\ \ \ (i=1,2,\ldots,m)$$

加上软间隔，适用于训练数据线性不可分情形