支持向量机

欢迎访问我的博客首页。

  在深度学习出现之前，相比于 knn、神经网络、决策树，SVM 是机器学习算法中处理复杂问题(如图像识别、人脸识别)效果最好的算法。

1. 间隔与支持向量

  超平面是 n 维欧氏空间中余维度等于 1 的线性子空间。它是 2 维空间的直线、3 维空间的平面在 n 维空间的推广。

$$图1支持向量与间隔$$

  支持向量机的基本功能是 2 分类，它的作用就是找到一个超平面，把 n 维空间中的正负样本点分开。n 维空间的超平面方程和点到超平面的距离公式如下：

$$w^{T}x+b=0.\text{\hspace{1em}(1)}$$
$$r=\frac{|w^{T}x+b|}{||w||}.\text{\hspace{1em}(2)}$$

  当 w 的维度为 1 时上面的两个方程分别是平面中的直线方程和二维点到直线的距离公式；当 w 的维度为 2 时上面的两个方程分别是空间中的平面方程和三维点到平面的距离公式。
  用 1 表示正样本，-1 表示负样本，容量为 m 的训练样本可以表示为 D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x m , y m ) } , y i ∈ { − 1 , 1 } D = \{ (x_1, y_1), (x_2, y_2), ..., (x_m, y_m) \}, \quad y_i \in \{ -1, 1 \} D={(x1​,y1​),(x2​,y2​),...,(xm​,ym​)},yi​∈{−1,1}。如果超平面 $(w,b)$ 能将训练样本 D 正确分类，则对于 $(x_i,y_i)\in D$，若 $y_i=1$ 则 $w^T{x}_i+b>0$，若 $y_i=-1$ 则 $w^T{x}_i+b<0$。我们为正负样本定两个边界：

$$\{\begin{array}{l}{w}^T{x}_i+b\ge +1,y_i=+1;\\ w^T{x}_i+b\le -1,y_i=-1.\end{array}\text{\hspace{1em}(3)}$$

  距离超平面最近的几个正样本点和负样本点分别在这两个边界上，它们使公式 (3) 的等号成立，称为支持向量。这两个边界的距离

$$\gamma =\frac{2}{||w||}.\text{\hspace{1em}(4)}$$

  欲找到最大间隔的划分超平面，就要找到满足公式 (3) 的参数 w 和 b 使 $\gamma$ 最大，即

$$\underset{w,b}{\max }\frac{2}{||w||}s.t.y_i(w^T{x}_i+b)\ge 1,i=1,2,...,m.\text{\hspace{1em}(5)}$$

  上式等价于

$$\underset{w,b}{\min }\frac{1}{2}||w|{|}^{2}s.t.y_i(w^T{x}_i+b)\ge 1,i=1,2,...,m.\text{\hspace{1em}(6)}$$

  这就是支持向量机的基本型。

2. 对偶问题

  我们希望求解公式 (6) 来得到大间隔划分超平面所对应的模型

$$f(x)=w^{T}x+b.\text{\hspace{1em}(7)}$$

  公式 (6) 是一个凸二次规划问题，可以使用现成的优化计算包求解，下面介绍更高效的方法。对公式 (6) 使用拉格朗日乘子法可得到其对偶问题

$$L(w,b,\alpha )=\frac{1}{2}||w|{|}^2+\sum _{i=1}^m{\alpha }_i(1-y_i(w^T{x}_i+b)),\text{\hspace{1em}(8)}$$

其中 $\alpha =({\alpha }_1;{\alpha }_2;...;{\alpha }_m)$。