【机器学习】最小二乘法支持向量机LSSVM的数学原理与Python实现

一、LSSVM数学原理

1. 感知机

SVM是从感知机发展而来。假设有m个训练样本 { ( x i , y i ) } i = 1 m \left\{ {\left. {\left( { {x_i},{y_i}} \right)} \right\}} \right._{i = 1}^m { (xi​,yi​)}i=1m​, y i ∈ { 1 , − 1 } {y_i} \in \left\{ {1, - 1} \right\} yi​∈{ 1,−1}，$x_i\in R^n$表示n维的训练样本输入向量。我们企图找到分隔超平面$WX+b=0$能够分隔正负样本。
感知机直接将误分类的样本到分隔超平面之间的距离作为损失函数。在感知机模型求解过程中，分隔超平面权重W和偏差b的初始值选择不同，求出最终的分隔超平面是不同的。这就引出了SVM的模型训练思想：使得离分隔超平面最近的样本与分隔超平面的距离最远。下面介绍函数间隔与几何间隔的含义：

2. SVM

• 函数间隔：
  对于训练集中的一个样本$\left(x_i,y_i\right)$,其函数间隔为 $r_i=y_i(W\cdot x_i+b)$。
  训练集的函数间隔等于所有样本点的函数间隔的最小值：$r=\underset{i=1,\cdots m}{\min }{r}_i$
  函数间隔只能表示分类预测的正确性，不能表示样本到分隔超平面的准确距离。

• 几何距离
  对于训练集中的一个样本$\left(x_i,y_i\right)$,其函数间隔为 $R_i=y_i\cdot \frac{1}{\Vert W\Vert }\left(W\cdot x_i+b\right)$。
  训练集的函数间隔等于所有样本点的函数间隔的最小值：$R=\underset{i=1,\cdots m}{\min }{R}_i$
  几何间隔不但可以表示分类预测的正确性还能准确地表示样本到分隔超平面的距离。

SVM的优化问题转化为最大化训练样本的几何距离：

$\begin{array}{l}\underset{W,b}{\max }\frac{r}{\Vert W\Vert }\\ s.t.y_i(W\cdot x_i+\end{array}$