机器学习之SVM

一、线性可分SVM：

其实优化目标就是使得图中的间隔最大化，这样分离超平面可证明是唯一的，所以有：


经过对偶转换后变为：


不等式约束中拉格朗日乘子不为0的实例点即为支持向量。

二、线性不可分SVM(线性模型处理不可分数据)：
当数据不可分时，给每个数据引入一个松弛变量：



经过对偶转换后变为：






三、非线性SVM(非线性模型处理不可分数据)：
不管是上面哪种SVM，其优化的目标式子都可以表示为：

其中 xi * xj 可以从预先构建的Gram中获取，而非线性SVM的基本思想是找到一个新的映射来替换 xi * xj ，从而获得一组新的内积Gram矩阵。



SMO优化算法：
由上面的非线性SVM可得出优化式子为：

这个式子由原问题转换为对偶问题，然后推导出来的，这本身也是一个二次规划问题，当样本数量较大时，普通的二次规划求解方法效率较低，因此引入SMO算法。



其中省去了不含 a1，a2 的项，视为常数。
这两个变量的更新方式详见《统计学习方法》7.4.1，在每次迭代中，对于第一个变量 a1，选择违反KKT条件最严重的样本，检查优先级为先查间隔边界的样本 点，在查其他。对于 a2 的选择，希望使得 a2 的变化尽可能大，详见《统计学习方法》7.4.2。