统计学习方法——支持向量机(SVM)

SVM

支持向量机 (support vector machines, SVM) 是一种二类分类模型，它的基本模型是定义在特征空间上的间隔最大的线性分类器；支持向量机还包含核技巧，这使它成为实质上的非线性分类器

支持向量机的学习算法是求解凸二次规划的最优化算法

欧几里得空间和希尔伯特空间 【源自维基百科】

• 欧几里得空间

  可以被扩展来应用于任何有限维度，而这种空间叫做n维欧几里得空间（甚至简称 n 维空间）或有限维实内积空间

• 希尔伯特空间

  即完备的内积空间，也就是说一个带有内积的完备向量空间。希尔伯特空间是有限维欧几里得空间的一个推广，使之不局限于实数的情形和有限的维数，但又不失完备性（而不像一般的非欧几里得空间那样破坏了完备性）

线性可分支持向量机与硬间隔最大化

• 线性可分支持向量机的定义
• 最优化问题的推导
  
• 最大间隔法
  

线性支持向量机与软间隔最大化

假设训练集不是线性可分的【意味着某些样本点不能满足函数间隔大于等于1的约束条件】，通常情况是