支持向量机(Support Vector Machine, SVM)是一类按监督学习方式对数据进行二元分类的广义线性分类器,其决策边界是对学习样本求解的最大边距超平面。
SVM使用铰链损失函数计算经验风险并在求解系统中加入了正则化项以优化结构风险,是一个具有稀疏性和稳健性的分类器 。SVM可以通过核方法进行非线性分类,是常见的核学习方法之一。
多核SVM是多核学习(multiple kernel learning)在监督学习中的实现,是在标准的非线性SVM中将单个核函数替换为核函数族(kernel family)的改进算法。多核SVM的构建方法可以被归纳为以下5类:
- 显式规则(fixed rule):在不加入任何超参数的情形下使用核函数的性质,例如线性可加性构建核函数族。显示规则构建的多核SVM可以直接使用标准SVM的方法进行求解。
- 启发式方法(heuristic approach):使用包含参数的组合函数构建核函数族,参数按参与构建的单个核函数的核矩阵或分类表现确定。
- 优化方法(optimization approach):使用包含参数的组合函数构建核函数族,参数按核函数间的相似性或最小化结构风险或所得到的优化问题求解。
- 贝叶斯方法(Bayesian approach):使用包含参数的组合函数构建核函数族,参数被视为随机变量并按贝叶斯推断方法进行估计。
- 提升方法(Boosting approach):按迭代方式不断在核函数族中加入核函数直到多核SVM的分类表现不再提升为止。
从分类的准确性而言,多核SVM具有更高的灵活性,在总体上也优于使用其核函数族中某个单