小白零基础学数学建模系列-Day17-深入理解支持向量机（SVM）

小白零基础学数学建模系列-Day17-深入理解支持向量机（SVM）

CSDN/B站/知乎：川川菜鸟

书籍推荐：https://item.m.jd.com/product/10099450547669.html

我的微信（接数学建模咨询，机器学习项目，数模学术论文转化服务）：hxgsrubxjogxeeag

1. 引言

SVM 是一种监督学习模型，主要用于分类问题。其目标是在特征空间中找到一个能够最大化分类间隔的超平面。超平面将数据点分为不同的类别，SVM 通过找到离超平面最近的支持向量数据点，确保分类的最佳性能。在介绍支持向量机之前，我们需要先了解一些关键的基础概念。

SVM 的核心概念包括：

线性可分：SVM 尝试在特征空间找到一个超平面，线性划分数据。
最大化分类间隔：SVM 寻求找到能够最大化分类间隔的超平面。
非线性数据处理：通过核函数，SVM 能够有效处理非线性分类问题。

2. 基础概念

2.1. 分类与回归问题
SVM 通常用于分类问题，但它也可以通过变种（如 SVR）用于回归问题。

分类问题：目标是将数据划分为不同的类别。例如，给定一组特征，预测一封邮件是否为垃圾邮件。
回归问题：目标是预测一个连续值。例如，基于历史数据预测房价。

2.2. 线性可分与非线性可分
SVM 的核心在于找到一个能够分离不同类别的超平面，因此了解数据是否线性可分很重要。通过核函数将数据映射到更高维度，使其在新的空间中线性可分。

线性可分：可以用一条直线或一个平面将数据点清晰地分成不同的类别。
非线性可分：类别之间无法用直线或平面直接分开。SVM

2.3. 模型评估与选择
在应用 SVM 时，理解如何评估模型的性能和选择最佳模型非常重要。常用的模型评估指标有：

准确率：分类模型的准确率，表示正确分类的比例。
精确率、召回率和 F1 值：用于评估分类器的精确度和覆盖率，尤其在数据不平衡时特别重要。
交叉验证：通过将数据集划分为训练集和验证集，确保模型的泛化能力。

2.4. 数据标准化
在使用 SVM 之前，数据标准化是一个非常重要的步骤。因为 SVM 依赖于计算数据点之间的距离，特征尺度不同会影响模型的性能。常见的标准化方法有：

标准化：将数据转换为均值为 0，方差为 1 的标准正态分布。
归一化：将数据缩放到 [0, 1] 或 [-1, 1] 的范围。

3. SVM 模型的基本概念

3.1 支持向量
定义：支持向量就是那些“关键的”数据点。你可以把它们想象成站在分界线（分类边界）附近的“哨兵”，这些哨兵决定了分界线应该放在哪里。远离分界线的数据点并不会影响结果，真正起作用的就是这些靠近边界的数据点，它们帮助SVM找到最合适的分界线。

原理：SVM 在训练时仅依赖于这些支持向量来确定超平面的位置和方向。这与其他分类算法不同，SVM 不需要用到所有的数据点来进行训练，而是仅依赖于这些最具代表性的数据点。

3.2 分类超平面
定义：分类超平面就是用来分开不同类别的“线”或者“面”。如果你有一群苹果和橙子，SVM会试图画一条线把苹果和橙子分开，这条线就是分类超平面。在更高维的空间里，它可能不再是简单的线，而是一个“平面”甚至“超平面”，但本质上它就是那个把两类东西分开的边界。

公式表达：
对于二维数据，超平面可以表示为线性方程：
$$w\cdot x+b=0$$

w 是权重向量，x 是特征向量，b 是偏置项。SVM 通过求解该方程，确定分类边界。

最大间隔原理：SVM 寻找的是分类间隔最大的超平面，即在分类问题中，超平面与最近数据点之间的距离尽可能大。分类间隔越大，模型的泛化能力越好，这有助于避免过拟合。

3.3 核函数
定义：核函数就像是一个转换器。当你的数据不能用简单的线来分开时，核函数会把这些数据从当前的空间“变换”到一个更高维的空间。在这个新的空间里，数据可以用一条直线或一个平面轻松分开。这个转换过程是SVM应对复杂数据的核心。

常见核函数：

线性核：适用于线性可分问题。
多项式核：用于特征之间有非线性关系的情况，适合复杂数据。
径向基函数（RBF）核：最常用的核函数之一，适合处理大多数非线性问题。它通过计算两个点之间的距离来判断是否属于同一类别。
Sigmoid核：类似于神经网络中的激活函数，在某些特定问题中也会使用。

公式表达：
对于两点 x₁和 x₂ ，常见核函数的表达式如下：

线性核：
$$K(1,2)=C_1{C}_2$$

多项式核：
$$K(1,2)=(x_1\cdot x_2+1{)}^d$$

其中，d 为多项式的阶数。

径向基核（RBF）：
$$K($$