机器学习入门之异常检测

异常检测(Anomaly Detection)

异常检测属于非监督问题。异常检测是机器学习算法的一个常见应用，是对不匹配预期模式或数据集中其他项目的项目、事件或观测值的识别。简单来说，当正样本比较多时，通过对正样本的学习，机器学会正样本的特征，从而对异常样本有了识别能力。

异常检测的核心就在于找到一个概率模型，帮助我们知道一个样本落入正常样本中的概率，从而帮助我们区分正常和异常样本。

高斯分布

高斯分布模型是异常检测中常用的概率模型。其概率密度函数如下：

$$p(x,\mu ,{\sigma }^2)=\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(x-\mu {)}^2}{2{\sigma }^2})$$

其中：

• $\mu =\frac{1}{m}\sum _{i=1}^m{x}^{(i)}$
• ${\sigma }^2=\frac{1}{m}\sum _{i=1}^m(x_j^{(i)}-{\mu }_j{)}^2$

应用到异常检测算法，对于$m$ 个样本的数据集，针对每一个特征，进行参数估计：

• ${\mu }_j=\frac{1}{m}\sum _{i=1}^m{x}_j^{(i)}$
• ${\sigma }_j^2=\frac{1}{m}\sum _{i=1}^m(x^{(i)}-\mu {)}^2$

假设每个样本有$n$个特征，即 $x_i$ 变成一个 $n$ 维的向量 $\left[\begin{array}{c}{x}_i^{(1)}\\ x_i^{(2)}\\ ⋮\\ x_i^{(n)}\end{array}\right]$

对于一个训练实例，有：

$$p(x)=\prod _{j=1}^n(x_j,\mu ,{\sigma }^2)=\prod _{j=1}^n\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(x-\mu {)}^2}{2{\sigma }^2})$$

如何判断样本是否异常？

我们选择一个$ϵ$，将 $p(x)=ϵ$ 作为我们的判定边界，当 $p(x)>ϵ$ 时预测数据为正常数据，否则为异常。

异常检测与有监督学习对比

特征选择

我们使用异常检测算法时，是假设数据集特征符合高斯分布的。但有时候数据集可能像下图左边一样，这时直接用异常检测算法也是可以得出结果，但一般我们可以对数据进行一些转换如取对数操作，将其转换为高斯分布。

误差分析

有时候，我们可能发现某个异常样本的$p(x)$ 值高于$ϵ$，我们对此进行分析，观察是哪些异常数据被预测为正常。下面以监测机房中的服务器异常为例：

假设我们选取如下特征：

$x_1=网络流量；x_2=CPU负载$

当出现一个异常：CPU负载很高，而网络流量很低，服务器卡死，无法通信。如下图：

此时的$p(x)$ 值也会很高，为了识别这一异常状况，我们可以构建新的特征：$x_3=\frac{CPU负载}{网络流量}$ ，当上述异常发生时，这个特征便会变得很大，有利于我们识别出来。

多元高斯分布

一般的高斯模型因为是同时累乘每个特征的偏差，所以会创造出一个较大的判定边界。

模型定义：

p ( x , μ , Σ )