朴素贝叶斯法

前言

基于贝叶斯决策方法的优缺点：
优点：在数据较少的情况下依然有效，可以处理多类别问题
缺点：对于输入数据较为敏感
适用数据类型：标称型数据
贝叶斯定理阐述了两个随机事件之间的关系：
$$p(A|B)=\frac{p(B|A)p(A)}{p(B)}$$
朴素贝叶斯法是基于贝叶斯定理和特征独立性假设的分类方法。对于给定的训练数据，首先基于特征独立性假设学习输入输出的联合概率分布，然后基于此模型，对于给定的输入$x$，利用贝叶斯定理求出后验概率最大的输出$y$

基本方法

$X$是定义在输入空间$\chi$上随机变量，其中$\chi \subseteq R^n$为n维向量的集合，$Y$是定义在输出空间${\rm Y}$上的随机变量，输出空间为类标记集合Υ={c1,c2,...,cK}\Upsilon=\{c_1, c_2, ..., c_K\}Υ={c1​,c2​,...,cK​}， $P(X,Y)$为$X$和$Y$的联合概率分布。布训练数据为：
T={(x1,y1),(x2,y2),...,(xN,yN)}T=\{(x_1, y_1), (x_2, y_2), ..., (x_N, y_N)\}T={(x1​,y1​),(x2​,y2​),...,(xN​,yN​)}
由$P(X,Y)$独立同分布。
朴素贝叶斯通过训练数据先学习先验概率分布及条件概率分布，得到联合概率分布。先验概率分布
$$p(Y=c_k),k=1,2,...,K$$
条件概率分布

朴素贝叶斯分类时，对给定的输入$x$，通过学习到的模型计算后验概率分布$P(Y=c_k|X=x)$，将后验概率最大的类作为$x$的类输出。后验概率计算根据贝叶斯定理：

将(4.3）式带入上式，有

于是，朴素贝叶斯分类器可以表示为:

朴素贝叶斯的参数估计

极大似然估计

已知样本服从的分布，估计分布函数的参数$\theta$，比如正太分布的均值和协方差。主要通过构造一个似然函数，让似然函数最大化，求解$\theta$。直观解释是寻找一组参数，使得给定的样本集出现的概率最大。
假设样本服从的概率密度函数为$p(x,\theta )$，其中$x$为随机变量，$\theta$为要估计的参数。给定一组样本$x_i,i=1,...,l$它们服从这种分布，并且相互独立，最大似然估计构造如下似然函数：

对该函数取对数，得到对数似然函数：

最后要求解的问题为：

在朴素贝叶斯法中，应用极大似然估计法估计相应的概率。先验概率$P(Y=c_k)$的极大似然估计是

设第$j$个特征$x^{(j)}$可能取值的集合为$a_{j1},a_{j2},...,a_{j{s}_j}$，条件概率$P(X^{(j)}=a_{j}l|Y=c_k)$的极大似然估计是

其中，$x_i^{(j)}$是第$i$个样本的第$j$个特征，$a_{j}l$是第$j$个特征可能取得第$l$个值，$I$为指示函数。

贝叶斯估计

用极大似然估计可能会出现所要估计的概率值为0的情况，影响后验概率的结算结果，使得分类产生偏差。解决这一问题的方法是采用贝叶斯估计

其中$\lambda >=0$， 等价于在随机变量各个取值的频数上赋予一个正数$\lambda >0$，当$\lambda >0$时为极大似然估计，常取$\lambda =1$，这时称为拉普拉斯平滑。

参考：

1. 《统计学习方法》李航著
2. 《机器学习与应用》雷明