04 朴素贝叶斯法——读书笔记

一、相关概念：

1. 先验概率：
   是指事件发生前的预判概念，也可以说是“因”发生的概率，即表示为 P(X)。
2. 条件概率：
   是指事件发生后求得反向条件概率，也可以说是在“因”的条件下，“果”发生的概率，即表示为 P(Y|X)。
3. 后验概率：
   一个事件发生后导致另一个事件发生的概率，也可以说是在“果”出现的情况下，是什么“因”导致的概率，即表示为P(X|Y)。
4. 似然概率：
   类似于条件概率，即“因”的条件下，“果”发生的概率，即表示为 P(Y|X)。
5. 贝叶斯定理：（又称条件概率定理）
   $$P(Y|X)=\frac{P(X|Y)\ast P(Y)}{P(X)}$$

二、朴素贝叶斯法概述：

朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入输出的联合概率分布；然后基于该模型，对于给定的输入$x$，利用贝叶斯定理求出后验概率最大的输出$y$.

1. 先验概率分布、条件概率分布、联合概率分布：
   已知输入空间 $\chi ⫅R^n$ 为 $n$ 维向量的集合，输出空间为类标记集合 $\gamma =\left\{\begin{array}{c}{c}_1,c_2,...,c_K\end{array}\right\}$ 。输入为特征向量 $x$，输出为类标记 $y$。 训练数据集为：$T=\left\{\begin{array}{c}(x_1,y_1),(x_2,y_2),(x_3,y_3),...,(x_N,y_N)\end{array}\right\}$。
   （1）先验概率分布：
   $$P(Y=c_k),k=1,2,3,...,K$$
   （2）条件概率分布：
   $$P(X=x|Y=c_k)=P(X^{(1)}=x^{(1)},...,X^{(n)}=x^{(n)}|Y=c_k),k=1,2,...,K$$
   （3）联合概率分布：
   朴素贝叶斯法通过训练数据集学习到联合概率分布$P(X,Y)$.
   $$P(X,Y)=P(Y=c_k)P(X=x|Y=c_k),k=1,2,...,K$$
   （4）后验概率分布：
   $$P(Y=c_k|X=x)=\frac{P(X=x|Y=c_k)\ast P(Y=c_k)}{{\sum }_{k}P(X=x|Y=c_k)\ast P(Y=c_k)}$$
2. 条件独立性假设：
   由于条件概率分布具有指数级数量的参数，其估计实际是不可行的。事实上，假设 $x^{(j)}$ 可取值 $S_j$个，其中 $j=1,2,...,n$，$Y$ 可取值有$K$个，则联合分布概率的参数个数为：$K{\prod }_{j=1}^n{S}_j$.
   所以，朴素贝叶斯法对条件概率分布作了条件独立性的假设，这一假设使得朴素贝叶斯法变得简单，但有时会牺牲一定的分类准确率。条件独立性假设是指：
   $$P(X=x|Y=c_k)=P(X^{(1)}=x^{(1)},...,X^{(n)}=x^{(n)}|Y=c_k)$$
   $$=\prod _{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)$$
   在条件独立性假设条件下:
   (1)条件概率分布：
   $$P(X=x|Y=c_k)=P(X^{(1)}=x^{(1)},...,X^{(n)}=x^{(n)}|Y=c_k)$$
   $$=\prod _{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)$$
   (2)后验概率分布：
   $$P(Y=c_k|X=x)=\frac{{\prod }_j^{}P(X^{(j)}=x^{(j)}|Y=c_k)\ast P(Y=c_k)}{{\sum }_{k}P(Y=c_k)\ast {\prod }_j^{}P(X^{(j)}=x^{(j)}|Y=c_k)}$$
   (3)联合概率分布：

$$y=argma{x}_{c_k}P(Y=c_k)\ast \prod _{j}P(X^{(j)}=x^{(j)}|Y=c_k).$$

三、后验概率最大化的含义：

朴素贝叶斯法将实例分到后验概率最大的类中。这等价于期望风险最小化。假设选择0-1损失函数：
$$L(Y,f(X))=\left\{\begin{array}{cc}1,& Y\ne f(X)\\ 0,& Y=f(X)\end{array}\right\}$$
为了使期望风险最小化，只需要对$X=x$逐个极小化，根据期望风险最小化准则就得到了后验概率最大化准则：
$$y=argma{x}_{c_k}P(c_k|X=x)$$
即朴素贝叶斯法所采用的原理。

四、朴素贝叶斯算法的定义：

输入：训练集 $T=\left\{\begin{array}{c}(x_1,y_1),(x_2,y_2),(x_3,y_3),...,(x_N,y_N)\end{array}\right\}$；实例 $x$；
输出：实例 $x$ 的分类。
（1）计算先验概率和条件概率：
$$P(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)}{N},k=1,2,3,...,K$$
$$P(X^{(j)}=a_{jl}|Y=c_k)=\frac{{\sum }_{i=1}^{N}I(x_i^{(j)}=a_{jl}，y_i=c_k)}{{\sum }_{i=1}^{N}I(y_i=c_k)},k=1,2,3,...,K；j=1,2,...,n；l=1,2,...,S_j$$
（2）对给出的实例$x=\left\{\begin{array}{c}{x}^{(1)},x^{(2)},...,x^{(n)}\end{array}\right\}$计算联合概率分布：
$$P(Y=c_k)\ast \prod _{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k),k=1,2,3,...,K$$
（3）根据最大值确定实例 $x$的类：
$$y=argma{x}_{c_k}P(Y=c_k)\ast \prod _{j}P(X^{(j)}=x^{(j)}|Y=c_k).$$

五、朴素贝叶斯法的参数估计：

1. 极大似然估计：
   （1）先验概率的极大似然估计：
   $$P(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)}{N},k=1,2,3,...,K$$
   （2）条件概率的极大似然估计：
   $$P(X^{(j)}=a_{jl}|Y=c_k)=\frac{{\sum }_{i=1}^{N}I(x_i^{(j)}=a_{jl}，y_i=c_k)}{N},k=1,2,3,...,K；j=1,2,...,n；l=1,2,...,S_j$$
2. 贝叶斯估计：
   （1）贝叶斯估计的极大似然估计：
   $$P(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)+\lambda }{N+K\lambda },k=1,2,3,...,K$$
   （2）贝叶斯估计的极大似然估计：
   $$P(X^{(j)}=a_{jl}|Y=c_k)=\frac{{\sum }_{i=1}^{N}I(x_i^{(j)}=a_{jl}，y_i=c_k)+\lambda }{{\sum }_{i=1}^{N}I(y_i=c_k)+S_j\lambda },k=1,2,3,...,K；j=1,2,...,n；l=1,2,...,S_j$$