【西瓜书笔记】8. EM算法（上）

EM算法的引入

引入EM算法的原因：

概率模型有时候既含有观测变量，又含有隐变量或者潜在变量。如果概率模型的变量都是观测变量，那么给定数据，可以直接用极大似然估计法，或者贝叶斯估计法估计模型参数。但是当模型含有隐变量时，就不能简单地使用这些估计方法。EM算法就是含有隐变量的概率模型参数的极大似然估计法。

EM算法的例子

《统计学习方法》例9.1（三硬币模型）：

假设有3枚硬币，分别记作A，B，C。这些硬币正面出现的概率分别是 $\pi$ ，$p$ 和 $q$ 。进行如下掷硬币试验: 先掷硬币A，根据其结果选出硬币B或硬币C，正面选硬币B，反面选硬币C;然后掷选出的硬币，掷硬币的结果，出现正面记作1，出现反面记作0;独立地重复n次实验(这里，n=10)，观测结果如下
$$1,1,0,1,0,0,1,0,1,1$$
假设只能观测到掷硬币的结果，不能观测掷硬币的过程。问如何估计三硬币正面出现的概率，即三硬币模型的参数。

对于每一次实验可以进行如下建模：
$$P(y\mid \theta )=\sum _{z}P(y,z\mid \theta )=\sum _{z}P(z\mid \theta )P(y\mid z,\theta )$$
随机变量y是观测变量，表示一次试验观测的结果是1或0;随机变量z是隐变量，表示未观测到的掷硬币A的结果。这里其实利用了$P(A)={\sum }_{B}P(A,B)$，以及$P(A,B)=P(A)\cdot P(A|B)$。然后我们有
$$\begin{array}{rl}P(y\mid \theta )& =\sum _{z}P(y,z\mid \theta )=\sum _{z}P(z\mid \theta )P(y\mid z,\theta )\\ & =P(z=1\mid \theta )P(y\mid z=1,\theta )+P(z=0\mid \theta )P(y\mid z=0,\theta )\\ & =\{\begin{array}{ll}\pi p+(1-\pi )q,& \text{ if }y=1\\ \pi (1-p)+(1-\pi )(1-q),& \text{ if }y=0\end{array}\\ & =\pi p^y(1-p{)}^{1-y}+(1-\pi )q^y(1-q{)}^{1-y}\end{array}$$
这里$\theta =(\pi ,p,q)$是模型参数。将观测数据表示为$Y={\left(Y_1,Y_2,\dots ,Y_n\right)}^T$，未观测数据表示为$Z={\left(Z_1,Z_2,\dots ,Z_n\right)}^T$,则观测数据的似然函数为每次实验累乘的结果：
$$\begin{gathered} P(Y\mid \theta )=\sum _{Z}P(Z\mid \theta )P(Y\mid Z,\theta )=\prod _{j=1}^{n}P\left(y_j\mid \theta \right) \\ =\prod _{j=1}^n\left[\pi p^{y_j}(1-p{)}^{1-y_j}+(1-\pi )q^{y_j}(1-q{)}^{1-y_j}\right] \end{gathered}$$
考虑求模型参数$\theta =(\pi ,p,q)$的极大似然估计，也就是使用对数似然函数来进行参数估计可得：
$$\begin{array}{rl}\hat{\theta }& =\arg \underset{\theta }{\max }\ln P(Y\mid \theta )\\ & =\arg \underset{\theta }{\max }\ln \prod _{j=1}^n\\ & \end{array}$$