EM算法实验内容及图片分类任务

EM算法实验内容

一、基本原理

简介

EM算法又称期望最大化算法，是一种迭代算法，是在概率模型中寻找参数极大似然估计的算法，其中概率模型依赖于无法观测的隐含变量。它主要用于从含有隐含变量的数据中计算极大似然估计。是解决存在隐含变量优化问题的有效方法。

简单推导

1. JENSEN不等式

设$f$是定义域为实数的函数，如果对于所有的实数$x$，$f”(x)\ge 0$，那么$f$是凸函数。

Jensen不等式表述如下：
$E(f(X))\ge f(E(X))$

特别地，如果$f$是严格凸函数，那么$E(f(X))=f(E(X))$当且仅当，也就是说$X$是常量。

2. EM算法
（1）完整数据：

• 观测数据：观测到的随机变量$X$样本
  $X=(x_1,...,x_n)$

• 隐含变量：未观测到的随机变量$Z$的值
  $Z=(z_1,...z_n)$

• 完整数据：包含观测到的随机变量$X$和隐含变量$Z$的数据：$Y=(X,Z)$
  $Y=((x_1,z_1),...(x_n,z_n))$

给定的训练样本是$x_1,x_2,...,x_n$，样例间独立，我们想找到每个样例隐含的类别$z$，能使得$p(x,z)$最大。$p(x,z)$的最大似然估计如下：

EM算法的思想是不断建立$l$的下界（E-step），然后优化下界（M-step）。

对于每一个样例$i$，让$Q_i$表示该样例隐含变量$z$的某种分布，$Qi$满足

$\Sigma z{Q}_i(z)=1,Qi(z)\ge 0$

得到

这里运用JENSEN不等式，将(3)看成是$\theta$的函数，$\theta$又是模型里的参数，上述过程看成是对$l(\theta )$求下界的过程，所以(3)是参数$\theta$的对数似然函数的下界。

等式成立的条件为：

$c$为常数，不依赖于$z^i$。对此式子做进一步推导，我们知道$\Sigma z{Q}_i(z^i)=1$
则

${\Sigma }_{z}p(x^i,z^i;\theta )=c$

推出下式

3. 算法步骤

• E-step：固定$\theta$后，选择隐含变量$z^i$的概率分布
  
• 在给定$Q_i(z^{}$