计算机视觉中的概率图模型：不完整数据下的贝叶斯网络学习

# 计算机视觉中的概率图模型：不完整数据下的贝叶斯网络学习 在计算机视觉领域，概率图模型是一种强大的工具，可用于处理复杂的概率关系。当数据不完整时，贝叶斯网络（BN）的参数学习和结构学习变得更具挑战性。本文将介绍不完整数据下BN参数学习和结构学习的方法。 ## 1. 不完整数据下的BN参数学习 在不完整数据中，变量 $Z_m$ 可能随机缺失或始终缺失。与完整数据情况类似，不完整数据下的BN参数学习也可通过最大似然法或贝叶斯法实现。 ### 1.1 最大似然估计 最大似然估计（ML）需要通过最大化边际似然来找到BN参数 $\theta = \{\theta_n\}_{n=1}^N$： $$\theta^* = \arg\max_{\theta} \log p(y|\theta) = \arg\max_{\theta} \sum_{m=1}^M \log \sum_{z_m} p(y_m, z_m|\theta)$$ 其中，$y = \{y_m\}_{m=1}^M$ 和 $z$ 假定为离散变量。该方法的主要挑战在于边际对数似然由于对数求和项而不再可分解，且边际似然函数不再是凹函数，局部最大值的数量取决于缺失变量的数量，这使得参数学习变得更加复杂。通常有两种方法来解决这个问题：直接法和期望最大化（EM）法。 #### 1.1.1 直接法 直接法通过梯度上升法迭代地解决最大化问题： $$\theta_t = \theta_{t - 1} + \eta \nabla_{\theta}$$ 其中，$\eta$ 是学习率，参数的梯度计算如下： $$\nabla_{\theta} = \frac{\partial \sum_{m=1}^M \log \sum_{z_m} p(y_m, z_m|\theta)}{\partial \theta} = \sum_{m=1}^M \sum_{z_m} p(z_m|y_m, \theta) \frac{\partial \log p(y_m, z_m|\theta)}{\partial \theta} = \sum_{m=1}^M E_{z_m \sim p(z_m|y_m, \theta)}(\frac{\partial \log p(x_m, \theta)}{\partial \theta})$$ 当 $z_m$ 的配置数量很大时，无法枚举所有配置来精确计算期望梯度，可通过采样 $p(z_m|y_m, \theta)$ 获得样本 $z_s$，并使用样本平均值来近似期望梯度： $$\nabla_{\theta} = \sum_{m=1}^M \frac{1}{S} \sum_{s=1}^S \frac{\partial \log p(y_m, z_s, \theta)}{\partial \theta}$$ 当训练数据规模 $M$ 非常大时，可使用随机梯度法。 对于每个节点的参数 $\theta_{njk}$，可通过重写目标函数来计算其梯度： $$\log p(y|\theta) = \sum_{m=1}^M \log \sum_{z_m} \prod_{n=1}^N \prod_{j=1}^{J_n} \prod_{k=1}^{K_n} \theta_{njk}^{I(x_m^n = k \& \pi((x_m^n) = j))}$$ 其梯度为： $$\nabla_{\theta_{njk}} = \frac{\partial \log p(y|\theta)}{\partial \theta_{njk}} = \sum_{m=1}^M \frac{\sum_{z_m} \prod_{n'=1,n'\neq n}^N \prod_{j=1}^{J_n} \prod_{k=1}^{K_n} \theta_{n'jk}^{I(x_m^n = k \& \pi((x_m^n) = j))}}{\sum_{z_m} \prod_{n=1}^N \prod_{j=1}^{J_n} \prod_{k=1}^{K_n} \theta_{njk}^{I(x_m^n = k \& \pi((x_m^n) = j))}}$$ $\theta_{njk}$ 的更新公式为： $$\theta_{njk}^t = \theta_{njk}^{t - 1} + \eta \nabla_{\theta_{njk}}$$ 需要注意的是，$\theta_{njk}$ 必须是介于0和1之间的概率数，可通过重新参数化 $\theta_{njk} = \sigma(\alpha_{njk})$ 实现，并在每次迭代中进行归一化，确保 $\sum_{k=1}^K \theta_{njk} = 1$。 #### 1.1.2 期望最大化（EM）法 EM法是一种广泛使用的不完整数据参数估计方法。它通过最大化期望对数似然来替代直接最大化边际对数似然。期望对数似然是边际对数似然的下界，可通过Jensen不等式得到： $$\log p(D|\theta) = \sum_{m=1}^M \log p(y_m|\theta) = \sum_{m=1}^M \log \sum_{z_m} p(y_m, z_m|\theta) = \sum_{m=1}^M \log \sum_{z_m} \frac{q(z_m|y_m, \theta_q) p(y_m, z_m|\theta)}{q(z_m|y_m, \theta_q)} \geq \sum_{m=1}^M \sum_{z_m} q(z_m|y_m, \theta_q) \log \frac{p(y_m, z_m|\theta)}{q(z_m|y_m, \theta_q)}$$ EM法通过迭代的E步和M步来最大化上述下界： - **E步**： $$Q_t(\theta_t|\theta_{t - 1}) = \sum_{m=1}^M \sum_{z_m} p(z_m|y_m, \theta_{t - 1}