概率非负分解与贝叶斯非负矩阵分解：原理、应用与对比

# 概率非负分解与贝叶斯非负矩阵分解：原理、应用与对比 ## 1. 概率非负分解概述 在信号处理和数据分析领域，不确定性建模是一个关键问题。通过概率框架进行不确定性建模有助于提高模型的正则化能力。在源分离任务中，不确定性可能源于不恰当的模型假设、错误的模型阶数、非平稳环境、混响失真以及可能的噪声干扰等。在概率框架下，非负光谱信号从概率分布中抽取。 ### 1.1 概率潜在成分分析（PLCA） 概率潜在成分分析（PLCA）是一种用于通过分解分析非负数据的概率潜在变量模型。其基本思想与概率潜在语义索引密切相关，后者常用于从离散值文本数据中提取潜在语义主题以进行信息检索。在这里，PLCA 用于从实值时频音频观测中学习潜在主题或潜在混合成分 z，用于源分离。 #### 1.1.1 PLCA 模型定义 概率模型定义为： $p(x) = \sum_{z} p(x,z) = \sum_{z} p(z) \prod_{i=1}^{J} p(x_i|z)$ 其中，$p(x)$ 是一个 J 维概率分布，随机变量 $x = \{x_1,x_2,\cdots,x_J\}$，$z$ 表示潜在变量。 #### 1.1.2 PLCA 与 NMF 的关系 PLCA 中的变量与非负矩阵分解（NMF）中的变量存在一一映射关系。NMF 模型表示为 $X \approx BW$，其中 $X \in R_{+}^{M\times N}$，$B \in R_{+}^{M\times K}$，$W \in R_{+}^{K\times N}$，且 $X_{mn} = \sum_{k} B_{mk}W_{kn}$。当 $J = 2$ 时，PLCA 中的 $p(x_1,x_2)$，$p(x_1|z)$，$p(x_2|z)p(z)$（或 $p(x_2,z)$）分别对应 NMF 中矩阵 $X$，$B$ 和 $W$ 的元素 $X_{mn}$，$B_{mk}$ 和 $W_{kn}$。 #### 1.1.3 PLCA 参数估计 由于 PLCA 中只有一个潜在变量 $z$，因此引入期望最大化（EM）算法来根据最大似然（ML）准则估计 PLCA 参数 $\theta = \{p(z),p(x_i|z)\}$。 - **E 步**：计算观测数据 $x$ 与潜在变量 $z$ 的对数似然的辅助函数或期望函数： $Q(\theta|\theta^{(\tau)}) = E_z[\log p(x,z|\theta)|x,\theta^{(\tau)}] = E_z\left[ q(z)\log \left( p(z) \prod_{i=1}^{J} p(x_i|z) \right) \right]$ 其中，给定当前参数估计 $\theta^{(\tau)} = \{(p(z))^{(\tau)},(p(x_i|z))^{(\tau)}\}$ 时，潜在变量 $z$ 的后验概率为： $q(z) \triangleq p(z|x,\theta^{(\tau)}) = \frac{(p(z))^{(\tau)} \prod_{i=1}^{J} (p(x_i|z))^{(\tau)}}{\sum_{z'} (p(z'))^{(\tau)} \prod_{i=1}^{J} (p(x_i|z'))^{(\tau)}}$ - **M 步**：通过最大化扩展辅助函数 $Q(\theta,\theta^{(\tau)})$ 来获得 PLCA 参数的新估计 $\theta^{(\tau + 1)} = \{(p(z))^{(\tau + 1)},(p(x_i|z))^{(\tau + 1)}\}$： $\theta^{(\tau + 1)} = \arg\max_{\theta} Q(\theta|\theta^{(\tau)})$ 更新后的 PLCA 参数为： $(p(z))^{(\tau + 1)} = \int p(x)p(z|x|\theta^{(\tau)})dx = \int p(x)q(z)dx$ $(p(x_i|z))^{(\tau + 1)} = \frac{\int\cdots\int p(x)p(z|x,\theta^{(\tau)})dx_j}{p(z)} = \frac{\int\cdots\int p(x)q(z)dx_j}{p(z)}$，$\forall j \neq i$ 如果观测 $x$ 是离散随机变量，更新规则替换为： $(p(z))^{(\tau + 1)} = \sum_{i} \sum_{x_i} p(x)p(z|x,\theta^{(\tau)})$ $(p(x_i|z))^{(\tau + 1)} = \frac{\sum_{