贝叶斯非负矩阵分解（BNMF）方法介绍

# 贝叶斯非负矩阵分解（BNMF）方法介绍 ## 1. 引言 在音频处理领域，语音和音乐分离是一个重要的研究方向，其中单声道源分离问题备受关注。为了提高非负矩阵分解（NMF）模型的正则化能力，贝叶斯方法被引入，形成了贝叶斯非负矩阵分解（BNMF）。不同的似然函数和先验分布组合会产生不同的BNMF方法，下面将介绍几种常见的BNMF方法。 ## 2. 高斯 - 指数贝叶斯非负矩阵分解（Gaussian–Exponential BNMF） ### 2.1 原理 最大似然（ML）估计NMF参数容易导致过训练模型，对未知测试条件敏感。为改善这一问题，引入贝叶斯方法构建BNMF。在Gaussian–Exponential BNMF中，使用零均值高斯分布对$X_{mn}$的近似误差进行建模： \[X_{mn} \sim N\left(X_{mn} \middle| \sum_{k} B_{mk}W_{kn}, \sigma^2\right)\] 其中，方差参数$\sigma^2$由逆Gamma分布表征： \[p(\sigma^2) = \text{Inv - Gam}(\sigma^2|\alpha, \beta) = \frac{\beta^{\alpha}}{\Gamma(\alpha)}(\sigma^2)^{-\alpha - 1} \exp\left(-\frac{\beta}{\sigma^2}\right)\] 非负参数$B_{mk}$和$W_{kn}$的先验由指数分布表示： \[B_{mk} \sim \text{Exp}(B_{mk}|\lambda_{b_{mk}})\] \[W_{kn} \sim \text{Exp}(W_{kn}|\lambda_{w_{kn}})\] 其中，\(\text{Exp}(x;\theta) = \theta \exp(-\theta x)\)。 ### 2.2 边际似然计算与近似推理 通过积分和应用后验分布计算边际似然，但积分难以解析求解，因此引入马尔可夫链蒙特卡罗（MCMC）采样方法进行近似推理，具体使用吉布斯采样。模型参数\(\Theta = \{B, W, \sigma^2\}\)的条件后验分布如下： - 基矩阵\(B_{mk}\)的条件分布： \[p(B_{mk}|X, B_{-(mk)}, W, \sigma^2) = R(B_{mk}|\mu_{B_{mk}}, \sigma^2_{B_{mk}}, \lambda_{b_{mk}})\] 其中，\(B_{-(mk)}\)表示除\(B_{mk}\)外\(B\)中的所有元素， \[\mu_{B_{mk}} = \frac{\sum_{n}(X_{mn} - \sum_{k'\neq k} B_{mk'}W_{k'n})W_{kn}}{\sum_{n} W_{kn}^2}\] \[\sigma^2_{B_{mk}} = \frac{\sigma^2}{\sum_{n} W_{kn}^2}\] \(R\)表示整流正态分布，定义为\(R(x|\mu, \sigma^2, \lambda) \propto N(x|\mu, \sigma^2)\text{Exp}(x|\lambda)\)。 - 权重矩阵\(W_{kn}\)的条件分布： \[p(W_{kn}|X, W_{-(kn)}, B, \sigma^2) = R(W_{kn}|\mu_{W_{kn}}, \sigma^2_{W_{kn}}, \lambda_{w_{kn}})\] 其中，\(W_{-(kn)}\)表示除\(W_{kn}\)外\(W\)中的所有元素， \[\mu_{W_{kn}} = \frac{\sum_{m}(X_{mn} - \sum_{k'\neq k} B_{mk'}W_{k'n})B_{mk}}{\sum_{m} B_{mk}^2}\] \[\sigma^2_{W_{kn}} = \frac{\sigma^2}{\sum_{m} B_{mk}^2}\] - 噪声方差\(\sigma^2\)的后验分布： \[p(\sigma^2|X, B, W) = \text{Inv - Gam}(\sigma^2|\alpha_{\sigma^2}, \beta_{\sigma^2})\] 其中， \[\alpha_{\sigma^2} = \frac{MN}{2} + 1 + \alpha\] \[\beta_{\sigma^2} = \frac{1}{2} \sum_{m} \sum_{n} (X - BW)_{mn}^2 + \beta\] ### 2.3 吉布斯采样算法 以下是Gaussian–Exponential BNMF的吉布斯采样算法流程： ```plaintext Initialize with B(0) and W(0) For each sampling iteration l For each basis component k Sample B:k = {Bmk}M m=1 using Eq. (5.103) Sample Wk: = {Wkn}N n=1 using Eq. (5.107) k ← k + 1 Sample σ 2 using Eq. (5.110) Check convergence l ← l + 1 Return {B(l),W(l)}L l=1 ``` ### 2.4 优缺点 - **优点**：可以通过超参数\(\lambda_{b_{mk}}\)和\(\lambda_{w_{kn}}\)分别控制基矩阵\(B_{mk}\)和权重矩阵\(W_{kn}\)的稀疏性，实现一种稀疏贝叶斯学习。 - **缺点**：超参数\(\{\lambda_{b_{mk}}, \lambda_{w_{kn}}\}\)需经验选择，并收集验证数据；指数分布不是高斯似然的共轭先验，NMF参数无闭式解，吉布斯采样计算成本高。 ## 3. 泊松 - 伽马贝叶斯非负矩阵分解（Poisson–Gamma BNMF） ### 3.1 原理 Poisson–Gamma BNMF基于泊松分布的似然函数和Gamma分布的基矩阵与权重矩阵先验密度： \[B_{mk} \sim \text{Gam}(B_{mk}|\alpha_{b_{mk}}, \beta_{b_{mk}})\] \[W_{kn} \sim \text{Gam}(W_{kn}|\alpha_{w_{kn}}, \beta_{w_{kn}})\] Gamma分布由形状参数\(a\)和尺度参数\(b\)表示： \[\text{Gam}(x;a,b) = \exp\left((a - 1)\log x - \frac{