主题模型的参数设置、主题数量确定及优化策略

# 主题模型的参数设置、评估与优化 ## 1. 参数设置与优化 ### 1.1 参数估计 通过最大化 $B(\alpha^*)$（$P(D|\alpha^*)$ 的下界）来得到 $\alpha_k$ 的最大似然估计。具体公式如下： - 首先有 $B(\alpha^*) = \sum_{m = 1}^{M} [\psi(n_m + \alpha) - \psi(\alpha)](-\alpha^*) + \sum_{k} \alpha_k [\psi(n_m^k + \alpha_k) - \psi(\alpha_k)]\log(\alpha_k^*) + C$ - 对 $\alpha_k^*$ 求偏导并令其为 0，即 $\frac{\partial B(\alpha^*)}{\partial \alpha_k^*} = \sum_{m = 1}^{M} [\frac{\alpha_k [\psi(n_m^k + \alpha_k) - \psi(\alpha_k)]}{\alpha_k^*} - (\psi(n_m + \alpha) - \psi(\alpha))] = 0$ - 进一步得到 $\alpha_k^* = \frac{\alpha_k (\sum_{m = 1}^{M} \psi(n_m^k + \alpha_k) - M\psi(\alpha_k))}{\sum_{m = 1}^{M} \psi(n_m + \sum_{k} \alpha_k) - M\psi(\sum_{k} \alpha_k)}$ 经过多次迭代，优化过程收敛，从而得到 $\alpha$ 的估计值，$\beta$ 的估计值也可类似计算。 ### 1.2 基于变分推断的超参数优化 基于变分推断的超参数优化依赖于迭代以下两个步骤： - **E 步**：优化变分参数 $\pi$、$\lambda$ 和 $\gamma$。 - **M 步**：通过优化超参数 $\alpha$ 和 $\beta$ 来最大化对数似然 $L$，其中 $L = E_{q(\phi,z,\theta)}[\log p(\phi, \theta, z, w|\alpha, \beta)] - E_{q(\phi,z,\theta)}[\log q(\phi, z, \theta)]$。 使用牛顿法对 $\alpha$ 和 $\beta$ 进行优化，需要计算它们的一阶和二阶导数： - $\alpha$ 的一阶导数：$\nabla_{\alpha_i}L = M(\psi(\sum_{j = 1}^{k} \alpha_j) - \psi(\alpha_i)) + \sum_{d = 1}^{M} (\psi(\gamma_{di}) - \psi(\sum_{j = 1}^{k} \gamma_{dj}))$ - $\alpha$ 的二阶导数：$\nabla_{\alpha_i\alpha_j} L = \delta(i, j)M\psi'(\alpha_i) - \psi'(\sum_{j = 1}^{k} \alpha_j)$ 当 $i = j$ 时，$\delta(i, j) = 1$；否则，$\delta(i, j) = 0$。$\alpha$ 的更新方程为 $\alpha_i \leftarrow \alpha_i + \frac{\nabla_{\alpha_