机器学习笔记之狄利克雷过程(一)基本介绍

原创

已于 2023-03-02 09:59:37 修改 · 2.5k 阅读

11 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习 #聚类 #算法 #狄利克雷过程

于 2023-03-01 12:36:18 首次发布

机器学习笔记之狄利克雷过程——基本介绍

引言
- 回顾：高斯混合模型
- 狄利克雷过程——引出

引言

从本节开始，将介绍狄利克雷过程。

回顾：高斯混合模型

高斯混合模型( $\text{Gaussian Mixture Model,GMM}$ )是针对无监督学习中聚类任务的混合模型。
基于 $N$ 个样本的样本集合 $\mathcal X = \{x^{(i)}\}_{i=1}^N$ ，关于模型参数 $\theta$ 的学习过程，使用的底层逻辑是极大似然估计( $\text{Maximum Likelihood Estimate,MLE}$ )：
$\mathop{\arg\max}\limits_{\theta} \left[\log \mathcal P(\mathcal X)\right] = \mathop{\arg\max}\limits_{\theta} \left[\sum_{i=1}^N \log \sum_{k=1}^{\mathcal K} \alpha_{k} \cdot \mathcal N(x^{(i)} \mid \mu_k,\Sigma_{k})\right]$
它的模型参数 $\theta$ 具体包含三个部分：
当然， $\alpha$ 一共包含 $\mathcal K$ 个离散信息，但如果求解出 $\alpha_1,\cdots,\alpha_{\mathcal K-1}$ ,那么最后一个 $\alpha_{\mathcal K} = 1 - (\alpha_1 + \cdots + \alpha_{\mathcal K - 1})$