学习笔记之高斯混合模型（GMM）梳理

最新推荐文章于 2025-05-13 07:30:00 发布

wenli_smile

最新推荐文章于 2025-05-13 07:30:00 发布

阅读量5.8k

点赞数 1

CC 4.0 BY-SA版权

文章标签： GMM

本文链接：https://blog.csdn.net/wenli_smile/article/details/81537530

本文详细介绍了高斯混合模型（GMM）的概念，包括先验概率、极大似然估计、后验概率和条件概率。GMM是一种混合模型，由多个高斯分布组成，常用于数据聚类。通过EM（期望最大化）算法进行参数估计，通过E步计算后验概率，M步更新参数，不断迭代直至收敛。文章还涉及Jensen不等式在优化过程中的应用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、概念解释：

先验概率：在有一定量数据的前提下，我们对参数进行概率估计，事件发生前的预判概率。

极大似然估计：找到一组参数使得我们观测到的数据出现的概率最大。

后验概率：在最合适的那个参数的前提下，观测数据出现的最大概率。

条件概率： $P(A|B)=\frac{P(A\cap B)}{P(B)}=\frac{P(A)P(B|A)}{P(B)}$ 。

高斯分布： $x\sim N(\mu ,\sigma ^{2})$ ，概率密度函数 $f(x)=\frac{1}{\sigma \sqrt{2\pi }}e^{\frac{-(x-\mu )^{2}}{2\sigma ^{2}}}$ 。

高斯混合模型（GMM）：高斯混合模型是一种混合模型，混合的基本分布是高斯分布，假设有随机变量x，则高斯混合模型可以表示为： $p(x)=\sum_{k=1}^{k=K}\pi _{k}N(x|\mu _{k},\sigma _{_{k}})$ ，其中高斯分布 $N(x|\mu _{k},\sigma _{_{k}})$ 称为高斯混合模型的第k个分量（component）， $\pi _{k}$ 相当于每个分量 $N(x|\mu _{k},\sigma _{_{k}})$ 的权重且满足 $\sum_{k=1}^{k=K}\pi _{k}=1$ 。