为什么KL-divergence 可以用来衡量两个概率分布的不相似性？

zhaoyawei09

于 2016-09-04 20:11:08 发布

阅读量7.2k

点赞数 3

CC 4.0 BY-SA版权

分类专栏： Pattern Recognition and Machin 文章标签： KL divergence 不相似

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/zhaoyawei09/article/details/52434405

本文深入探讨了KL-divergence的概念，解释了如何通过它来量化两个概率分布p(x)和q(x)之间的不相似性。根据PRML一书，当用q(x)估计p(x)时，KL-divergence表示平均额外的编码信息长度，用于评估分布估计的效率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

以下所有内容均来自 PRML 一书，读者读了之后，有任何没有看懂的，请留言。我是传播知识的小蜜蜂

首先KL-divergence的定义：

如果有个未知的分布为 $p(x)$ ，我们使用 $q(x)$ 估计它。从信息传输的角度理解，如果使用它们刻画信息编码的方法。那么使用 $q(x)$ 估计 $p(x)$ 时，平均额外需要多编码的信息长度为：

K L (p ∥ q) = - \int p (x) ln q (x) d x - (- \int p (x) ln

最低0.47元/天解锁文章

200万优质内容无限畅学

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。