先验分布与后验分布,认真看看这篇

此文主要参考 huaxiaozhuan.com

编辑: Python与算法社区 公众号

在贝叶斯学派中,先验分布+数据(似然)= 后验分布 。例如:假设需要识别一大箱苹果中的好苹果、坏苹果的概率。

在这里:如果不使用先验分布,仅仅清点这箱苹果中的好坏,则得到的分布只能代表这一箱苹果。采用了先验分布之后得到的分布,可以认为是所有箱子里的苹果的分布。当采用先验分布时:给出的好、坏苹果的个数(也就是频数)越大,则先验分布越占主导地位。

根据你对苹果好、坏的认知,给出先验分布为:50个好苹果和50个坏苹果。现在你拿出10个苹果,发现有:8个好苹果,2个坏苹果。根据数据,你得到后验分布为:58个好苹果,52个坏苹果。再拿出10个苹果,发现有:9个好苹果,1个坏苹果。根据数据,你得到后验分布为:67个好苹果,53个坏苹果。这样不断重复下去,不断更新后验分布。当一箱苹果清点完毕,则得到了最终的后验分布。

假设好苹果的概率为 P,则抽取 N 个苹果中,好苹果个数为 K 个的概率为一个二项分布:

640?wx_fmt=png

现在的问题是:好苹果的概率 p 不再固定,而是服从一个分布。假设好苹果的概率 p 的先验分布为贝塔分布:

640?wx_fmt=png

则后验概率为:

640?wx_fmt=png

归一化之后,得到后验概率为:

640?wx_fmt=png

好苹果概率  p 的先验分布的期望为:

640?wx_fmt=png

好苹果概率 p 的后验分布的期望为:

640?wx_fmt=png

根据上述例子所述:

  • 好苹果的先验概率的期望为:

    640?wx_fmt=png

  • 进行第一轮数据校验之后,好苹果的后验概率的期望为:

    640?wx_fmt=png

如果将 α 视为先验的好苹果数量, β 视为先验的坏苹果数量, N 表示箱子中苹果的数量, k 表示箱子中的好苹果数量(相应的, N-k 就是箱子中坏苹果的数量)。则:好苹果的先验概率分布的期望、后验概率分布的期望符合人们的生活经验。

这里使用先验分布和后验分布的期望,因为 p 是一个随机变量。若想通过一个数值来刻画好苹果的可能性,则用期望较好。

附注
贝塔分布是定义在 (0,1) 之间的连续概率分布。如果随机变量 X 服从贝塔分布,则其概率密度函数为:

640?wx_fmt=png
640?wx_fmt=png
记做
640?wx_fmt=png
众数为:
640?wx_fmt=png
期望为:
640?wx_fmt=png
方差为:
640?wx_fmt=png

640?wx_fmt=png

文章参考:

http://huaxiaozhuan.com/%E6%95%B0%E5%AD%A6%E5%9F%BA%E7%A1%80/chapters/2_probability.html

最近推广多,抱歉打扰到各位读者,以后我会安排好日期,并减少次数。为了表达歉意,备好166个红包,公众号界面回复:红包,即可参与,今晚就要自动开奖,金额随机。详情点击:

640?wx_fmt=jpeg
Python与算法社区
长按二维码,关注我的公众号
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值