模式识别学习笔记（5）——最大似然和贝叶斯参数估计

最大似然估计与贝叶斯参数估计 前言 上一篇讲到了贝叶斯决策理论，其与贝叶斯估计是两种不同的思想。前者是根据先验概率P(ωi)P(ωi)P(\omega_i)和类条件概率密度p(x|ωi)p(x|ωi)p(x|\omega_i)来设计最优分类器。然而在实际应用中，通常得不到有关问题的概率结构的全部知识。我们只能利用手头的训练样本来估计问题中所涉及的先验概率和条件密度函数，并把这些估计的结果当...

引入 如果已知先验概率p(wi)p(wi)p(w_i)和类条件概率密度p(x|wi)p(x|wi)p(x|w_i)，则可以构造一个贝叶斯分类器 p(wi|x)=p(x|wi)p(wi)∑i=1Kp(x|wi)p(wi)p(wi|x)=p(x|wi)p(wi)∑i=1Kp(x|wi)p(wi)p(w_i|x)=\frac{p(x|w_i)p(w_i)}{\sum\limits_{i=1}^{K}...

写在前面 本系列博客是自己对于《统计学习方法》这本书的读书笔记，在读过每个章节以后根据自己的理解写下这一章的知识框架以及补充一些延伸知识点。 目录 写在前面 本章框架 朴素贝叶斯方法 参数估计 补充知识点 极大似然估计 贝叶斯估计 本章框架 朴素贝叶斯方法 朴素贝叶斯：基于贝叶斯定理与特征条件独立假设。 根据先验概率分布和条件概率分布， 计算后验概率分布，输出后验概率最...

​朴素贝叶斯算法通俗理解，最大似然估计介绍。我们所处在的这个世界是充满概率的一个世界。甚至可以说，世界上所有事情的发生都是有一定概率的，并不存在绝对发生与绝对不发生。​ 比如，你同桌他高考考得分数比你高，他未来工作薪资比你高只是一个可能性事件，在大部分人的认知里，“他未来工作薪资比你高”这个是个大概率事件；但是在我的认知里，绝不是这么一回事。没准他去了他梦想中的天坑专业出来工作都找不到，而你去了一个就业前景好的专业，那么之前那个结论他就不成立。

开设一个新的专题——机器学习部分，大家共同努力

基于概率建模的方法是机器学习中比较抽象的一部分内容，而朴素贝叶斯法属于最简单的概率模型，加上了特征条件独立的假设以后，学习的效率高但是建模能力有限。后续的学习有隐马尔可夫模型和条件随机场这些更加复杂并且建模能力更强的模型，并且其参数难以直接解方程估计，一般使用EM算法这种迭代的优化算法来估计参数。因为自己对概率模型已经接触了有一段时间，但是使用的时候还是非常不熟悉，一用到就需要反复的看书和查公式。根本原因还是这种概率的模型比深度学习模型更加抽象和难以理解，所以从最基础的过程写起写了这篇博客。

一、贝叶斯定理与朴素贝叶斯         首先介绍一下贝叶斯定理，贝叶斯定理是关于随机事件A和B的条件概率的一则定理。 P(A∣B)=P(B∣A)P(A)P(B) P(A|B)=\frac{P(B|A)P(A)}{P(B)} P(A∣B)=P(B)P(B∣A)P(A)​         其中P(A|B)是在B发生的情...

本节将介绍一个在统计机器学习中占据重要地位的分布——高斯分布，并介绍使用极大似然估计计算高斯分布参数的最优结果。

文章目录前言1 eager learner1.1 Desicion Trees1.1.1 第一个决策树：ID3算法1.1.1.2 熵1.1.1.3 ID3实现举例1.1.1.4 剪枝问题1.1.2 决策树的特点1.1.3 其他决策树算法1.1.4 决策树特点1.2 Bayesian1.2.1 朴素贝叶斯1.2.2 朴素贝叶斯举例Naïve Bayes Classifier (NB)1.2.3 朴素贝叶斯举例Bayesian Decision1.2.3.1 最小错误率贝叶斯决策1.2.3.2 最小风险贝叶斯决

概率密度

前序文章： 机器学习笔记—模式分类（一）绪论&贝叶斯决策论 机器学习笔记—模式分类（二）参数判别估计法（最大似然估计和贝叶斯参数估计）1 机器学习笔记—模式分类（三）参数判别估计法2（最大似然估计） 同类文章： 机器学习笔记—模式识别与智能计算（四）基于概率统计的贝叶斯分类器设计（贝叶斯决策） 3.3、贝叶斯估计 在最大似然估计方法中，把需要估计的参数向量θ看作是一个确定而未知的参数；而在贝叶斯学习方法中，把参数向量θ看成一个随机变量，已有的训练样本使我们能够把对于...

参考链接：http://blog.csdn.net/feilong_csdn/article/details/61633180 http://blog.csdn.net/sunshine_in_moon/article/details/46430751 使用贝叶斯估计计算参数比较困难，所以简化为最大后验估计。  最大后验估计(MAP)： http://www.cnblog

贝叶斯判决下的最大似然估计与贝叶斯估计 描述了两种参数估计的具体方法和区别