机器学习复习笔记--朴素贝叶斯算法

有关贝叶斯定理和贝叶斯公式的推导过程，在阮一峰大神的博客里的《贝叶斯推断及其互联网应用（一）：定理简介》写得非常全面，简洁明了。下面是我的个人笔记总结：贝叶斯定理基于假设的先验概率，给定假设下观察到的不同数据的概率，提供了一种计算后验概率的方法。 先验概率：由以往的数据分析得到的概率。 后验概率：得到信息之后再重新加以修正的概率。在人工智能领域是非常有代表性的不确定性知识表示和推理方法。条件概率

本文开发的垃圾邮件过滤系统使用的开发工具主要是IntelliJ IDEA，数据库使用MySQL，界面采用Java Swing开发，数据集使用trec06c。IntelliJ IDEA是被认为当前Java开发效率最好的一款IDE工具，它整合了开发过程中实用的很多功能[9]，并且界面整洁、美观。使用它的一个重要原因是对于Java语言规范适配，这对项目环境以及项目配置的搭建有着很大的帮助。其次是代码生成较好，相比于其他工具IntelliJ IDEA功能更加强大并且在编写代码的过程中不易出错。

具体题目参考 https://www.kaggle.com/primaryobjects/voicegender 数据集概述 集合中共有 3168 条数据，男女各 1584 条，每条数据可视 作一个长度为 21 的一维数组。其中前 20 个数值是这条语音的 20 个特征值，这些特征值包括了语音信号的长度、基频、标准差、频带中值点/一分位频率/三分位频率等；最后一个数值是性别标记。元数据集中直接以字符串,即 male 和 female 进行标注。 问题分析 使用 7：3 划分数据集。通过朴素贝叶.

朴素贝叶斯是一种基于贝叶斯定理与特征条件独立假设的分类算法（其中比贝叶斯多出来的“朴素”就是指各个特征条件独立），其核心思想是通过考虑各个特征的概率来预测分类（即对于给出的待分类样本，计算该样本在每个类别下出现的概率，最大的就被认为是该分类样本所属于的类别借此机会，我更加深入的学习到了朴素贝叶斯的相关知识，了解到了相关的计算方式，算法以及适用的几种模型，同时我也更加了解到了前面提到的关于朴素贝叶斯的其中一个缺点：对于输入数据的准备方式比较敏感，需要对数据进行适当的预处理。

 什么是机器学习？本文主要介绍了机器学习中的常见概念，包括监督学习和无监督学习、半监督学习、弱监督学习、强化学习、欠拟合和过拟合、损失和优化的概念以及常用的激活函数等。

朴素贝叶斯分类alpha：拉普拉斯平滑系数。

（Naive Bayes）是一种简单经典的，它的经典应用案例为人所熟知：文本分类（如垃圾邮件过滤）。

朴素贝叶斯、决策树与随机森林的原理以及Python实现

朴素贝叶斯算法是机器学习中的"老前辈"，它用简单的概率计算就能解决复杂的分类问题。虽然它基于一个"天真"的假设，但在实际应用中却屡屡证明其价值。它就像是机器学习世界中的"瑞士军刀"—简单、快速、多用途。对于初学者来说，朴素贝叶斯是理解概率模型的绝佳起点。

朴素贝叶斯的思想基础是这样的：对于给出的待分类项，求解在此项出现的条件下各个类别出现的概率，哪个最大，就认为此待分类项属于哪个类别。通俗来说，就好比这么个道理，你在街上看到一个黑人，我问你你猜这哥们哪里来的，你十有八九猜非洲。为什么呢？因为黑人中非洲人的比率最高，当然人家也可能是美洲人或亚洲人，但在没有其它可用信息下，我们会选择条件概率最大的类别，这就是朴素贝叶斯的思想基础。       朴

以下内容主要来自CS229课程的讲义，放上链接http://cs229.stanford.edu/syllabus.html 由二分类问题到生成模型的训练内容 我们基于二分类问题进行讨论，\(y\)的取值为\({0, 1}\)。 先提一下判别模型和生成模型的概念。在使用一个模型对一条新数据进行预测的过程实际是求解\(p(y=0|x)\)和\(p(y=1|x)\)，然后比大小的过程。想要求得\...

朴素贝叶斯分类工作原理 数学基础 1.条件概率 设A，B 是两个事件，则 表示在事件A发生的条件下，事件B发生的概率。其中P(A)不能为0，就是要求A是有可能的事件。 2. 联合概率 表示两个事件共同发生的概率。A与B的联合概率表示为 P(AB) 或者P(A,B),或者P（A∩B）。 3. 朴素贝叶斯 因为 P(B|A)=P(AB)/P(A) 》P(AB)=P(B|A)P(A) 所以 P(A|B)=P(AB)/P(B) = P(B|A)P(A)/P(B) 即 P(A|B)=P(B|A)P(A)/P(B)

机器学习 | 朴素贝叶斯法理论知识 贝叶斯决策论是概率框架下实施决策的基本方法。对分类任务来说，在所有相关概率都已知的理想情况下，贝叶斯决策论考虑如何基于这些概率和误判损失来选择最优的类别标记。朴素贝叶斯法是基于贝叶斯原理与特征条件独立假设的分类方法。即：加上条件独立假设的贝叶斯方法就是朴素贝叶斯方法（Naive Bayes）。 首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。 朴素贝叶斯法实现简单，学习与预测的效率都很高，是

1. 简介 在网络上介绍贝叶斯定理，贝叶斯网格的资料随处可见，我在此处就简单给大家的阐述一下什么是贝叶斯，贝叶斯方法其实在高中的时候我们就已经开始接触了，高中的概率大部分讲述的就是贝叶斯方法。 其实在贝叶斯方法真正的被人们认可之前，频率派是概率的主导，假设又一袋球，里面有若干红球和黑球，在贝叶斯之前你随便问一个人拿出红球的概率是多少，他会说50%。嘿！懵逼不？没有黑球红球的数量怎么知道的50%，频率派中的思考方式是不是红球就是黑球，所以50%。 2.1 贝叶斯方法的提出 托马斯·贝...