分类算法-朴素贝叶斯算法

朴素贝叶斯：

1.概率基础

联合概率： 包含多个条件，且所有条件同时成立的概率
记作：𝑃(𝐴,𝐵)

条件概率： 就是事件A在另外一个事件B已经发生条件下的发生概率
记作：𝑃(𝐴|𝐵)

特性：P(A1,A2|B) = P(A1|B)P(A2|B)
注意：此条件概率的成立，是由于A1,A2相互独立的结果

2.利用朴素贝叶斯划分文档类型

朴素：特征独立
贝叶斯公式：

注：w为给定文档的特征值(频数统计,预测文档提供)，c为文档类别

公式可以理解为：

其中c可以是不同类别

公式分为三部分：

• 𝑃(𝐶)：每个文档类别的概率(某文档类别词数／总文档词数)

• 𝑃(𝑊│𝐶)：给定类别下特征（被预测文档中出现的词）的概率

• 计算方法：𝑃(𝐹1│𝐶)=𝑁𝑖/𝑁 （训练文档中去计算）
  𝑁𝑖为该𝐹1词在C类别所有文档中出现的次数
  N为所属类别C下的文档所有词出现的次数和

𝑃(𝐹1,𝐹2,…) 预测文档中每个词的概率

拉普拉斯平滑：
问题：从上面的例子我们得到娱乐概率为0，这是不合理的，如果词频列表里面有很多出现次数都为0，很可能计算结果都为零

解决方法：
加拉普拉斯平滑系数

𝑃(𝐹1│𝐶)=(𝑁𝑖+𝛼)/(𝑁+𝛼𝑚)

𝛼为指定的系数一般为1，m为训练文档中统计出的特征词个数

sklearn朴素贝叶斯的实现API:
sklearn.naive_bayes.MultinomialNB

sklearn.naive_bayes.MultinomalNB(alpha=1.0)
#朴素贝叶斯分类
#alpha:拉普拉斯平滑系数，防止分类时候某类概率为0

3.朴素贝叶斯算法案例

• sklearn20类新闻分类
• 20个新闻组数据集包括了20个主题的18000个新闻组帖子

朴素贝叶斯案例流程 ：
1、加载20类新闻数据，并进行分割

2、生成文章特征词（做完特征抽取后，每篇文章变成一个重要性列表）

3、朴素贝叶斯estimator流程进行预估

from sklearn.datasets import fetch_20newsgroups
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.model_selection import train_test_split
from sklearn.naive_bayes import MultinomialNB
from sklearn.metrics import classification_report






def naviebayes():
    """
    朴素贝叶斯进行文本分类
    :return: None
    """
    news = fetch_20newsgroups(subset='all')#获取数据

    # 进行数据分割
    x_train, x_test, y_train, y_test = train_test_split(news.data, news.target, test_size=0.25)#利用train_test_split
    # 进行数据分割，特征值news.data, 目标值news.target, 测试集的大小test_size=0.25


    # 对数据集进行特征抽取
    tf = TfidfVectorizer()

    # 以训练集当中的词的列表进行每篇文章重要性统计['a','b','c','d']
    x_train = tf.fit_transform(x_train)

    # print(tf.get_feature_names())

    x_test = tf.transform(x_test)#根据对之前部分trainData进行fit的整体指标，对测试的数据（testData）使用同样的均值、方差、最大最小值等指标进行转换transform(testData)，从而保证train、test处理方式相同。

    # 进行朴素贝叶斯算法的预测
    mlt = MultinomialNB(alpha=1.0)

    print(x_train.toarray())

    mlt.fit(x_train, y_train)

    y_predict = mlt.predict(x_test)

    print("预测的文章类别为：", y_predict)

    # 得出准确率
    print("准确率为：", mlt.score(x_test, y_test))

    print("每个类别的精确率和召回率：", classification_report(y_test, y_predict, target_names=news.target_names))

    return None
if __name__ == "__main__":
    naviebayes()

运行结果：

优缺点：

优点：

• 朴素贝叶斯模型发源于古典数学理论，有稳定的分类效率。

• 对缺失数据不太敏感，算法也比较简单，常用于文本分类。

• 分类准确度高，速度快

缺点：

• 需要知道先验概率P(F1,F2,…|C)，因此在某些时候会由于假设的先验模型的原因导致预测效果不佳。（如假设了文章中一些词语和另外一些是独立没关系的的）
  是在训练集中进行统计的词语，如果有许多词语比较多的文档，就会造成干扰。

分类模型的评估

estimator.score()
一般最常见使用的是准确率，即预测结果正确的百分比

混淆矩阵：
在二分类任务下，预测结果(Predicted Condition)与正确标记(True Condition)之间存在四种不同的组合，构成混淆矩阵(适用于多分类)

精确率：预测结果为正例样本中真实为正例的比例（查得准）

召回率：真实为正例的样本中预测结果为正例的比例（查的全，对正样本的区分能力）
分类模型评估API：sklearn.metrics.classification_report

sklearn.metrics.classification_report(y_true, y_pred, target_names=None)

y_true：真实目标值

y_pred：估计器预测目标值

target_names：目标类别名称

return：每个类别精确率与召回率

模型的选择与调优

交叉验证

交叉验证： 将拿到的数据，分为训练和验证集。以下图为例：将数据分成5份，其中一份作为验证集。然后经过5次(组)的测试，每次都更换不同的验证集。即得到5组模型的结果，取平均值作为最终结果。又称5折交叉验证。

超参数搜索-网格搜索

通常情况下，有很多参数是需要手动指定的（如k-近邻算法中的K值），这种叫超参数。但是手动过程繁杂，所以需要对模型预设几种超参数组合。每组超参数都采用交叉验证来进行评估。最后选出最优参数组合建立模型。

超参数搜索-网格搜API：sklearn.model_selection.GridSearchCV

sklearn.model_selection.GridSearchCV(estimator, param_grid=None,cv=None)
对估计器的指定参数值进行详尽搜索

estimator：估计器对象
param_grid：估计器参数(dict){“n_neighbors”:[1,3,5]}
cv：指定几折交叉验证
fit：输入训练数据
score：准确率
结果分析：
best_score_:在交叉验证中测试的最好结果
best_estimator_：最好的参数模型
cv_results_:每次交叉验证后的测试集准确率结果和训练集准确率结果