ROC曲线以及PR曲线

目录

1.PR，ROC曲线概念

2.混淆矩阵 

3.ROC曲线和PR曲线区别

4.绘制PR曲线和ROC曲线

5.小结

1.PR，ROC曲线概念

PR曲线和ROC曲线都是在评估二分类模型（分类器）时常用的工具，用于显示模型的性能和有效性。这里对它们的概念进行简单介绍：

PR曲线（Precision-Recall Curve）：是一种用于评估二分类模型性能的曲线，横坐标为召回率（Recall），纵坐标为精确度（Precision）。精确度是指模型预测为正样本的样本中真实为正样本的比例，召回率是指真实为正样本的样本中被模型正确预测为正样本的比例。通过对不同阈值下的精确度和召回率进行绘制，可以得到PR曲线。

ROC曲线（Receiver Operating Characteristic Curve）：是一种用于评估二分类模型性能的曲线，横坐标为FPR（False Positive Rate），纵坐标为TPR（True Positive Rate）。TPR是指真实为正样本的样本中被模型正确预测为正样本的比例，FPR是指真实为负样本的样本中被模型错误预测为正样本的比例。通过对不同阈值下的FPR和TPR进行绘制，可以得到ROC曲线。

PR曲线相对于ROC曲线更加关注模型对少数类（即正例）的识别率，因此在数据不平衡的情况下，PR曲线更加适用。当少数类的重要性比较高时，我们可以转而关注PR曲线。ROC曲线则更加注重的是模型对整体样本的分类效果，它可以帮助我们进行模型选择和调整分类器的阈值。

总之，PR曲线和ROC曲线是常用的评估二分类模型的工具，通过对召回率、精确度、TPR、FPR等指标的绘制，可以从不同角度评估模型的性能和有效性。

2.混淆矩阵 

在机器学习领域，混淆矩阵（Confusion Matrix），又称为可能性矩阵或错误矩阵。混淆矩阵是可视化工具，特别用于监督学习，在无监督学习一般叫做匹配矩阵。在图像精度评价中，主要用于比较分类结果和实际测得值，可以把分类结果的精度显示在一个混淆矩阵里面。

混淆矩阵的结构一般如下图表示的方法。

混淆矩阵要表达的含义：

1.混淆矩阵的每一列代表了预测类别，每一列的总数表示预测为该类别的数据的数目；
2.每一行代表了数据的真实归属类别，每一行的数据总数表示该类别的数据实例的数目；每一列中的数值表示真实数据被预测为该类的数目。

True Positive（TP）：真正类。样本的真实类别是正类，并且模型识别的结果也是正类。

False Negative（FN）：假负类。样本的真实类别是正类，但是模型将其识别为负类。

False Positive（FP）：假正类。样本的真实类别是负类，但是模型将其识别为正类。

True Negative（TN）：真负类。样本的真实类别是负类，并且模型将其识别为负类。
 

3.ROC曲线和PR曲线区别

ROC曲线和PR曲线都是用于评估二分类模型性能的曲线，它们的主要区别在于评价指标和适用情况。

评价指标：ROC曲线的横轴为FPR，纵轴为TPR，其中FPR表示被模型错误分类为正类的负样本比例，TPR表示被模型正确分类为正类的正样本比例。PR曲线的横轴为召回率，纵轴为精确度，其中召回率表示正样本中被模型正确分类的比例，精确度表示模型预测为正样本的样本中真正正样本的比例。

适用情况：ROC曲线适用于数据集中类别分布比较平衡或者关注的重点在于降低误报率（即FPR），即当我们更加关注模型的假阳性率时，可以使用ROC曲线来评估模型的性能。而PR曲线则适用于数据集中类别分布不平衡或者关