【机器学习】ROC曲线和RP曲线（分类算法）

已于 2024-08-12 19:03:47 修改
阅读量3.5k 收藏 50
点赞数 63
CC 4.0 BY-SA版权
文章标签： 机器学习 分类 人工智能
于 2024-08-12 18:57:34 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/c___ceeee/article/details/141125125

1. ROC曲线

        ROC曲线，全称为“接收者操作特性（Receiver Operating Characteristic）”曲线，是一种反映灵敏度和特异度关系的图形工具。在机器学习和统计学中，ROC曲线常用于评估分类模型的性能。其主要特点是展示在不同分类阈值下模型的性能表现。通过调整不同的分类阈值，可以得到不同的假阳性率和真阳性率，这些点在ROC曲线中绘制出来，从而展现出模型的整体性能。AUC值（曲线下面积）则是衡量ROC曲线性能的量化指标。当模型的预测能力更好时，AUC值更高。另外，由于ROC曲线综合了准确率、召回率以及区分能力，它常用于不同分类算法之间的性能比较。

       ROC 曲线用于展示在不同的分类阈值下，模型的真正类率（True Positive Rate, TPR）和假正类率（False Positive Rate, FPR）之间的关系。而AUC（Area Under the Curve）值则用以量化 ROC 曲线下的面积，是用于衡量分类器性能的一种指标。AUC值越接近1，表示分类器的性能越好。它考虑了分类器在不同阈值下的性能表现。

1.1 数学基础

  •  True Positive Rate（TPR）也称为灵敏度（Sensitivity）或召回率（Recall），是真正例（True Positive，TP）占所有实际正例（实际正例 = TP + FN）的比例。

  •  False Positive Rate（FPR）也称为1-特异性（1-Specificity），是假正例（False Positive，FP）占所有实际负例（实际负例 = FP + TN）的比例。

 1.2 代码示例

       ROC曲线仅适用于二分类问题，不是二分类问题应首先通过各种手段转为二分类问题。

  • 简单二分类问题：
from sklearn.metrics import roc_curve, auc
import matplotlib.pyplot as plt

y_label = ([0, 0, 0, 1, 1, 1])
y_pre = ([0.3, 0.5, 0.9, 0.8, 0.4, 0.6])
fpr, tpr, thersholds = roc_curve(y_label, y_pre) # 非二进制需要pos_label用于确定正类
# sklearn.metrics.roc_curve(y_true, y_score, pos_label=None, sample_weight=None,
drop_intermediate=True)

for i, value in enumerate(thersholds):
    print("%f %f %f" % (fpr[i], tpr[i], value))

roc_auc = auc(fpr, tpr)
# sklearn.metrics.roc_auc_score(y_true, y_score, average='macro', sample_weight=None)

plt.plot(fpr, tpr, 'k--', label='ROC (area = {0:.2f})'.format(roc_auc), lw=2)

plt.xlim([-0.05, 1.05])  # 设置x、y轴的上下限，以免和边缘重合，更好的观察图像的整体
plt.ylim([-0.05, 1.05])
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')  # 可以使用中文，但需要导入一些库即字体
plt.title('ROC Curve')
plt.legend(loc="lower right")
plt.show()
  • 多分类问题——以鸢尾花分类问题（三分类问题）为例：
from matplotlib import pyplot as plt
from sklearn import pipeline
from sklearn.datasets import load_iris
from sklearn.metrics import roc_curve, auc
from sklearn.model_selection import train_test_split
from sklearn.neighbors import KNeighborsClassifier
from sklearn.preprocessing import label_binarize, StandardScaler
from sklearn.pipeline import Pipeline

# 导入数据集
iris = load_iris()
X = iris.data
y = iris.target

# 划分数据集
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=0, test_size=0.3)

# 构建预处理和模型管道
pipeline = Pipeline([
    ('scaler', StandardScaler()),  # 数据归一化
    ('knn', KNeighborsClassifier(n_neighbors=3))  # 选择模型
])

pipeline.fit(X_train, y_train)

y_pred = pipeline.predict(X_test)

# 由于ROC和AUC是二分类评估指标，需要对每个类别单独计算并绘制
Y_test_binarized = label_binarize(y_test, classes=[0, 1, 2])
n_classes = Y_test_binarized.shape[1]
fpr = dict()
tpr = dict()
roc_auc = dict()

# 计算每个类别的ROC曲线和AUC
for i in range(n_classes):
    fpr[i], tpr[i], _ = roc_curve(Y_test_binarized[:, i], pipeline.predict_proba(X_test)[:, i])
    roc_auc[i] = auc(fpr[i], tpr[i])

# 绘图
colors = ['aqua', 'darkorange', 'cornflowerblue']
plt.figure()
for i, color in zip(range(n_classes), colors):
    plt.plot(fpr[i], tpr[i], color=color, lw=2, label=f'ROC curve of class {i} (area = {roc_auc[i]:0.2f})')

plt.plot([0, 1], [0, 1], 'k--', lw=2)
plt.xlim([0.0, 1.0])
plt.ylim([0.0, 1.05])
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
plt.title('ROC Curve')
plt.legend(loc="lower right")
plt.show()

参考链接：https://blog.csdn.net/ODIMAYA/article/details/103146608

2. PR曲线

       PR曲线是精确率与召回率之间的关系曲线。通过调整分类阈值，可以得到不同的精确率和召回率组合，从而绘制出PR曲线。PR曲线下的面积（AP）也可以作为分类器性能的一个指标。

2.1 数学基础

2.2 代码示例

  • 简单二分类问题：
from sklearn.metrics import precision_recall_curve, average_precision_score
import matplotlib.pyplot as plt

y_test = ([0, 0, 0, 1, 1, 1])
y_pred = ([0.3, 0.5, 0.9, 0.8, 0.4, 0.6])

precision, recall, thresholds = precision_recall_curve(y_test, y_pred)
# sklearn.metrics.precision_recall_curve(y_true, probas_pred, pos_label=None,
sample_weight=None)

# 计算AP
ap = average_precision_score(y_test, y_pred)
# sklearn.metrics.average_precision_score(y_true, y_score, *, average='macro', pos_label=1, sample_weight=None)

print(f"AP: {ap:.2f}")

# 绘制PR曲线
plt.plot(recall, precision, marker='.', label='PR (AP = {:.2f})'.format(ap))
plt.xlabel('Recall')
plt.ylabel('Precision')
plt.title('Precision-Recall Curve')
plt.legend()
plt.show()

参考链接：https://blog.csdn.net/weixin_44012667/article/details/139988782?ops_request_misc=&request_id=&biz_id=102&utm_term=pr%E6%9B%B2%E7%BA%BF&utm_medium=distribute.pc_search_result.none-task-blog-2~all~sobaiduweb~default-0-139988782.142^v100^pc_search_result_base5&spm=1018.2226.3001.4187icon-default.png?t=N7T8https://blog.csdn.net/weixin_44012667/article/details/139988782?ops_request_misc=&request_id=&biz_id=102&utm_term=pr%E6%9B%B2%E7%BA%BF&utm_medium=distribute.pc_search_result.none-task-blog-2~all~sobaiduweb~default-0-139988782.142%5Ev100%5Epc_search_result_base5&spm=1018.2226.3001.4187

  • 多分类问题——以鸢尾花分类问题（三分类问题）为例：
from matplotlib import pyplot as plt
from sklearn.datasets import load_iris
from sklearn.metrics import auc, precision_recall_curve
from sklearn.model_selection import train_test_split
from sklearn.neighbors import KNeighborsClassifier
from sklearn.preprocessing import label_binarize, StandardScaler
from sklearn.pipeline import Pipeline

# 导入数据集
iris = load_iris()
X = iris.data
y = iris.target

# 划分数据集
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=0, test_size=0.3)

# 构建预处理和模型管道
pipeline = Pipeline([
    ('scaler', StandardScaler()),  # 数据归一化
    ('knn', KNeighborsClassifier(n_neighbors=3))  # 选择模型
])

pipeline.fit(X_train, y_train)
y_pred = pipeline.predict(X_test)

Y_test_binarized = label_binarize(y_test, classes=[0, 1, 2])
n_classes = Y_test_binarized.shape[1]

precision = dict()
recall = dict()
average_precision = dict()

# 获取预测概率
y_scores = pipeline.predict_proba(X_test)

# 计算每个类的精度和召回率
for i in range(n_classes):
    precision[i], recall[i], _ = precision_recall_curve(Y_test_binarized[:, i], y_scores[:, i])
    average_precision[i] = auc(recall[i], precision[i])  # 计算平均精度

# 绘图
plt.figure(figsize=(7, 8))
colors = ['blue', 'orange', 'green']  # 为每个类定义特定颜色
for i in range(n_classes):
    plt.plot(recall[i], precision[i], color=colors[i], lw=2,
             label=f'class {i} (area = {average_precision[i]:0.2f})')

plt.xlim([0.0, 1.0])
plt.ylim([0.0, 1.05])
plt.xlabel('Recall')
plt.ylabel('Precision')
plt.title('Precision-Recall Curve')
plt.legend(loc="lower left")
plt.show()

机器学习11（ROC曲线）
Roy_Allen的博客
12-18 760
ROC-AUC 评估指标
机器学习——P-R曲线和Roc曲线
Huang_Q_K的博客
10-31 2110
性能评估在机器学习中起着重要的作用，帮助我们理解和衡量模型的效果，并为模型选择、参数调优和特征选择提供指导，以达到更好的性能和预测能力。
【机器学习】ROC曲线和PR曲线
so_handsome_boy_的博客
04-07 941
ROC曲线（Receiver Operating Characteristic Curve）和PR曲线（Precision-Recall Curve）是评估二分类模型性能的常用工具，尤其在样本分布不平衡时表现不同特点。1. ROC曲线（Receiver Operating Characteristic Curve）定义ROC曲线是一种用于评估二分类模型性能的图形化工具，它通过绘制**真正例率（TPR, True Positive Rate）和。
【机器学习】ROC曲线
慢热型网友的博客
09-22 2308
接受者操作特性曲线（receiver operating characteristic curve，简称ROC曲线），又称为感受性曲线（sensitivity curve）。在二战期间，雷达系统被广泛应用于检测敌方飞机。为了优化雷达系统的性能，研究人员需要找到一种评估雷达系统的性能的方法。他们引入了信号检测理论中的TPR（真阳性率）和FPR（假阳性率）的概念。TPR表示在所有实际存在目标的情况下，系统正确检测到目标的比例。FPR则表示在所有实际不存在目标的情况下，系统错误地报告目标存在的比例。
什么是ROC曲线？手把手教你看懂ROC曲线
最新发布
2402_90033541的博客
05-14 1156
概念：ROC曲线用于评估二分类模型性能。它通过展示模型在不同阈值下的表现，帮助我们了解模型的效果。ROC曲线是通过绘制假阳性率和真阳性率的关系图，来反映不同阈值下分类器的表现。
机器学习：ROC曲线
m0_72410588的博客
05-07 2345
本篇博客从概念、原理、应用和与AUC值相关的知识点四个方面介绍了ROC曲线的基本知识，并给出了Python实现的示例。尽管ROC曲线不能完全衡量分类器的性能，但是它仍然是一个非常重要的评估指标，可以帮助我们选择更好的分类器模型，提高机器学习的效果和准确率。
机器学习(二)-ROC曲线
huihui__huihui的博客
10-13 387
前言 本文主要参考机器学习中的AUC-ROC曲线       正文 召回率： Sensitivity=TPTP+FNSensitivity=\frac{TP}{TP+FN}Sensitivity=TP+FNTP​ FNR: FNR=FNTP+FNFNR=\frac{FN}{TP+FN}FNR=TP+FNFN​ 特异性： Specificity=TNTN+FPSpecificity=\frac{TN}{TN+FP}Specificity=TN+FPTN​ FPR: FPR=FPTN+FPFPR=\frac{F
机器学习-ROC曲线&AUC
weixin_54025765的博客
05-08 582
ROC曲线有这样一个很好的特性：当测试集中正负样本的分布变化的时候，ROC曲线能够保持不变。 一个关于AUC的很有趣的性质是，它和Wilcoxon-Mann-Witney Test是等价的。这个等价关系的证明在下面给出。而Wilcoxon-Mann-Witney Test就是测试任意给一个正类样本和一个负类样本，正类样本的score有多大的概率大于负类样本的score 如何理解呢？ 自己的理解是：观察ROC曲线图，考虑横轴（假正例率）的变换，我们知道ROC曲线的构成原理是每次更新阈值（当然阈值就直接选
模型评估指标：P-R曲线和ROC曲线
海涛技术漫谈
03-19 1万+
在机器学习建模中，模型评估指标用于评估不同模型的优劣。 在分类任务中，最简单的评估指标莫过于错误率和精度了，错误率表示的是错误分类的样本个数占总样本个数的比例，精度则是1减去错误率。 错误率和精度的优点是：它们不仅仅适用于二分类问题，也同样适用于多分类问题。 但是单单看错误率和精度两个指标无法很好的对模型进行合适的评估。一方面，现在不少的模型最终都是预测一个类别的概率值，为了计算错误率和精度...
深度探讨机器学习中的ROC和PR曲线
热门推荐
yqtao的博客
01-13 4万+
引言\quad 在 21 Must-Know Data Science Interview Questions and Answers 的文章中，有这类似这样的问题，它问的是Explain what precision and recall are. How do they relate to the ROC curve?关于这个问题其实有许多需要回答的，不仅仅是他们的表现形式不同，同时它涉及到下机
模型评估方法以及评估指标——准确率、精确率、召回率以及P-R曲线和ROC曲线介绍
qq_42600675的博客
12-06 1万+
模型评估方法以及评估指标介绍前言一、准确率、精确率、召回率1.1 准确率(Accuracy)1.2 精确率(Precision)1.3 召回率(Recall)二、P-R曲线和ROC曲线2.1 P-R曲线2.2 ROC曲线三、模型评估验证方法3.1 Holdout检验3.2 交叉检验3.3 自助法 前言 ”没有测量，就没有科学“ 在机器学习中，只有选择与问题相匹配的评估方法，才能快速地发现模型选择或训练过程中出现的问题，迭代地对模型进行优化。模型评估主要是离线评估和在线评估两个阶段，本文整理了常见的模
机器学习——P-R曲线的绘制
m0_59706452的博客
11-06 2790
PR曲线
机器学习中的ROC曲线理解和实战
ouzhong11的博客
10-23 7794
ROC最简单的理解，一看就懂了
机器学习之ROC曲线
荒野雄兵的专栏
12-30 1万+
在机器学习中评价分类模型时经常会用到ROC曲线。 要学习ROC曲线首先得知道什么是TPR，什么是FPR。 TPR的英文全称为：True Positive Rate FPR的英文全称为：False Positive Rate 中文解释为： TPR（真正例率）：真实值是正例，且预测为正例的比例 FPR（假正例率）：真实值为负例，而预测为正例的比例 怎么感觉有些绕口令啊？ OK，看下图： 根据上图图示...
机器学习中的ROC曲线
WYXHAHAHA123的博客
03-27 986
ROC曲线是评价分类器的性能好坏的标准。 在逻辑回归分类器中，最终模型预测出来的是一个概率值，表示当前的样本属于正类的概率。设定逻辑回归正类别的threshold即为t，如果逻辑回归模型预测出的概率值大于t，则预测为正类，如果概率值小于t，则预测为负类。 分类问题中的混淆矩阵（以二分类为例） gt\prediction 正类 负类 正类 TP FN 负类 ...
【漫话机器学习系列】149.ROC 曲线（Receiver Operating Characteristic Curve）
IT古董
03-19 1384
在机器学习和统计学中，评估二元分类器（Binary Classifier）性能的关键工具之一就是 ROC 曲线（Receiver Operating Characteristic Curve），即受试者工作特征曲线。ROC 曲线直观地展示了分类器在不同阈值下的 真阳率（True Positive Rate, TPR） 和 假阳率（False Positive Rate, FPR） 之间的权衡情况。本文将详细介绍 ROC 曲线的定义、计算方法、解读方式及其在机器学习中的实际应用。
机器学习（一）PR曲线和ROC曲线
weixin_52833736的博客
10-17 1596
P-R曲线和ROC曲线
一步一步理解机器学习的ROC曲线
算法channel
09-03 1850
你好，我是zhenguoROC曲线是评估机器学习模型分类能力最常用的一条曲线，那么你知道：ROC曲线x，y轴各代表什么含义？ROC曲线上的一个点代表什么含义？这两个问题在面试中也常会被问道，不妨抽几分钟时间理解我下面的这篇小总结。二分类混淆矩阵下面是二分类的混淆矩阵，这个不难理解，P或N代表结果，T或F代表预测对与否：基于二分类混淆矩阵，我们再来探讨关于ROC曲线上面提出的两个问题。ROC曲线x，...
机器学习——ROC曲线、PR曲线
TXQIHYJ的博客
10-20 2902
目录背景介绍ROC曲线介绍深入ROC曲线的主要用途及其优点补充PR曲线介绍深入使用场景ROC曲线和PR曲线关系具体实现ROC曲线的实现PR曲线的实现实验总结ROC曲线（receiver operating characteristic）是一种对于灵敏度进行描述的功能图像，又称为感受性曲线（sensitivity curve。ROC曲线可以通过描述真阳性率（TPR）和假阳性率（FPR）来实现。由于是通过比较两个操作特征（TPR和FPR）作为标准，ROC曲线也叫做相关操作特征曲线。
Roc曲线
04-21
### ROC 曲线概述 ROC 曲线（Receiver Operating Characteristic Curve），即接收者操作特征曲线，是一种广泛应用于机器学习领域中的工具，用于评估二分类模型的性能。该曲线通过绘制不同分类阈值下的假阳性率（False Positive Rate, FPR）和真阳性率（True Positive Rate, TPR）来展现模型的表现[^1]。 #### 基本定义 - **FPR (False Positive Rate)**：表示负样本被错误地预测为正类的比例。 \[ FPR = \frac{FP}{FP + TN} \] - **TPR (True Positive Rate)** 或称为敏感度（Sensitivity）、召回率（Recall）：表示实际为正类的样本中，被正确识别为正类的比例。 \[ TPR = \frac{TP}{TP + FN} \] 其中： - \( TP \) 表示真正例数； - \( FP \) 表示假正例数； - \( TN \) 表示真反例数； - \( FN \) 表示假反例数； 通过改变分类器的决策阈值，可以计算出一系列的 \( FPR \) 和 \( TPR \)，并将它们绘制成一条二维曲线，这就是 ROC 曲线[^1]。 --- ### AUC 的概念及其意义 AUC 是指 ROC 曲线下的面积（Area Under the Curve）。AUC 被用来量化模型的整体性能。通常情况下，AUC 的取值范围在 0 到 1 之间： - 当 AUC 接近于 1 时，表明模型具有很强的区分能力； - 当 AUC 等于 0.5 时，意味着模型无法有效地区分正类和负类； - 如果 AUC 小于 0.5，则可能说明模型存在严重的偏差或者数据标签颠倒的情况[^1]。 --- ### ROC 曲线的实际应用 在 Python 中可以通过 `sklearn.metrics` 提供的功能轻松实现 ROC 曲线的绘制以及 AUC 的计算。以下是具体的操作流程与代码实例： ```python from sklearn.datasets import make_classification from sklearn.model_selection import train_test_split from sklearn.linear_model import LogisticRegression from sklearn.metrics import roc_curve, auc import matplotlib.pyplot as plt # 创建模拟数据集 X, y = make_classification(n_samples=1000, n_features=20, n_classes=2, random_state=42) # 数据划分 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42) # 构建逻辑回归模型并训练 model = LogisticRegression() model.fit(X_train, y_train) # 获取测试集中每个样本属于正类的概率分数 y_scores = model.predict_proba(X_test)[:, 1] # 计算 ROC 曲线的相关参数 fpr, tpr, thresholds = roc_curve(y_test, y_scores) roc_auc = auc(fpr, tpr) # 绘制 ROC 曲线图 plt.figure(figsize=(8, 6)) plt.plot(fpr, tpr, color='darkorange', lw=2, label=f'ROC curve (area = {roc_auc:.2f})') plt.plot([0, 1], [0, 1], color='navy', lw=2, linestyle='--') # 随机猜测基线 plt.xlim([0.0, 1.0]) plt.ylim([0.0, 1.05]) plt.xlabel('False Positive Rate') plt.ylabel('True Positive Rate') plt.title('Receiver Operating Characteristic Example') plt.legend(loc="lower right") plt.show() ``` 此段代码展示了如何利用逻辑回归构建一个简单的分类模型，并基于测试集上的概率得分生成 ROC 曲线及对应的 AUC 值[^2]。 --- ### 总结 综上所述，ROC 曲线不仅能够直观地反映出分类模型在各种阈值条件下的表现情况，而且还能借助 AUC 来提供一种统一的标准去评判多个模型间的优劣差异。因此，在许多场景下，尤其是涉及不平衡类别分布的任务里，ROC-AUC 成为了不可或缺的重要评价手段之一[^1]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值