44、Python机器学习的模型评估指标【用Python进行AI数据分析进阶教程】

在 Python 机器学习中，模型评估指标用于衡量模型的性能和预测能力。以下将详细介绍均方误差（MSE）、均方根误差（RMSE）、平均绝对误差（MAE）和决定系数（R2）这几个常见的评估指标，包括它们的关键点、注意点，并给出相应的 Python 示例。

一、均方误差（Mean Squared Error, MSE）

1、关键点

• 定义：均方误差是预测值与真实值之间差值的平方的平均值。它衡量了模型预测值与真实值之间的平均误差程度，值越小表示模型的预测效果越好。
• 公式：，其中 n 是样本数量，yi​ 是真实值，y^​i​ 是预测值。

2、注意点

• 由于使用了平方运算，MSE 对异常值比较敏感。如果数据中存在较大的异常值，会导致 MSE 值显著增大，从而可能高估模型的误差。
• MSE 的单位是原始数据单位的平方，这使得它的数值大小不太直观，不利于与原始数据进行直接比较。

3、示例代码

Python脚本

# 从 sklearn 库的 metrics 模块中导入 mean_squared_error 函数，用于计算均方误差
from sklearn.metrics import mean_squared_error
# 导入 numpy 库，用于处理数组和数值计算
import numpy as np

# 定义真实值，创建一个包含 1 到 5 的一维数组，代表样本的真实观测值
y_true = np.array([1, 2, 3, 4, 5])

# 定义预测值，创建一个包含预测结果的一维数组，与 y_true 对应样本的预测值
y_pred = np.array([1.2, 2.1, 2.9, 4.2, 4.8])

# 计算均方误差
# 使用 mean_squared_error 函数，传入真实值 y_true 和预测值 y_pred，计算均方误差
# 均方误差的计算公式为：MSE = (1/n) * Σ(yi - ŷi)^2，其中 n 是样本数量，yi 是真实值，ŷi 是预测值
mse = mean_squared_error(y_true, y_pred)

# 打印计算得到的均方误差
print(f"均方误差: {mse}")

输出 / 打印结果

结果注释

均方误差衡量了预测值与真实值之间的平均误差程度。其值越小，表示模型的预测效果越好。在这个例子中，均方误差为 0.028，说明预测值和真实值之间的平均误差较小，模型的预测效果相对较好。具体来说，该值是通过对每个样本的预测值与真实值之差的平方求平均值得到的，反映了整体预测的偏离程度。

二、均方根误差（Root Mean Squared Error, RMSE）

1、关键点

• 定义：均方根误差是均方误差的平方根。它与原始数据具有相同的单位，因此更直观地反映了模型预测值与真实值之间的平均误差大小。
• 公式：

2、注意点

• 同样对异常值敏感，因为它是基于 MSE 计算的。
• RMSE 在衡量模型性能时，给予较大误差更大的权重，因为误差是先平方再开方的。

3、示例代码

Python脚本

# 从 sklearn 库的 metrics 模块中导入 mean_squared_error 函数
# 该函数用于计算均方误差，在评估模型预测结果与真实值之间的差异时非常有用
from sklearn.metrics import mean_squared_error
# 导入 numpy 库，numpy 是 Python 中用于科学计算的基础库
# 提供了强大的数组操作和数学函数，这里主要用于处理数组和进行平方根运算
import numpy as np

# 定义真实值数组
# y_true 是一个包含 5 个元素的一维 numpy 数组，代表样本的真实观测值
y_true = np.array([1, 2, 3, 4, 5])
# 定义预测值数组
# y_pred 是一个包含 5 个元素的一维 numpy 数组，代表模型对相应样本的预测值
y_pred = np.array([1.2, 2.1, 2.9, 4.2, 4.8])

# 计算均方误差
# 使用 mean_squared_error 函数，传入真实值 y_true 和预测值 y_pred
# 均方误差的计算公式为：MSE = (1/n) * Σ(yi - ŷi)^2，
# 其中 n 是样本数量，yi 是真实值，ŷi 是预测值
mse = mean_squared_error(y_true, y_pred)

# 计算均方根误差
# 均方根误差（RMSE）是均方误差（MSE）的平方根
# 使用 numpy 的 sqrt 函数对 mse 取平方根得到 RMSE
rmse = np.sqrt(mse)

# 打印均方根误差
# 以格式化字符串的形式输出计算得到的均方根误差
print(f"均方根误差: {rmse}")

输出 / 打印结果

结果注释

均方根误差（RMSE）衡量了预测值与真实值之间的平均误差大小，并且与原始数据具有相同的单位，因此更直观地反映了模型预测的平均偏离程度。RMSE 值越小，说明模型的预测结果越接近真实值，模型的性能越好。在这个例子中，RMSE 的值约为 0.17，表明预测值与真实值之间的平均误差相对较小，模型的预测效果较好。

三、平均绝对误差（Mean Absolute Error, MAE）

1、关键点

• 定义：平均绝对误差是预测值与真实值之间差值的绝对值的平均值。它衡量了模型预测值与真实值之间的平均绝对偏差。
• 公式：

2、注意点

• 对异常值相对不敏感，因为使用的是绝对值而不是平方运算。这使得 MAE 在数据中存在异常值时，能更稳健地反映模型的真实误差情况。
• MAE 的单位与原始数据相同，便于理解和解释。

3、示例代码

Python脚本

# 从 sklearn 库的 metrics 模块中导入 mean_absolute_error 函数
# 该函数用于计算平均绝对误差，是评估模型预测准确性的常用指标之一
from sklearn.metrics import mean_absolute_error
# 导入 numpy 库，它是 Python 中用于科学计算的基础库
# 提供了强大的数组操作和数学函数，便于处理数值数据
import numpy as np

# 创建一个包含真实值的一维 numpy 数组
# 这里的真实值代表样本的实际观测结果
y_true = np.array([1, 2, 3, 4, 5])
# 创建一个包含预测值的一维 numpy 数组
# 这些预测值是模型对相应样本的预测结果
y_pred = np.array([1.2, 2.1, 2.9, 4.2, 4.8])

# 计算平均绝对误差
# 使用 mean_absolute_error 函数，传入真实值数组 y_true 和预测值数组 y_pred
# 平均绝对误差的计算公式为：MAE = (1/n) * Σ|yi - ŷi|，
# 其中 n 是样本数量，yi 是真实值，ŷi 是预测值
mae = mean_absolute_error(y_true, y_pred)

# 打印计算得到的平均绝对误差
# 使用格式化字符串输出结果，方便查看
print(f"平均绝对误差: {mae}")

输出 / 打印结果

结果注释

平均绝对误差（MAE）衡量了预测值与真实值之间的平均绝对偏差。它是所有样本的预测值与真实值差值的绝对值的平均值。在这个例子中，MAE 的值为 0.16，这意味着模型的预测值平均偏离真实值 0.16 个单位。MAE 的值越小，说明模型的预测结果越接近真实值，模型的性能也就越好。由于 MAE 使用的是绝对值，它对异常值的敏感度相对较低，能够更稳健地反映模型的整体预测误差情况。

四、决定系数（Coefficient of Determination, R2）

1、关键点

• 定义：决定系数衡量了模型对数据的拟合程度，取值范围在 (−∞,1] 之间。R2 值越接近 1，表示模型对数据的拟合效果越好；R2 值为 0 表示模型的预测效果与使用均值预测的效果相同；R2 值为负数表示模型的预测效果比使用均值预测还要差。
• 公式：，其中 yˉ​ 是真实值的平均值。

2、注意点

• R2 值会随着模型中特征数量的增加而增大，即使这些特征对预测没有实际意义。因此，在比较不同模型时，需要结合调整后的 R2 （Adjusted R2）来考虑特征数量的影响。
• R2 只能说明模型对训练数据的拟合程度，不能直接反映模型在新数据上的泛化能力。

3、示例代码

Python脚本

# 从 sklearn 库的 metrics 模块中导入 r2_score 函数
# r2_score 函数用于计算决定系数，决定系数可以衡量回归模型的拟合优度
from sklearn.metrics import r2_score
# 导入 numpy 库，numpy 是 Python 中用于科学计算的基础库
# 它提供了强大的数组操作功能，方便我们处理数据
import numpy as np

# 定义真实值数组
# y_true 是一个包含 5 个元素的一维 numpy 数组，代表样本的真实观测值
y_true = np.array([1, 2, 3, 4, 5])
# 定义预测值数组
# y_pred 是一个包含 5 个元素的一维 numpy 数组，代表模型对相应样本的预测值
y_pred = np.array([1.2, 2.1, 2.9, 4.2, 4.8])

# 计算决定系数
# 使用 r2_score 函数，传入真实值 y_true 和预测值 y_pred
# 决定系数的计算公式为：R² = 1 - (Σ(yi - ŷi)² / Σ(yi - y_mean)²) 
# 其中 yi 是真实值，ŷi 是预测值，y_mean 是真实值的均值
# 决定系数的取值范围是 (-∞, 1]，越接近 1 表示模型拟合效果越好
r2 = r2_score(y_true, y_pred)

# 打印决定系数
# 使用格式化字符串输出计算得到的决定系数，方便查看模型的拟合情况
print(f"决定系数: {r2}")

输出 / 打印结果

结果注释

决定系数（R2）的值越接近 1，说明模型对数据的拟合效果越好。在这个例子中，R2 的值为 0.986，这是一个非常接近 1 的数值，表明该模型的预测值与真实值之间的拟合程度很高，模型能够很好地解释数据中的变化，预测效果较好。但要注意，R2 只能反映模型对训练数据的拟合情况，不能完全代表模型在新数据上的泛化能力。

通过上述示例和解释，你可以根据具体的问题和数据特点选择合适的评估指标来评估模型的性能。