【漫话机器学习系列】248.什么是代价（损失）函数（Why It Called A Cost Function）

本文链接：https://blog.csdn.net/IT_ORACLE/article/details/147785434

什么是代价（损失）函数？——深入理解与应用

在机器学习与深度学习领域，我们经常听到“代价函数（Cost Function）”或者“损失函数（Loss Function）”这两个术语。它们在模型训练过程中扮演着至关重要的角色。那么，什么是代价（损失）函数？为什么需要它？它又是如何影响模型训练效果的？
今天，我们就结合 Chris Albon 的简明图解，来详细聊一聊代价（损失）函数的本质。

1. 为什么叫做 Cost Function？

正如图中所描述：

代价（或损失）函数是在训练过程中需要最小化的目标函数。
它衡量的是“使用模型而不是事实”的代价。

简单来说，代价函数衡量了模型预测值与真实值之间的差距。
在模型训练的过程中，我们希望模型的预测越来越接近真实数据。代价函数就像一个标尺，时刻告诉我们“当前模型表现得有多好或多差”，并指导我们如何调整模型参数，使预测结果更加准确。

关键词总结：

最小化：目标是让代价函数的值尽可能小。
模型误差：代价函数体现的是模型与现实之间的误差。
优化方向：代价函数提供了优化方向，指导参数更新。

2. 代价函数与损失函数的区别

在很多资料中，Cost Function 和 Loss Function 常常交替使用，但在严格意义上，它们略有差异：

名称	定义	举例
损失函数（Loss Function）	针对单个样本的预测误差进行衡量。	均方误差（MSE）、交叉熵损失（Cross Entropy Loss）
代价函数（Cost Function）	针对整个训练集上的损失进行平均或累计，作为最终优化目标。	总损失的平均值

简单理解就是：
损失函数是“一个样本”的误差，代价函数是“整体样本”的误差。

3. 常见的代价（损失）函数类型

根据任务的不同（回归任务、分类任务等），我们会选择不同的代价函数：

3.1 回归问题中的代价函数

均方误差（MSE）：
$MSE = \frac{1}{n}\sum_{i=1}^{n}(y_i - \hat{y}_i)^2$
衡量预测值和真实值之间差值的平方的平均值，常用于线性回归。
平均绝对误差（MAE）：
$MAE = \frac{1}{n}\sum_{i=1}^{n}|y_i - \hat{y}_i|$
衡量预测值与真实值之间绝对差异的平均值，适合异常值较多的数据集。

3.2 分类问题中的代价函数

交叉熵损失（Cross Entropy Loss）：
用于二分类或多分类任务，衡量分类概率分布之间的差异。

二分类交叉熵公式：
$Loss = -\left( y\log(\hat{y}) + (1-y)\log(1-\hat{y}) \right)$
KL散度（KL Divergence）：
衡量两个概率分布之间的差异，也可用于分类问题。