常见回归损失函数详解：L1 Loss, L2 Loss, Huber Loss

### L1损失概述 L1损失，也称为绝对误差损失（Absolute Error Loss），衡量的是预测值与真实值之间差别的绝对值总和。这种类型的损失函数对于异常值具有较强的鲁棒性，在某些特定情况下优于平方误差损失。 #### 定义 L1损失定义为预测值 \( \hat{y} \) 和目标值 \( y \) 差距的绝对值平均数[^1]： \[ L_1(y, \hat{y}) = \frac{1}{N}\sum_{i=1}^{N}|y_i - \hat{y}_i| \] 其中 \( N \) 表示样本数量。 #### 计算方法 为了计算L1损失，需遍历所有数据点并累加它们之间的绝对差异，最后取均值得到整体的损失数值。具体实现如下所示: ```python def l1_loss(y_true, y_pred): """ Calculate the mean absolute error (MAE), also known as L1 loss. Parameters: y_true : array-like of shape (n_samples,) Ground truth (correct) target values. y_pred : array-like of shape (n_samples,) Estimated targets as returned by a classifier. Returns: float: The Mean Absolute Error value. """ import numpy as np return np.mean(np.abs(y_true - y_pred)) ``` #### 应用场景 在机器学习和深度学习中，当面对含有较多噪声的数据集或者希望构建稀疏解决方案时，倾向于采用L1正则化项配合其他形式的目标函数一起使用。此外，在图像处理等领域，由于其对离群点不敏感的特点，也被广泛应用。 - **对抗过拟合**：通过引入L1范数惩罚因子至成本函数内部，促使权重矩阵变得稀疏从而简化模型结构。 - **特征选择**：利用Lasso回归中的L1正则化机制自动筛选重要变量。 - **计算机视觉任务**：比如边缘检测、去噪等操作中经常运用此概念来保持边界清晰度的同时减少不必要的细节干扰。