一文理清L1 loss、L2 loss、smooth L1 loss原理与区别

L1 loss

L1 loss常用别称：

• L1范数损失
• 最小绝对偏差（LAD）
• 平均绝对值误差（MAE）
  
  其中，yi是真实值，f(xi)是预测值，n是样本点个数

优缺点？

• 优点：无论对于什么样的输入值，都有着稳定的梯度，不会导致梯度爆炸问题，具有较为稳健性的解
• 缺点：在中心点是折点，不能求导，梯度下降时要是恰好学习到w=0就没法接着进行了

什么时候使用？

1. 回归任务
2. 简单模型
3. 神经网络通常比较复杂，直接使用L1 loss作为损失函数的非常少

L2 loss

L2 loss常用别称：

• L2范数损失
• 最小均方误差（LSE）
• 均方误差（MSE）
  
  其中，yi是真实值，f(xi)是预测值，n是样本点个数

优缺点？

• 优点：各点都连续光滑，方便求导，具有较为稳定的解
• 缺点：不是特别的稳健，因为当函数的输入值距离真实值较远的时候，对应loss值很大在两侧，则使用梯度下降法求解的时候梯度很大，可能导致梯度爆炸