深度学习loss总结（二）

最新推荐文章于 2025-08-06 18:10:49 发布
最新推荐文章于 2025-08-06 18:10:49 发布
阅读量674 收藏 11
点赞数 30
CC 4.0 BY-SA版权
分类专栏： 目标检测 文章标签： 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaomu_347/article/details/149854178

       对于目前深度学习主流任务学习，loss的设置至关重要。下面就不同任务的loss设置进行如下总结：

（1）目标检测

2D/3D目标检测中的 Loss（损失函数）是训练模型时优化目标的核心，通常包括位置、类别、尺寸、方向等多个方面。以下是目前 常见的 2D 和 3D 目标检测 Loss 分类与总结：

🔷 一、2D 目标检测常见 Loss

2D 目标检测常见于图像（如 COCO、VOC），其 Loss 主要分为以下三类：

1. 分类损失（Classification Loss）

  • Cross Entropy Loss：最常用，如 Faster R-CNN、YOLOv3。

  • Focal Loss：用于处理前景/背景不均衡，如 RetinaNet。

2. 边界框回归损失（Bounding Box Regression Loss）

  • Smooth L1 Loss / Huber Loss：常用于 R-CNN 系列。

  • IoU Loss：直接优化 IoU，稳定性更好。

  • GIoU / DIoU / CIoU Loss（用于 YOLOv4/v5 等）：

    • GIoU: Generalized IoU，考虑重叠与包围。

    • DIoU: Distance IoU，考虑中心距离。

    • CIoU: Complete IoU，综合中心、面积和长宽比。

3. 辅助任务损失

  • Objectness Loss：YOLO 系列判断该区域是否有目标。

  • Center-ness Loss：FCOS 中判断中心点可信度。

  • Heatmap Loss（如 CornerNet, CenterNet）：

    • 用高斯热图回归目标中心点，常用 MSE 或 focal loss。

🔷 二、3D 目标检测常见 Loss

3D 检测用于点云（如 KITTI、nuScenes、Waymo），损失函数更加复杂，涵盖了空间维度、方向等：

1. 分类损失

  • 同 2D 检测，使用 CrossEntropy/Focal Loss。

  • 在 anchor-based 方法中用于前背景分类。

2. 3D 边界框回归损失

  • 通常为多项组合，包括中心位置、大小、方向等：

➤ 位置损失：

  • L1 / Smooth L1：对中心点 (x,y,z)(x, y, z)。

  • Center Distance Loss：点云中心与GT中心的距离。

➤ 尺寸损失：

  • 对 w,h,lw, h, l 使用 L1/Smooth L1。

➤ 朝向损失（方向角）：

  • 角度回归 loss：L1 / Smooth L1。

  • 角度分类 loss：方向离散为多个 bin，使用分类损失。

  • Sin-Cos 回归 loss：使用 sin⁡(θ),cos⁡(θ)\sin(\theta), \cos(\theta) 规避周期性问题。

3. IoU类损失

  • 3D IoU Loss（较难优化但直观）：如 PointRCNN。

  • BEV IoU Loss（Bird's Eye View）：简化空间问题。

4. 关键点 / 热力图损失

  • Heatmap Loss（如 CenterPoint, PV-RCNN）用于预测中心点。

    • 通常为 Gaussian Focal Loss。

  • Offset Loss：预测热图中心点到真实中心点的偏移量。

5. 方向不变性损失

  • Corner Loss（如 Frustum-PointNet）：

    • 通过角点预测反推旋转和平移，更鲁棒。

  • Chamfer Distance（点云匹配）：在 PointNet++ 等方法中。

🔷 三、检测 Loss 组合示意

模型 分类 Loss 回归 Loss 特殊项
Faster R-CNN Cross Entropy Smooth L1 -
YOLOv5 BCE / Focal CIoU Loss Objectness Loss
RetinaNet Focal Loss Smooth L1 -
CenterNet Heatmap Loss Offset + Size (L1) -
PointRCNN Focal + IoU 3D Box Regression + Corner Loss Direction Class
PV-RCNN Heatmap + CE L1 + 3D IoU + Sin-Cos Angle Loss RoI Pool + BEV Match
CenterPoint Heatmap + CE Offset + Size + Direction (multi-part) Gaussian Focal + Direction Bin

✅ 总结：选择检测 Loss 的核心要点

目标 推荐 Loss 类型
二分类 / 多分类
最低0.47元/天 解锁文章

200万优质内容无限畅学
深度学习知识点全面总结
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
01-05 34万+
本文详细介绍深度学习概念及原理，参考网上相关资料汇总，内容包含众多章节，包括神经网络基础及常见深度学习网络结构介绍，用于个人学习总结，适合深度学习初学者学习。同时介绍机器学习常见的分类算法：SVM、神经网络、随机森林、逻辑回归、KNN、贝叶斯。常见的监督学习算法：感知机、SVM、人工神经网络、决策树、逻辑回归.........
深度学习系列资料总结
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
07-17 2万+
说明本系列深度学习资料集合包含机器学习、深度学习等各系列教程，主要以计算机视觉资料为主，包括图像识别、分类、检测、分割等，内容参考Github及网络资源，仅供个人学习。深度学习定义一般是指通过训练多层网络结构对未知数据进行分类或回归深度学习分类有监督学习方法——深度前馈网络、卷积神经网络、循环神经网络等；无监督学习方法——深度信念网、深度玻尔兹曼机，深度自编码器等。手写机器学习笔记github机器学习算法公式推导以及numpy实现github人工智能相关术语link。..................
深度学习loss
weixin_45706801的博客
07-25 2065
是 PyTorch 中的一个类，它实现了将 Sigmoid 激活函数和二元交叉熵损失函数合并的功能。这个损失函数接受两个输入：模型的原始输出（未经 Sigmoid 激活）和目标（真实）标签，然后自动计算损失值。由于它在内部集成了 Sigmoid 激活函数，因此可以避免在正向和反向传播过程中可能出现的梯度爆炸或梯度消失问题。是 PyTorch 中一个用于二元分类问题的强大损失函数，它通过结合 Sigmoid 激活函数和二元交叉熵损失函数，提高了训练的效率和数值稳定性。
深度学习基础loss和目标检测loss总结
zisuina_2的博客
09-06 9107
目标检测各种loss汇总
深度学习之——损失函数（loss)
GWENGJING的博客
09-09 1万+
本文的目的介绍损失函数，以及它们的基本原理。
深度学习loss函数理解
luo2007专栏Gods determine what you're going to be！
09-29 4万+
监督机器学习问题无非就是“minimizeyour error while regularizing your parameters”，也就是在规则化参数的同时最小化误差。最小化误差是为了让我们的模型拟合我们的训练数据，而规则化参数是防止我们的模型过分拟合我们的训练数据。多么简约的哲学啊！因为参数太多，会导致我们的
深度学习参数和loss总结
clearsky767的专栏
08-29 1184
AI不惑境 - 学习率和batchsize如何影响模型的性能？ https://zhuanlan.zhihu.com/p/64864995 【AI不惑境】残差网络的前世今生与原理 https://mp.weixin.qq.com/s?__biz=MzA3NDIyMjM1NA==&mid=2649033134&idx=1&sn=69a5be0c1677e55a031...
PyTorch深度学习与计算机视觉实践
热门推荐
weixin_43178406的博客
07-30 8万+
本文主要介绍了PyTorch深度学习与计算机视觉实践，希望能对同学们有所帮助。 文章目录 1. 前言 2. 书籍推荐 2.1 内容简介 2.2 本书作者 2.3 本书目录 3. 购买链接
深度学习训练过程中loss变化情况
Sumarua的博客
03-31 7071
可以看到虽然还没学习多少，但是我的val_loss已经开始出现了震荡的情况。但总体趋势还是在下降说明还有学习的空间。 loss和val_loss的变化趋势反映的情况如下，可供参考： loss下降，val_loss下降：训练网络正常，最好情况。 loss下降，val_loss稳定：网络过拟合化，可以使用正则化和Max pooling。 loss稳定，val_loss下降：数据集有严重问题，建议重新选择。 loss稳定，val_loss稳定：学习过程遇到瓶颈，需要减小学习率或批量数目，可以减少学习率。
深度学习调参最全经验总结
rlczddl的博客
10-06 5193
本文结合自身工作和网上诸多炼丹者的经验，按不同模块梳理了有关深度学习调参的大量经验心得。特别地，加黑部分是笔者在实际项目中验证有效的。如有侵权请联系删除，如有错误欢迎评论指出。
【总结】深度学习中的LOSS
youzhizhe2014的博客
12-07 2535
【总结】深度学习中的损失函数 1. 铰链损失/合页损失 Hinge Loss SVM常用损失函数 函数表达式 L(y,f(x))=max(0,1−y⋅f(x))L(y,f(x)) = max(0,1-y·f(x))L(y,f(x))=max(0,1−y⋅f(x)) 函数图像 通过上图可知，当y⋅f(x)>1y·f(x)>1y⋅f(x)>1时，loss=0loss=0loss=0；否则，loss=1−y⋅f(x)loss=1-y·f(x)loss=1−y⋅f(x)。也就是说，只有被
使用yolo11训练饮料瓶盖缺陷检测质量检测数据集VOC+YOLO格式1432张5类别步骤和流程
FL1623863129的博客
08-03 753
训练完成后，最佳权重保存路径为：runs/detect/train/weights/best.pt，如果多次运行命令runs/detect/train2,runs/detect/train3文件夹生成只需要到数字最大文件夹查看就可以找到模型。经过上面训练可以使用模型做一步部署，比如使用onnx模型在嵌入式部署，使用engine模型在jetson上deepstream部署，使用torchscript模型可以在C++上部署等等。通过比较不同模型在这些指标上的表现，可以判断哪个模型在实际应用中可能更有效。
深度学习-读写模型网络文件
weixin_74126320的博客
08-03 562
模型网络文件是深度学习模型的存储形式，保存了模型的架构、参数等信息。读写模型网络文件是深度学习流程中的关键环节，方便模型的训练、测试、部署与共享。
深度学习·VPT
最新发布
2301_80132162的博客
08-06 229
基于深度学习的医学图像分析：使用变分自编码器（VAE）实现医学图像生成
qq_74383080的博客
08-03 879
本文介绍了基于变分自编码器（VAE）的医学图像生成技术。首先概述了医学图像分析的定义及其在疾病模拟、图像增强和数据增强中的应用场景。然后详细讲解了VAE的理论基础，包括其编码器-解码器架构和生成多样性优势。文章提供了完整的代码实现流程：从环境准备、数据加载预处理，到VAE模型定义、训练和评估方法，最后展示了生成图像的可视化效果。该技术能够生成多样化的医学图像，支持医学研究和临床应用。读者可通过调整模型结构和参数进一步优化生成效果。
深度学习·mmsegmentation基础教程
2301_80132162的博客
08-02 1033
继承类别和RGB标签的映射关系指定图像扩展名、标注扩展名seg_map_suffix='.png', # 标注mask图像的格式reduce_zero_label=False, # 类别ID为0的类别是否需要除去**kwargs)# 类别和对应的 RGB配色# 指定图像扩展名、标注扩展名seg_map_suffix='.png', # 标注mask图像的格式reduce_zero_label=False, # 类别ID为0的类别是否需要除去**kwargs)
【深度学习新浪潮】什么是专业科研智能体？
智能守恒_HengAI
08-02 283
专业科研智能体是一类基于人工智能技术、专为科学研究场景设计的智能系统，其核心目标是通过自动化和智能化手段辅助科研人员完成从文献调研、实验设计到数据分析的全流程任务。多模态数据理解：能够解析科学文献中的公式、图表、实验数据等复杂内容，并整合跨学科知识（如分子结构、基因序列、物理模型等）。自主任务规划：通过自然语言交互接收科研需求，动态拆解任务并调用外部工具（如计算模拟软件、数据库、实验室设备），形成可执行的研究路径。科学推理与创新。
基于深度学习的医学图像分析：使用MobileNet实现医学图像分类
qq_74383080的博客
08-02 882
本文介绍了基于MobileNet的医学图像分类技术。首先概述了医学图像分析的重要性及其在疾病诊断等场景的应用。然后重点讲解了MobileNet的轻量化架构优势，包括深度可分离卷积的原理及其计算效率高的特点。文章提供了完整的代码实现流程，涵盖数据预处理、模型加载与微调、训练评估等关键步骤。实验结果表明，MobileNet在保持较高分类精度的同时显著降低了计算资源需求。该研究为医学图像分析提供了一种高效的深度学习解决方案，并建议读者可尝试改进模型以提升性能。
【机器学习&深度学习】模型剪枝
qq_62223405的博客
08-05 578
模型剪枝虽能有效减小模型体积和加速推理，但因精度风险高、工程复杂、工具不成熟，当前在工业界应用仍不如量化与轻量模型广泛。
深度学习LOSS图
07-03
<think>我们正在处理用户关于深度学习训练过程中损失函数可视化的问题。用户希望了解如何绘制LOSS曲线，用于模型调优或结果可视化。根据提供的引用，我们可以总结出几种常见的方法。方法1：使用matplotlib手动绘制-在训练过程中记录训练损失和测试损失（或其他指标）到列表-训练结束后，使用matplotlib绘制折线图方法2：使用TensorBoard（深度学习框架如TensorFlow、PyTorch的可视化工具）-在训练过程中使用特定的函数（如add_scalar）将损失值写入日志-启动TensorBoard服务并打开网页查看实时曲线由于用户提到PyTorch（引用1）和Tensorboard（引用3），以及matplotlib（引用2），我们将分别介绍这两种主要方法。步骤：1.记录损失值：在训练循环中，每个epoch或每个batch后记录损失值。2.绘制：使用matplotlib绘制或使用TensorBoard实时查看。我们将分别给出两种方法的示例代码。注意：用户可能使用不同的深度学习框架，但问题中提到了PyTorch（引用1）和Tensorboard（引用3），所以我们以PyTorch为例。方法一：使用matplotlib绘制-在训练过程中收集损失值-训练结束后绘制方法二：使用TensorBoard（PyTorch中通过torch.utils.tensorboard实现）-安装TensorBoard：`pip installtensorboard`-在代码中创建SummaryWriter，并添加标量（损失值）-启动TensorBoard服务下面分别给出两种方法的代码示例：</think>### 深度学习损失函数可视化方法 在深度学习训练中，可视化损失函数（LOSS）曲线是分析模型性能的关键手段。以下是两种主流实现方法，结合代码示例说明： --- #### **方法1：Matplotlib 手动绘制** **核心步骤**： 1. **记录损失值**：训练过程中存储每个 epoch 的损失 2. **绘制曲线**：训练结束后用 `matplotlib` 可视化 ```python import matplotlib.pyplot as plt # 训练循环中记录损失（示例） train_losses = [] # 存储训练损失 val_losses = [] # 存储验证损失 for epoch in range(epochs): # 训练模型并计算损失 train_loss = model_train_step(...) val_loss = model_val_step(...) # 记录损失值 train_losses.append(train_loss) val_losses.append(val_loss) # 绘制双曲线 plt.figure(figsize=(10, 5)) plt.plot(train_losses, label='训练损失', color='blue') plt.plot(val_losses, label='验证损失', color='red') plt.xlabel('Epoch') plt.ylabel('Loss') plt.title('训练与验证损失曲线') plt.legend() plt.grid(True) plt.savefig('loss_curve.png') # 保存图像 plt.show() ``` **关键点**： - 需显式存储损失值列表 - 支持自定义曲线样式（颜色、标签等） - 适合简单场景或定制化分析[^1][^2] --- #### **方法2：TensorBoard 实时可视化** **核心步骤**： 1. **集成回调函数**：使用 PyTorch/TensorFlow 的 TensorBoard 工具 2. **实时监控**：训练过程中动态更新曲线 **PyTorch 示例**： ```python from torch.utils.tensorboard import SummaryWriter # 创建日志记录器 writer = SummaryWriter('logs/') for epoch in range(epochs): train_loss = ... # 计算训练损失 val_loss = ... # 计算验证损失 # 记录标量数据 writer.add_scalar('Loss/train', train_loss, epoch) writer.add_scalar('Loss/val', val_loss, epoch) # 关闭记录器 writer.close() ``` **使用流程**： 1. 启动 TensorBoard 服务： ```bash tensorboard --logdir=logs/ ``` 2. 浏览器访问 `http://localhost:6006` 查看实时曲线 **优势**： - 支持动态缩放、多曲线对比 - 可同时可视化精度、直方图等指标[^3] --- ### **选择建议** | 方法 | 适用场景 | 特点 | |---------------|---------------------------------|--------------------------| | Matplotlib | 快速分析/轻量级任务 | 简单灵活，无需额外服务 | | TensorBoard | 复杂模型/长期训练/团队协作 | 实时监控，集成多维度分析 | > **调优提示**：当验证损失持续高于训练损失时，可能出现过拟合，需引入正则化或早停策略[^1]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

xiaomu_347

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值