论文笔记 DETR

最新推荐文章于 2025-08-05 08:41:01 发布
最新推荐文章于 2025-08-05 08:41:01 发布
阅读量696 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： 学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_29589765/article/details/132951105
DETR提出了一种无需预处理和后处理的端到端目标检测方法，利用Transformer的全局建模能力和集合预测，取代了传统的锚点和NMS机制。文章还探讨了DETR与FasterRCNN的对比以及Transformer的不同层数对性能的影响。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

detr

摘要和引言
  • 2020论文facebook
  • 不需要proposal，不需要基于anchor的先验知识(比如预训练的模型)，也不需要NMS进行筛选，直接端到端不需要后处理
  • 利用transformer的全局建模能力，看成集合预测问题，不会输出很多冗余的框，直接端到端，不需要NMS，简化了训练和部署
  • NMS:非极大值抑制，抑制掉冗余的框
  • anchor:滑动窗口，需要手动设计特征并判断提取，会产生大量候选框；直到Faster RCNN出现直接使用RPN网络预测候选框，使用神经网络取代计算特征过程，直接使用神经网络输出anchor是否包含物体，anchor指在不同尺寸的特征图的每个点设置N个不同尺寸的框框。
  • 使用二分图匹配的方式替代冗余的框，解码器时使用了learned object queries，类似anchor了，并行输出检测框
  • 简单！只需支持CNN和transformer即可部署！
  • 同时尝试了分割任务，只需加一个分割头即可
  • 在这里插入图片描述
  • 图像通过CNN获取特征，然后拉直送入transformer，encoder进一步学习全局信息，每一个点与其他的点就有交互了，decoder出一系列预测框；其中transformer中还需要与object queries（限定出多少框，文中为100个框 ）进行交互；最后使用二分图匹配计算loss。取决于物体数量，选出对应的独一无二的几个框后，再正常计算类别loss和bandingbox的loss。
  • 推理时前面相同，在生成一系列预测框后，卡一个输出的置信度，比如大于0.7的，被当作前景物体保留下来
  • 对大物体表现非常好，小物体上比较差，但之后deformable DETR出现，通过多尺度特征，解决了小物体问题，并解决了训练太慢的问题
相关工作
  • 第一部分讲下集合预测问题，和大家怎么解决的；第二部分讲了transformer为什么不是自回归
  • 之前两阶段的proposal，一阶段的anchor，和物体中心点；都和初始的猜测非常相关。后处理对预测结果非常重要
  • 之前有基于集合的目标函数，也有匈牙利算法二分图匹配，也有使用RNN进行编码解码，但由于没使用transformer，骨干网络输出的特征不够强，需要人工干预
详细模型
  1. 基于集合的目标函数:
    • 输出为固定的集合，输出N个框，然后进行二分图匹配，匈牙利算法是解决二分图匹配的最好算法
    • 使用scipy中的自带函数输入花费矩阵，输出最优排列，即为每个人分配最擅长的工作，最后的总花费最小，在本问题就是100个预测框与ground truth的几个框组成花费矩阵。
    • 花费就是为loss，使用函数计算分类loss和边界框loss组成花费，分类loss和边界框loss在同样的取值空间中，边界框loss没有只使用L1loss，而是加上了IOUloss，一起计算来减少框的大小对loss的影响
    • 这与proposal和anchor一个原理，不过强行一对一匹配；先算出最优匹配再算loss
      在这里插入图片描述
  2. DETR的结构
    • object queries:一个可学习的position embedding
    • FFN:全连接层
    • 在这里插入图片描述
实验
  • 与Faster RCNN的对比：
  • 在这里插入图片描述
  • encoder学到了什么？可以把物体分割的很好，可视化：
  • 在这里插入图片描述
  • 实验了transformer为3、6、9层的不同效果：
  • 在这里插入图片描述
  • deconder学到了什么？对边缘极值点进行了学习
  • 在这里插入图片描述
  • object queries学到了什么？自学了适应数据集的anchor，

在这里插入图片描述

Plusmile1
关注
Faster R-CNN模型与DETR模型的比较——基于目标检测问题的研究
m0_53414416的博客
02-03 2231
本文主要对两个模型进行比较，总结其相同点和不同点。
DETR：Facebook提出基于Transformer的目标检测新范式，性能媲美Faster RCNN | ECCV 2020 Oral
晓飞的算法工程笔记
07-31 1614
DETR基于标准的Transorfmer结构，性能能够媲美Faster RCNN，而论文整体思想十分简洁，希望能像Faster RCNN为后续的很多研究提供了大致的思路   来源：晓飞的算法工程笔记 公众号 论文: End-to-End Object Detection with Transformers 论文地址：https://arxiv.org/abs/2005.12872 论文代码：https://github.com/facebookresearch/detr Introduction .
Conditional DETR论文笔记
Zssss12的博客
10-29 1439
最近开发的DETR方法将变压器编码器和解码器架构应用于目标检测，取得了良好的性能。在本文中，我们解决了关键问题，训练收敛缓慢，并提出了一种条件交叉注意机制来实现快速DETR训练。我们的方法的动机是 DETR 中的交叉注意力高度依赖于内容嵌入来定位四肢并预测框，这增加了对高质量内容嵌入的需求，从而增加了训练难度。我们的方法名为条件 DETR，从解码器嵌入(decoder embedding)中学习条件空间查询(a conditional spatial query)，用于解码器多头交叉注意力。
Anchor DETR论文笔记
Zssss12的博客
10-21 1327
在本文中，我们提出了一种新的基于变压器的目标检测查询设计。在之前的基于变压器的检测器中，对象查询是一组学习嵌入。然而，每个学习嵌入没有明确的物理意义，我们无法解释它将关注的地方。很难优化，因为每个对象查询的预测槽没有特定的模式。换句话说，每个对象查询不会关注特定区域。为了解决这些问题，在我们的查询设计中，对象查询基于锚点，这已经广泛用于基于 CNN 的检测器。因此，每个对象查询都关注锚点附近的对象。此外，我们的查询设计可以在一个位置预测多个对象以解决困难：“一个区域、多个对象。
DETR论文笔记
q7672345的博客
05-18 425
​ 文章提出一种基于Transformer架构的目标检测框架，并表现出了和Faster RCNN相当的性能。利用Encoder-Decoder结构简化了检测流程，并在此基础上提出一种集合的全局损失，通过二部匹配实现唯一预测。它的流程为：给定Quary学习对象集，DETR推理学习对象与全局的上下文关系，并行输出最终预测集。二分图匹配（bipartite matching）:图的顶点可以分为两个集合，每条边应对的顶点分别属于这两个集合，G=[V,E]，结点集合V可以分割为互不相交的子集（V1,V2）。
RT-DETR论文笔记
yumiwawa19960506的博客
06-12 2206
因此，rt-detr 在 loss 里面加入了 vfl loss，希望经过这样的训练，类别概率高的 query，iou 也能比较高。由 C 到 D，性能提升的同时，小幅度减少了延迟，这说明不同 scale 的 feature 间的交互是必要的，但是不需要采用 multi scale encoder 的方式交互。这部分描述的是选择 query 的方式，这里在论文里的描述有点绕，但是结合代码和别人的博客，我认为这里的实现实际上采用的是在 loss 中加入一个 vfl loss 的方式。
DETR 论文笔记
Tianchao龙虾
10-21 1343
End-to-End Object Detection with Transformers DETR 论文链接: https://arxiv.org/abs/2005.12872 一、 Problem Statement 目前的检测器需要许多hand-designed components，比如NMS，anchor generation或者window centers等。 二、 Direction DETR简化了detection pipeline，使用了CNN backbone，transform
DN-DETR 论文笔记
xunull的博客
02-28 1161
DN-DETR 论文笔记
Deformable DETR论文笔记
yumiwawa19960506的博客
05-09 1117
Deformable DETR 提出了 deformable attention module 弥补了经典 attention 模块导致的训练收敛慢以及小物体上检测性能不佳的问题，并且在实验中证明了该模块达到了设计目的。缺陷是 inference 速度有所下降。
[论文笔记] DETR 论文笔记
qq_44690067的博客
09-17 462
Detr使用transformer来进行目标检测
论文阅读|DETR
weixin_45782047的博客
02-19 2011
Transformer系列论文阅读|DETR
MS-DETR: Efficient DETR Training with Mixed Supervision论文学习笔记
athrunsunny的博客
01-15 2580
DETR 通过迭代生成多个基于图像特征的目标候选者，并为每个真实目标分配一个候选者，从而实现端到端的目标检测。在原始DETR中使用一对一监督的传统训练方法缺乏对检测候选者的直接监督。作者旨在通过明确监督候选生成过程，将一对一监督和多对多监督混合，来提高DETR训练效率。MS-DETR简单地将多对多监督应用到用于推理的主要解码器（primary decoder）object query 上。
【论文笔记】SEED: A Simple and Effective 3D DETR in Point Clouds
weixin_45657478的博客
08-04 1283
【论文笔记】SEED: A Simple and Effective 3D DETR in Point Clouds
AI Agent开发学习系列 - LangGraph(7): 带有条件判断的Conditional Graph
alex100的博客
08-02 487
该示例展示了如何使用LangGraph的条件边机制构建动态工作流。通过定义决策函数decide_next_node，系统能根据输入状态（如操作符）自动选择执行加法或减法节点。核心方法add_conditional_edges实现了动态路由，相比固定连接的add_edge更具灵活性。这种设计使得工作流能智能响应不同输入条件，适用于需要分支处理的复杂场景，如示例中根据"+"或"-"运算符选择对应计算节点，最终输出正确结果3。
学习日志24 python
AYheyheyhey的博客
08-01 711
只针对不可变类型：因为不可变类型的值不会被修改，共享对象不会有风险。目的是优化性能：避免频繁创建和销毁相同的小对象（如常用整数、短字符串）。不要依赖此机制：常量池是 Python 内部优化，不同版本可能有差异，比较值应始终用==，而非is。不可变类型可能有常量池，可变类型一定没有，这是 Python 对内存和性能的平衡设计。Python 中确实没有 Java 里那种严格定义的「常量池」（Constant Pool）概念。
学习笔记090——Ubuntu 中 UFW 防火墙的使用
code__bee的博客
08-01 358
【代码】学习笔记090——Ubuntu 中 UFW 防火墙的使用。
30天入门Python（基础篇）——第31天：标准库学习之re模块
weixin_42636075的博客
08-04 404
Python re模块是一个强大的正则表达式工具，可用于高效处理文本数据。摘要包括：1）基本功能：模式匹配、文本搜索、字符串替换、数据验证等；2）核心语法：元字符（.^$+?等）、字符类（[ ]）、预定义字符类（\d\w\s等）及量词（+?{}）；3）高级特性：分组捕获、贪婪/非贪婪匹配、性能优化。通过示例演示了正则表达式在邮箱验证、HTML解析等场景的应用，帮助开发者掌握文本处理利器。
Mybatis学习之特殊SQL的执行（六）
最新发布
PP东博客
08-05 210
{ids}不推荐使用，因为这边会自动添加单引号，变成 delete from t_user where id in (‘9,10’)。上述三种方式，推荐是哟第二第三种。Java的Mapper接口。Java的Mapper接口。Java的Mapper接口。Java的Mapper接口。Mapper.xml文件。Mapper.xml文件。Mapper.xml文件。Mapper.xml文件。
Group-DETR模型代码
07-16
Group-DETR 是一种改进的 DETR（DEtection TRansformer）模型，旨在通过分组机制提升检测性能和推理效率。该模型通常会基于 DETR 的原始架构进行优化，并引入一些创新性的模块设计或训练策略。 尽管无法直接访问互联网以检索最新的 GitHub 项目，但可以通过以下方式找到 Group-DETR 的实现代码： 1. **GitHub 搜索** 在 GitHub 上搜索关键词 `Group-DETR` 或 `Group DETR implementation`，可以尝试使用高级搜索语法，例如： ``` "Group-DETR" in:name language:python ``` 2. **参考论文与官方实现** 如果 Group-DETR 是某篇论文中提出的模型，通常作者会在论文的“实验”部分提供其开源实现的链接。建议查阅相关论文（如 CVPR、ICCV、ECCV 等会议论文），并关注其官方仓库。 3. **类似项目的参考** Group-DETR 的实现可能基于 DETR 或 Deformable DETR 进行扩展。以下是一些常见的开源项目，可作为参考或修改的基础： - [DETR](https://github.com/facebookresearch/detr) - [Deformable-DETR](https://github.com/fundamentalvision/Deformable-DETR) - [DAB-DETR](https://github.com/IDEA-Research/DAB-DETR) 4. **PyPI 或 Hugging Face 模型库** 可能存在第三方开发者将 Group-DETR 集成到开源库中，例如 Hugging Face 或 MMDetection。可以尝试在这些平台上搜索相关关键词。 5. **社区资源与讨论区** 在 [Papers with Code](https://paperswithcode.com/)、[Google Colab 笔记本](https://colab.research.google.com/) 或 [Kaggle](https://kaggle.com) 上可能会有社区贡献的实现版本。 ### 示例代码片段（基于 DETR 修改） 以下是一个简化的 Transformer 检测模型结构示例，可用于构建类似 Group-DETR 的基础框架： ```python import torch from torch import nn class GroupDETR(nn.Module): def __init__(self, backbone, transformer, num_classes): super().__init__() self.backbone = backbone self.transformer = transformer self.class_embed = nn.Linear(256, num_classes) self.bbox_embed = MLP(256, 256, 4, 3) def forward(self, samples): features = self.backbone(samples) outputs = self.transformer(features) return outputs ``` ###
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值