ACCV 2024 | ViT涨点神器！DeBiFormer：双层路由注意力新框架

最新推荐文章于 2025-05-01 11:30:00 发布

Amusi（CVer）

最新推荐文章于 2025-05-01 11:30:00 发布

阅读量174

点赞数

CC 4.0 BY-SA版权

原文链接：https://mp.weixin.qq.com/s?__biz=MzUxNjcxMjQxNg==&mid=2247613796&idx=3&sn=79f7a1e7850c459ab64a42ff52f3195c&chksm=f8f547a7ec002876b95e22618b7b4c972bb95b93cd2971d9aa528751e63da8f06a346508be83&scene=126&sessionid=0

点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达

点击进入—>【Mamba/多模态/扩散】交流群

添加微信：CVer2233，助手会拉你进群！

扫描下方二维码，加入CVer学术星球！可获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪必备！

转载自：晓飞的算法工程笔记

论文: DeBiFormer: Vision Transformer with Deformable Agent Bi-level Routing Attention

论文地址：https://arxiv.org/abs/2410.08582
论文代码：https://github.com/maclong01/DeBiFormer

创新点

提出了可变形双层路由注意力（DBRA），一种用于视觉识别的注意力内注意力架构，利用代理查询优化键值对的选择并增强注意力图中查询的可解释性。
提出了一种新型主干网络DeBiFormer，基于注意力热图的可视化结果具有更强的识别能力。
在ImageNet、ADE20K和COCO上进行的大量实验表明，DeBiFormer始终优于其他基线。

内容概述

为了改善注意力，许多研究提出了精心设计的高效注意力模式，其中每个查询仅选择一小部分键值对进行关注。然而，尽管有不同的合并或选择键和值标记的策略，这些标记对于查询而言并不具有语义性。在将预训练的ViT和DETR应用于其它下游任务时，查询并不是来自语义区域的键值对。因此，强迫所有查询集中在不充足的标记集合上可能不会产生最佳结果。

最近，随着动态查询感知的稀疏注意力机制的出现，查询聚焦于动态语义最强的键值对，即双层路由注意力。然而，在这种方法中，查询是由语义键值对处理的，而不是源自详细的区域，这在某些情况下可能无法产生最佳结果。此外，在计算注意力时，为所有查询选择的这些键和值受到过多无关查询的影响，导致对重要查询的关注减少，这在执行分割时会产生显著影响。

为了使查询的注意力更加高效，论文提出了可变形双层路由注意力（DBRA），这是一种用于视觉识别的注意力内注意力架构。

第一个问题是如何定位可变形点。为注意力附加一个偏移网络，该网络以查询特征为输入，生成所有参考点的相应偏移量。因此，候选的可变形点朝着重要区域移动，以高灵活性和高效率捕获更多信息特征。
第二个问题是如何从语义相关的键值对中聚合信息，然后将信息广播回查询。当选择用于可变形点的键值对时，专注于前k个路由区域，选择与区域仅需的语义最相关的部分键值对。在选择了语义相关的键值对后，对可变形点查询应用标记到标记的注意力，然后应用第二个标记到标记的注意力将信息广播回查询。在此过程中，作为键值对的可变形点用于表示语义区域中最重要的点。

`DeBiFormer`

可变形双层路由注意力(`DBRA`)

DBRA首先采用一个可变形注意力模块，根据查询特征生成参考点的偏移量，得到可变形点。然而，这些点往往倾向于聚集在重要区域，导致在某些区域的过度集中。

为了解决这个问题，参考BiFormer引入了可变形点感知的区域划分，确保每个可变形点仅与少量的键值对进行交互。然而，单靠区域划分可能导致重要区域和不重要区域之间的不平衡。

为了应对这一问题，DBRA将每个可变形点作为一个代理查询，与语义区域的键值对计算注意力。这种方法确保每个重要区域只分配少数可变形点，从而使注意力能够分布在图像的所有关键区域。较少重要区域的注意力得以减少，而在更重要的区域则得以增加，从而确保整个图像的注意力分布达成平衡。

Model architectures

基于DBRA作为基本构建块，论文提出了一种新颖的视觉变换器，称为DeBiFormer。

遵循了最先进的视觉Tansformer，采用四阶段金字塔结构。在第一阶段使用重叠的图像块嵌入，在第二到第四阶段使用图像块合并模块。这是为了降低输入的空间分辨率，同时增加通道数。随后，使用个连续的DeBiFormer块来转换特征。

在每个DeBiFormer块中，开始时使用的深度卷积，为了隐式编码相对位置的信息。随后，依次使用一个DBRA模块和一个具有扩展比例的2-ConvFFN模块，分别用于跨位置关系建模和每位置嵌入。

主要实验

何恺明在MIT授课的课件PPT下载

在CVer公众号后台回复：何恺明，即可下载本课程的所有566页课件PPT！赶紧学起来！

ECCV 2024 论文和代码下载

在CVer公众号后台回复：ECCV2024，即可下载ECCV 2024论文和代码开源的论文合集

CVPR 2024 论文和代码下载

在CVer公众号后台回复：CVPR2024，即可下载CVPR 2024论文和代码开源的论文合集

Mamba、多模态和扩散模型交流群成立

扫描下方二维码，或者添加微信号：CVer2233，即可添加CVer小助手微信，便可申请加入CVer-Mamba、多模态学习或者扩散模型微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。
一定要备注：研究方向+地点+学校/公司+昵称（如Mamba、多模态学习或者扩散模型+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

▲扫码或加微信号: CVer2233，进交流群
CVer计算机视觉（知识星球）来了！想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料，欢迎扫描下方二维码，加入CVer计算机视觉（知识星球），已汇集上万人！

▲扫码加入星球学习

▲点击上方卡片，关注CVer公众号
整理不易，请赞和在看