【YOLOv11改进- 注意力机制】YOLOv11+DAttention (DAT)注意力机制（2022）: 可变形注意力机制助力YOLOv11有效涨点；

yolo大师兄

已于 2025-02-12 11:36:14 修改

阅读量210

点赞数

分类专栏： YOLOv11目标检测改进文章标签： YOLO 目标跟踪深度学习神经网络目标检测 cnn

于 2025-02-12 11:18:06 首次发布

本文链接：https://blog.csdn.net/qq_41304809/article/details/145587517

版权

YOLOv11目标检测改进专栏收录该内容

20 篇文章 ¥69.90 ¥99.00

订阅专栏

超级会员免费看

YOLOV11目标检测改进实例与创新改进专栏

专栏地址：YOLOv11目标检测改进专栏，包括backbone、neck、loss、分配策略、组合改进、原创改进等

本文介绍

发paper，毕业皆可使用。

本文给大家带来的改进内容是在YOLOv11中添加DAT注意力机制，助力YOLOv11有效涨点，通过一种新颖的可变形自注意力模块，其中自注意力中键值对的位置是以依赖于数据的方式选择的。这种灵活的机制使自注意力模块能够聚焦于相关区域并捕捉更具信息性的特征。

YOLOV11目标检测改进实例与创新改进专栏

3. yolov11-DAT.yaml文件（训练用）

了解本专栏

订阅专栏解锁全文

超级会员免费看

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

yolo大师兄

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

订阅专栏

YOLOv8改进 | 注意力机制 | 添加DAttention (DAT)注意力机制实现极限涨点

Snu77的博客

11-18

9290

本文给大家带来的是YOLOv8改进DAT的教程，其发布于2022年CVPR2022上同时被评选为Best Paper，由此可以证明其是一种十分有效的改进机制，其主要的核心思想是：引入可变形注意力机制和动态采样点(听着是不是和可变形动态卷积DCN挺相似)。同时在网络结构中引入一个DAT计算量由8.9GFLOPs涨到了9.4GFLOPs。本文的讲解主要包含三方面：DAT的网络结构思想、DAttention的代码复现，如何添加DAttention到你的结构中实现涨点，下面先来分享我测试的对比图。

YOLOv8改进，YOLOv8添加DAttention注意力机制

在职AI算法工程师，擅长计算机视觉，YOLO目标检测、分割等，擅长web、pyqt界面可视化，好内容持续更新中，来这里跟大家一起学习，共同进步

07-04

1736

在本文中，提出了一种新颖的可变形自注意模块，其中键和值对在自我注意中的位置是以数据相关的方式选择。这种灵活的方案使自我关注模块能够专注于相关的区域，并捕捉更多信息特征。在此基础上，提出了可变形注意力变换器，一个具有可变形注意力的两幅图像主干模型分类和密集预测任务。CA注意机制理论详解可以参考链接:论文地址）

参与评论您还未登录，请先登录后发表或查看评论

YOLOv11中添加BiLevelRoutingAttention实现网络改进

最新发布

weixin_54753067的博客

04-09

306

BRA旨在解决传统全局自注意力计算复杂度高的问题，通过双层路由机制（窗口内+窗口间）动态选择最相关的键值对，减少冗余计算。计算窗口间相似度矩阵：attn_logit = (Q_hat @ K_hat.T) scale。2. QKV生成：通过线性投影得到Q/K/V，其中Q用于细粒度注意力，K/V同时用于路由和注意力。取Topk最相关的窗口索引和权重（r_weight, r_idx）1. 窗口划分：将输入划分为n_win x n_win的非重叠窗口。输入窗口平均池化后的Q/K (q_win, k_win)

yolov5-attention

04-12

该存储库代表Ultralytics对未来的对象检测方法的开源研究，并结合了在匿名客户数据集上数千小时的培训和发展过程中汲取的经验教训和最佳实践。所有代码和模型都在积极开发中，如有更改或删除，恕不另行通知。使用风险自负。 ** GPU速度使用批处理大小为32的V100 GPU测量超过5000张COCO val2017图像的平均每张图像的端到端时间，包括图像预处理，PyTorch FP16推理，后处理和NMS。来自EfficientDet数据（批量大小为8）。 2021年1月5日：：nn.SiLU（）激活，记录，集成。 2020年8月13日：：nn.Hardswish（）激活，数据自动下载，本机AMP。 2020年7月23日：：改进了模型定义，培训和mAP。 2020年6月22日：更新：新机头，减少了参数，提高了速度，并提高了mAP 。 2020年6月19日：作为

YOLOv11改进 | 独家创新- 注意力篇 | YOLOv11结合全新多尺度线性注意力机制MLAttention(全网独家创新)

tsg6698的博客

10-02

2135

(2). 多层次的特征融合：MLAttention模块中的多组卷积层会提取不同层次的特征，并通过逐步累加的方式将这些特征进行融合。这种设计不仅保留了原始特征的基本信息，还通过注意力机制对特征进行了加强，能够在保留基础信息的同时突出关键特征，进一步提升模型的特征表达能力。到此本文的正式分享内容就结束了，在这里给大家推荐我的YOLOv11改进有效涨点专栏，本专栏目前为新开的，后期我会根据各种前沿顶会进行论文复现，也会对一些老的改进机制进行补充，如果大家觉得本文帮助到你了，订阅本专栏，关注后续更多的更新~

YOLOv11改进 | 注意力篇 | YOLOv11引入24年Single-HeadSelf-Attention(SHSAttention)注意力机制，并构建C2PSA_SHSAttention

tsg6698的博客

01-02

647

1.SHSAttention介绍1.1 摘要：最近，高效的Vision Transformer在资源受限的设备上表现出出色的性能和低延迟。传统上，它们在宏观层面使用4×4贴片嵌入和4级结构，而在微观层面使用具有多头配置的复杂注意力。本文的目的是解决计算冗余在所有的设计水平，在内存效率的方式。我们发现，使用更大步幅的补丁主干不仅可以降低内存访问成本，而且还可以通过利用从早期阶段就减少空间冗余的令牌表示来实现有竞争力的性能。

YOLOv8添加多种attention注意力机制

weixin_70423469的博客

07-24

3412

本文主要讲了一些如何在YOLOv8中加入一些自己的attention注意力机制操作和方法

YOLOv10改进 | 独家创新- 注意力篇 | YOLOv10结合全新注意力机制DEMAttention(多尺度融合)和C2f_DEMAttention(全网独家创新)

tsg6698的博客

08-19

638

高效特征表示：通过自适应行、列池化操作（pool_h和pool_w），DEMAttention能够有效地提取图像特征中的行和列信息，这些信息对于很多视觉任务（如图像分类和物体检测）都是至关重要的。这样，模型能够更加关注图像中的关键部分，忽略无关或冗余的信息，提高特征提取的准确性和鲁棒性。到此本文的正式分享内容就结束了，在这里给大家推荐我的YOLOv10改进有效涨点专栏，后期我会根据各种最新的前沿顶会进行论文复现，也会对一些老的改进机制进行补充，如果大家觉得本文帮助到你了，订阅本专栏，关注后续更多的更新~

YOLOv11改进有效涨点专栏目录 | 含卷积、主干、注意力机制、Neck、检测头、损失函数、二次创新C2PSA/C3k2等各种网络结构改进

Snu77的博客

11-05

4万+

YOLOv8改进有效系列目录 | 包含卷积、主干、检测头、注意力机制、Neck上百种创新机制

热门推荐

Snu77的博客

12-30

15万+

Hello，各位读者们好，本专栏自开设两个月以来已经更新改进教程120+余篇其中包含C2f、主干、检测头、注意力机制、Neck多种结构上创新，也有损失函数和一些细节点上的创新，订阅本专栏以后你不仅可以收获跟专栏的阅读权限，同时可以进Qq群，里面包含集成我所有创新的YOLO最新目录，和我本人录制的视频讲解教程，如果你想要在YOLOv8系列收获一篇论文，我相信订阅本专栏后你一定会有所收获~YOLOv8改进有效系列目录。

【YOLOv8改进[注意力]】YOLOv8添加DAT(Vision Transformer with Deformable Attention)助力涨点

静谧、淡雅

04-22

2394

YOLOv8添加DAT注意力机制(Vision Transformer with Deformable Attention)助力涨点

YOLOv5改进有效涨点目录 | 包含卷积、主干、检测头、注意力机制、Neck上百种创新机制

Snu77的博客

01-07

2万+

Hello，各位读者们好本专栏自开设两个月以来已经更新改进教程60余篇其中包含C2f、主干、检测头、注意力机制、Neck多种结构上创新，也有损失函数和一些细节点上的创新。同时本人一些讲解视频和包含我所有创新的YOLOv8文档并不能在CSDN上传(所有的创新点都经过我的测试是可用的，得到该文件之后大家可以随意组合使用)，所以会建立群的形式在内上传我的文件和视频我也会在群内不定期和大家交流回答大家问题，同时定期会更新一些文章的创新点(经过我融合测试后的，先到先得)。本专栏持续更新网络上的所有前沿文章。

YOLOv10改进 | 注意力篇 | YOLOv10引入DualAttention注意力

tsg6698的博客

07-04

281

然后，通过另一个构建的像素路径，这种压缩的全局语义可以作为学习更精细的像素级细节的有用先验信息。这一路径负责将输入特征图总结为语义标记，然后这些语义标记作为增强的查询（semantic queries），被送入下一个Dual block的语义路径作为先验信息。到此本文的正式分享内容就结束了，在这里给大家推荐我的YOLOv10改进有效涨点专栏，后期我会根据各种最新的前沿顶会进行论文复现，也会对一些老的改进机制进行补充，如果大家觉得本文帮助到你了，订阅本专栏，关注后续更多的更新~

YOLOv10改进 | 注意力篇 | YOLOv10引入TripletAttention三重注意力机制

tsg6698的博客

06-27

431

在本文中，我们研究了轻量但有效的注意机制，并提出了一种新的方法--三重注意，通过使用三分支结构捕获交叉维度的交互来计算注意权重。我们在各种具有挑战性的任务上展示了我们的方法的有效性，包括在ImageNet-1k上的图像分类以及在MSCOCO和Pascal VOC数据集上的目标检测。到此本文的正式分享内容就结束了，在这里给大家推荐我的YOLOv10改进有效涨点专栏，后期我会根据各种最新的前沿顶会进行论文复现，也会对一些老的改进机制进行补充，如果大家觉得本文帮助到你了，订阅本专栏，关注后续更多的更新~

在yolov5中加入Attention机制

renzerhyx的博客

04-26

2698

深度学习、卷积神经网络、注意力机制、语义分割

YOLOV5改进：添加注意力机制

weixin_46046179的博客

07-13

8865

注意力机制是指人类或机器在处理信息时，对于某些特定的信息或区域给予更高的关注和处理能力的一种认知机制。它模拟了人类在面对复杂的信息时，通过选择性地关注和集中注意力，从而提高信息处理和理解的效果。通俗地说，就是更好地寻找自己感兴趣的区域或目标。作用：在机器学习和人工智能领域，注意力机制被广泛应用于各种任务，特别是在自然语言处理和计算机视觉中。通过引入注意力机制，模型可以自动地学习和集中关注输入数据中的关键信息，从而提高任务的准确性和效果。

一文搞定attntion机制在CNN中的应用，手把手教你在Yolov5中插入attention. Attention结构的创新方法

weeks

06-05

4837

*免责声明: 1\此方法仅提供参考 2\搬了其他博主的操作方法,以贴上路径. 3* 场景一:什么是Attention 场景二: 场景三: 场景四: … 场景一:什么是Attention 更多attention细节—>神经网络与深度学习理论教程二,tensorflow2.0教程,rnn 一文看懂 Attention（本质原理+3大优点+5大类型） attention机制是什么? 自己的博客推荐,解释一下 attention是什么 attention在 cnn上的作用 Attention in C

YOLOv8改进心得：基于Python实现的DAttention（DAT）注意力机制提升目标检测性能

qq_38334677的博客

10-02

1462

传统的Transformer自注意力机制处理输入图像中的每个像素点，这在捕捉全局上下文信息时表现出色，但在处理高分辨率图像时，计算量往往非常巨大，极大影响了模型的推理速度和效率。为了解决这一问题，Deformable Attention（可变形注意力）应运而生。DAT（Vision Transformer with Deformable Attention）通过引入可变形注意力机制，仅在图像的关键区域进行计算，减少了冗余信息的处理，极大地提高了模型的效率和性能。

Dattention

02-20

"Dattention" 并不是一个标准的信息技术术语，在提供的资料中也没有直接提及这个词语。可能是指 "attention" 机制在深度学习和自然语言处理中的应用，特别是在涉及递归神经网络 (RNN) 和变压器模型 (Transformer models) 的背景下。 Attention 机制是一种模拟人类注意力选择能力的方法，使机器能够在处理序列信息时聚焦于最相关的部分。例如，在翻译句子的时候，不是平均地对待每一个单词，而是可以更加关注那些对于生成目标语句更重要的元素。这种机制极大地提高了许多 NLP 任务的效果。如果确实指的是 attention 技术，则其定义、用途及潜在问题如下： **Definition 定义** Attention 是一种算法组件，用于帮助模型确定输入数据的不同部分的重要性权重。这使得模型可以在执行特定任务时集中精力于最重要的特征上。 **Usage 用法** - **自然语言处理**: Attention 被广泛应用于文本摘要、问答系统、情感分析等领域。 - **图像识别**: 可以用来突出图片的关键区域。 - **语音识别**: 帮助捕捉音频信号的重要片段。 **Issues 问题** - **计算成本高**: 大规模数据集上的复杂矩阵运算可能导致较高的训练时间和硬件要求。 - **解释性差**: 尽管性能优越，但有时候难以直观理解为什么某些部分被赋予更高的关注度。 - **过拟合风险**: 如果不正确设置超参数或者正则化不足，可能会导致模型过度适应训练数据而泛化能力下降。为了确保准确无误，请确认是否有关于 "Dattention" 特定背景下的含义或者是拼写错误。如果有更多具体细节或其他相关关键词，可以帮助更精确地定位所需信息。