Yolov5/Yolov7 引入CVPR 2023 BiFormer: 基于动态稀疏注意力构建高效金字塔网络架构，对小目标涨点明显

已于 2023-05-02 12:04:17 修改
阅读量1.1w 收藏 19
点赞数 8
文章标签： YOLO 深度学习 人工智能
于 2023-03-23 19:13:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_63774211/article/details/129734762
版权
博客介绍了如何在YOLOv5中引入BiFormer，这是一种基于动态稀疏注意力的双层路由方法，旨在提高小目标检测性能。BiFormer通过减少计算和内存开销，实现内容感知的稀疏注意力。实验证明，在PCB缺陷检测任务中，地图精度从0.921提升至0.952。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

1.BiFormer介绍

 2.基于Yolov5的BiFormer实现

2.1 BiFormer加入common.py中

2.2  BiFormer加入yolo.py中：

2.3 yolov5s_BiLevelRoutingAttention.yaml

1.BiFormer介绍

论文：https://arxiv.org/pdf/2303.08810.pdf

代码：https://github.com/rayleizhu/BiFormer

背景：注意力机制是Vision Transformer的核心构建模块之一，可以捕捉长程依赖关系。然而，由于需要计算所有空间位置之间的成对令牌交互，这种强大的功能会带来巨大的计算负担和内存开销。为了减轻这个问题，一系列工作尝试通过引入手工制作和内容无关的稀疏性到关注力中来解决这个问题，如限制关注操作在局部窗口、轴向条纹或扩张窗口内。

本文方法：本文提出一种动态稀

了解本专栏 订阅专栏 解锁全文
YOLOv11模型改进-注意力机制-引入自适应稀疏自注意力ASSA
qq_64693987的博客
10-16 3982
Adaptive Sparse Self-Attention（ASSA）是自适应稀疏Transformer（AST）模型中的关键组件，主要用于提升图像恢复任务的性能。ASSA的设计旨在减少标准Transformer模型中由于无关区域引入的噪声交互，同时解决特征冗余问题。稀疏自注意力（SSA）：使用基于ReLU的稀疏注意力机制，过滤掉查询与键之间低匹配的无关交互。这可以减少无效特征的参与，帮助聚焦在最有价值的信息交互上。
YOLOv8改进：注意力系列篇 | 动态稀疏注意力（BiLevelRoutingAttention） | CVPR2023
会AI的学姐
10-14 1771
动态稀疏注意力（BiLevelRoutingAttention），实现更灵活的计算分配和内容感知，使其具备动态的查询感知稀疏性，引入到YOLOv8，1）与C2f结合实现二次创新；2）注意力机制使用；
BiFormer：具有双层路由注意力机制的视觉Transformer
最新发布
2501_90186640的博客
03-12 1568
本文提出了一种新型视觉Transformer架构BiFormer，其核心为双层路由注意力机制（BRA），通过动态稀疏性优化计算资源分配。BRA在粗粒度区域过滤不相关键值对，再于路由区域执行细粒度令牌注意力，实现高效长距离依赖建模。实验表明，BiFormer在图像分类、目标检测及语义分割任务中性能显著优于现有模型，兼顾精度与效率。
基于Yolov5的吸烟行为识别检测
韩若熙的博客
09-14 5928
上一篇《win10系统下Yolov5目标检测环境搭建（Anaconda3+Pytorch+Yolov5，CPU，无GPU）》中，介绍了win10系统下yolov5的环境搭建步骤，本篇在此环境下，实现吸烟行为识别检测。注意：修改自己对应的类别个数和类别名。
YOLOv5实现吸烟行为检测
小秋的博客
06-04 3976
首先需要安装anaconda和pycharm，安装过程参考这篇博客 安装好anaconda后在上面安装python3.8虚拟环境，打开anaconda终端，输入： 安装pytorch（gpu版本和cpu版本的安装） YOLOv5项目在CPU和GPU下均可运行，但是CPU运行速度很慢，当然使用已经训练好吸烟检测模型用来测试得出结果，CPU也是可行的，如果需要自己重新训练数据集，最好还是得有一个可用的英伟达的显卡。所以有显卡的可以安装GPU版本的Pytorch，只有CPU的直接安装CPU版本的pytorch。在
吸烟行为检测
a136522541的博客
03-29 1万+
@目录 项目概述 yolov5详解 优化方法 项目概述 项目的目标是设计出一个模型，用于检测普通大楼内外的行人是否存在吸烟的行为。项目硬件限制较大，需要用单个或数个GPU监控小区数百个摄像头，视频的取样频率只能达到一秒或者数秒一帧，因此基于时序的行为识别算法并不适用。经过初步考虑决定使用目标检测算法对图片中的香烟进行检测，目前精度较高且速度高部署方便的大概只有yolov5，因此本项目采取yolov5-4.0版本进行。https://github.com/ultralytics/yolov5/tree/v4.
YOLOv8改进有效涨点系列-＞适合多种检测场景的BiFormer注意力机制(Bi-level Routing Attention)
Snu77的博客
11-02 8480
本文手把手教你添加Biformer注意力机制，通过实战的方式帮你理解，BiFormer是一种结合了Bi-level Routing Attention的视觉Transformer模型，BiFormer模型的核心思想是引入了双层路由注意力机制。在BiFormer中每个图像块都与一个位置路由器相关联。这些位置路由器根据特定的规则将图像块分配给上层和下层路由器。上层路由器负责捕捉全局上下文信息，而下层路由器则负责捕捉局部区域的细节。具体来说，上层路由器通过全局自注意力机制对所有图像块进行交互，并生成全局图像表示。
Yolov8 引入CVPR 2023 BiFormer: 基于动态稀疏注意力构建高效金字塔网络架构，对小目标涨点明显
04-20 7425
通过双层路由(bi-level routing)提出了一种新颖的动态稀疏注意力(dynamic sparse attention )，以实现更灵活的计算分配和内容感知，使其具备动态的查询感知稀疏性
Yolov7 引入CVPR 2023 BiFormer: 基于动态稀疏注意力构建高效金字塔网络架构，对小目标涨点明显
06-21 2133
Yolov5/Yolov7 引入CVPR 2023 BiFormer: 基于动态稀疏注意力构建高效金字塔网络架构，对小目标涨点明显
突破小目标检测瓶颈：Yolov8引入CVPR 2023 BiFormer，基于动态稀疏注意力构建高效金字塔网络架构
一直在水些技术小文
11-10 1701
CVPR 2023中Yolov8引入BiFormer的创新性设计为小目标检测任务带来了重大突破。动态稀疏注意力和高效金字塔网络的结合使得BiFormer在目标检测领域成为了一颗耀眼的新星。通过本文的介绍和案例演示，我们希望读者能更深入地了解这一引人注目的技术，并期待它在未来的深度学习研究中发挥更大的作用。（注：本文中的示例代码仅为演示用途，实际应用中可能需要根据具体情况进行调整和优化。
芒果YOLOv5改进21：主干Backbone篇之BiFormer：顶会CVPR2023即插即用，小目标检测涨点必备，首发原创改进，基于动态查询感知的稀疏注意力机制、构建高效金字塔网络架构，打造高精度
热门推荐
包括YOLOv5、YOLOv7、YOLOv8等模型改进
03-24 1万+
YOLO代码改进实践｜改进最新CVPR2023主干系列BiFormer：即插即用，小目标检测涨点必备，基于动态查询感知的稀疏注意力机制
YOLOv5吸烟行为检测代码+训练好的吸烟行为检测模型+5000标注好的吸烟行为检测数据集
06-04
1、YOLOV5吸烟行为检测，两种训练好的模型，内含各种训练曲线图，并包含数据集， 5000多张使用lableimg软件标注软件标注好的吸烟数据，图片格式为jpg，标签有两种，分别为xml格式和txt格式，分别保存在两个文件夹中，类别名为smoke; 可以直接用于YOLO系列的吸烟行， 2、数据集和检测结果参考：https://blog.csdn.net/zhiqingAI/article/details/124230743 3、采用pytrch框架，代码是python的
【目标检测】YOLO v5 吸烟行为识别检测
py_jie的博客
07-31 1万+
基于YOLO v5 的吸烟目标检测，制作吸烟数据集，训练模型，Windows界面，输出结果，效果较好！mAP值0.8，解决横向项目，毕设，工厂实际需求。
【保姆级教程|YOLOv8改进】【4】添加双层路由注意力机制：BiLevelRoutingAttention，性能和效率十分不错
阿旭的博客
01-31 4736
【保姆级教程|YOLOv8改进】【4】添加双层路由注意力机制：BiLevelRoutingAttention，性能和效率十分不错
【论文笔记】BiFormer: Vision Transformer with Bi-Level Routing Attention
AI爱好者的博客，分享计算机领域相关知识
12-26 2389
vision transformer中Attention是极其重要的模块，但是它有着非常大的缺点：计算量太大。BiFormer提出了Bi-Level Routing Attention，在Attention计算时，只关注最重要的token，由此来降低计算量。
Yolov8-pose关键点检测：涨点创新系列 | ​BiLevelRoutingAttention 动态稀疏注意力 | CVPR2023 BiFormer
09-10 1187
​BiLevelRoutingAttention | GFLOPs从9.6降低至8.5，参数量从6482kb降低至6134kb，mAP50从0.921提升至0.926
YOLOv5改进 | 注意力篇 | BiFormer双层路由注意力机制(Bi-level Routing Attention)
Snu77的博客
12-29 3859
BiFormer是一种结合了Bi-level Routing Attention的视觉Transformer模型，BiFormer模型的核心思想是引入了双层路由注意力机制。在BiFormer中，每个图像块都与一个位置路由器相关联。这些位置路由器根据特定的规则将图像块分配给上层和下层路由器。上层路由器负责捕捉全局上下文信息，而下层路由器则负责捕捉局部区域的细节。 具体来说，上层路由器通过全局自注意力机制对所有图像块进行交互，并生成全局图像表示。下层路由器则使用局部自注意力机制对每个图像块与其邻近的图像块进行
YOLOv8改进 添加动态稀疏注意力机制BiLevelRoutingAttention
分享一些自己改进代码的实例
12-31 1609
手把手教你在yolov8原结构中加入动态稀疏注意力机制BiLevelRoutingAttention，可以根据数据包的不同特征动态地选择最合适的路径，从而提高网络性能和效率。助力涨点！！！！！！
YOLOv11改进 | 注意力改进篇 | YOLOv11引入Bi-level Routing Attention --简称BRAttention注意力模块（来自CVPR2023）
qq_45972324的博客
11-18 1303
论文地址点击此处即可跳转代码地址点击此处即可跳转摘要：作为 Vision Transformer 的核心构建块，注意力是捕获长期依赖性的强大工具。然而，这种能力是有代价的：它会产生巨大的计算负担和沉重的内存占用，因为要计算所有空间位置的成对令牌交互。一系列作品试图通过将手工制作和内容无关的稀疏性引入 attention 来缓解这个问题，例如将 attention 操作限制在局部窗口、轴向条纹或扩张窗口内。与这些方法相反，我们提出了一种通过双层路由的新型动态稀疏注意力，以实现具有内容感知的更灵活的计算分配。
【CVPR 2023】BiFormer: 具有双层路由注意力的ViT
m0_63642362的博客
06-26 4386
BiFormer: Vision Transformer with Bi-Level Routing Attention论文浅析
评论 40
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI小怪兽

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值