主干网络篇 | YOLOv5/v7 更换主干网络之 SwinTransformer | Vision Transformer using Shifted Windows

迪菲赫尔曼

已于 2024-02-07 13:36:13 修改

阅读量6.2k

点赞数 7

分类专栏： YOLOv5/v7改进实战文章标签： YOLO 计算机视觉深度学习 SwinTransformer transformer

于 2023-04-13 22:56:02 首次发布

原创文章为博主个人所有，未经授权不得转载、摘编、传播、倒卖、洗稿或利用其它方式使用上述作品。违反上述声明者，本站将追求其相关法律责任。

本文链接：https://blog.csdn.net/weixin_43694096/article/details/130141641

版权

YOLOv5/v7改进实战专栏收录该内容

51 篇文章 ¥99.90 ¥299.90

订阅专栏

本文探讨了Swin Transformer作为计算机视觉任务的骨干网络，对比了它与Vision Transformer的差异，强调其在处理图像尺度变化和计算复杂度方面的优势。通过在YOLOv5和YOLOv7项目中的实现细节，展示了如何将Swin Transformer整合进目标检测模型，以提升性能。提供的源代码和实战内容导航为读者提供了进一步研究的资源。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在这里插入图片描述

本文介绍了一种新的视觉Transformer，称为Swin Transformer，它可以作为计算机视觉通用的骨干网络。从语言到视觉的转换中，适应Transformer所面临的挑战源于两个领域之间的差异，如视觉实体尺度的巨大变化和图像中像素的高分辨率与文本中单词的差异。为了解决这些差异，我们提出了一种分层Transformer，其表示是通过Shifted窗口计算的。Shifted窗口方案通过将自注意计算限制在非重叠的本地窗口内，同时允许跨窗口连接，从而提高了效率。这种分层架构具有在不同尺度下进行建模的灵活性，并且与图像大小的计算复杂度呈线性关系。这些特性使Swin Transformer与广泛的视觉任务兼容，包括图像分类（在ImageNet-1K上的87.3的top-1准确率）和密集预测任务，如物体检测（在COCO测试中的58.7 box AP和51.1 mask AP）和语义分割（在ADE20K val上的53.5 mIoU）。它的性能在COCO上比先前的最先进水平提高了2.7个box AP和2.6个mask AP，在ADE20K上提高了3.2个mIoU，展示了基于Transformer的模型作为视觉骨干的潜力。分层设计和Shifted窗口方法对于所有MLP架构也证明是有益的。