YoloV8改进策略：BackBone改进|TransNeXt——ViT的鲁棒Foveal视觉感知(独家原创)

摘要

TransNeXt主干网络能够减少CNN网络中的深度退化问题，本文使用TransNeXt主干网络，替换YoloV8的Backbone,实现涨点！

论文：《TransNeXt：ViT的鲁棒Foveal视觉感知》

论文：https://arxiv.org/pdf/2311.17132.pdf
Code: https://github.com/DaiShiResearch/TransNeXt
由于残差连接中的深度退化效应，许多依赖堆叠层进行信息交换的高效视觉Transformer模型往往无法形成充分的信息混合，导致不自然的视觉感知。为了解决这个问题，本文提出了聚合注意力（Aggregated Attention），这是一种基于仿生设计的令牌混合器，它模拟了生物的中心凹视觉和连续的眼球运动，同时使特征图上的每个令牌都能具有全局感知能力。此外，我们还引入了可学习的令牌，它们与传统的查询和键进行交互，进一步丰富了亲和力矩阵的生成方式，而不仅仅是依赖于查询和键之间的相似性。我们的方法不依赖于堆叠进行信息交换，从而有效地避免了深度退化，并实现了自然的视觉感知。此外，我们还提出了卷积GLU（Convolutional GLU），这是一种通道混合器，它弥补了GLU和SE机制之间的鸿沟。它使每个令牌能够基于其最近的邻域图像特征获得通道注意力，从而增强了局部建模能力和模型鲁棒性。我们将聚合注意力和卷积GLU相结合，创建了一个新的视觉骨干网络，称为TransNeXt。大量的实验表明，我们的TransNeXt在多个模型尺寸上均达到了SOTA的性能。在