00000cj的博客

该研究旨在从ViT的角度重新审视轻量级CNN的高效设计，并强调其在移动设备上的前景。具体来说，研究团队通过集成轻量级ViTs的高效架构设计，逐步增强标准轻量级CNN（即MobileNetV3）的移动友好性，最终开发出一个新的轻量级纯CNN架构，即RepViT。

本文在EfficientFormer的基础上，重新审视了ViTs的设计选择，并提出了一种低延迟和参数效率高的新型supernet。通过引入一种新的细粒度联合搜索策略，该模型可以在优化延迟和参数数量的同时，找到高效的架构。

虽然 ViT 模型在计算机视觉任务中取得了显著进展，但由于参数数量巨大和模型设计（如注意力机制）的原因，其推理速度通常比轻量级卷积网络（如 MobileNet）慢许多。因此，在资源受限的硬件（如移动设备）上部署 ViT 具有很大的挑战。为了使 Transformer 模型能够在移动设备上实现高性能且低延迟的推理，本文研究了现有 ViT 模型的设计缺陷，并提出了一种新的维度一致的纯 Transformer 设计范式。通过延迟驱动的瘦身方法，EfficientFormer 系列模型在性能和速度上都表现出了显

MobileViT v1通过结合CNN和ViT的优势，已经取得了竞争性的结果，但其内部的融合块（fusion block）在模型扩展时存在挑战，并且学习任务复杂。本文提出改进MobileViT v1中的融合块，以解决扩展性和简化学习任务的问题。

针对多头注意力高延迟和高计算成本的问题，本文提出了一种新的分离自注意力机制，通过逐元素操作计算自注意力，大大减少了计算复杂度和成本，将计算复杂度降至 \(O(k)\)，使其更适合在资源受限的设备上运行。

本文文解决了如何在移动设备上高效运行视觉任务的问题。具体来说，作者提出了一种名为MobileViT的模型，该模型通过结合CNNs和ViTs的优势，既保留了CNNs的轻量级和高效性，又引入了ViTs的全局信息处理能力。实验结果显示，MobileViT在多个任务和数据集上显著优于基于传统CNNs和ViTs的模型 。

针对上述问题，本文提出了一种新的bottleneck设计，称为sandglass block。与在linear bottleneck之间构建shortcut的Inverted residual block不同，sandglass block在线性高维表示之间建立shortcut，如图2(c)所示。与反向残差块相比，这种结构保留了块之间更多的信息传递，同时由于高维残差可以反向传播更多的梯度从而更好的优化网络训练。

本文提出了VanillaNet，一种新的神经网络架构，有着简单而优雅的设计，同时在视觉任务中保持了显著的性能。VanillaNet通过舍弃过多的深度、shortcut以及self-attention等复杂的操作，解决了复杂度的问题，非常适合资源有限的环境。

尽管有很多轻量网络，但由于MKLDNN的限制，这些网络的速度在使用了MKLDNN的英特尔CPU上并不理想。本文设计了一个针对Inter-CPU的网络PP-LCNet，效果超过了大多数SOTA轻量模型。

为了解决上述问题，本文提供了一个新的视角来实现特征重用——结构重参数化。本文并不仅仅是将重参数化技术直接应用到现有的Ghost module中，而是利用重参数技术改进Ghost module从而实现更快的推理。作者通过重参数化实现隐式特征重用，替代了拼接操作，提出了一种新的在硬件上高效的RepGhost module。然后又在RepGhost模块的基础上设计了一个高效的RepGhost bottleneck以及RepGhostNet。

针对移动设备的高效深度学习架构的设计和部署已经取得了很大进展，很多轻量模型在减少浮点操作（floating-point operations, FLOPS）和参数量（parameter count）的同时不断提高精度。但是就延迟latency而言，这些指标没有很好的与模型的效率关联起来，像FLOPs这样的指标没有考虑到内存访问成本memory access cost和模型并行的程度degree of parallelism，而后者在推理时可能会对延迟产生很大的影响。参数量也与延迟没有很好的相关性，比如共享参

本文提出了两种轻量网路，用于CPU端的C-GhostNet和用于GPU端的G-GhostNet。前者就是20年的原版GhostNet，这里只是换了个名字，具体可见GhostNet（CVPR 2020） 原理与代码解析，这里不再详细介绍。本文主要介绍新提出的基于GPU端的G-GhostNet。

首先回顾下GhostNet，对于输入 \(X\in \mathbb{R}^{H\times W\times C}\)，Ghost module将一个标准的卷积替换成两步。首先用一个1x1卷积生成intrinsic feature。

论文https://arxiv.org/abs/1911.11907v2

作者首先指出之前的文章在衡量模型复杂度时大多使用FLOPs作为评价指标，但是和速度、延迟这些我们真正在意的指标相比，FLOPs只能作为一个近似，比如MobileNet v2和NASNET-A的FLOPs差不多，但是前者的速度要快得多。评价指标FLOPs和速度之间的差异主要有两方面的原因，一是一些对速度有很大影响的因素在计算FLOPs时却并没有考虑到，二是相同FLOPs的操作在不同的平台上速度也不同。具体来说，...

上图左边是普通卷积，右边是组卷积。假设输入feature map的shape为C×H×W，卷积核数量为N，则输出feature map的通道数也为N。每个卷积核的shape为C×K×K，则N个卷积核的总参数量为N×C×K×K，输入与输出的连接方式如上图左所示。Group Convolution是对输入feature map进行分组，然后每组分别进行卷积。假设输入尺寸不变，输出通道数量也不变，假设要分成G个groups，则每组输入feature map的通道.

主要特点使用NAS得到网络结构 引入MobileNet v1的深度可分离卷积 引入MobileNet v2的具有线性瓶颈的倒残差结构 引入SE通道注意力机制 在SE模块中使用h-sigmoid代替sigmoid 使用一种新的激活函数h-swish代替ReLU6 修改了MobileNet v2后端输出headSE通道注意力机制SE模块如下所示MobileNet v3中SE模块跟在深度卷积后面，并且将最后的sigmoid函数换成了h-sigmoid，h代表hard，其公式如下

ReLU的弊端作者发现在MobileNet v1中，深度卷积部分的卷积核训练完后有不少是空的作者认为是ReLU的原因。下面的解释主要是轻量级神经网络“巡礼”（二）—— MobileNet，从V1到V3里的介绍。假设在2维空间有一组由m个点组成的螺旋线Xm数据(如input)，利用随机矩阵T映射到n维空间上并进行ReLU运算，即：其中，Xm被随机矩阵T映射到了n维空间：再用随机矩阵T的逆矩阵，将y映射回二维空间中：全过程如下所示：换句话说，就是对一个n维空...

参考https://zhuanlan.zhihu.com/p/70703846