网络解读/论文笔记-ReXNet: Diminishing Representational Bottleneck on Convolutional Neural Network

目录

1.MobileNetV1

特征

优点：Depthwise Convolution

网络结构

 2.MobileNet v2

改进原因

特征：

优点：Inverted residual block

网络结构图

关于shortcut

3.ReXNet

摘要

什么是representational bottleneck？

优点

网络再设计

网络结构

1.MobileNetV1

特征

专注于移动端或者嵌入式设备中的轻量级CNN网络。相比传统卷积神经网络，在准确率小幅降低的前提下大大减少模型参数与运算量。(相比VGG16准确率减少了0.9%，但模型参数只有VGG的1/32)。

优点：Depthwise Convolution

其中的Depthwise Convolution结构大大减少运算量和参数数量，如下图所示：

①而在DW卷积中，每个卷积核的channel都是等于1的（每个卷积核只负责输入特征矩阵的一个channel，故卷积核的个数必须等于输入特征矩阵的channel数，从而使得输出特征矩阵的channel数也等于输入特征矩阵的channel数）

②使用DW卷积后输出特征矩阵的channel是与输入特征矩阵的channel相等的，如果想改变/自定义输出特征矩阵的channel，那只需要在DW卷积后接上一个PW卷积即可.

③如下图所示，其实PW卷积就是普通的卷积而已（只不过卷积核大小为1）。通常DW卷积和PW卷积是放在一起使用的，一起叫做Depthwise Separable Convolution（深度可分卷积）。理论上普通卷积计算量是DW+PW卷积的8到9倍。

网络结构

其网络结构图如下所示，Conv为普通卷积，Conv dw为DW卷积，s代表stripe，其中还有两个超参数

α：宽度因子：作用是在每层均匀地稀疏网络，为每层通道乘以一定的比例，从而减少各层的通道数。常用值有1、0.75、0.5、0.25。

β：分辨率因子：其作用是在每层特征图的大小乘以一定的比例。

 2.MobileNet v2

改进原因

①网络的结构就像VGG一样是个直筒型的，不像ResNet网络有shorcut之类的连接方式

②MobileNet v1网络中的DW卷积很容易训练废掉，效果并没有那么理想

特征：

MobileNet v2网络是由google团队在2018年提出的，相比MobileNet V1网络，准确率更高，模型更小。其结构如下：