CNN卷积神经网络之ResNeXt

前言

《Aggregated Residual Transformations for Deep Neural Networks》
论文地址：https://arxiv.org/abs/1611.05431

2017CVPR上的论文，ResNeXt是ResNet和Inception的结合体，因此你会觉得与InceptionV4有些相似，但却更简洁，同时还提出了一个新的维度： cardinality （基数），在不加深或加宽网络增加参数复杂度的前提下提高准确率，还减少了超参数的数量。

网络结构

相比于InceptionV4这里将卷积核设计为统一的尺寸，也就是将resnet在宽度上进行复制。

实际实现上，是再进一步进行了等效转换的，采用了分组卷积的方法。

网络结构和参数：

对比实验

模型的参数：

假设是第一列C=1 d=64：256 · 64 + 3 · 3 · 64 · 64 + 64 · 256 ≈ 70k
再满足总的参数差不多的情况下，作者设计了多种组合模型进行对比实验(trade off)：
卷积核维度变小，Cardinality增多，效果更好。其实也可以把ResNet看作是ResNext的特殊形式。

为了展示增加Cardinality在比增加深度和宽度更有优势，作者对其他模型进行了对比：

也超过了当时的InceptionV4等：

思考

从数据上来看，ResNeXt比InceptionV4的提升也算不上质的飞跃，因此选择的时候还是要多加考虑。

1. Inception系列网络设计得复杂，有个问题：网络的超参数设定的针对性比较强，当应用在别的数据集上时需要修改许多参数，因此可扩展性一般。
2. ResNeXt确实比Inception V4的超参数更少，但是他直接废除了Inception的囊括不同感受野的特性仿佛不是很合理，在有些环境中Inception V4的效果是优于ResNeXt的。ResNeXt的运行速度应该是优于Inception V4的，因为ResNeXt的相同拓扑结构的分支的设计更符合GPU的硬件设计原则。
3. ResNeXt和ResNet相比，本质上是引入了group操作同时加宽了网络，每个block的前两个卷积层宽度和原来ResNet相比增加了一倍（卷积核维度）。宽度增加应该是效果提升的主要来源。但是如果不用group操作，单纯增加宽度的话，显然计算量和参数要增加不少，因此采用group操作可以减少计算量和参数量，通过控制分组的数量（基数）来达到两种策略的平衡。至于Cardinality，差不多就是宽度的同义词。

😃😃😃😃😃😃😃😃😃😃😃😃😃😃😃😃😃😃😃😃😃😃😃😃😃😃😃😃😃😃😃😃😃😃😃😃😃😃😃😃

上一篇：CNN卷积神经网络之SENet