几种典型的图像分类框架【VGG、Inception、ResNet】

VGG（Visual Geometry Group）

卷积神经网络_科研苟Gamber的博客-CSDN博客

VGG是基于AlexNet（上图）进行了一些改进，主要体现在
1.采用了两层3x3的小尺寸卷积核，步长为1，与5x5卷积相比，参数变少了。
2.去掉了LRN（局部归一化层），因此实验发现作用不大。
3.重复使用简单的卷积块堆叠，基础模块为两层或多层卷积加上一层池化。

 Inception系列

Inception块使用了多分支及不同尺度的卷积核。例如，GoogleNet

Inception V1

 首次使用了并行的结构，使用多个大小不同的卷积核，可以提取到不同类型的特征，可以获得多尺度的特征，最后再将这些特征拼接起来。如果单纯引入多个尺寸的卷积将引入大量的参数，但是可以进行改进，从而降低了计算成本。具体（在3x3与5x5之前引入1x1卷积，另外池化层之后也使用1x1进行降维）：

 改进前后，参数变化（忽略偏置量）：

 1x1x192x64:深度为192,64个卷积核。同比类推。

Inception V2

V2是针对V1的基础上又进行了改进，将大尺寸的卷积进行分解，减少参数，降低计算复杂度。
具体（将5x5用两个3x3代替）
下面是卷积分解的两种思路：

其中a就是V2中提到的，而b是用一个1xn和一个nx1的卷积代替nxn的卷积，这种方式是一种横纵方向上的信息解耦，分两次而不是一次性提取特征。

ResNet

残差网络（Residual Network，ResNet）

随着网络的加深，训练集的准确率反而下降了：

 在训练集以及测试集上，56层的网络比20层的网络效果更差，不是过拟合导致的，而是由于优化困难，这种问题称为，模型退化问题。

ResNet可以解决上述问题，在一个块的输入和输出之间引入一条直接的通路，这条通路称作跳跃连接（skip connection）。如下:

1.前向传播时，将输入与输出的信息相融合，能够更加有效地利用特征；2.反向传播的时候，有一部分梯度通过跳跃反传到输入上，这缓解了梯度消失的问题。而且损失函数的曲面更光滑，训练更容易，得到的模型泛化性能更好。

有很多模型用到了跳跃连接，比如，DenseNet，Inception-ResNet。