20、常见残差架构及其性能解析

常见残差架构及其性能解析

1. 常见残差架构概述

残差连接如今已成为深度学习流程中的标准组成部分。下面将介绍一些融入了残差连接的知名架构。

2. ResNet架构

• 基本结构 ：残差块最初用于图像分类的卷积网络，由此产生的网络被称为残差网络，简称ResNet。在ResNet中，每个残差块包含批量归一化操作、ReLU激活函数和卷积层，该序列会重复一次后再与输入相加。
• 瓶颈残差块 ：对于非常深的网络，参数数量可能会变得过大。瓶颈残差块通过三个卷积更有效地利用参数。第一个卷积使用1×1内核减少通道数，第二个是常规的3×3内核，第三个是另一个1×1内核，将通道数增加回原始数量。
• ResNet - 200模型 ：该模型包含200层，用于ImageNet数据库的图像分类。其架构类似于AlexNet和VGG，但使用瓶颈残差块而非普通卷积层。网络开头是7×7卷积层，接着是下采样操作，最后是全连接层将块映射到长度为1000的向量，再通过softmax层生成类别概率。ResNet - 200模型在正确类别位于前五位的错误率为4.8%，正确识别类别为20.1%，优于AlexNet和VGG，且是最早超越人类表现的网络之一，但如今已非最先进的模型。

以下是ResNet块的结构总结：
| 块类型 | 结构 | 特点 |
| ---- | ---- | ---- |
| 标准块 | 批量归一化 - ReLU - 3×3卷积（重复一次） | 适用于图像分类 |
|