resnet wrn

### 关于 ResNet 架构的改进方法与变体 #### 1. **ResNeXt** ResNeXt 是一种基于组卷积（Group Convolution）扩展 ResNet 的架构设计。它引入了一种称为“基数”（Cardinality）的概念，表示并行路径的数量。通过增加基数而不是单纯加深网络或加宽网络，ResNeXt 能够显著提升模型性能。具体来说，在每个残差块中，输入被分成若干组，每组独立进行卷积操作后再拼接起来[^3]。 ```python import torch.nn as nn class ResNeXtBlock(nn.Module): def __init__(self, in_channels, out_channels, cardinality=32): super(ResNeXtBlock, self).__init__() group_conv = nn.Conv2d(in_channels, out_channels, kernel_size=3, groups=cardinality) # 定义其他层... ``` #### 2. **Pre-Activation ResNet (ResNet-v2)** 原始 ResNet 中激活函数位于卷积层之后，而在 Pre-Activation 版本中，激活函数被移动到卷积之前。这种调整有助于改善梯度流动，并进一步提升了非常深网络的训练效果。研究表明，Pre-Activation 设计能够使更深的网络更容易收敛[^4]。 #### 3. **DenseNet** 尽管 DenseNet 不完全属于 ResNet 的直接变体，但它继承了短路连接的思想。不同于 ResNet 使用跳跃连接将特征图相加，DenseNet 将每一层的输出直接作为后续所有层的输入，从而实现密集连接。这种方式不仅增强了特征重用还减少了参数数量[^5]。 #### 4. **SE-ResNet (Squeeze-and-Excitation Networks)** SE-ResNet 结合了注意力机制来增强通道间的信息交互能力。在网络中加入了一个 Squeeze 和 Excitation 模块，该模块通过对全局平均池化的结果建模各个通道的重要性权重，进而动态调节各通道贡献程度。这种方法提高了模型对复杂模式的学习效率[^6]。 #### 5. **Wide ResNet (WRN)** Wide ResNet 提出了另一种思路——不是一味追求更大的深度而是适当拓宽网络宽度。相比标准版 ResNet，WRN 增大了基础滤波器数目的倍率因子 k 并减少总层数 N 。实验表明，在某些情况下 WRNs 表现优于更深但更窄的传统 ResNets[^7]。 ```python def wide_basic(x, filters, stride=1, widen_factor=10): expanded_filters = filters * widen_factor conv1 = nn.Conv2d(expanded_filters, kernel_size=3, padding='same') bn1 = nn.BatchNorm2d(expanded_filters) relu = nn.ReLU() output = relu(bn1(conv1(x))) return output ```

### ResNet模型及其变体概述 #### 什么是ResNet？ ResNet（Residual Network，残差网络）是一种深度神经网络架构，由微软研究院于2015年提出[^2]。其核心创新在于引入了**残差块（Residual Block）**的概念，解决了深层神经网络中的梯度消失和退化问题。传统CNN在网络加深时会出现性能饱和甚至下降的情况，而ResNet通过构建短路连接（skip connection），使得网络能够更容易地学习到恒等映射。 #### ResNet的核心组件——残差块 残差块的设计允许网络直接学习输入与输出之间的差异（即残差）。假设某一层的输入为 \(x\)，理想输出为 \(H(x)\)，那么传统的前馈网络试图直接拟合 \(H(x)\)；而在ResNet中，则改为学习残差函数 \(\mathcal{F}(x)=H(x)-x\)，最终输出表示为： \[ y = H(x) = x + \mathcal{F}(x) \] 这种设计显著提升了训练非常深网络的能力[^2]。 --- #### ResNet的主要版本 ResNet有多个经典版本，主要区别在于网络的深度以及具体实现细节： - **ResNet-18/34**: 较浅的版本，采用全卷积操作，适合资源受限场景。 - **ResNet-50/101/152**: 更深层次的版本，其中部分层采用了瓶颈结构（bottleneck structure），减少了计算量并提高了效率[^2]。 --- #### ResNet的常见变体 以下是基于ResNet改进的一些重要变体及其特点： ##### 1. Wide ResNet (WRN) Wide ResNet通过对基础宽度参数进行扩展来提升表现力，而不是单纯依赖增加网络深度。相比标准ResNet，Wide ResNet具有更宽的基础通道数，从而增强了特征表达能力[^1]。 ##### 2. Dilated ResNet (DRN) Dilated ResNet利用膨胀卷积替代常规卷积核，扩大感受野而不增加额外参数数量或降低分辨率。这种方法特别适用于密集预测任务如语义分割[^1]。 ##### 3. Dual Path Networks (DPNs) Dual Path Networks结合了ResNet路径级联特性和Inception模块多尺度特性，形成双通路数据流机制。一方面保持空间信息连贯性，另一方面增强跨层次交互效果[^1]。 ##### 4. Squeeze-and-Excitation Networks (SENet) Squeeze-and-Excitation Networks在原有基础上加入注意力机制，动态调整不同channel的重要性权重。这有助于突出关键区域特征贡献比例，进一步优化分类准确性[^1]。 ##### 5. ResNeSt 作为最新一代改进版之一，ResNeSt通过分组拆解策略重新定义split-transform-merge过程，强化局部关联建模能力的同时维持较低复杂度开销。 --- ```python import torch.nn as nn class BasicBlock(nn.Module): expansion = 1 def __init__(self, in_planes, planes, stride=1): super(BasicBlock, self).__init__() self.conv1 = nn.Conv2d(in_planes, planes, kernel_size=3, stride=stride, padding=1, bias=False) self.bn1 = nn.BatchNorm2d(planes) self.conv2 = nn.Conv2d(planes, planes, kernel_size=3, stride=1, padding=1, bias=False) self.bn2 = nn.BatchNorm2d(planes) self.shortcut = nn.Sequential() if stride != 1 or in_planes != self.expansion*planes: self.shortcut = nn.Sequential( nn.Conv2d(in_planes, self.expansion*planes, kernel_size=1, stride=stride, bias=False), nn.BatchNorm2d(self.expansion*planes) ) def forward(self, x): out = nn.ReLU()(self.bn1(self.conv1(x))) out = self.bn2(self.conv2(out)) out += self.shortcut(x) out = nn.ReLU()(out) return out ``` 以上代码展示了ResNet中最基本的残差块实现方式。 ---