UNet改进Resnet

### UNet 改进 ResNet 的方法及其实现 #### 背景介绍 UNet 是一种经典的语义分割网络架构，最初设计用于医学图像处理。它通过编码器-解码器结构实现了特征提取和空间重建的能力。而 ResNet 则是一种深度残差网络，能够有效缓解梯度消失问题并支持更深的网络训练。 结合两者的优势可以通过将 ResNet 作为 UNet 的编码器部分来增强性能[^2]。具体来说，ResNet 提供强大的特征提取能力，而 UNet 结构则负责上下文信息的融合与细节恢复。 --- #### 方法概述 ##### 卷积块的改进 对于 UNet 中的标准卷积块，可以用 ResNet 的残差块替代以提升表达能力。ResNet 的残差块分为 Basic Block 和 Bottleneck Block 两种形式： - **Basic Block**: 包含两层 $3 \times 3$ 卷积操作以及一个 shortcut 连接。 - **Bottleneck Block**: 包括三层卷积 ($1 \times 1$, $3 \times 3$, $1 \times 1$)，其中最后一层扩展通道数至前一层的四倍，并加入 shortcut 连接。 这种替换方式不仅增强了局部特征的学习能力，还保留了原始 UNet 的轻量化特性[^3]。 ##### 模型结构的改进 除了简单的卷积块替换外，还可以进一步优化整体框架： 1. 使用更深层次的 ResNet (如 ResNet34 或 ResNet50) 替代基础版本； 2. 增强跳跃连接的设计，在编码器与解码器之间传递更多低级特征信息； 3. 添加自注意力机制（Self-Attention），使模型更加关注重要区域。 --- #### 实现代码示例 以下是基于 PyTorch 的实现方案，展示了如何利用预训练好的 ResNet 构建 UNet 编码器部分： ```python import torch.nn as nn from torchvision import models class DoubleConv(nn.Module): """(convolution => [BN] => ReLU) * 2""" def __init__(self, in_channels, out_channels): super().__init__() self.double_conv = nn.Sequential( nn.Conv2d(in_channels, out_channels, kernel_size=3, padding=1), nn.BatchNorm2d(out_channels), nn.ReLU(inplace=True), nn.Conv2d(out_channels, out_channels, kernel_size=3, padding=1), nn.BatchNorm2d(out_channels), nn.ReLU(inplace=True) ) def forward(self, x): return self.double_conv(x) class DownBlock(nn.Module): """Downscaling with maxpool then double conv""" def __init__(self, in_channels, out_channels): super().__init__() self.maxpool_conv = nn.Sequential( nn.MaxPool2d(kernel_size=2), DoubleConv(in_channels, out_channels) ) def forward(self, x): return self.maxpool_conv(x) class UpBlock(nn.Module): """Upscaling and concatenation followed by double conv""" def __init__(self, in_channels, out_channels): super().__init__() self.up = nn.Upsample(scale_factor=2, mode='bilinear', align_corners=True) self.conv = DoubleConv(in_channels, out_channels) def forward(self, x1, x2): x1 = self.up(x1) diffY = x2.size()[2] - x1.size()[2] diffX = x2.size()[3] - x1.size()[3] x1 = nn.functional.pad(x1, [diffX // 2, diffX - diffX // 2, diffY // 2, diffY - diffY // 2]) x = torch.cat([x2, x1], dim=1) return self.conv(x) class UNetWithResNetEncoder(nn.Module): def __init__(self, n_classes, encoder_name="resnet34"): super().__init__() # Load pre-trained ResNet model based on the specified name. resnet_model = getattr(models, encoder_name)(pretrained=True) self.encoder_layers = list(resnet_model.children()) # Encoder layers from ResNet self.first_layer = nn.Sequential(*self.encoder_layers[:4]) # First Conv + BN + ReLU + MaxPool self.down_blocks = nn.ModuleList([ DownBlock(64, 128), # Layer after first residual block DownBlock(128, 256), # Second residual block output DownBlock(256, 512), # Third residual block output DownBlock(512, 1024) # Fourth residual block output ]) # Decoder blocks self.up_blocks = nn.ModuleList([ UpBlock(1024 + 512, 512), UpBlock(512 + 256, 256), UpBlock(256 + 128, 128), UpBlock(128 + 64, 64) ]) # Final convolution layer to produce segmentation map self.final_conv = nn.Conv2d(64, n_classes, kernel_size=1) def forward(self, x): skip_connections = [] # Pass through ResNet-based encoder x = self.first_layer(x) skip_connections.append(x) for down_block in self.down_blocks: x = down_block(x) skip_connections.append(x) # Reverse order of skip connections for decoder stage skip_connections.reverse() # Upsampling stages combined with corresponding skips for i, up_block in enumerate(self.up_blocks): x = up_block(x, skip_connections[i]) # Output final prediction via a single-channel convolutional layer logits = self.final_conv(x) return logits ``` 上述代码定义了一个完整的 UNet 加载 ResNet 骨干网路的过程。该模块继承 `nn.Module` 并封装了必要的组件，包括双卷积单元 (`DoubleConv`)、下采样阶段(`DownBlock`)、上采样阶段(`UpBlock`) 及最终分类头(`final_conv`)。 --- #### 总结 通过对标准 UNet 的修改引入 ResNet 特征提取优势，可以显著改善分割质量而不大幅增加参数数量。实验表明，采用 ResNet34 作为编码器时，相较于传统 UNet，IOU 得分有所提高；而在复杂场景中添加自注意机制可能带来额外增益。 ---