PVT和 Swin

### PVT 和 Swin Transformer 的架构与实现细节 #### Progressive Vision Transformer (PVT) Progressive Vision Transformer (PVT) 是一种分层设计的视觉变换器，旨在通过逐步降低分辨率和增加嵌入维度来提取更深层次的空间特征。这种设计使得 PVT 能够有效捕捉多尺度信息，并显著减少了计算开销。 - **分层结构**：PVT 使用多个阶段（stages），每个阶段由一系列变压器块组成。随着网络深入，输入图像的分辨率逐渐减小，而嵌入向量的维度则相应增大[^1]。 - **局部窗口注意力机制**：为了进一步优化性能，PVT 引入了局部窗口注意力机制，在保持全局感受野的同时降低了计算复杂度。这种方法允许模型专注于特定区域内的像素关系，从而提高了效率[^4]。 - **实施技巧**：在实际应用中，可以通过调整各阶段的数量以及每阶段内部的具体配置参数来控制整体资源消耗水平。例如，可以改变每一层中的头数或者前馈神经网络隐藏单元数目等超参设置以满足不同的需求场景下的约束条件[^3]。 ```python class PVTEncoderLayer(nn.Module): def __init__(self, dim, num_heads=8, mlp_ratio=4., qkv_bias=False, drop_rate=0.): super().__init__() self.norm1 = nn.LayerNorm(dim) self.attn = Attention(dim, num_heads=num_heads, qkv_bias=qkv_bias, attn_drop=drop_rate, proj_drop=drop_rate) ... ``` --- #### Swin Transformer Swin Transformer 提出了基于滑动窗口策略构建层次化的表征学习框架，其中核心创新点在于交替采用固定大小非重叠子窗格间相互作用形式的标准自注意模块(SA)，以及跨相邻两个此类分区之间额外引入相对位置偏差项后的增强版版本——即所谓的“Shifted Window Multi-head Self-Attention”(SW-MSA)[^5]。 - **滑动窗口划分方式**：原始输入会被分割成若干互不交叠的小块儿作为基本单位参与后续运算过程；当切换到下一层时，则重新组织这些片段形成新的组合布局以便更好地融合远距离依赖关系[^2]。 - **移位窗口机制**：不同于常规做法仅限于当前视野范围之内建立联系，“shift operation”让原本属于不同组别的元素有机会互相感知对方的存在状况，进而促进更加全面的信息交流共享活动开展起来。 - **具体实操指南**：开发者们可以根据目标任务特点灵活定制各项属性值比如最大序列长度限制、隐含状态宽度设定等等要素指标来进行针对性调优尝试直至找到最佳平衡点为止。 ```python def window_partition(x, window_size): B, H, W, C = x.shape x = x.view(B, H // window_size, window_size, W // window_size, window_size, C) windows = x.permute(0, 1, 3, 2, 4, 5).contiguous().view(-1, window_size, window_size, C) return windows ``` --- ### 比较分析 | 特性 | PVT | Swin Transformer | |---------------------|-----------------------------------------------------------------------------------------|--------------------------------------------------------------------------------------------------| | 层次化设计 | Yes | Yes | | 注意力机制 | 局部窗口注意力 | Shifted Window Multi-head Self-Attention | | 参数数量 | 较少 | 更多 | | 计算成本 | 中等 | 高 | | 数据效率 | 对大数据集表现良好 | 即使在较小规模的数据上也能取得不错的结果 | 尽管两者都致力于解决传统 ViTs 存在的一些局限之处并通过各自独特的方式实现了不同程度上的改进提升，但从上述对比可以看出它们各有侧重方向且适用场合也有所区别。 ---