swin transformer之相对位置偏置

相对于VIT中的绝对位置编码，Swin Transformer在每次计算自注意力时加上了一个相对位置偏置（Relative Position Bias）[1]。这种相对位置编码的设计使得Swin Transformer对于密集型预测任务（如检测、分割）更敏感，...

### Swin Transformer 中相对位置编码的实现与作用 #### 实现细节 在 Swin Transformer 的设计中，相对位置编码通过特定的方式被引入到注意力机制之中。具体来说，在计算查询（Query）和键（Key）之间的相似度矩阵 \( Q \cdot K^\top \) 后再加入相对位置信息[^2]。 为了使相对位置坐标能够适配预定义的位置偏置表（table），需要将二维相对坐标 (i, j) 映射成一维索引形式以便于查找对应的偏移量值。这一过程可以通过如下代码片段来完成： ```python relative_coords[:, :, 0] *= 2 * window_size[1] - 1 relative_position_index = relative_coords.sum(-1) ``` 上述操作确保了窗口内任意两点间的相对距离可以唯一地映射至预先构建好的相对位置偏差表格中的某个条目，从而实现了高效的位置嵌入检索[^4]。 #### 编码的作用 这种特殊的相对位置编码方式有助于模型更好地捕捉图像特征的空间关系。相比于自然语言处理领域常见的绝对位置编码方法，Swin Transformer 所采用的方法能够在保持局部感受野的同时增强全局上下文理解能力。这是因为每个 attention block 只关注其所在的小窗口内的像素间的关系，并且这些小窗口会沿着整个图片滑动，使得最终输出包含了丰富的多尺度空间结构信息[^3]。 此外，由于只在同一层内部的不同 patch 或者跨层次之间共享相同的相对位置参数，这不仅减少了内存占用还促进了更有效的训练收敛[^1]。