Transformer的编码器和解码器与重叠注意力机制

### Transformer 编码器-解码器架构及其重叠注意力机制 #### 编码器结构 在Transformer模型中，编码器由多个相同的层堆叠而成。每一层主要包含两个子层：一个多头自注意力（Multi-head Self-Attention）机制和一个全连接前馈网络（Feed Forward Network）。输入序列中的每一个位置都会通过这些子层处理，并且各位置间的信息交互是并行完成的[^1]。 多头自注意力允许模型在同一时间关注不同位置的不同表示空间内的信息。具体来说，在计算过程中会生成三个矩阵——查询（Query）、键（Key）和值（Value），并通过缩放点积操作来衡量各个词之间的关联程度。这种设计使得即使对于较长距离依赖关系也能有效捕捉到语义联系。 #### 解码器结构 解码器同样是由一系列相同类型的层组成。除了具有类似于编码器内部结构外，还额外引入了一个跨注意模块用于接收来自编码端产生的上下文向量作为附加输入。这有助于解码过程更好地理解源句含义从而更精准地生成目标语言表达。 值得注意的是，在训练阶段为了防止未来时刻的信息泄露给当前预测节点，会在构建掩蔽版（Masked Multi-head Attention）时采取特殊措施遮挡掉后续部分的数据项；而在推理期间则不需要此步骤因为每次只向前推进一步直至整个输出序列被完全创建出来为止。 #### 重叠注意力机制的作用 当提到“重叠”的概念时，通常指的是某些特定情况下可以共享或者重复利用之前已经计算好的注意力权重分布情况而不是每次都重新单独求取一遍新的结果。这种方式不仅能够减少冗余运算提高效率，而且还可以增强特征提取能力让模型学会更加鲁棒有效的表征形式[^2]。 例如，在一些变体版本里可能会采用局部窗口范围内实施多次迭代式的自我关注模式或是借助于其他辅助组件比如卷积核等手段实现参数间的相互作用进而达到优化性能的目的。不过需要注意的是实际应用当中究竟选用何种策略取决于具体的任务需求和技术背景等因素综合作用下的权衡考量。 ```python import torch.nn as nn class EncoderLayer(nn.Module): def __init__(self, d_model, num_heads, d_ff, dropout=0.1): super(EncoderLayer, self).__init__() self.self_attn = nn.MultiheadAttention(d_model, num_heads, dropout=dropout) self.feed_forward = PositionwiseFeedForward(d_model, d_ff, dropout) def forward(self, x, mask=None): attn_output, _ = self.self_attn(x, x, x, key_padding_mask=mask) output = self.feed_forward(attn_output) return output class DecoderLayer(nn.Module): def __init__(self, d_model, num_heads, d_ff, dropout=0.1): super(DecoderLayer, self).__init__() self.masked_self_attn = nn.MultiheadAttention(d_model, num_heads, dropout=dropout) self.cross_attn = nn.MultiheadAttention(d_model, num_heads, dropout=dropout) self.feed_forward = PositionwiseFeedForward(d_model, d_ff, dropout) def forward(self, tgt, memory, src_mask=None, tgt_mask=None): masked_attn_output, _ = self.masked_self_attn(tgt, tgt, tgt, key_padding_mask=tgt_mask) cross_attn_output, _ = self.cross_attn(masked_attn_output, memory, memory, key_padding_mask=src_mask) output = self.feed_forward(cross_attn_output) return output ```