Transformer2--Multi-head self-attention

一、背景

为什么是multi-head self attention?
并行的处理多种注意力模式： 每个注意力头使用不同的线性变换，这意味着它们可以从输入序列的不同子空间中学习不同的特征关联。这样一来，模型可以通过多个注意力头同时关注输入序列的不同方面，如一句话的语法结构、语义角色、主题转移等。
增加模型的学习能力和表达能力： 通过多个注意力头，由于每个头关注的特征不同，模型可以学习到更丰富的上下文信息，这样综合起来可以更加全面的理解和处理序列。

二、多头自注意力机制的原理

2.1 自注意力机制

在介绍多头自注意力机制之前，先来简单的回顾一下自注意力机制：

自注意力机制（Self-Attention Mechanism）是Transformer架构中的核心组件，它允许模型在处理序列数据时， 考虑序列中不同位置元素之间的相互关系。在自注意力机制中，查询（Query, Q）、键（Key, K）和值（Value, V）是三个重要的概念，它们都是从输入序列经过线性变换得到的向量。

对于Q，K，V分别代表的含义，我想用一个例子来说明一下：
我们有一段文本：“小明喜欢在晴朗的日子里去公园散步。” 如果我们想要了解 “小明” 这个词在句子中的上下文含义，我们可以看看句子中其他词与 “小明” 之间的关系。

查询（Query, Q）：可以把它想象成我们要寻找信息的问题或者焦点。在上面的例子中， 小明”就是我们的查询 “，我们想要知道“小明”这个词在句子中的具体含义。

键（Key, K）：可以把它看作是其他单词（或者说是输入序列中的其他部分）提供的线索，帮助我们判断它们与查询的相关程度。在我们的例子中，句子中的每一个词都可以产生一个键，用来表示它是否与“小明”相关以及相关的程度。

值（Value, V）：可以理解为当一个键与查询匹配时，它能提供的额外信息。在句子中，如果一个词与“小明”相关联，那么它的值向量就会被用来增强我们对“小明”的理解。比如，“喜欢”、“晴朗的日子”和“公园散步”都与“小明”有关系，它们的值向量将被用来丰富“小明”的语境。

自注意力机制通过计算查询向量（Q）和所有键向量（K）之间的相似度（通常是点积），得到一个注意力权重矩阵，然后使用这些权重对所有值向量（V）进行加权求和，从而得到一个综合了上下文信息的新表示。总结来说，Q是询问者，K是回答者提供的线索，V是等待线索的答案，自注意力机制就是通过这些线索和答案来构建输入序列的上下文关系，进而优化模型的性能。

2.2 多头自注意力机制

多头自注意力机制顾名思义，最自注意力机制最大的不同，就是使用多个QKV来构建序列的上下文关系。

在实现过程中$q^{i,1},q^{i,2}$， k i , 1 , k i , 2 k^{i,1}, k^{i,2} ki,1,k