注意力机制Q K V

一、概述 《Attention Is All You Need》是一篇关于注意力机制里程碑的文章，从2017年发表至今2020年7月已经获得了上万的引用。该文的两大亮点一是提出了一个几乎仅依靠注意力来完成机器翻译的模型Transformer，推动了NLP的发展，另外一个亮点是改进了点积注意力（Dot-Product Attention），加入了一个缩放因子，提出了可伸缩点积注意力（Scaled Dot-Product Attention）。本人在阅读了《Attention Is All You Need》和

注意力机制就是要通过训练得到一个加权，自注意力机制就是要通过权重矩阵来自发地找到词与词之间的关系。 Q就是词的查询向量，K是“被查”向量，V是内容向量。 简单来说一句话：Q是最适合查找目标的，K是最适合接收查找的，V就是内容，这三者不一定要一致，所以网络这么设置了三个向量，然后学习出最适合的Q, K, V，以此增强网络的能力。 因此肯定需要给每个input定义tensor，然后通过tensor间的乘法来得到input之间的关系。那这么说是不是给每个input定义...

Transformer模型的核心机制——自注意力（Self-Attention），通过Q（Query）、K（Key）、V（Value）三者的动态交互实现对全局信息的捕捉与融合。自注意力机制允许模型在处理序列数据时，动态地关注序列中不同位置的信息，从而更好地捕捉上下文关系。具体来说，Q、K、V分别代表查询、键和值，通过计算Q与K的相似度，得到注意力权重，再将这些权重应用于V，最终得到加权后的输出。这种机制使得Transformer模型在处理长距离依赖和复杂上下文关系时表现出色，广泛应用于自然语言处理、计算机视

1. 查询（自主提示）和键（非自主提示）之间的交互形成了注意力汇聚；注意力汇聚有选择地聚合了值（感官输入）以生成最终的输出。2. 注意力汇聚根据不同的概念可分为带参型、非参型。或是拆分为评分函数+softmax的形式

以翻译为例： source:我 是 中国人 target: I am Chinese 比如翻译目标单词为 I的时候，Q为I 而source中的 “我” “是” “中国人”都是K， 那么Q就要与每一个source中的K进行对齐（相似度计算）；"I"与"我"的相似度，"I"与"是"的相似度；"I"与"中国人"的相似度； 相似度的值进行归一化后会生成对齐概率值（“I"与source...

Transformer 是现代自然语言处理（NLP）和计算机视觉（CV）任务中的核心架构，而其自注意力（Self-Attention）机制是 Transformer 成功的关键。本文将重点解析 Q（Query）、K（Key）、V（Value）三个矩阵的作用及其计算方法。

在深度学习领域，一个神秘且强大的概念——自注意力机制（Self-Attention Mechanism），近年来成为了许多突破性成果的幕后英雄。从自然语言处理（NLP）到计算机视觉，自注意力机制正逐渐成为构建高效、强大模型的关键。但它究竟是什么？又是如何工作的？接下来将用通俗易懂的理解解释Transformer的工作原理。

位置向量（Positional Encoding）在 Transformer 等模型中用于为输入序列中的每个位置编码位置信息，以便模型能够捕捉序列中的顺序关系。在注意力机制中，Query (Q)、Key (K) 和 Value (V) 矩阵是通过对输入向量进行线性变换得到的，而这些矩阵的初始化与更新与神经网络的权重类似。最常用的计算位置向量的方法是基于正弦和余弦函数。通过理解和应用位置向量，Transformer 等模型能够捕捉到序列中的位置信息，从而更好地处理和生成与顺序相关的输出。

注意力机制（Attention Mechanism）是深度学习中的一种技术，用于让模型能够聚焦于输入数据中最重要的部分，从而提高模型的性能。它在自然语言处理（NLP）、计算机视觉、语音识别等领域得到了广泛应用。

注意力机制的本质思想： source:我 是 中国人 target: I am Chinese 如果翻译单词I时，则Query为I，source中的 “我” “是” “中国人”都是K，而V代表每个source中输出的context vector，如果为RNN模型的话就是对应的状态向量；即key与value相同 QKV是分别是embeding*Wq，Wk，Wv 将Source中的构成元素想象成是由一系列的<Key,Value>数据对构成，此时给定Target中的某个元素Que...

关于qkv

也就是说，X 序列每一个长度为 Dx，输入系统（输入N 个（这里设 N=3）），则此时得到三个长度为Dk的向量，每一个向量得到一个对应的Q K V，不改变输入的 X 的对应 N 这部分的维度，但是将长度 Dx 改变为了 Dv（这里的 Dv 是可以任意设置的，只要通过操作此时从 X 到值 V 的投影操作对应的矩阵 Wv 就可以了）想要模拟全连接神经网络的思路来构建一种更好的，可以处理变长输入序列 + 捕捉长距离关系的模型，可以考虑利用注意力机制来 动态地 生成权重，这也就是 自注意力模型 的主要思路。

但是随着对这个问题的深入理解，通过我们的思考脑子里想起来的东西越来越多，并且能够开始对这段文本即query，提取关键词信息进行表示，这就是注意力作用的过程，通过这整个过程我们最终脑子里的value发生了变化。但有一种特殊情况，就是我们query与key和value相同，这种情况我们成为自注意力机制，就如同我们刚刚的例子，使用一般的注意力机制，是使用不同给定文本的关键词表示它。而整个文本的信息就相当于query，value的含义则更加抽象，可比作是你看到这段文本信息后，脑子里复现的答案信息。

与我预想的不同，以为一个前馈神经网络就可以输出所有对应的得分，即输出层的维度是与input序列长度一样；1、先进行相似度的值进行归一化后会生成对齐概率值（“I"与source中每个单词的相似度（和为1）），也可以注意力值；这里的v与上面的V是不一样的，这属于一个单隐藏层的前馈神经网络；v属于隐藏层激活后的一个计算得分的权重系数矩阵；3、然后相应的V与相应的P进行加权求和，就得到了context vetor；3、"I"与"中国人"的相似度；1、"I"与"我"的相似度，2、"I"与"是"的相似度；

要理解大语言模型效果的底层实现原理，很大一部分就是理解Transformers Block里面的QKV矩阵。，比如注意力、量化、低秩压缩等等。其，在推理过程中，QKV存储量还会随着上下文长度的增长而线性增长，计算量也平方增加。可以说，现在大模型对外销售OpenAPI的价格战，；围绕QKV，各大模型厂商使出浑身解数，在本文，我们将从纯概念的角度，增进对QKV的理解。

注意力机制说白了就是要通过训练得到一个加权，自注意力机制就是要通过权重矩阵来自发地找到词与词之间的关系。因此肯定需要给每个input定义tensor，然后通过tensor间的乘法来得到input之间的关系。那这么说是不是给每个input定义1个tensor就够了呢？不够啊！如果每个input只有一个相应的q，那么q1和q2之间做乘法求取了a1和a2的关系之后，这个结果怎么存放怎么使用呢？而且a1和a2之间的关系是对偶的吗？如果a1找a2和a2找a1有区别怎么办？只定义一个这模型是不是有点太简单了 一

最近在学习Transformer这一深度学习模型架构，随手记录一下知识点，以防忘记，在阅读本篇文章前，读者需事先了解Transformer的基本结构和概念。