上节课回顾 0：40 Attention Self-Attention Self-Attention 其实是 Attention 的一个具体做法 给定一个 X，通过自注意力模型，得到一个 Z，这个 Z 就是对 X 的新的表征（词向量），Z 这个词向量相比较 X 拥有了句法特征和语义特征 Multi-Head Self-Attention（多头自注意力） Z 相比较 X 有了提升，通过 Multi-Head Self-Attention，得到的 Z′Z{'}
超级会员免费看
本文回顾了自注意力的概念，并详细解释了多头自注意力的工作原理，强调了它如何通过将输入分块并在多个子空间中进行处理来增强词向量的表达能力，从而在机器学习任务中提升性能。多头自注意力机制通过非线性变换在高维空间中找到更合适的词向量位置，有助于理解和优化模型。
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
