自注意力详解：驱动现代 AI 的机制

了解自注意力机制如何革新 AI。探索其数学基础与应用，从 GPT 到视觉 Transformer。

已更新 2026年10月6日 · 14分钟阅读

使用 AI 探索

2017 年底，一篇题为 Attention Is All You Need 的研究论文提出了一种革命性机制，彻底重塑了人工智能的面貌。该突破的核心是自注意力（self-attention）：一个简单却强大的思想，能够通过判断哪些元素值得关注来让模型理解数据内部的关系。

如今，自注意力支撑着从 ChatGPT 的对话能力到先进图像识别系统的一切。它无疑是机器学习历史上最具变革性的创新之一。

在本指南中，我将从概念基础到应用场景，带您全面理解自注意力，展示这一机制如何帮助模型捕捉长程依赖并并行处理信息——这在传统神经网络中几乎无法实现。

如果您对 Transformer 还不熟悉，建议先学习我们的入门课程：大型语言模型（LLMs）概念和使用 PyTorch 的 Transformer 模型。

什么是自注意力？

根据我的教学经验，理解序列处理中的一个基本挑战是最佳切入点：模型如何在任意时刻判断其输入中哪些部分最为相关？

在进入数学细节前，我们先直观把握这个概念。

对自注意力的概念性理解

自注意力是一种机制，用于衡量序列中各元素相对彼此的重要性。处理句子“The animal didn't cross the road because it was too tired.”时，自注意力帮助模型理解“it”指代的是“animal”而非“road”，这种关系跨越了多个词。

这其实是我向学生介绍该概念时最常用的例子。它之所以立刻能被理解，是因为它贴合我们的自然阅读方式。

注意力机制

自注意力之所以尤其强大，在于它能够同时为序列中的所有位置计算这些关系。不同于按步处理序列的循环神经网络，自注意力在一次前向传播中就能考察每个元素与其他所有元素之间的关系。

这种并行计算显著缩短训练时间，同时能捕捉序列中无论距离远近的依赖关系。

需要将自注意力与相关机制区分开来。在自注意力中，序列“关注”的是它自身。每个元素从同一序列的所有位置查询信息。

交叉注意力（Cross-attention）则相反，它允许一个序列关注另一个序列，例如在机器翻译中解码器关注编码器的输出。

掩码自注意力（Masked self-attention）增加了一项约束：它阻止当前位置关注后续位置，从而确保预测仅依赖已知输出，这对于自回归文本生成至关重要。

但这个想法究竟从何而来？它旨在解决哪些问题？

自注意力的起源与动机

在自注意力出现之前，序列建模领域一直在与诸多限制抗争。

循环神经网络（包括 LSTM 和 GRU）按顺序处理序列，形成了一个根本性瓶颈：由于信息必须穿过许多中间状态，它们难以处理长程依赖，导致梯度消失与上下文遗忘。

迈向自注意力的演进始于基于 RNN 的编码器—解码器架构中的注意力机制。2014 年，Bahdanau 及其合作者提出了一种注意力机制，使得解码器可以访问所有编码器隐藏状态，而不再依赖单一的定长上下文向量。

这一突破解决了信息压缩问题：无论输入序列多么复杂，过去都被挤压进固定长度的表示中。

Bahdanau 提出的模型图示

一年后，Luong 提出了简化的注意力机制，其中包括后来影响 Transformer 设计的缩放点积方法。尽管这些早期的注意力机制提升了性能，但它们仍依赖顺序的 RNN 处理。

全局注意力模型（Luong）

真正的革命来自一个大胆设问：如果我们去除循环，只靠注意力行不行？这个问题催生了 Transformer 架构，其中自注意力成为理解序列关系的主要机制。

自注意力的数学框架

既然已经阐明了自注意力的重要性，接下来我们从数学层面看看它究竟如何工作。

Query、Key 与 Value 表示

自注意力通过三种可学习的投影来变换输入序列：Query、Key 和 Value。可以把它们视为同一信息的不同“视角”，各自在注意力计算中承担不同职责。

对于嵌入维度为 d_model 的输入序列，我们创建三个权重矩阵：W_Q、W_K 和 W_V。将输入矩阵 X 分别与这些权重相乘，得到：

Query 矩阵 Q = X · W_Q：表示“我在寻找什么”
Key 矩阵 K = X · W_K：表示“我能提供什么”
Value 矩阵 V = X · W_V：表示“我实际包含什么”

我觉得图书馆的类比很有帮助：您带着查询走进来，索引卡就是 Key，而真正的书籍就是 Value。

通常，这些矩阵会被投影到更小的维度 d_k（常为 d_model 除以注意力头数），这样既能控制计算复杂度，又能保持表征能力。随着序列变长，这种降维尤为重要。

有了 Q、K、V，我们就可以进行注意力计算了。

缩放点积注意力

注意力计算遵循一个优雅的公式。首先，通过对 Query 与 Key 做点积来计算注意力分数。这一操作衡量每个位置“所寻找的”与其他各位置“所提供的”之间的匹配程度。

然而，随着维度增大，这些点积的幅值会变得很大，从而把 softmax 推入梯度极小的区域。为防止数值不稳定，我们将其除以 Key 维度的平方根进行缩放。

缩放点积注意力

这一缩放系数维持了网络中的适当方差，确保训练期间梯度稳定。没有它，使用高维嵌入的模型将难以有效学习，因为 softmax 会输出接近独热的分布，无法有意义地分配注意力。

在继续之前，我们需要补上一个重要环节：位置编码。

位置编码

当我第一次研究这个机制时，最让我惊讶的一点是：自注意力完全是置换不变的。打乱输入的标记顺序，您会得到相同的输出，只是对应顺序也被打乱了。

这其中的含义让我思考了一阵：该机制虽然强大，但对顺序本质上是“盲目”的。对于顺序至关重要的任务（例如理解语言），我们必须显式注入位置信息。

原始的 Transformer 使用正弦位置编码，对各维度施加不同频率的正弦和余弦函数。这个选择并非随意。波状模式使模型能够学习相对位置，且这种编码可以自然推广到未见过的序列长度。

位置编码可视化

更近期的创新包括 RoPE（旋转位置嵌入），它将 Query 与 Key 向量在多维空间中按与其位置成比例的角度进行旋转。旋转后，Query 与 Key 的点积会自然编码相对距离。

由于具备出色的外推能力，RoPE 已在 LLaMA 等模型中被广泛采用。

另一种方法 ALiBi（线性偏置注意力）走的是不同路径：它直接在注意力分数上添加与位置相关的惩罚项。ALiBi 并不修改嵌入，而是对注意力权重施加偏置以偏向邻近标记，不同注意力头的偏置强度各不相同。

该方法在远超训练时长度的序列上展现了令人印象深刻的外推能力。

Softmax 与注意力权重

在计算出缩放后的注意力分数后，我们在 Key 维度上应用 softmax。这种归一化将原始分数转化为概率分布，确保对每个 Query 位置而言，注意力权重之和为 1。

softmax 会突出最高分的关系，同时抑制无关连接。但在模型尚未学到细致注意力模式的早期训练阶段，这有时会导致分布过于尖锐。

为缓解这一问题，实践中常对注意力权重使用 dropout，随机将部分连接置零以增强鲁棒性。

计算上下文向量

获得注意力权重后，我们将 Value 向量按权重加权求和，得到最终输出。

每个位置都得到一个具备上下文意识的表示，它从整个序列聚合信息，其贡献与注意力权重成比例。相比固定模式，这种加权组合让信息能基于学习到的关系动态流动。

上下文向量计算

单头注意力已经非常有用，但也有天花板。接下来会更有意思。

多头注意力与多表示子空间

尽管单头注意力很强大，但它有一个根本限制：一次只能捕捉一种类型的关系。

动机与架构

多头注意力通过并行运行多个注意力计算来解决这一问题，每个头关注输入关系的不同方面。例如，可能分别有一个头专注于：

局部句法依赖
长程语义关系
位置模式

据我在这些模型上的观察，这种“专精”常常在训练中自然涌现。并不需要人为设计——我认为这是整个机制最迷人的一面之一。

多头注意力

实现方式是沿维度轴拆分 Q、K、V 矩阵，将每个分片分别送入不同注意力头处理，最后将结果拼接。

如果我们有 8 个头、512 维嵌入，每个头在 64 维子空间上运行。这种并行处理不会增加序列长度维度上的复杂度，却显著提升模型学习多样模式的能力。

不同注意力头会学到什么

研究不同注意力头究竟学到了什么，揭示了许多有趣规律。

在翻译模型中，有些头稳定地关注位置关系，不论内容如何都专注邻近词。另一些头专长于句法角色，识别主谓或动宾关系。第三类则关注专有名词、技术术语等罕见或信息量高的标记。

有趣的是，可解释性研究表明，许多注意力头似乎是冗余的，即便剪枝掉相当一部分头，模型性能仍能保持。这种冗余很可能提升了鲁棒性，确保关键模式在网络中拥有多条通路。

在编码器—解码器注意力中，后期解码层的注意力头对翻译质量最关键，而编码器的自注意力头往往可以大幅减少。

Transformer 架构中的自注意力

在建立了数学基础后，我们来看自注意力如何融入完整的 Transformer 架构。

编码器：全连接式的关注

在 Transformer 编码器中，自注意力层允许每个位置关注输入序列中的所有其他位置。这种“全对全”的模式实现了双向的上下文流动，每个标记的表示都由整个序列的信息所塑造。

编码器架构

每个编码器层将多头自注意力与逐位置前馈网络相结合。前馈网络对每个位置独立但一致地处理，对所有标记应用相同的变换。

残差连接与层归一化包裹着这两个子层，既稳定梯度又支持更深的架构。堆叠多个编码器层会形成越来越抽象的表示：早期层捕捉表层模式，深层则编码语义关系。

解码器：掩码注意力与因果性

解码器对自注意力做了修改以满足自回归约束。生成文本时，模型只能基于它已经生成的标记进行条件化。训练期间窥视未来标记将构成“作弊”。

解码器架构

掩码自注意力通过将当前位置之后的所有注意力权重设为负无穷（softmax 后变为 0）来实现这一点。

这确保预测仅依赖先前上下文，从而维持生成任务所需的因果顺序。在推理时，这种因果性是自然而然的：我们本就还没有未来的标记可供关注。

交叉注意力：连接编码器与解码器

在解码器的自注意力层之间是交叉注意力，它使解码器能够以编码器的输出为条件进行生成。在这里，Query 来自解码器（表示“我需要生成什么”），而 Key 和 Value 来自编码器（表示“输入提供了什么”）。

Transformer 架构

这种交叉注意力对翻译等序列到序列任务至关重要，解码器必须将输出词与相关的输入词对齐。不像自注意力，交叉注意力在两个不同序列间建立依赖，让信息能够从源端流向目标端。

抛开理论不谈，自注意力在实践中究竟带来了什么？答案比大多数人想象的更广泛。

自注意力在各领域的应用

在了解了自注意力在 Transformer 架构中的工作方式后，我们来看看这一机制在现实世界中产生了哪些影响。

自注意力的独特价值在于其与领域无关的特性。同一套数学框架既能帮助模型理解语言关系，也能捕捉图像、音频，甚至多模态数据的模式。

在我看来，这种“领域无关性”正是自注意力真正令人兴奋之处。我甚至会说，它与其说是 NLP 工具，不如说是一种通用的关系学习机制。

自然语言处理中的应用

Transformer 模型擅长捕捉早期架构所忽略的长程依赖。在 NLP 中，自注意力几乎为各类任务上的突破性模型提供了动力。

机器翻译：无论距离远近，都能对齐源语与目标语片段
情感分析：识别改变语义的上下文线索
问答：将问题与相关段落片段相连接，即使它们相隔许多标记

如下图所示，根据侧重解码器还是编码器，模型的架构也会有所不同。

架构对比：Transformer vs. GPT vs. BERT

诸如 BERT 等模型在仅编码器架构中使用双向自注意力，使其能够为分类与理解任务构建丰富的上下文表示。

GPT 系列（如最近发布的 GPT-5.3 Codex）在仅解码器架构中采用掩码自注意力，在文本生成方面表现卓越。

T5 采用完整的编码器—解码器 Transformer 架构，将所有 NLP 任务视作文本到文本的问题来处理。

计算机视觉中的应用

视觉 Transformer（ViT）将自注意力引入计算机视觉，通过将图像视为图像块序列来处理。ViT 不再通过卷积层处理像素，而是将图像划分为固定大小的图块（通常为 16×16），将每个图块展平为向量，再通过 Transformer 层处理该序列。

视觉 Transformer

这种方法能够捕捉卷积网络局部感受野可能遗漏的全局关系。ViT 及其变体如今在图像分类、目标检测、语义分割等任务上取得了最先进的成果：

医学影像：关联扫描中不同区域的细微异常。
卫星图像分析：将相距遥远的特征（如毁林地点）与其成因相联系。

语音、推荐系统与多模态学习

自注意力在语音处理中同样有效，能比循环模型更好地捕捉音频序列中的时间依赖。而在推荐系统中，自注意力通过关注相关的历史交互来建模用户偏好模式。

或许更令人兴奋的是结合视觉与语言的多模态应用。像 CLIP 这样的模型在图像与文本表示之间使用交叉注意力，实现零样本图像分类以及从文本描述生成图像。

这些系统的共同点在于：它们都展示了自注意力在任何序列或结构化数据（无论模态）之间学习关系的基本能力。

高级自注意力变体与最新进展

尽管自注意力在各领域取得了显著成功，但当在大规模部署 Transformer 模型时，新的挑战也随之而来。随着模型参数达数十亿、处理的上下文窗口可达数十万标记，内存带宽与计算成本成为关键瓶颈。

新模型开发的重点日益转向在不牺牲核心能力的前提下，让自注意力更快、更高效。我认为在能力与效率之间的张力，是当下该领域最有意思的开放问题之一。我们来看看当前的一些进展。

分组查询与多查询注意力

标准的多头注意力为每个头分别维护 Key 与 Value 投影，这在推理时会带来可观的内存开销。多查询注意力（MQA）通过在所有 Query 头之间共享单个 Key-Value（KV）头来降低开销，显著缩小 KV 缓存并加速解码。然而，MQA 可能会带来质量下降。

分组查询注意力（GQA）是一种更平衡的方法：将 Query 头划分为若干组，每组共享一套 Key-Value。比如在有 32 个 Query 头与 8 个分组的设置下，每 4 个 Query 头共享一个 KV 头。Mistral 3 模型家族就采用了这种方法，能在显著提速的同时获得接近全注意力的质量。