* 本文的部分示意图使用了 AI 辅助创作，其余有明确标注的示意图则引用自参考文献。

若无特别说明，本文中的单个向量默认视为列向量。比如，在 RNN、BPTT 与 Bahdanau Attention 部分，$\boldsymbol{x}_t,\boldsymbol{h}_t,\boldsymbol{s}_t,\boldsymbol{a}_t$ 等单个向量都按列向量书写。

而在 attention 与 Transformer 章节的矩阵记号中，为便于在原文中书写整段序列的矩阵乘法，序列矩阵统一按行堆叠：若第 $i$ 个 token 的表示向量为列向量 $\boldsymbol{x}_i$，则矩阵 $\boldsymbol{X}$ 的第 $i$ 行为 $\boldsymbol{x}_i^T$。相应地，$\boldsymbol{Q},\boldsymbol{K},\boldsymbol{V}$ 的第 $i$ 行分别记为 $\boldsymbol{q}_i^T,\boldsymbol{k}_i^T,\boldsymbol{v}_i^T$。

Token 指模型处理数据的最小单位。在 CV（Computer Vision，计算机视觉）中常指图像切分后的 patch，在音频中指离散化的特征片段，而在 NLP（Natural Language Processing，自然语言处理）中则是指文本分词（字、词或子词）。本文后续所指的 token 均可以被理解为 NLP 范畴下的文本单元，token embedding 则是通过嵌入层将 token ID 映射至连续向量空间中的稠密语义表示。

RNN

背景引入

在前文 MLP 与 BP 算法的数学原理 中，我们从数学上推导了普通 FFN（Feed-Forward Network，前馈神经网络）的误差反向传播算法，并最终编码实现了一个能够训练并完成分类任务的 MLP。

MLP（Multi-Layer Perceptron，多层感知机）是最经典、最基础的一种前馈神经网络，它只接受固定维度的张量 $\boldsymbol{x}$，并在经过内部若干层全连接层的非线性变换 $f(\boldsymbol{x})=\varphi(\boldsymbol{Wx}+\boldsymbol{b})$ 后，最终输出固定维度的张量 $\boldsymbol{y}$。对于能够确定输入与输出张量维度的任务，例如图像识别、缺陷检测等，输入输出张量维度固定是能够接受的。但是，对于序列数据，特别是那些具有强时间相关性的序列数据，譬如股票指数的时间序列、自然语言等，MLP 便显得力不从心了，主要体现在：

• 输入维度固定，意味着无法处理可变长序列；
• 固定维度与无记忆性的假设，使得模型更难捕捉到序列元素间的依赖关系。

一个简单的改进就是 RNN（Recurrent Neural Network，循环神经网络）。RNN 是一种基本的序列模型，下面介绍 RNN，并做简要的数学推导。

参考文献：

1. Y. Bengio, P. Simard and P. Frasconi, “Learning long-term dependencies with gradient descent is difficult,” in IEEE Transactions on Neural Networks, vol. 5, no. 2, pp. 157-166, March 1994, doi: 10.1109/72.279181.

基本结构

RNN 的核心公式是如下的递归表达式，

其中 $t$ 是时间步（Timestep）、$\boldsymbol{h}$ 为隐状态（Hidden State），$\boldsymbol{W}_h$ 与 $\boldsymbol{W}_x$ 是两个能够被训练与优化的权重参数张量，$\boldsymbol{b}$ 是能够被训练与优化的偏置（Bias），$\varphi$ 是一个保持向量维度的激活函数（Activation Function）。

如果没有偏置项，$\boldsymbol{W}_h\boldsymbol{h}_{t-1}+\boldsymbol{W}_x\boldsymbol{x}_{t}$ 只能够做到线性变换，而不能做到仿射变换。

我们认为，$\boldsymbol{h}_t$ 包含了 $\{\boldsymbol{x}_i\}^{t}_{i=1}$ 的信息，因为 $(1)$ 式本质上是一个递推公式，在完全展开后可见 $\boldsymbol{h}_t$ 由变量 $\{\boldsymbol{h}_i\}^{t-1}_{i=1}$ 与 $\{\boldsymbol{x}_i\}^{t}_{i=1}$ 唯一决定。RNN 通过显式地对时间步与历史状态进行建模，能够累积长期信息，这是 RNN 善于处理序列问题的一个重要因素。

这里要注意的关键点是 $\boldsymbol{W}_h$、$\boldsymbol{W}_x$ 和 $\boldsymbol{b}$ 同时间步完全无关，即对于任何时间步，权重参数都是全局共享的，这是 RNN 擅长 NLP 之类的长建模序列依赖的另一个重要因素。

从权重规模看，RNN 的权重规模是固定的，不随输入序列长度 $T$ 而变化；而如果强行用 MLP 处理序列，常见的做法是要么让每个时间步输入 $\boldsymbol{x}_t$ 共享同一份权重参数，要么将所有时间步输入 $\{\boldsymbol{x}_i\}^{T}_{i=1}$ 拼接后再将其整体作为 MLP 的输入。然而，前者丢失了时间依赖性信息（所以 RNN 在其基础上设计了隐状态 $\boldsymbol{h}_t$），后者则使得权重规模随序列长度 $T$ 线性增长，显然这都不能称为很好的做法。

若输入维度为 $d_x$、隐状态维度为 $d_h$、序列长度为 $T$，则 RNN 在单个时间步的前向计算复杂度大致为 $O(d_h^2+d_xd_h)$，整段序列的前向计算复杂度则为 $O\big(T(d_h^2+d_xd_h)\big)$。这说明 RNN 的参数规模虽然不随 $T$ 增长，但计算量仍会随序列长度线性增长，并且无法在时间维度上完全并行化。

不严谨地，我们可以把 RNN 视为在时间维度上权重共享且具有隐状态的一种 MLP 改进。换言之，RNN 是在时间维度上对同一个 MLP 进行递归展开的结构。

RNN 的最终输出是可以灵活选取的，不存在统一的「硬规定」。可以只使用最后一个隐状态 $\boldsymbol{h}_T$ 或对其做进一步的变换 $g(\boldsymbol{h}_T)$，常见场景有情感分析、垃圾邮件识别与时间序列预测任务；也可以使用隐状态序列 $\{\boldsymbol{h}_i\}$，常见场景有序列标注（譬如词性标注）、语音识别与早期机器翻译的 Decoder。

但通常而言，RNN 是无法直接做到将可变长序列作为输出的，因此后来提出了基于 RNN 的 Encoder–Decoder，该架构实现使神经网络真正地做到序列至序列的映射。

计算 $\boldsymbol{h}_1$ 时，需要我们特别提供 $\boldsymbol{h}_0$，最常见的做法是取 $\boldsymbol{h}_0$ 为零值。也可以将 $\boldsymbol{h}_0$ 设计为一个可学习的参数，这样可以为 RNN 提供一个默认的初始上下文信息。

BPTT 算法

在前文中我们推导了 MLP 的 BP 算法（Backpropagation Algorithm，反向传播算法）中梯度的形式。RNN 考虑了时间维度，我们称适用这类模型的最优化算法为 BPTT 算法（Backpropagation Through Time Algorithm，沿时间的反向传播算法）。下面我们推导 RNN 的 BPTT 算法中梯度的形式。

这里花了很大的篇幅推导 BPTT 中梯度的形式，这是有必要的，因为知晓了梯度后我们就可以很容易地使用梯度下降法等最优化算法训练模型了。

为方便表示，记

则根据 $(1)$ 式，隐状态 $\boldsymbol{h}_t$ 可被表示为

通常假设 $\mathcal{L}_t$ 仅依赖 $\boldsymbol{h}_t$，在假设成立的前提下总损失为

其中第 $t$ 时间步的损失 $\mathcal{L}_t$ 不直接依赖于 $\boldsymbol{W}_h,\boldsymbol{W}_x,\boldsymbol{b}$，而是由一系列隐状态 $\{\boldsymbol{h}_i\}^t_{i=1}$ 传递的。因此，要计算 $\mathcal{L}$ 对 $\boldsymbol{W}_h,\boldsymbol{W}_x,\boldsymbol{b}$ 的梯度，我们首先需要讨论 $\mathcal{L}$ 对 $\boldsymbol{a}_t$ 与 $\boldsymbol{h}_t$ 的梯度。按列向量约定，我们记

接下来我们先推导出 $\bar{\boldsymbol{h}}_t$ 与 $\boldsymbol{\delta}_t$ 的形式——这是 BPTT 数学推导中最重要的一环。

这里要明确根据式子 $\boldsymbol{h}_t=\varphi(\boldsymbol{a}_t)$ 可知，总损失 $\mathcal{L}$ 对 $\boldsymbol{a}_t$ 的直接依赖路径是唯一的，即通过第 $t$ 时间步的隐状态 $\boldsymbol{h}_t$；而 $\boldsymbol{h}_t$ 又通过两种路径影响 $\mathcal{L}$：

1. 直接影响路径：$\boldsymbol{h}_t$ 直接影响当前时刻的损失 $\mathcal{L}_t$，进而影响总损失 $\mathcal{L}$；

2. 间接影响路径（通过递归关系）：$\boldsymbol{h}_t$ 作为下一时刻的输入，间接影响后续时刻的所有损失 $\mathcal{L}_{t+1},\mathcal{L}_{t+2},\cdots,\mathcal{L}_{T}$，进而影响总损失 $\mathcal{L}$。这类影响路径是 RNN 所特有的，是时间依赖的体现。

   然而，我们不能直接计算出 $\forall i>t,\frac{\partial\mathcal{L}_i}{\partial\boldsymbol{h}_t}$，因为若将所有 $\forall i>t,\mathcal{L}_i$ 直接展开到 $\boldsymbol{h}_t$，我们将得到一个指数爆炸的间接路径数量；故我们应考虑藉由递归式 $\boldsymbol{a}_{t+1}=\boldsymbol{W}_h\boldsymbol{h}_{t}+\boldsymbol{W}_x\boldsymbol{x}_{t+1}+\boldsymbol{b}$，通过中间变量 $\boldsymbol{a}_{t+1}$ 表示 $\boldsymbol{h}_t$ 对总损失 $\mathcal{L}$ 造成的所有间接影响。

因此，我们根据链式法则，先有

进一步，

这里先把梯度回传到 $\boldsymbol{h}_t$，再由 $\boldsymbol{h}_t=\varphi(\boldsymbol{a}_t)$ 回传到 $\boldsymbol{a}_t$，这样各项的行/列维度始终一致。

计算出 $\boldsymbol{\delta}_t$ 后，我们就可以方便地表示出总损失 $\mathcal{L}$ 对 $\boldsymbol{W}_h,\boldsymbol{W}_x,\boldsymbol{b}$ 的梯度了。

我们再分别导出回归任务场景均方误差与分类任务场景交叉熵损失下局部误差项的具体表达式，记真实值为 $\boldsymbol{y}'_t$，并记

对于均方误差损失函数 $\mathcal{L}_{\text{MSE}}=\frac{1}{2}\Vert\boldsymbol{y}_t-\boldsymbol{y}'_t\Vert^2$，若第 $t$ 时间步的输出由隐状态 $\boldsymbol{h}_t$ 经线性层得到，即

则

对于交叉熵损失函数 $\mathcal{L}_{\text{CE}}=-\sum\limits^K_{i=1}y'_{t,i}\log y_{t,i}$，考虑真实标签为 one-hot 编码，若第 $t$ 时间步的输出由隐状态 $\boldsymbol{h}_t$ 经线性层得到 logits $\boldsymbol{l}_t$ 并将 logits 作为 Softmax 函数输入最终输出概率分布 $\boldsymbol{y}_t$，即

由 Softmax 与交叉熵复合函数的导数性质，不难知道

因此有

于是结合 $(6)$ 式，完整的 $\boldsymbol{\delta}_t$ 仍满足

可以看到，在上述前提下，BPTT 针对回归任务与分类任务的梯度计算在形式上是十分相似的，仅在误差项的来源上有所差异。

交叉熵损失（Cross-Entropy Loss）是多分类任务中最常见的损失函数，用于衡量模型预测概率分布与真实标签分布之间的差异。从信息论的角度看，交叉熵 $H(P,Q)=-\sum\limits_{x}P(x)\log Q(x)$ 意味着当真实分布为 $P$ 时基于预测分布 $Q$ 编码所需的平均信息量。对于 one-hot 标签分类任务，由于真实分布 $P$ 退化为 one-hot 分布，交叉熵损失最终会退化为 $-\log Q(y_{\text{true}})$，即最大化真实类别的预测概率。

KL 散度（Kullback-Leibler Divergence）$D_{\text{KL}}(P||Q)=H(P,Q)-H(P)$ 表示使用预测分布 $Q$ 所需要付出的额外成本， 其中 $H(P)$ 为真实分布 $P$ 的香农熵 $-\sum\limits_{x}P(x)\log P(x)$，代表最优编码信息量。因此，在监督学习下最小化交叉熵等价于最小化 KL 散度，即最小化额外编码成本。

局限

RNN 的循环结构使得模型具备了跨时间维度共享状态的能力。我们可以列举出 RNN 的若干优点：

• 能够轻松地处理可变长序列输入；
• 参数量与序列长度无关；
• 具备一定程度的「记忆」能力，因为任何时刻的隐状态在理论上都蕴含了过去时间步的历史信息；
• ……

虽然 RNN 的参数量不随序列长度改变，但从其原理不难看到前向计算量与训练开销仍会随序列长度线性增长。

RNN 的设计的确十分优雅，然而从上述推导中，我们能够发现 RNN 依然存在着若干缺陷：

• 没有解决长期依赖（Long-term Dependency）的问题，因为 RNN 内部存在梯度爆炸 / 梯度消失的现象，这使得早期信息难以长期保留；
• 无法直接访问全部的历史信息：当前时间步 $t$ 只利用了上一时间步输出的隐状态 $\boldsymbol{h}_{t-1}$，尽管 $\boldsymbol{h}_{t-1}$ 理论上蕴含了过去的历史信息，但终归是将所有历史信息全部压缩编码到 $\boldsymbol{h}_{t-1}$ 这一个量中了，而无法直接利用过去完整的历史信息 $\{\boldsymbol{h}_i\}^{t-1}_{i=1}$。注意力（Attention）机制解决了这个问题，使得模型在任意时间步都能够完整访问并利用过去某一时间步的信息；
• 串行计算：在计算隐状态时，RNN 只能按时间步顺序串行化计算，因为 $\forall t,\boldsymbol{h}_{t}$ 依赖于 $\boldsymbol{h}_{t-1}$。Transformer 彻底解决了这个问题，实现了隐状态的并行计算（但推理时输出 token 仍按时间步顺序进行）。

这里从数学上简要说明 RNN 为什么存在梯度爆炸 / 梯度消失的风险。我们讨论早期隐状态 $\boldsymbol{h}_k$ 对总损失 $\mathcal{L}$ 的影响程度，这在数值上等价于关注 $\frac{\partial\mathcal{L}}{\partial\boldsymbol{h}_k}$。在列向量约定下，根据链式法则有

其中当 $t=k$ 时，上式中的空乘积按单位矩阵理解。因此，$\frac{\partial\mathcal{L}}{\partial\boldsymbol{h}_k}$ 可以被分解为若干矩阵连乘的和，并且跨越的时间步愈长，连乘的矩阵愈多。

Hochreiter 与 Schmidhuber 在 1997 年指出，保持时间依赖性的必要条件是长期保持梯度。然而，

由于激活函数的导数往往是有界的（导数无界的激活函数易导致更严重的梯度爆炸 / 梯度消失，极少考虑），因此可认为 $\big\Vert\mathrm{diag}\big(\varphi'(\boldsymbol{a}_i)\big)\big\Vert\leqslant\gamma<\infty$。实际上，对于常见的激活函数（Sigmoid、Tanh、ReLU 等），通常有 $\gamma\leqslant 1$。在 $\gamma\leqslant 1$ 的假设下，有

不严谨地说，若 $\gamma\Vert\boldsymbol{W}_h\Vert<1$，则 $\lim\limits_{t-k\to\infty}\big(\gamma\Vert\boldsymbol{W}_h\Vert\big)^{t-k}\to0$，梯度 $\frac{\partial\mathcal{L}}{\partial\boldsymbol{h}_k}$ 便呈指数级衰减，这使得早期隐状态 $\boldsymbol{h}_k$ 对总损失的影响变得微乎其微。如需更严谨的证明，请参考 Bengio、Simard 与 Frasconi 在 1994 年的研究。

Hochreiter 与 Schmidhuber 提出 LSTM 的动机，正是为了解决 RNN 的结构性问题所带来的梯度爆炸 / 梯度消失。LSTM 的核心创新点是通过添加精妙的输入门、遗忘门与输出门机制，使得隐状态链路径上的梯度不再是多个矩阵连乘，而只需要连乘多个遗忘门的值——而遗忘门是可学习的，这使得梯度消失的问题得到了很大的缓解。

下面我们跳过 LSTM、GRU 等若干 RNN 的改良，让我们直接关注划时代的注意力机制。

虽然不做展开，但我想指出：即使 LSTM 大大缓解了梯度消失的问题，我依然认为 LSTM 存在着严重的过度设计。尽管 LSTM 通过复杂的机制减轻了 RNN 梯度消失的程度，但这也使得模型难以被进一步改造。

相比之下，我更喜欢 GRU 的设计，简洁而有效。

Mamba 模型则以另一种不同于 attention 机制的「通过状态空间模型与并行扫描」思路解决了——或者更准确讲绕开了 RNN 梯度消失的问题。Mamba 相比 Transformer，有下述两个重要特点：

• Mamba 的时间与空间复杂度随序列长度线性增长，而经典 self-attention 的计算复杂度则与序列长度呈平方关系；
• Mamba 通过有限维状态对历史信息进行压缩建模，因此其历史记忆不具备类似 attention 机制的显式 token 级随机访问能力；而 Transformer 可以通过 attention 与 KV Cache 动态检索历史 token 的 Key / Value 表示。

Mamba 与 attention 相融合可能是未来大模型的一个发展趋势，特别是在超长序列问题的领域，Mamba 以较低的计算成本表现出了强大的性能。由于本文的主线是 attention 与 Transformer，因此这里不对 Mamba 展开讨论。

参考文献：

1. S. Hochreiter and J. Schmidhuber, “Long Short-Term Memory,” in Neural Computation, vol. 9, no. 8, pp. 1735-1780, 15 Nov. 1997, doi: 10.1162/neco.1997.9.8.1735.

Attention

经典 Encoder–Decoder 的瓶颈

Transformer 最早是被应用在机器翻译领域的，我们可以列出在机器翻译领域神经网络模型发展史的一些关键时间点：

• 1982 ~ 1990：早期 RNN
• 1997：首次提出 LSTM
• 2014：基于 RNN 的 Seq2Seq 模型（经典 Encoder-Decoder）与注意力机制分别被首次提出，随后注意力机制被应用在了 Seq2Seq 上
• 2017：Google Brain 团队在《Attention Is All You Need》中首次提出 Transformer，彻底抛弃 RNN

GPT 的全称是 Generative Pre-trained Transformer，可见 GPT 就是典型的基于 Transformer 的 LLM。而 AI 热潮的起点，我们能很明显地感受到是在 2022 年 11 月前后 GPT-3.5 的突然爆红。其实，在 2017 年首次提出 Transformer 后，次年 GPT-1 就发布了。

这里我们简要介绍基于 RNN 的经典 Encoder–Decoder 架构。Transformer 可认为是在经典 Encoder–Decoder 上彻底抛弃 RNN、全面拥抱 attention 的改进款，因此尽管经典 Encoder–Decoder 放在今天看早已过时，但了解经典 Encoder–Decoder 对我们稍后研究 Transformer 依然是大有裨益的。

Seq2Seq（Sequence to Sequence）是最具代表性的经典 Encoder–Decoder 模型，其出现标志着我们首次拥有了能够将序列映射至序列的神经网络模型。我们以 Seq2Seq 为例，借以阐述 Encoder–Decoder 的主体结构。

通过上文我们可以知道，RNN 擅长将可变长序列作为输入，却不能容易地直接输出可变长序列。在时间序列预测或情感分析的场景下这是没有问题的，但在机器翻译领域却不可接受——毕竟，我们也不希望输入一长串句子，最终只得到固定数量 token 的翻译。为了解决这个问题，2014 年 Seq2Seq 应运而生。在这以前，在机器翻译领域占统治性地位的是 SMT 技术（Statistical Machine Translation，统计机器翻译）。

Seq2Seq 最核心的组成部分是 Encoder 与 Decoder，以一种简单的 Seq2Seq 实现为例，在推理（Inference）阶段：

• Encoder 是一个普通的 RNN，负责将序列映射到一个语义向量（Context Vector）中，记为 $\boldsymbol{c}$。在 encoder 中有隐状态 $\boldsymbol{h}_{t}=\mathrm{RNN}(\boldsymbol{h}_{t-1},\boldsymbol{x}_{t})$，其中 $\boldsymbol{x}_{t}$ 是输入 token 经 embedding 后得到的向量。语义向量 $\boldsymbol{c}$ 取自 RNN 的最后一个隐状态 $\boldsymbol{h}_T$，而 RNN 的结构则决定了 $\boldsymbol{c}$ 是一个固定维度的向量。我们认为，该向量压缩编码了原输入的语义信息。
• Decoder 则是一个自回归（Autoregressive）的 RNN，在输出时通过额外的线性层与 Softmax 函数归一化得到预测 token 的概率分布。为与 encoder 的记号相区分，记 decoder 在第 $t$ 时间步的隐状态为 $\boldsymbol{s}_{t}$。Decoder 的工作流程：
  • 将语义向量 $\boldsymbol{c}$ 作为初始隐状态 $\boldsymbol{s}_0$，将特殊的起始标志 token $\langle SOS\rangle$ 作为首个 token，此为初始化状态；
  • 在 RNN 的第 $t$ 时间步，将 $t-1$ 输出的 token 进行 embedding 得到向量 $\boldsymbol{e}_{t-1}$，然后令 $\boldsymbol{e}_{t-1}$ 作为第 $t$ 时间步的输入，结合第 $t-1$ 时间步 decoder 的隐状态 $\boldsymbol{s}_{t-1}$，得到输出 $\boldsymbol{s}_{t}=\mathrm{RNN}(\boldsymbol{s}_{t-1},\boldsymbol{e}_{t-1})$；
  • 计算输出概率 $\mathrm{Softmax}(\boldsymbol{Ws}_{t}+\boldsymbol{b})$，采样（比如 Top-K、argmax）得到输出 token；
  • 重复上述过程，直到输出终止标志 token $\langle EOS\rangle$。

Seq2Seq 还有其他几种常见实现，改动点集中在 decoder 上，主要差异在于 RNN 的内部工作方式。例如，有的实现中会让语义向量 $\boldsymbol{c}$ 替代 $\boldsymbol{e}_{t-1}$ 作为 decoder 的 RNN 每个时间步的输入向量。

在训练阶段会考虑 Teacher Forcing 技巧，让 Decoder 的神经元在训练阶段不再全盘使用上一步的输出，而是有比例地选取正确的序列作为输入。这是因为早期节点的偏差会不断在 RNN 内不断传递，Teacher Forcing 能够缓解这个问题。

总而言之，Seq2Seq 首次使神经网络真正具备了 $\text{seq}\to\text{seq}$ 能力，是模型的工程与系统设计上的一个重要创新。

然而，Seq2Seq 也有着不少缺点，其中最显著的问题是无论输入序列有多长，信息都会被压缩至一个固定维度的语义向量中，这就像试图用一页纸概况整本书的内容，导致早期 Seq2Seq 的长句翻译质量相较于短句翻译明显下滑，表现出明显的长期依赖问题。跨注意力（Cross-Attention）的诞生就是为了解决这一难题，使 Seq2Seq 不再依赖固定维度的单一语义向量，允许 Decoder 能够使用所有过去的隐状态信息。

除此之外，Seq2Seq 还有一些其他局限，包括：

• 以 RNN 作为基础组件，计算串行，效率低下；
• 仍未解决长期依赖问题；
• Teacher Forcing 导致训练与推断不一致，存在暴露偏差（Exposure Bias）；
• ……

为解决 encoder 需要将所有输入信息压缩为一个固定长度的语义向量所造成的信息瓶颈问题，在 cross-attention 被提出后，有研究者将 cross-attention 与 Seq2Seq 相结合，这使得 decoder 在生成每一个目标词时都能够直接访问并利用编码器生成的全部隐状态信息，从而显著提升了对长序列的建模能力与文本翻译的质量。

我们将在下文介绍 Seq2Seq 是如何与 attention 相结合的。直到这一步，我们仍未彻底抛弃 RNN。

参考文献：

1. Sutskever, Ilya, Oriol Vinyals and Quoc V. Le. “Sequence to Sequence Learning with Neural Networks.” ArXiv abs/1409.3215 (2014): n. pag.

Seq2Seq + Bahdanau Attention

在早期的 Seq2Seq 模型中，如上文所述，decoder 只使用一个由 encoder 在最后时间步输出的语义向量 $\boldsymbol{c}$，这导致了严重的长期依赖问题。因此，我们现在考虑让 decoder 在每个时间步 $t$ 都根据 encoder 的全部隐状态计算一个语义向量 $\boldsymbol{c}_t$，其公式为

注意求和上标是 $T$ 而非 $t$，因此 encoder 需要先完成全部时间步的计算，decoder 才能在各时间步据此得到对应的 $\boldsymbol{c}_t$。

其中 $\alpha_{t,i}$ 是第 $i$ 时间步 encoder 及第 $t$ 时间步 decoder 的注意力权重（Attention Weight）、$\boldsymbol{h}_i$ 为第 $i$ 时间步 encoder 的隐状态，满足

这样，通过 $\boldsymbol{c}_t$ 模型就能利用上全部历史信息，而且能够按每个时间步的历史信息对当前时间步的重要程度进行加权，体现了「有选择性」地「关注」更重要的历史信息 / encoder。

我们说这体现了模型能够「有选择性」地「关注」更重要的历史信息 / encoder，是因为本质上 $\boldsymbol{c}_t$ 是 encoder 的历史隐状态的加权和。

最早应用在 Seq2Seq 上的 attention 是 Bahdanau Attention，由 Bahdanau、Cho 与 Bengio 在 2014 年提出。这里仅对 Bahdanau Attention 作简要介绍，在后文再着重分析 attention 的统一形式。

现在有两个问题，一是模型如何计算注意力权重，二是模型如何使用 $\boldsymbol{c}_t$。接下来我们以 Bahdanau Attention 为例分别讨论这两个问题。

首先讨论如何计算注意力权重。记 $e_{t,i}$ 为匹配分数（Score），计算公式为

其中 $\boldsymbol{s}_{t-1}$ 为第 $t-1$ 时间步 decoder 的隐状态，$\boldsymbol{h}_i$ 为第 $i$ 时间步 encoder 的隐状态，$\boldsymbol{\omega},\boldsymbol{W}_s,\boldsymbol{W}_h,\boldsymbol{b}_a$ 均为全局共享的可学习参数。我们认为 $e_{t,i}$ 衡量了当前位置的输入信息（时间步 $i$ / encoder 的隐状态 $\boldsymbol{h}_{i}$）与当前已解码状态（时间步 $t-1$ / decoder 的隐状态 $\boldsymbol{s}_{t-1}$）之间的相关程度。

记 $\boldsymbol{z}=\tanh(\boldsymbol{W}_s\boldsymbol{s}_{t-1}+\boldsymbol{W}_h\boldsymbol{h}_i+\boldsymbol{b}_a)$，则 $\tanh(\boldsymbol{W}_s\boldsymbol{s}_{t-1}+\boldsymbol{W}_h\boldsymbol{h}_i+\boldsymbol{b}_a)$ 可视为以 tanh 作为激活函数的线性层，$\boldsymbol{\omega}^T\boldsymbol{z}$ 则可视为另一个线性层。$\boldsymbol{\omega}$ 的意义是使匹配分数结果为一个标量，方便后续的计算与使用，从线性空间的角度看匹配分数 $e_{t,i}$ 是信息向量 $\boldsymbol{z}$ 在方向 $\boldsymbol{\omega}$ 上的投影，通过学习参数 $\boldsymbol{\omega}$，模型能够学习到「怎样的隐状态结果代表着高匹配度，应重点关注」。

最后，对各匹配分数进行 Softmax 归一化

即可得到注意力权重。

可见，匹配分数 $e_{t,i}$ 在计算过程中会同时使用到 encoder 与 decoder 的隐状态。换言之，尽管 $\boldsymbol{c}_t$ 是 encoder 的隐状态的线性组合加权，但其加权权重却同时使用了 decoder 的信息。这很好理解，当我们在翻译一个句子时，不仅要考虑输入的源文本，也要考虑已经翻译出的部分结果。

接着讨论如何使用 $\boldsymbol{c}_t$。为与输出 token 的记号相区别，这里改用 $\boldsymbol{e}_t$ 表示第 $t$ 时间步生成 token 经 embedding 后的向量。在经典 Seq2Seq 中，一种简单而常见的做法是在 decoder 隐藏层考虑

而在 Bahdanau Attention 的改进中，在隐藏层考虑

在输出层考虑

其中 $[\boldsymbol{a};\boldsymbol{b}]$ 表示将两个向量按特征维拼接（concat），例如 $\boldsymbol{a}\in\mathbb{R}^p,\boldsymbol{b}\in\mathbb{R}^q$，则 $[\boldsymbol{a};\boldsymbol{b}]\in\mathbb{R}^{p+q}$。

参考文献：

1. Bahdanau, Dzmitry, Kyunghyun Cho and Yoshua Bengio. “Neural Machine Translation by Jointly Learning to Align and Translate.” CoRR abs/1409.0473 (2014): n. pag.

Attention 的前向传播结构

现在我们来把 Bahdanau Attention 的狭隘视角推广到更一般、更抽象的 attention 视角。

在更一般的 attention 视角下不存在 RNN 中时间步的概念，取而代之的是 token 序列的位置索引。

RNN 的时间步可以被视为某种 token 的位置索引，只不过计算时必须按 token 顺序（时序）递归进行；就 attention 本身而言，是完全可以同时并行计算任意位置 token 间的相关性的，因为他关注的只是 token 间的关系。因此，Bahdanau Attention 也可以被纳入到该体系下。

因此这里事先约定记号的写法：对于第 $i$ 个 token，我们分别用列向量 $\boldsymbol{q}_i,\boldsymbol{k}_i,\boldsymbol{v}_i$ 表示其 query、key、value。当我们把整段序列写成矩阵时，则将这些列向量的转置按行排列；例如，若把全部 value 向量收集成矩阵 $\boldsymbol{V}$，则 $\boldsymbol{V}$ 的第 $i$ 行为 $\boldsymbol{v}_i^T$。

• 在 Bahdanau Attention 中，公式 $\boldsymbol{c}_t=\sum\limits^{T}_{i=1}\alpha_{t,i}\boldsymbol{h}_i$ 的本质是对历史信息作加权和。Bahdanau Attention 所选取的被加权向量是 RNN 的隐状态，在更一般 attention 形式中，被加权的向量称为 value，将多个 $\boldsymbol{v}_i^T$ 按行排布为矩阵即为所谓的 value 矩阵，记为 $\boldsymbol{V}$。

• 在 Bahdanau Attention 中，被归一化的权重系数是 $e_{t,i}=\boldsymbol{\omega}^T\tanh(\boldsymbol{W}_s\boldsymbol{s}_{t-1}+\boldsymbol{W}_h\boldsymbol{h}_i+\boldsymbol{b}_a)$，该系数衡量了当前位置的输入信息（$\boldsymbol{h}_i$，encoder 的隐状态）与当前解码状态（$\boldsymbol{s}_{t-1}$，decoder 的隐状态）间的相关程度。在更一般的 attention 形式中，「当前解码状态 $i$」意味着查询者，即 query；「当前位置的输入信息 $j$」意味着被查询的内容，即 key。类似地，query 矩阵记为 $\boldsymbol{Q}$，key 矩阵记为 $\boldsymbol{K}$，它们的第 $i,j$ 行分别为对应 token 的 query 与 key 向量的转置，即 $\boldsymbol{q}_i^T,\boldsymbol{k}_j^T$。

  回到 Bahdanau Attention 的框架中也不难理解，在 Bahdanau Attention 的设计中，我们希望模型能够根据「当前解码状态，$\boldsymbol{s}_{t-1}$，query」查询「当前位置的输入信息，$\boldsymbol{h}_i$，key」得到权重系数，然后根据权重系数对「（历史编码）信息，$\boldsymbol{h}_j$，value」进行加权求和，从而给予一些对当前解码十分重要的信息更多关注，并在一定程度上看轻对当前解码不重要的信息。

• 我们希望通过 $\boldsymbol{q}_i,\boldsymbol{k}_j$ 计算以得到一个具体的数值，该数值应能够从数值上体现出第 $i$ 个 token 作为 query 与第 $j$ 个 token 作为 key 时的相关程度，就像 Bahdanau Attention 计算匹配分数那样。我们把该矩阵称为 score 或 attention score，记作 $\boldsymbol{S}$，有

  $$\boldsymbol{S}_{ij}=\mathrm{score}(\boldsymbol{q}_i,\boldsymbol{k}_j) \tag{29}$$

  $\boldsymbol{S}_{ij}$ 表示第 $i$ 个 token 对第 $j$ 个 token 的 attention score，该得分越高，表示第 $i$ 个 token 在编码自己时更应关注第 $j$ 个 token。不难看出，在 Bahdanau Attention 中，$\boldsymbol{S}_{ij}=\boldsymbol{\omega}^T\tanh(\boldsymbol{W}_s\boldsymbol{s}_{i-1}+\boldsymbol{W}_h\boldsymbol{h}_j+\boldsymbol{b}_a)$。

  下面是一些经典的 score 设计：

  • Additive Attention (Bahdanau Attention)：$\boldsymbol{S}_{ij}=\boldsymbol{\omega}^T\tanh(\boldsymbol{W}_q\boldsymbol{q}_{i}+\boldsymbol{W}_k\boldsymbol{k}_j+\boldsymbol{b})$
  • Dot-Product Attention (Luong Attention，内积相似度)：$\boldsymbol{S}_{ij}=\boldsymbol{q}_i^T\boldsymbol{k}_j$
  • Bilinear Attention：$\boldsymbol{S}_{ij}=\boldsymbol{q}_i^T\boldsymbol{W}\boldsymbol{k}_j$，其中 $\boldsymbol{W}$ 是可学习的参数
  • Scaled Dot-Product Attention：$\boldsymbol{S}_{ij}=\frac{\boldsymbol{q}_i^T\boldsymbol{k}_j}{\sqrt{d_k}}$（$d_k$ 为 key 的维度）

可以简化地认为 attention 的本质是根据 query 与 key 间的匹配关系为一组 value 向量计算权重系数，随后使用这些权重系数为 value 向量进行加权求和，从而得到一个能够突出（对当前 query 位置而言重要的）相关信息的新表示向量。

而至于如何利用 attention、如何利用新表示向量，这就是上层的模型需要考虑的事了。

现在，我们可以给出 attention 的标准抽象形式了：

也可以显式地写为加权和的形式，这样更符合上文的推导流程，也更能体现「注意力的本质是对 value 加权求和」：

注：$\mathrm{Softmax}_{\text{over key}}$ 表示对每一个固定的 query 在所有 key 上进行归一化。更具体地，若令 $a_{ij}=\frac{\exp(\boldsymbol{S}_{ij})}{\sum\limits^m_{l=1}\exp(\boldsymbol{S}_{il})}$，则 $(a_{ij})=\mathrm{Softmax}_{\text{over key}}(\boldsymbol{S})\in\mathbb{R}^{n\times m}$，其中 $n,m$ 分别表示输入序列长度与 key 序列长度。

特别地，在划时代论文《Attention Is All You Need》中，所选取的 score 是 Scaled Dot-Product Attention，因此在这篇文献中，attention 的形式可以被更具体地写作一个在众多文章中频繁出现的式子：

若忽略线性投影 $\boldsymbol{Q}=\boldsymbol{X}_Q\boldsymbol{W}_Q,\boldsymbol{K}=\boldsymbol{X}_K\boldsymbol{W}_K,\boldsymbol{V}=\boldsymbol{X}_V\boldsymbol{W}_V$ 的开销，则计算 score 矩阵 $\boldsymbol{Q}\boldsymbol{K}^T$ 的时间复杂度为 $O(nmd_k)$，再与 $\boldsymbol{V}$ 相乘的时间复杂度为 $O(nmd_v)$，而 score 矩阵与 attention weight 矩阵本身均需要 $O(nm)$ 的空间复杂度。特别地，在 Self-Attention 的场景下有 $n=m$，若再将 $d_k,d_v$ 视为与模型维度 $d$ 同阶的量，则其时间复杂度可写为 $O(n^2d)$，空间复杂度可写为 $O(n^2)$。这也是 attention 在长序列场景下面临的核心计算瓶颈。

在抽象的 attention 中，$\boldsymbol{Q},\boldsymbol{K},\boldsymbol{V}$ 按下式计算

其中，

• $\boldsymbol{Q}\in\mathbb{R}^{n\times d_k}$：Query 矩阵，第 $i$ 行为位置索引为 $i$ 的 token 对应 query 向量的转置 $\boldsymbol{q}_i^T$
• $\boldsymbol{K}\in\mathbb{R}^{m\times d_k}$：Key 矩阵，第 $j$ 行为位置索引为 $j$ 的 token 对应 key 向量的转置 $\boldsymbol{k}_j^T$
• $\boldsymbol{V}\in\mathbb{R}^{m\times d_v}$：Value 矩阵，第 $k$ 行为位置索引为 $k$ 的 token 对应 value 向量的转置 $\boldsymbol{v}_k^T$
• $\boldsymbol{X}_{Q},\boldsymbol{X}_{K},\boldsymbol{X}_{V}$ 分别为 query 序列、key 序列、value 序列，在不同的 attention 设计中三者有不同的形式，例如在 Self-Attention 中三者均为同一个输入序列 $\boldsymbol{X}\in\mathbb{R}^{n\times d}$，且 $\boldsymbol{X}$ 的第 $i$ 行为 $\boldsymbol{x}_i^T$
• $\boldsymbol{W}_{Q}\in\mathbb{R}^{d\times d_k},\boldsymbol{W}_{K}\in\mathbb{R}^{d\times d_k},\boldsymbol{W}_{V}\in\mathbb{R}^{d\times d_v}$ 分别为 query 投影矩阵、key 投影矩阵、value 投影矩阵，通常都是可学习的参数矩阵
• $d_k$ 为 key 向量的维度，$n$ 为输入序列的长度，$m$ 为 key 序列与 value 序列的长度

可以看出，attention 本质是「表示的线性加权得到的新表示」，负责跨 token 间的信息交互与表示聚合，故 Transformer 在 attention 子层后通常会紧随添加 FFN 子层，其目的是「对新表示逐 token 进行非线性变换」以增强表达能力。通常而言 FFN 子层的计算量占大头。

上文所列举的 score 都是较为经典的设计，后来涌现出了不少它们的改进版本以及更多全新设计的 score。

值得一提的是，上文提到《Attention Is All You Need》选择了 Scaled Dot-Product Attention 而非 Dot-Product Attention，这一点在原文中给出了具体的解释：假设 $\forall i,j$，$\boldsymbol{q}_i,\boldsymbol{k}_j$ 的各分量均相互独立且 $\mathbb{E}(\boldsymbol{q}_i)=\mathbb{E}(\boldsymbol{k}_j)=\boldsymbol{0},\mathrm{Var}(\boldsymbol{q}_i)=\mathrm{Var}(\boldsymbol{k}_j)=\boldsymbol{1}$，则

这意味着 Dot-Product Attention 的方差为 $d_k$，当 $d_k$ 较大时 $\boldsymbol{q}_i^T\boldsymbol{k}_j$ 在数值上将表现得极不稳定，可能会在一个相当大的范围内散布，容易落入 Softmax 饱和区，造成梯度过小，这为优化算法带来了困难。

因此，《Attention Is All You Need》考虑标准化后的 Scaled Dot-Product Attention，即 $\frac{\boldsymbol{q}_i^T\boldsymbol{k}_j}{\sqrt{d_k}}$，这样就构造出了一个均值为 0、方差为 1 的无量纲量，不随环境改变而变化。

 1import numpy as np
 2import numpy.typing as npt
 3
 4
 5def attention(
 6    Q: npt.NDArray[np.float64],
 7    K: npt.NDArray[np.float64],
 8    V: npt.NDArray[np.float64],
 9    mask: npt.NDArray[np.float64] | None = None,
10) -> npt.NDArray[np.float64]:
11
12    d_k = Q.shape[-1]
13    scores = (Q @ K.T) / np.sqrt(d_k)
14    if mask is not None:
15        scores = scores + mask
16    weights = np.exp(scores - scores.max(axis=-1, keepdims=True))
17    weights = weights / weights.sum(axis=-1, keepdims=True)
18    return weights @ V

参考文献：

1. Vaswani, Ashish, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser and Illia Polosukhin. “Attention is All you Need.” Neural Information Processing Systems (2017).

Attention 的反向传播算法

这里推导单头无 mask 的 Scaled Dot-Product Attention 的梯度，以便从反向传播的角度进一步理解 attention。记损失函数为 $\mathcal{L}$，有

记上游梯度

首先，由矩阵乘法 $\boldsymbol{O}=\boldsymbol{A}\boldsymbol{V}$ 可知

接下来对按行进行的 Softmax 求导。为避免矩阵的「第 $i$ 行」与列向量 Jacobian 记号混用，对于任意固定的 query 位置 $i$，记第 $i$ 行 score 与 attention weight 分别为 $\boldsymbol{s}_i^T,\boldsymbol{a}_i^T\in\mathbb{R}^{1\times m}$，其中 $\boldsymbol{s}_i,\boldsymbol{a}_i\in\mathbb{R}^{m\times1}$ 是对应的列向量，满足

由 Softmax 的 Jacobian 形式

可知

其中 $\boldsymbol{1}_m\in\mathbb{R}^{m\times1}$ 为全 1 向量。若记 $\boldsymbol{r}\in\mathbb{R}^{n\times1}$，其第 $i$ 个分量为

则把各行结果转回矩阵形式，可将其合并写为

再由

可得

最后，由

便得到参数梯度

若还需继续向输入序列反向传播，则有

若处于 Self-Attention 的场景下，只需进一步令 $\boldsymbol{X}_Q=\boldsymbol{X}_K=\boldsymbol{X}_V=\boldsymbol{X}$ 即可。

由此也能看出一个有趣的事实，在 Scaled Dot-Product Attention 的例子下有

• $\boldsymbol{Q}$ 的梯度依赖所有 $\boldsymbol{K}$ 的信息；
• $\boldsymbol{K}$ 的梯度依赖所有 $\boldsymbol{Q}$ 的信息；
• $\boldsymbol{V}$ 的梯度的任何分量均通过权重 $\boldsymbol{A}$ 间接依赖全局 query。

这意味着

• 每个 query 与所有 key 交互；
• 每个 key 与所有 query 交互；
• 每个 value 的更新受所有 query 影响。

基于上述推导我们可以得出一个重要结论：Attention 中任意两个 token 间都至少存在一条 $O(1)$ 常数长度的梯度路径（相比之下，RNN 为 $O(n)$）。也就是说，Scaled Dot-Product Attention 在反向传播时建立了 token 间的全连接梯度路径，使得 token 能够显式随机访问以动态召回其他 token，这是基于 attention 的 Transformer 能在相当程度上解决长期依赖问题的一个重要原因。

基础 Attention 结构范式

上文给出了 attention 的一般数学形式，根据 $\boldsymbol{Q},\boldsymbol{K},\boldsymbol{V}$ 在来源关系上的不同，可以区分出若干 attention 的基本结构范式。

Cross-Attention

如果 query 序列 $\boldsymbol{X}_{Q}$ 与 key 序列 $\boldsymbol{X}_{K}$ 不一致，则称为 Cross-Attention。

无论是哪种结构范式，大多数情况下，key 序列 $\boldsymbol{X}_K$ 与 value 序列 $\boldsymbol{X}_V$ 都是一致的。从语义上讲，key 序列代表「为 query 提供什么信息」，而 value 序列代表「本身表示什么内容」，二者通常是同一语义，因此便不难理解为何二者通常均对应同一序列了。

在 Seq2Seq 上被应用的 Bahdanau Attention 就是一种典型的 Cross-Attention，回到 Bahdanau Attention 的关键公式

可见，对 Bahdanau Attention 而言 key 与 value 均为 encoder 隐状态 $\boldsymbol{h}$，query 为 decoder 隐状态 $\boldsymbol{s}$，而 encoder 与 decoder 的输入序列并不一致，因此 Bahdanau Attention 是一种 Cross-Attention。

由 Facebook AI 团队在 2020 年发布的 RAG（Retrieval-Augmented Generation）技术中所使用的 attention 也是一种典型的 Cross-Attention。这里不深入分析 RAG 的实现原理，只从直觉上就很容易推断：我们希望利用文本 A 作为依据在知识库中召回（retrieve）相关文本 B，当然是让 A（输入 decoder 后得到的隐状态输出）作为 query，让 B（的文档表示）作为 key 与 value，这是因为 A 是查询者，提供要查询的信息；B 是被查询者，提供被查询的内容。

后来的一些 RAG 改进实现已经不属于 Cross-Attention 体系了。

参考文献：

1. Lewis, Patrick, Ethan Perez, Aleksandara Piktus, Fabio Petroni, Vladimir Karpukhin, Naman Goyal, Heinrich Kuttler, Mike Lewis, Wen-tau Yih, Tim Rocktäschel, Sebastian Riedel and Douwe Kiela. “Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks.” ArXiv abs/2005.11401 (2020): n. pag.

Self-Attention

如果 query 序列 $\boldsymbol{X}_{Q}$ 与 key 序列 $\boldsymbol{X}_{K}$ 一致，则称为 Self-Attention。Transformer 所使用的 attention 就是典型的 Self-Attention。在大多数情况下，Self-Attention 中 $\boldsymbol{Q},\boldsymbol{K},\boldsymbol{V}$ 的来源序列均为同一个输入序列 $\boldsymbol{X}$。

Self-Attention 的一个重要特点是序列中的每一个位置都可以直接访问序列中的所有其他位置（在不考虑可见性约束的情况下），而不必像 RNN-based 的结构那样必须通过隐状态在时间维度上逐步而间接地传递信息。换言之，序列中的每个 token 既是查询者，同时也是被查询者，并且任意两个 token 间的信息交互都可以在单层 attention 内直接完成。这是高效的实践，也是 Transformer 能并行建模长程依赖的重要原因。

若不额外施加约束，则第 $i$ 个位置在计算时能够访问整个序列的全部位置，这种结构常见于 encoder 或双向语言模型。但对于自回归生成任务，我们必须设法阻止当前位置访问未来位置，否则将造成标签泄漏。最常见的做法是引入因果掩码（Causal Mask）$\boldsymbol{M}_{\text{causal}}$，其中

以 Scaled Dot-Product Score 为例，有

由于 $\exp(-\infty)=0$，未来位置经 Softmax 后的权重恒为 0，于是第 $i$ 个 token 便仅能关注到自身及其之前的位置。以 GPT 为代表的 decoder-only LLM 在训练和推理阶段所使用的正是这种 Masked Self-Attention。

除此之外还有许多掩码的实现。更一般地，若对第 $i$ 个位置规定一个可见位置集合 $\Omega_i\subseteq\{1,2,\cdots,n\}$，则可定义

以 Scaled Dot-Product Score 为例，有

例如 Local Window Attention，通过令 $\Omega_i=[i-w,i+w]$，使得模型针对第 $i$ 个位置仅关注位置区间 $[i-w,i+w]$ 内的 token。在长文本、时序序列与视觉 Transformer 场景下，这种做法能够降低计算量、控制感受野，或是向模型显式注入某种结构先验。

因果掩码不仅在理论上能避免标签泄露的问题，同时还在工程上带来了一个重要的影响：因果掩码的加入，使得 $\boldsymbol{\mathrm{attention}}_{i}$ 只受 $i$ 及其之前位置的影响，这表现为 attention 是单向的，因为对 $i$ 而言 $i$ 以后的位置都被「屏蔽」了。在后文将介绍，这是自回归的 decoder 能使用 KV Cache 实现 incremental decoding 并降低单步 attention 计算量的基石和前提之一。

这真的相当重要！没有因果掩码，注意力将会是双向的，历史位置的表示会随未来 token 的引入而发生变化，因而 KV Cache 将无法支持标准的 incremental decoding。对于长度为 $t$ 的前缀，若只讨论单层 Self-Attention 的主导项，则每一步都需对整个前缀重新计算一次 attention，单步时间复杂度为 $O(t^2d)$；而在因果掩码与 KV Cache 同时成立时，利用 incremental decoding，我们仅需对新位置与历史 $\boldsymbol{K},\boldsymbol{V}$ 的交互进行一次计算，单步时间复杂度可降至 $O(td)$。在 Transformer 章节中将详细说明这一点。

从原理上看，Self-Attention 对输入序列的顺序是等变（equivariant）的，这导致若直接交换输入 token 的排列顺序而不额外提供任何位置信息，Self-Attention 本身并不能区分出这种顺序变化。即，模型虽然能够学习到 token 与 token 间的相关性，却无法学习到 token 的顺序关系。毕竟，「我 喜欢 你」和「你 喜欢 我」是完全相反的顺序，若不引入位置编码，模型可能就无法学习到这两个短句在表达含义上的区别。

为解决这个问题，LLM 通常会在 Self-Attention 中引入位置编码（Position Encoding）以将顺序信息编码进输入表示中，从而使得模型能够学习不同 token 间的顺序关系。

一种简单的位置编码实现是将第 $i$ 个位置对应的位置向量 $\boldsymbol{p}_i$ 与 token embedding $\boldsymbol{e}_i$ 相加，进而得到真正送入 Transformer 的输入表示

于是输入矩阵便可写作 $\boldsymbol{X}=\boldsymbol{E}+\boldsymbol{P}$，其中 $\boldsymbol{E}$ 表示 token embedding 矩阵，$\boldsymbol{P}$ 表示位置编码矩阵。这样一来，后续由 $\boldsymbol{X}$ 线性投影得到的 $\boldsymbol{Q},\boldsymbol{K},\boldsymbol{V}$ 便天然地携带了位置信息。

位置编码有许多种具体设计，其中最经典的是《Attention Is All You Need》所使用的 Fixed Sinusoidal Positional Encoding。若记模型表示维度为 $d$，并记 $\boldsymbol{p}_i$ 的第 $j$ 个分量为 $\boldsymbol{p}_i^{(j)}$，则