切换深色模式
Transformer 学习笔记:从序列建模到训练与生成
阅读主线:以机器翻译中的原始 Encoder–Decoder Transformer 为核心,依次理解输入表示、注意力、编码器、解码器和训练目标;再学习 RoPE 与其他架构变体。
版本说明:根据原笔记修改、重组和补充。保留 RNN/LSTM/GRU、Embedding、正弦位置编码及 RoPE 的内容,修正数学记号与过度概括的结论。原文件中的图片依赖 Windows 本地路径,本版用独立可读的公式、表格和 Mermaid 图替代;未获得那些图片本身。
目录
- 问题与符号:Transformer 究竟学习什么
- 起源:从 RNN 到注意力
- 整体架构与信息流
- 输入表示:Tokenizer、Embedding、位置编码
- 注意力:从单个位置到矩阵计算
- 多头注意力与张量维度
- 残差连接、LayerNorm 与 FFN
- Encoder:生成上下文表示
- Decoder:有条件地预测下一个 Token
- 训练:右移输入、掩码与交叉熵
- 推理:自回归生成与 KV Cache
- RoPE:完整推导与适用边界
- 架构变体、复杂度与实现检查
- 原笔记关键修正与自测
1. 问题与符号:Transformer 究竟学习什么
1.1 从条件概率开始理解机器翻译
设源语言 Token 序列为
模型要学习条件分布:
这个分解来自概率的链式法则,并不是 Transformer 独有的假设。Transformer 的作用是用一个可训练的神经网络,参数化右边每一步的条件概率。
以教学用的词级切分为例:
- 源序列:
我 / 爱 / 机器 / 翻译。 - 目标序列:
I / love / machine / translation / <eos>。 - 预测
machine时,可用条件是完整中文原句和英文前缀I love。
Encoder 提供源句表示;Decoder 结合源句与目标前缀;输出层给出词表上的概率分布。 Cross-Attention 只是这个计算过程中的一个模块。
1.2 统一符号
| 符号 | 含义 | 备注 |
|---|---|---|
| Batch 大小 | 一批样本的数量 | |
| 源序列、目标序列长度 | Batch 中通常指补齐后的长度 | |
| 源语言、目标语言词表大小 | 用 | |
| 模型隐藏维度 | 即 | |
| 注意力头数 | 标准等宽多头通常要求 | |
| 单头 Query/Key、Value 维度 | 常取 | |
| FFN 中间维度 | 通常大于 | |
| Encoder、Decoder 层数 | 每层一般有独立参数 | |
| Encoder、Decoder 隐藏表示 | 每一行对应一个位置 | |
| Query、Key、Value 矩阵 | 是输入经过投影得到的表示 | |
| 注意力权重、加性掩码 | 不与模型参数混淆 |
除 RoPE 一节明确使用列向量外,序列矩阵均按“每一行是一个 Token 的表示”书写。推导一般省略 Batch 维度,形状检查时再加回。
2. 起源:从 RNN 到注意力
2.1 RNN:通过状态递推携带历史信息
RNN 是经典序列建模架构之一:
其中
从
连乘可能导致梯度变小或变大,因此长距离依赖较难训练。另一个问题是:计算
这不表示 RNN 不能使用 GPU:不同样本、矩阵乘法内部仍能并行,只是同一序列的状态递推限制了时间维度上的并行。
2.2 LSTM:增加可控制的信息通道
一种常见 LSTM 写法为:
2.3 GRU:更紧凑的门控结构
采用“
有的资料把
GRU 通常比相同隐藏维度的 LSTM 参数更少,但两者孰优取决于任务与配置。它们都保留时间递推。
2.4 注意力:从压缩历史到按需读取
如果 Encoder 把整句信息压缩成一个固定向量,Decoder 每一步都依赖这同一份摘要。注意力改为保留多个源位置表示:
每一步根据当前解码状态,动态计算一组
原始 Transformer 在序列表示计算中去掉了循环与卷积,使用注意力和逐位置网络构建 Encoder–Decoder。它并不是只有 Attention,还包含 FFN、残差连接、归一化和位置表示。参见 Attention Is All You Need。
3. 整体架构与信息流
正在绘制流程图…
| 组件 | 接收什么 | 产生什么 | 核心作用 |
|---|---|---|---|
| 源 Embedding 与位置编码 | 源 Token IDs | 表达 Token 内容与位置 | |
| Encoder | 源序列表示 | 融合源句上下文 | |
| 目标 Embedding 与位置编码 | 右移目标 IDs | 表达已知目标前缀 | |
| Decoder | 目标表示与 | 结合前缀和源句 | |
| 输出投影 | 为每个候选 Token 打分 | ||
| Softmax | logits | 得到条件分布 |
要区分两种“位置”:源位置
4. 输入表示:Tokenizer、Embedding、位置编码
4.1 Tokenizer:把文本变成离散符号序列
Token 可以是字、词、子词或字节片段。字符数、词数与 Token 数通常不同;应把
BPE、WordPiece 是常见子词分词算法;SentencePiece 是分词工具框架,可使用 Unigram 或 BPE 等方法,不宜把三者完全视为同一层级的算法名称。
Token ID 只是词表索引:ID 20 并不比 ID 10“语义大一倍”,两个 ID 的数值差也不是语义距离。
| 特殊 Token | 常见作用 | 注意 |
|---|---|---|
<bos> / <sos> | 序列起始 | 具体是否使用取决于模型 |
<eos> | 序列终止 | 通常也需要被预测 |
<pad> | 批处理补齐 | 需在注意力和损失中正确处理 |
<unk> | 未知片段 | 不是每种 tokenizer 都需要 |
[CLS]、[SEP] | BERT 风格的特殊用途 | 并非 Transformer 通用要求 |
Tokenizer 通常在神经网络训练前确定分词规则和词表;它不等同于后续可微、可训练的 Embedding 层。
4.2 Embedding:用可训练矩阵查表
设源词表嵌入矩阵为:
Token ID 为
如果定义行 one-hot 向量
这样写既统一行列方向,也避免把“词表参数矩阵”和“查表后的序列表示”都记成
实际实现通常直接取行,不构造稠密 one-hot。取出全部向量需要约
Embedding 通常从随机值开始,与主体参数一起训练。语义结构由训练任务塑造,但不能保证任意语义相近的 Token 都有更高余弦相似度。
4.3 静态输入向量与上下文表示
同一个 Token ID 查表得到同一行向量;经过 Transformer 后,其表示依赖所在上下文。例如,“苹果”在水果和公司语境中有相同的初始查表向量,却可得到不同的最终隐藏表示。
从头训练、继续预训练和微调需要分开理解:
| 情境 | Embedding 的来源 | 是否更新 |
|---|---|---|
| 从头训练模型 | 通常随机初始化 | 通常更新 |
| 加载已有模型继续训练 | 随检查点一起加载 | 取决于是否冻结 |
| 导入传统预训练词向量 | 外部词向量 | 可以冻结或微调 |
传统词向量的维度不同,可增加投影层,并非数学上“只能使用固定的
也不能把所有预训练目标说成“预测下一个 Token”。例如 BERT 采用掩码语言建模,而不是普通左到右的下一 Token 预测;原始 BERT 还使用句间预测任务。参见 BERT 原论文。
4.4 为什么需要位置信息
先考虑没有位置相关操作、没有固定因果掩码的 Self-Attention。设
因为
所以重新排列输入,只会相应重排输出。这叫置换等变性,不同于输出完全不变的置换不变性。
对逐位置 FFN 和 LayerNorm,同样成立。模型缺少独立的顺序线索,因此需要位置表示来区分“谁在前、谁在后”。若使用固定因果掩码,掩码本身就引入了顺序结构,不能不加条件地套用上述证明。
4.5 固定正弦—余弦位置编码
对位置
原始结构中的输入形式为:
源端和目标端都加入位置编码。乘
每一组包含不同频率,因此对位置变化有不同敏感度。对固定偏移
这说明固定偏移可以作用为一个与
可学习绝对位置向量则是训练一个位置表
5. 注意力:从单个位置到矩阵计算
5.1 为什么需要 Q、K、V
给定输入
其中:
可以把三个投影理解为三种不同职责:
| 对象 | 职责 | 在计算中的用途 |
|---|---|---|
| 当前位置需要什么信息 | 与各个 Key 比较 | |
| 位置 | 决定被关注程度 | |
| 位置 | 被加权汇总 |
这些只是帮助理解的比喻。它们都是学习得到的向量,没有预先规定哪个维度表示主语或宾语。
Self-Attention 中三者来自同一序列,但通常使用不同投影,因此
5.2 从一个 Query 出发
位置
设
输出为:
Softmax 在 Key 位置方向归一化。同一 Query 对所有可见 Key 分配权重,而不是在特征维度上归一化。
在未对注意力权重施加 Dropout 时,
5.3 矩阵形式与维度
允许 Query 和 Key 来自不同长度的序列:
于是:
输出位置数由 Query 决定;被读取的位置数由 Key/Value 决定。 Key 与 Value 的位置数必须一致,但
5.4 一个可手算的例子
考虑一个 Query 和两个 Key/Value,取
分数为
因此输出:
若第二个位置被掩码禁止访问,权重变成
这也说明:注意力权重
5.5 为什么除以
为说明维度引起的数值尺度,考虑一个简化随机模型:所有
所以:
分数尺度过大时,Softmax 更容易高度集中。其雅可比为:
当概率接近 0 或 1 时,很多局部导数接近 0。缩放有助于控制分数尺度。独立、单位方差是解释机制的简化条件,并非训练中严格成立的性质。
缩放点积也不等于余弦相似度,后者还需要除以
5.6 从统计学角度理解
对固定 Query,可以定义一个取值于 Key 位置集合的辅助随机变量
那么:
这是把加权平均重新表示成期望,帮助理解“内容决定权重的汇总”。它不证明注意力就是某个真实潜变量的后验,也不表示注意力权重天然具有因果解释。
6. 多头注意力与张量维度
6.1 多个学习到的匹配规则
对第
汇总各头:
每个头有不同投影和注意力矩阵,因此可学习不同的信息关系。但“某个头专门负责语法,另一个头专门负责语义”只是可能的观察,不是架构保证。
实际可以先做一次大线性投影,再 reshape 分头。这等价于把各头的投影矩阵沿输出维拼起来,并不是简单把原始
6.2 一个完整的维度例子
取
| 操作 | 张量形状 |
|---|---|
| 输入 | |
| 大投影后的 | 各为 |
| reshape 并调整轴顺序 | 各为 |
| 沿最后一维 Softmax | |
| 与 | |
| 合并头 | |
| 输出投影 |
Cross-Attention 中只需分别使用目标长度
在标准
7. 残差连接、LayerNorm 与 FFN
7.1 残差连接:让子层学习对现有表示的修正
对输入
残差让原表示有一条直接通道,子层可以学习增量。形式上:
其中的恒等项有利于梯度传播,但不保证任何深度、任何初始化下都不会出现训练困难。
相加要求形状一致,这也是注意力输出投影和 FFN 最终都回到
7.2 LayerNorm:在单个位置的特征维上归一化
对某个位置的向量
对于
这里的
7.3 Post-LN 与 Pre-LN
| 形式 | 一个子层的计算 | 归一化位置 |
|---|---|---|
| Post-LN | 残差相加之后 | |
| Pre-LN | 子层计算之前 |
原始 Transformer 使用 Post-LN。Pre-LN 改变了梯度传播路径,常有更易优化的表现;完整 Pre-LN 堆叠通常还有最终归一化。讨论训练稳定性时需要结合架构、初始化和学习率,不能把二者视为仅书写顺序不同。参见 On Layer Normalization in the Transformer Architecture。
以下 Encoder 和 Decoder 公式统一使用 Post-LN,避免混写。
7.4 FFN:逐位置的非线性变换
原笔记中的 ReLU FFN 可写成:
单个位置经历:
同一层中的所有位置使用同一组 FFN 参数,但独立计算,不直接进行跨位置混合。由于 FFN 的输入已由注意力聚合上下文,其输出仍可依赖其他位置。
Attention 负责跨位置汇总,FFN 负责逐位置变换。若去掉非线性,连续两个仿射变换可合并成一个仿射变换,表达能力会受限制。
后续架构可以改变激活函数、门控结构或归一化方法;这些是变体,不需要混入原始架构的定义。
8. Encoder:生成上下文表示
第
最终:
需要注意:
- Encoder 输出仍是一个序列矩阵,而不一定是一个句向量。分类任务可以再做池化,但翻译 Decoder 通常读取整个
。 - 堆叠层的结构相同,不意味着不同层共享参数;标准情况下各层独立。
- 无掩码的全局注意力让两个源位置一层内就能交互,但不意味着一层即可完成任意复杂推理。多层仍提供表示变换与组合的深度。
9. Decoder:有条件地预测下一个 Token
9.1 先明确 Decoder 的输入
训练时输入的是右移后的真实目标序列;推理时输入的是起始符和已经生成的目标前缀。推理时并没有完整译文可作为输入。
定义
对应标签为:
本文把预测
9.2 每层的三个子层
设输入为
其中
9.3 三种注意力放在一起比较
| 模块 | Query 来源 | Key/Value 来源 | 单头权重形状 | 可见范围 |
|---|---|---|---|---|
| Encoder Self-Attention | 源端当前层输入 | 同一源端输入 | 全部有效源位置 | |
| Decoder Self-Attention | 目标端当前层输入 | 同一目标端输入 | 当前及之前的输入槽位 | |
| Decoder Cross-Attention | 目标端 Self-Attention 子层之后 | Encoder 最终输出 | 全部有效源位置 |
对单头 Cross-Attention:
因此
标准完整句子翻译中,Cross-Attention 无需因果掩码,因为源句在生成开始前已经可用;流式翻译等任务可能有额外限制。
9.4 输出投影与词表概率
标准模型对最终 Decoder 层的表示使用输出头:
| Softmax 所在位置 | 归一化维度 | 数值的含义 |
|---|---|---|
| Attention 内部 | 可见 Key 位置 | 从哪里读取信息 |
| 输出头 | 目标词表 | 下一个 Token 是什么 |
选概率最大的 Token 是贪心解码策略,不是 Softmax 的定义,也不是唯一生成方式。
9.5 Embedding 与输出头权重共享
若目标输入嵌入为
这样可省去一个
源端与目标端是否也共享 Embedding,需要看词表及 ID 语义是否对齐;仅仅矩阵形状相同不足以直接共享。
10. 训练:右移输入、掩码与交叉熵
10.1 把一次训练对齐完整写出来
仍使用词级教学示例,真实分词器可能采用不同切分:
| 预测槽位 | Decoder 该槽位输入 | 因果掩码下可见的目标输入 | 监督标签 |
|---|---|---|---|
| 1 | <bos> | <bos> | I |
| 2 | I | <bos> I | love |
| 3 | love | <bos> I love | machine |
| 4 | machine | <bos> I love machine | translation |
| 5 | translation | <bos> I love machine translation | <eos> |
每个槽位还可以通过 Cross-Attention 读取中文源句。
槽位
这解释了为什么“仅禁止看到
10.2 因果掩码
按输入槽位编号:
例如长度为 4 时:
将它加到缩放后的分数上,在 Softmax 之前屏蔽未来。对角线可以保留,因为输入已经右移。
10.3 Padding 掩码与损失屏蔽是两件事
对第
目标 Self-Attention 可使用:
| 处理位置 | 要解决的问题 |
|---|---|
| Encoder Self-Attention 的源 padding mask | 源有效位置不能读取补齐占位符 |
| Decoder Self-Attention 的目标 padding mask | 不能把目标 padding 当成历史内容 |
| Cross-Attention 的源 padding mask | 目标位置不能读取源端补齐占位符 |
| 损失函数的标签有效性 mask | 不要求模型学习预测补齐占位符 |
Key padding mask 不一定把 padding Query 的输出变为 0。那些输出可以存在,但不应计入目标损失,也不应被当作有效预测汇总。
有效 Query 至少要有一个可见 Key。如果某行全部是
10.4 Teacher Forcing 为什么可以并行
训练中所有真实前缀已经由数据给出,因此可以一次构造整个右移序列,并同时计算:
这不代表模型假设各目标 Token 独立;每个条件分布仍使用自己的真实前缀。并行的是“给定各个真实前缀后的概率计算”,不是一次前向就完成未知译文的自回归生成。
多层之间仍然有先后顺序。Attention 沿序列位置并行,也不等于整张网络中的所有操作都能同时执行。
10.5 交叉熵就是条件负对数似然
设
对某个位置,记真实标签的 one-hot 分布为
采用 one-hot 标签时,logits 的梯度为:
它直接说明训练信号的方向:提高真实标签分数,并按当前概率降低其他候选的相对分数。梯度继续传到输出头、Decoder、Encoder 和未被冻结的 Embedding。
实际实现通常把 logits 直接交给稳定的交叉熵运算;不要先 Softmax 再误当 logits 输入。
10.6 Label Smoothing 与训练流程
一种标签平滑定义为:
其中
一次训练迭代可按以下顺序理解:
- 得到源序列、完整目标序列和 padding 信息。
- 构造目标输入与标签,确认二者错开一个 Token。
- 构造源 padding、目标 padding、目标因果掩码。
- Encoder 计算
,Decoder 计算所有目标位置的 logits。 - 只在有效标签处计算损失,包含需要学习的
<eos>。 - 反向传播并更新未冻结参数。
一个常见 warmup 加逆平方根衰减形式为:
验证损失可继续使用真实前缀,但翻译质量评估应另做自回归生成。Teacher-forcing 验证损失和实际生成质量回答的问题不同。
在无平滑的负对数似然下,困惑度为
11. 推理:自回归生成与 KV Cache
11.1 从起始符开始生成
给定源句
- 当前目标输入为
<bos>,预测第一个 Token。 - 选择或采样得到
,追加到输入。 - 用
<bos>, \widehat y_1预测。 - 重复直到生成
<eos>或达到长度上限。
形式上:
这里 Decode 可表示确定性选择或随机采样。训练使用
11.2 解码策略
| 策略 | 做法 | 需要理解的限制 |
|---|---|---|
| 贪心 | 每一步选当前概率最大者 | 局部最优不保证整句概率最大 |
| Beam Search | 保留若干高分候选前缀 | 近似搜索;结果受长度处理等影响 |
| 温度采样 | 从 | |
| Top-k / Top-p | 保留部分候选后重新归一化采样 | 增加多样性控制,但可能丢弃低概率正确答案 |
贪心为何未必整句最优?假设只有两步:第一步
11.3 KV Cache:哪些计算可以复用
在标准因果 Decoder 的推理模式下,旧位置无法读取未来 Token。因此当新 Token 到来时,旧位置已经得到的各层表示,以及对应的 Key/Value,不需要重新计算。
第
新输入到来后,只为新位置计算
每层必须有自己的缓存。通常不必保存历史 Query,因为下一步只需要新 Query 的输出。
对于 Encoder–Decoder:
- 源句固定,所以 Encoder 输出
通常只计算一次。 - 每层 Cross-Attention 对
投影得到的 也可预计算并复用。 - 目标端 Self-Attention 的
则随生成不断追加。
缓存消除重复计算,但不消除自回归的步骤依赖。使用 RoPE 时,缓存通常保存按正确位置旋转后的 Key;新增 Token 的位置编号必须接续前缀,不能每一步重置为 0。
若采用 Beam Search,重新选择候选前缀时,还需同步重排相应缓存,不能让序列与缓存错配。
11.4 训练与推理总对照
| 维度 | 训练 | 自回归推理 |
|---|---|---|
| 目标前缀 | 真实历史 Token | 模型生成的历史 Token |
| 输出位置 | 可同时计算所有监督位置 | 通常每次新增一个 Token |
| 因果约束 | 需要防止读取未来标签 | 仍需维持因果语义;单个最新 Query 无未来 Key |
| Dropout | 通常开启 | 通常关闭 |
| 梯度 | 计算并更新参数 | 通常不计算 |
| KV Cache | 普通整段训练一般不使用 | 常用于加速 |
| 结束条件 | 标签长度与 mask | <eos> 或长度上限 |
12. RoPE:完整推导与适用边界
本节是位置表示的扩展,不属于原始正弦加性位置编码。以下局部向量统一写成列向量。RoPE 的核心构造参见 RoFormer 原论文;下面展开矩阵运算与符号对应。
12.1 二维旋转
定义:
对位置
这是正交变换,所以
12.2 相对位置怎样进入点积
位置
利用
令
矩阵式中的
例如
12.3 复数视角
把二维向量表示成复数
于是:
复数式和矩阵式只是同一个旋转运算的不同表达。
12.4 高维推广与原笔记中的维度修正
设参与旋转的维度为偶数
定义分块对角矩阵:
正确的乘法结果是一个拼接后的列向量:
原笔记把这个结果写成“以向量块排成的对角矩阵”,形状不对;同时先写
如果代码以行向量存储,表示同一个旋转应写:
不是直接把
高维点积仍有:
这里的
12.5 “只依赖相对位置”的准确含义
准确表述是:固定旋转前的内容向量
不能因此说整个深层模型的注意力分数只由距离决定。
对固定内容向量,同时平移位置
12.6 RoPE 的注入位置与限制
| 比较项 | 加性正弦位置编码 | 常见 RoPE 用法 |
|---|---|---|
| 注入位置 | 输入 Embedding 上相加 | 注意力层投影后的 |
| 核心操作 | ||
| Value | 经后续投影获得位置影响 | 通常不直接施加同样旋转 |
| 显式相对位置结构 | 固定偏移可用线性变换表达 | |
| 长度之外的计算 | 公式可在新位置求值 | 旋转也可在新位置求值 |
“可以计算更大位置的编码”不等于“模型能可靠处理更长上下文”。长度外推仍受训练长度、频率设置、数据和适配方法影响。
不同频率提供不同位置变化尺度,但不能据此保证注意力权重随距离逐点单调递减。相加也不等于“污染语义”;它是另一种让网络联合利用内容与位置的设计。
迁移到机器翻译时,应明确 RoPE 用在哪些 Self-Attention 模块。源语言与目标语言位置并非同一个时间轴,不应直接把二者的位置差当成天然有意义的 Cross-Attention 距离。
13. 架构变体、复杂度与实现检查
13.1 三种常见架构组织方式
| 架构 | 典型可见性 | 信息来源与输出 | 代表性用途 |
|---|---|---|---|
| Encoder-only | 双向读取有效输入 | 得到上下文表示,再接任务头 | 分类、标注、表征;BERT 风格 |
| Decoder-only | 通常采用因果注意力 | 根据同一序列前缀预测后续 | 自回归语言建模;GPT 风格 |
| Encoder–Decoder | 源端双向、目标端因果,并有交叉注意力 | 对源输入进行条件生成 | 翻译、摘要等 |
Decoder-only 通常省去原始 Decoder 中读取独立 Encoder 的 Cross-Attention。名称相近,不意味着组件完全相同。
架构与训练目标是两个维度:一个说明网络怎样组织、哪些信息可见;另一个说明用什么监督信号学习参数。
13.2 计算复杂度:并行不等于开销小
令单层序列长度为
| 部分 | 主要计算量 | 说明 |
|---|---|---|
| Q/K/V 与输出投影 | 四个线性投影的量级 | |
| 全注意力打分与 Value 汇总 | 假设总头宽为 | |
| FFN | 两个投影的量级 | |
| 显式注意力权重存储 | 指直接构造每头权重矩阵的实现 | |
| Cross-Attention 打分与汇总 | 源、目标长度可能不同 |
单层 Transformer 的计算不能只写成
对于
个元素,再乘每元素字节数得到存储量;翻译模型还可能缓存源端 Cross-Attention 的 K/V。
若朴素地在每个生成步骤重算整个长度
有缓存后,每一步新 Query 读取
这里比较的是注意力打分与汇总部分,不是完整模型总复杂度。
13.3 与数学一一对应的注意力伪代码
下面是框架无关伪代码,不承诺某个 API 的布尔 mask 约定。矩阵最后两轴用于乘法,前面的 Batch/Head 轴分别计算。
text
# Q: (B, h, nq, dk)
# K: (B, h, nk, dk)
# V: (B, h, nk, dv)
# mask: 可广播到 (B, h, nq, nk),允许处为 0,禁止处为 -inf
scores = matmul(Q, transpose_last_two_axes(K)) / sqrt(dk)
scores = scores + mask
weights = softmax(scores, axis=-1)
output = matmul(weights, V)
# output: (B, h, nq, dv)实际 API 的布尔 True 可能表示允许,也可能表示屏蔽;不能跨接口直接照搬。使用哪一种含义应核对所用函数的文档。
13.4 实现时优先检查什么
| 现象或风险 | 检查项 |
|---|---|
| 训练损失异常迅速趋近 0,生成却很差 | 是否忘了右移目标输入,或未来标签泄露 |
| 注意力输出形状不对 | 是否把 Query 长度、Key 长度或 Head 轴弄反 |
| NaN | 是否存在全被屏蔽的 Query 行;分数是否溢出 |
| 模型大量输出 padding | padding 标签是否误计入损失 |
| Loss 数值随 Batch 补齐长度异常变化 | 是否按有效 Token 数归一化 |
| 开缓存和关缓存时输出明显不同 | 位置编号、每层缓存、拼接轴是否正确 |
| 换 Tokenizer 后效果崩溃 | 词表 ID 与 Embedding、输出头是否一致 |
| 微调不生效 | 应训练的参数是否冻结;梯度是否传到目标模块 |
适合做三个概念性检查:
- 未来不影响过去:在推理模式、固定源句下,改动一个较晚的目标输入 Token,其之前槽位的 logits 应保持一致(允许浮点误差)。
- 补齐不改变有效结果:使用正确 mask 和相同位置编号时,右侧多加 padding 不应改变有效位置的输出。
- 缓存一致性:对同一个固定目标前缀,整段因果前向的最后一个位置与逐 Token 缓存前向应近似一致。
这些检查验证的是模型语义,而不仅是代码能否运行。
14. 原笔记关键修正与自测
14.1 本次关键修正
| 原笔记的问题或易误解说法 | 修正后的理解 |
|---|---|
| RNN 是最早的序列建模范式 | RNN 是经典序列建模架构之一 |
| LSTM/GRU 无法利用 GPU 并行 | 时间递推受限,但 Batch 和矩阵运算仍可并行 |
| Transformer 仅靠注意力 | 还包括 FFN、残差、归一化和位置表示 |
| 文本长度等于 Token 数 | 应区分字符数、词数与分词后长度 |
| One-hot 向量横排却标为 | 统一成行 one-hot 的纵向堆叠 |
| Embedding 表与序列输出都记成 | 参数用 |
| 语义相近必然向量更近 | 可能学习到这种结构,但不是保证 |
| BERT、GPT 都预测下一 Token | BERT 的掩码语言建模需单独区分 |
| 外部词向量只能固定隐藏维度 | 可以增加投影,词表兼容性也需处理 |
| 所有模型都乘 | 这是特定输入设计,不是通用要求 |
| 无位置时置换等变没有条件 | 要排除固定因果掩码等顺序相关操作 |
| RoPE 的行列向量与分块乘积混用 | 统一列向量;结果是向量拼接而非块对角矩阵 |
| RoPE 保证长度外推与“无语义污染” | 只陈述可验证的旋转性质,泛化需另行评估 |
| Cross-Attention 本身计算词表概率 | 它聚合源表示;最终输出头才给词表分布 |
| Decoder 每层都输出词表概率 | 标准结构对最终 Decoder 表示使用输出头 |
| Softmax 就是选最大概率词 | Softmax 产生分布,选择属于解码策略 |
| 因果 mask 没有结合输入右移说明 | 用输入槽位与标签对齐表明确可见范围 |
| 训练并行所以生成也能整句并行 | 标准自回归生成仍依赖已生成前缀 |
14.2 自测问题与简答
1. 为什么输入 ID 不能直接当作一个有语义的实数特征?
ID 是任意索引,不具备合理的数值距离或顺序。Embedding 为每个离散类别提供可训练的向量表示。
2. 为什么 Attention 输出长度等于 Query 长度?
每个 Query 汇总出一个输出向量;若有
3. Q/K/V 来自同一个
它们使用不同的投影矩阵,分别承担匹配和内容传递的角色。
4. 预测目标
该输入槽位装的是
5. Cross-Attention 为什么是
有
6. LayerNorm 会让目标位置偷看未来吗?
标准逐 Token LayerNorm 只对自身特征维归一化,不混合时间位置。
7. 为什么 FFN 不做跨位置混合,但仍处理上下文信息?
因为它接收的每个位置表示已经通过注意力包含上下文。
8. 训练时为什么可以同时计算所有位置?
真实目标前缀已知,无需等待模型先生成这些前缀;因果掩码分别限制各位置读取的信息。
9. 为什么 RoPE 的绝对位置差可以化为相对位置?
正交旋转满足
10. KV Cache 为什么不会让旧表示遗漏本应包含的新信息?
在因果模型中,旧位置本来就不允许读取未来位置,因此新 Token 不应反过来改变旧表示。
14.3 后续实践顺序
先手算第 5.4 节,再逐项核对第 6.2 节的张量形状。随后实现单层 Encoder 和单层 Decoder,使用第 10.1 节的对齐方式检查训练输入。能通过第 13.4 节的因果与 padding 检查后,再接入完整训练、自回归解码,最后加入 RoPE 和 KV Cache。
这样每次新增一个模块,都能对应一个明确的数学问题与验证标准。
参考文献与阅读定位
- Attention Is All You Need:核对原始 Encoder–Decoder、注意力、位置编码及训练配置;本笔记的例子、维度检查和多数教学推导为重新组织与展开。
- BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding:区分双向表征模型的预训练目标与自回归语言建模。
- RoFormer: Enhanced Transformer with Rotary Position Embedding:核对旋转位置编码构造与相对位置性质。
- On Layer Normalization in the Transformer Architecture:理解 Pre-LN 与 Post-LN 的优化差异。