切换深色模式
BPE
BPE 全称 Byte Pair Encoding,最早由 Philip Gage 在 1994 年提出,最初用于数据压缩;2016 年前后被引入 NLP,用于解决稀有词和未登录词问题。
它的核心思想非常朴素:
从最小符号开始,反复统计语料中出现频率最高的相邻符号对,然后合并它们,直到词表达到目标大小。
所以 BPE 不是神经网络,也没有损失函数和梯度下降;它是一个贪心的、统计驱动的合并过程。
为什么需要 BPE:
大模型不能直接理解文本,必须把文本转成 token 序列,再映射成 ID 序列。这里有一个基本矛盾:
| 方案 | 优点 | 缺点 |
|---|---|---|
| 词级分词 | 语义完整,序列短 | 词表巨大,OOV 严重 |
| 字符/字节级分词 | 词表极小,无 OOV | 序列太长,语义稀疏 |
| 子词分词 | 兼顾长度与覆盖 | 需要学习切分规则 |
BPE 属于子词分词。
它的目标是:常见片段尽量合并成单个 token,罕见片段拆成更小的已知子词,从而让词表可控、序列不至于过长,同时又能处理任意新词。
一、训练阶段
1.1 初始化
传统 BPE 通常以字符为初始单位,并在词尾加特殊标记,例如 </w>,用来区分词内和词尾。
例如:
"low" → l o w </w>字节级 BPE,即 BBPE,则直接以 UTF-8 字节为初始单位。初始词表就是 0–255 共 256 个字节。
比如中文 "你好" 会被先表示成 UTF-8 字节序列:
E4 BD A0 E5 A5 BDBBPE 的好处是:任何文本都可以被表示,理论上不存在 OOV。
1.2 统计相邻符号对频率
假设训练语料中有:
1low low low low low lower lower newest newest newest widest先拆成初始符号序列后,统计所有相邻对出现次数。比如:
(l, o) 出现多次
(o, w) 出现多次
(e, s) 出现多次1.3 合并最高频对
每一轮选择出现频率最高的相邻符号对,例如 (l, o),合并成新符号 lo,并加入词表。
然后更新语料表示:
low → lo w </w>1.4 重复合并,直到达到目标词表大小
继续统计、合并、更新,直到词表达到预设大小,例如 32k、50k、65k、150k 等。不同模型词表差异很大:GPT-2 约 50k,LLaMA 约 32k,Qwen 系列可达 150k 左右。
一个简化示例:
第1轮: (l, o) 最高频 → 合并为 lo
第2轮: (lo, w) 最高频 → 合并为 low
第3轮: (e, s) 最高频 → 合并为 es
第4轮: (es, t) 最高频 → 合并为 est
第5轮: (n, e) 最高频 → 合并为 ne
第6轮: (ne, w) 最高频 → 合并为 new
第7轮: (new, est) 最高频 → 合并为 newest训练结束后,词表中会同时包含:
- 基础字符/字节;
- 高频子词,如
lo、low、est; - 完整高频词,如
low、newest; - 低频词则仍然被拆成多个子词,如
widest → w i d est。
二、编码阶段
训练完成后,BPE 会产出一份有序的合并规则表。编码新文本时,流程是:
- 把文本拆成初始符号序列;
- 按训练得到的合并规则顺序,从左到右贪心匹配;
- 能合并就合并,不能合并就保留;
- 最后得到 token 序列。
例如训练中学到了:
low, est, newest那么:
"low" → [low]
"lowest" → [low, est]
"newest" → [newest]
"widest" → [w, i, d, est]可以看到,即使训练时没有见过 "lowest",它也能被拆成已知子词 low + est。这就是 BPE 处理 OOV 的关键机制。
三、Byte-level BPE:现代大模型的主流选择
标准 BPE 如果以字符为初始单位,会遇到多语言问题:中文、日文、韩文、emoji、特殊符号非常多,字符集可能非常庞大。
BBPE 把最小单位改为 UTF-8 字节,初始词表固定为 256。
它的优势是:
- 任何语言都能表示;
- 不会出现真正的 OOV;
- 代码、URL、混合语言文本都能统一处理;
- 初始词表非常小,工程上稳定。
代价是:对中文这类多字节语言,一个汉字可能占 3–4 个字节,所以中文文本的 token 数通常比英文更长。
GPT-2、GPT-3、GPT-4、LLaMA 等模型都采用了字节级或接近字节级的 BPE 方案。
与 WordPiece、Unigram、SentencePiece 的关系
| 算法 | 合并方式 | 特点 |
|---|---|---|
| BPE | 按频率合并最高频相邻对 | 简单、确定、常用 |
| WordPiece | 按似然增益合并 | BERT 系列使用,倾向合并更“像词”的片段 |
| Unigram | 从大词表逐步删除低贡献 token | SentencePiece 常用,支持概率分词 |
| SentencePiece | 不是单一算法,是工具框架 | 可跑 BPE 或 Unigram,不依赖空格预分词 |
WordPiece 和 BPE 很像,但 WordPiece 不是单纯看频率,而是看合并后对语言模型似然的提升。
Unigram 则是反方向:先准备一个很大的候选词表,再逐步删掉贡献小的 token。
SentencePiece 的关键贡献是把空格也当成普通符号处理,所以不需要依赖空格预分词,对中文、日文等无空格语言更友好。
四、补充说明
BPE 的优点
- 有效缓解 OOV:未知词可以拆成已知子词或字节。
- 高频词更短:常见词或常见片段更容易成为单个 token,序列更短。
- 词表可控:可以预先设定词表大小,便于控制 embedding 层和输出层参数。
- 跨语言兼容:尤其是 BBPE,可以统一处理多语言文本。
- 实现简单:训练和编码都是确定性算法,工程上容易复现。
BPE 的局限
- 对训练数据敏感:语料分布不同,学到的合并规则也不同。
- 子词不一定有明确语义:BPE 只懂频率,不懂语言学,可能切出无意义片段。
- 中文 token 效率较低:中文高频字往往仍需多个字节或多个 token 表示。
- 合并顺序固定:一旦训练完成,切分规则就固定了,难以适应新领域。
- 空格和词边界处理复杂:不同实现可能用
</w>、Ġ、▁等不同方式标记词边界。
工程上需要注意的点
- 预分词会影响结果:是否按空格切词、是否保留标点、是否保留大小写,都会改变合并统计。
- 词表大小需要权衡:词表太小,序列过长;词表太大,embedding 和输出层参数膨胀。
- 合并规则必须有序:编码时必须按训练时的顺序应用,否则切分结果会不一致。
- 特殊 token 要隔离:如
<|bos|>、<|eos|>、<|pad|>不能和正文普通文本混淆。 - BBPE 不是“中文友好”:它解决了 OOV,但没有天然解决中文 token 过长的问题。