Skip to content

BPE ​

BPE 全称 Byte Pair Encoding,最早由 Philip Gage 在 1994 年提出,最初用于数据压缩;2016 年前后被引入 NLP,用于解决稀有词和未登录词问题。

它的核心思想非常朴素:

从最小符号开始,反复统计语料中出现频率最高的相邻符号对,然后合并它们,直到词表达到目标大小。

所以 BPE 不是神经网络,也没有损失函数和梯度下降;它是一个贪心的、统计驱动的合并过程。


为什么需要 BPE:

大模型不能直接理解文本,必须把文本转成 token 序列,再映射成 ID 序列。这里有一个基本矛盾:

方案优点缺点
词级分词语义完整,序列短词表巨大,OOV 严重
字符/字节级分词词表极小,无 OOV序列太长,语义稀疏
子词分词兼顾长度与覆盖需要学习切分规则

BPE 属于子词分词。

它的目标是:常见片段尽量合并成单个 token,罕见片段拆成更小的已知子词,从而让词表可控、序列不至于过长,同时又能处理任意新词。


一、训练阶段 ​


1.1 初始化 ​

传统 BPE 通常以字符为初始单位,并在词尾加特殊标记,例如 </w>,用来区分词内和词尾。

例如:

"low"  →  l o w </w>

字节级 BPE,即 BBPE,则直接以 UTF-8 字节为初始单位。初始词表就是 0–255 共 256 个字节。

比如中文 "你好" 会被先表示成 UTF-8 字节序列:

E4 BD A0 E5 A5 BD

BBPE 的好处是:任何文本都可以被表示,理论上不存在 OOV。


1.2 统计相邻符号对频率 ​

假设训练语料中有:

1low low low low low lower lower newest newest newest widest

先拆成初始符号序列后,统计所有相邻对出现次数。比如:

(l, o) 出现多次
(o, w) 出现多次
(e, s) 出现多次

1.3 合并最高频对 ​

每一轮选择出现频率最高的相邻符号对,例如 (l, o),合并成新符号 lo,并加入词表。

然后更新语料表示:

low → lo w </w>

1.4 重复合并,直到达到目标词表大小 ​

继续统计、合并、更新,直到词表达到预设大小,例如 32k、50k、65k、150k 等。不同模型词表差异很大:GPT-2 约 50k,LLaMA 约 32k,Qwen 系列可达 150k 左右。

一个简化示例:

第1轮: (l, o) 最高频 → 合并为 lo
第2轮: (lo, w) 最高频 → 合并为 low
第3轮: (e, s) 最高频 → 合并为 es
第4轮: (es, t) 最高频 → 合并为 est
第5轮: (n, e) 最高频 → 合并为 ne
第6轮: (ne, w) 最高频 → 合并为 new
第7轮: (new, est) 最高频 → 合并为 newest

训练结束后,词表中会同时包含:

  • 基础字符/字节;
  • 高频子词,如 lo、low、est;
  • 完整高频词,如 low、newest;
  • 低频词则仍然被拆成多个子词,如 widest → w i d est。

二、编码阶段 ​

训练完成后,BPE 会产出一份有序的合并规则表。编码新文本时,流程是:

  1. 把文本拆成初始符号序列;
  2. 按训练得到的合并规则顺序,从左到右贪心匹配;
  3. 能合并就合并,不能合并就保留;
  4. 最后得到 token 序列。

例如训练中学到了:

low, est, newest

那么:

"low"      → [low]
"lowest"   → [low, est]
"newest"   → [newest]
"widest"   → [w, i, d, est]

可以看到,即使训练时没有见过 "lowest",它也能被拆成已知子词 low + est。这就是 BPE 处理 OOV 的关键机制。


三、Byte-level BPE:现代大模型的主流选择 ​

标准 BPE 如果以字符为初始单位,会遇到多语言问题:中文、日文、韩文、emoji、特殊符号非常多,字符集可能非常庞大。

BBPE 把最小单位改为 UTF-8 字节,初始词表固定为 256。

它的优势是:

  • 任何语言都能表示;
  • 不会出现真正的 OOV;
  • 代码、URL、混合语言文本都能统一处理;
  • 初始词表非常小,工程上稳定。

代价是:对中文这类多字节语言,一个汉字可能占 3–4 个字节,所以中文文本的 token 数通常比英文更长。

GPT-2、GPT-3、GPT-4、LLaMA 等模型都采用了字节级或接近字节级的 BPE 方案。


与 WordPiece、Unigram、SentencePiece 的关系

算法合并方式特点
BPE按频率合并最高频相邻对简单、确定、常用
WordPiece按似然增益合并BERT 系列使用,倾向合并更“像词”的片段
Unigram从大词表逐步删除低贡献 tokenSentencePiece 常用,支持概率分词
SentencePiece不是单一算法,是工具框架可跑 BPE 或 Unigram,不依赖空格预分词

WordPiece 和 BPE 很像,但 WordPiece 不是单纯看频率,而是看合并后对语言模型似然的提升。

Unigram 则是反方向:先准备一个很大的候选词表,再逐步删掉贡献小的 token。

SentencePiece 的关键贡献是把空格也当成普通符号处理,所以不需要依赖空格预分词,对中文、日文等无空格语言更友好。


四、补充说明 ​

BPE 的优点

  • 有效缓解 OOV:未知词可以拆成已知子词或字节。
  • 高频词更短:常见词或常见片段更容易成为单个 token,序列更短。
  • 词表可控:可以预先设定词表大小,便于控制 embedding 层和输出层参数。
  • 跨语言兼容:尤其是 BBPE,可以统一处理多语言文本。
  • 实现简单:训练和编码都是确定性算法,工程上容易复现。

BPE 的局限

  • 对训练数据敏感:语料分布不同,学到的合并规则也不同。
  • 子词不一定有明确语义:BPE 只懂频率,不懂语言学,可能切出无意义片段。
  • 中文 token 效率较低:中文高频字往往仍需多个字节或多个 token 表示。
  • 合并顺序固定:一旦训练完成,切分规则就固定了,难以适应新领域。
  • 空格和词边界处理复杂:不同实现可能用 </w>、Ġ、▁ 等不同方式标记词边界。

工程上需要注意的点

  • 预分词会影响结果:是否按空格切词、是否保留标点、是否保留大小写,都会改变合并统计。
  • 词表大小需要权衡:词表太小,序列过长;词表太大,embedding 和输出层参数膨胀。
  • 合并规则必须有序:编码时必须按训练时的顺序应用,否则切分结果会不一致。
  • 特殊 token 要隔离:如 <|bos|>、<|eos|>、<|pad|> 不能和正文普通文本混淆。
  • BBPE 不是“中文友好”:它解决了 OOV,但没有天然解决中文 token 过长的问题。