切换深色模式
LLM 多轮对话
输入如何构造 → 回答如何生成 → 下一个 Token 如何选择 → 推理如何执行 → 长度、随机性与成本
一、从对话输入到生成回答:整体流程
一次语言模型调用,可以理解为:把本次需要的指令和对话内容转换成 Token 序列,再让模型根据这个序列逐步生成新的 Token,最后转换成文本。
1.1 输入:系统指令、多轮历史与当前用户消息
大模型的推理接口是无状态的(stateless):每次调用都是一次独立的计算,模型不会自动“记得”上一轮聊过什么。因此,多轮历史必须由调用方(应用程序或服务端会话机制)显式地拼进本次请求中。
模型接收的输入由三部分组成,首先,它们被拼接成一个完整的消息列表:
| 输入部分 | 作用 | 举例 |
|---|---|---|
| 系统指令(System Prompt) | 设定模型的角色、回答方式和总体要求 | 数学助教、用中文解释 |
| 多轮历史(Conversation History) | 之前所有轮次的对话,包括用户的提问和模型的回复 | 已经讨论过最大似然估计 |
| 当前用户消息(Current User Message) | 本轮用户最新说的话 | 比较最大似然估计与最大后验估计 |
python
messages = [
{"role": "system", "content": "你是一名数学助教,请用中文解释概念。"},
{"role": "user", "content": "什么是最大似然估计?"},
{"role": "assistant", "content": "最大似然估计是选择使观测数据出现的似然最大的参数……"},
{"role": "user", "content": "那它与最大后验估计有什么区别?"}
]对于通常的文本模型调用,模型不会自动读取此前所有聊天内容。 应用需要把相关历史放入本次上下文,或者由服务端的会话机制将其组织进去。
记:第
其中
1.2 一次回答的完整流程
第
第一步:使用 Chat Template 组织对话格式,如 1.1所示
第二步:使用 Tokenizer 转换为整数序列
分词器将格式化后的内容转换为 Token ID。记第
第三步:自回归生成 :从下一 Token 的概率分布 + 解码策略
整个生成过程在逻辑上表现为:
第四步:将生成的 Token 序列转换为回答文本
生成结束后,我们得到的是一串 Token ID:
分词器将它们解码为文本,并根据规则处理不需要展示的特殊标记:
1.3 进入下一轮对话
第
从执行顺序来看:
- 应用组织系统指令、历史消息和当前用户消息。
- 使用 Chat Template 和 Tokenizer 构造输入 Token 序列。
- 模型计算下一 Token 的分布。
- 解码策略选出一个 Token,将其追加到生成序列。
- 若未满足停止条件,则继续预测下一个 Token。
- 将生成的 Token 转换为文本,得到本轮助手回复。
回答结束后,应用将本轮的用户消息和助手回复加入历史:
其中
当下一轮用户消息
这样,上一轮生成的输出,就成为了下一轮输入的一部分。因此,改变一个回复会改变后续对话分布。
二. 对话如何进入模型:Chat Template 与多轮历史
上一节把本轮对话输入记为:
其中
这一节要进一步解释:这些带有角色和轮次的信息,如何被编码进一个连续的 Token 序列,以及模型如何知道应该从哪里开始回复。
2.1 消息列表与角色
在应用层,一段对话通常表示为一个有序消息列表。每条消息包含两个基本字段:
python
{
"role": "消息角色",
"content": "消息正文"
}其中,role 表示消息的来源与用途,content 表示具体内容。
这是常见的文本对话格式;具体模型支持哪些角色、如何排列,需要遵循其模板约定。
对常见的 Decoder-only 对话模型,这些角色通常通过输入序列中的标记来表示。
2.2 Chat Template:将结构化消息转换为序列
Chat Template 是一套序列化规则,规定如何把消息列表转换成模型使用的对话格式。
它通常需要处理:
- 每条消息如何开始、如何结束;
- 角色名放在哪里;
- 角色与正文之间如何分隔;
- 是否添加序列起始标记;
- 如何表示“接下来开始生成助手回复”。
在 Hugging Face 中,模板通常可以通过 tokenizer.chat_template 查看,其实现使用 Jinja 模板语言。学习使用模型时,先理解模板的输入和输出即可,无需立即学习 Jinja 语法。Hugging Face 模板编写说明
以 Qwen2.5 的普通文本对话格式为例:
前面的消息列表,在添加助手生成前缀后,会形成:
tex
<|im_start|>system
你是一名数学助教,请用中文解释概念。<|im_end|>
<|im_start|>user
什么是最大似然估计?<|im_end|>
<|im_start|>assistant
最大似然估计通过最大化观测数据的似然来估计参数。<|im_end|>
<|im_start|>user
那它与最大后验估计有什么区别?<|im_end|>
<|im_start|>assistant对话模型在训练过程中接触了特定格式的数据,并学习了这些标记与后续内容之间的关系。
例如,经过训练后,模型会倾向于在 <|im_start|>assistant 后面生成助手回答,在用户消息中理解用户的问题。
若随意替换角色标记、改变消息边界或遗漏必要标记,就改变了模型实际接收的序列。即使正文相同,输入也不再相同:
其中
2.3 多轮历史的拼接
记第
Chat Template 按列表顺序组织这些消息,然后分词得到:
对于普通多轮问答,可以把格式化后的输入理解为:
其中
2.4 Assistant 生成前缀
Assistant 生成有两种不同的任务:开启一条新回复和续写上一条未完成的回复。
第一种:开始一条新的助手回复
如果当前最后一条消息是用户问题:
<|im_start|>user
那它与最大后验估计有什么区别?<|im_end|>对于这里使用的 Qwen2.5 模板,我们希望在其后加上:
<|im_start|>assistant这段内容称为 Assistant 生成前缀。它将模型的续写位置放在助手消息正文的开头。
在 Hugging Face 中:
formatted = tokenizer.apply_chat_template(
messages,
tokenize=False,
add_generation_prompt=True
)add_generation_prompt=True 的含义是让模板添加相应的生成前缀。
第二种:继续一条已经开始的助手回复
有时,生成过程可能因为以下原因中途停止:
- 达到
max_tokens限制; - 触及上下文窗口上限;
- 流式输出时客户端断开重连;
- 模型自己生成了截断的句子。
此时历史里已经存在一条“写到一半”的助手消息。如果新建一条助手消息继续写,格式会错乱,我们希望助手接着从前面的助手消息恢复。
可以先在消息列表末尾放入一个未完成的助手回复:
tex
truncated = response.choices[0].message.content # 这段是现成的、确定的
partial_messages = messages + [{"role": "assistant", "content": truncated}]然后使用:
tex
formatted = tokenizer.apply_chat_template(
partial_messages,
tokenize=False,
add_generation_prompt=False,
continue_final_message=True
)这里不再添加新的助手消息头,而是让模型从已有正文后面继续。
2.5 模型的“记忆”来自哪里
| 信息或状态 | 主要存放在哪里 | 作用 |
|---|---|---|
| 模型参数中的知识 | 模型权重 | 提供训练中学到的语言规律与知识 |
| 对话历史 | 应用或服务端 | 记录此前的消息,供后续构造上下文 |
| KV Cache | 推理运行时 | 复用已处理前缀的计算结果 |
应用保存的历史,不一定全部进入本次输入。
随着轮次增加,完整历史:
会越来越长。应用可以通过某种历史管理规则
此时,本轮实际生成依赖的是:
常见的组织方式包括:
| 方法 | 如何处理历史 | 主要影响 |
|---|---|---|
| 保留完整历史 | 使用此前所有消息 | 信息保留较完整,但输入不断增长 |
| 保留最近若干轮 | 删除较早的消息 | 输入较短,但可能丢失早期约定 |
| 摘要旧历史 | 将早期消息压缩为摘要,保留近期原文 | 节省空间,但摘要可能遗漏细节 |
| 选择相关历史 | 根据当前问题选出相关片段 | 能保留远处的相关信息,但依赖选择是否准确 |
2.6 用 Hugging Face 查看实际输入
python
from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained(
"Qwen/Qwen2.5-7B-Instruct"
)
# 1. 查看模板组织后的文本
formatted = tokenizer.apply_chat_template(
messages,
tokenize=False,
add_generation_prompt=True
)
print(formatted)
# 2. 直接得到模型输入的 Token ID 和注意力掩码
inputs = tokenizer.apply_chat_template(
messages,
tokenize=True,
add_generation_prompt=True,
return_dict=True,
return_tensors="pt"
)
print(inputs["input_ids"].shape)
print(inputs["input_ids"][0, :20])对于这里的单条对话,input_ids 的形状是:
其中
三、 自回归生成、停止条件与上下文窗口
3.1 自回归生成的概率建模
在第
概率形式:
在生成过程中,回答长度也是一个重要变量。若要描述“模型生成这些内容,然后结束”,还需要包含结束标记的概率。
正文有
因此,模型不一定提前决定整段回答要有多长,而是在逐步生成时,也不断给结束 Token 分配概率。
3.2 从 Logits 到下一 Token 分布
整个循环可以写成:
这里的“更新前缀”描述逻辑上的上下文增长;实际计算可以利用 KV Cache,不必每一步都完整重算历史。
- 解码策略(见笔记 Transformer 4.2)。
- 新生成的 Token 如何影响后续分布:
- 训练时:使用训练样本提供的真实前缀
- 生成时:使用模型此前实际选出的前缀
Exposure Bias(暴露偏差)
3.3 生成的停止条件
生成不是无限持续的,而是在满足固定条件时结束。不同的结束方式带来的效果不完全相同。、
生成结束 token:先前设置好结束 token,模型可以在词表中为结束 Token 分配概率,并在某一步选择它
达到最大生成 token 数
命中停止字符串:可以指定某个字符串作为停止条件。例如 <END>,当生成的文本中出现这个字符串时,停止输出。
外部中断:用户取消、请求超时或服务端主动终止
区分结束 token 与 停止字符串:
结束 token:采样层,事先规定 <EOS> 的 token id,若 softmax 里给 EOS 分配概率并采样到它,生成结束
停止字符串:文本层,detokenize 之后的字符串出现了停止文本,生成结束。stop string 是"推理引擎在文本层面强制截断"
3.4 上下文窗口与长度预算
上下文窗口描述模型一次推理中能够支持的上下文长度范围,通常以 Token 数衡量。
对于常见的 Decoder-only 模型,在生成过程中,序列由三部分组成:
随着生成继续,上下文长度会增长:
在常见的总长度预算约定下,若可用上下文上限为
| 概念 | 限制的对象 |
|---|---|
| 上下文窗口 | 输入与生成内容占用的总序列空间 |
| 最大新增 Token 数 | 本次最多生成多少个新 Token |
| 实际输出长度 | 本次最终生成了多少 Token |
这也解释了多轮历史与输出长度之间的关系:
输入过长时,需要在生成前组织上下文。
若服务还规定独立的最大输出上限
四、解码策略:如何选择下一个 Token
| 策略 | 核心思想 | 稳定性 | 优点 | 缺点 |
|---|---|---|---|---|
| 贪心解码 | 每步选概率最高的 | 确定性 | 速度快,成本低 | 易陷入局部最优,文本重复 |
| 束搜索 | 保留 k 个最优路径 | 确定性 | 生成质量通常更高 | 成本高,文本可能模板化 |
| 随机采样 | 按概率分布随机选 | 随机性 | 多样性好,更自然 | 可能生成不通顺的文本 |
| 温度调节 | 调节概率分布的“尖锐”程度 | 随机性 | 灵活控制随机性 | 需与其他采样方法结合使用 |
| Top-k 采样 | 在概率最高的 k 个中采样 | 随机性 | 兼顾质量与多样性 | k 值固定,不够灵活 |
| 核采样 | 在累计概率达 p 的集合中采样 | 随机性 | 动态调整候选集,效果好 | 计算量略高于 Top-k |
五、推理的两个阶段:Prefill、Decode
对于常见的 Decoder-only Transformer,一次回答的推理过程通常分为两个阶段:
- Prefill:一次处理已有的输入上下文,建立缓存,并得到第一个输出 Token 的分布。
- Decode:利用缓存,每次处理一个新 Token,继续预测后续 Token。
KV Cache 连接了这两个阶段:它保存各层已经计算过的 Key 和 Value,使后续生成可以复用历史计算。
下面讨论常规自回归推理,暂不涉及推测解码等一次处理多个候选 Token 的方法。
5.1 KV Cache
我们来回顾一下 KV Cache。以某一层的 Decoder Masked Self-Attention 为例:
首先,投影得到:
计算注意力输出,先忽略除以
故:
观察上式可看出,当我们推理到第
其中
计算推理第
所以,在推理第
然后追加:
接着计算
每一步推理时,把
使用缓存究竟省掉了什么?
假设当前已有
| 计算内容 | 无缓存的朴素实现 | 使用 KV Cache |
|---|---|---|
| 历史位置的各层表示 | 对整个前缀重新计算 | 通过已有 KV 避免重算 |
| 历史位置的 K、V 投影 | 重算 | 复用 |
| 新位置的表示与 Q、K、V | 计算 | 仍然需要计算 |
| 新 Query 对历史 KV 的注意力 | 计算 | 仍然需要计算 |
| 各层前馈网络 | 对整个前缀计算 | 只处理新位置 |
KV Cache 消除了大量历史位置的重复计算,但没有消除新 Token 对历史的注意力计算。
5.2 Prefill:处理输入上下文
假设本次输入已经经过对话模板和分词,得到:
输入包含系统指令、实际保留的历史、当前用户消息以及必要的格式标记。
在生成开始前,这
以第
计算:
经过 LN,残差连接和 FFN:
特别地,最后一层注意力输出:
Prefill 完成后,会得到两类重要结果:
- 第一类:各层输入 Token 的 KV Cache
对于第
每一层都有自己的缓存,因为不同层的输入表示和投影参数不同。
- 第二类:第一个预测输出的 token id
5.3 Decode:逐步生成后续内容
预测出
这一次,历史输入
首先,经过 Embedding 层:
设进入第
计算:
然后将新的 Key 和 Value 追加到缓存:
这一层对应的新 token 的注意力输出为:
经过所有层后,得到预测
| 阶段 | 本次实际送入模型 | 前向计算结束后的缓存 | 根据本次结果选出 |
|---|---|---|---|
| Prefill | |||
| 第 1 次 Decode | |||
| 第 2 次 Decode | |||
| 第 |
若第
KV Cache 的增长与显存开销 见 Transformer.md 中章节 《4.3.4 KV Cache 节省了多少计算?》