切换深色模式
偏好学习与 DPO
学习主线:偏好从哪里来 → 如何表示偏好数据 → DPO 如何更新模型 → 如何用于多轮对话项目。
一、从 SFT 到偏好学习
1.1 SFT 的训练信号:示范回答
多轮对话模型根据当前上下文,生成下一条 Assistant 回复。记:
:本次回答之前的上下文,包含系统指令、历史对话和当前用户消息。 :本次 Assistant 回答。 :模型在上下文 下生成回答 的概率。
SFT 的一条训练样本可以表示为:
其中,
SFT 要做的是:通过更新参数,使模型更倾向于生成这样的示范回答。
以回答部分作为训练目标时,损失可以写成:
最小化负对数概率,相当于提高示范回答的概率。这里的完整回答概率,会在第三节进一步拆成各个 Token 的条件概率。
但一条普通的 SFT 样本没有明确告诉模型:
“同样的上下文中,为什么这个回答比另一个候选回答更好?”
这就引出了偏好学习。
1.2 偏好学习的训练信号:两个回答的相对好坏
有时,写出一个完整的高质量示范比较困难,但比较两个现成回答更容易。
继续使用 SQL 的例子:
| 候选回答 | 内容 |
|---|---|
| 回答 A | 从 SELECT 的用途和简单例子开始,再安排一道基础练习 |
| 回答 B | 直接介绍索引、执行计划和复杂查询优化 |
两个回答都与 SQL 有关,也可能都包含正确知识。但对于“完全没有基础”的用户,我们可能更偏好 A。
这种训练信号可以写成:
意思是:在上下文
两个关键点:
第一,偏好具有上下文条件。同样的回答 B,如果面对的是正在排查查询性能问题的数据库工程师,可能更合适。因此,训练样本必须保留比较发生时的上下文。
第二,偏好需要明确的评价标准。我们究竟在比较:
- 内容是否正确?
- 是否符合用户的水平和要求?
- 用户是否更喜欢?
- 是否更有利于后续完成任务?
这些标准可能一致,也可能产生冲突。区分“当前回答质量”和“后续任务效果” 尤为重要。
基于任务结果的偏好:
给定相同历史,分别采用回答 A 和 B,再观察后续交互中哪个更容易完成任务。
1.3 SFT、DPO 与基于奖励的 RL:基本区别
先从训练信号和更新方式区分:
| 方法 | 主要训练信号 | 基本做法 |
|---|---|---|
| SFT | 上下文与示范回答 | 提高示范回答的条件概率 |
| DPO | 同一上下文下的偏好对 | 用偏好损失直接更新模型,学习相对于参考模型的偏好差距 |
| 基于奖励的 RL | 采样行为或轨迹,以及对应的奖励 | 根据回报信号更新策略,提高期望回报 |
标准 DPO(Direct Preference Optimization) 直接从偏好数据学习,不需要先单独训练一个奖励模型,也不需要在 DPO 更新过程中运行 PPO。DPO 原论文
三者都会在训练时更新模型参数。区别主要在于:提供什么训练信号,以及怎样构造优化目标。
对于多轮对话项目,可以把流程分成两个环节:
使用了 rollout 和 reward 来判断回答,并不意味着模型一定要通过 PPO 训练。 这些结果也可以先转换为偏好标签,再交给 DPO。
二、偏好数据:Preference Pair
2.1 数据结构:Prompt、Chosen、Rejected
一条已经确定偏好方向的样本,通常表示为:
其中:
| 字段 | 数学符号 | 含义 |
|---|---|---|
| Prompt | 两个候选回答共同面对的上下文 | |
| Chosen | 这一对中更受偏好的回答 | |
| Rejected | 这一对中相对较不受偏好的回答 |
在多轮对话中,prompt 通常不只是当前用户的一句话,而是生成当前回复所需的共同对话前缀。 例如:
json
{
"prompt": [
{
"role": "system",
"content": "你是一位根据学生水平安排学习内容的 SQL 教师。"
},
{
"role": "user",
"content": "我想学习 SQL。"
},
{
"role": "assistant",
"content": "你之前接触过 SQL 吗?希望用它完成什么?"
},
{
"role": "user",
"content": "完全没有基础,希望能自己写简单的查询。"
}
],
"chosen": [
{
"role": "assistant",
"content": "我们先学习 SELECT,用一个简单例子练习选择表中的列。"
}
],
"rejected": [
{
"role": "assistant",
"content": "我们先研究索引、执行计划和复杂查询优化。"
}
]
}这是一个示意样本,偏好标准是“适合初学者并推进其学习目标”。这种以消息列表表示 prompt 和两种回答的结构,也是 TRL 支持的偏好数据格式。官方数据格式说明
2.2 偏好标签的来源:人工、评分器与 Rollout
Preference pair 的结构只告诉我们“谁胜谁负”,没有说明“为什么这样判断”。标签来源需要另外了解,最好也作为元信息保存。
(1)人工比较
让人阅读共同上下文和两个回答,按评价标准选出更好的一个。
(2)评分器比较
使用规则、可执行检查、奖励模型或另一个 LLM,分别评价两个回答。例如:
- 代码是否通过测试;
- 是否满足输出格式;
- 是否包含必要信息;
- LLM 评审给出的综合评分。
如果分数越高越好,可以根据分数确定偏好方向:
但评分器的结果是否可信,取决于它是否评价了真正关心的目标
(3)后续 Rollout 比较
这是多轮对话项目最相关的方式:暂时采用某个候选回答,把后续交互继续模拟出来,再评价最终结果。
假设任务目标是“用户最后能正确完成一道简单 SQL 练习”,每次模拟的结果为:
对回答 A 运行
回答 B 同理得到
为了公平比较,两组 rollout 应尽量使用一致的环境设置和评价规则;后续用户消息可以不同,因为候选回答本来就可能改变对话的发展。
2.3 标签的可靠性:噪声、平局与评价标准
偏好标签是一项判断,可能出错。主要需要留意三类问题。
第一,随机性可能使比较方向出错。
第二,评价机制可能产生系统性偏差。
例如:
- 评审模型偏好更长的回答;
- 用户模拟器对某种措辞特别配合;
- 自动检查只关注格式,遗漏内容错误;
- 任务成功判定过于宽松。
增加模拟次数主要帮助减少随机误差,不能自动消除评价机制本身的偏差。
第三,两个回答可能平局,或在不同维度上各有优势。
对于标准的二元 DPO 偏好样本,需要确定 chosen/rejected 的方向。因此,数据生成阶段应明确:
- 优先使用什么评价标准;
- 什么情况允许判为平局或不确定;
- 什么情况需要更多证据;
- 什么情况不进入二元偏好训练集。
如果只保留差距明显的样本,也要记录筛选规则,因为这样可能改变训练数据所代表的问题分布。
三、DPO 的基本原理
这一节完整推导标准 DPO。核心链条是:
沿用前两节的符号:
:当前回答之前的上下文。 :回答经过分词后得到的 Token 序列。 :模型参数。
在多轮对话中,
自回归语言模型将整段回答的概率分解为:
完整回答还涉及结束标记,结束标记
定义回答的序列 log-probability:
得到:
Prompt 参与条件计算,但不计入回答的分数:
用一个评分掩码表示:
对齐 logits 与目标后:
其中,
对于偏好样本
参考模型分别计算:
3.1 训练模型与 Reference Model
DPO 中需要区分两个条件概率分布:
| 模型 | 记号 | 作用 | 是否更新 |
|---|---|---|---|
| 待训练模型 | 学习偏好,最后用于生成回答 | 是 | |
| 参考模型 | 提供原有行为的概率基准 | 否 |
常见做法是:二者从同一个 SFT 模型开始:
随后,参考模型保持固定,待训练模型逐渐变化。
这里的 reference model 不是标准答案模型,也不是负责判断 chosen/rejected 的评分器。它提供的是:
在偏好训练之前,这个模型原本有多倾向于生成某个回答?
因此,DPO 会计算:
它衡量的是回答概率相对于参考模型的变化。
为什么这样的概率比会进入偏好学习?需要先建立偏好模型,再从奖励最大化问题中推导。
3.2 偏好概率:Bradley–Terry 模型
(1)用潜在奖励描述回答的相对好坏
假设存在一个潜在奖励函数:
用于评价上下文
Bradley–Terry,简称 BT,假设两个回答的偏好概率为:
将分子、分母同时除以
因此:
它有三个直观性质:
| 奖励差 | 偏好概率 |
|---|---|
这是对偏好数据的建模假设。 现实中的评价者、评分器或 rollout 标签,不一定完全符合 BT 模型。
(2)为什么只能识别相对奖励?
如果给同一个上下文中的所有回答都加上
则:
所以:
也就是说,成对偏好能提供奖励差的信息,不能确定奖励的绝对零点。
这个性质随后会让一个难以计算的归一化项消失。
(3)如果单独训练奖励模型,损失是什么?
假设偏好数据为:
对于已按胜负排列的一条样本,其观测标签的概率为:
最大化全部标签的似然,等价于最小化负对数似然:
传统的奖励模型路线可以先用这个损失训练
DPO 接下来要做的是:把这个奖励差改写成语言模型概率的表达式。
3.3 DPO Loss:从奖励最大化到偏好损失
(1)起点:提高奖励,同时限制偏离参考模型
设上下文分布为
模型会过于依赖奖励函数的架构,可能过度集中于少量高分回答,也可能利用奖励评价的漏洞。
因此,引入相对于参考模型的 KL 约束:
其拉格朗日函数为:
对给定的
严格来说,固定
(2)固定上下文,求最优回答分布
现在固定一个
目标为:
这里将
定义一个归一化分布:
接下来把目标改写成关于
利用
因为:
并且在
由于在固定
这一步是在所有满足条件的回答分布上求解。实际神经网络受到模型容量和优化过程的限制,不一定能精确达到这个分布。
(3)反过来,用最优策略表示奖励
对最优策略公式取对数:
移项:
所以:
这意味着:奖励函数可以通过“其对应的最优策略与参考策略的概率比”重新表示。
注意,此处是
(4)代入 BT 模型,归一化常数消失
对于同一个上下文
两个
因此,BT 偏好概率可以仅通过策略概率表示:
这就是“同一个 prompt”在推导中的重要性:两个回答共享同一个归一化常数,才能这样抵消。
(5)用可训练策略参数化偏好概率
现在使用语言模型
通过偏好似然拟合这个隐式奖励。它对应的最优策略恰好就是
需要区分:
定义:
再定义偏好 logit:
模型预测的偏好概率就是:
对观测到的 chosen/rejected 标签做最大似然:
取对数、取负并除以样本数,得到:
这就是标准 DPO 损失。上述变换对应原论文的奖励—策略重参数化及偏好似然推导。DPO 原论文,第 4 节及附录 A
使用上一节的四个 log-probability,可以更清楚地写成:
因此,DPO 比较的是:
训练模型对 chosen 相对于 rejected 的倾向,比参考模型增加了多少。
它没有直接要求:
两者原本的概率、长度和措辞都可能不同;参考模型提供了比较基准。
(6)完整推导梯度,查看优化方向
对于单条样本,记:
所以:
参考模型固定,因此:
由链式法则:
一次梯度下降为:
其中的权重:
反映当前模型与标签的不一致程度:
| 当前预测 | 样本权重 | |
|---|---|---|
| 与标签方向相反 | 很小、为负 | 接近 |
| 无相对偏向 | ||
| 已较好符合标签 | 很大、为正 | 接近 |
所以,DPO 对尚未学好或方向错误的偏好给予更大的更新权重。
但 “chosen 梯度项为正、rejected 梯度项为负” 不保证两者的绝对概率分别单调上升、下降。语言模型参数共享,不同回答的概率变化会相互影响。
(7) 的作用与参考模型的意义
回到:
在奖励函数固定时:
较大:偏离参考模型的代价更高。 较小:更愿意为了提高奖励而改变分布。
最优策略公式也体现了这一点:
比较两个回答的概率比:
取对数:
对于固定的奖励差,
3.4 DPO 不需要单独训练奖励模型
(1)隐式奖励
语言模型与参考模型已经定义了一个隐式奖励。定义:
于是:
DPO 损失可以写成:
它与前面奖励模型的 BT 似然具有相同形式,只是奖励通过策略概率来参数化。
因此,DPO 仍然在拟合一个偏好模型,但不需要额外的奖励网络参数
(2)隐式奖励对应的最优策略就是
将
所以,该隐式奖励对应的最优策略为:
这就是重参数化带来的好处:当我们通过偏好似然拟合隐式奖励时,对应的策略已经由同一个语言模型给出,不必再启动一轮 RL 来求它。
(3)理论关系不等于无条件的效果保证
上面的推导建立在明确的条件下:参考分布的支持范围、归一化常数有限、偏好模型假设,以及策略的可表示性等。
它不意味着任意有限数据训练后的
在你的项目中,rollout 得到的偏好还依赖用户模拟器、后续策略和任务判定。DPO 学习的是这些标签表达的偏好;是否改善真实多轮任务成功率,需要独立评估。
一条样本实际参与更新时,流程是:
这个更新过程可以直接使用固定的偏好数据,不需要在每次参数更新时重新生成回答、运行后续 rollout 或训练 Critic。官方 DPO 损失与训练说明
四、多轮对话项目中的 DPO
这一节把前面的 DPO 原理接入多轮对话项目:
核心问题是:怎样利用未来的任务结果,判断当前这一步应该更倾向于生成哪个回答?
下面按“比较当前一轮回答,训练当前一轮回答”的方案展开。
4.1 生成偏好训练样本
(1)相同历史下生成两个候选回答
假设当前进行到第
本轮上下文记为:
在这里生成两个候选
其中
(2)模拟后续对话
对于候选
其中,
定义:
:用户模拟器,负责生成后续用户消息; :后续 Assistant 策略,负责当前候选之后的 Assistant 回答; :后续交互轨迹; :该轨迹对应的回报。
它表示:
给定当前历史
,先采用候选回答 ,之后按照用户模拟器 和 Assistant 策略 继续交互,最终能获得多少期望回报?
如果只使用二元成功奖励,那么:
这里不要求训练一个 Critic 网络。我们可以直接用重复 rollout 估计这个量。
(3)重复模拟估计期望效果
对候选 A,候选 B分别模拟
两者的估计差为:
若
(4)构造偏好训练样本
假设比较程序最终判定 A 胜,则:
如果暂不确定,则先保留比较记录,不强行指定 chosen/rejected。
数据格式示例:
json
{
"prompt": [
{"role": "user",n"content": "我想学习 SQL。"},
{"role": "assistant", "content": "你之前接触过 SQL 吗?希望用它完成什么?"},
{"role": "user", "content": "完全没有基础,希望能自己写简单的查询。"}
],
"chosen": [
{"role": "assistant", "content": "我们先学习 SELECT,用简单例子认识如何选择表中的列,再做一道基础练习。"}
],
"rejected": [
{"role": "assistant", "content": "我们先研究索引、执行计划和查询优化器的工作原理。"}
]
}4.2 DPO 更新模型
得到偏好数据集
1. 初始化训练模型,固定参考模型
通常从同一个 SFT 模型开始:
之后只更新
2. 取一批偏好样本,计算四个分数
通过 Rollout 得到偏好数据集:
从
这些回答已经在数据里,不需要重新生成。
3. 构造每条样本的偏好预测与损失
定义:
模型预测 chosen 胜出的概率为:
因为数据已经按 chosen/rejected 排好,观测标签就是“chosen 胜出”,所以单条损失为:
整个 batch 的损失为:
4. 反向传播,更新参数
若用普通梯度下降,更新为:
其中:
即:
小:模型还不符合该偏好标签,这条样本的更新权重较大。 接近 :模型已较好符合标签,更新权重较小。 - 更新推动的是 chosen 相对于 rejected 的概率差距;不保证 chosen 的绝对概率每一步都上升。