Skip to content

偏好学习与 DPO ​

学习主线:偏好从哪里来 → 如何表示偏好数据 → DPO 如何更新模型 → 如何用于多轮对话项目。

一、从 SFT 到偏好学习 ​

1.1 SFT 的训练信号:示范回答 ​

多轮对话模型根据当前上下文,生成下一条 Assistant 回复。记:

  • x:本次回答之前的上下文,包含系统指令、历史对话和当前用户消息。
  • y:本次 Assistant 回答。
  • πθ(y∣x):模型在上下文 x 下生成回答 y 的概率。

SFT 的一条训练样本可以表示为:

(x,y∗)

其中,y∗ 是提供给模型的示范回答。

SFT 要做的是:通过更新参数,使模型更倾向于生成这样的示范回答。

以回答部分作为训练目标时,损失可以写成:

LSFT(θ)=−E(x,y∗)∼DSFT[log⁡πθ(y∗∣x)].

最小化负对数概率,相当于提高示范回答的概率。这里的完整回答概率,会在第三节进一步拆成各个 Token 的条件概率。

但一条普通的 SFT 样本没有明确告诉模型:

“同样的上下文中,为什么这个回答比另一个候选回答更好?”

这就引出了偏好学习。


1.2 偏好学习的训练信号:两个回答的相对好坏 ​

有时,写出一个完整的高质量示范比较困难,但比较两个现成回答更容易。

继续使用 SQL 的例子:

候选回答内容
回答 A从 SELECT 的用途和简单例子开始,再安排一道基础练习
回答 B直接介绍索引、执行计划和复杂查询优化

两个回答都与 SQL 有关,也可能都包含正确知识。但对于“完全没有基础”的用户,我们可能更偏好 A。

这种训练信号可以写成:

yA≻xyB

意思是:在上下文 x 下,根据指定的评价标准,回答 A 比回答 B 更受偏好。

两个关键点:

第一,偏好具有上下文条件。同样的回答 B,如果面对的是正在排查查询性能问题的数据库工程师,可能更合适。因此,训练样本必须保留比较发生时的上下文。

第二,偏好需要明确的评价标准。我们究竟在比较:

  • 内容是否正确?
  • 是否符合用户的水平和要求?
  • 用户是否更喜欢?
  • 是否更有利于后续完成任务?

这些标准可能一致,也可能产生冲突。区分“当前回答质量”和“后续任务效果” 尤为重要。

基于任务结果的偏好:

给定相同历史,分别采用回答 A 和 B,再观察后续交互中哪个更容易完成任务。


1.3 SFT、DPO 与基于奖励的 RL:基本区别 ​

先从训练信号和更新方式区分:

方法主要训练信号基本做法
SFT上下文与示范回答 (x,y∗)提高示范回答的条件概率
DPO同一上下文下的偏好对 (x,yw,yl)用偏好损失直接更新模型,学习相对于参考模型的偏好差距
基于奖励的 RL采样行为或轨迹,以及对应的奖励根据回报信号更新策略,提高期望回报

标准 DPO(Direct Preference Optimization) 直接从偏好数据学习,不需要先单独训练一个奖励模型,也不需要在 DPO 更新过程中运行 PPO。DPO 原论文

三者都会在训练时更新模型参数。区别主要在于:提供什么训练信号,以及怎样构造优化目标。

对于多轮对话项目,可以把流程分成两个环节:

候选回答→后续 Rollout→比较结果⏟生成偏好标签⟶DPO 更新参数⏟模型学习

使用了 rollout 和 reward 来判断回答,并不意味着模型一定要通过 PPO 训练。 这些结果也可以先转换为偏好标签,再交给 DPO。


二、偏好数据:Preference Pair ​

2.1 数据结构:Prompt、Chosen、Rejected ​

一条已经确定偏好方向的样本,通常表示为:

(x,yw,yl)

其中:

字段数学符号含义
Promptx两个候选回答共同面对的上下文
Chosenyw这一对中更受偏好的回答
Rejectedyl这一对中相对较不受偏好的回答

w 和 l 分别表示 winner、loser。两个候选被比较之后,才根据结果放入 chosen 和 rejected。

在多轮对话中,prompt 通常不只是当前用户的一句话,而是生成当前回复所需的共同对话前缀。 例如:

json
{
  "prompt": [
    {
      "role": "system",
      "content": "你是一位根据学生水平安排学习内容的 SQL 教师。"
    },
    {
      "role": "user",
      "content": "我想学习 SQL。"
    },
    {
      "role": "assistant",
      "content": "你之前接触过 SQL 吗?希望用它完成什么?"
    },
    {
      "role": "user",
      "content": "完全没有基础,希望能自己写简单的查询。"
    }
  ],
  "chosen": [
    {
      "role": "assistant",
      "content": "我们先学习 SELECT,用一个简单例子练习选择表中的列。"
    }
  ],
  "rejected": [
    {
      "role": "assistant",
      "content": "我们先研究索引、执行计划和复杂查询优化。"
    }
  ]
}

这是一个示意样本,偏好标准是“适合初学者并推进其学习目标”。这种以消息列表表示 prompt 和两种回答的结构,也是 TRL 支持的偏好数据格式。官方数据格式说明


2.2 偏好标签的来源:人工、评分器与 Rollout ​

Preference pair 的结构只告诉我们“谁胜谁负”,没有说明“为什么这样判断”。标签来源需要另外了解,最好也作为元信息保存。

(1)人工比较

让人阅读共同上下文和两个回答,按评价标准选出更好的一个。

(2)评分器比较

使用规则、可执行检查、奖励模型或另一个 LLM,分别评价两个回答。例如:

  • 代码是否通过测试;
  • 是否满足输出格式;
  • 是否包含必要信息;
  • LLM 评审给出的综合评分。

如果分数越高越好,可以根据分数确定偏好方向:

s(x,yA)>s(x,yB)⇒yA≻xyB.

但评分器的结果是否可信,取决于它是否评价了真正关心的目标

(3)后续 Rollout 比较

这是多轮对话项目最相关的方式:暂时采用某个候选回答,把后续交互继续模拟出来,再评价最终结果。

假设任务目标是“用户最后能正确完成一道简单 SQL 练习”,每次模拟的结果为:

Ri={1,完成任务,0,未完成任务.

对回答 A 运行 N 次后续模拟,可以估计:

p^A=1N∑i=1NRi(A).

回答 B 同理得到 p^B。最后比较两个估计量即可。

为了公平比较,两组 rollout 应尽量使用一致的环境设置和评价规则;后续用户消息可以不同,因为候选回答本来就可能改变对话的发展。


2.3 标签的可靠性:噪声、平局与评价标准 ​

偏好标签是一项判断,可能出错。主要需要留意三类问题。

第一,随机性可能使比较方向出错。

第二,评价机制可能产生系统性偏差。

例如:

  • 评审模型偏好更长的回答;
  • 用户模拟器对某种措辞特别配合;
  • 自动检查只关注格式,遗漏内容错误;
  • 任务成功判定过于宽松。

增加模拟次数主要帮助减少随机误差,不能自动消除评价机制本身的偏差。

第三,两个回答可能平局,或在不同维度上各有优势。

对于标准的二元 DPO 偏好样本,需要确定 chosen/rejected 的方向。因此,数据生成阶段应明确:

  • 优先使用什么评价标准;
  • 什么情况允许判为平局或不确定;
  • 什么情况需要更多证据;
  • 什么情况不进入二元偏好训练集。

如果只保留差距明显的样本,也要记录筛选规则,因为这样可能改变训练数据所代表的问题分布。


三、DPO 的基本原理 ​

这一节完整推导标准 DPO。核心链条是:

带 KL 正则的奖励最大化⟶奖励与最优策略的关系⟶用策略表示偏好概率⟶DPO 损失

沿用前两节的符号:

  • x:当前回答之前的上下文。
  • y=(y1,y2,…,yL):回答经过分词后得到的 Token 序列。
  • θ:模型参数。

在多轮对话中,x 包含系统指令、历史对话、当前用户消息,以及格式所需的 Assistant 开始标记

自回归语言模型将整段回答的概率分解为:

πθ(y∣x)=∏j=1Lpθ(yj∣x,y<j)

完整回答还涉及结束标记,结束标记 e 的概率:

πθ(y,e∣x)=[∏j=1Lpθ(yj∣x,y<j)]pθ(e∣x,y).

定义回答的序列 log-probability:

ℓθ(x,y)=log⁡πθ(y∣x).

得到:

ℓθ(x,y)=∑j=1Llog⁡pθ(yj∣x,y<j)

Prompt 参与条件计算,但不计入回答的分数:

用一个评分掩码表示:

mi={1,该目标位置属于有效回答范围,0,该目标位置属于 Prompt 或 Padding.

对齐 logits 与目标后:

ℓθ(x,y)=∑imilog⁡pθ(ti∣t<i)

其中,t 是拼接后的完整 Token 序列。

对于偏好样本 (x,yw,yl), 待训练模型分别计算:

ℓθ(x,yw),ℓθ(x,yl).

参考模型分别计算:

ℓref(x,yw),ℓref(x,yl).

3.1 训练模型与 Reference Model ​

DPO 中需要区分两个条件概率分布:

模型记号作用是否更新
待训练模型πθ(y∣x)学习偏好,最后用于生成回答是
参考模型πref(y∣x)提供原有行为的概率基准否

常见做法是:二者从同一个 SFT 模型开始:

πθ0=πref=πSFT.

随后,参考模型保持固定,待训练模型逐渐变化。

这里的 reference model 不是标准答案模型,也不是负责判断 chosen/rejected 的评分器。它提供的是:

在偏好训练之前,这个模型原本有多倾向于生成某个回答?

因此,DPO 会计算:

log⁡πθ(y∣x)πref(y∣x)=ℓθ(x,y)−ℓref(x,y).

它衡量的是回答概率相对于参考模型的变化。

为什么这样的概率比会进入偏好学习?需要先建立偏好模型,再从奖励最大化问题中推导。


3.2 偏好概率:Bradley–Terry 模型 ​

(1)用潜在奖励描述回答的相对好坏 ​

假设存在一个潜在奖励函数:

r(x,y)∈R,

用于评价上下文 x 下的回答 y。

Bradley–Terry,简称 BT,假设两个回答的偏好概率为:

Pr(yA≻yB∣x)=exp⁡(r(x,yA))exp⁡(r(x,yA))+exp⁡(r(x,yB)).

将分子、分母同时除以 exp⁡(r(x,yA)):

Pr(yA≻yB∣x)=11+exp⁡(r(x,yB)−r(x,yA))=σ(r(x,yA)−r(x,yB)),(σ(z)=11+e−z).

因此:

Pr(yA≻yB∣x)=σ(r(x,yA)−r(x,yB))

它有三个直观性质:

奖励差偏好概率
rA=rBP(A≻B)=0.5
rA>rBP(A≻B)>0.5
rA−rB 越大P(A≻B) 越接近 1

这是对偏好数据的建模假设。 现实中的评价者、评分器或 rollout 标签,不一定完全符合 BT 模型。

(2)为什么只能识别相对奖励? ​

如果给同一个上下文中的所有回答都加上 c(x):

r′(x,y)=r(x,y)+c(x),

则:

r′(x,yA)−r′(x,yB)=r(x,yA)−r(x,yB).

所以:

Pr′(yA≻yB∣x)=Pr(yA≻yB∣x).

也就是说,成对偏好能提供奖励差的信息,不能确定奖励的绝对零点。

这个性质随后会让一个难以计算的归一化项消失。

(3)如果单独训练奖励模型,损失是什么? ​

假设偏好数据为:

D={(xi,yw,i,yl,i)}i=1N.

对于已按胜负排列的一条样本,其观测标签的概率为:

Pr(yw≻yl∣x)=σ(r(x,yw)−r(x,yl)).

最大化全部标签的似然,等价于最小化负对数似然:

LRM(ϕ)=−ED[log⁡σ(rϕ(x,yw)−rϕ(x,yl))].

传统的奖励模型路线可以先用这个损失训练 rϕ,再用奖励更新语言模型。

DPO 接下来要做的是:把这个奖励差改写成语言模型概率的表达式。


3.3 DPO Loss:从奖励最大化到偏好损失 ​

(1)起点:提高奖励,同时限制偏离参考模型 ​

设上下文分布为 dX。如果直接最大化:

Ex∼dX,y∼π(⋅∣x)[r(x,y)],

模型会过于依赖奖励函数的架构,可能过度集中于少量高分回答,也可能利用奖励评价的漏洞。

因此,引入相对于参考模型的 KL 约束:

maxπExEy∼π(⋅∣x)[r(x,y)]s.t.ExDKL(π(⋅∣x)‖πref(⋅∣x))≤ε.

其拉格朗日函数为:

J(π,β)=ExEy∼π[r(x,y)]−β(ExDKL(π‖πref)−ε).

对给定的 β>0,β,ε 与策略无关。因此,关于策略的优化可以写成:

maxπEx[Ey∼π[r(x,y)]−βDKL(π‖πref)].

严格来说,固定 β 得到的是一个正则化问题;它对应多大的约束半径 ε,由解和拉格朗日条件决定。

(2)固定上下文,求最优回答分布 ​

现在固定一个 x,暂时省略部分条件记号:

π(y)=π(y∣x),πref(y)=πref(y∣x).

目标为:

Jx(π)=Ey∼π[r(x,y)]−βDKL(π∥πref)=Ey∼π[r(x,y)]−βEy∼πlog⁡π(y)πref(y)=Ey∼π[r(x,y)−βlog⁡π(y)πref(y)]

这里将 r 视为固定函数。假设参考分布在所讨论的回答上为正,且 Ey∼πref[exp⁡r(x,y)β] 有限:

定义一个归一化分布:

qr(y∣x)=πref(y)exp⁡(r(x,y)β)Ey∼πref[exp⁡r(x,y)β].

接下来把目标改写成关于 qr 的 KL:

Jx(π)=−βEy∼πref[log⁡π(y)πref(y)−r(x,y)β]=−βEy∼πref[log⁡π(y)πref(y)exp⁡(r(x,y)β)]=−βEy∼πref[log⁡π(y)qr(y)Ey∼πref(exp⁡r(x,y)β)]=−βEy∼πref[log⁡π(y)qr(y)−log⁡Ey∼πref(exp⁡r(x,y)β)].

利用 ∑yπ(y)=1,得到:

Jx(π)=βlog⁡Ey∼πref(exp⁡r(x,y)β)−βDKL(π‖qr).

因为:

DKL(π‖qr)≥0,

并且在 π=qr 时取到 0,所以最优策略为:

πr∗(y∣x)=πref(y∣x)exp⁡(r(x,y)β)Ey∼πref(exp⁡r(x,y)β).

由于在固定 x 下 Ey∼πref(exp⁡r(x,y)β) 是常数,记为 Zr(x),即:

πr∗(y∣x)=1Zr(x)πref(y∣x)exp⁡(r(x,y)β).

这一步是在所有满足条件的回答分布上求解。实际神经网络受到模型容量和优化过程的限制,不一定能精确达到这个分布。

(3)反过来,用最优策略表示奖励

对最优策略公式取对数:

log⁡πr∗(y∣x)=log⁡πref(y∣x)+r(x,y)β−log⁡Zr(x).

移项:

r(x,y)β=log⁡πr∗(y∣x)−log⁡πref(y∣x)+log⁡Zr(x).

所以:

r(x,y)=βlog⁡πr∗(y∣x)πref(y∣x)+βlog⁡Zr(x).

这意味着:奖励函数可以通过“其对应的最优策略与参考策略的概率比”重新表示。

注意,此处是 πr∗,即奖励 r 对应的最优策略。还不能直接把任意训练中的 πθ 都称为真实奖励下的最优策略。

(4)代入 BT 模型,归一化常数消失 ​

对于同一个上下文 x,计算两个回答的奖励差:

r(x,yw)−r(x,yl)=βlog⁡πr∗(yw∣x)πref(yw∣x)+βlog⁡Zr(x)−βlog⁡πr∗(yl∣x)πref(yl∣x)−βlog⁡Zr(x).

两个 βlog⁡Zr(x) 相互抵消:

r(x,yw)−r(x,yl)=β[log⁡πr∗(yw∣x)πref(yw∣x)−log⁡πr∗(yl∣x)πref(yl∣x)].

因此,BT 偏好概率可以仅通过策略概率表示:

Pr(yw≻yl∣x)=σ(β[log⁡πr∗(yw∣x)πref(yw∣x)−log⁡πr∗(yl∣x)πref(yl∣x)]).

这就是“同一个 prompt”在推导中的重要性:两个回答共享同一个归一化常数,才能这样抵消。


(5)用可训练策略参数化偏好概率 ​

现在使用语言模型 πθ 参数化上述策略,用 πθ 重新参数化奖励函数

r^θ(x,y)=βlog⁡πθ(y∣x)πref(y∣x).

通过偏好似然拟合这个隐式奖励。它对应的最优策略恰好就是 πθ,因此无需在奖励拟合之后,再单独运行 RL 求最优策略。

需要区分:

πθ不一定是原奖励 r 下的最优策略;πθ是其自身定义的隐式奖励 r^θ 下的最优策略。

定义:

Δθ(x,yw,yl)=log⁡πθ(yw∣x)πref(yw∣x)−log⁡πθ(yl∣x)πref(yl∣x).

再定义偏好 logit:

zθ=βΔθ.

模型预测的偏好概率就是:

Pθ(yw≻yl∣x)=σ(zθ).

对观测到的 chosen/rejected 标签做最大似然:

maxθ∏i=1NPθ(yw,i≻yl,i∣xi).

取对数、取负并除以样本数,得到:

LDPO(θ)=−E(x,yw,yl)∼D[log⁡σ(β[log⁡πθ(yw∣x)πref(yw∣x)−log⁡πθ(yl∣x)πref(yl∣x)])].

这就是标准 DPO 损失。上述变换对应原论文的奖励—策略重参数化及偏好似然推导。DPO 原论文,第 4 节及附录 A

使用上一节的四个 log-probability,可以更清楚地写成:

zθ=β[(ℓθ(x,yw)−ℓθ(x,yl)⏟训练模型的回答概率差)−(ℓref(x,yw)−ℓref(x,yl)⏟参考模型的回答概率差)].

因此,DPO 比较的是:

训练模型对 chosen 相对于 rejected 的倾向,比参考模型增加了多少。

它没有直接要求:

πθ(yw∣x)>πθ(yl∣x).

两者原本的概率、长度和措辞都可能不同;参考模型提供了比较基准。


(6)完整推导梯度,查看优化方向 ​

对于单条样本,记:

L(θ)=−log⁡σ(zθ).

所以:

dLdz=−1σ(z)σ′(z)=−(1−σ(z))=−σ(−z).

参考模型固定,因此:

∇θzθ=β[∇θℓθ(x,yw)−∇θℓθ(x,yl)].

由链式法则:

∇θL=−βσ(−zθ)[∇θℓθ(x,yw)−∇θℓθ(x,yl)].

一次梯度下降为:

θnew=θ+ηβσ(−zθ)[∇θℓθ(x,yw)−∇θℓθ(x,yl)].

其中的权重:

σ(−zθ)=1−σ(zθ)

反映当前模型与标签的不一致程度:

当前预测zθ样本权重 σ(−zθ)
与标签方向相反很小、为负接近 1
无相对偏向00.5
已较好符合标签很大、为正接近 0

所以,DPO 对尚未学好或方向错误的偏好给予更大的更新权重。

但 “chosen 梯度项为正、rejected 梯度项为负” 不保证两者的绝对概率分别单调上升、下降。语言模型参数共享,不同回答的概率变化会相互影响。


(7) β 的作用与参考模型的意义 ​

回到:

maxπE[r]−βDKL(π‖πref).

在奖励函数固定时:

  • β 较大:偏离参考模型的代价更高。
  • β 较小:更愿意为了提高奖励而改变分布。

最优策略公式也体现了这一点:

πr∗(y∣x)∝πref(y∣x)exp⁡(r(x,y)β).

比较两个回答的概率比:

πr∗(yA∣x)πr∗(yB∣x)=πref(yA∣x)πref(yB∣x)exp⁡(r(x,yA)−r(x,yB)β).

取对数:

log⁡πr∗(yA∣x)/πr∗(yB∣x)πref(yA∣x)/πref(yB∣x)=r(x,yA)−r(x,yB)β.

对于固定的奖励差,β 越大,最优策略相对于参考模型的对数概率比变化越小。


3.4 DPO 不需要单独训练奖励模型 ​

(1)隐式奖励 ​

语言模型与参考模型已经定义了一个隐式奖励。定义:

r^θ(x,y)=βlog⁡πθ(y∣x)πref(y∣x).

于是:

zθ=r^θ(x,yw)−r^θ(x,yl),

DPO 损失可以写成:

LDPO=−ED[log⁡σ(r^θ(x,yw)−r^θ(x,yl))].

它与前面奖励模型的 BT 似然具有相同形式,只是奖励通过策略概率来参数化。

因此,DPO 仍然在拟合一个偏好模型,但不需要额外的奖励网络参数 ϕ。


(2)隐式奖励对应的最优策略就是 πθ ​

将 r^θ 代入归一化常数:

Zr^θ(x)=∑yπref(y∣x)exp⁡(r^θ(x,y)β)=∑yπref(y∣x)exp⁡(log⁡πθ(y∣x)πref(y∣x))=∑yπθ(y∣x)=1.

所以,该隐式奖励对应的最优策略为:

πr^θ∗(y∣x)=1Zr^θ(x)πref(y∣x)exp⁡(r^θ(x,y)β)=πref(y∣x)πθ(y∣x)πref(y∣x)=πθ(y∣x).

这就是重参数化带来的好处:当我们通过偏好似然拟合隐式奖励时,对应的策略已经由同一个语言模型给出,不必再启动一轮 RL 来求它。


(3)理论关系不等于无条件的效果保证 ​

上面的推导建立在明确的条件下:参考分布的支持范围、归一化常数有限、偏好模型假设,以及策略的可表示性等。

它不意味着任意有限数据训练后的 πθ,都已成为真实用户奖励下的最优策略。标签噪声、覆盖不足、模型容量和优化误差仍然存在。

在你的项目中,rollout 得到的偏好还依赖用户模拟器、后续策略和任务判定。DPO 学习的是这些标签表达的偏好;是否改善真实多轮任务成功率,需要独立评估。

一条样本实际参与更新时,流程是:

(x,yw,yl)→四个序列 log-probability→zθ→−log⁡σ(zθ)→仅更新训练模型

这个更新过程可以直接使用固定的偏好数据,不需要在每次参数更新时重新生成回答、运行后续 rollout 或训练 Critic。官方 DPO 损失与训练说明


四、多轮对话项目中的 DPO ​

这一节把前面的 DPO 原理接入多轮对话项目:

同一对话历史→两个候选回答→分别模拟后续交互→比较任务结果→构造偏好对→DPO 更新模型

核心问题是:怎样利用未来的任务结果,判断当前这一步应该更倾向于生成哪个回答?

下面按“比较当前一轮回答,训练当前一轮回答”的方案展开。


4.1 生成偏好训练样本 ​

(1)相同历史下生成两个候选回答 ​

假设当前进行到第 t 轮,用户刚发来消息,Assistant 尚未回答。

本轮上下文记为:

xt=(S,u1,a1,…,ut−1,at−1,ut),

在这里生成两个候选 yA,yB ,两者都回答同一个 xt,形成两个分支:

xt⊕yA,xt⊕yB.

其中 ⊕ 表示追加消息。

(2)模拟后续对话 ​

对于候选 yA,yB:

xt⊕yA→ut+1A→at+1A→ut+2A→⋯→RAxt⊕yB→ut+1B→at+1B→ut+2B→⋯→RB.

其中,R 是最后得到的任务结果。例如:

R={1,在规定范围内完成任务,0,未完成任务.

定义:

Qρ,μ(xt,y)=Eτ∼Pμ,ρ(⋅∣xt,y)[G(τ)].
  • μ:用户模拟器,负责生成后续用户消息;
  • ρ:后续 Assistant 策略,负责当前候选之后的 Assistant 回答;
  • τ:后续交互轨迹;
  • G(τ):该轨迹对应的回报。

它表示:

给定当前历史 xt,先采用候选回答 y,之后按照用户模拟器 μ 和 Assistant 策略 ρ 继续交互,最终能获得多少期望回报?

如果只使用二元成功奖励,那么:

Qρ,μ(xt,y)=Pμ,ρ(任务成功∣xt,当前回答为 y).

这里不要求训练一个 Critic 网络。我们可以直接用重复 rollout 估计这个量。

(3)重复模拟估计期望效果 ​

对候选 A,候选 B分别模拟 NA 次:

Q^A=1NA∑i=1NAG(τiA),^QB=1NB∑i=1NBG(τiB).

两者的估计差为:

Δ^Q=Q^A−Q^B.

若 Δ^Q>0 ,说明这些观测支持 A 更有利于任务完成。不过,是否已有足够证据生成标签,还要由比较规则判断;不能把任何一次正差距都直接当作可靠结论。

(4)构造偏好训练样本 ​

假设比较程序最终判定 A 胜,则:yw=yA,yl=yB,如果判定 B 胜,就交换:yw=yB,yl=yA。构造偏好对:

(xt,yw,yl).

如果暂不确定,则先保留比较记录,不强行指定 chosen/rejected。

数据格式示例:

json
{
  "prompt": [
    {"role": "user",n"content": "我想学习 SQL。"},
    {"role": "assistant", "content": "你之前接触过 SQL 吗?希望用它完成什么?"},
    {"role": "user", "content": "完全没有基础,希望能自己写简单的查询。"}
  ],
  "chosen": [
    {"role": "assistant", "content": "我们先学习 SELECT,用简单例子认识如何选择表中的列,再做一道基础练习。"}
  ],
  "rejected": [
    {"role": "assistant", "content": "我们先研究索引、执行计划和查询优化器的工作原理。"}
  ]
}

4.2 DPO 更新模型 ​

得到偏好数据集 D 后,把每条样本转成 DPO 损失,再通过反向传播更新语言模型参数 θ。Rollout 负责生成标签,模型更新由下面这个训练过程完成。

1. 初始化训练模型,固定参考模型

通常从同一个 SFT 模型开始:

πθ0=πref=πSFT.

之后只更新 θ,参考模型参数保持不变。

2. 取一批偏好样本,计算四个分数

通过 Rollout 得到偏好数据集:

D={(x1,yw,1,yl,1),(x2,yw,2,yl,2),…}.

从 D 中取一个大小为 B 的 batch。对于第 i 条:(xi,yw,i,yl,i),分别计算:

ℓθ,w(i)=log⁡πθ(yw,i∣xi),ℓθ,l(i)=log⁡πθ(yl,i∣xi),ℓref,w(i)=log⁡πref(yw,i∣xi),ℓref,l(i)=log⁡πref(yl,i∣xi).

这些回答已经在数据里,不需要重新生成。

3. 构造每条样本的偏好预测与损失

定义:

zi=β[(ℓθ,w(i)−ℓθ,l(i))−(ℓref,w(i)−ℓref,l(i))].

模型预测 chosen 胜出的概率为:

pi=σ(zi).

因为数据已经按 chosen/rejected 排好,观测标签就是“chosen 胜出”,所以单条损失为:

Li=−log⁡pi=−log⁡σ(zi).

整个 batch 的损失为:

LB(θ)=−1B∑i=1Blog⁡σ(zi).

4. 反向传播,更新参数

若用普通梯度下降,更新为:

θnew=θ−η∇θLB,

其中:

∇θLB=−βB∑i=1B(1−pi)[∇θℓθ,w(i)−∇θℓθ,l(i)].

即:

θnew=θ+η⋅βB∑i=1B(1−pi)[∇θlog⁡πθ(yw,i∣xi)−∇θlog⁡πθ(yl,i∣xi)].
  • pi 小:模型还不符合该偏好标签,这条样本的更新权重较大。
  • pi 接近 1:模型已较好符合标签,更新权重较小。
  • 更新推动的是 chosen 相对于 rejected 的概率差距;不保证 chosen 的绝对概率每一步都上升。