切换深色模式
强化学习&LLM
一、强化学习基础与对话建模
1. 强化学习的基本思想
1.1 从监督学习到强化学习
我们首先比较两个非常简单的训练场景。
场景 A:SFT
- 用户输入:我想学习 SQL。
- 示范回答:你是否有数据库基础?我们可以根据你的情况安排学习内容。
- 目标:提高示范回答
的概率
核心:已明确告诉模型应该生成什么。
场景 B:RL
- 输入:我想学习 SQL。
- 行动空间:无唯一标准回答,允许模型采取不同行动(如 :
:询问用户的 SQL 基础。 :直接讲解 SELECT。 :介绍复杂的数据库查询优化。
- 奖励机制:根据多轮交互后用户是否完成任务给予奖励。
核心:不模仿指定回答,而是调整策略以最大化期望累积奖励。
1.2 RL 与 SFT 的区别
| 维度 | SFT | RL |
|---|---|---|
| 训练信号 | 示范回答 | 奖励 |
| 是否需要标准回复 | 通常需要 | 不一定需要 |
| 训练数据 | 已收集的示范数据 | 可通过策略与环境交互生成 |
| 优化目标 | 示范回答的对数似然 | 期望累积奖励 |
| 典型问题 | 应该怎样回答? | 怎样行动才能获得更好的结果? |
注意:RL 并不一定需要真实用户实时参与。环境可以是用户模拟器、数学验证器、代码执行器或者奖励模型。
2. RL 的核心数学建模
这是本阶段最关键的基础。
在经典强化学习中,我们通常用马尔可夫决策过程(Markov Decision Process)描述 Agent 与环境的交互。
MDP 通常由以下五个要素构成:
其中:
:状态空间(State Space) :动作空间(Action Space) :状态转移概率 :奖励函数 :折扣因子
此外,Agent 具有一个策略:
表示在状态
我们逐个映射到 LLM 对话场景。
2.1 Agent
Agent 是能够观察环境并选择动作的主体。
在 LLM 对话任务中:
但这里有一个需要区分的地方:
- LLM 是参数化的语言模型。
- Agent 是使用该模型执行动作并与环境交互的系统。
对于简单的纯文本对话任务,可以近似把二者视为同一个主体。
但如果 Agent 还具有工具调用、记忆管理、规划等能力,那么 Agent 不一定只包含 LLM 本身。
2.2 State
MDP 五元组
只要当前状态确定了,未来怎么发展就和"以前是怎么走到这个状态的"无关了。
即

对话场景有个天然特点:没有任何一个单独的时刻能代表"当前情况",即环境真实处于哪个状态
在对话建模中,我们通常使用
因此实际问题往往更接近部分可观测马尔可夫决策过程(POMDP)。
不过,如果历史信息足以表征决策所需的信息,那么使用历史状态进行分析是一个常见且有用的建模方式。
2.3 Action
在传统 RL 中,Action 可能是机器人向左移动、向右移动,或者游戏角色执行某种操作。
对于对话 LLM,我们可以从两个粒度定义 Action。
第一种:Token-level Action
每生成一个 Token 就是一次动作:
其中
第二种:Turn-level Action
将一整条 Assistant 回复看成一个动作:
对于研究多轮对话任务成功率,Turn-level Action 通常更直观。不过它仍然由 Token-level 的自回归生成构成:
2.4 Environment
Environment 负责接收 Agent 的动作,产生后续观察结果,并提供奖励信号。
在多轮对话中,环境可以包括:
- 用户或用户模拟器
- 外部工具或数据库
- 对话任务的规则和状态
- 任务成功与失败的判定机制
例如:
如果用户回复具有随机性,可以用下面的条件分布描述:
这就是环境转移机制的一部分。
值得注意的是,用户的下一条回复并不是 Agent 自己能够直接控制的动作。Agent 只能通过自己的回复间接影响用户接下来会说什么。
2.5 Reward:如何评价动作的效果?
Reward 衡量某种状态转移或行动结果的好坏。
奖励可以在每一步产生:
也可以只在对话结束时给出一个最终奖励:
例如,一个 SQL 教学任务可以定义:
这是一种 Terminal Reward(终止奖励)。它的特点是:模型可能进行了多次回复,但最终只收到一个成功或失败信号。
这里就出现一个重要困难:
如果最终任务失败,我们怎么知道是第一轮问错了问题,还是第三轮解释不清楚?
这就是 Credit Assignment(信用分配)问题。
2.6 Trajectory:完整交互轨迹
我们把 Agent 与环境从开始到结束的一段交互称为 Trajectory。
对于一个有
为简化记号,这里暂不显式写出工具结果、环境内部状态和终止标记。

这条轨迹可能得到
并且
二、 策略、回报与优化目标
1. Policy
在强化学习中,Policy(策略)规定 Agent 在某个状态下如何选择动作:
对于 LLM:
其中
注意,策略不是一句自然语言规则,而是一个参数化的条件概率分布。
例如,在相同上下文下,模型可能产生以下行为:
| 动作 | 策略概率 |
|---|---|
| 询问用户是否有 SQL 基础 | 0.6 |
| 直接开始讲 SELECT | 0.3 |
| 讲数据库底层存储原理 | 0.1 |
这是为了说明概念而构造的离散动作示例,并不意味着 LLM 实际只会生成这三个回答。
强化学习的目标是调整
注意,不是每次得到高奖励,就无条件增加整条轨迹中所有动作的概率。实际训练还需要处理采样方差、信用分配、策略约束等问题。
2. Return
Reward 和 Return 是两个不同概念。
Reward 通常表示某一个时间步获得的奖励
Return 表示从某个时间步开始,未来奖励的累积:
其中,
这个区别有两个需要记住的地方:
Reward 是某一步获得的反馈,而 Return 是未来奖励的累积。
如果对话只在结束时给出最终奖励,而且设置
,那么整段轨迹的 Return 就等于最终奖励:
这也是我们后面讨论多轮对话任务成功率时经常采用的简化设定。
3. 核心优化目标
设一条完整轨迹的累积奖励为
我们希望:
这里的核心是:期望是对策略和环境共同产生的随机轨迹取的。
对于初始任务分布
这个式子很重要,因为它说明轨迹不仅由模型决定,还受到用户和环境反馈的影响。
一个简单的例子
假设模型只有两种可能动作:
:询问用户基础,获得奖励 。 :直接讲高阶内容,获得奖励 。
设策略选择
那么:
三、价值函数与 Bellman 方程
1. Value、Q 与 Advantage
上一章节我们建立了强化学习的基本目标:
也就是说,强化学习的目标是调整 Policy,使其生成的对话轨迹获得更高的期望奖励。
但还有一个关键问题没有解决:
如果一段多轮对话最终获得奖励
这就是本节三个核心概念要解决的问题:
- Value Function
:当前状态未来有多大价值? - Q Function
:在当前状态采取某个动作,未来有多大价值? - Advantage
:这个动作比当前策略的平均表现好多少?
这三个量是理解 Policy Gradient、Actor-Critic、PPO、GAE 以及多轮信用分配的基础。
假设我们正在训练一个 SQL 教学 Agent。
用户说:
我没有数据库基础,想在今天学会最基本的 SQL 查询。
这是 Agent 当前的决策状态
同一个状态下的两个候选,模型可以选择不同的回复:
Action A:循序教学策略概率 60%
“我们先从 SELECT、FROM 开始,并用一个简单练习检查理解。”
Action B:直接讲复杂内容策略概率 40%
“我们从窗口函数、复杂 JOIN 和查询优化开始。”
假设经过大量模拟实验,我们估计:
| Action | 最终任务成功概率 |
|---|---|
| A:循序教学 | 80% |
| B:复杂教学 | 50% |
如果每条对话最终获得:
那么这两个成功概率,也可以理解为选择相应动作后、继续执行当前策略时的期望最终奖励。
现在我们就可以定义
1.1 Value Function
(1) 定义
State Value Function(状态价值函数)定义为:
其中:
是当前状态; 是当前策略; 是从当前时间步开始的累积奖励(Return); 表示未来动作按照策略 选择,并结合环境的随机反馈取期望。
直观理解:
当 Agent 处于状态
时,如果之后一直按照当前 Policy 行动,预计最终能获得多少奖励?
(2)两个重要性质
第一,Value 与 Policy 有关。
即使状态
第二,Value 不等于即时 Reward。
用户刚刚提出 SQL 学习需求时,Agent 尚未获得任何最终成功奖励,但当前状态仍然可以具有较高的未来价值。
这是因为
1.2 Q Function
(1)定义
Action Value Function(动作价值函数),通常记为
这个定义与
直观理解:
假设当前 Agent 必须选择动作
,然后后续继续按照策略 行动,预计最终能获得多少奖励?
注意这个时间顺序:
- 当前状态为
。 - 指定当前选择动作
。 - 环境返回反馈并更新状态。
- 后续动作继续按照
选择。 - 统计未来累计奖励的期望。
所以,
(2)V 与 Q 之间的数学关系
如果动作空间是离散的:
(利用
也就是说:
State Value 等于当前策略对各个 Action Value 的概率加权平均。
2. Bellman Equation:递归计算 V 和 Q
Bellman Equation 的核心是:把“从现在开始的长期价值”,拆成“当前一步的奖励”和“下一状态的长期价值”。
2.1 状态价值函数的 Bellman 方程
以下有限时域表达默认状态包含时间信息;若没有,应写成
可以推出:
代入 Value Function 的定义,可以得到 Bellman Expectation Equation:
利用全期望公式和马尔可夫性质:
于是得到
它的含义是:
从状态
开始,按照策略 行动的预期累计回报,等于当前奖励加上下一状态价值的折扣,然后对所有可能的动作和状态转移取平均。
对于离散的状态与动作空间,可以展开为
其中
- 策略的随机性:在状态
下,可能选择不同动作 。 - 环境的随机性:执行动作
后,可能进入不同状态 。
注意:不是任选一个下一状态代入,而是对所有可能结果取期望。
2.2 动作价值函数的 Bellman 方程
同样由 Return 的递推关系:
因此
展开为
这里的时间顺序是:
Bellman 方程使未来奖励可以通过状态价值逐步向前传播,这也为处理延迟奖励提供了基础。
四、策略梯度与 Baseline
1. 策略梯度:从奖励到参数更新
你可能会产生一个问题:
SFT 有标准答案,可以直接计算 Cross-Entropy Loss。但是 RL 只知道最终奖励,模型凭什么知道应该更新哪些参数?
这是强化学习算法最核心的数学问题。
对于可微的随机策略,一种经典的解决方法是 Policy Gradient(策略梯度)。
从目标函数出发:
在适当的正则性条件下,并假设环境机制和奖励函数对于给定轨迹不直接依赖
使用对数导数恒等式:
得到:
因为环境的转移概率不直接由模型参数
所以:
这就是经典 REINFORCE 策略梯度形式的一种表达。
它告诉我们:
即使最终奖励本身不可微,我们仍然可以通过模型生成这些动作的对数概率来估计目标函数对模型参数的梯度。
在真实训练时,构造代理损失:
它的梯度:
是真实梯度的无偏估计。
总结一下流程:
- 根据当前 Policy 生成对话轨迹。
- 使用环境或评估器计算奖励。
- 利用奖励与生成动作的对数概率,构造策略梯度估计。
- 更新模型参数,以提高期望奖励。
真正的训练中,通常会引入 Baseline、Advantage、KL 约束以及其他稳定化技术。它们的主要作用包括降低梯度估计方差、改善优化稳定性以及限制策略发生过大变化。
2. Baseline
上一节我们推导过 REINFORCE:
你会发现,它直接使用了轨迹最终奖励
但实际训练不会直接用这个形式,因为每个动作
可以从数学上证明,这两个形式是等价的。
如果某些状态本身就很容易成功,那么高奖励未必意味着当前采取的动作特别优秀。仅看回报高低,难以判断动作是否优于通常表现。
因此,我们希望从奖励中减去一个状态相关的基准值:
其中
通常选择
于是得到使用
这是有限时域、无折扣设置下的一种准确表达。对于一般折扣奖励目标,需要处理对应的时间权重。
2.1 Baseline 的有效性
首先观察:
:该项倾向于沿着提高该动作对数概率的方向更新。 :该项倾向于降低该动作的对数概率
假设我们不减去 Baseline,两个状态的差异可能部分来自状态本身的难度,而不是当前动作有多好。
引入状态价值作为 Baseline,相当于问:
这个动作的表现,是否超出了当前状态本来就能达到的平均水平?
这样可以减少由状态难度差异带来的部分噪声。即减小策略梯度估计量:
的方差。
为了简化表达,定义
原始梯度估计量为
引入状态相关的 Baseline 后:
下面解释并证明减去 baseline 为什么有效。
1. Baseline 不改变策略梯度的期望
固定状态
因此,由于
所以
2. 单步梯度项:降低方差的证明与最优 Baseline
先考虑笔记中的单步梯度估计量,在时间步
可以证明:
最小化单步梯度估计量的方差,等价于最小化一个带权平方误差:
最优解:
且:
特别地,不使用 Baseline 就是
因此,最优 Baseline 能降低策略单步梯度估计量方差。 完整证明过程放在附录中。
3. 最优 Baseline 不一定是
价值函数
最优目标:
而策略梯度方差是让策略梯度估计更稳定,优化目标是:
两者的目标不同。实际上,
因此:
- 若
与 在给定状态下不相关,则 。 - 若
在给定状态下为常数,上述条件自然成立。 - 一般情况下,最优 Baseline 是按梯度大小平方加权的平均回报。
这说明:即使价值函数完全准确,减去它也不保证梯度方差降低。
价值函数仍然是常用 Baseline,因为它有清晰的含义,并且可以通过普通的回报预测来学习。最优 Baseline 与价值函数的区别也见于 Greensmith 等人的方差降低研究。
4. 对整条轨迹估计量,最优 Baseline(附录)
2.2 为什么常用状态价值作基线
1. 它提供了当前状态平均回报的参照
2. 它可以用已有轨迹,通过普通回归来学习
采样轨迹后,已经有状态
理想情况下,这个回归问题学到的就是条件均值
相比之下,前面讨论的单步梯度项的最优基线是:
要直接学习它,还需要获取每个样本的梯度大小作为权重;对于参数很多的模型,这增加了计算和实现负担。普通价值回归则只需要回报数据。
3. 在某些条件下,它也接近梯度方差的最优基线
因此,给定状态后,如果梯度大小平方与回报不相关,就有
3. 从价值基线到 Advantage
选择
根据 Advantage 的定义:
于是:
因此,可以定义 Advantage 的一次 Monte Carlo 估计:
它满足:
也就是说,使用真实价值函数时,采样回报减去价值基线,是 Advantage 的条件无偏估计。
进一步,可以把这个关系用于策略梯度:
给定
于是得到 Advantage 形式的策略梯度:
五、价值与优势估计
现在有一个实际问题:
在真实 LLM 训练中,我们不知道精确的
这里需要严格区分:
- 真实价值函数:定义在策略与环境概率分布上的数学期望。
- 价值估计:通过采样数据或学习模型获得的近似值。
| 类型 | 符号 | 含义 |
|---|---|---|
| 真实价值与优势 | 由策略和环境决定的期望量,通常无法直接得到 | |
| 采样回报 | 一次实际轨迹中观察到的未来累计奖励 | |
| 价值预测 | Critic 对真实状态价值的近似 | |
| 优势估计 | 根据采样数据与价值预测计算出的训练信号 |
1. Monte Carlo:从采样回报估计价值
但有一个问题:Q 是未来累计奖励的条件期望,而我们实际运行一次对话,只能观察到一次具体的奖励。怎样利用这些有限的观测结果估计 Q?
Monte Carlo(蒙特卡洛方法,简称 MC)的基本思想就是:
在相同的决策条件下进行多次随机模拟,获得多个可能的未来结果,用这些结果的样本均值估计未知的期望。
1.1 具体步骤
设我们从状态
在固定
因此,我们得到 Monte Carlo 估计量:
这就是 MC 估计 Q 的核心公式。它不要求我们事先知道环境的完整转移概率。我们只需要能够采样未来轨迹,并计算每条轨迹的 Return。很明显,这是一个无偏估计。
1.2 估计量的方差
2. Critic:学习状态价值函数
如果每个状态都要反复模拟大量轨迹,计算成本会很高。
因此,Actor-Critic 方法通常引入一个 Value Network(价值网络),也称 Critic。
我们训练一个参数为
这个函数近似器就是 Critic。
Critic 可以通过轨迹数据学习预测未来 Return。假设我们使用当前 Policy,在各个时间步下,与环境交互
其中:
:采集的完整轨迹数量; :第 条轨迹的时间步数; :第 条轨迹从第 步开始的累计回报。 :某次决策前的对话状态。
如何根据这些数据训练 Value Network(价值网络)?
首先,考虑一个优化问题:
可以证明这个问题的最优解就是价值函数(附录):
于是可以训练 Critic,目标函数:
3. Monte Carlo 优势估计
真实 Advantage 定义为:
如果我们有:
- 当前轨迹的实际 Return
; - Critic 给出的
;
就可以构造一种简单的 Advantage 估计:
暂时假设 Critic 的参数
对
假设 Critic 是准确的
这个结论成立的条件是 Critic 准确且未来轨迹按目标策略采样。
因此,当 Critic 准确时,
如果 Critic 不准确,令:
则:
在固定 Critic、固定状态和动作的条件下,还可以得到:
这也揭示了 Advantage 估计误差的两个来源:
- Return 的采样随机性带来的方差。
- Critic 预测不准确带来的偏差。
MC 优势估计需要等待完整后续回报,而且采样回报可能波动较大;接下来研究能否结合“一步实际奖励”和“下一状态的价值预测”构造优势估计。
4. 一步 TD:结合实际奖励与价值预测
前面介绍过 Bellman 方程:
它说明:当前状态的价值,等于“当前奖励 + 下一状态的折扣价值”的条件期望。
但在实际训练中,我们通常不知道所有可能的下一状态及其概率,只能观察到一次实际交互:
因此,可以利用这次交互构造一个目标值,再与当前价值估计比较。这就引出了 TD Error(Temporal-Difference Error,时序差分误差)。
4.1 从 Bellman 方程到 TD Error
设 Critic 是一个参数化的价值函数:
根据 Bellman 方程,观察到一次状态转移后,可以构造:
这个量称为 一步 TD Target(一步时序差分目标)。
它包含两部分:
| 部分 | 含义 |
|---|---|
| 这一步实际获得的奖励 | |
| Critic 对后续回报的折扣估计 |
将这个目标与当前状态的价值估计比较,得到:
这里的
可以把它理解为:
根据刚刚发生的交互,当前状态看起来应该值多少,与 Critic 原先认为它值多少,两者之间的差。
4.2 如何理解 TD Error 的正负?
TD Error 的正负表示:这次交互得到的“即时奖励+后续价值估计”,高于还是低于 Critic 原先的预期。
| TD Error | 含义 | 对当前价值估计的修正方向 |
|---|---|---|
| 这次结果高于原先预期 | 向上修正 | |
| 这次结果低于原先预期 | 向下修正 | |
| 这次目标与原先预测一致 | 这条样本无需修正 |
仍以 SQL 教学为例。假设中间奖励为
在模型回复之前,Critic 预测:
模型采取动作“先询问用户的基础”,用户回复后,对话进入新状态。不同的后续价值预测会产生不同的 TD Error:
| 后续价值预测 | TD Error | 直观理解 |
|---|---|---|
| 新情况让成功前景变得更好 | ||
| 新情况让成功前景变得更差 | ||
| 新情况与原先预期一致 |
因此,TD Error 有一个用途就是训练 Critic:让价值预测逐步改进
如果
在直接保存各状态价值的简单情形下:
4.3 TD Error 与 Advantage 的关系
Advantage :
而
将两者结合:
如果使用真实的价值函数,定义:
那么:
这意味着:
价值函数准确时,一步 TD Error 是当前动作 Advantage 的一个条件无偏估计。
5. 多步 TD:观察更多实际奖励
5.1 从一步 TD 到多步 TD
一步 TD 的目标为:
对应的优势估计量:
如果继续观察一步,就获得了
- 前两步使用实际奖励;
- 从
开始的剩余回报由 Critic 估计。
对应的优势估计量:
推广到
对应的价值预测误差为:
这个量也可以作为一个
| 步数 | 目标值 |
|---|---|
| 到真正终止 | 完整采样回报 |
步数越多,使用的实际奖励越多,开始依赖 Critic 的位置越靠后。
但这不保证误差一定更小:更多实际奖励也意味着引入更多后续轨迹的随机性。
我的理解:偏差—方差权衡:
多步 TD 是通过多步采样的得到的实际奖励来替代部分价值估计,从而降低价值估计函数的偏差,但采样步数变长后,回报的随机性增加,方差也随之上升。
5.2 多步优势估计等于多个 TD Error 的折扣和
直觉上:每个 TD Error 都是一次“用新信息修正旧预测”的变化量。连续修正
在时间
再观察一步,就可以继续修正这部分预测。
原先用
替换它。这个替换产生的变化正是
不过,它发生在下一时间步,换算到时刻
中间的
推广到
如果一直观察到真正终止,末端价值为零,所有后续预测都被实际奖励替换,公式就退化为:
6. GAE
现在我们拥有很多种估计:
短步数估计较早依赖 Critic,长步数估计使用更多实际交互。我们未必知道哪个步数最合适,因此可以:
将不同步数的优势估计进行加权平均。
GAE 使用一个参数
各步数的权重分别为:
6.1 GAE 的 TD Error 表达式
代入 GAE:
展开:
其中:
GAE 可以看成不同步数优势估计的加权平均,也可以看成未来 TD Error 的衰减累积。
6.2 有限轨迹下如何计算?
假设当前采样片段从
它对应的多步估计混合是:
其中
- 如果片段真正终止:
- 如果只是采样截断,则最后的 TD Error 通常仍包含:
因此,有限片段的 GAE 是否包含末端自举,取决于片段结束的原因。
6.3 的范围
(1) :一步 TD
此时只有当前 TD Error 保留下来:
它较早依赖下一状态的 Critic 估计。
(2) :使用整个片段
利用价值项的抵消:
若片段一直到真正终止,末端价值为
也就是之前介绍的 Monte Carlo 优势估计。
(3) :结合不同步数
此时,后续 TD Error 随距离逐渐衰减:
GAE 因此在较短步数与较长步数之间进行折中。
| 估计方式 | 常见特点 | |
|---|---|---|
| 一步 TD | 较早依赖 Critic | |
| 接近 | 更重视长步数 | 使用更多后续实际反馈 |
| 后续回报不再自举 |
“减小
6.4 如何把 GAE 用于训练
(1) 从后向前递推
从定义出发:
括号内正是下一步的 GAE:
假设 rollout 已经收集了:
- rewards:
- values:
伪代码大致是:
python
advantages = [0.0] * T
gae = 0.0
for t in reversed(range(T)):
delta = (rewards[t] + gamma * values[t + 1] - values[t])
gae = delta + gamma * lam * gae
advantages[t] = gae实现中,这些优势通常在参数更新前计算好,并作为固定数据使用,不通过 GAE 的计算路径反向传播。
(2)作为 Policy 的优势权重
Advantage 形式的策略梯度:
用 GAE 构造策略梯度的样本估计:
采样轨迹 → 计算价值与优势 → 构造策略损失 → 更新 Actor、Critic。
(3)示例:用 GAE 构造策略梯度进行更新
沿用笔记里的 SQL 教学 Agent,我们用同一条三步轨迹计算。
设折扣因子
| 时间步 | Agent 的动作及环境反馈 | 奖励 | 当前价值预测 | 下一状态价值预测 |
|---|---|---|---|---|
| 询问基础,得知用户是初学者 | 0 | 0.4 | 0.5 | |
| 讲解 SELECT、FROM,用户完成练习 | 0 | 0.5 | 0.8 | |
| 给出测试,用户通过,任务结束 | 1 | 0.8 | 0 |
这些价值是 Critic 当前的预测。终止状态价值为
1. 计算 Return:从这一步开始,实际获得了多少累计奖励?
因为
三个时间步的 Return 都是
2. 计算 TD Error:这一步得到的信息,比原先预测好多少?
逐步代入:
例如,第二步没有即时奖励,但下一状态的预测价值从
3. 计算 GAE:将当前及后续的 TD Error 衰减累积。
使用递推式:
从后往前计算,终止位置设
将第一步展开,就能看到它如何汇总后续信息:
所有结果放在一起:
| 时间步 | Return | TD Error | GAE | MC 优势估计 |
|---|---|---|---|---|
| 0 | 1 | 0.1 | 0.468 | 0.6 |
| 1 | 1 | 0.3 | 0.46 | 0.5 |
| 2 | 1 | 0.2 | 0.2 | 0.2 |
这里也能检查 GAE 与前面公式的关系:
- 令
:只保留当前 TD Error,得到 。 - 令
:累加全部后续 TD Error,得到 ,恰好等于 。 - 取
:后续 TD Error 按距离衰减,得到本例的 GAE。
这些 GAE 值随后作为固定权重,构造策略梯度的样本估计:
因此,环境给出的奖励,经由 TD Error 和 GAE,变成了更新语言模型时使用的权重。这里的 GAE 是优势估计,仍会受到轨迹随机性和 Critic 误差的影响。
六、Actor–Critic
Actor–Critic 是将策略优化与价值学习结合的强化学习框架。其中,Actor 根据状态选择动作,Critic 学习价值函数,并参与构造策略更新所需的优势估计。
它们通过下面这条过程联系起来:
本节采用状态价值型 Critic:
前面介绍的 TD 和 GAE,正是连接价值预测与策略更新的方法。
1. 基本结构
Actor 与 Critic 的分工如下。
| 组成部分 | 输出 | 学习任务 |
|---|---|---|
| Actor | 动作概率分布 | 调整动作选择,使期望回报提高 |
| Critic | 状态价值预测 | 估计执行当前策略能够获得的未来累计回报 |
奖励由环境或任务评价机制提供。Critic 根据奖励和状态转移数据学习价值,再与采样反馈共同构造优势估计:
因此,状态价值型 Critic 对策略学习的作用,需要通过优势估计体现。
Actor 与 Critic 可以采用独立网络,也可以共享特征提取网络、使用不同输出头。以下按参数相互独立的情形说明。
2. Actor 与 Critic 的优化目标
设第
2.1 Actor:利用优势调整策略
Actor 的基本经验损失为:
其中,
对
采用梯度下降时,每个样本的作用取决于优势符号:
:产生提高该动作对数概率的梯度贡献; :产生降低该动作对数概率的梯度贡献; :该样本不提供直接的策略更新信号。
实际参数更新由整个批次的梯度共同决定,因此,上述方向不构成每个动作概率变化的逐项保证。
这一损失用于构造策略更新方向,其数值本身不等于负的期望回报,持续降低同一批数据上的损失也不保证策略性能持续提高。Spinning Up:策略优化
2.2 Critic:拟合回报目标
记根据采样数据构造的回报目标为
采用上一章的 GAE 时,一种配套的回报目标为:
该目标必须使用同一采样阶段的价值预测和未经标准化的 GAE构造,并在当前批次的优化过程中保持固定。它通常不等于实际累计回报
Actor 与 Critic 分别执行:
其中,
2.3 协同学习过程
某一步,Actor 选择一个动作,采样阶段的价值预测与优势估计分别为:
该样本在两个学习任务中具有不同作用。
对于 Actor,
对于 Critic,回报目标为:
对应损失项:
因此,同一批交互数据既用于调整动作选择,也用于改进价值预测。其基本过程为:
策略更新后,后续动作的分布随之改变,价值函数需要继续跟踪新的策略;改进后的价值预测又参与下一轮优势估计。
这一协同机制尚未规定策略更新幅度,也未解决旧数据如何用于多轮策略更新的问题。PPO 将进一步设计 Actor 的优化目标,对这两个问题作出处理。
七、PPO(Proximal Policy Optimization)
1. PPO 的核心思想与目标
Actor–Critic 利用优势估计确定策略更新的方向,但更新幅度同样影响训练效果。即使更新方向合理,过大的策略变化也可能使性能下降。
PPO(Proximal Policy Optimization,近端策略优化)的核心思想,是在利用采样数据改进策略的同时,抑制过大的策略更新。 Schulman 等提出的原论文包含裁剪代理目标和自适应 KL 惩罚两种构造,本节重点讨论 PPO-Clip。PPO 原论文,§3–4
1.1 多轮优化
这里首先介绍一种多轮优化的参数更新的技巧。
多轮优化(multi-epoch optimization):对同一批数据完整遍历多轮。
其主要目的之一,确实是降低对采样的需求,提高样本利用率。 环境交互或 LLM 回答生成可能很昂贵,因此希望一批数据支持多次更新。代价是增加梯度计算,并需要控制策略偏离采样策略的程度。
这种方法的核心思想就是:采样一次,固定这批数据和优势估计,连续更新模型多次。
设旧策略
用这批数据构造目标:
然后连续执行:
这就是三步优化。三次更新的区别如下:
| 更新 | 使用的样本和优势 | 用哪个模型计算概率与梯度 |
|---|---|---|
| 第一次 | 固定的 | |
| 第二次 | 同一批 | |
| 第三次 | 同一批 |
固定的是样本与优势,变化的是计算样本概率的模型。 每次都重新计算梯度,中间没有采集新轨迹。
例如,采集
每个样本被使用
对应到 LLM,就是:旧模型先生成一批回答并计算优势;更新参数后,仍然使用这些回答,重新计算它们在当前模型下的对数概率,再进行下一次更新。
问题出现在第二次及后续更新:模型已经变成
对于这个方法,PPO 原论文使用了更具体的表述:多轮小批量更新(multiple epochs of minibatch updates)。它是一种训练方式,并非一个独立算法的专有名称。PPO 原论文
1.2 策略更新的局部性
上一节的 Actor 损失,对应于最大化以下经验目标:
其中,样本由更新前的策略采集,
记采样策略为:
在本轮优化中:
固定,作为生成当前批次数据的策略; 固定,作为当前批次的优势估计; 随参数更新而改变。
优势估计所评价的是:在旧策略下,某个动作相对于该状态的平均表现好多少。
随着策略改变,后续动作分布以及状态访问分布也会改变。因此,在旧策略数据上得到的更新方向具有局部意义。若直接对同一批数据上的
PPO 原论文指出,对普通策略梯度目标直接进行多步优化,可能造成破坏性的过大更新。因此,PPO 需要同时处理两个问题:
- 在目标中显式表示新旧策略的差异;
- 当某些动作概率已经沿优势方向变化较大时,减弱继续推动这种变化的激励。PPO 原论文,§2.1
1.3 概率比与代理目标
(1)新旧策略的概率比
对旧策略采样得到的状态—动作对
这里使用
(2)概率比的作用
概率比具有重要性采样权重的形式。
固定状态
据此,利用旧策略数据构造经验代理目标:
该式对应 PPO 原论文式(6)中的
这里修正的是给定状态下的动作分布,状态仍来自旧策略采集的数据。因此,这一目标保留了旧策略的状态采样分布,属于对策略性能的局部代理。这种处理与 TRPO 中的局部近似一致。TRPO 原论文,§2
(3)与策略梯度的关系
注意:
原策略梯度目标的梯度为:
概率比代理目标的梯度为:
二者相差一个概率比因子
在更新起点
在使用相同样本、优势和权重的条件下,这与上一节基本 Actor 损失的负梯度一致。
不过,单独最大化
1.4 PPO-Clip 的裁剪目标
(1)目标函数
设裁剪参数为
PPO-Clip 的目标为:
这是 PPO 原论文式(7)。其中,未裁剪项保留原来的代理目标,裁剪项限制沿优势方向继续改善时能够获得的目标值,再由
若采用梯度下降,Actor 对应的损失为:
以下讨论均以最大化
(2)正优势:限制概率过度增加的激励
记单个样本的目标为
即:
在
当
另一方面,若概率朝不利方向降低,即使
(3)负优势:限制概率过度降低的激励
当
即:
在
当
若概率朝不利方向增加,即使

1.5 自适应 KL 惩罚
自适应 KL 惩罚构造通常称为 PPO-Penalty。其基本思想是:在策略代理目标中扣除新旧策略的 KL 散度,并根据实际更新幅度调整惩罚强度,使每轮策略变化接近预设目标。
在未裁剪的代理目标中加入这一惩罚:
其中,
最大化该目标时,两部分分别发挥作用:
:推动策略向优势估计指示的方向改变; :降低偏离旧策略所能获得的净收益。
在 PPO 原论文中,自适应 KL 惩罚作为一项 baseline,在实验中的表现不如 Clip。
2. PPO 的完整训练流程
训练伪代码
markdown
初始化 Actor 参数 θ、Critic 参数 φ
对每一轮采样迭代 k:
1. 以当前参数确定采样策略和采样阶段价值函数
2. 固定参数,与环境交互,保存:
状态、动作、奖励、实际后继状态、边界标记、
旧动作对数概率、旧价值预测
3. 沿各环境的时间顺序计算原始 GAE
4. 由原始 GAE 和旧价值预测构造回报目标
可选:标准化供 Actor 使用的优势
5. 对当前数据执行至多 K 个优化 epoch:
打乱样本并划分小批量
对每个小批量:
重新计算当前动作对数概率和当前价值
使用固定旧对数概率计算概率比
计算策略损失、价值损失和可选熵奖励
反向传播并更新参数
若触发提前停止条件:
结束本批次剩余优化
6. 使用更新后的策略开始下一轮采样其中,一次采样迭代、一次优化 epoch 和一次参数更新是不同层次:
- 一次采样迭代:收集一批新数据,并完成围绕该批数据的优化;
- 一次优化 epoch:完整遍历该批数据一次;
- 一次参数更新:利用一个小批量执行优化步骤。
本轮优化结束后,下一轮使用更新后的策略重新采集轨迹。新轨迹可以包含相同的初始任务或提示词,但其动作由新的策略生成。
八、RLHF 与 GRPO
1. RLHF:人类偏好与奖励建模
RLHF(Reinforcement Learning from Human Feedback,基于人类反馈的强化学习)利用人类评价提供目标信息,并将其转化为策略优化所需的学习信号。
对于开放式语言任务,回答质量往往涉及正确性、相关性、清晰度和指令遵循等多个方面,难以完全用固定规则定义奖励。经典 RLHF 的处理方式是:先根据人类的反馈学习一个奖励模型,再利用该模型评价新回答,指导语言策略更新。
1.1 经典 RLHF 流程
以 InstructGPT 为例,训练过程包含三个主要阶段:
| 阶段 | 训练数据 | 学习目标 |
|---|---|---|
| 监督微调(SFT) | 提示词与高质量示范回答 | 提高示范回答的条件概率 |
| 奖励建模(RM) | 同一提示词下多个回答的人类偏好比较 | 学习预测人类比较结果的评分函数 |
| 强化学习(RL) | 提示词、策略生成的回答及其奖励 | 调整生成策略,提高正则化后的期望奖励 |
InstructGPT 采用了示范微调、偏好数据训练奖励模型、PPO 优化策略的三阶段结构。InstructGPT 原论文,§3.5
1.2 偏好数据与奖励模型
1.2.1 成对偏好的表示
设提示词为
对于具有明确偏好方向的样本,通常将较优回答记为
1.2.2 从评分差到偏好概率
设提示为
它读取提示词和回答,输出一个标量。实现上,可以使用语言模型编码输入,再通过标量输出头产生评分。
为了利用比较标签训练该函数,需要建立评分与偏好之间的关系。自然地,若
常用的 Bradley–Terry 模型定义:
其中:
这一定义将评分差映射为比较概率:
- 两个回答评分相同,预测偏好概率为
; 的评分更高,预测其胜出的概率大于 ; - 评分差越大,模型对这一比较结果越有信心。
1.2.3 奖励模型的结构
一种常见结构是:保留预训练或 SFT 模型的 Transformer 主干,将词表预测头替换为标量评分头。InstructGPT 采用的就是这种方法。InstructGPT,§3.5 与附录 C
以解码器模型为例,可以取回答末尾有效 token 的隐藏表示
其中
因此,从网络结构看,它可以具有大语言模型的主干;从当前任务看,它执行的是回答评分。Bradley–Terry 方法本身不要求采用大语言模型,其他能够处理输入并输出标量的网络也可以使用。
1.2.4 奖励模型的训练目标
对于一条标注为
这是一种二分类交叉熵形式。InstructGPT 的奖励模型采用了这一类成对比较损失。InstructGPT 原论文,式(1)
记单个样本的评分差为:
则该样本的损失为:
进一步,对两个输出分数分别求导:
从单个样本对输出分数的梯度看,梯度下降会推动优选回答的评分升高、另一回答的评分降低。实际网络参数更新由整个训练批次共同决定。
1.3 利用奖励模型优化语言策略
1.3.1 从偏好评分到奖励信号
奖励模型训练完成后,便可以评价没有人工比较标签的新回答:
在仅有末端任务奖励的设定中,可以将这一分数放在回答结束的位置,再结合参考策略正则项,构造训练奖励、回报和优势
在这一阶段,奖励模型通常冻结。更新对象是生成回答的 Actor,以及所选算法需要的其他可训练部分,例如 PPO 中的 Critic。
在典型的 RLHF 实现中,可以从 SFT 模型分别构建:
| 模型 | 输出头与输出 | PPO 阶段是否更新 |
|---|---|---|
| 策略模型 | 词表预测头,输出下一个 token 的概率分布 | 更新 |
| 参考模型 | 词表预测头,输出下一个 token 的概率分布 | 固定 |
| 奖励模型 | 标量评分头,为完整回答输出一个实数 | 通常固定 |
奖励模型先通过偏好数据训练;随后,它为 PPO 提供奖励。参考模型通常保留 SFT 模型的参数,作为策略行为的参照。InstructGPT,§3.5
对于仅有末端奖励的任务,PPO 的优化目标:
1.3.2 带参考策略约束的优化目标
仅提高奖励模型分数,可能推动策略偏离原有语言行为。常见做法是引入固定参考策略
其中:
是强化学习阶段的提示词分布; - 第一项鼓励生成高奖励回答;
- 第二项对偏离参考策略的行为施加代价
在相应支持条件和可积条件成立时,这一目标也可写成:
原因是对数概率比在当前策略分布下的期望等于相应 KL 散度。
1.3.3 可验证奖励:RLVR
部分任务具有可以自动检查的结果。例如:
- 数学题的最终答案能与标准答案比较;
- 生成程序可以运行测试;
- SQL 查询结果可以与预期结果比较。
此时,可以直接使用验证器提供奖励。例如:
这类训练通常称为 RLVR(Reinforcement Learning with Verifiable Rewards,基于可验证奖励的强化学习)。
DeepSeek-R1-Zero 在数学、代码等任务中使用规则奖励,根据答案检查和预设测试等提供正确性反馈。DeepSeek-R1 原论文,§2.2
| 比较维度 | 基于偏好奖励模型的 RLHF | RLVR |
|---|---|---|
| 奖励依据 | 从人类比较中学习的偏好评分 | 验证器、测试或明确规则 |
| 适合评价的内容 | 有用性、表达质量、任务适配等 | 能够通过明确程序检查的结果 |
| 主要局限 | 标注偏差、泛化误差、奖励过度优化 | 验证规则与测试覆盖不完整 |
| 奖励模型的需求 | 本节所述流程需要学习奖励模型 | 可直接使用验证器,无须偏好奖励模型 |
2. GRPO 的核心思想与目标
GRPO(Group Relative Policy Optimization,组相对策略优化)使用同一提示词下多条回答的奖励,构造组内相对优势,并结合 PPO 式裁剪更新策略。
其主要变化在于优势的来源:省去独立价值网络,利用同题回答之间的比较产生更新权重。
GRPO 由 DeepSeekMath 提出。原论文同时讨论结果监督与过程监督,本节采用每条完整回答获得一个结果奖励的设定。DeepSeekMath 原论文,§4.1

2.1 从价值基线到组内比较
在前述 Actor–Critic 方法中,优势通常根据奖励和 Critic 的价值预测构造。例如:
再通过 GAE 得到
这种方法需要训练价值函数,使其能够根据不同生成前缀预测后续回报。GRPO 改为对同一个提示词采样多条回答,直接比较它们的结果奖励
设提示词为
对每条回答计算奖励:
组内比较的依据是:
对相同任务,奖励高于本组平均水平的回答获得正向更新权重,低于平均水平的回答获得负向更新权重。
同一提示词限定了比较的任务条件。因此,组均值应根据该提示词对应的回答计算,而不是随意混合不同问题的奖励。
这里的组均值反映的是从同一个起始提示词生成完整回答的表现,并未预测每个中间前缀的未来价值。
2.2 组相对优势的构造
(1)组内中心化与标准化
对奖励组
当
优势的符号由
在结果监督版本中,同一回答的所有有效生成 token 使用相同优势:
其中,
注意,这里的
同一回答共享一个结果优势,表示整条生成轨迹获得共同的相对评价。它没有直接识别哪些 token 对成功起到了关键作用。不同 token 的实际梯度仍可不同,因为其条件概率和概率比不同。
2.3 GRPO 的裁剪策略目标
(1)Token 级概率比
在 prompt
定义 token 对应的状态与概率比:
本轮优化期间,回答、旧策略对数概率及组相对优势保持固定;当前策略概率随
(2)将组相对优势代入 PPO-Clip
对每个有效生成 token,构造:
其裁剪逻辑沿用 PPO:
:鼓励提高相应动作概率,超过上阈值后,该项进入平台; :鼓励降低相应动作概率,低于下阈值后,该项进入平台。
朝优势方向的反方向变化时,目标仍保留相应的纠正梯度。裁剪改变的是优化激励,概率比仍可能超出区间。
(3)回答内平均与组内平均
原始 GRPO 先对每条回答的 token 项取平均,再对组内回答取平均:
在更新起点
由于:
这一梯度也可写为:
因此,组相对优势通过回答的对数概率梯度产生更新。奖励及组统计量作为固定权重使用,梯度通过当前策略的概率计算路径传播。
2.4 参考策略 KL 正则与完整目标
(1)参考策略的作用
概率比
在原始 GRPO 中,先由任务奖励构造组相对优势,再将 KL 惩罚作为独立项加入目标。它与前面介绍的“先将参考策略惩罚加入训练奖励,再计算 GAE”的 PPO 配置,在计算路径上有所区别。DeepSeekMath 原论文,§4.1.1
(2)原论文采用的逐 token KL 惩罚形式
首先明确符号定义:
加入 KL 惩罚的损失:
首先介绍一种特殊的 KL 散度的构造方法:
由于恒等式:
将它加入期望不会改变结果:
而根据不等式:
因此,这种构造在保持期望不变的同时,使每个样本的估计值也非负。其中新增的零均值项
我们回到 GRPO 原文,常规 KL 惩罚:
令:
根据上面的推导,有:
原文使用单个采样 token 进行估计:
(3)完整代理目标
将裁剪策略项与 KL 惩罚组合,得到原始 GRPO 的目标结构:
其中:
采用梯度下降时,构造的代理损失为:
其中,
3. GRPO 的训练流程
3.1 成组采样与数据保存
(1)确定采样策略与评价机制
设本轮开始时的策略参数为
采样期间固定策略参数。抽取
本轮共有
(2)保存训练数据
对某条回答,保存的旧对数概率为:
若使用参考策略,则同时保存:
3.2 计算并固定组相对优势
对每个提示词分别计算组统计量:
沿用上一节的标准差约定,得到:
同一回答的所有有效生成 token 使用这一固定优势。
注意:
是根据相应的 和 组内其他的 计算得到的 。也就是说,虽然 都是在本轮更新前就固定了,但每轮小批量策略优化时的优势估计 是依赖分组的,每轮小批量策略优化时组优势都要重新计算。
3.3 小批量策略优化
(1)重新计算当前策略概率
优化阶段沿已保存的回答前缀,重新计算当前策略对采样 token 的对数概率:
由此得到概率比:
其中,旧对数概率固定,当前对数概率随参数更新。
若使用上一节的 KL 惩罚形式,令:
则:
(2)计算有效位置上的损失
沿用上一节的裁剪策略项:
设
对一个包含
当每个提示词均有相同的
(3)多轮更新与重新采样
可在同一批数据上执行
在这
- 旧策略对数概率固定;
- 参考策略对数概率固定;
- 优势固定;
- 当前策略对数概率、概率比和 KL 惩罚项重新计算。
完成本批优化后,使用更新后的 Actor 重新生成回答,计算新奖励和新组统计量。DeepSeekMath 原论文,Algorithm 1
3.4 完整算法与 PPO 比较
(1)基本训练循环
以下描述固定一个奖励评价器和参考策略阶段内的基本流程。
tex
初始化策略参数 θ
确定本阶段的奖励评价器和参考策略
对每一轮采样迭代:
1. 将当前策略确定为本轮旧策略
2. 抽取 N 个提示词
对每个提示词生成 G 条回答
3. 评价回答,并保存:
组标识、生成 token、奖励、有效掩码、
旧策略对数概率、参考策略对数概率
4. 根据完整同题组计算均值、标准差和优势
固定本轮优势
5. 对当前数据执行 K 个优化 epoch:
打乱回答并划分小批量
对每个小批量:
重新计算当前策略对数概率
计算概率比与参考策略惩罚项
按有效 token 和回答层次计算损失
反向传播并更新 θ
若触发设定的提前停止条件:
结束本批次剩余优化
6. 使用更新后的策略开始下一轮采样4. 训练中碰到的问题
使用 GRPO 在 gsm8k 数据上,基底模型 Qwen-2.5-7B-Instruct:

| 训练批次 | 平均奖励 | 平均回答 token | 格式有效率 | 零方差组比例 |
|---|---|---|---|---|
| 1–100 | 90.50% | 190.54 | 98.42% | 84.83% |
| 101–200 | 92.04% | 198.59 | 99.33% | 87.50% |
| 201–300 | 95.17% | 196.21 | 99.50% | 90.17% |
| 301–400 | 94.21% | 196.02 | 99.67% | 89.33% |
| 四个回答的奖励情况 | 题目组数 | 比例 |
|---|---|---|
| 全部正确 | 2,049 | 85.38% |
| 正确与错误混合 | 289 | 12.04% |
| 全部错误 | 62 | 2.58% |
组内标准化使全对、全错组的优势均为 0。
直接获得非零正确性奖励优势的回答仅有 1,156 个,占全部回答的 12.04%。
400 个批次中有 176 个没有非零奖励优势。
对于一道固定问题,假设单次采样回答正确的概率为 p,奖励只有 0/1,每组独立采样 G 次,那么:
两项分别对应“全部正确”和“全部错误”。例如
:零方差概率为 。 :零方差概率为 。
因此,正确率接近 1 时,大量全对组没有相对排序信号;正确率接近 0 时,大量全错组也有同样的问题。GRPO 在 p 极端时会出现大量样本奖励信号消失的情况,这里尤其需要注意训练的早期与训练后期。
这是 GRPO 后续研究中的明确问题,常见关键词是 zero-variance prompts(零方差题目组)、advantage vanishing(优势消失) 和 reward saturation(奖励饱和)。下面四篇与这个观察直接相关。
DAPO: An Open-Source LLM Reinforcement Learning System at Scale (https://arxiv.org/abs/2503.14476),2025
最值得先读 §3.2 Dynamic Sampling。论文明确指出:随着全对组增多,每批提供有效策略梯度的题目减少,影响样本效率。
做法是过滤全对、全错组,继续采样,直到凑够具有奖励差异的有效组。它保证了每次更新的有效组数量,但被过滤回答的生成成本已经付出。
Act Only When It Pays: Efficient Reinforcement Learning for LLM Reasoning via Selective Rollouts(https://arxiv.org/abs/2506.02177),2025;方法名 GRESO
进一步针对上述生成成本:利用题目过去的奖励变化,在生成之前预测并跳过可能仍为零方差的题目,同时保留一定探索概率,避免永久排除题目。
它更直接对应你关心的“花了大量采样算力,却没有得到更新信号”。
No Prompt Left Behind: Exploiting Zero-Variance Prompts in LLM Reinforcement Learning via Entropy-Guided Advantage Shaping (https://arxiv.org/abs/2509.21880),2025;方法名 RL-ZVP
这篇选择保留这些样本,修改优势计算:对正确和错误回答提供不同方向的反馈,再结合 token 层面的熵调整信号。
它强调一个重要区别:零方差组在原 GRPO 优势公式下没有信号,不代表这些回答本身没有学习价值。
Save Your Saturated Data: Learning Beyond Reward Saturation in Group-Based RL(https://arxiv.org/abs/2609.33126),2026 年预印本
研究场景与你描述的“初始模型已经很强,或者训练后期大量全对”尤其接近。论文比较从数据、生成、奖励和优势四个环节恢复学习信号的方法。
一个值得关注的结果是:仅仅制造非零方差,并不保证训练效果改善;负例需要具有有意义的错误轨迹,简单替换正确回答的最终答案可能适得其反。