Skip to content

强化学习 ​

SFT 的本质是让模型模仿示范回答,而不是直接最大化任务成功率。

那么,一个自然的问题是:

如果我们无法为每一步都提供标准答案,但可以判断整个任务最终是否成功,应该如何训练 LLM?

这就是强化学习(Reinforcement Learning)要解决的核心问题之一。

本阶段我们按照以下顺序学习:

模块核心问题
3.1 RL 的基本思想强化学习和 SFT 究竟有什么不同?
3.2 RL 的数学建模什么是 Agent、State、Action、Reward、Trajectory?
3.3 Return 与优化目标模型究竟想最大化什么?
3.4 Policy Gradient为什么奖励可以用于更新模型参数?
3.5 Value、Q 与 Advantage如何判断一个动作好不好?
3.6 PPO、GRPO 与 RLHF这些方法在 LLM 后训练中如何使用?
3.7 多轮 RL如何处理长期奖励与 Credit Assignment?

本次先完整建立强化学习的基本问题定义和核心优化原理。 后续再深入各种优化算法。

以下内容可以暂缓:

  • Bellman 方程的详细推导、Q-learning、Actor–Critic、PPO、GRPO。
  • DPO 的完整数学推导。
  • Beta/Dirichlet 后验、confidence sequences。
  • 自适应采样算法、复杂去偏方法。
  • 分布式训练系统和大规模工程优化。

一、强化学习的基本思想 ​

1.1 从监督学习到强化学习 ​

我们首先比较两个非常简单的训练场景。

场景 A:SFT

  • 用户输入:我想学习 SQL。
  • 示范回答:你是否有数据库基础?我们可以根据你的情况安排学习内容。
  • 目标:提高示范回答 a∗ 的概率
maxθlog⁡πθ(a∗∣u)

核心:已明确告诉模型应该生成什么。

场景 B:RL

  • 输入:我想学习 SQL。
  • 行动空间:无唯一标准回答,允许模型采取不同行动(如 :
    • a1:询问用户的 SQL 基础。
    • a2:直接讲解 SELECT。
    • a3:介绍复杂的数据库查询优化。
  • 奖励机制:根据多轮交互后用户是否完成任务给予奖励。
R={1,用户完成指定 SQL 任务,0,用户未完成任务.

核心:不模仿指定回答,而是调整策略以最大化期望累积奖励。


1.2 RL 与 SFT 的区别 ​

维度SFTRL
训练信号示范回答奖励
是否需要标准回复通常需要不一定需要
训练数据已收集的示范数据可通过策略与环境交互生成
优化目标示范回答的对数似然期望累积奖励
典型问题应该怎样回答?怎样行动才能获得更好的结果?

注意:RL 并不一定需要真实用户实时参与。环境可以是用户模拟器、数学验证器、代码执行器或者奖励模型。


二、RL 的核心数学建模 ​

这是本阶段最关键的基础。

在经典强化学习中,我们通常用马尔可夫决策过程(Markov Decision Process)描述 Agent 与环境的交互。

MDP 通常由以下五个要素构成:

M=(S,A,P,r,γ)

其中:

  • S:状态空间(State Space)
  • A:动作空间(Action Space)
  • P(s′∣s,a):状态转移概率
  • r(s,a,s′):奖励函数
  • γ:折扣因子

此外,Agent 具有一个策略:

πθ(a∣s)

表示在状态 s 下选择动作 a 的概率。

我们逐个映射到 LLM 对话场景。


2.1 Agent ​

Agent 是能够观察环境并选择动作的主体。

在 LLM 对话任务中:

Agent=LLM Assistant

但这里有一个需要区分的地方:

  • LLM 是参数化的语言模型。
  • Agent 是使用该模型执行动作并与环境交互的系统。

对于简单的纯文本对话任务,可以近似把二者视为同一个主体。

但如果 Agent 还具有工具调用、记忆管理、规划等能力,那么 Agent 不一定只包含 LLM 本身。


2.2 State ​

MDP 五元组 (S,A,P,r,γ) 里,S 是状态空间。状态是"做决策那一刻,Agent 能看到的全部情况"。它的核心性质是马尔可夫性:

只要当前状态确定了,未来怎么发展就和"以前是怎么走到这个状态的"无关了。

即 P(st+1∣st,at) —— 转移只需要看 st,不需要看更早的历史。所以状态的选取标准只有一个:它是否包含了决策所需的全部信息。

笔记插图

对话场景有个天然特点:没有任何一个单独的时刻能代表"当前情况",即环境真实处于哪个状态 st ,Agent 只能看到它"投射"出来的一个观测(observation)

在对话建模中,我们通常使用 ht 表示到第 t 次 Assistant 决策 at 前的前缀历史作为一次观测:

ht=(u1,a1,u2,a2,…,ut)

因此实际问题往往更接近部分可观测马尔可夫决策过程(POMDP)。

不过,如果历史信息足以表征决策所需的信息,那么使用历史状态进行分析是一个常见且有用的建模方式。


2.3 Action ​

在传统 RL 中,Action 可能是机器人向左移动、向右移动,或者游戏角色执行某种操作。

对于对话 LLM,我们可以从两个粒度定义 Action。

第一种:Token-level Action

每生成一个 Token 就是一次动作:

at∈V

其中 V 是词表。

第二种:Turn-level Action

将一整条 Assistant 回复看成一个动作:

at=(yt,1,…,yt,Lt)

对于研究多轮对话任务成功率,Turn-level Action 通常更直观。不过它仍然由 Token-level 的自回归生成构成:

πθ(at∣ht)=∏j=1Ltpθ(yt,j∣ht,yt,<j)

2.4 Environment ​

Environment 负责接收 Agent 的动作,产生后续观察结果,并提供奖励信号。

在多轮对话中,环境可以包括:

  • 用户或用户模拟器
  • 外部工具或数据库
  • 对话任务的规则和状态
  • 任务成功与失败的判定机制

例如:

ht→AssistantatEnvironment→ ut+1 ht+1

如果用户回复具有随机性,可以用下面的条件分布描述:

Penv(ut+1∣ht,at)

这就是环境转移机制的一部分。

值得注意的是,用户的下一条回复并不是 Agent 自己能够直接控制的动作。Agent 只能通过自己的回复间接影响用户接下来会说什么。


2.5 Reward:如何评价动作的效果? ​

Reward 衡量某种状态转移或行动结果的好坏。

奖励可以在每一步产生:

rt=r(ht,at,ht+1)

也可以只在对话结束时给出一个最终奖励:

R(τ)

例如,一个 SQL 教学任务可以定义:

R(τ)={1,用户最终正确完成 SQL 测试0,否则.

这是一种 Terminal Reward(终止奖励)。它的特点是:模型可能进行了多次回复,但最终只收到一个成功或失败信号。

这里就出现一个重要困难:

如果最终任务失败,我们怎么知道是第一轮问错了问题,还是第三轮解释不清楚?

这就是 Credit Assignment(信用分配)问题。


2.6 Trajectory:完整交互轨迹 ​

我们把 Agent 与环境从开始到结束的一段交互称为 Trajectory。

对于一个有 T 次 Assistant 回复的对话:

τ=(u1,a1,u2,a2,…,uT,aT)

为简化记号,这里暂不显式写出工具结果、环境内部状态和终止标记。

笔记插图

s0→π(a1∣s0)s1→π(a2∣s1)Enveval→R(τ)

这条轨迹可能得到 R(τ)=1。但是,模型下一次面对相同的初始问题,可能作出完全不同的选择,导致另一条轨迹:

τ′≠τ

并且 R(τ′)=0。因此,强化学习需要考虑的是由当前策略生成的大量可能轨迹的整体表现,而不是单条轨迹的结果。


三、Policy 与优化目标 ​

现在我们进入本次最重要的数学表达。

3.1 Policy ​

在强化学习中,Policy(策略)规定 Agent 在某个状态下如何选择动作:

πθ(a∣s)

对于 LLM:

πθ(at∣ht)

其中 θ 就是模型可训练的参数。

注意,策略不是一句自然语言规则,而是一个参数化的条件概率分布。

例如,在相同上下文下,模型可能产生以下行为:

动作策略概率
询问用户是否有 SQL 基础0.6
直接开始讲 SELECT0.3
讲数据库底层存储原理0.1

这是为了说明概念而构造的离散动作示例,并不意味着 LLM 实际只会生成这三个回答。

强化学习的目标是调整 θ,使模型更倾向于采取那些能带来较高长期收益的行为。

注意,不是每次得到高奖励,就无条件增加整条轨迹中所有动作的概率。实际训练还需要处理采样方差、信用分配、策略约束等问题。


3.2 Return ​

Reward 和 Return 是两个不同概念。

Reward 通常表示某一个时间步获得的奖励 rt。

Return 表示从某个时间步开始,未来奖励的累积:

Gt=∑k=tTγk−trk,0≤γ≤1

其中,γ 称为 Discount Factor(折扣因子)。它决定我们如何权衡较近和较远的奖励。

这个区别有两个需要记住的地方:

  • Reward 是某一步获得的反馈,而 Return 是未来奖励的累积。

  • 如果对话只在结束时给出最终奖励,而且设置 γ=1,那么整段轨迹的 Return 就等于最终奖励。

这也是我们后面讨论多轮对话任务成功率时经常采用的简化设定。


3.3 核心优化目标 ​

设一条完整轨迹的累积奖励为 R(τ),那么强化学习的目标可以写成:

J(θ)=Eτ∼pθ(τ)[R(τ)]

我们希望:

θ∗=arg⁡maxθJ(θ)

这里的核心是:期望是对策略和环境共同产生的随机轨迹取的。

对于初始任务分布 p0(u1),若忽略终止机制的显式记号,一条多轮对话轨迹的概率可以分解为:

pθ(τ)=p0(u1)∏t=1Tπθ(at∣ht)∏t=1T−1Penv(ut+1∣ht,at)

这个式子很重要,因为它说明轨迹不仅由模型决定,还受到用户和环境反馈的影响。

一个简单的例子

假设模型只有两种可能动作:

  • aA:询问用户基础,获得奖励 E[R∣aA]。
  • aB:直接讲高阶内容,获得奖励 E[R∣aB]。

设策略选择 aA 的概率为 p:

πθ(aA)=p,πθ(aB)=1−p

那么:

J(θ)=pE[R∣aA]+(1−p)E[R∣aB]

3.4 奖励如何更新模型参数 ​

你可能会产生一个问题:

SFT 有标准答案,可以直接计算 Cross-Entropy Loss。但是 RL 只知道最终奖励,模型凭什么知道应该更新哪些参数?

这是强化学习算法最核心的数学问题。

对于可微的随机策略,一种经典的解决方法是 Policy Gradient(策略梯度)。

我们先不深入 PPO 和 GRPO,理解最基础的数学关系。

从目标函数出发:

J(θ)=Eτ∼pθ(τ)[R(τ)]=∑τpθ(τ)R(τ)

在适当的正则性条件下,并假设环境机制和奖励函数对于给定轨迹不直接依赖 θ,求导得到:

∇θJ(θ)=∑τR(τ)∇θpθ(τ)

使用对数导数恒等式:

∇θpθ(τ)=pθ(τ)∇θlog⁡pθ(τ)

得到:

∇θJ(θ)=∑τR(τ)pθ(τ)∇θlog⁡pθ(τ) =Eτ∼pθ(τ)[R(τ)∇θlog⁡pθ(τ)]

因为环境的转移概率不直接由模型参数 θ 控制,只与策略 πθ 有关:

∇θlog⁡pθ(τ)=∑t=1T∇θlog⁡πθ(at∣ht)

所以:

∇θJ(θ)=Eτ∼pθ[R(τ)∑t=1T∇θlog⁡πθ(at∣ht)]

这就是经典 REINFORCE 策略梯度形式的一种表达。

它告诉我们:

即使最终奖励本身不可微,我们仍然可以通过模型生成这些动作的对数概率来估计目标函数对模型参数的梯度。

但是,你现在只需要先理解它的直观含义:

  1. 根据当前 Policy 生成对话轨迹。
  2. 使用环境或评估器计算奖励。
  3. 利用奖励与生成动作的对数概率,构造策略梯度估计。
  4. 更新模型参数,以提高期望奖励。

真正的训练中,通常会引入 Baseline、Advantage、KL 约束以及其他稳定化技术。它们的主要作用包括降低梯度估计方差、改善优化稳定性以及限制策略发生过大变化。


四、Value、Q 与 Advantage ​

上一章节我们建立了强化学习的基本目标:

J(θ)=Eτ∼pθ(τ)[R(τ)]

也就是说,强化学习的目标是调整 Policy,使其生成的对话轨迹获得更高的期望奖励。

但还有一个关键问题没有解决:

如果一段多轮对话最终获得奖励 R=1,我们怎样判断其中某个 Assistant 回复究竟是好还是坏?

这就是本节三个核心概念要解决的问题:

  • Value Function Vπ(s):当前状态未来有多大价值?
  • Q Function Qπ(s,a):在当前状态采取某个动作,未来有多大价值?
  • Advantage Aπ(s,a):这个动作比当前策略的平均表现好多少?

这三个量是理解 Policy Gradient、Actor-Critic、PPO、GAE 以及多轮信用分配的基础。


假设我们正在训练一个 SQL 教学 Agent。

用户说:

我没有数据库基础,想在今天学会最基本的 SQL 查询。

这是 Agent 当前的决策状态 s。

同一个状态下的两个候选,模型可以选择不同的回复:

Action A:循序教学策略概率 60%
“我们先从 SELECT、FROM 开始,并用一个简单练习检查理解。”
Action B:直接讲复杂内容策略概率 40%
“我们从窗口函数、复杂 JOIN 和查询优化开始。”
Agent 回复之后,用户会继续互动,最后我们检查用户是否完成了 SQL 学习任务。

假设经过大量模拟实验,我们估计:

Action最终任务成功概率
A:循序教学80%
B:复杂教学50%

如果每条对话最终获得:

R(τ)={1,任务成功0,任务失败

那么这两个成功概率,也可以理解为选择相应动作后、继续执行当前策略时的期望最终奖励。

现在我们就可以定义 V、Q 和 A 了。


4.1 Value Function ​

1. 定义 ​

State Value Function(状态价值函数)定义为:

Vπ(s)=Eπ[Gt∣St=s]

其中:

  • s 是当前状态;
  • π 是当前策略;
  • Gt 是从当前时间步开始的累积奖励(Return);
  • Eπ 表示未来动作按照策略 π 选择,并结合环境的随机反馈取期望。

直观理解:

当 Agent 处于状态 s 时,如果之后一直按照当前 Policy 行动,预计最终能获得多少奖励?


2. 两个重要性质 ​

第一,Value 与 Policy 有关。

即使状态 s 没有改变,只要模型策略变化,Vπ(s) 就可能改变。

第二,Value 不等于即时 Reward。

用户刚刚提出 SQL 学习需求时,Agent 尚未获得任何最终成功奖励,但当前状态仍然可以具有较高的未来价值。

这是因为 Vπ(s) 考虑的是未来的累计回报,而不只是当前时刻已经收到的奖励。


4.2 Q Function ​

1. 定义 ​

Action Value Function(动作价值函数),通常记为 Qπ(s,a)。

Qπ(s,a)=Eπ[Gt∣St=s,At=a]

这个定义与 Vπ(s) 的唯一区别,是额外指定了当前动作 a。

直观理解:

假设当前 Agent 必须选择动作 a,然后后续继续按照策略 π 行动,预计最终能获得多少奖励?

注意这个时间顺序:

  1. 当前状态为 s。
  2. 指定当前选择动作 a。
  3. 环境返回反馈并更新状态。
  4. 后续动作继续按照 π 选择。
  5. 统计未来累计奖励的期望。

所以,Qπ(s,a) 不是只评价这一句话本身的语言质量,而是评价这句话对未来整个交互结果的影响。

2. V 与 Q 之间的数学关系 ​

如果动作空间是离散的:

Vπ(s)=∑aπ(a∣s)Qπ(s,a)

(利用 EX=E(E(X∣Y) )

也就是说:

State Value 等于当前策略对各个 Action Value 的概率加权平均。


4.3 Advantage ​

这是本节最核心的概念。

1. 定义 ​

Advantage Function(优势函数)定义为:

Aπ(s,a)=Qπ(s,a)−Vπ(s)

这个式子非常直观:

Advantage=指定动作的期望回报−当前策略的平均期望回报

因此:

  • Aπ(s,a)>0:该动作优于当前策略的平均水平。
  • Aπ(s,a)<0:该动作劣于当前策略的平均水平。
  • Aπ(s,a)=0:该动作与平均水平相当。

2. 一个重要的数学性质 ​

将 Advantage 按当前策略求期望:

Ea∼π(⋅∣s)[Aπ(s,a)]=∑aπ(a∣s)[Qπ(s,a)−Vπ(s)]=∑aπ(a∣s)Qπ(s,a)−Vπ(s)=Vπ(s)−Vπ(s)=0

这意味着:

在固定状态下,当前策略所选动作的真实 Advantage 的期望恒为 0。


4.4 如何把 V、Q、A 用于训练? ​

现在有一个实际问题:

在真实 LLM 训练中,我们不知道精确的 Qπ(s,a) 或 Vπ(s),那么这些值从哪里来?

这里需要严格区分:

  • 真实价值函数:定义在策略与环境概率分布上的数学期望。
  • 价值估计:通过采样数据或学习模型获得的近似值。

1. Monte Carlo 估计 Q ​

之前定义了 Action Value Function:

Qπ(s,a)=Eπ[Gt∣St=s,At=a]

但有一个问题:Q 是未来累计奖励的条件期望,而我们实际运行一次对话,只能观察到一次具体的奖励。怎样利用这些有限的观测结果估计 Q?

Monte Carlo(蒙特卡洛方法,简称 MC)的基本思想就是:

在相同的决策条件下进行多次随机模拟,获得多个可能的未来结果,用这些结果的样本均值估计未知的期望。

我们依次理解它的数学原理、实际操作和估计误差。


(1) 具体步骤

设我们从状态 s 出发,强制执行动作 a,然后按照策略 π 完成后续交互。

每次交互都会得到一个 Return:

G(1),G(2),…,G(N)

上标表示第几次独立模拟,并不是对话的时间步。

在固定 s,a,π 以及环境机制的条件下,如果这些模拟是独立且同分布的,那么:

E[G(i)]=Qπ(s,a)

根据大数定律,在 Return 的期望存在时:

1N∑i=1NG(i)→a.s.Qπ(s,a)

因此,我们得到 Monte Carlo 估计量:

Q^Nπ(s,a)=1N∑i=1NG(i)

这就是 MC 估计 Q 的核心公式。它不要求我们事先知道环境的完整转移概率。我们只需要能够采样未来轨迹,并计算每条轨迹的 Return。

以终止奖励为例,假设一共模拟 10 次,最终奖励 Return 为:

1,1,0,1,1,1,0,1,1,1

8 次成功,2 次失败。那么:

Q^π(s,a)=110∑i=110R(i)=0.8

这里得到的是对 Qπ(s,a) 的 Monte Carlo 估计,很明显,这是一个无偏估计。


(2) 估计量的方差

Var(Q^Nπ(s,a))=Var(1N∑i=1NG(i))=1N2∑i=1NVar(G(i))=σG2N.

采样次数越多,估计通常越稳定,但误差缩小的速度是 1/N,而不是 1/N。


2. Critic 估计 V ​

Vπ(st)=Eπ[Gt∣St=st]

如果每个状态都要反复模拟大量轨迹,计算成本会很高。

因此,Actor-Critic 方法通常引入一个 Value Network(价值网络),也称 Critic。

我们训练一个参数为 ϕ 的函数近似器:

Vϕ(st)≈Vπ(st)

这个函数近似器就是 Critic。

Critic 可以通过轨迹数据学习预测未来 Return。假设我们使用当前 Policy,与环境交互 N 次,收集到:

D={(st(i),Gt(i))}i=1N

每条记录包含:

  • st(i):某次决策前的对话状态。
  • Gt(i):从该状态开始,本次轨迹最终获得的 Return。

于是可以训练 Critic:

LV(ϕ)=1N∑i=1N(Vϕ(st(i))−Gt(i))2

表面上看,这只是一个普通的回归问题。但有个疑问:

我们真正想预测的是 E[Gt∣St=s],为什么却使用随机的单次 Gt 作为训练标签?

答案在于平方误差最小化的一个基本性质。


(1) 数学推导:条件期望是 MSE 的最优预测 ​

考虑任意一个固定状态 s。假设 Critic 对这个状态的价值预测为一个确定的数 v。

我们希望选择 v,使得:

minvE[(Gt−v)2∣St=s]

定义:

μ(s)=E[Gt∣St=s]

我们可以将平方误差写成:

Gt−v=(Gt−μ(s))+(μ(s)−v)

展开:

(Gt−v)2=(Gt−μ(s))2+2(Gt−μ(s))(μ(s)−v)+(μ(s)−v)2.

两边对条件 St=s 取期望:

E[(Gt−v)2∣s]=E[(Gt−μ(s))2∣s]+2(μ(s)−v)E[Gt−μ(s)∣s]+(μ(s)−v)2.

根据条件期望定义:

E[Gt−μ(s)∣s]=0

因此中间项消失:

E[(Gt−v)2∣s]=Var(Gt∣s)+(v−μ(s))2

其中,第一项与 v 无关。所以,当且仅当:

v=μ(s)

时,条件期望平方误差取得最小值。即:

arg⁡minvE[(Gt−v)2∣St=s]=E[Gt∣St=s]=Vπ(s)

这就是 Critic 使用 MSE 学习 Value Function 的数学依据。

它不是要求 Critic 精确预测某一次交互最终成功还是失败,而是使其学会预测:在当前状态下,未来 Return 的平均水平。


(2) 推广到神经网络 ​

对于所有可能状态,我们希望找到一个函数 f(s),使得:

minfE[(Gt−f(St))2]

在所有可测且平方可积的函数中,理论最优解为:

f∗(s)=E[Gt∣St=s]

因此,我们用神经网络 Vϕ(s) 近似 f∗(s)。

在模型容量充足、数据具有代表性且优化充分的理想条件下,Critic 的预测能够逼近真实 Value。


3. 用采样 Return 估计 Advantage ​

真实 Advantage 定义为:

Aπ(s,a)=Qπ(s,a)−Vπ(s)

如果我们有:

  • 当前轨迹的实际 Return Gt;
  • Critic 给出的 Vϕ(st);

就可以构造一种简单的 Advantage 估计:

A^t=Gt−Vϕ(st)

这就是最简单的 Monte Carlo Advantage 估计。


(1) 严格证明它为什么合理 ​

暂时假设 Critic 的参数 ϕ 已经固定,所以在给定 st 时,Vϕ(st) 是一个确定值。

对 A^t 在固定状态和动作下取条件期望:

E[A^t∣st,at]=E[Gt−Vϕ(st)∣st,at]=E[Gt∣st,at]−Vϕ(st)=Qπ(st,at)−Vϕ(st).

假设 Critic 是准确的 Vϕ(st)=Vπ(st),那么:

E[A^t∣st,at]=Aπ(st,at).

这个结论成立的条件是 Critic 准确且未来轨迹按目标策略采样。

因此,当 Critic 准确时,Gt−Vϕ(st) 是真实 Advantage 的条件无偏 Monte Carlo 估计。

如果 Critic 不准确,令:

εϕ(s)=Vϕ(s)−Vπ(s)

则:

E[A^t∣s,a]=Aπ(s,a)−εϕ(s)

这也揭示了 Advantage 估计误差的两个来源:

  • Return 的采样随机性带来的方差。
  • Critic 预测不准确带来的偏差。

4. Advantage 指导 Policy Gradient ​

上一章我们推导过 REINFORCE:

∇θJ(θ)=Eτ∼πθ[R(τ)∑t=1T∇θlog⁡πθ(at∣st)]

这里继续采用有限轮、无折扣、奖励在结束时给出的设定。你会发现,它直接使用了轨迹最终奖励 R(τ)。

但实际训练不会直接用这个形式,因为每个动作 at 只影响未来回报,不影响过去回报。所以更常用的是:

∇θJ(θ)=Eτ∼πθ[∑t=1T∇θlog⁡πθ(at∣st)Gt]

可以从数学上证明,这两个形式是等价的。

如果某些状态本身就很容易成功,那么高奖励未必意味着当前采取的动作特别优秀。

因此,我们希望从奖励中减去一个状态相关的基准值:

Gt−b(st)

其中 b(st) 被称为 Baseline。

通常选择:

b(st)=Vπ(st)

于是得到使用 Advantage 的 Policy Gradient 形式:

∇θJ(θ)=Eπ[∑t=1TAπ(st,at)∇θlog⁡πθ(at∣st)]

这是有限时域、无折扣设置下的一种准确表达。对于一般折扣奖励目标,需要处理对应的时间权重。

实际训练中,使用估计值替换真实 Advantage:

∇θJ^=1N∑i=1N∑tA^t(i)∇θlog⁡πθ(at(i)∣st(i))
(1) 直观理解这个梯度 ​

观察每一项:

Aπ(st,at)∇θlog⁡πθ(at∣st)
  • Aπ(st,at)>0:该项倾向于沿着提高该动作对数概率的方向更新。
  • Aπ(st,at)<0:该项倾向于降低该动作的对数概率

这正是强化学习更新策略的核心直觉:

增加相对优秀动作的概率,降低相对较差动作的概率。

不过,实际神经网络的参数在不同状态和动作之间共享,一次梯度更新的效果由所有样本共同决定,因此不能保证某个特定动作的概率每次都严格增加或减少。


(2) Baseline 的有效性 ​

假设我们不减去 Baseline:

  • 一个容易成功的状态下,动作得到高奖励。
  • 一个困难状态下,动作得到低奖励。

两者的差异可能部分来自状态本身的难度,而不是当前动作有多好。

引入状态价值作为 Baseline,相当于问:

这个动作的表现,是否超出了当前状态本来就能达到的平均水平?

这样可以减少由状态难度差异带来的部分噪声。即减小策略梯度估计量:

g=∇θlog⁡πθ(at∣st)Gt

的方差。

根据 Policy Gradient Theorem,采用奖励回报 Gt 的梯度表达式为

∇θJ(θ)=Eτ∼πθ[∑t=1T∇θlog⁡πθ(at∣st)Gt].

其中:

  • πθ(at∣st):状态 st 下选择动作 at 的概率。
  • Gt=∑k=tTγk−trk:从时刻 t 开始的折扣累计奖励。
  • ∇θlog⁡πθ(at∣st):策略的 Score Function。

为了简化表达,定义

Zt=∇θlog⁡πθ(at∣st).

原始梯度估计量为

g^=∑t=1TZtGt=∑t=1T∇θlog⁡πθ(at∣st)Gt.

引入状态相关的 Baseline 后:

g^b=∑t=1TZt(Gt−b(st)).

当选取状态价值函数作为 Baseline 时,

b(st)=Vπ(st)=Eπ[Gt∣st].

此时 Gt−Vπ(st) 是 Advantage 的一个 Monte Carlo 估计,因为

Aπ(st,at)=Qπ(st,at)−Vπ(st)

且

E[Gt−Vπ(st)∣st,at]=Aπ(st,at).

下面解释并证明减去 baseline 为什么有效。

(2.1) Baseline 不改变策略梯度的期望 ​

固定状态 st=s,有

E[Zt∣st=s]=∑aπθ(a∣s)∇θlog⁡πθ(a∣s)=∑a∇θπθ(a∣s)=∇θ∑aπθ(a∣s)=∇θ1=0.

因此,由于 b(s) 不依赖当前动作,

E[Ztb(st)]=E[b(st)E[Zt∣st]]=0.

所以

E[g^b]=E[g^]=∇θJ(θ).
(2.1) 单步梯度项:降低方差的证明与最优 Baseline ​

先考虑笔记中的单步梯度估计量:

gt=ZtGt,gt,b=Zt(Gt−b(st)).

因为梯度是向量,这里将“方差”定义为各分量方差之和:

Var(X):=trCov(X)=E[(X−EX)T(X−EX)]=E[∥X−EX∥2].

因此,下文的最优性指最小化这个总方差,不意味着每个梯度分量的方差都同时最小。

固定 st=s,记

mt(s)=E[ZtGt∣st=s].

由无偏性,mt(s) 与 Baseline 无关,故

Var(gt,b∣st=s)=E(∥gt,b−Egt,b∥2∣st=s)=E(∥gt,b∥2−∥Egt,b∥2∣st=s)=E(∥gt,b∥2∣st=s)−∥mt(s)∥2=E[∥Zt∥2(Gt−b(s))2∣st=s]−∥mt(s)∥2.

最小化梯度估计量的方差,等价于最小化一个带权平方误差:

minbE[∥Zt∥2(Gt−b)2∣st=s].

注意权重是 ∥Zt∥2,而不是普通的 Return 平方误差。

对 b 求导:

∂∂bE[∥Zt∥2(Gt−b)2∣st=s]=−2E[∥Zt∥2(Gt−b)∣st=s].

令导数为零,得到

bt∗(s)=E[∥Zt∥2Gt∣st=s]E[∥Zt∥2∣st=s].

二阶导数为

2E[∥Zt∥2∣st=s]>0,

因此,只要分母为正,这就是唯一最优解。若分母为零,则该状态下 Zt=0 几乎处处成立,Baseline 取什么值都不影响梯度项。

下面证明它确实降低方差。利用

Gt−b=(Gt−bt∗)+(bt∗−b),

展开平方,并使用最优解满足的条件

E[∥Zt∥2(Gt−bt∗)∣st=s]=0,

得到

Var(gt,b∣st=s)=Var(gt,bt∗∣st=s)+E[∥Zt∥2∣st=s](b(s)−bt∗(s))2.

右侧第二项非负,说明任意 Baseline 的方差都不小于最优 Baseline 的方差。

特别地,不使用 Baseline 就是 b=0,因此

Var(gt∣st=s)−Var(gt,bt∗∣st=s)=(E[∥Zt∥2Gt∣st=s])2E[∥Zt∥2∣st=s]≥0.

这就是最优 Baseline 能降低策略单步梯度估计量方差的严格证明。

因为条件均值也没有改变,再由全方差公式,逐状态使用这个最优解,也能使单步梯度项的无条件总方差不增。

直观上,Ztb(st) 是一个期望为零的控制变量。如果它能抵消 ZtGt 中的随机波动,就会降低方差;减得过多或方向不合适,也可能增大方差。

(2.3) 最优 Baseline 不一定是 Vπ(s) ​

价值函数是

Vπ(s)=E[Gt∣st=s].

它最小化的是

E[(Gt−b)2∣st=s],

而策略梯度方差对应的是

E[∥Zt∥2(Gt−b)2∣st=s].

两者的目标不同。实际上,

bt∗(s)=Vπ(s)+Cov(∥Zt∥2,Gt∣st=s)E[∥Zt∥2∣st=s].

因此:

  • 若 ∥Zt∥2 与 Gt 在给定状态下不相关,则 bt∗(s)=Vπ(s)。
  • 若 ∥Zt∥2 在给定状态下为常数,上述条件自然成立。
  • 一般情况下,最优 Baseline 是按梯度大小平方加权的平均回报。

这说明:即使价值函数完全准确,减去它也不保证梯度方差降低。

价值函数仍然是常用 Baseline,因为它有清晰的含义,并且可以通过普通的回报预测来学习。最优 Baseline 与价值函数的区别也见于 Greensmith 等人的方差降低研究。

(2.4) 对整条轨迹估计量,最优 Baseline ​

整条轨迹估计量,包含时间求和:

g^b=∑t=1TZt(Gt−b(st)).

这里存在不同时间梯度项之间的协方差,所以,逐项最优不自动等于总和最优。

为了允许每个时间步分别选择 Baseline,写成 bt(st);也可以把时间 t 纳入状态,继续使用 b(st) 的记法。令

B=∑t=1TZtbt(st),g^b=g^−B.

对于 t≠u,有

E[bt(st)bu(su)Zt⊤Zu]=0.

证明方法是:对较晚动作采样前的历史取条件期望。此时较早的梯度项和两个 Baseline 都已确定,而较晚的 Score Function 条件期望为零。

因此

E[∥g^b∥2]=E[∥g^∥2]−2∑t=1TE[bt(st)Zt⊤g^]+∑t=1TE[bt(st)2∥Zt∥2].

由于梯度期望不变,最小化该二阶矩就等价于最小化总方差。逐状态求导得到

bt,traj∗(s)=E[Zt⊤g^∣st=s]E[∥Zt∥2∣st=s].

将 g^=∑u=1TZuGu 代入:

bt,traj∗(s)=E[∥Zt∥2Gt∣st=s]+∑u≠tE[Zt⊤ZuGu∣st=s]E[∥Zt∥2∣st=s].

与单步最优 Baseline 相比,它多了跨时间项。 只有这些项为零时,才退化为前面的加权平均回报。

同样通过配方,可以得到整条轨迹的方差分解:

Var(g^b)=Var(g^btraj∗)+∑t=1TE[∥Zt∥2(bt(st)−bt,traj∗(st))2].

令 bt=0,便有

Var(g^)−Var(g^btraj∗)=∑t=1TE[∥Zt∥2bt,traj∗(st)2]≥0.

若要求所有时间步共享同一个 b(s),且状态不包含时间,则需要按各时间步的状态访问概率合并优化。对离散状态,记 dt(s)=Pr(st=s),其最优解为

bshared∗(s)=∑t=1Tdt(s)E[Zt⊤g^∣st=s]∑t=1Tdt(s)E[∥Zt∥2∣st=s].

4.5 Bellman Equation:递归计算 V 和 Q ​

Bellman Equation 的核心是:把“从现在开始的长期价值”,拆成“当前一步的奖励”和“下一状态的长期价值”。

1. 状态价值函数的 Bellman 方程 ​

Gt=∑k=tTγk−trk,Vπ(s)=Eπ[Gt∣st=s],Qπ(s,a)=Eπ[Gt∣st=s,at=a].

以下有限时域表达默认状态包含时间信息;若没有,应写成 Vtπ(s)、Qtπ(s,a)。

可以推出:

Gt=rt+γGt+1

代入 Value Function 的定义,可以得到 Bellman Expectation Equation:

Vπ(s)=Eπ(rt+γGt+1∣st=s)

利用全期望公式和马尔可夫性质:

Eπ[Gt+1∣st=s]=Eπ[Eπ[Gt+1∣st+1]∣st=s]=Eπ[Vπ(st+1)∣st=s].

于是得到

Vπ(s)=Eπ[rt+γVπ(st+1)∣st=s].

它的含义是:

从状态 s 开始,按照策略 π 行动的预期累计回报,等于当前奖励加上下一状态价值的折扣,然后对所有可能的动作和状态转移取平均。

对于离散的状态与动作空间,可以展开为

Vπ(s)=∑aπ(a∣s)E[rt+γVπ(st+1)∣st=s,at=a]=∑aπ(a∣s)∑s′P(s′∣s,a)[r(s,a,s′)+γVπ(s′)].

其中 r(s,a,s′) 表示该状态转移下的奖励或条件期望奖励。两层求和分别对应:

  • 策略的随机性:在状态 s 下,可能选择不同动作 a。
  • 环境的随机性:执行动作 a 后,可能进入不同状态 s′。

注意:不是任选一个下一状态代入,而是对所有可能结果取期望。


2. 动作价值函数的 Bellman 方程 ​

Qπ(s,a) 指定了当前动作 a但后续动作仍按照策略 π 选择。

同样由 Return 的递推关系:

Qπ(s,a)=Eπ[Gt∣st=s,at=a]=Eπ[rt+γGt+1∣st=s,at=a].

因此

Qπ(s,a)=E[rt+γVπ(st+1)∣st=s,at=a].

展开为

Qπ(s,a)=∑s′P(s′∣s,a)[r(s,a,s′)+γVπ(s′)]=∑s′P(s′∣s,a)[r(s,a,s′)+γ∑a′π(a′∣s′)Qπ(s′,a′)].

这里的时间顺序是:

s→当前动作 art, s′→后续按照 π未来回报.

Bellman 方程使未来奖励可以通过状态价值逐步向前传播,这也为处理延迟奖励提供了基础。


4.6 TD Error:用一步反馈修正价值估计 ​

前面介绍了 Bellman 方程:

Vπ(st)=Eπ[rt+γVπ(st+1)∣st].

它说明:当前状态的价值,等于“当前奖励 + 下一状态的折扣价值”的条件期望。

但在实际训练中,我们通常不知道所有可能的下一状态及其概率,只能观察到一次实际交互:

st→atrt, st+1.

因此,可以利用这次交互构造一个目标值,再与当前价值估计比较。这就引出了 TD Error(Temporal-Difference Error,时序差分误差)。

1. 从 Bellman 方程到 TD Error ​

设 Critic 是一个参数化的价值函数:

Vϕ(s)≈Vπ(s).

其中:

  • θ:Policy 的参数;
  • ϕ:Critic 的参数。

根据 Bellman 方程,观察到一次状态转移后,可以构造:

ytTD=rt+γVϕ(st+1).

这个量称为 一步 TD Target(一步时序差分目标)。

它包含两部分:

部分含义
rt这一步实际获得的奖励
γVϕ(st+1)Critic 对后续回报的折扣估计

将这个目标与当前状态的价值估计比较,得到:

δt=rt+γVϕ(st+1)−Vϕ(st).

这里的 δt 就是 TD Error。

可以把它理解为:

根据刚刚发生的交互,当前状态看起来应该值多少,与 Critic 原先认为它值多少,两者之间的差。

注意:δt 是带正负号的差值,不是平方误差。


2. 如何理解 TD Error 的正负? ​

假设一个多轮 SQL 教学任务满足:

  • 中间奖励均为 0;
  • 用户最终完成任务,奖励为 1;
  • 未完成任务,奖励为 0;
  • γ=1。

如果 Critic 准确,那么:

Vπ(s)=Prπ(最终任务成功∣s).

因此,状态价值可以理解为:从当前对话历史出发,后续按照策略 π 继续交互,最终成功的概率。

假设在模型回复前:

Vϕ(st)=0.4.
  • 模型采取动作:“你之前接触过 SQL 吗?”

  • 用户回答:“没有,我完全是零基础。”

这一步没有直接奖励,但新的对话历史让 Critic 估计:

rt=0,Vϕ(st+1)=0.7.

于是:

δt=0+0.7−0.4=0.3.

含义是:

原先预计从这里继续交互,成功概率约为 0.4;这次交互之后,后续成功概率被估计为 0.7。这次观察到的结果比原先的平均预期更好。

三种情况可以概括为:

TD Error对这次结果的理解
δt>0当前奖励与后续价值之和,高于原先预期
δt<0当前奖励与后续价值之和,低于原先预期
δt=0当前观察到的目标与原先估计一致

但一次正的 TD Error,不足以证明当前动作始终是好动作。

因为下一状态同时受到动作和环境随机性的影响。评价动作需要考虑相同状态、相同动作下各种可能结果的平均表现。


3. TD Error 与 Advantage 的关系 ​

Advantage :

Aπ(s,a)=Qπ(s,a)−Vπ(s).

而 Q 的 Bellman 方程是:

Qπ(s,a)=E[rt+γVπ(st+1)∣st=s,at=a].

将两者结合:

Aπ(s,a)=E[rt+γVπ(st+1)∣st=s,at=a]−Vπ(s)=E[rt+γVπ(st+1)−Vπ(st)∣st=s,at=a].

如果使用真实的价值函数,定义:

δtπ=rt+γVπ(st+1)−Vπ(st),

那么:

E[δtπ∣st=s,at=a]=Aπ(s,a).

这意味着:

价值函数准确时,一步 TD Error 是当前动作 Advantage 的一个条件无偏估计。

这里要严格区分:

δtπ与Aπ(st,at).

前者根据一次实际转移计算,通常具有随机性;后者是固定状态和动作下的平均相对价值。


4. TD Error 如何用于训练 Critic? ​

先考虑最简单的表格形式:每个状态对应一个可直接更新的数值 V(s)。

一步 TD 更新为:

V(st)←V(st)+αδt,

其中 α 是学习率。

代入 TD Error:

V(st)←V(st)+α[rt+γV(st+1)−V(st)]=(1−α)V(st)+α[rt+γV(st+1)].
(1)Critic 是神经网络时 ​

如果使用 Vϕ(s),可以构造损失:

LV(ϕ)=12[Vϕ(st)−sg(rt+γVϕ(st+1))]2.

其中 sg 表示 Stop Gradient:目标值参与前向计算,但这次更新不通过目标值反向传播。

此时:

∇ϕLV=−δt∇ϕVϕ(st).

进行梯度下降:

ϕ←ϕ+αδt∇ϕVϕ(st).

这称为 半梯度 TD 更新(Semi-gradient TD)。

需要停止目标的梯度,是因为这里把下一状态的价值估计当作本次拟合的目标。若同时通过目标反向传播,就对应另一种优化方式,不能直接当作上述 TD 更新。


5. TD Error 如何用于更新 Policy? ​

价值函数准确时:

E[δtπ∣st,at]=Aπ(st,at).

因此,可以用一步 TD Error 构造优势估计:

A^t=δt.

然后构造策略更新所用的样本项:

g^t=sg(δt)∇θlog⁡πθ(at∣st).

这里同样将 δt 当作固定的权重:

  • δt>0:样本更新倾向于提高当前动作的概率;
  • δt<0:样本更新倾向于降低当前动作的概率。

这就把前面的两部分连接起来了:

Critic 用 TD Error 修正价值,Policy 用它作为优势估计来调整行为。

实际使用近似 Critic 时,这种优势估计可能有偏差;一次动作的概率变化还会受到其他样本和共享参数更新的影响。


4.7 多步 TD:结合多个时间步估计优势 ​

上一节介绍了一步 TD Error:

δt=rt+γVϕ(st+1)−Vϕ(st).

它只使用当前奖励,并用 Critic 估计之后的全部回报。

一个自然的问题是:

能否多观察几步实际奖励,再用 Critic 估计剩余回报?这样是否能减少对价值估计的依赖?

这就是 多步 TD(Multi-step TD) 的基本思路。而 GAE(Generalized Advantage Estimation,广义优势估计) 会进一步结合不同步数的估计。

以下默认:轨迹由策略 π 生成,估计过程中固定 Critic 参数 ϕ。有限时域下,状态包含时间信息。

1. 从一步 TD 到多步 TD ​

(1)一步 TD Target ​

一步 TD 的目标为:

yt(1)=rt+γVϕ(st+1).

这里仅有 rt 是实际观察到的奖励,之后的全部回报由 Vϕ(st+1) 估计。

对应的优势估计量:

A^t(1)=yt(1)−Vϕ(st).
(2)两步 TD Target ​

如果继续观察一步,就获得了 rt+1,于是可以构造:

yt(2)=rt+γrt+1+γ2Vϕ(st+2).
  • 前两步使用实际奖励;
  • 从 st+2 开始的剩余回报由 Critic 估计。

对应的优势估计量:

A^t(2)=yt(2)−Vϕ(st).
(3)一般的 n 步 TD Target ​

推广到 n 步:

yt(n)=∑k=0n−1γkrt+k+γnVϕ(st+n).

对应的价值预测误差为:

A^t(n)=yt(n)−Vϕ(st).

这个量也可以作为一个 n 步优势估计。

步数目标值
1 步rt+γVϕ(st+1)
2 步rt+γrt+1+γ2Vϕ(st+2)
3 步rt+γrt+1+γ2rt+2+γ3Vϕ(st+3)
到真正终止完整采样回报 Gt,终止状态价值为 0

步数越多,使用的实际奖励越多,开始依赖 Critic 的位置越靠后。

但这不保证误差一定更小:更多实际奖励也意味着引入更多后续轨迹的随机性。

我的理解:偏差—方差权衡:

多步 TD 是通过多步采样的得到的实际奖励来替代部分价值估计,从而降低价值估计函数的偏差,但采样步数变长后,回报的随机性增加,方差也随之上升。


2. 多步优势估计等于多个 TD Error 的折扣和 ​

这是理解 GAE 的关键数学关系。

首先:

δt=rt+γVϕ(st+1)−Vϕ(st),δt+1=rt+1+γVϕ(st+2)−Vϕ(st+1).

将它们相加,第二项乘以 γ:

δt+γδt+1=rt+γVϕ(st+1)−Vϕ(st)+γrt+1+γ2Vϕ(st+2)−γVϕ(st+1)=rt+γrt+1+γ2Vϕ(st+2)−Vϕ(st)=A^t(2)

同理,一般情况下:

A^t(n)=∑k=0n−1γkδt+k.

这是一个代数恒等式,不要求 Critic 准确。

它说明:

当前动作的多步优势估计,可以通过累积当前及后续时间步的 TD Error 得到。

这里累积的是带正负号的 TD Error。后续的负误差可能抵消当前的正误差。


3. 多步优势估计的性质 ​

(1)使用真实价值函数时 ​

设 Vϕ=Vπ。给定当前状态和动作,后续动作按照策略 π 采样。根据 Return 的分解:

Gt=∑k=0n−1γkrt+k+γnGt+n.

对当前状态与动作取条件期望,并利用:

Eπ[Gt+n∣st+n]=Vπ(st+n),

得到:

Qπ(s,a)=Eπ[Gt∣st=s,at=a]=Eπ[∑k=0n−1γkrt+k+γnVπ(st+n)∣st=s,at=a].

由于:

A^t(n)=[∑k=0n−1γkrt+k+γnVϕ(st+n)]−Vϕ(st)

于是:

Eπ[A^t(n)∣st=s,at=a]=Eπ[Vϕ(st)∣st=s,at=a]+Qπ(s,a)=Aπ(s,a)

因此,使用真实价值函数时,各种步数的优势估计都是条件无偏的。


(2)使用近似 Critic 时 ​

定义:

eϕ(s)=Vϕ(s)−Vπ(s).

代入 n 步优势估计:

A^t(n)=[∑k=0n−1γkrt+k+γnVϕ(st+n)]−Vϕ(st)=[∑k=0n−1γkrt+k+γn(V(st+n)+eϕ(st+n))]−(V(st)+eϕ(st))=∑k=0n−1γkrt+k+γnVπ(st+n)−Vπ(st)⏟用真值 Vπ 构成的 n 步优势+γneϕ(st+n)−eϕ(st)

在 (st=s,at=a) 条件下取期望:

Eπ[A^t(n)∣s,a]=Eπ[∑k=0n−1γkrt+k+γnVπ(st+n)−Vπ(st)∣s,a]+Eπ[γneϕ(st+n)∣s,a]−eϕ(st)=Qπ(s,a)−Vπ(st)+Eπ[γneϕ(st+n)∣s,a]−eϕ(st)=Aπ(s,a)+Eπ[γneϕ(st+n)∣s,a]−eϕ(st)

这里有两处价值估计误差:

  • 终点误差:γneϕ(st+n);
  • 当前状态误差:−eϕ(st)。

增加步数会改变终点误差,但不会消除当前状态的基线误差。

如果一直观察到真正终止,终止状态价值固定为 0,则:

A^tMC=Gt−Vϕ(st),

其条件期望为:

Eπ[A^tMC∣s,a]=Eπ[Gt−Vϕ(st)∣s,a]=Eπ[Gt−Vπ(st)−eϕ(st)∣s,a]=Aπ(s,a)−eϕ(s)

所以,完整回报 Gt 可以无偏估计 Qπ(s,a),但减去近似的 Vϕ(st) 后,不一定无偏估计真实 Advantage。

不过,在策略梯度中,仅依赖状态的基线误差会在对动作取期望时抵消;依赖动作的后续自举误差则通常不能如此消除。


4.8 GAE ​

现在我们拥有很多种估计:

A^t(1),A^t(2),A^t(3),…

短步数估计较早依赖 Critic,长步数估计使用更多实际交互。我们未必知道哪个步数最合适,因此可以:

将不同步数的优势估计进行加权平均。

GAE 使用一个参数 0≤λ≤1 控制不同步数的权重。对于无限延伸的形式,当 λ<1 时,定义:

A^tGAE(γ,λ)=(1−λ)∑n=1∞λn−1A^t(n).

各步数的权重分别为:

1−λ,(1−λ)λ,(1−λ)λ2,…(1−λ)∑n=1∞λn−1=1.

1. GAE 的 TD Error 表达式 ​

A^t(n)=∑k=0n−1γkδt+k,

代入 GAE:

A^tGAE=(1−λ)∑n=1∞λn−1∑k=0n−1γkδt+k=(1−λ)∑k=0∞γkδt+k∑n=k+1∞λn−1(交换求和符号)=(1−λ)∑k=0∞γkδt+kλk1−λ=∑k=0∞(γλ)kδt+k.

展开:

A^tGAE=δt+γλδt+1+(γλ)2δt+2+⋯.δt=rt+γVϕ(st+1)−Vϕ(st)

其中:δt=rt+γVϕ(st+1)−Vϕ(st)。这就是 GAE 最常用的表达式。

GAE 可以看成不同步数优势估计的加权平均,也可以看成未来 TD Error 的衰减累积。


2. 有限轨迹下如何计算? ​

假设当前采样片段从 t 持续到 T,剩余转移数为 H=T−t+1,有限片段的 GAE 为:

A^tGAE=∑k=0H−1(γλ)kδt+k.

它对应的多步估计混合是:

A^tGAE=(1−λ)∑n=1H−1λn−1A^t(n)+λH−1A^t(H).

其中 λH−1 满足

(1−λ)∑n=1H−1λn−1+λH−1=1
  • 如果片段真正终止:Vϕ(sT+1)=0
  • 如果只是采样截断,则最后的 TD Error 通常仍包含:γVϕ(sT+1).

因此,有限片段的 GAE 是否包含末端自举,取决于片段结束的原因。


3. λ 的范围 ​

(1)λ=0:一步 TD ​

此时只有当前 TD Error 保留下来:

A^tGAE(γ,0)=δt.

它较早依赖下一状态的 Critic 估计。

(2)λ=1:使用整个片段 ​
A^tGAE(γ,1)=∑k=0H−1γkδt+k.

利用价值项的抵消:

A^tGAE(γ,1)=∑k=0H−1γkrt+k+γHVϕ(sT+1)−Vϕ(st).

若片段一直到真正终止,末端价值为 0,则:

A^tGAE(γ,1)=Gt−Vϕ(st).

也就是之前介绍的 Monte Carlo 优势估计。

(3)0<λ<1:结合不同步数 ​

此时,后续 TD Error 随距离逐渐衰减:

δt,γλδt+1,(γλ)2δt+2,…

GAE 因此在较短步数与较长步数之间进行折中。

λ估计方式常见特点
0一步 TD较早依赖 Critic
接近 1更重视长步数使用更多后续实际反馈
1,且真正终止Gt−Vϕ(st)后续回报不再自举

“减小 λ 常降低方差、增加自举偏差”是常见规律,并不是对任意环境与任意 Critic 都成立的单调定理。如果 Vϕ=Vπ,不同 λ 的估计都可以条件无偏。


4. 如何把 GAE 用于训练 ​

(1) 从后向前递推 ​

从定义出发:

A^tGAE=δt+γλδt+1+(γλ)2δt+2+⋯=δt+γλ[δt+1+γλδt+2+⋯].

括号内正是下一步的 GAE:

A^tGAE=δt+γλA^t+1GAE.

假设 rollout 已经收集了:

  • rewards: r0,r1,…,rT−1
  • values: V(s0),V(s1),…,V(sT) 伪代码大致是:
python
advantages = [0.0] * N
gae = 0.0

for t in reversed(range(N)):
    delta = (rewards[t] + gamma * values[t + 1] - values[t])

    gae = delta + gamma * lam * gae
    advantages[t] = gae

实现中,这些优势通常在参数更新前计算好,并作为固定数据使用,不通过 GAE 的计算路径反向传播。

(2)作为 Policy 的优势权重 ​

对采样到的状态与动作,可以构造策略更新的样本损失:

LPolicy,t=−sg(A^tGAE)log⁡πθ(at∣st).

正优势的样本倾向于提高动作概率,负优势的样本倾向于降低动作概率。

后续学习 PPO 时,会在此基础上引入新旧策略概率比与裁剪目标。

(3)构造 Critic 的回报目标 ​

使用采样时保存的价值估计,构造:

G^tλ=A^tGAE+Vϕold(st).

然后拟合:

LV(ϕ)=12[Vϕ(st)−sg(G^tλ)]2.

这里的 G^tλ 是不同步数 TD Target 的混合,通常称为 λ-Return。

  • 当 λ=0 时,它是一步 TD Target;

  • 当 λ=1 且轨迹真正终止时,它是完整采样回报。


强化学习续学 TODO

暂停位置:4.8 GAE。恢复时先复习 TD error、GAE 递推,以及真正终止与采样截断的区别。

  • 多轮对话与 Credit Assignment:最终成功或失败,怎样关联到前面各轮回答;区分 Token 级与轮次级动作。(对当前项目最直接)
  • Policy Gradient 整理:把已有梯度公式串成“采样轨迹 → 估计回报/优势 → 更新策略”的完整流程。
  • Actor–Critic:理解 Actor 与 Critic 分别更新什么,以及 GAE 怎样接入训练。
  • PPO:新旧策略概率比、clipping、优势估计和一轮完整训练流程。
  • PPO-based RLHF:SFT 模型、奖励模型、参考模型、价值模型的职责;KL 约束与 reward hacking。
  • GRPO:同一 prompt 的多个回答、组内相对优势;与 PPO 的区别及其适用条件。
  • 最小实践:手算一条短轨迹的 Return、TD error、GAE,并追踪一次策略更新。

可选扩展:Q-learning、Bellman 最优方程和更完整的理论证明,等需要系统学习 RL 时再补。

当前优先:偏好学习与 DPO → 支撑 rollout 比较的概率统计。