Skip to content

附录 ​

Baseline 的有效性的证明 ​

根据 Policy Gradient Theorem,采用奖励回报 Gt 的梯度表达式为

∇θJ(θ)=Eτ∼πθ[∑t=1T∇θlog⁡πθ(at∣st)Gt].

其中:

  • πθ(at∣st):状态 st 下选择动作 at 的概率。
  • Gt=∑k=tTγk−trk:从时刻 t 开始的折扣累计奖励。
  • ∇θlog⁡πθ(at∣st):策略的 Score Function。

为了简化表达,定义

Zt=∇θlog⁡πθ(at∣st).

原始梯度估计量为

g^=∑t=1TZtGt=∑t=1T∇θlog⁡πθ(at∣st)Gt.

引入状态相关的 Baseline 后:

g^b=∑t=1TZt(Gt−b(st)).

1. Baseline 不改变策略梯度的期望 ​

固定状态 st=s,有

E[Zt∣st=s]=∑aπθ(a∣s)∇θlog⁡πθ(a∣s)=∑a∇θπθ(a∣s)=∇θ∑aπθ(a∣s)=∇θ1=0.

因此,由于 b(s) 不依赖当前动作,

E[Ztb(st)]=E[b(st)E[Zt∣st]]=0.

所以

E[g^b]=E[g^]=∇θJ(θ).

2. 单步梯度项:降低方差的证明与最优 Baseline ​

先考虑单时间步梯度估计量:

gt=ZtGt,gt,b=Zt(Gt−b(st)).

因为梯度是向量,这里将“方差”定义为各分量方差之和:

Var(X):=trCov(X)=E[(X−EX)T(X−EX)]=E[∥X−EX∥2].

因此,下文的最优性指最小化这个总方差,不意味着每个梯度分量的方差都同时最小。

固定 st=s,记

mt(s)=E[ZtGt∣st=s].

由无偏性,mt(s) 与 Baseline 无关,故

Var(gt,b∣st=s)=E(∥gt,b−Egt,b∥2∣st=s)=E(∥gt,b∥2−∥Egt,b∥2∣st=s)=E(∥gt,b∥2∣st=s)−∥mt(s)∥2=E[∥Zt∥2(Gt−b(s))2∣st=s]−∥mt(s)∥2.

最小化梯度估计量的方差,等价于最小化一个带权平方误差:

minbE[∥Zt∥2(Gt−b)2∣st=s].

注意权重是 ∥Zt∥2,而不是普通的 Return 平方误差。

对 b 求导:

∂∂bE[∥Zt∥2(Gt−b)2∣st=s]=−2E[∥Zt∥2(Gt−b)∣st=s].

令导数为零,得到

bt∗(s)=E[∥Zt∥2Gt∣st=s]E[∥Zt∥2∣st=s].

二阶导数为

2E[∥Zt∥2∣st=s]>0,

因此,只要分母为正,这就是唯一最优解。若分母为零,则该状态下 Zt=0 几乎处处成立,Baseline 取什么值都不影响梯度项。

下面证明它确实降低方差。利用

Gt−b=(Gt−bt∗)+(bt∗−b),

展开平方,并使用最优解满足的条件

E[∥Zt∥2(Gt−bt∗)∣st=s]=0,

得到

Var(gt,b∣st=s)=Var(gt,bt∗∣st=s)+E[∥Zt∥2∣st=s](b(s)−bt∗(s))2.

右侧第二项非负,说明任意 Baseline 的方差都不小于最优 Baseline 的方差。

特别地,不使用 Baseline 就是 b=0,因此

Var(gt∣st=s)−Var(gt,bt∗∣st=s)=(E[∥Zt∥2Gt∣st=s])2E[∥Zt∥2∣st=s]≥0.

这就是最优 Baseline 能降低策略单步梯度估计量方差的严格证明。

因为条件均值也没有改变,再由全方差公式,逐状态使用这个最优解,也能使单步梯度项的无条件总方差不增。

直观上,Ztb(st) 是一个期望为零的控制变量。如果它能抵消 ZtGt 中的随机波动,就会降低方差;减得过多或方向不合适,也可能增大方差。

3. 对整条轨迹估计量,最优 Baseline ​

整条轨迹估计量,包含时间求和:

g^b=∑t=1TZt(Gt−b(st)).

这里存在不同时间梯度项之间的协方差,所以,逐项最优不自动等于总和最优。

为了允许每个时间步分别选择 Baseline,写成 bt(st);也可以把时间 t 纳入状态,继续使用 b(st) 的记法。令

B=∑t=1TZtbt(st),g^b=g^−B.

对于 t≠u,有

E[bt(st)bu(su)Zt⊤Zu]=0.

证明方法是:对较晚动作采样前的历史取条件期望。此时较早的梯度项和两个 Baseline 都已确定,而较晚的 Score Function 条件期望为零。

因此

E[∥g^b∥2]=E[∥g^∥2]−2∑t=1TE[bt(st)Zt⊤g^]+∑t=1TE[bt(st)2∥Zt∥2].

由于梯度期望不变,最小化该二阶矩就等价于最小化总方差。逐状态求导得到

bt,traj∗(s)=E[Zt⊤g^∣st=s]E[∥Zt∥2∣st=s].

将 g^=∑u=1TZuGu 代入:

bt,traj∗(s)=E[∥Zt∥2Gt∣st=s]+∑u≠tE[Zt⊤ZuGu∣st=s]E[∥Zt∥2∣st=s].

与单步最优 Baseline 相比,它多了跨时间项。 只有这些项为零时,才退化为前面的加权平均回报。

同样通过配方,可以得到整条轨迹的方差分解:

Var(g^b)=Var(g^btraj∗)+∑t=1TE[∥Zt∥2(bt(st)−bt,traj∗(st))2].

令 bt=0,便有

Var(g^)−Var(g^btraj∗)=∑t=1TE[∥Zt∥2bt,traj∗(st)2]≥0.

若要求所有时间步共享同一个 b(s),且状态不包含时间,则需要按各时间步的状态访问概率合并优化。对离散状态,记 dt(s)=Pr(st=s),其最优解为

bshared∗(s)=∑t=1Tdt(s)E[Zt⊤g^∣st=s]∑t=1Tdt(s)E[∥Zt∥2∣st=s].