切换深色模式
附录
Baseline 的有效性的证明
根据 Policy Gradient Theorem,采用奖励回报
其中:
:状态 下选择动作 的概率。 :从时刻 开始的折扣累计奖励。 :策略的 Score Function。
为了简化表达,定义
原始梯度估计量为
引入状态相关的 Baseline 后:
1. Baseline 不改变策略梯度的期望
固定状态
因此,由于
所以
2. 单步梯度项:降低方差的证明与最优 Baseline
先考虑单时间步梯度估计量:
因为梯度是向量,这里将“方差”定义为各分量方差之和:
因此,下文的最优性指最小化这个总方差,不意味着每个梯度分量的方差都同时最小。
固定
由无偏性,
最小化梯度估计量的方差,等价于最小化一个带权平方误差:
注意权重是
对
令导数为零,得到
二阶导数为
因此,只要分母为正,这就是唯一最优解。若分母为零,则该状态下
下面证明它确实降低方差。利用
展开平方,并使用最优解满足的条件
得到
右侧第二项非负,说明任意 Baseline 的方差都不小于最优 Baseline 的方差。
特别地,不使用 Baseline 就是
这就是最优 Baseline 能降低策略单步梯度估计量方差的严格证明。
因为条件均值也没有改变,再由全方差公式,逐状态使用这个最优解,也能使单步梯度项的无条件总方差不增。
直观上,
3. 对整条轨迹估计量,最优 Baseline
整条轨迹估计量,包含时间求和:
这里存在不同时间梯度项之间的协方差,所以,逐项最优不自动等于总和最优。
为了允许每个时间步分别选择 Baseline,写成
对于
证明方法是:对较晚动作采样前的历史取条件期望。此时较早的梯度项和两个 Baseline 都已确定,而较晚的 Score Function 条件期望为零。
因此
由于梯度期望不变,最小化该二阶矩就等价于最小化总方差。逐状态求导得到
将
与单步最优 Baseline 相比,它多了跨时间项。 只有这些项为零时,才退化为前面的加权平均回报。
同样通过配方,可以得到整条轨迹的方差分解:
令
若要求所有时间步共享同一个