策略梯度 (Policy Gradients)

20.2 节的 Q-learning 和 DQN 先学 \(Q(s,a)\)，再在每一步取 \(\arg\max_a Q(s,a)\)。动作只有几个离散选项时这很自然；可机器人的动作是连续的：一个 7 关节机械臂每一步要给出 7 个力矩，在 \(\R^7\) 里求最大值本身就是一个优化问题，每个控制周期都要解一次。而且机器人工程师手里的控制器本来就是“带参数的策略”：PD 增益（13.1 节）、步态参数、一个神经网络。直接调这些参数、让任务回报变大，叫作策略搜索（policy search）。

难点在于回报对参数的依赖要经过整个环境：仿真器里的接触、真实的电机、一个“抓住了 / 没抓住”的二值结果。这些我们没法求导，常常连模型都没有。策略梯度绕开了这一点：只要策略是随机的，回报的期望就是参数的光滑函数，它的梯度可以只用“试了哪些动作、得了多少回报”来估计，不需要环境的导数，也不需要奖励的导数。这就是 REINFORCE（Williams 1992），后面的 actor-critic、PPO（20.4 节）和今天腿式机器人的大规模仿真训练（23.1 节）都建立在它上面。

本节的顺序：先在一个一步就结束的任务上看清“对数导数技巧”在做什么；再让 REINFORCE 调一个关节的 PD 增益，看它在不知道模型的情况下找到 LQR 的答案；然后正面处理它最大的问题——方差，以及它和 6.11 节进化策略的关系；最后用神经网络策略控制一条受重力的机械臂。

最简单的情形：只有一步，没有状态。机械手要决定抓取的横向偏移 \(a\)（单位 cm），奖励 \(r(a)\) 告诉它抓得怎样。策略是一个高斯分布 \(a\sim\mathcal N(\mu,\sigma^2)\)，参数是均值 \(\mu\) 和 \(\log\sigma\)。目标是期望奖励 \(J(\mu,\sigma)=\mathbb E[r(a)]\)。最难的预设是“二值成功”：只有偏移落在 \([1.5,2.5]\) 里才算抓住（\(r=1\)），否则 \(r=0\)。这个 \(r\) 在几乎所有地方导数都是零，对它求导毫无用处；但 \(J\) 是 \(\mu\) 的光滑函数，因为改变 \(\mu\) 会改变“落进窗口”的概率。

REINFORCE 每轮做三件事：从当前策略抽 \(N\) 个动作，看每个动作的奖励；给每个样本一个权重 \(r_i-\hl{base}{b}\)（\(b\) 是基线，这里取其余样本奖励的平均）；然后把每个样本的 \(\hl{score}{\log\pi(a_i)}\) 按权重往上推。权重为正的样本（比平均好）概率变大，为负的变小。“把 \(\log\pi(a_i)\) 往上推”具体就是：\(\mu\) 朝 \(a_i\) 移动，移动量正比于 \((a_i-\mu)/\sigma^2\)；而 \(\log\sigma\) 在样本离均值远于 \(\sigma\) 时变大、近于 \(\sigma\) 时变小。

现在有了状态和时间。一个水平放置的关节（没有重力，单位惯量）要在 3 秒内从离目标 1 rad 的地方转到目标并停住。状态是角度误差和角速度 \(s=(e,\dot q)\)，动作是力矩 \(a\)，控制周期 \(\Delta t=0.1\) s，共 \(T=30\) 步。第 \(t\) 步的奖励是负的代价 \(r_{t+1}=-\Delta t\,(e_t^2+0.1\,\dot q_t^2+0.01\,a_t^2)\)（下标沿用 20.1 节：动作 \(a_t\) 换来 \(r_{t+1}\)），回报是 30 步奖励之和（有限时域，不打折扣）。起点误差每次随机，均值 −1 rad、标准差 0.2 rad。

策略是加了噪声的 PD 控制器：\(a=-k_p e-k_d\dot q+\sigma\epsilon\)，\(\epsilon\sim\mathcal N(0,1)\)，参数 \(\theta=(k_p,k_d)\)。因为系统是线性的、代价是二次的，这个页面能精确算出每组增益的期望回报 \(J(\theta)\)（传播状态的均值和协方差），画成背景的地形图，还能算出精确梯度 \(\hl{grad}{\nabla_\theta J}\) 作对照。REINFORCE 本身完全不用这些：它只看 \(N\) 条采样出来的轨迹和它们的奖励，用下面第 5 节的公式算出估计 \(\hl{ghat}{\hat g}\)，然后做梯度上升 \(\theta\leftarrow\theta+\alpha\hat g\)。估计方式先选“reward-to-go − 基线”（第 4 节解释），再换成“完整回报”对比。

FIG 2 里“完整回报”和“reward-to-go − 基线”在期望上给出同一个梯度，差别全在噪声。下图把它量出来：固定一组增益，用同一个 \(N\) 重复估计 200 次，把每次的 \(\hat g\) 画成梯度平面上的一个点，再和精确梯度比较。四种估计一个比一个好，每一级都只是去掉了一部分“与这个动作无关”的随机性：

• 完整回报 \(G_0\)：第 \(t\) 步动作的得分乘以整条轨迹的回报。可 \(t\) 之前的奖励不可能受第 \(t\) 步动作影响，它们只贡献噪声。
• reward-to-go \(G_t\)：只乘从 \(t\) 开始的奖励 \(\hl{rtg}{G_t=\sum_{t'\ge t}r_{t'+1}}\)（“因果性”，期望不变，见第 5 节）。
• \(G_t-b_t\)：再减去一个与动作无关的基线，这里是同一批里其余轨迹在第 \(t\) 步的 \(G_t\) 的平均（留一法，保证无偏）。它去掉的是“这一时刻大家都差不多会拿到的回报”。
• \(G_t-V(s_t)\)：基线换成当前策略的真实价值函数 \(V^\pi(s_t)\)（20.1 节）。这里线性二次的系统能精确算出它，相当于一个“完美的 critic”。\(G_t-V(s_t)\) 是优势 \(A(s_t,a_t)=Q(s_t,a_t)-V(s_t)\) 的一个无偏样本：这个动作比“这个状态下的平均水平”好多少。20.4 节的 actor-critic 就是用一个学出来的 \(V\) 去近似这一级。

还有一个旋钮：探索噪声 \(\sigma\)。得分 \((a-\mu)/\sigma^2\) 的大小正比于 \(1/\sigma\)，\(\sigma\) 越小，每个样本的梯度信号越强，可随机性也越大：B 点、\(N=10\) 时，\(\sigma\) 从 0.5 降到 0.2，“\(G_t-b_t\)”的相对误差从 3.0 涨到 16.5；“\(G_t-V(s_t)\)”却几乎不变（0.28 → 0.26）。好的基线把与动作无关的部分全去掉之后，剩下的才是真正由探索噪声带来的信号。

6.11 节里有一个恒等式：高斯平滑后的函数的梯度是 \(\nabla f_\sigma(\theta)=\tfrac1\sigma\mathbb E[f(\theta+\sigma\boldsymbol\epsilon)\boldsymbol\epsilon]\)。把 \(f\) 换成“确定性策略 \(\theta\) 跑一整条轨迹的回报”，这就是进化策略（ES）：在参数空间里加噪声，每条轨迹只用一组扰动后的增益，整条轨迹不再加任何动作噪声。它其实也是对数导数技巧，只不过“策略”是参数的高斯分布 \(\theta'\sim\mathcal N(\theta,\sigma_\theta^2I)\)，每条轨迹只做一次“动作”（选一组参数）。CEM 和 MPPI 是同一家族：用回报给参数样本加权平均。

两者的方差来源不同。REINFORCE 每一步都注入新的动作噪声，第 \(t\) 步噪声的影响要从后面所有步的奖励里“分辨”出来；控制频率越高，一条轨迹里的噪声越多，每一份的影响越小，这个信用分配问题越难。ES 根本不关心一条轨迹有多少步，只关心参数有几维：方差随参数维数增长。下图在 B 点比较三者，每次估计都用 10 条轨迹（ES 用 5 对正负对称的扰动，每对共用同一个起点）。

沿用 20.1 节的记号：策略 \(\pi_\theta(a\mid s)\)，转移 \(P(s'\mid s,a)\)，初始分布 \(\rho_0\)，奖励 \(r_{t+1}\)（动作 \(a_t\) 之后得到），折扣 \(\gamma\)。一条轨迹 \(\tau=(s_0,a_0,s_1,a_1,\dots)\) 的概率和回报是

对 \(J=\int p_\theta(\tau)G_0(\tau)\,d\tau\) 求导，\(G_0\) 不依赖 \(\theta\)，导数全落在概率上。用恒等式 \(\nabla p=p\,\nabla\log p\)（对数导数技巧）把它变回一个期望：

第二个等式是整个方法的关键：\(\log p_\theta(\tau)\) 是 \(\log\rho_0+\sum_t\log\pi_\theta+\sum_t\log P\) 的和，而 \(\rho_0\) 和 \(P\) 与 \(\theta\) 无关，求导后消失。所以梯度里没有动力学：只需要能对自己的策略求 \(\log\) 概率的导数。用 \(N\) 条采样轨迹的平均代替期望，就是 REINFORCE：

四种 \(\Psi_t\) 就是 FIG 3 的四级阶梯，期望都等于 \(\nabla J\)（\(\gamma<1\) 时还要乘 \(\gamma^t\)，见误区 5）。FIG 2 到 FIG 4 用 \(\gamma=1\)。

连续动作最常用的是高斯策略：网络（或任意可导函数）给出均值 \(\mu_\theta(s)\)，标准差 \(\sigma\) 用一个独立参数 \(\log\sigma\) 表示（取对数保证 \(\sigma>0\)，也让步长与尺度无关）。\(\log\pi=-\tfrac{(a-\mu)^2}{2\sigma^2}-\log\sigma-\tfrac12\log2\pi\)，于是

其中 \(\epsilon=(a-\mu)/\sigma\) 是这一步实际抽到的标准噪声。对 FIG 2 的 PD 策略，\(\mu=-k_pe-k_d\dot q\)，所以 \(\nabla_\theta\mu=(-e,-\dot q)\)：某一步的噪声 \(\epsilon_t\) 推了关节一下，如果之后的回报好，\(k_p\) 就朝 \(-\epsilon_te_t\) 的方向调。对神经网络，\(\nabla_\theta\mu\) 由反向传播（16.3 节）给出：把 \((a-\mu)/\sigma^2\) 乘以权重作为输出端的梯度回传就行。最后一个式子也说明了 \(\sigma\to0\) 时为什么不能直接用：得分按 \(1/\sigma\) 放大，估计的方差发散。确定性策略的梯度要换一条路，用 critic 对动作的导数 \(\nabla_aQ\)（DDPG/TD3，20.4 节）。

实现时从不手写这些梯度，而是构造一个“伪损失”，它的梯度恰好是 \(-\hat g\)，交给自动求导（FIG 5 的代码就是这样，只是手写了反向传播）：

两件事都来自同一个事实：得分的期望为零。对任意状态 \(s\)，

因果性：对 \(t'<t\)，奖励 \(r_{t'+1}\) 在第 \(t\) 步的动作之前就已确定。先对 \(a_t\) 求条件期望，\(r_{t'+1}\) 是常数，可以提出来，剩下的得分期望为零，所以 \(\mathbb E[r_{t'+1}\nabla\log\pi(a_t\mid s_t)]=0\)。从 \(G_0\) 里删掉这些项，期望不变，方差变小：这就是 reward-to-go。基线：任何只依赖 \(s_t\)（不依赖 \(a_t\) 及之后）的 \(b(s_t)\) 同理，\(\mathbb E[b(s_t)\nabla\log\pi(a_t\mid s_t)]=0\)。FIG 1 的“留一法”基线只用其他样本，与本样本的动作独立，所以严格无偏；如果用包括自己在内的批平均，会有一个 \(1/N\) 量级的偏差。基线依赖本步动作就不行了：那会改变期望。

优势与策略梯度定理：给定 \((s_t,a_t)\)，\(G_t\) 的条件期望就是 \(Q^\pi(s_t,a_t)\)，所以 \(G_t\) 可以换成 \(Q^\pi\)，基线取 \(V^\pi\)，得到

这是 Sutton 等人（1999）的策略梯度定理的轨迹形式。优势的均值为零：它只回答“这个动作比这个状态下的平均好多少”，把状态本身好坏带来的方差全部去掉。实际中 \(V^\pi\) 未知，用一个网络去学它就是 actor-critic；用 TD 误差 \(r_{t+1}+\gamma V(s_{t+1})-V(s_t)\) 代替 \(G_t-V(s_t)\)，方差更小但有偏，GAE 在两者之间插值（20.4 节）。

最优常数基线：在所有常数 \(b\) 里，使方差最小的是 \(b^\star=\mathbb E[\|\nabla\log p_\theta\|^2G_0]/\mathbb E[\|\nabla\log p_\theta\|^2]\)，即按得分平方加权的平均回报（Greensmith 等，2004）。平均回报本身是一个简单且常常够好的近似。

一条轨迹的 \(\hat g\) 是 \(T\) 项之和，每项是一个均值为零、大小约 \(1/\sigma\) 的得分乘以一个回报。没有好的基线时，每一项都把整条轨迹的随机性（起点、其他步的噪声）带进来，方差大致随 \(T\) 增长；控制频率翻倍，\(T\) 翻倍，每一步噪声对回报的影响却减半，信噪比变差（FIG 4）。ES 的估计是

它估计的是平滑后的 \(J_{\sigma_\theta}(\theta)=\mathbb E[J(\theta+\sigma_\theta\boldsymbol\epsilon)]\) 的梯度（6.11 节），每对扰动只看到 \(\boldsymbol\epsilon_j\) 方向上的一个差分，要拼出 \(d\) 维的梯度至少需要 \(d\) 量级的样本：方差随 \(d\) 线性增长，与 \(T\) 无关。所以二者各有地盘：参数少（几十维的步态参数、线性策略）而控制频率高时，ES 和随机搜索非常有竞争力（Mania 等，2018）；参数是百万维的神经网络时，在动作空间探索、配上学到的 critic 的策略梯度通常更好。Salimans 等（2017）用大量并行 worker 的 ES 训练过神经网络策略，靠的是并行规模。

REINFORCE 是 on-policy 的：\(\hat g\) 是当前策略下的期望，更新一次之后，旧样本就不再来自当前策略，只能丢掉（或者用重要性权重 \(\pi_{\theta'}/\pi_{\theta}\) 修正，4.9 节）。而 \(\theta\) 空间里的“一步”在策略空间里可能很大，也可能很小，取决于参数化：FIG 2 里 \(\alpha\) 稍大，路径就开始在山脊上大幅跳动。自然梯度（Kakade 2001）用策略分布之间的 KL 散度（4.11 节）来度量步长，TRPO 把它变成约束，PPO 用裁剪的概率比近似它：这些都在 20.4 节。

把前面的东西放到一个非线性任务上。一根竖直平面里的连杆（单位惯量）从自然下垂开始，要在 3 秒内转到每次随机给出的目标角 \(q^\star\in[-2.4,2.4]\) rad 并停住：\(\ddot q=\tau-5\sin q-0.5\,\dot q\)，电机力矩被饱和在 \(|\tau|\le8\)（策略并不知道）。目标越高，需要的重力补偿 \(5\sin q^\star\) 越大，而且它随 \(q^\star\) 非线性变化，接近水平时最大。策略是 \(\mu_\theta(s)=4\,f_\theta(e,\dot q/3,q^\star/2)\)，\(f_\theta\) 是一个两层各 24 个 tanh 单元的 MLP，加上一个可学习的 \(\log\sigma\)，初始 \(\sigma=2\)。每次更新抽 \(N\) 条轨迹，优势是 reward-to-go 减去时间基线、再标准化（减去均值、除以标准差），网络用 Adam 更新：这就是第 5 节那段伪代码，只是反向传播是手写的（nn.js）。

和 FIG 2 相比有几处变化，都是实际代码里的标准做法：优势除以标准差，学习率因此与奖励的尺度无关；\(\log\sigma\) 是与状态无关的独立参数；动作超出电机范围时由环境截断，而 \(\log\pi\) 按截断前的动作计算，这样估计仍然无偏（被截断的部分对回报的影响照样被正确地记账）。你也会注意到 \(\sigma\) 降得很慢：这个任务里力矩噪声的代价很小，梯度几乎不催 \(\sigma\) 变小。