策略梯度(Policy Gradient)原理与实战技巧详解

1. Policy Gradient 方法概述Policy Gradient策略梯度是强化学习中最基础也最重要的算法家族之一。不同于基于价值函数的方法如Q-Learning它直接对策略进行参数化并优化这种端到端的特性使其在连续动作空间和高维状态空间中表现出色。我第一次接触Policy Gradient是在2016年开发机器人控制项目时。当时我们需要让机械臂学习抓取不同形状的物体传统Q-Learning在连续动作空间中的离散化处理导致控制不够平滑而Policy Gradient直接输出关节力矩向量的做法完美解决了这个问题。2. 核心数学原理拆解2.1 策略参数化表示策略π(a|s)通常用神经网络表示输入状态s输出动作a的概率分布。对于离散动作空间常用softmax输出层连续空间则常用高斯分布网络输出均值μ和方差σ。以PyTorch实现为例class PolicyNet(nn.Module): def __init__(self, state_dim, hidden_dim, action_dim): super().__init__() self.fc1 nn.Linear(state_dim, hidden_dim) self.fc2 nn.Linear(hidden_dim, action_dim) def forward(self, x): x F.relu(self.fc1(x)) return F.softmax(self.fc2(x), dim1)2.2 目标函数构建核心目标是最大化期望回报 J(θ) E[Σγ^t r_t]其梯度可表示为 ∇J(θ) E[∇logπ(a|s) Q(s,a)]这个看似简单的公式蕴含着两个关键insight通过log梯度将策略更新与回报关联高回报的动作会获得更大的更新幅度3. 经典算法实现详解3.1 REINFORCE 算法最基础的蒙特卡洛策略梯度算法完整流程用当前策略π_θ采样轨迹τ计算每个时间步的回报G_t更新参数θ ← θ αΣ∇logπ(a_t|s_t)G_t关键实现细节def compute_returns(rewards, gamma0.99): returns [] R 0 for r in reversed(rewards): R r gamma * R returns.insert(0, R) return returns def update_policy(optimizer, returns, log_probs): policy_loss [] for log_prob, G in zip(log_probs, returns): policy_loss.append(-log_prob * G) optimizer.zero_grad() policy_loss torch.cat(policy_loss).sum() policy_loss.backward() optimizer.step()3.2 基线技巧Baseline原始REINFORCE方差较大引入基线b(s)减小方差 ∇J(θ) E[∇logπ(a|s)(Q(s,a)-b(s))]常用选择移动平均回报价值函数V(s)状态依赖的神经网络实验表明合适的基线能加速收敛2-3倍。4. 实战技巧与调参经验4.1 学习率设置策略Policy Gradient对学习率极其敏感建议初始学习率设为1e-3到1e-4配合Adam优化器使用实现自动调整scheduler torch.optim.lr_scheduler.ReduceLROnPlateau( optimizer, max, patience5, factor0.5)4.2 回报归一化不同回合的回报尺度可能差异巨大建议returns (returns - returns.mean()) / (returns.std() 1e-8)4.3 熵正则化防止策略过早收敛到次优解entropy -torch.sum(probs * torch.log(probs), dim1) loss policy_loss - 0.01 * entropy.mean()5. 典型问题排查指南5.1 梯度消失/爆炸症状训练早期回报不提升 解决方案梯度裁剪torch.nn.utils.clip_grad_norm_(model.parameters(), 0.5)网络初始化最后一层初始化为接近0的小值5.2 策略过早收敛症状探索不足陷入局部最优 解决方法增大熵系数0.01→0.1增加随机探索action torch.multinomial(probs 0.1*torch.rand_like(probs), 1)5.3 训练不稳定症状回报剧烈波动 应对措施增大batch size从1个episode→10个episode使用GAEGeneralized Advantage Estimation6. 进阶优化方向6.1 自然策略梯度引入Fisher信息矩阵 θ ← θ αF^{-1}∇J(θ) 其中F E[∇logπ ∇logπ^T]实现时需要共轭梯度法避免直接求逆。6.2 PPO算法近端策略优化通过clip机制限制更新幅度 L(θ) E[min(r(θ)A, clip(r(θ),1-ε,1ε)A)] 其中r(θ)π_new/π_old这是当前最稳定的策略梯度变体。我在实际项目中验证过PPO相比原始PG在机器人控制任务中能提升约40%的样本效率。