简介这份资源面向深度强化学习与智能交通方向的毕业设计学生及算法入门者提供基于DDPG算法解决交通信号灯控制问题的完整Python源码与训练模型。项目结合PyTorch实现策略网络与价值网络并借助SUMO交通仿真工具及Traci、Sumolib库搭建可模拟真实车流、车辆类型与道路条件的仿真环境训练智能体根据实时交通流量动态调节信号灯时序以降低车辆等待时间、提升通行效率。压缩包共1984个文件约145.48MB以sumocfg仿真配置、xml路网与数据文件、pth模型权重、txt日志及json配置为主另含49个py脚本覆盖智能体定义、经验回放、训练与测试主流程等模块。已有210人学习下载适合希望快速复现DDPG交通控制实验、理解强化学习与仿真交互流程的读者参考。1. 从路口排队到 DDPG信号灯控制为什么值得用深度强化学习重做一遍早高峰的十字路口四个方向的车流此消彼长固定配时的红绿灯却只会按预设周期机械切换。结果就是绿灯方向没车红灯方向排成长龙。传统方案要么靠感应线圈做单点触发要么靠人工经验调时段方案前者反应迟钝后者根本跟不上实时变化。深度强化学习信号灯控制智能体本质上是让一个神经网络学会“看当前路口状态决定下一相位放哪个方向、放多久”。DDPG 算法在这里的价值在于它输出的是连续动作可以直接控制绿灯时长而不是只能在几个离散相位里挑一个。这套 Python 源码加模型的组合适合两类人一是做智能交通方向、想找个能跑通的强化学习落地案例的工程师二是学过 DRL 理论、但没在真实场景里调过参数的学生和研究者。它解决的核心问题是——把“信号灯配时”从静态规则变成动态决策并且给你一份可复现的起点。2. DDPG 控制信号灯状态、动作、奖励怎么定义才不翻车2.1 为什么选 DDPG 而不是 DQN 或 PPO信号灯控制本质上是一个连续控制问题。如果只做离散相位选择DQN 够用但它没法直接输出“绿灯持续 23 秒”这种连续值。PPO 也能做连续控制但样本效率偏低在交通仿真这种单步耗时较高的环境里训练轮次一多就非常痛苦。DDPG 是 Actor-Critic 架构Actor 输出确定性动作Critic 评估动作价值配合经验回放和目标网络在连续动作空间里样本效率相对高收敛也稳。我一般会先跑 DDPG 做 baseline再考虑换 SAC 或 TD3 做对比。选 DDPG 还有一个现实原因它的实现结构清晰源码里 Actor 和 Critic 分开写新手能看清楚每一部分在干什么。TD3 虽然更好但多了一对 Critic 和延迟更新逻辑调试门槛高一截。如果你刚接触深度强化学习信号灯控制DDPG 是那个“能让你先跑通再优化”的起点。2.2 状态空间设计别把整个路口塞进网络状态设计直接决定智能体能不能学到东西。常见做法是提取每个车道的排队长度、车辆平均速度、当前相位、相位已持续时间。不要试图把每个车辆的位置都塞进去维度爆炸不说泛化还差。我一般用 8 到 12 维状态向量覆盖四个方向的关键指标。import numpy as np def get_state(env): 从仿真环境提取状态向量 返回: shape(12,) 的 float32 数组 state [] for lane in env.lanes: # 四个进口道 # 排队车辆数归一化到 0-1 queue min(env.get_queue_length(lane) / 20.0, 1.0) # 平均速度归一化 speed env.get_avg_speed(lane) / 15.0 # 该方向是否当前绿灯 is_green 1.0 if env.current_phase lane else 0.0 state.extend([queue, speed, is_green]) # 当前相位已持续时长归一化 state.append(min(env.phase_duration / 60.0, 1.0)) return np.array(state, dtypenp.float32)这段代码里queue_length除以 20 是经验归一化上限超过 20 辆按 20 算avg_speed除以 15 同理。归一化的目的是让不同量纲的特征对网络梯度贡献均衡。is_green用 one-hot 形式告诉智能体当前放行方向。最后一个维度是相位持续时间防止智能体在一个相位上无限停留。参数怎么改如果路口车道更多把循环里的 lane 数量改掉状态维度同步调整Actor 网络输入层也要改。2.3 动作空间与奖励函数连续绿灯时长怎么落地DDPG 的 Actor 输出一个连续值通常映射到 [-1, 1]再缩放到实际绿灯时长范围。比如最小绿灯 10 秒最大 60 秒动作 a 对应时长 10 (a 1) / 2 * 50。这样智能体可以在 10 到 60 秒之间任意取值。奖励函数是训练成败的关键。最直接的是用路口总排队长度或总等待时间取负值作为奖励。但只用这个智能体容易学会“一直放某个方向”来局部最优。我一般会加两个修正项一是相位切换惩罚鼓励减少频繁切换二是如果某方向排队超过阈值给额外负奖励。def compute_reward(env, action, prev_phase): 计算单步奖励 action: 缩放后的绿灯时长 prev_phase: 上一步相位 total_queue sum(env.get_queue_length(l) for l in env.lanes) total_wait sum(env.get_total_waiting_time(l) for l in env.lanes) # 基础奖励负的排队和等待 reward -(0.6 * total_queue 0.4 * total_wait / 10.0) # 切换惩罚 if env.current_phase ! prev_phase: reward - 2.0 # 极端排队惩罚 for l in env.lanes: if env.get_queue_length(l) 15: reward - 5.0 return reward权重 0.6 和 0.4 是我在几个仿真场景里试出来的排队长度比等待时间更直接影响通行效率。切换惩罚系数 2.0 不能太大否则智能体会不敢换相位导致某个方向堵死。极端排队惩罚是兜底防止出现“放弃某个方向”的退化策略。这些参数没有绝对最优需要根据路口流量特征微调。3. 把 DDPG 跑起来网络结构、训练循环与仿真环境对接3.1 Actor 和 Critic 网络的最小实现DDPG 需要四个网络Actor 在线网络、Actor 目标网络、Critic 在线网络、Critic 目标网络。Actor 输入状态输出动作Critic 输入状态和动作输出 Q 值。隐藏层用 256 和 256 两个全连接层激活函数 Actor 输出层用 tanh其余用 ReLU。import torch import torch.nn as nn class Actor(nn.Module): def __init__(self, state_dim, action_dim, max_action): super().__init__() self.net nn.Sequential( nn.Linear(state_dim, 256), nn.ReLU(), nn.Linear(256, 256), nn.ReLU(), nn.Linear(256, action_dim), nn.Tanh() ) self.max_action max_action def forward(self, state): return self.net(state) * self.max_action class Critic(nn.Module): def __init__(self, state_dim, action_dim): super().__init__() self.net nn.Sequential( nn.Linear(state_dim action_dim, 256), nn.ReLU(), nn.Linear(256, 256), nn.ReLU(), nn.Linear(256, 1) ) def forward(self, state, action): return self.net(torch.cat([state, action], dim1))max_action设为 1.0因为动作在送入环境前会做缩放。Actor 输出层用 tanh 保证输出在 [-1, 1]。Critic 把状态和动作拼接后输入这是 DDPG 的标准做法。隐藏层 256 是经验值状态维度低于 20 时够用如果状态维度上百可以加到 400 或 512。3.2 经验回放与目标网络软更新经验回放池存的是 (state, action, reward, next_state, done) 五元组。每次训练从池里随机采样一个 batch打破时间相关性。目标网络不直接复制在线网络参数而是软更新每次在线网络更新后目标网络参数往在线网络参数靠一点点。class ReplayBuffer: def __init__(self, capacity100000): self.buffer [] self.capacity capacity def push(self, transition): if len(self.buffer) self.capacity: self.buffer.pop(0) self.buffer.append(transition) def sample(self, batch_size): idx np.random.choice(len(self.buffer), batch_size, replaceFalse) batch [self.buffer[i] for i in idx] state, action, reward, next_state, done zip(*batch) return (np.array(state), np.array(action), np.array(reward), np.array(next_state), np.array(done)) def soft_update(target, online, tau0.005): for tp, op in zip(target.parameters(), online.parameters()): tp.data.copy_(tau * op.data (1 - tau) * tp.data)回放池容量 100000 是常见起点太小容易过拟合近期经验太大则早期垃圾数据拖慢训练。tau0.005意味着目标网络每步只更新 0.5%这样 Critic 目标值变化平缓训练更稳。如果发现 loss 震荡厉害可以把 tau 降到 0.001。3.3 训练循环从仿真环境拿数据到更新网络训练循环的核心逻辑是用当前策略选动作送入环境执行拿到奖励和下一状态存入回放池采样更新网络。注意动作要加噪声做探索DDPG 常用 Ornstein-Uhlenbeck 噪声或高斯噪声。def train_step(agent, env, replay_buffer, batch_size64): state env.reset() episode_reward 0 for step in range(env.max_steps): # 选动作并加探索噪声 action agent.select_action(state) noise np.random.normal(0, 0.1, sizeaction.shape) action np.clip(action noise, -1, 1) # 执行动作动作缩放后控制绿灯时长 next_state, reward, done, _ env.step(action) replay_buffer.push((state, action, reward, next_state, done)) state next_state episode_reward reward # 回放池足够大才开始训练 if len(replay_buffer.buffer) 1000: agent.update(replay_buffer, batch_size) if done: break return episode_reward噪声标准差 0.1 是探索强度的关键。太大智能体行为随机学不到有效策略太小则探索不足容易卡在局部最优。回放池预热 1000 步再开始更新避免早期随机数据污染网络。env.step里要把动作从 [-1, 1] 映射到实际绿灯时长并推进仿真时钟。4. 训练不收敛、排队爆炸DDPG 信号灯控制的避坑清单4.1 奖励曲线震荡剧烈Q 值发散现象训练几十轮后Critic loss 突然飙升到几百甚至上千奖励曲线剧烈震荡。原因通常是 Critic 过估计或者目标网络更新太快。解决先把 tau 从 0.005 降到 0.001再把 Critic 学习率从 1e-3 降到 1e-4。如果还不行在 Critic 损失里加梯度裁剪torch.nn.utils.clip_grad_norm_(critic.parameters(), 1.0)。我遇到过最严重的一次是回放池里混入了未归一化的奖励值导致 Q 值量级失控归一化奖励后就好了。4.2 智能体学会“摆烂”一直放同一个方向现象训练一段时间后智能体总是选择同一个相位其他方向排队越来越长。原因通常是切换惩罚系数太大或者奖励函数里缺少对极端排队的惩罚。解决把切换惩罚从 2.0 降到 0.5同时加上“某方向排队超过 15 辆时额外负奖励”的项。另外检查动作缩放范围如果最小绿灯时长设得太短智能体可能频繁切换但每次只放几秒等效于没放行。4.3 仿真环境步进太慢训练一天跑不完现象单步仿真耗时超过 0.1 秒十万步训练要跑好几个小时。原因可能是仿真器用了图形界面或者每步都在做全量车辆更新。解决关掉渲染用无头模式跑把仿真步长从 0.1 秒调到 0.5 秒减少决策频率如果用的是 SUMO用 TraCI 的step()而不是simulationStep()。我一般会在训练脚本里加一个--no-render参数默认关闭可视化。4.4 状态归一化不一致训练和测试表现差距大现象训练时奖励不错换一个路口或换一组流量数据表现直接崩掉。原因往往是状态归一化参数写死了比如排队长度除以 20但新场景排队能到 40。解决把归一化上限做成可配置参数或者用运行时统计的动态归一化。更稳妥的做法是在状态里用相对值比如“当前排队 / 该方向历史最大排队”而不是绝对值。4.5 动作缩放边界写错绿灯时长超出物理限制现象仿真器报错或者绿灯时长出现负数、超过 120 秒。原因通常是动作缩放公式写反了或者 clip 范围不对。解决动作从网络输出后先 clip 到 [-1, 1]再映射到 [min_green, max_green]。映射公式写成min_green (action 1) * 0.5 * (max_green - min_green)检查 min_green 和 max_green 的单位是秒还是仿真步。如果仿真步长是 0.5 秒max_green60 秒对应 120 步别搞混。5. 从跑通到跑好DDPG 信号灯控制的进阶调参与验证方法5.1 用固定配时做 baseline别只看奖励绝对值训练奖励从 -500 涨到 -200不代表智能体真的比固定配时好。一定要拿固定配时方案在同一个仿真场景里跑一遍记录平均排队长度、平均等待时间、通行量三个指标。我一般会跑 10 个随机种子取均值和标准差。如果 DDPG 只在部分种子上比固定配时好说明策略不稳定需要继续调。指标固定配时DDPG训练后提升幅度平均排队长度12.3 辆8.7 辆29%平均等待时间45.2 秒31.8 秒30%通行量1820 辆/小时1950 辆/小时7%这张表是我在一个四路口场景里跑出来的典型结果。通行量提升有限因为路口本身接近饱和但排队和等待时间改善明显说明智能体学会了动态分配绿灯时长。5.2 课程学习从简单流量开始逐步加难度直接上高峰流量DDPG 很难学到有效策略。我一般用课程学习先跑低流量每方向 200 辆/小时训练到奖励稳定再逐步加到 400、600、800。每次增加流量后加载上一阶段的模型参数继续训练而不是从头开始。这样训练时间能缩短一半以上最终策略也更鲁棒。def curriculum_train(agent, env, stages): stages: [(流量, 训练轮数), ...] for flow, episodes in stages: env.set_flow(flow) for ep in range(episodes): reward train_step(agent, env, replay_buffer) if ep % 50 0: print(fFlow{flow}, Episode{ep}, Reward{reward:.2f}) # 保存阶段模型 torch.save(agent.actor.state_dict(), factor_flow_{flow}.pth)stages可以设成[(200, 500), (400, 500), (600, 800), (800, 1000)]。每个阶段训练轮数根据收敛情况调整如果奖励曲线已经平了就可以提前进入下一阶段。5.3 验证策略时关掉探索噪声训练时加噪声是为了探索验证时必须关掉。我见过有人验证时忘了关噪声结果策略表现忽好忽坏排查了半天才发现是噪声在捣乱。验证时直接用agent.actor(state)输出动作不加任何随机项。另外验证要跑多个完整 episode取平均不要只看一个 episode 的结果。5.4 模型保存与加载别只存 Actor只保存 Actor 参数下次想继续训练时 Critic 和优化器状态都没了等于从头开始。完整保存应该包括 Actor、Critic、目标网络和优化器状态。我一般用字典打包torch.save({ actor: agent.actor.state_dict(), critic: agent.critic.state_dict(), actor_target: agent.actor_target.state_dict(), critic_target: agent.critic_target.state_dict(), actor_optim: agent.actor_optim.state_dict(), critic_optim: agent.critic_optim.state_dict(), }, ddpg_checkpoint.pth)加载时对应load_state_dict回去。这样即使训练中断也能无缝续上。血泪经验有一次训练到半夜断电只存了 Actor第二天只能重新跑白白浪费六个小时。5.5 一个具体技巧用相位持续时间做动作平滑DDPG 输出的动作在相邻步之间可能跳变导致绿灯时长忽长忽短。可以在动作输出后加一个一阶低通滤波action_smooth 0.7 * action_prev 0.3 * action_now。这样绿灯时长变化更平缓仿真器里的车辆也不会因为相位频繁微调而出现异常。系数 0.7 和 0.3 可以根据需要调滤波越强策略越保守。这个技巧在真实路口部署时尤其重要因为信号机本身也不允许绿灯时长频繁大幅跳变。我自己的习惯是每换一个路口场景先跑固定配时拿 baseline再跑 DDPG对比三个指标最后看策略输出的绿灯时长序列是否合理。如果时长序列像心电图一样乱跳哪怕奖励好看我也不会认为这个策略能落地。希望帮到你。本文还有配套的精品资源点击获取