简介这份资源面向计算机相关专业正在做课程大作业、毕业设计以及需要项目实战练习的学习者围绕深度强化学习在移动机器人导航与避障中的应用展开涵盖多种主流算法的代码实现与配套文档说明难度适中适合具备一定Python与强化学习基础的同学参考复现。压缩包共约2000个文件整体约6.1MB其中139个py文件承载核心算法与训练逻辑大量cmake、make、makefile及sh脚本用于工程构建与运行环境配置另有txt说明、launch与world文件、msg消息定义、stl与dae模型等构成完整的机器人仿真与导航工程结构。该资源经导师指导并通过评审源码均经本地编译调试可正常运行。目前已有52人学习下载读者可据此梳理算法实现思路、理解工程目录组织方式并在此基础上完成自己的设计任务或进一步扩展实验。1. 从仿真到实机深度强化学习导航避障到底能不能落地移动机器人导航与避障这件事传统方案已经跑了很多年全局规划用 A*、Dijkstra局部避障用 DWA、TEB再配一套代价地图和定位模块工程上基本能应付大多数结构化场景。但一旦场景里出现移动的人、随机摆放的纸箱、地面反光导致激光丢点传统方法的参数就开始变得玄学——调好这个场景换个走廊又翻车。深度强化学习的吸引力就在这里让机器人自己从交互中学会「看到什么该往哪走」而不是靠人把每种情况都写成 if-else。这个方向适合两类人一类是做 ROS/ROS2 导航栈、想给局部规划器加一个学习型策略的工程师另一类是想把深度强化学习从游戏环境搬到真实机器人上的研究者。它解决的核心问题是「在动态、部分可观测环境下的反应式避障与路径决策」。但我要先把话说在前面这不是把模型训好就能上车的活仿真里 95% 成功率、实机上撞墙的案例我见得太多了。下面按「选什么算法 → 怎么搭环境 → 怎么训 → 怎么迁到实机 → 坑在哪」的顺序讲清楚。2. 算法选型DQN、DDPG、PPO、SAC 在导航任务里怎么挑2.1 先看动作空间再谈算法优劣移动机器人的动作空间决定了你能用哪一类算法这是选型的第一刀。差速底盘常见的两种建模方式离散动作前进、左转、右转、后退、停止五到九个动作。对应 value-based 方法DQN 及其变体Double DQN、Dueling DQN、PER-DQN都能直接用。连续动作直接输出线速度 v 和角速度 ω范围比如 v∈[0, 0.5] m/sω∈[-1.5, 1.5] rad/s。对应 policy-gradient 类方法DDPG、TD3、PPO、SAC 都行。我一般会先问一句你的底盘能不能接受离散动作带来的抖动如果电机响应快、控制频率能到 20Hz 以上离散动作其实够用DQN 训练稳定、调参少新手容易出结果。如果要求轨迹平滑、要过窄门那必须上连续动作SAC 或 TD3 是首选。2.2 四种主流算法的对比与适用边界算法动作空间样本效率训练稳定性导航任务适配度DQN离散低中简单避障、网格地图DDPG连续中差不推荐单独用TD3连续中高好连续控制首选之一PPO离散/连续低很好仿真快速验证SAC连续高好实机迁移首选DDPG 是血泪教训最多的一个Q 值过估计导致策略崩溃同一个种子跑两次结果能差一倍。TD3 用双 critic 加延迟更新把这个问题压下去了SAC 再加最大熵项探索更充分。PPO 的优势是实现简单、超参不敏感适合先在仿真里跑通流程但样本效率低实机在线训练基本别想。我的建议路径是仿真阶段用 PPO 快速验证奖励函数设计是否合理确认能收敛后换成 SAC 做精细训练最后把 SAC 策略蒸馏或直接部署到实机。如果算力紧张、只做离散动作DQN 优先经验回放PER也能打。2.3 观测空间怎么设计才不浪费网络容量观测决定了策略能看到什么。常见组合激光雷达把 360° 的 720 点降采样成 24 或 36 维的最小距离向量每 10° 取一个 min。目标信息机器人到目标点的距离、目标在机器人坐标系下的角度极坐标表示比笛卡尔坐标好训。自身状态当前线速度、角速度。可选最近若干帧的观测堆叠用来隐式编码速度信息。观测维度别贪多。我见过把原始 720 点激光直接喂进 MLP 的网络前几层全在学降采样训练慢得离谱。24 维激光 3 维目标 2 维自身状态29 维输入两层 256 的 MLP 足够应付大多数室内场景。3. 仿真环境搭建从零跑通一个导航训练的最小闭环3.1 环境选型Gazebo、PyBullet 还是自研网格三种常见选择Gazebo ROS最贴近实机传感器噪声、物理引擎都真实但启动慢、并行采样困难训练效率低。PyBullet轻量、Python 原生、支持多环境并行适合算法验证但传感器模型要自己写。自研网格/连续 2D 环境最快一个 step 几微秒适合先验证算法和奖励函数缺点是 sim-to-real gap 大。我的做法是分两阶段奖励函数和网络结构在自研 2D 环境里调确认收敛后再搬到 Gazebo 做视觉和物理验证。下面给一个自研环境的骨架这是整个训练流程的地基。import numpy as np class NavEnv: def __init__(self, map_size10.0, max_steps500): self.map_size map_size # 正方形地图边长单位米 self.max_steps max_steps # 单回合最大步数防止死循环 self.dt 0.1 # 仿真步长对应 10Hz 控制频率 self.robot_r 0.2 # 机器人半径用于碰撞检测 self.obstacles self._random_obstacles() def _random_obstacles(self, n8): # 随机生成圆形障碍避开起点和终点区域 obs [] while len(obs) n: p np.random.uniform(1.0, self.map_size - 1.0, size2) if np.linalg.norm(p - self.goal) 1.5: continue obs.append((p, np.random.uniform(0.2, 0.5))) return obs def reset(self): self.pos np.array([0.5, 0.5]) # 起点固定在左下角 self.goal np.array([self.map_size - 0.5, self.map_size - 0.5]) self.obstacles self._random_obstacles() self.steps 0 return self._get_obs() def _get_obs(self): # 36 维激光每 10 度取该方向上到最近障碍的距离 lidar np.ones(36) * self.map_size for i in range(36): ang i * np.pi / 18 direction np.array([np.cos(ang), np.sin(ang)]) for (c, r) in self.obstacles: # 射线与圆求交简化用投影近似 to_c c - self.pos proj np.dot(to_c, direction) if proj 0: perp np.linalg.norm(to_c - proj * direction) if perp r: hit proj - np.sqrt(r**2 - perp**2) lidar[i] min(lidar[i], hit) # 目标极坐标 自身速度 delta self.goal - self.pos dist np.linalg.norm(delta) angle np.arctan2(delta[1], delta[0]) - self.theta angle (angle np.pi) % (2 * np.pi) - np.pi return np.concatenate([lidar / self.map_size, [dist / self.map_size, angle, self.v, self.w]]) def step(self, action): # action: [v, w]连续动作 self.v, self.w action self.theta self.w * self.dt self.pos np.array([np.cos(self.theta), np.sin(self.theta)]) * self.v * self.dt self.steps 1 reward, done self._compute_reward() return self._get_obs(), reward, done, {} def _compute_reward(self): dist np.linalg.norm(self.goal - self.pos) # 距离奖励靠近给正远离给负 reward (self._prev_dist - dist) * 10.0 self._prev_dist dist # 碰撞惩罚 for (c, r) in self.obstacles: if np.linalg.norm(self.pos - c) r self.robot_r: return -10.0, True # 到达奖励 if dist 0.3: return 50.0, True # 越界惩罚 if np.any(self.pos 0) or np.any(self.pos self.map_size): return -10.0, True # 时间惩罚鼓励快速到达 reward - 0.01 done self.steps self.max_steps return reward, done这段代码的关键点奖励函数用「距离变化量」而不是「距离绝对值」。用绝对值的话机器人在原地打转也能拿到稳定奖励策略会学成躺平。距离变化量是势能塑形potential-based shaping的简化版保证最优策略不变的同时加速收敛。参数上dt0.1对应 10Hz实机控制频率一般也是这个量级max_steps500意味着单回合最长 50 秒够走完 10 米地图。3.2 用 Stable-Baselines3 接入 SAC 的最小训练脚本环境有了训练框架直接用 Stable-Baselines3省得自己写经验回放和网络更新。from stable_baselines3 import SAC from stable_baselines3.common.callbacks import EvalCallback from stable_baselines3.common.env_checker import check_env env NavEnv() check_env(env) # 检查观测/动作空间是否符合 gym 接口 eval_env NavEnv() eval_callback EvalCallback( eval_env, best_model_save_path./logs/best_model, log_path./logs/eval, eval_freq5000, # 每 5000 步评估一次 n_eval_episodes20, # 每次评估跑 20 回合取平均 deterministicTrue, ) model SAC( MlpPolicy, env, learning_rate3e-4, # SAC 常用 3e-4太大容易崩 buffer_size1_000_000, # 经验池大小内存够就拉满 batch_size256, tau0.005, # 目标网络软更新系数 gamma0.99, # 折扣因子导航任务 0.99 合适 train_freq1, gradient_steps1, verbose1, tensorboard_log./logs/tb, ) model.learn(total_timesteps500_000, callbackeval_callback) model.save(sac_nav_final)参数说明learning_rate3e-4是 SAC 论文和社区验证过的甜点值调到 1e-3 经常出现策略熵爆炸。buffer_size越大越好但 100 万条 29 维观测大约占 1GB 内存按机器配置取舍。gamma0.99对应约 100 步的有效视野10Hz 下就是 10 秒足够覆盖一次避障决策。eval_freq5000配合n_eval_episodes20能看出策略是否真的在进步而不是被单次幸运回合骗了。3.3 训练过程怎么判断「真的在收敛」TensorBoard 里重点看三条曲线rollout/ep_rew_mean回合奖励、eval/mean_reward评估奖励、train/ent_coef熵系数。健康的训练是这样的前 5 万步奖励在低位震荡5 到 15 万步快速上升之后缓慢爬升并趋于平稳。如果eval/mean_reward长期不涨但ep_rew_mean在涨说明过拟合到训练环境的随机障碍分布了得增加障碍随机性或者加正则。熵系数ent_coef如果自动调节到接近 0说明策略已经确定性很强探索基本停止这时候如果还没收敛就得手动调高ent_coef或者检查奖励函数是不是有陷阱。4. 避坑与排查训练不收敛、实机撞墙的五个真实原因4.1 现象奖励曲线上升但机器人原地转圈原因奖励函数里距离项用了绝对值或者时间惩罚太小策略发现原地转圈能持续获得「靠近目标」的微小正奖励因为角度在变距离偶尔减小。解决改成距离变化量奖励并把时间惩罚从 -0.01 提到 -0.05让躺平的成本高于前进。同时检查目标角度是否归一化到 [-π, π]没归一化的话网络很难学。4.2 现象仿真成功率 95%实机一出门就撞原因仿真激光是理想射线实机激光有噪声、有盲区、有反射丢点仿真里障碍是完美圆形实机是各种奇怪形状。策略过拟合到仿真的观测分布了。解决训练时给激光加高斯噪声σ 取实际雷达手册噪声的 1.5 倍随机丢弃 5% 的激光点模拟丢点障碍形状随机化。实机部署前先在实机环境采一批真实观测喂给策略看动作是否合理这一步能提前发现大部分分布偏移。4.3 现象SAC 训练到 20 万步突然崩溃奖励断崖下跌原因Q 值过估计累积到临界点或者学习率相对 batch 内奖励尺度太大。导航任务里到达奖励给 50、碰撞给 -10尺度差异大critic 容易学偏。解决把所有奖励缩放到 [-1, 1] 区间到达给 1.0碰撞给 -1.0距离塑形项乘 0.1。同时开use_sdeFalseSAC 默认关闭状态依赖探索检查target_update_interval别设太小。崩溃后从最近的 checkpoint 恢复把学习率降到 1e-4 继续训。4.4 现象策略在窄走廊里来回抖动过不去原因观测里没有历史信息机器人分不清「自己在往左偏」还是「已经偏了」。单帧观测是马尔可夫的但实际控制需要速度信息。解决观测里显式加入当前 v 和 ω上面的代码已经加了或者堆叠最近 3 帧激光。另一个办法是动作加低通滤波实机部署时对策略输出的 ω 做一阶滤波能显著减少抖动。4.5 现象换一张地图就要重新训泛化性为零原因训练时地图固定或障碍分布太窄网络把地图「背」下来了而不是学避障策略。解决训练时每回合随机生成障碍数量和位置地图尺寸也在 8 到 12 米之间随机。更彻底的做法是课程学习先从空旷场景开始逐步增加障碍密度最后加入动态障碍。泛化性好的策略在没见过的地图上成功率下降不应超过 15%。5. 从仿真到实机策略部署与 sim-to-real 的最后一公里5.1 部署链路策略输出怎么接到 ROS 控制话题仿真里策略输出 [v, ω]实机上要接到/cmd_vel。中间需要一个 ROS 节点做频率对齐和安全兜底。import rospy from geometry_msgs.msg import Twist from sensor_msgs.msg import LaserScan import numpy as np import torch class PolicyNode: def __init__(self, model_path): rospy.init_node(rl_nav_policy) self.model torch.load(model_path, map_locationcpu) self.model.eval() self.cmd_pub rospy.Publisher(/cmd_vel, Twist, queue_size1) self.scan_sub rospy.Subscriber(/scan, LaserScan, self.scan_cb) self.latest_scan None self.rate rospy.Rate(10) # 与训练频率一致 def scan_cb(self, msg): # 把 720 点降采样成 36 维最小距离与训练时一致 ranges np.array(msg.ranges) ranges[np.isinf(ranges)] msg.range_max n len(ranges) // 36 self.latest_scan np.array([ranges[i*n:(i1)*n].min() for i in range(36)]) def run(self): while not rospy.is_shutdown(): if self.latest_scan is None: self.rate.sleep() continue obs self.build_obs(self.latest_scan) with torch.no_grad(): action self.model.predict(obs, deterministicTrue)[0] v, w float(action[0]), float(action[1]) # 安全兜底前方 0.3 米内有障碍直接停 if self.latest_scan[17] 0.3 or self.latest_scan[18] 0.3: v, w 0.0, 0.0 cmd Twist() cmd.linear.x np.clip(v, 0.0, 0.5) cmd.angular.z np.clip(w, -1.5, 1.5) self.cmd_pub.publish(cmd) self.rate.sleep()关键在build_obs里实机的目标点信息要么来自全局规划器给的局部目标要么来自固定的导航点。观测的归一化方式必须和训练时完全一致差一个系数策略就废了。安全兜底那两行是后悔药实机调试阶段一定要有等策略稳定运行几百小时再考虑去掉。5.2 验证策略是否真的学到了避障而不是记住了路径一个简单的验证方法把机器人放在训练时没见过的起点目标点也换位置看它能不能绕开障碍到达。更严格的做法是做消融——把激光观测置零如果策略还能到达目标说明它根本没在用激光只是记住了「往右上角走」这个捷径。这个测试能筛掉一大批假收敛的模型。另一个技巧是可视化策略的注意力对观测的每一维做扰动看动作变化幅度激光维度变化大说明策略真的在看障碍。这个方法比看奖励曲线靠谱得多。5.3 我自己的习惯每次训完一个策略我不会直接上实机而是先在仿真里跑 100 个随机场景把失败案例的观测和动作全部录下来逐个看。十次里有八次能发现奖励函数或者观测设计的漏洞。实机调试时我习惯把策略输出和传统 DWA 的输出同时接到一个录制节点对比两者在相同场景下的决策差异差异大的地方往往就是策略的盲区。这个方向值得做但别指望一个模型打天下把传统规划器当安全层、RL 当决策层是目前最稳的工程组合。希望帮到你。本文还有配套的精品资源点击获取 深度强化学习导航避障：从仿真到实机的算法选型与部署指南
简介这份资源面向计算机相关专业正在做课程大作业、毕业设计以及需要项目实战练习的学习者围绕深度强化学习在移动机器人导航与避障中的应用展开涵盖多种主流算法的代码实现与配套文档说明难度适中适合具备一定Python与强化学习基础的同学参考复现。压缩包共约2000个文件整体约6.1MB其中139个py文件承载核心算法与训练逻辑大量cmake、make、makefile及sh脚本用于工程构建与运行环境配置另有txt说明、launch与world文件、msg消息定义、stl与dae模型等构成完整的机器人仿真与导航工程结构。该资源经导师指导并通过评审源码均经本地编译调试可正常运行。目前已有52人学习下载读者可据此梳理算法实现思路、理解工程目录组织方式并在此基础上完成自己的设计任务或进一步扩展实验。1. 从仿真到实机深度强化学习导航避障到底能不能落地移动机器人导航与避障这件事传统方案已经跑了很多年全局规划用 A*、Dijkstra局部避障用 DWA、TEB再配一套代价地图和定位模块工程上基本能应付大多数结构化场景。但一旦场景里出现移动的人、随机摆放的纸箱、地面反光导致激光丢点传统方法的参数就开始变得玄学——调好这个场景换个走廊又翻车。深度强化学习的吸引力就在这里让机器人自己从交互中学会「看到什么该往哪走」而不是靠人把每种情况都写成 if-else。这个方向适合两类人一类是做 ROS/ROS2 导航栈、想给局部规划器加一个学习型策略的工程师另一类是想把深度强化学习从游戏环境搬到真实机器人上的研究者。它解决的核心问题是「在动态、部分可观测环境下的反应式避障与路径决策」。但我要先把话说在前面这不是把模型训好就能上车的活仿真里 95% 成功率、实机上撞墙的案例我见得太多了。下面按「选什么算法 → 怎么搭环境 → 怎么训 → 怎么迁到实机 → 坑在哪」的顺序讲清楚。2. 算法选型DQN、DDPG、PPO、SAC 在导航任务里怎么挑2.1 先看动作空间再谈算法优劣移动机器人的动作空间决定了你能用哪一类算法这是选型的第一刀。差速底盘常见的两种建模方式离散动作前进、左转、右转、后退、停止五到九个动作。对应 value-based 方法DQN 及其变体Double DQN、Dueling DQN、PER-DQN都能直接用。连续动作直接输出线速度 v 和角速度 ω范围比如 v∈[0, 0.5] m/sω∈[-1.5, 1.5] rad/s。对应 policy-gradient 类方法DDPG、TD3、PPO、SAC 都行。我一般会先问一句你的底盘能不能接受离散动作带来的抖动如果电机响应快、控制频率能到 20Hz 以上离散动作其实够用DQN 训练稳定、调参少新手容易出结果。如果要求轨迹平滑、要过窄门那必须上连续动作SAC 或 TD3 是首选。2.2 四种主流算法的对比与适用边界算法动作空间样本效率训练稳定性导航任务适配度DQN离散低中简单避障、网格地图DDPG连续中差不推荐单独用TD3连续中高好连续控制首选之一PPO离散/连续低很好仿真快速验证SAC连续高好实机迁移首选DDPG 是血泪教训最多的一个Q 值过估计导致策略崩溃同一个种子跑两次结果能差一倍。TD3 用双 critic 加延迟更新把这个问题压下去了SAC 再加最大熵项探索更充分。PPO 的优势是实现简单、超参不敏感适合先在仿真里跑通流程但样本效率低实机在线训练基本别想。我的建议路径是仿真阶段用 PPO 快速验证奖励函数设计是否合理确认能收敛后换成 SAC 做精细训练最后把 SAC 策略蒸馏或直接部署到实机。如果算力紧张、只做离散动作DQN 优先经验回放PER也能打。2.3 观测空间怎么设计才不浪费网络容量观测决定了策略能看到什么。常见组合激光雷达把 360° 的 720 点降采样成 24 或 36 维的最小距离向量每 10° 取一个 min。目标信息机器人到目标点的距离、目标在机器人坐标系下的角度极坐标表示比笛卡尔坐标好训。自身状态当前线速度、角速度。可选最近若干帧的观测堆叠用来隐式编码速度信息。观测维度别贪多。我见过把原始 720 点激光直接喂进 MLP 的网络前几层全在学降采样训练慢得离谱。24 维激光 3 维目标 2 维自身状态29 维输入两层 256 的 MLP 足够应付大多数室内场景。3. 仿真环境搭建从零跑通一个导航训练的最小闭环3.1 环境选型Gazebo、PyBullet 还是自研网格三种常见选择Gazebo ROS最贴近实机传感器噪声、物理引擎都真实但启动慢、并行采样困难训练效率低。PyBullet轻量、Python 原生、支持多环境并行适合算法验证但传感器模型要自己写。自研网格/连续 2D 环境最快一个 step 几微秒适合先验证算法和奖励函数缺点是 sim-to-real gap 大。我的做法是分两阶段奖励函数和网络结构在自研 2D 环境里调确认收敛后再搬到 Gazebo 做视觉和物理验证。下面给一个自研环境的骨架这是整个训练流程的地基。import numpy as np class NavEnv: def __init__(self, map_size10.0, max_steps500): self.map_size map_size # 正方形地图边长单位米 self.max_steps max_steps # 单回合最大步数防止死循环 self.dt 0.1 # 仿真步长对应 10Hz 控制频率 self.robot_r 0.2 # 机器人半径用于碰撞检测 self.obstacles self._random_obstacles() def _random_obstacles(self, n8): # 随机生成圆形障碍避开起点和终点区域 obs [] while len(obs) n: p np.random.uniform(1.0, self.map_size - 1.0, size2) if np.linalg.norm(p - self.goal) 1.5: continue obs.append((p, np.random.uniform(0.2, 0.5))) return obs def reset(self): self.pos np.array([0.5, 0.5]) # 起点固定在左下角 self.goal np.array([self.map_size - 0.5, self.map_size - 0.5]) self.obstacles self._random_obstacles() self.steps 0 return self._get_obs() def _get_obs(self): # 36 维激光每 10 度取该方向上到最近障碍的距离 lidar np.ones(36) * self.map_size for i in range(36): ang i * np.pi / 18 direction np.array([np.cos(ang), np.sin(ang)]) for (c, r) in self.obstacles: # 射线与圆求交简化用投影近似 to_c c - self.pos proj np.dot(to_c, direction) if proj 0: perp np.linalg.norm(to_c - proj * direction) if perp r: hit proj - np.sqrt(r**2 - perp**2) lidar[i] min(lidar[i], hit) # 目标极坐标 自身速度 delta self.goal - self.pos dist np.linalg.norm(delta) angle np.arctan2(delta[1], delta[0]) - self.theta angle (angle np.pi) % (2 * np.pi) - np.pi return np.concatenate([lidar / self.map_size, [dist / self.map_size, angle, self.v, self.w]]) def step(self, action): # action: [v, w]连续动作 self.v, self.w action self.theta self.w * self.dt self.pos np.array([np.cos(self.theta), np.sin(self.theta)]) * self.v * self.dt self.steps 1 reward, done self._compute_reward() return self._get_obs(), reward, done, {} def _compute_reward(self): dist np.linalg.norm(self.goal - self.pos) # 距离奖励靠近给正远离给负 reward (self._prev_dist - dist) * 10.0 self._prev_dist dist # 碰撞惩罚 for (c, r) in self.obstacles: if np.linalg.norm(self.pos - c) r self.robot_r: return -10.0, True # 到达奖励 if dist 0.3: return 50.0, True # 越界惩罚 if np.any(self.pos 0) or np.any(self.pos self.map_size): return -10.0, True # 时间惩罚鼓励快速到达 reward - 0.01 done self.steps self.max_steps return reward, done这段代码的关键点奖励函数用「距离变化量」而不是「距离绝对值」。用绝对值的话机器人在原地打转也能拿到稳定奖励策略会学成躺平。距离变化量是势能塑形potential-based shaping的简化版保证最优策略不变的同时加速收敛。参数上dt0.1对应 10Hz实机控制频率一般也是这个量级max_steps500意味着单回合最长 50 秒够走完 10 米地图。3.2 用 Stable-Baselines3 接入 SAC 的最小训练脚本环境有了训练框架直接用 Stable-Baselines3省得自己写经验回放和网络更新。from stable_baselines3 import SAC from stable_baselines3.common.callbacks import EvalCallback from stable_baselines3.common.env_checker import check_env env NavEnv() check_env(env) # 检查观测/动作空间是否符合 gym 接口 eval_env NavEnv() eval_callback EvalCallback( eval_env, best_model_save_path./logs/best_model, log_path./logs/eval, eval_freq5000, # 每 5000 步评估一次 n_eval_episodes20, # 每次评估跑 20 回合取平均 deterministicTrue, ) model SAC( MlpPolicy, env, learning_rate3e-4, # SAC 常用 3e-4太大容易崩 buffer_size1_000_000, # 经验池大小内存够就拉满 batch_size256, tau0.005, # 目标网络软更新系数 gamma0.99, # 折扣因子导航任务 0.99 合适 train_freq1, gradient_steps1, verbose1, tensorboard_log./logs/tb, ) model.learn(total_timesteps500_000, callbackeval_callback) model.save(sac_nav_final)参数说明learning_rate3e-4是 SAC 论文和社区验证过的甜点值调到 1e-3 经常出现策略熵爆炸。buffer_size越大越好但 100 万条 29 维观测大约占 1GB 内存按机器配置取舍。gamma0.99对应约 100 步的有效视野10Hz 下就是 10 秒足够覆盖一次避障决策。eval_freq5000配合n_eval_episodes20能看出策略是否真的在进步而不是被单次幸运回合骗了。3.3 训练过程怎么判断「真的在收敛」TensorBoard 里重点看三条曲线rollout/ep_rew_mean回合奖励、eval/mean_reward评估奖励、train/ent_coef熵系数。健康的训练是这样的前 5 万步奖励在低位震荡5 到 15 万步快速上升之后缓慢爬升并趋于平稳。如果eval/mean_reward长期不涨但ep_rew_mean在涨说明过拟合到训练环境的随机障碍分布了得增加障碍随机性或者加正则。熵系数ent_coef如果自动调节到接近 0说明策略已经确定性很强探索基本停止这时候如果还没收敛就得手动调高ent_coef或者检查奖励函数是不是有陷阱。4. 避坑与排查训练不收敛、实机撞墙的五个真实原因4.1 现象奖励曲线上升但机器人原地转圈原因奖励函数里距离项用了绝对值或者时间惩罚太小策略发现原地转圈能持续获得「靠近目标」的微小正奖励因为角度在变距离偶尔减小。解决改成距离变化量奖励并把时间惩罚从 -0.01 提到 -0.05让躺平的成本高于前进。同时检查目标角度是否归一化到 [-π, π]没归一化的话网络很难学。4.2 现象仿真成功率 95%实机一出门就撞原因仿真激光是理想射线实机激光有噪声、有盲区、有反射丢点仿真里障碍是完美圆形实机是各种奇怪形状。策略过拟合到仿真的观测分布了。解决训练时给激光加高斯噪声σ 取实际雷达手册噪声的 1.5 倍随机丢弃 5% 的激光点模拟丢点障碍形状随机化。实机部署前先在实机环境采一批真实观测喂给策略看动作是否合理这一步能提前发现大部分分布偏移。4.3 现象SAC 训练到 20 万步突然崩溃奖励断崖下跌原因Q 值过估计累积到临界点或者学习率相对 batch 内奖励尺度太大。导航任务里到达奖励给 50、碰撞给 -10尺度差异大critic 容易学偏。解决把所有奖励缩放到 [-1, 1] 区间到达给 1.0碰撞给 -1.0距离塑形项乘 0.1。同时开use_sdeFalseSAC 默认关闭状态依赖探索检查target_update_interval别设太小。崩溃后从最近的 checkpoint 恢复把学习率降到 1e-4 继续训。4.4 现象策略在窄走廊里来回抖动过不去原因观测里没有历史信息机器人分不清「自己在往左偏」还是「已经偏了」。单帧观测是马尔可夫的但实际控制需要速度信息。解决观测里显式加入当前 v 和 ω上面的代码已经加了或者堆叠最近 3 帧激光。另一个办法是动作加低通滤波实机部署时对策略输出的 ω 做一阶滤波能显著减少抖动。4.5 现象换一张地图就要重新训泛化性为零原因训练时地图固定或障碍分布太窄网络把地图「背」下来了而不是学避障策略。解决训练时每回合随机生成障碍数量和位置地图尺寸也在 8 到 12 米之间随机。更彻底的做法是课程学习先从空旷场景开始逐步增加障碍密度最后加入动态障碍。泛化性好的策略在没见过的地图上成功率下降不应超过 15%。5. 从仿真到实机策略部署与 sim-to-real 的最后一公里5.1 部署链路策略输出怎么接到 ROS 控制话题仿真里策略输出 [v, ω]实机上要接到/cmd_vel。中间需要一个 ROS 节点做频率对齐和安全兜底。import rospy from geometry_msgs.msg import Twist from sensor_msgs.msg import LaserScan import numpy as np import torch class PolicyNode: def __init__(self, model_path): rospy.init_node(rl_nav_policy) self.model torch.load(model_path, map_locationcpu) self.model.eval() self.cmd_pub rospy.Publisher(/cmd_vel, Twist, queue_size1) self.scan_sub rospy.Subscriber(/scan, LaserScan, self.scan_cb) self.latest_scan None self.rate rospy.Rate(10) # 与训练频率一致 def scan_cb(self, msg): # 把 720 点降采样成 36 维最小距离与训练时一致 ranges np.array(msg.ranges) ranges[np.isinf(ranges)] msg.range_max n len(ranges) // 36 self.latest_scan np.array([ranges[i*n:(i1)*n].min() for i in range(36)]) def run(self): while not rospy.is_shutdown(): if self.latest_scan is None: self.rate.sleep() continue obs self.build_obs(self.latest_scan) with torch.no_grad(): action self.model.predict(obs, deterministicTrue)[0] v, w float(action[0]), float(action[1]) # 安全兜底前方 0.3 米内有障碍直接停 if self.latest_scan[17] 0.3 or self.latest_scan[18] 0.3: v, w 0.0, 0.0 cmd Twist() cmd.linear.x np.clip(v, 0.0, 0.5) cmd.angular.z np.clip(w, -1.5, 1.5) self.cmd_pub.publish(cmd) self.rate.sleep()关键在build_obs里实机的目标点信息要么来自全局规划器给的局部目标要么来自固定的导航点。观测的归一化方式必须和训练时完全一致差一个系数策略就废了。安全兜底那两行是后悔药实机调试阶段一定要有等策略稳定运行几百小时再考虑去掉。5.2 验证策略是否真的学到了避障而不是记住了路径一个简单的验证方法把机器人放在训练时没见过的起点目标点也换位置看它能不能绕开障碍到达。更严格的做法是做消融——把激光观测置零如果策略还能到达目标说明它根本没在用激光只是记住了「往右上角走」这个捷径。这个测试能筛掉一大批假收敛的模型。另一个技巧是可视化策略的注意力对观测的每一维做扰动看动作变化幅度激光维度变化大说明策略真的在看障碍。这个方法比看奖励曲线靠谱得多。5.3 我自己的习惯每次训完一个策略我不会直接上实机而是先在仿真里跑 100 个随机场景把失败案例的观测和动作全部录下来逐个看。十次里有八次能发现奖励函数或者观测设计的漏洞。实机调试时我习惯把策略输出和传统 DWA 的输出同时接到一个录制节点对比两者在相同场景下的决策差异差异大的地方往往就是策略的盲区。这个方向值得做但别指望一个模型打天下把传统规划器当安全层、RL 当决策层是目前最稳的工程组合。希望帮到你。本文还有配套的精品资源点击获取