unitree_rl_gym_新手教程_第5章_训练师手册

第 5 章训练师手册 — 所有训练操作详解这是你的训练操作速查手册。每个命令都会解释清楚什么时候用、为什么这样写、注意什么。5.1 训练前必做激活环境每次打开新终端第一步永远是conda activate unitree_rl cd /workspace_project/g1_robot/unitree_rl_gym_study/unitree_rl_gym⚠️ 终端提示符必须显示(unitree_rl)。如果显示(base)说明环境没切过来后面的 pip/python 都会装错地方。5.2 训练命令大全5.2.1 基础训练# 无头训练推荐速度快 python legged_gym/scripts/train.py --taskg1 --headless --num_envs512 # 有头训练看过程慢 python legged_gym/scripts/train.py --taskg1 --num_envs64参数作用RTX 4060 8GB 建议值--taskg1选机器人g1/h1/h1_2/go2必填--headless不渲染窗口纯计算正式训练加上--num_envsN同时模拟 N 个机器人无头 512 / 有头 64--max_iterationsN跑 N 轮自动停测试用 200正式用 2000~10000--seedN随机种子同样的种子同样的结果需要复现实验时指定--run_namexxx给这次训练起个名字方便区分不同实验--experiment_namexxx实验组名默认 g1不改也行自定义参数说明--task: 指定任务名称默认 go2--resume: 是否恢复训练--experiment_name: 实验名称--run_name: 运行名称--load_run: 要加载的运行名称-1 表示加载最后一个--checkpoint: 要加载的检查点编号-1 表示加载最后一个--headless: 无头模式运行不显示图形界面--horovod: 使用 horovod 进行多GPU训练--rl_device: RL算法使用的设备如 cuda:0, cpu--num_envs: 环境数量--seed: 随机种子--max_iterations: 最大训练迭代次数5.2.2 选对 num_envs显存规则RTX 4060 8GB 实测 --num_envs64 有头模式 ✅ --num_envs128 有头模式 ❌ 会卡 --num_envs512 无头模式 ✅ --num_envs1024 无头模式 ⚠️ 可能OOM经验训练用无头 512 最快想看过程就用有头 64看完关掉换无头正式跑。5.2.3 训练时你会看到的输出Learning iteration 100/10000 ← 当前第 100 轮 / 总共 10000 轮 Computation: 15000 steps/s ← 每秒算 15000 步 Mean reward: 0.04 ← ★ 总奖励最重要 Mean episode length: 300 ← ★ 平均存活步数越久越好 Mean action noise std: 0.80 ← 探索噪声慢慢变小 AI 有把握了 Value function loss: 0.0011 ← Critic 的预测误差看两个数就够了Mean reward在涨 → AI 在进步Mean episode length在涨 → 越来越久不摔倒5.3 停掉训练、接着跑5.3.1 正常停止在训练终端按CtrlC。模型会自动保存当前最新的 checkpoint。5.3.2 从上次停止的地方继续# 继续最近一次训练 python legged_gym/scripts/train.py --taskg1 --headless --num_envs512 --resume # 从指定训练继续 python legged_gym/scripts/train.py --taskg1 --headless --num_envs512 \ --resume --load_runJul26_21-25-34_ # 从指定轮数的模型继续比如从第 3100 轮继续跑到 5000 python legged_gym/scripts/train.py --taskg1 --headless --num_envs512 \ --resume --load_runJul26_21-25-34_ --checkpoint3100 --max_iterations5000参数作用--resume告诉程序接着训别从头来--load_run文件夹名指定用哪次训练的模型写文件夹名不写完整路径--checkpointN从第 N 轮的模型开始不写就用最新的--max_iterationsN新的目标轮数要大于当前已跑的轮数⚠️ 重要--load_run只写文件夹名比如Jul26_21-25-34_不要写logs/g1/Jul26_21-25-34_。5.4 模型存在哪unitree_rl_gym/logs/g1/ ├── Jul26_21-25-34_/ ← 一次训练 │ ├── model_0.pt ← 初始化模型 │ ├── model_50.pt ← 第 50 轮 │ ├── model_100.pt ← 第 100 轮 │ ├── ... 每 50 轮存一个 │ ├── model_3100.pt ← 你上次停在这 │ └── events.out.tfevents.xxx ← TensorBoard 数据文件 ├── Jul26_20-56-14_/ ← 更早的训练 └── exported/ ← play.py 导出的 JIT 模型知识点说明保存频率每50 轮自动存一次文件夹命名月日_时-分-秒_run_name 为空时文件大小~777KB 每个不占空间旧模型能删吗可以训练完了只保留最后一个和最好的5.5 看训练结果5.5.1 用 play.py 可视化# 看最新训练的模型1 个机器人 python legged_gym/scripts/play.py --taskg1 --num_envs1 # 看指定训练的指定轮数 python legged_gym/scripts/play.py --taskg1 --num_envs1 \ --load_runJul26_21-25-34_ --checkpoint3100 # 对比不同阶段同一训练、不同轮数 python legged_gym/scripts/play.py --taskg1 --num_envs1 \ --load_runJul26_21-25-34_ --checkpoint500 # 早期 python legged_gym/scripts/play.py --taskg1 --num_envs1 \ --load_runJul26_21-25-34_ --checkpoint1500 # 中期 python legged_gym/scripts/play.py --taskg1 --num_envs1 \ --load_runJul26_21-25-34_ --checkpoint3100 # 最新窗口操作按键功能ESC退出V切换视角追踪模式鼠标左键拖拽旋转视角鼠标滚轮缩放鼠标中键拖拽平移视角5.5.2 play.py 的地形限制play.py 默认用一个5×5 的小地形不是训练时的无限平面。G1 走到边界会被墙卡住。这是正常行为看个十几步够判断策略效果就行。5.6 用 TensorBoard 看训练曲线5.6.1 启动# 新终端 conda activate unitree_rl cd /workspace_project/g1_robot/unitree_rl_gym_study/unitree_rl_gym tensorboard --logdirlogs/g1/ --reload_interval5浏览器打开 http://localhost:60065.6.2 关键曲线速查曲线名SCALARS 页好信号坏信号Train/mean_reward或类似含 reward 的 上升 下降或完全不涨Train/mean_episode_length 从 20 → 300 越跑越短Policy/mean_noise_std 从 0.8 → 0.3 反弹或卡在 0.8Loss/value_function 稳步下降 爆炸式上升Episode/rew_alive 上升➡️ 不涨一直在摔Episode/rew_base_height➡️ 接近 0 越来越负老摔Episode/rew_tracking_lin_vel 上升 不跟指令走5.6.3 常见问题曲线没动→ 检查 TensorBoard 启动时--logdir指向的文件夹是不是最新的训练目录。报 protobuf 错误→ 降级过 protobuf 了protobuf3.20.3不会再出现。多个训练混在一起→logs/g1/会显示所有训练记录。勾选左下角 Runs 面板中对应的训练来筛选。5.7 训练实战流程新手推荐的标准流程第 1 步跑一个测试看看链路通不通 python legged_gym/scripts/train.py --taskg1 --headless --num_envs512 --max_iterations200 第 2 步看测试效果 python legged_gym/scripts/play.py --taskg1 --num_envs1 → 能站着不摔 正常 第 3 步正式训练 python legged_gym/scripts/train.py --taskg1 --headless --num_envs512 --max_iterations2000 → 约 30 分钟 第 4 步观察中期效果 python legged_gym/scripts/play.py --taskg1 --num_envs1 → 能走几步了 方向正确 第 5 步继续训练 python legged_gym/scripts/train.py --taskg1 --headless --num_envs512 --resume --max_iterations5000 → 再接再厉 第 6 步评估最终效果 python legged_gym/scripts/play.py --taskg1 --num_envs1 → 能稳定走不摔 达成目标一次成功的训练长什么样训练轮数 机器人行为 0-100 乱动、频繁摔倒、reward 很低 100-500 开始能站几秒了 500-1000 会迈步了但不稳 1000-2000 走路越来越稳、有点方向感 2000-4000 基本能走直线、偶尔摔倒 4000 走得流畅、很少摔倒5.8 调参入门5.8.1 能不能边跑边调不能。必须停掉训练 → 改参数 → 重新启动。不存在跑着跑着中途改一下这种操作。标准流程CtrlC 停训练 → 改参数 → 决定从头训还是接跑 → 重新启动5.8.2 改了参数后从头训还是接跑这个很重要搞错了等于白训你改了什么怎么重启 .为什么奖励权重rewards.scales从头训改变了游戏规则旧模型是按老规则练的不能混用action_scale、stiffness、damping从头训改变了行为方式旧模型不会新玩法域随机化domain_rand从头训改变了训练环境旧模型没见过只改max_iterations可以接跑只是说再多跑几轮模型本身没变学习率、网络结构从头训改变了学习方法旧模型不适用简单记法改了配置文件g1_config.py里的东西 → 从头训。只改命令行参数max_iterations、num_envs→ 可以接跑。不推荐新手改参数后接着训练其实微调也行但要注意参数突变带来的震荡极有可能导致训练失败5.8.3 实际操作演示假设你觉得机器人抬脚不够高拖地走想加大feet_swing_height惩罚# 第 1 步CtrlC 停掉正在跑的训练 # 第 2 步打开配置文件 # legged_gym/envs/g1/g1_config.py # 找到 feet_swing_height -20.0 # 改成 feet_swing_height -30.0 更重的惩罚 # 第 3 步因为改了奖励游戏规则变了必须从头训 # 给这次实验起个名字方便以后在 TensorBoard 里对比 python legged_gym/scripts/train.py --taskg1 --headless --num_envs512 \ --max_iterations500 --run_namehigh_step_test # 第 4 步看效果 python legged_gym/scripts/play.py --taskg1 --num_envs1 \ --load_runhigh_step_test的文件夹名5.8.4 对比新旧实验这就是为什么调参原则里说给每个实验起名字logs/g1/ ├── Jul26_21-25-34_/ ← 默认参数跑了 3100 轮 ├── Jul27_10-30-15_high_step/ ← feet_swing_height -30 └── Jul27_11-00-00_faster/ ← tracking_lin_vel 2.0TensorBoard 启动时会同时显示所有三个实验你可以在左下角 Runs 面板里勾选两条叠在一起看同一张图表里谁更优。5.8.5 什么时候该调训了 500 轮 reward 完全不涨 → 可能学习率有问题机器人走路抽搐 → 加大action_rate惩罚的绝对值总往一边歪 → 加大orientation惩罚的绝对值抬脚拖地 → 加大feet_swing_height惩罚的绝对值走得太慢 / 不走 → 加大tracking_lin_vel奖励5.8.6 调参原则一次只改一个参数改多个你没法判断是哪个起的作用给每个实验起名字--run_nametest_faster方便 TensorBoard 对比先少跑几轮测试改参数后先跑--max_iterations500方向对了再正式跑对比要公平同样的随机种子、同样的训练轮数记录你改了什么开一个笔记记下日期、改了哪个参数、从多少改成多少、效果怎样5.9 命令速查卡你想做什么命令从头训练train.py --taskg1 --headless --num_envs512测试 200 轮train.py --taskg1 --headless --num_envs512 --max_iterations200接着上次跑train.py --taskg1 --headless --num_envs512 --resume从第 N 轮接跑train.py --taskg1 --headless --num_envs512 --resume --checkpointN有头看过程train.py --taskg1 --num_envs64看策略效果play.py --taskg1 --num_envs1看指定模型play.py --taskg1 --num_envs1 --load_run文件夹名 --checkpointN看训练曲线tensorboard --logdirlogs/g1/→ 浏览器 localhost:6006列出模型文件ls -la logs/g1/文件夹名/