【论文解读】Efficient Sim-to-Real Transfer of World-Action Models from Synthetic Priors

一篇读懂世界-动作模型 sim-to-real从 Cosmos Policy 到 Franka 真机用 800 条纯合成示教、零真实数据第一次让 WAM 上真机论文Efficient Sim-to-Real Transfer of World-Action Models from Synthetic PriorsPurdue University / Robotics and AI InstitutearXiv 2026发布时间2026 年 6 月 30 日arXiv v1CC BY 4.0作者Zixing Wang、Kausik Sivakumar、Jinghuan Shang、Yafei Hu、Zhaoming Xie、Ran Gong、Xiaohan Zhang、Karl Schmeckpeper共 8 人†同等指导核心一句话在 Cosmos Policy 视频扩散策略上叠 Isaac Gym 域随机化 AnyTask 自动合成示教每任务只用约 800 条纯仿真数据、零真实示教训 32 轮 / 40×H100 / 约 72 小时后直接上 Franka Research 3 零样本部署4 任务平均 35% 成功率10 试/任务把用 50 条真实示教训出的 Diffusion Policy25%也比下去——据作者所知是第一次证明世界-动作模型能跨过 sim-to-real。配套资源本论文为作者所述的早期结果版本正文未附官方项目主页、代码仓库或模型权重链接作者在摘要末注明完整版世界-动作模型零样本 sim-to-real 迁移工作将随后发布。待官方资源放出后再补充。此处只列论文本身的入口arXiv 论文页arxiv.org/abs/2606.31101核心关键词世界-动作模型WAM统一生成式模型同时预测未来视觉观测与机器人动作把未来会怎样和我该怎么动放进一个生成过程里。Cosmos Policy把预训练视频扩散模型 Cosmos-Predict2 单阶段后训练成机器人策略动作、未来观测、价值估计都被编码为统一扩散过程中的潜帧。合成先验synthetic priors用仿真生成的专家示教替代昂贵真实遥操作数据是本文省真实数据的核心抓手。域随机化domain randomization对纹理、相机位姿、光照、物体放置做随机化让真实工作空间更可能落入训练分布而无需手动复刻真实测试场景。AnyTask ViPR基础模型引导的运动规划管线无人遥操作即可自动生成示教。零样本 sim-to-real策略只在仿真里训练、直接部署到真机不收集任何真实示教、不在真实数据上微调。Diffusion PolicyDP对照用 10/50 条真实示教训练的 DP作为真实数据代价参照而非架构匹配的消融。带着问题阅读世界-动作模型此前只在 sim-to-sim 或 real-to-real 上验证过——跨过 sim→real 这一步对机械臂操作为什么是个真问题、又为什么值得做论文刻意声明这不是一个证明联合视频-动作预测所必需的消融——那它到底在回答什么问题、又在刻意回避什么比较同一份策略为什么能从纯仿真 rollout 直接迁移到真实 Franka作者把迁移能力归因于哪三个因素、又为什么把它们都留作未来消融800 条合成示教 零真实数据 → 35% 平均成功率这个数字到底是强还是弱逐任务的分布说明了什么用 10/50 条真实示教训的 Diffusion Policy 只有 5%/25%——这个对照能说明 WAM 更强吗还是只说明省了真实数据论文标注是早期结果完整版将随后发布——这意味着当前结论的边界与可信度在哪一、核心导读这是一篇短而克制、定位明确的实证论文。它的全部论证围绕一个朴素的经验问题一个完全只用合成示教训练的世界-动作模型能不能零样本完成真实机械臂操作论文给出的答案是肯定的——在 Cosmos Policy一个把视频扩散模型后训练成机器人策略的模型上叠加 GPU 加速仿真 全面域随机化 AnyTask 自动示教生成每任务只用约 800 条纯仿真示教、零真实示教训练后直接上 Franka Research 3 真机零样本部署在抓香蕉、抓砖块、开抽屉、把草莓放碗里 4 个任务上拿到 35% 平均成功率。作者据此声称这是第一次成功的世界-动作模型 sim-to-real 迁移。读这篇论文最要紧的是抓住它的自我定位。它不是一个消融实验不打算证明联合视频-动作预测对 sim-to-real 是必需的它也不是在跟 Diffusion Policy 做架构匹配的对照比较。它就是想回答能不能做出来。正因如此论文把 DP 基线用 10/50 条真实示教训练明确写成真实数据代价的参照而非架构匹配消融并承认联合视频-动作预测目标到底贡献多少留作未来工作。理解这条只回答 yes/no、不归因的边界是读懂本文结论强度的关键35% 是非零、首次的证据但远不是高成功率的成熟方法。二、问题背景作者到底想解决什么2.1 真实示教太贵仿真可扩展但 sim-to-real gap 难跨在真实世界里训练操作策略代价极高——遥操作采集人力物力都贵。仿真提供了可扩展的替代能并行采集、能自动生成、数据便宜。但仿真与真实之间存在固有的视觉与物理差异sim-to-real gap常导致迁移失败。一个成功的 sim-to-real 系统能减少甚至消除对真实遥操作数据的需求这正是其吸引力所在。2.2 世界-动作模型此前没有跨过 sim-to-real论文聚焦的是世界-动作模型统一生成式模型同时预测未来视觉观测与机器人动作。此前工作已在 sim-to-sim 或 real-to-real 设定下展示了这类模型的潜力但它们能不能为机械臂操作跨过 sim→real 这一步此前并不清楚。这个 gap 之所以重要若结果是肯定的就把 sim-to-real 的核心好处便宜、可扩展、自动生成数据扩展到了一类新的策略模型——生成式的世界-动作模型——而不是仅限传统的强化学习或行为克隆策略。作者因此把自己的贡献写得很窄、很诚实贡献不是一个证明联合视频-动作预测对 sim-to-real 必需的消融而是一个更简单的经验问题——完全只用合成示教训练的世界-动作模型能不能零样本做真实世界操作为回答它作者把 Cosmos Policy、全面域随机化、AnyTask 自动示教生成三者组合起来呈现据他们所知第一次成功的 WAM sim-to-real 迁移。三、核心思路用一句主线串起来整条方法链可以压成一句话用 AnyTask 在随机化仿真里自动生成合成示教 → 拿这些合成示教把 Cosmos-Predict2 视频扩散模型后训练成 Cosmos Policy动作与未来观测都在同一个扩散过程里→ 训完直接零样本上 Franka 真机。这条链的每一环都对应一个省真实数据的杠杆AnyTask 省掉人遥操作、域随机化省掉手动复刻真实场景、Cosmos Policy 的视频先验省掉从零学视觉世界模型。论文的关键判断是这三者合起来足以让 WAM 第一次跨过 sim-to-real但它们各自的贡献留待未来消融——作者只对整体能不能 work负责。如上图同一个策略家族只在合成示教上训练、直接部署到真实 Franka Research 3三个任务都能跑出连续的真实 rollout——这是论文最直接的上真机证据。四、方法展开沿着论文原始逻辑拆解4.1 Cosmos Policy把视频扩散模型后训练成机器人策略Cosmos Policy 把一个预训练视频扩散模型 Cosmos-Predict2 适配成机器人策略做法是单阶段后训练。在这个框架里动作、未来观测、价值估计都被编码成统一扩散过程中的潜帧。也就是说策略输出不只是一个动作向量而是在同一个扩散去噪过程里同时生成未来画面与动作——这正是世界-动作模型区别于普通行为克隆策略的地方它建模的是未来世界会怎样演变与机器人该怎么动的联合分布而非只学一个观测到动作的映射。4.2 仿真与示教生成Isaac Gym 域随机化 AnyTask 自动示教训练环境用 GPU 加速仿真Isaac Gym搭建并施以全面的域随机化覆盖四个维度(1)纹理——物体表面、桌面材质、背景取自程序化与照片库(2)相机位姿——对手腕与第三人称相机做平移与旋转扰动(3)光照——场景灯的数量、位置、强度、色温都变(4)物体放置——在工作空间可达范围内均匀采样。这些随机化的设计目的是覆盖足够宽的视觉外观范围使真实工作空间更可能落在随机化训练分布之内而不需要手动去匹配真实测试场景——这是 sim-to-real 能零样本成立的关键工程前提。示教生成则用 AnyTask通过基础模型引导的运动规划ViPR产生合成先验专家示教全程无人遥操作覆盖 4 个任务——抓香蕉lift banana、抓砖块lift brick、开抽屉open drawer、把草莓放进碗里put strawberry into bowl。每任务约 800 条示教、合计约 3200 条都是 RGB 观测配末端执行器动作轨迹。4.3 训练与零样本部署32 轮 / 40×H100 / 约 72 小时Cosmos Policy 的训练跑了 32 个 epoch在 40 张 H100 GPU 上、约 72 小时。训练后作者做了一个前向预测的定性校验把模型在真实执行时预测出的未来帧与同步的真实相机观测并排比较。如上图三组分别对应接近、抓取、举起三阶段每组里 Pred Cam 是世界-动作模型预测的未来 RGB 画面Live Cam 是执行时真实相机帧。并排对齐说明尽管策略只在仿真里训练它预测出的未来帧仍保住了物体位置、机器人姿态与任务阶段。这个可视化提示模型学到了对执行有用的真实场景动力学——但要强调它是定性的前向预测校验不是定量的 rollout-对齐度量。部署阶段作者把训好的策略直接上真实 Franka Research 3不收集真实示教、不在真实数据上微调。唯一的真实世界设置就是推理时用的标准相机配置固定的手腕与第三人称 RGB 相机视图被挂上并流式喂给策略。换言之真机侧没有任何针对该任务的特殊标定或场景复刻。五、实验与证据结果能支撑到什么程度论文的真机成功率见下表每任务 10 次试验。注意表里三行回答的是不同的问题DP 行用真实示教、本文行用仿真示教因此它们不是架构匹配的对照而是真实数据代价的参照。方法抓香蕉抓砖块开抽屉放草莓平均DP10 条真实示教0/100/102/100/105%DP50 条真实示教4/103/103/100/1025%本文800 条仿真示教5/105/102/102/1035%读这张表要有几个判断。第一本文 35% 的意义是非零、首次一个完全只用自动合成数据训练的 WAM能零样本在真机上拿到非零成功率且平均成功率高于这两个真实示教 DP 参照。第二逐任务分布很不均抓香蕉与抓砖块各 50%但开抽屉与放草莓都只有 20%尤其把草莓放进碗里这个最需要精细对齐与放置的任务连 50 条真实示教的 DP 也是 0/10说明这组任务本身难度差异大35% 是被前两个简单任务拉起来的。第三这个对照不能证明 WAM 架构上更强——作者自己也写明 DP 用了真实示教、回答的是另一个问题只作为sim-to-real 想省掉的那笔真实数据代价的参照。论文把迁移能力归因于三件事的合力预训练视频先验、全域随机化、联合动作-视频预测目标而对每个因素的控制消融留作未来工作。作者还做了一个分布外OOD泛化测试让策略去抓一个训练时没见过的瓶子。如上图策略成功完成接近、抓取、举起提示它学到的是可泛化的视觉-运动原语而不是只记住了原始任务物体。当然这是单个定性案例不是统计意义上的 OOD 评测。六、这篇工作的边界与可复现性边界是本文最该看的地方。首先结论强度有限35% 平均成功率是非零首次但绝非高成功率成熟方法逐任务看两个任务只有 20%意味着这条路线离可用还远。其次没有因果归因作者明确声明这不是一个证明联合视频-动作预测对 sim-to-real 必需的消融三因素视频先验、域随机化、联合目标各自贡献多少都没有被分离测量全部留作未来工作——所以读者无法从本文判断换掉 Cosmos Policy、只用纯动作扩散行不行或域随机化到底贡献多少。第三DP 对照不对等DP 用真实示教、本文用仿真示教两者数据来源不同、架构也不同35% vs 25% 只能读作省真实数据角度的参照不能读作WAM 比 DP 强。复现性层面训练配置交代清楚32 epoch、40×H100、约 72 小时仿真栈Isaac Gym、示教生成AnyTask/ViPR、基模型Cosmos Policy / Cosmos-Predict2都点了名但 AnyTask 的 ViPR 运动规划细节、4 个任务各自的仿真场景搭建、域随机化的具体参数范围都依赖其引用文献本短文未全部列齐。Fig 2 的预测-真实对齐是定性校验没有给定量指标如 rollout 相关度、像素/姿态误差。最后作者自己标注本文是早期结果完整版 sim-to-real 工作将随后发布——这意味着当前结果更像是可行性证明 预告完整方法与更全的评测应在后续版本中补齐。七、如果继续研究/落地应该关注什么落地视角这条路线最有价值的是省真实数据杠杆把 sim-to-real 的好处便宜、可扩展、自动生成首次扩展到生成式世界-动作策略上。要把它推向可用最该补的几件事恰好就是作者留白的(1)做被回避的那个消融——分别评估视频先验、域随机化、联合动作-视频目标三者的单独贡献判断 WAM 架构本身相对纯动作扩散策略在 sim-to-real 上是否真有优势还是主要靠域随机化撑着(2)补定量 rollout-对齐度量——把 Fig 2 的定性预测画面 vs 真实画面升级为 rollout 相关度/像素误差/姿态误差给模型学到了真实场景动力学一个数值证据(3)攻弱任务——开抽屉与放草莓的 20% 说明精细对齐与放置类任务是瓶颈可能需要更细的接触建模或更多示教覆盖而非简单堆数据(4)扩大任务与物体集并做统计 OOD 评测——当前 OOD 只有一个瓶子定性案例需要多个未见物体、多次试验的统计成功率。工程上AnyTask 自动示教 域随机化 视频扩散策略这套组合的可复现门槛主要卡在仿真场景搭建与 Cosmos Policy 的后训练细节上等官方完整版放出后这些应会透明化。八、术语与概念速查类别术语一句话定位方法核心世界-动作模型WAM统一生成式模型同时预测未来视觉观测与机器人动作方法核心Cosmos Policy把 Cosmos-Predict2 视频扩散模型单阶段后训练成策略动作/未来观测/价值都编码为统一扩散过程的潜帧数据合成先验synthetic priors仿真生成的专家示教替代真实遥操作数据数据AnyTask ViPR基础模型引导的运动规划无人遥操作自动生成示教仿真域随机化纹理/相机位姿/光照/物体放置随机化使真实工作空间落入训练分布仿真Isaac GymNVIDIA 的高性能 GPU 物理仿真本文用于并行采集部署零样本 sim-to-real策略只在仿真训练、直接上真机不收集真实示教、不在真实数据上微调对照Diffusion PolicyDP用 10/50 条真实示教训练的对照基线作真实数据代价参照而非架构匹配消融任务lift banana / lift brick / open drawer / put strawberry into bowl本文 4 个真机评测任务难度递增、放置类最难评测概念非零首次35% 的定位证明 WAM 能跨 sim-to-real但非高成功率成熟方法边界早期结果作者标注本文为完整 sim-to-real 工作的早期版本完整版将随后发布九、拓展思考值得继续扩展研究与思考的创新点这篇短文真正的创新点不在 35% 这个数字而在它确立的用纯合成先验把生成式世界-动作策略第一次送上真机这条路线的合法性。把它的开放问题展开最值得继续想的有三条。第一把被回避的归因补上WAM 相对纯动作扩散策略在 sim-to-real 上的边际收益到底正不正如果消融显示联合视频-动作目标贡献有限、主要靠域随机化与视频先验那WAM 上真机的功劳就要重新归账反之若联合目标确有迁移增益就给建模未来世界有助动作迁移提供了一个干净的正面证据——这正是当前世界-动作模型阵营最缺的那类对照。第二把 Fig 2 的定性对齐升级为可量化的想象-真实 rollout 相关度这能同时服务两件事既给模型学到了真实动力学上数值证据又把它接到 Kairos 等更大工作中反复强调却尚未兑现的想象 rollout 与真实 rollout 高相关那条未来验证上——本文这个小规模 setting 反而是做这种校准实验的低成本试验田。第三从能上真机到能稳定上真机当前 20% 的弱任务与单个 OOD 案例提示下一步该把评测做成多任务、多未见物体、多次试验的统计成功率并引入失败/恢复数据看合成先验里加入近边界失败示教能不能把弱任务拉起来。产品形态上AnyTask 自动示教 域随机化 视频扩散策略这条组合一旦把完整版细节放开就有望成为一种数据效率极高的机械臂策略生产管线——用仿真成本换真实示教成本这正是 sim-to-real 一直想兑现、而世界-动作模型此前没能兑现的承诺。