ARTICLE DETAIL

资讯详情

深耕网站视觉设计与运营推广的一线实战洞察。

WholeBodyWAM:基于 WBC-协同将预训练“世界-动作”先验泛化至人形机器人的移动与操作任务

WholeBodyWAM:基于 WBC-协同将预训练“世界-动作”先验泛化至人形机器人的移动与操作任务 26年9月来自港中文、港大和英国牛津大学的人类未来研究所(Future of Humanity Institute,FHI)的论文“WholeBodyWAM: Generalizing Pre-trained World–Action Priors to Humanoid Loco-Manipulation via WBC-Grounded Coordination”。这篇论文 WholeBodyWAM 研究如何把预训练世界—动作模型(World Action Model,WAM)的操作能力,迁移到人形机器人的“移动—操作协同”任务。其核心观点是:已有模型具备较强的操作先验,关键是让这些先验能够指导底盘、腰部和腿部配合,而这需要有明确物理语义的控制接口和协调机制。论文在仿真与真实机器人上取得了明显提升,但其证据主要支持“经过微调后的全身协调与跨控制器适配”,尚不足以证明任意控制器、任意机器人上的通用迁移。1 研究问题与总体思路如图 1 所示WholeBodyWAM 概览。与现有的通过扩展动作接口以实现全身适应或从零开始学习专用人形机器人“世界-动作”映射的方法不同,WholeBodyWAM 利用基于全身控制(WBC)的协调机制,保留并泛化了预训练 WAM 模型中的“世界-动作”先验知识,从而将其应用于人形机器人的移动-操作(loco-manipulation)任务。该模型结合语言指令、视觉历史和本体感觉信息,联合预测未来的视觉动态、操作意图以及统一全身控制器(UWBC)的指令。在六项仿真任务和八项现实世界任务中的评估结果显示,与基准方法相比,该模型实现了更高的整体任务成功率和更低的跨控制器性能方差,证明了其在多样化任务和异构 WBC 系统中实现高效移动-操作的能力。桌面操作通常只需考虑手臂和物体之间的关系,人形机器人则需要同时决定:手往哪里伸、身体是否前移、腰部是否弯曲、腿部如何保持稳定。例如,从低处拿起箱子再放到桌上,单纯预
返回列表