前言如此文《π0.5的KI改进版(已部分开源)——知识隔离让VLM在不受动作专家负反馈的同时输出离散动作token并根据反馈做微调而非冻结VLM》开头的最后所说25年9.9日出差路上惊喜的发现π0.5做了部分开源提到本次出差确实是密集拜访客户、合作伙伴周二南京(海因邦姚)周三上海(凯傅透)9.11杭州(宇树)、徐州2/3是见我司自己的客户1/3是合伙商随后9.15宁波9.16无锡在宁波的时候除了拜访一工厂之外还约见了两位在宁波做汽车的1 他俩都因我博客认识我当时还感慨我博客也算是陪伴、帮助了好几代人比如10 11最早的数据结构、算法12-22年的机器学习 深度学习23年的大模型24年起的具身智能且如现场其中一位朋友所说的现在车企会把具身模型迁移到自驾中2 在无锡的时候则约见了一做自动加油机器人的朋友个人看好轮式人形在自动加油、充电场景中的应用本来这周还计划去趟北京的但因为这周末9 20/9 21我司长沙分部将举办人形二次开发线下营故改到下周 再去北京巧的是国内一家具身公司「自变量机器人」则于前一天开源了其自家的模型WALL-OSS其与π0.5还是有一定的相似性的本文特此来解读下第一部分 点燃VLMs在具身空间中的潜力1.1 引言与相关工作1.1.1 引言如原论文所说在具身智能场景中对齐的VLA数据既稀缺又异质这使得从零开始的训练难以在动作模态上获得良好的泛化能力同时也难以建立稳健的跨模态关联。这一现状促使研究者将强大的 VLM骨干迁移到动作空间中例如OpenVLA (37) 和 π0 (12)它们在学习跨模态对应关系的同时对连续动作进行建模从而将视觉与语言先验VL 先验迁移到动作空间一种朴素的微调策略——在预训练的 VLM 上附加一个动作头action head并用机器人轨迹对其进行监督——但如此 往往会导致严重的权重漂移从而侵蚀原有的视觉-语言VL先验π0.5的“知识隔离”knowledge insulation策略通过最小化对 VLM 参数的扰动来保留预训练能力然而作者认为这类松散耦合的架构设计限制了语义与控制之间的绑定关系而且由于 VLM 本身在具身空间中的能力不足当执行超出其 VL 先验范围的动作时表现不佳总体而言使用当前的 VLM 来学习动作是具有挑战性的其根源在于以下三个基本鸿沟模态和数据规模的差距得益于计算机视觉领域的长期发展视觉编码器在提取特征时能够滤除高频噪声同时保留高级语义经过压缩的视觉tokens再加上本就高度压缩的文本模态使得在大规模网页图文/图像-视频对(58) 上训练后可以通过CLIP 及相关多模态模型和VLM 实现对齐相较之下具身空间中的动作在三维空间和时间上是连续的与视觉模态相比其特征提取缺乏长期的表征研究其与文本之间的高层语义对齐也缺乏海量数据的驱动此外在具身场景中多个子任务和具体的场景级动作描述通常被抽象为单一的高层指令进一步加大了跨模态关联的难度。基于流水线的智能体先用LLM 分解指令再调用技能库(6, 42)受限于不可微接口和误差累积在长时序任务上的成功率会下降此外一些方法如3D-VLA79和PointVLA41尝试使用三维视觉模态作为二维视觉与动作之间的桥梁但三维数据同样难以获取而当前的三维视觉基础模型如VGGT69和π372在细粒度动作预测所需的精度上仍然存在不足预训练分布存在鸿沟如图1所示在大规模预训练之后大型语言模型LLM在文本模态中基本能够满足具身语义的需求(如能够进行问答)然而对于视觉模态具身数据通常包含第一人称视角、鱼眼成像以及自身遮挡这些特征与互联网图像存在显著差异因此即使进行了大规模预训练视觉语言模型VLMs在满足具身场景需求例如具身VQA方面仍然存在困难以往分析也报告了其在空间推理、具身场景理解以及过程跟踪等方面的不足34,70训练目标的鸿沟LLMs/VLMs 以离散序列的下一个 token 似然作为训练目标而动作轨迹是连续的、高频的信号更自然地适合用条件生成式目标来建模比如扩散模型(30, 20) 或flow matching(44)它们学习将基分布传输到动作分布的score/velocity 场然而将这些目标直接嫁接到 VLMs 上会加剧 token 化鸿沟和独立性假设从而导致灾难性的性能下降削弱了语言-动作的对齐与泛化能力。这一现象类似于当前图像/视频领域统一生成与理解时面临的挑战一些方法例如π0尝试在自回归范式下在高层对动作进行离散化以使动作token 与文本token 对齐然后通过让来自扩散/flow-matching 的动作噪声通过自注意力(12) 与中间VLM表示交互从而生成连续的动作信号然而这类松散耦合的设计仍未能学到紧密的文本-动作绑定导致指令跟随能力不足为了解决上述问题X SQUARE机器人团队提出了WALL-OSS这是一种紧耦合的 VLA 基础模型及其训练方案其对应的paper地址为Igniting VLMs toward the Embodied Space其对应的作者包括Andy Zhai, Brae Liu, Bruno Fang, Chalse Cai, Ellie Ma, Ethan Yin, Hao Wang∗Hugo Zhou, James Wang,Lights Shi, Lucy Liang†Make Wang, Qian Wang, Roy Gan, Ryan Yu, Shalfun Li, Starrick Liu, Sylas Chen,Vincent Chen, Zach Xu†Project Lead,∗Correspondence其对应的项目地址为x2robot.com/en/research其对应的GitHub地址为github.com/X-Square-Robot/wall-x且于25年年底集成至lerobot中具体而言他们首先引入一种紧耦合的专家混合Mixture-of-Experts, MoE架构和训练策略在不同阶段采用不同的动作建模方法(离散或连续)从而激活不同的专家并分配不同的权重从而弥合训练目标之间的差距说白了即是两个专家团队共享一部分核心认知能力(比如注意力机制SA)但在执行各自任务时(或离散动作建模、或连续动作建模)会调用自己的专属网络——VL FFN或Action FFN上图 没咋看明白 没事具体下文会详解且将多模态任务与 VQA 任务及其面向具身性、空间定位和进度建模而构建的相应数据集相结合以弥补 VLM 在具身场景中的不足并在VLM 的输出空间中植入离散化的动作先验以进行粗粒度的动作监督从而弥合 VLM 预训练分布上的差距基于这些设计作者建模统一的 CoT 正向映射使模型能够将任务从高层语义分解到细粒度动作迫使模型理解这一链条中各层级之间的关系从而弥合模态差距1.1.2 相关工作首先VLA 基线通过将动作编码为token 或学习连续头的方式将VLM 与机器人控制对齐涵盖连续模型如扩散和流匹配例如DP、Octo、π0, π0.5 (21, 65, 12, 31)或带有压缩的离散token 化例如ACT、OpenVLA、FAST、RT-278,37,56,84作者的方案遵循离散先验→连续控制首先将离散动作先验植入VLM 输出空间Inspiration然后为高频动作优化一个流匹配头Integration同时一个紧密耦合且采用静态路由的MoE 强化了语言与动作之间的强绑定其次对于利用机器人数据进行多模态协同训练为抵消机器人轨迹在成本和覆盖范围上的限制多模态与跨来源协同训练是一种有效途径。从一个 VLM 初始化并在网络图文、对话以及长视频与多形态机器人数据上进行联合训练能够在注入具身空间语义的同时保持开放世界的语言–视觉能力跨具身形态与跨环境的聚合进一步提升了迁移效果23,65,12,31,33,9,13————作者的方法强调以统一格式进行具身认知监督将指令、推理、子任务与连续动作联系起来在两个阶段中系统性地统一开源动作数据并通过分布混合与配额控制来限制漂移以及采用紧耦合、静态路由的MoE将异构监督转化为在动作通道上可控的增益从而提升在陌生场景和跨具身形态设置下的鲁棒性最后对于语言推理与子任务分解对于长时域任务将高层推理与低层控制相结合可以提高成功率不同于将VLM规划器与独立控制器配对的流水线式设计例如SayCan (7) 和Code-as-Policies (41)以及Hi Robot (64)和GR00T N1 (53) 等分层变体作者采用了单一模型的Uni-CoT方案实现从指令到CoT、子任务及连续动作的端到端映射。这种方法补充了分层与动作语法方法如RT-H13、最新的CoT控制方法77,76和提示框架53以及面向动作的指令微调54与分层目标条件策略42该模型可以选择包含或跳过中间步骤并在推理与执行之间交替进行。结合作者的两阶段课程和紧密耦合的路由这一统一设计减少了由接口导致的误差累积并在复杂的长时域操作任务中增强了进度感知和指令遵循能力1.2 WALL-OSS1.2.1 模型架构图2(a)和(b)展示了现有VLA模型的结构范式在a中混合设计直接将原始的 VLM 扩展为通过离散动作建模DAM——遵循下一个token预测范式如 RT-284和 OpenVLA39所示或连续动作建模CAM来对动作进行建模然而动作监督会显著扰动原始 VLM的权重分布从而大幅削弱其在动作指令跟随与泛化方面的能力导致对动作的过拟合在b中解耦式设计采用一个独立分支进行动作预测该分支与 VLM 交互并从中抽取信息正如 π014所示其局限性在于视觉和语言仅作为动作生成的辅助信号这种松散耦合的架构削弱了动作预测的指令跟随能力——当然了π0.5 改进了π0的指令遵循能力WALL-OSS的架构通过引入专家混合MoE64设计将不同的前馈网络FFN分配给相应的训练任务从而形成一种紧密耦合的跨模态结构有效提升模型的跨模态关联能力下图图3展示了WALL-OSS的整体架构。作者采用QwenVL 2.5-3B作为主要骨干网络该模型以视觉输入包括第一视角和手臂安装摄像头视角以及文本指令作为输入根据训练阶段生成不同的输出同时在整个过程中始终以相同的多模态输入为条件。设分别表示输入对及其VLM编码其中表示具有参数的VLM 主干1.2.2 训练方法先启发、后集成在对VLMs进行预训练之后作者的预训练过程包括两个主要部分VLM的启发以及三模态视觉-语言-动作的集成如下图图4所示首先是启发阶段作者首先复用预训练视觉语言模型VLM的原始前馈网络FFN并通过引入具身视觉问答VQA来增强机器人环境中的空间推理能力训练目标包括掩码语言建模、图像/视频-文本对比学习、指令跟随以及时序顺序/因果关系建模以构建强有力的具身视觉语言先验同时作者引入了一个离散动作目标将文本token与通过FAST分词参见π0-FAST (14)获得的离散动作token对齐该阶段使VLM具备粗略的、语义基础上的动作感知能力其输出包括链式思维推理、子任务预测以及离散FAST动作token比如高级指令“整理一下书桌”思维链CoT“我需要先识别哪些是垃圾哪些是书本然后把垃圾扔掉再把书本摆放整齐”子任务规划及离散动作token第一步拿起桌上的废纸团第二步把它移动到垃圾桶上方第三步松开手爪总之具身VQA提升了VLM在具身环境中的空间理解能力而FASTtoken预测则提供了粗略的动作理解。这为初始VLM注入了基本的具身推理与动作感知能力其次是集成阶段在已有先验的基础上作者用流匹配实现的连续动作建模替代了离散动作预测并将该阶段划分为两个阶段冻结VLM仅训练Action FFN下的流头解冻VLM进行联合优化在集成阶段视觉、语言和动作表征通过注意力机制进行交互同时采用静态路由器将以动作为中心的特征引导到Action FFN将视觉-语言特征引导到Vision–Language FFN而不是使用学习型的softmax/top-k路由器在第一阶段——冻结VLM仅训练Action FFN下的流头作者生成带噪声的样本并回归速度场通过梯度路由对前一阶段的VLM执行停止梯度以缓解灾难性遗忘以及仅优化flow head和Action FFN来自Inspiration阶段的监督在此稳定了跨模态注意力保留了视觉-语言先验并为连续动作提供了可靠的初始化在第二阶段作者采用相同的流匹配目标对两个模块进行联合优化并通过梯度路由和(解冻VLM并与动作分支联合训练)这种集成方式使得在高度耦合的架构中能够输出细粒度的动作结果促使模型融合多模态信息高效完成多模态任务从而实现不同模态间的对齐此外作者的方法将链式思维推理的概念从传统狭义的CoT即大语言模型中的逐步文本推理推广到广义的CoT覆盖了从语义到感知-运动的完整谱系指令→推理CoT→子任务规划→连续动作。这一统一的表述使得模型能够在分层抽象级别之间实现任意前向映射从而在单一可微分框架内无缝衔接高层推理与低层执行毕竟现有方法通常将这些层级分解为流水线式或多模块系统其中指令首先传递给规划器以生成高层次计划随后由控制器执行例如 Hi Robot9和 GR00T N18尽管这些范式在短期内能够显著降低训练和执行的难度但它们引入了不可微分的接口系统性能受限于各模块的能力并且容易在各阶段累积误差相比之下WALL-OSS采用了一个单一的端到端模型该模型能够联合学习跨抽象层级的映射支持灵活的正向任意映射具体而言该模型可以根据任务复杂性和上下文需求自适应地利用完整的中间推理步骤或直接将指令映射为动作形式上设表示视觉输入为语言指令为可选的思维链为目标动作轨迹。Uni-CoT 训练一个统一的预测器采用路径丢弃目标使模型能够灵活地基于中间推理或跳过中间推理进行条件推断其中是一个具有监督的具身感知 VQA 头。该公式使得在单一模型中同时实现全链路和直接训练成为可能从而确保端到端的可微分性同时保留推理的灵活性通过涵盖不同语义层级的映射Uni-CoT通过具身 VQA 增强了 VLMs 的空间理解能力从而实现更强的定位和动作预测显著提升了长时序任务的成功率和指令遵循能力此外如图 4 下部所示在推理阶段Uni-CoT 能够自适应地决定是否调用 CoT/子任务分解甚至可以将推理与执行交替进行——在继续推理的同时为已完成的子任务发出动作指令——从而为实时人机交互提供灵活的异步控制// 待更 WALL-OSS——点燃QwenVL 2.5在具身空间中的潜力：VL FFN可预测子任务及离散动作token，Action FNN则预测连续动作
前言如此文《π0.5的KI改进版(已部分开源)——知识隔离让VLM在不受动作专家负反馈的同时输出离散动作token并根据反馈做微调而非冻结VLM》开头的最后所说25年9.9日出差路上惊喜的发现π0.5做了部分开源提到本次出差确实是密集拜访客户、合作伙伴周二南京(海因邦姚)周三上海(凯傅透)9.11杭州(宇树)、徐州2/3是见我司自己的客户1/3是合伙商随后9.15宁波9.16无锡在宁波的时候除了拜访一工厂之外还约见了两位在宁波做汽车的1 他俩都因我博客认识我当时还感慨我博客也算是陪伴、帮助了好几代人比如10 11最早的数据结构、算法12-22年的机器学习 深度学习23年的大模型24年起的具身智能且如现场其中一位朋友所说的现在车企会把具身模型迁移到自驾中2 在无锡的时候则约见了一做自动加油机器人的朋友个人看好轮式人形在自动加油、充电场景中的应用本来这周还计划去趟北京的但因为这周末9 20/9 21我司长沙分部将举办人形二次开发线下营故改到下周 再去北京巧的是国内一家具身公司「自变量机器人」则于前一天开源了其自家的模型WALL-OSS其与π0.5还是有一定的相似性的本文特此来解读下第一部分 点燃VLMs在具身空间中的潜力1.1 引言与相关工作1.1.1 引言如原论文所说在具身智能场景中对齐的VLA数据既稀缺又异质这使得从零开始的训练难以在动作模态上获得良好的泛化能力同时也难以建立稳健的跨模态关联。这一现状促使研究者将强大的 VLM骨干迁移到动作空间中例如OpenVLA (37) 和 π0 (12)它们在学习跨模态对应关系的同时对连续动作进行建模从而将视觉与语言先验VL 先验迁移到动作空间一种朴素的微调策略——在预训练的 VLM 上附加一个动作头action head并用机器人轨迹对其进行监督——但如此 往往会导致严重的权重漂移从而侵蚀原有的视觉-语言VL先验π0.5的“知识隔离”knowledge insulation策略通过最小化对 VLM 参数的扰动来保留预训练能力然而作者认为这类松散耦合的架构设计限制了语义与控制之间的绑定关系而且由于 VLM 本身在具身空间中的能力不足当执行超出其 VL 先验范围的动作时表现不佳总体而言使用当前的 VLM 来学习动作是具有挑战性的其根源在于以下三个基本鸿沟模态和数据规模的差距得益于计算机视觉领域的长期发展视觉编码器在提取特征时能够滤除高频噪声同时保留高级语义经过压缩的视觉tokens再加上本就高度压缩的文本模态使得在大规模网页图文/图像-视频对(58) 上训练后可以通过CLIP 及相关多模态模型和VLM 实现对齐相较之下具身空间中的动作在三维空间和时间上是连续的与视觉模态相比其特征提取缺乏长期的表征研究其与文本之间的高层语义对齐也缺乏海量数据的驱动此外在具身场景中多个子任务和具体的场景级动作描述通常被抽象为单一的高层指令进一步加大了跨模态关联的难度。基于流水线的智能体先用LLM 分解指令再调用技能库(6, 42)受限于不可微接口和误差累积在长时序任务上的成功率会下降此外一些方法如3D-VLA79和PointVLA41尝试使用三维视觉模态作为二维视觉与动作之间的桥梁但三维数据同样难以获取而当前的三维视觉基础模型如VGGT69和π372在细粒度动作预测所需的精度上仍然存在不足预训练分布存在鸿沟如图1所示在大规模预训练之后大型语言模型LLM在文本模态中基本能够满足具身语义的需求(如能够进行问答)然而对于视觉模态具身数据通常包含第一人称视角、鱼眼成像以及自身遮挡这些特征与互联网图像存在显著差异因此即使进行了大规模预训练视觉语言模型VLMs在满足具身场景需求例如具身VQA方面仍然存在困难以往分析也报告了其在空间推理、具身场景理解以及过程跟踪等方面的不足34,70训练目标的鸿沟LLMs/VLMs 以离散序列的下一个 token 似然作为训练目标而动作轨迹是连续的、高频的信号更自然地适合用条件生成式目标来建模比如扩散模型(30, 20) 或flow matching(44)它们学习将基分布传输到动作分布的score/velocity 场然而将这些目标直接嫁接到 VLMs 上会加剧 token 化鸿沟和独立性假设从而导致灾难性的性能下降削弱了语言-动作的对齐与泛化能力。这一现象类似于当前图像/视频领域统一生成与理解时面临的挑战一些方法例如π0尝试在自回归范式下在高层对动作进行离散化以使动作token 与文本token 对齐然后通过让来自扩散/flow-matching 的动作噪声通过自注意力(12) 与中间VLM表示交互从而生成连续的动作信号然而这类松散耦合的设计仍未能学到紧密的文本-动作绑定导致指令跟随能力不足为了解决上述问题X SQUARE机器人团队提出了WALL-OSS这是一种紧耦合的 VLA 基础模型及其训练方案其对应的paper地址为Igniting VLMs toward the Embodied Space其对应的作者包括Andy Zhai, Brae Liu, Bruno Fang, Chalse Cai, Ellie Ma, Ethan Yin, Hao Wang∗Hugo Zhou, James Wang,Lights Shi, Lucy Liang†Make Wang, Qian Wang, Roy Gan, Ryan Yu, Shalfun Li, Starrick Liu, Sylas Chen,Vincent Chen, Zach Xu†Project Lead,∗Correspondence其对应的项目地址为x2robot.com/en/research其对应的GitHub地址为github.com/X-Square-Robot/wall-x且于25年年底集成至lerobot中具体而言他们首先引入一种紧耦合的专家混合Mixture-of-Experts, MoE架构和训练策略在不同阶段采用不同的动作建模方法(离散或连续)从而激活不同的专家并分配不同的权重从而弥合训练目标之间的差距说白了即是两个专家团队共享一部分核心认知能力(比如注意力机制SA)但在执行各自任务时(或离散动作建模、或连续动作建模)会调用自己的专属网络——VL FFN或Action FFN上图 没咋看明白 没事具体下文会详解且将多模态任务与 VQA 任务及其面向具身性、空间定位和进度建模而构建的相应数据集相结合以弥补 VLM 在具身场景中的不足并在VLM 的输出空间中植入离散化的动作先验以进行粗粒度的动作监督从而弥合 VLM 预训练分布上的差距基于这些设计作者建模统一的 CoT 正向映射使模型能够将任务从高层语义分解到细粒度动作迫使模型理解这一链条中各层级之间的关系从而弥合模态差距1.1.2 相关工作首先VLA 基线通过将动作编码为token 或学习连续头的方式将VLM 与机器人控制对齐涵盖连续模型如扩散和流匹配例如DP、Octo、π0, π0.5 (21, 65, 12, 31)或带有压缩的离散token 化例如ACT、OpenVLA、FAST、RT-278,37,56,84作者的方案遵循离散先验→连续控制首先将离散动作先验植入VLM 输出空间Inspiration然后为高频动作优化一个流匹配头Integration同时一个紧密耦合且采用静态路由的MoE 强化了语言与动作之间的强绑定其次对于利用机器人数据进行多模态协同训练为抵消机器人轨迹在成本和覆盖范围上的限制多模态与跨来源协同训练是一种有效途径。从一个 VLM 初始化并在网络图文、对话以及长视频与多形态机器人数据上进行联合训练能够在注入具身空间语义的同时保持开放世界的语言–视觉能力跨具身形态与跨环境的聚合进一步提升了迁移效果23,65,12,31,33,9,13————作者的方法强调以统一格式进行具身认知监督将指令、推理、子任务与连续动作联系起来在两个阶段中系统性地统一开源动作数据并通过分布混合与配额控制来限制漂移以及采用紧耦合、静态路由的MoE将异构监督转化为在动作通道上可控的增益从而提升在陌生场景和跨具身形态设置下的鲁棒性最后对于语言推理与子任务分解对于长时域任务将高层推理与低层控制相结合可以提高成功率不同于将VLM规划器与独立控制器配对的流水线式设计例如SayCan (7) 和Code-as-Policies (41)以及Hi Robot (64)和GR00T N1 (53) 等分层变体作者采用了单一模型的Uni-CoT方案实现从指令到CoT、子任务及连续动作的端到端映射。这种方法补充了分层与动作语法方法如RT-H13、最新的CoT控制方法77,76和提示框架53以及面向动作的指令微调54与分层目标条件策略42该模型可以选择包含或跳过中间步骤并在推理与执行之间交替进行。结合作者的两阶段课程和紧密耦合的路由这一统一设计减少了由接口导致的误差累积并在复杂的长时域操作任务中增强了进度感知和指令遵循能力1.2 WALL-OSS1.2.1 模型架构图2(a)和(b)展示了现有VLA模型的结构范式在a中混合设计直接将原始的 VLM 扩展为通过离散动作建模DAM——遵循下一个token预测范式如 RT-284和 OpenVLA39所示或连续动作建模CAM来对动作进行建模然而动作监督会显著扰动原始 VLM的权重分布从而大幅削弱其在动作指令跟随与泛化方面的能力导致对动作的过拟合在b中解耦式设计采用一个独立分支进行动作预测该分支与 VLM 交互并从中抽取信息正如 π014所示其局限性在于视觉和语言仅作为动作生成的辅助信号这种松散耦合的架构削弱了动作预测的指令跟随能力——当然了π0.5 改进了π0的指令遵循能力WALL-OSS的架构通过引入专家混合MoE64设计将不同的前馈网络FFN分配给相应的训练任务从而形成一种紧密耦合的跨模态结构有效提升模型的跨模态关联能力下图图3展示了WALL-OSS的整体架构。作者采用QwenVL 2.5-3B作为主要骨干网络该模型以视觉输入包括第一视角和手臂安装摄像头视角以及文本指令作为输入根据训练阶段生成不同的输出同时在整个过程中始终以相同的多模态输入为条件。设分别表示输入对及其VLM编码其中表示具有参数的VLM 主干1.2.2 训练方法先启发、后集成在对VLMs进行预训练之后作者的预训练过程包括两个主要部分VLM的启发以及三模态视觉-语言-动作的集成如下图图4所示首先是启发阶段作者首先复用预训练视觉语言模型VLM的原始前馈网络FFN并通过引入具身视觉问答VQA来增强机器人环境中的空间推理能力训练目标包括掩码语言建模、图像/视频-文本对比学习、指令跟随以及时序顺序/因果关系建模以构建强有力的具身视觉语言先验同时作者引入了一个离散动作目标将文本token与通过FAST分词参见π0-FAST (14)获得的离散动作token对齐该阶段使VLM具备粗略的、语义基础上的动作感知能力其输出包括链式思维推理、子任务预测以及离散FAST动作token比如高级指令“整理一下书桌”思维链CoT“我需要先识别哪些是垃圾哪些是书本然后把垃圾扔掉再把书本摆放整齐”子任务规划及离散动作token第一步拿起桌上的废纸团第二步把它移动到垃圾桶上方第三步松开手爪总之具身VQA提升了VLM在具身环境中的空间理解能力而FASTtoken预测则提供了粗略的动作理解。这为初始VLM注入了基本的具身推理与动作感知能力其次是集成阶段在已有先验的基础上作者用流匹配实现的连续动作建模替代了离散动作预测并将该阶段划分为两个阶段冻结VLM仅训练Action FFN下的流头解冻VLM进行联合优化在集成阶段视觉、语言和动作表征通过注意力机制进行交互同时采用静态路由器将以动作为中心的特征引导到Action FFN将视觉-语言特征引导到Vision–Language FFN而不是使用学习型的softmax/top-k路由器在第一阶段——冻结VLM仅训练Action FFN下的流头作者生成带噪声的样本并回归速度场通过梯度路由对前一阶段的VLM执行停止梯度以缓解灾难性遗忘以及仅优化flow head和Action FFN来自Inspiration阶段的监督在此稳定了跨模态注意力保留了视觉-语言先验并为连续动作提供了可靠的初始化在第二阶段作者采用相同的流匹配目标对两个模块进行联合优化并通过梯度路由和(解冻VLM并与动作分支联合训练)这种集成方式使得在高度耦合的架构中能够输出细粒度的动作结果促使模型融合多模态信息高效完成多模态任务从而实现不同模态间的对齐此外作者的方法将链式思维推理的概念从传统狭义的CoT即大语言模型中的逐步文本推理推广到广义的CoT覆盖了从语义到感知-运动的完整谱系指令→推理CoT→子任务规划→连续动作。这一统一的表述使得模型能够在分层抽象级别之间实现任意前向映射从而在单一可微分框架内无缝衔接高层推理与低层执行毕竟现有方法通常将这些层级分解为流水线式或多模块系统其中指令首先传递给规划器以生成高层次计划随后由控制器执行例如 Hi Robot9和 GR00T N18尽管这些范式在短期内能够显著降低训练和执行的难度但它们引入了不可微分的接口系统性能受限于各模块的能力并且容易在各阶段累积误差相比之下WALL-OSS采用了一个单一的端到端模型该模型能够联合学习跨抽象层级的映射支持灵活的正向任意映射具体而言该模型可以根据任务复杂性和上下文需求自适应地利用完整的中间推理步骤或直接将指令映射为动作形式上设表示视觉输入为语言指令为可选的思维链为目标动作轨迹。Uni-CoT 训练一个统一的预测器采用路径丢弃目标使模型能够灵活地基于中间推理或跳过中间推理进行条件推断其中是一个具有监督的具身感知 VQA 头。该公式使得在单一模型中同时实现全链路和直接训练成为可能从而确保端到端的可微分性同时保留推理的灵活性通过涵盖不同语义层级的映射Uni-CoT通过具身 VQA 增强了 VLMs 的空间理解能力从而实现更强的定位和动作预测显著提升了长时序任务的成功率和指令遵循能力此外如图 4 下部所示在推理阶段Uni-CoT 能够自适应地决定是否调用 CoT/子任务分解甚至可以将推理与执行交替进行——在继续推理的同时为已完成的子任务发出动作指令——从而为实时人机交互提供灵活的异步控制// 待更