T-Rex——给VLA带上触觉的灵巧操作框架：先通过人类视频做预训练，再通过富含触觉的中期训练对齐交互，最后利用极少量目标域演示以快速适配下游任务

前言目前提高VLA在精密操作方面的成功率一般有两个方法RL微调VLA给VLA加上触觉、力反馈本文要介绍的T-Rex 属于上面的第二种第一部分 T-Rex: Tactile-Reactive Dexterous Manipulation1.1 引言、相关工作、T-Rex 数据集1.1.1 引言如原论文所说人类的灵巧操作不仅依赖视觉更根本地依赖于感知和快速响应细粒度触觉信号的能力。诸如将一张薄卡片滑入卡槽、或用钥匙开锁等日常任务对人类而言不费吹灰之力但对当前的机器人学习策略来说仍然充满挑战要掌握这类任务需要具备触觉-反应行为即对触觉信号作出即时的闭环运动响应其速度远快于传统基于视觉的控制回路所能达到的水平然而将现有的视觉-语言-行动Vision-Language-Action, VLA模型适配到依赖触觉反馈的操作任务面临两大挑战首先用于策略预训练的触觉数据集依然稀缺。因此现有的大规模预训练范式 [1,2,3,4] 主要基于视觉信号遗漏了诸如力变化、微滑移以及局部形变等关键物理信号如果从零开始学习这类策略则需要海量同步的视觉-触觉数据——在这种规模下采集高精度的精巧遥操作数据成本极其高昂为此作者展示了触觉能力可以在一个专门的中期训练阶段被高效习得从而在预训练阶段不再需要触觉数据基于这一思路作者提出了T-Rex 数据集这是一个时长 100 小时、触觉同步的遥操作数据集相比于仅记录狭窄、特定任务的演示作者围绕多样的动词-名词组合进行设计通过可组合的运动基元和物体交互来覆盖富接触行为如图 1 所示作者提出了一种训练范式先通过大规模人类视频预训练蒸馏通用的视觉运动先验再通过富含触觉的中期训练对齐交互动力学最后利用极少量目标域演示快速适配到下游任务除了数据瓶颈之外由于存在根本性的频率不匹配还存在重大的架构挑战触觉反应式控制需要高频响应而标准的 VLM 主干网络通常在较低频率下工作尽管近期的双系统架构尝试通过将快速的运动响应与认知推理完全分离来解决这一问题[5,6,7]并且可变速率扩散策略仍局限于针对并联夹爪的、任务特定的模仿学习[8]对此来自的研究者提出一个面向灵巧操作的统一基础模型即T-Rex其是一个多模态框架构建在可变速率的 Mixture-of-Transformers (MoT) 之上将控制拆分为两个互相解耦的部分一个是用于基线灵巧操作的低频动作专家另一个是用于快速残差细化的高频触觉专家。该高频专家依托时空 VQ-VAE 捕获细粒度的触觉动态将原始触觉反馈压缩为紧凑的力和接触表征为了在中期训练过程中将这一触觉模态与更广泛的视觉上下文对齐作者引入了一个用于未来视觉潜变量预测的辅助目标这些组件共同将标准 VLA 的能力扩展到具有高频、闭环触觉行为的范畴1.1.2 相关工作首先对于用于操控的触觉传感利用触觉传感来实现机器人操控正受到越来越多的关注已有工作探讨了触觉表征和融合架构 [9,10,11,12,13,14]早期方法将触觉观测输入到模仿学习策略中并使用浅层 MLP 等简单模型 [15]而后续工作则提出了更具结构性的触觉建模方法包括考虑刚体姿态的编码 [16,17]、未来视觉或触觉观测与动作的联合预测 [18,19]以及面向触觉感知的低层动作细化 [8,20]现有的部分 VLA 模型通过将触觉信号视为一种额外模态来融合触觉信息 [21,22]或者将触觉表征与视觉和语言潜在表示对齐 [23,24]又或者设计能够更好利用力及接触信号的模型架构 [25,26]尽管已经取得了这些进展目前仍然缺乏一种在大规模预训练与中期训练中均能充分受益、适用于灵巧操作的标准触觉感知范式且现有工作在很大程度上主要集中于单臂或平行夹爪形态而作者的工作在上述研究基础上提出了一种触觉响应式 MoT架构其特点是包含一个异步的高频触觉专家用于应对高接触复杂度的灵巧双臂操作其次对于统一多模态模型近年来基础模型日益采用统一架构来联合建模多种模态包括文本、图像、视频和动作 [27,28,29]。在机器人学习中早期的 VLA 模型直接在VLM 主干上进行微调以生成动作 token [30,31]而最新的方法则引入专门的动作专家用于连续动作生成 [5,6]。有多项工作在此基础上进一步扩展 VLA加入未来预测 [32,33,34]、世界建模专家 [35,36,37]或额外的推理模块 [38,39,40,41]作者的工作在先前“潜在预测 动作生成专家”的设计上进行拓展通过异步 MoT将触觉信息作为一种新模态进行融合从而释放触觉响应式操作的潜力最后对于自中心人类视频在灵巧操作中的应用大规模人类自中心操作数据集 [42,43,44] 促进了基于人类示范的机器人学习以往工作利用人类视频进行自监督表征学习[45,46,47]可供性affordance提取 [48,49]VLA 预训练 [2]人机协同训练[3,4]世界动作模型World Action Models[50,51,52]分层规划与控制[53,54]以及人到机器人的迁移 [55,56]EgoScale [1] 进一步研究了基于人类自中心数据预训练的操作策略的缩放定律沿袭这些工作作者利用大规模人类自中心预训练为 T-Rex 提供广泛的视动先验并通过大规模利用遥操作、带同步触觉反馈的中期训练数据进一步对齐模型从而实现富接触、对触觉高度敏感的操作行为1.1.3 T-Rex 数据集现有的机器人操作数据集主要聚焦于平行夹爪系统或以抓取为中心的灵巧手[57,58,59,60,61,62,63,64,65,66]对富含触觉的灵巧交互覆盖有限为支持触觉响应式策略学习作者采集了一个时长 100 小时的双臂灵巧操作数据集涵盖 200 多种日常物体和 22 种运动原语覆盖多样化的富接触行为每个episode 都包含同步的 RGB 观测、触觉信号、机器人状态、动作以及语言指令。图 2 和附录 G 展示了分布情况和具体细节1.2 触觉响应的灵巧操作T-Rex 策略接收RGB 观测、语言指令、触觉力历史以及触觉形变图。将多模态上下文记为该策略在时间范围内预测未来动作片段遵循标准的基于flow 的机器人策略动作生成被表述为条件flow matching。模型学习一个向量场并使用损失Eq. (1) 进行训练其中表示干净的动作片段表示高斯噪声1.2.1 模型架构如图 3 所示T-Rex 由一个 Transformer 专家混合体Mixture-of-Transformer-ExpertsMoT骨干网络和一个时空触觉编码器构成这两者协同工作从而实现对触觉刺激具有反应能力的灵巧操作首先是混合Transformer 专家骨干网络T-Rex 采用包含三个特化专家的Mixture-of-Transformer-Experts (MoT) 骨干网络潜在专家处理视觉和语言观测以预测未来的视觉表征提供具备时间对齐的上下文动作专家通过从纯噪声去噪到中间时间步来生成低频动作规划触觉专家随后复用缓存的视觉-语言上下文并从继续去噪到利用高频触觉观测来细化动作以生成最终的可执行动作片段。实现细节在附录A 中给出其次是时空触觉编码作者同时利用时间上的力动态和空间形变信号对触觉观测进行编码每个手指的VQ-VAE 将最近的力历史压缩为紧凑的时间token而当前力向量则直接投影以保留瞬时接触信息与此同时一个卷积编码器从当前形变图中提取特征。所得特征被拼接以形成式(2)中的触觉token 序列VQ-VAE 和触觉编码器的实现细节见附录C1.2.2 异步触觉响应级联流匹配异步触觉反应级联流匹配为了将低频视觉运动规划与高频触觉细化相结合作者在固定时间步处对流匹配轨迹进行分割动作专家对上半段进行去噪以生成中间动作状态而触觉专家重复使用缓存的视觉-语言上下文并使用实时触觉观测完成剩余去噪过程共享流目标给定一个演示的动作片段和高斯噪声线性插值和恒定速度目标在Eq.(3)中定义两个专家在不相交的子区间上回归这个相同的目标分别以全局多模态上下文上部分和局部触觉观测下部分作为条件级联去噪推理推理过程中作者使用N 10 个Euler 步并在处进行分段来自动作专家的慢速流在每个动作片段中运行一次通过步()从积分上轨迹在这种部分去噪之后边界状态被缓存为一个静态视觉上下文对于动作块长度为的情况来自触觉专家的快速流会在块内部的偏移处被频繁触发从而绕过庞大的视觉网络将实时触觉标记和输入到触觉专家以完成剩余步————该机制使模型能够对实时触觉反馈作出动态响应从而促进对高接触程度和高灵巧度任务的执行训练协议在训练过程中作者在(0, 1] 上对动作专家采样并令触觉专家的其中在上采样两个网络共同最小化它们各自相对于共享目标的均方误差其中是从一个分离的慢速流通道中提取的值得注意的是在整个(0, 1] 区间上训练动作专家确保其保留独立的动作生成能力并与预训练范式保持一致总目标在优化未来帧视觉预测损失见式(7)的同时也对这两个组件进行优化在其中作者设置和1.2.3 训练方案T-Rex 采用三阶段的训练方案逐步将大规模人类视觉—运动先验迁移到触觉响应的灵巧机器人控制中大规模人类自中心预训练遵循 EgoScale [1] 的设定作者在 22,889 小时的人类自中心视频上预训练潜变量专家和动作专家。潜变量专家从头部视角的观测中学习视觉与语言表征而动作专家则在经过重定向的人类手臂与手部运动上进行训练这些运动被表示在一个统一的动作空间中该阶段在没有触觉专家的情况下为灵巧操作提供了广泛的语义基础和视觉—运动先验触觉奠基的机器人中期训练大规模人类预训练为视觉–运动提供了广泛的先验但在机器人可执行的接触动力学方面却缺乏足够的“落地”支撑为弥合这一差距作者采集了 100 小时经遥操作获得的双臂操作数据并同步记录触觉信号围绕多样的运动基元和物体交互进行组织从而在紧凑的数据量下覆盖丰富的高接触行为在这一阶段作者一方面将动作专家适配到机器人的多视角观测和可执行动作上另一方面训练触觉专家执行高频去噪用作细粒度的动作精炼面向技能的后训练在基于触觉的中期训练之后如图 6 所示T-Rex 已经展现出零样本的高接触度操作能力。对于更复杂或更偏向特定任务的技能作者在大约 100 条任务示例上进一步微调该模型使其在保留中期训练中获得的触觉反应行为的同时能够适应具体任务需求1.3 实验1.3.1 实验设置首先对于机器人平台和动作空间如图 7 和附录 D 所示『基于 Dexmate Vega-1 双臂机器人与 Sharpa Wave 灵巧手的机器人系统搭建。两个ZED X One S广角视野相机安装在手腕处一个 ZED X Mini 相机安装在头部。用于遥操作时使用 Manus 手套获取手部目标手势并使用 VIVE 追踪器获取手腕的目标位姿』所有真实环境实验均使用固定基座的双臂 Dexmate Vega-1 机器人其配备两只 22 自由度的 Sharpa Wave 灵巧手策略从一个ZED 头部相机和两个单目腕部相机获取 RGB 图像观测同时还接收逐指的触觉力向量和形变图动作空间对双臂使用末端执行器的相对增量控制对手指则使用关节的绝对控制其次对于基线方法作者将T-Rex 与6 种基线方法进行比较ViTacFormer一种ACT 风格的视觉-触觉灵巧模仿策略具有交叉注意力融合和未来触觉预测RDP一种慢-快视觉-触觉扩散策略用于对高频触觉反应动作进行细化以实现富接触操作Tactile-VLA一种触觉感知的VLA 模型将触觉传感融入富接触操作推理中π0.5EgoScale大规模预训练的VLA 基础模型在作者任务特定的后训练数据上进行微调π0.5 tactile进一步在触觉力信号和机器人状态的条件下对π0.5 进行建模所有方法均使用相同的机器人配置、动作空间和评估协议具体实现细节见附录E最后对于评估协议与指标作者在附录 F 中定义的 12 个触觉反应任务上对所有方法进行评估。对于每个任务作者进行 16 次试验并在不同试验中随机化物体的位置和旋转且报告平均任务成功率对于多阶段任务使用基于进度的评分标准来反映部分完成情况。结果先在每个任务的多次试验之间取平均然后再在各个任务之间取平均1.3.2 主要结果作者在12 个触觉响应操作任务上将T-Rex 与具有代表性的灵巧操作和VLA 基线方法进行对比评估这些任务需要精细的力控制、可变形物体处理以及联合力-形变推理如表1所示T-Rex 在所有任务类别中都取得了最高的平均成功率性能超过最强基线方法30 %以上且作者声称出现了两个关键观察首先大规模预训练对于灵巧操作至关重要仅在100 个任务特定示范上从零开始训练的小规模策略例如VitacFormer 和RDP在所有任务上表现始终不佳在这些基线方法中EgoScale由于采用了带手部姿态监督的大规模自中心预训练而取得了最强性能显著优于仅在任务特定真实机器人数据上进行预训练的方法如π0.5 和Tactile-VLA其次触觉反馈对于富接触操作至关重要像EgoScale 这样的预训练VLA模型在精确接触调整和对力敏感的行为方面仍然失败而通过将大规模预训练与以触觉为基础的中间训练和具备触觉反应的控制相结合T-Rex 实现了整体最强的性能作者宣称他们还观察到将预训练的VLA 模型朴素地以触觉信号进行条件化为π0.5 tactile 可能会降低性能这突出了高效触觉融合的重要性。更多失败案例分析见附录H1.3.3 消融研究第一对于动态触觉编码和表征的影响作者通过一系列消融实验研究触觉信息和触觉表征的贡献。具体来说作者比较了移除所有触觉输入w/o tactile、移除所提出的VQ-VAE 力编码器但保留轻量级MLP 和形变信号MLP Force Deform、仅使用形变信号Deform、以及仅使用力信号MLP Force VQ-VAE Force如下表表2 上半部分所示这些实验评估了触觉反馈、空间形变感知以及所提出的时间力编码对于触觉反馈操控的重要性第二异步触觉响应级联流匹配的影响作者将提出的异步触觉细化与同步基线进行比较。如上表表 2 所示异步细化在各项指标上均有稳定提升这验证了将低频视觉—运动规划与高频触觉控制解耦的优势作者进一步对去噪拆分步长进行变化实验如图 4 所示『代表级联去噪分段步长的消融实验。展示了不同分段步长设置下的成功率曲线』中间值的切分可以获得最佳性能当太小时动作专家为下游细化提供的视觉运动先验不足当太大时触觉专家整合触觉反馈的能力受到限制第三触觉支撑的 T-Rex 数据集的效率作者将提出的 100 小时触觉支撑 T-Rex 数据集与从11 个任务中采集的 100 小时时间、面向具体任务的数据集进行比较以保证数据预算相匹配如图 6 所示所提出的数据集在泛化能力和零样本迁移方面表现更强且作者进一步将后训练示范的数量从 10 个变化到 200 个如图 5 所示『T-Rex 的数据效率。作者展示了在不同示范数量下的成功率曲线。蓝色使用作者基于触觉的 T-Rex 中期训练数据绿色不使用中期训练数据』可以很明显的看到在低数据量场景下引入触觉支撑的中期训练显著提升了性能从而减少了针对接触丰富型灵巧操作所需的下游数据量第四对于训练策略的有效性最后作者通过移除大规模人类第一视角预训练和触觉驱动的中期训练来验证所提出的三阶段训练策略的有效性具体而言作者在基准中的六个机器人任务上对比了是否采用人类预训练以及是否采用触觉驱动中期训练的不同变体本研究将每一个阶段的作用进行剥离分析人类预训练提供广泛的语义基础和粗粒度的视触运动先验而触觉驱动的中期训练则将这些先验衔接到机器人可执行的、富接触的控制上如表 3 所示『T-Rex 训练配方的有效性。作者选取了六个具有代表性的任务报告其成功率并比较在不同训练配方下的成功率%』这两个阶段都对性能有贡献而完整的训练策略取得了最佳结果// 待更