今年以来VLAVision-Language-Action Model几乎成了具身智能圈最热的关键词。但讨论热度越高一个反直觉的观点就传得越广VLA 里的“L”好像没什么用。不少团队在把语言指令换成固定 token甚至直接删掉语言分支后发现任务成功率几乎不掉。于是“L 无用论”开始在项目群和论文评论区蔓延视觉模型已经完全够用语言只是给监督信号提供一个文本外壳。这个结论看起来有实验支撑但它的前提有一个致命盲区——评测任务太简单了。一旦把任务从“抓取红色杯子”升级到“把桌子左侧靠外的那个零件放到托盘右上角”语言通道立刻变成决定成败的关键。更具体地说是其中的“位置指令”在起作用。最近不少专注于指令泛化的工作都指向同一个结论如果语言指令设计得当尤其是把位置关系、方位组合、参照物描述做得足够细致模型的分布外指令泛化能力能提升 20% 到 40%。这不是玄学而是可以复现的训练和评测策略。这篇文章我会先拆解“L 无用论”到底错在哪再重点讲位置指令为什么是 VLA 里最值得深挖的一类语言信号最后给出可落地的数据构建、训练增强和评测验证方案。1. VLA 与“L 无用论”是怎么来的先统一概念。VLA 指的是把视觉输入Vision、语言指令Language和动作输出Action联合训练的一类模型。典型做法是输入一张或一段视觉观测配合一条自然语言指令模型直接输出机械臂动作、移动轨迹或操作原语。代表性工作包括 RT-2、OpenVLA、π0 等都是这个技术路线。“L 无用论”的流行来自一类工程观察。很多团队在自己采集的数据集上做消融实验时发现把语言指令从输入中拿掉或者替换成固定字符串模型的动作输出几乎不变。于是他们得出一个判断语言指令只是形式模型真正依赖的是视觉特征。这个判断有它的经验基础但不能推广到所有场景。它成立的前提是视觉目标本身已经携带了足够唯一的动作提示。比如“按下红色按钮”这类任务红色按钮的视觉特征本身已经决定了动作目标语言指令在这里是冗余的。模型只要学会“看到红色物体就点击”根本不需要理解指令里的语言信息。但真实机器人操作远没有那么“一眼定动作”。尤其是涉及空间关系的任务视觉特征只能告诉你哪些物体存在不能告诉你语言描述的是哪一个。比如“拿起离夹爪最近的扳手”和“拿起颜色最深的那只扳手”如果场景里刚好有多个扳手视觉特征就无法独立完成消解必须依赖语言来提供选择条件。所以更准确的判断是“L 无用论”混淆了“当前数据集里 L 不需要”和“L 没有价值”这两个完全不同的命题。前者是数据冗余导致的结果后者是模型能力的结论。位置指令就是最容易暴露这个区别的场景——当语言描述的是空间位置、方位组合、相对关系时去掉 L模型几乎必然失效。2. 位置指令VLA 语言通道里最值得关注的一类信号位置指令指的是描述目标空间位置的指令。常见形式包括“把零件放到托盘左上角”“拿起箱子里靠右侧的瓶子”“移动到路标箭头指向的那个货架前”。这类指令在机器人操作里极其常见但它在语言通道中的“分量”往往被低估。原因是它同时跨越两个模态的鸿沟语言里的空间词是符号化的、离散的视觉和动作空间里的位置是连续的、度量的。模型要把“左上角”这个词映射到图像中的一块区域再映射到机械臂末端执行器的一组目标坐标中间经过的是一整条跨模态对齐链路。位置指令泛化难主要体现在三个地方。第一位置表达方式高度多样。同一个空间位置可以有“左边”“左侧”“左方”“靠近左边的那个”“在桌子的左手侧”等多种说法。模型如果只见过模板化的“left/right”遇到“靠近左侧边缘”就很容易失效。第二空间关系是相对的会随视角变化而变化。同一个物理位置相机视角不同像素坐标完全不同机械臂基座角度不同动作目标也会变化。模型必须学会把语言中的方位词映射到一个与视角无关的空间语义中而不是简单的图像坐标映射。第三位置指令需要与视觉特征做严格的指代消解。场景里出现多个候选对象时语言里的方位词必须能够把目标从候选中分离出来。这一步做不好模型就会“看见”目标却选错对象。这也是为什么位置指令值得单独作为一类泛化指标来对待。它和语义指令比如“剥开香蕉皮”的难度来源完全不同评测方法和训练策略也必须分开设计。3. 位置指令泛化失败的真正原因在深入优化方法之前先把失败原因看清。模型在位置指令上表现差通常不是单个环节的问题而是数据、模型、评测三者共同作用的结果。3.1 数据侧位置指令高度模板化多数 VLA 数据集里的语言指令来自自动模板生成位置词分布极不均匀。比如“left”和“right”可能各占 40%而“front”“back”“corner”“between”等只占零星几个样本。模型训练时根本没机会学到稳定的空间语义映射一旦评测中出现低频方位词自然就崩。另一个数据问题是参照物单一。很多指令生成器只会用“桌面”“箱子”这类固定参照物不会产生“夹爪附近”“相机视野右侧”“两个物体中间”这类带动态参照的位置描述。模型无法把方位词与动态参照物关联泛化就无从谈起。3.2 模型侧跨模态注意力走了捷径从模型机制看Transformer 架构在处理语言和视觉联合输入时跨模态注意力层需要决定哪些 token 更重要。实验观察显示模型倾向于把注意力集中在视觉显著物体上因为物体特征与动作输出之间有更强的直接相关性。而语言中表示空间关系的词往往需要经过多跳推理才能连接到动作注意力权重天然偏低。这就导致模型学习到一条捷径不真正理解位置指令而是依赖视觉特征里最突出的那个物体输出动作。在训练集里这个捷径大多数时候是有效的因为模板化数据里目标物体通常也是视觉上最明显的那个。但一到真实场景目标可能被遮挡、背景更乱、多个候选共存捷径立刻失效。3.3 评测侧只看成功率掩盖了泛化差距很多团队评估 VLA 模型时习惯只看一个“任务成功率”指标。这个指标会被简单任务“喂饱”如果 80% 的测试样本都是“拿起红色杯子、放下蓝色方块”这类单一目标任务即使位置指令全部失效总成功率也可能维持在 70% 以上。真正的问题是我们很少单独统计“指令变体成功率”也就是同一种语义用不同措辞表达后的成功率差异。不统计这个维度就无法暴露 L 通道的泛化短板。这也是为什么很多团队会得出“L 无用”的经验结论——因为他们的评测体系根本没有把语言指令的变化当作变量。4. 提升位置指令泛化的三个关键操作理解原因之后优化方向就清晰了。核心思路不是简单增加语言数据量而是让位置指令在数据、训练、评测三个环节都成为“被认真对待的变量”。4.1 指令多样化生成让位置词的组合空间覆盖足够广第一步是改造指令模板。不能只生成“left/right/front/back”四种基础方位词需要加入组合方位、相对方位和动态参照物。基础方位到组合方位的示例left - the object on the left side - the one closer to the left edge - the target to the left of the red block - the item on the left, behind the bottle组合方位的关键是让模型看到“方位词不是固定标签而是可组合的语义单元”。只有数据里出现“left behind”“right near”等组合模型才有可能学会空间词的组合能力。此外还要引入动态参照物。参照物可以是场景中任意一个物体的名字也可以是夹爪、相机、手写箭头等非固定实体。这样模型才不会把“left”理解成图像坐标轴上的固定方向而是理解成“相对于某个参照对象的空间关系”。4.2 空间监督信息注入帮助模型建立语言到空间的锚点仅靠文本多样性还不够。位置指令本质上要做的是语言到空间的映射如果训练时完全依赖模型自己从端到端损失中学习这个映射效率很低。更稳妥的做法是显式注入空间监督信息。目前实践中比较有效的思路包括三类。第一类是引入目标框提示。在训练时把语言指令对应的目标物体 bounding box 作为额外监督信号通过辅助损失让语言特征与空间区域对齐。推理时不需要提供 bbox只靠语言指令即可。第二类是相对位置编码增强。在语言编码器输出的 token 序列中把方位词的位置信息与视觉特征中的空间坐标做对比学习。简单说就是让“left”这个词的 embedding 与图像左侧区域的 visual embedding 距离更近从而建立跨模态空间锚点。第三类是语言-像素对齐损失。在训练时把指令中的每个词与图像中的相关区域做弱监督对齐。这个方案对数据要求较高但在位置指令普遍化的数据集中效果提升最明显。4.3 训练策略调整用课程学习降低空间映射难度位置指令的学习难度差异很大。“左边/右边”这类二分类方位容易学“左侧偏上、靠近参照物 A”这类组合方位就需要模型具备多步空间推理能力。把所有样本混在一起训练模型很容易被难样本干扰。推荐的做法是课程学习先训练基础方位指令让模型建立“方位词-空间区域”的初始映射再加入组合方位和动态参照物最后加入多候选目标场景迫使模型在候选集中做指代消解。每个阶段使用独立的 loss 权重让模型逐步提升空间语义理解能力。同时配合难负例采样。在指令构造时故意生成一些高度相似的负例比如“拿起左侧的瓶子”时场景中出现另一个右侧瓶子。这会让模型提前暴露在易混淆场景中减少正式评测时的翻车概率。5. 可复现的指令生成与训练增强示例下面给出一套最小可运行的位置指令增强方案包含指令生成器、训练样本格式、训练配置和评测脚本。这里的代码以 Python 和 JSON 为主模型框架可以是 OpenVLA 或其他 VLA 训练库关键是理解数据和处理逻辑。5.1 位置指令生成器示例import random import json BASE_DIRECTIONS [left, right, front, back, center] COMBINATORS [left front, left back, right front, right back] REFERENTS [the red block, the blue cube, the green cylinder, the drawer, the tray, the gripper] TARGETS [the bolt, the nut, the screwdriver, the washer, the wrench, the bearing] def generate_position_instruction(): if random.random() 0.4: direction random.choice(COMBINATORS) else: direction random.choice(BASE_DIRECTIONS) referent random.choice(REFERENTS) target random.choice(TARGETS) template random.choice([ Pick up {target} on the {direction} of {referent}, Move {target} located at {direction} relative to {referent}, Grasp the {target} which is {direction} of {referent}, Take the {target} closest to the {direction} of {referent}, ]) return { instruction: template.format(targettarget, directiondirection, referentreferent), target_object: target, direction: direction, referent: referent } # 生成 100 条指令并预览前 3 条 for _ in range(3): item generate_position_instruction() print(json.dumps(item, ensure_asciiFalse, indent2))这个生成器的核心是让方位词和参照物尽可能多地组合。运行后可以看到同一类空间语义被表达成多种措辞模型才能学会“不同说法同一空间关系”。5.2 训练样本格式示例{ image: episode_0031/frame_0042.jpg, instruction: Grasp the washer which is left front of the green cylinder, direction: left front, referent: the green cylinder, target_bbox: [142, 88, 176, 124], action: { translation: [0.32, -0.18, 0.05], rotation: [0.0, 0.0, 0.15], gripper_open: 0.0 } }target_bbox 是空间监督信号。训练时模型除了预测动作还会预测语言指令对应目标在图像中的区域。这个辅助任务强制语言特征与空间坐标对齐是位置指令泛化能力提升最直接的来源。5.3 训练配置片段YAMLmodel: backbone: openvla/vit-large language_encoder: t5-base data: instruction_augmentation_ratio: 0.5 use_target_bbox_loss: true bbox_loss_weight: 0.3 training: curriculum_stages: - name: base_direction epochs: 2 sample_filter: direction in [left, right, front, back] - name: combinational_direction epochs: 3 sample_filter: direction in combinators - name: full_scene epochs: 4 sample_filter: all batch_size: 32 learning_rate: 1e-4 hard_negative_mining: true hard_negative_ratio: 0.2这里有几个关键参数需要解释一下。use_target_bbox_loss和bbox_loss_weight决定空间监督的强度。权重 0.3 是一个相对安全的起点太大会让模型过度关注 bbox 预测而忽略动作预测太小则起不到对齐作用。curriculum_stages是课程学习的核心。前两个阶段只训练对应方向的子集让模型先把简单方位学扎实第三阶段放开到全量场景在复杂指令上做最终微调。hard_negative_mining打开后训练器会优先采样那些指令和视觉目标容易混淆的样本。这一项对位置指令泛化至关重要因为模型只有在训练时见过“多个候选物 方位词区分”的场景评测时才不会在真实环境中迷路。5.4 评测脚本示例计算位置指令泛化率import json def evaluate_position_generalization(gt_file, pred_file, direction_list): with open(gt_file, r) as f: gt_samples json.load(f) with open(pred_file, r) as f: pred_samples json.load(f) assert len(gt_samples) len(pred_samples) total_tsr 0.0 pigr_dict {d: [0, 0] for d in direction_list} for gt, pred in zip(gt_samples, pred_samples): success 1.0 if gt[success] else 0.0 total_tsr success direction gt[direction] if direction in pigr_dict: pigr_dict[direction][1] 1 pigr_dict[direction][0] success total_tsr / len(gt_samples) print(fTask Success Rate: {total_tsr:.2%}) for direction, (hit, total) in pigr_dict.items(): if total 0: continue pigr hit / total print(fPIGR [{direction}]: {pigr:.2%} (test_size{total})) if __name__ __main__: evaluate_position_generalization(gt_test.json, pred_test.json, [left, right, front, back, left front, right back])这个脚本把“位置指令泛化率”拆分到每个方位组合上统计。如果只报一个总成功率模型可能在“left”上表现很好在“left back”上彻底失败而总指标完全没有体现。按方向拆开后哪里弱一目了然。6. 效果验证用对评测方式才能看到 20-40% 的提升很多人训练完模型后只跑总成功率发现涨了两个点就以为优化到位了。但在位置指令这个维度上正确的验证方式必须单独构建测试集。建议按下面三步操作。第一步构建位置指令变体测试集。从训练集中抽出 500 条基础位置指令样本对每条指令生成 4 个同义改写版本。比如“拿起桌子左侧的螺丝”改写为“拿螺丝它在桌子的左手边”和“把位于桌子左侧的那颗螺丝拿起来”。最终得到一个 2000 条左右的变体测试集。第二步固定视觉场景只改变指令措辞。同一段视觉输入对应多条不同措辞的指令这样能确保成功率差异不是来自视觉难度而来自语言理解。第三步对比训练前后、指令增强前后的 PIGR。注意不要只看平均 PIGR要按方位词分别统计。通常能观察到优化前“left/right”类指令 PIGR 高而“left front”“right back”组合指令 PIGR 很低优化后组合指令的提升幅度往往很明显。标题里提到的 20-40% 提升对应的就是这类评测子集上的变化。它不是所有任务的平均涨点而是指在位置指令变体、组合方位、分布外空间关系这类原本容易失效的子集上经过指令多样化和空间监督训练后PIGR 指标普遍能提升 20% 到 40%。具体数字与数据集复杂度、语言编码器容量、训练数据量都有关系但方向性的提升在多家实验里都是一致的。评测表格可以参考下面这种形式这只是示例具体数值需以你自己的实验为准方向子集基线 PIGR强化后 PIGR提升幅度left84.2%92.5%8.3%right80.1%90.7%10.6%left front52.3%77.8%25.5%right back48.9%74.2%25.3%behind referent35.6%66.4%30.8%可以看到简单方位词的提升空间有限而组合方位和动态参照物才是位置指令泛化的主战场也是“L 无用论”最容易翻车的地方。7. 常见问题与排查指南在实际项目中强化位置指令泛化并不是加上指令增强就能立刻生效。以下整理几个高频问题。问题现象可能原因排查方式解决方案加入指令增强后训练不收敛指令生成器产生语法错误或语义冲突样本检查生成指令中的方位词与参照物是否匹配增加语言校验规则过滤无效指令训练收敛但 PIGR 无提升bbox 辅助损失权重过低空间对齐信号太弱查看训练日志中 bbox loss 是否持续下降调大bbox_loss_weight到 0.5 左右方位词训练效果两极分化课程学习阶段划分不合理基础方位未学透就进入组合阶段分阶段输出 eval 指标观察left/right是否已稳定增加基础阶段训练轮数或降低组合阶段学习率视觉场景变化后成功率骤降模型把语言方位词与图像坐标直接绑定而不是与空间语义绑定在训练数据中加入多视角图像固定指令改视角引入视角增强同一位置指令对应多帧不同视角图像语言编码器过重拖慢推理速度位置指令增强使用了过大的语言模型检查推理链路中语言编码耗时换用更轻量语言编码器或蒸馏到小模型多个候选目标存在时总是选错场景无难负例模型未学会区分相似候选物查看训练集中多候选场景占比开启hard_negative_mining提升难负例比例其中最容易忽略的是多视角增强。位置指令从语义上描述空间关系但模型如果只在一个固定视角下训练很容易把“left”直接映射到图像坐标系的左侧像素区域。一旦机器人换了一个视角这个映射就完全失效。解决思路是在数据构造阶段对同一条指令搭配多个视角的视觉观测强制模型学习视角无关的空间语义。8. 工程实践与落地建议从研究验证到真实项目落地位置指令泛化还有很多工程细节需要注意。8.1 不同模型的接入差异如果你用的是 OpenVLA、RT-2 或其他开源 VLA 模型指令输入的处理方式会有差异。OpenVLA 走的是“图像 token 语言 token 直接拼接”的路线位置指令增强可以直接套用。而一些基于 diffusion policy 的 VLA 变体动作预测不是离散 token 而是连续轨迹此时 bbox 辅助损失需要改造成与轨迹生成网络并行的辅助分支。接入新模型时先用最小示例验证指令生成器输出能被模型的 tokenizer 正确编码。最容易出问题的是方位词被分词器拆分成多个子词导致 embedding 不稳定。如果发现这种情况需要把常用方位词加入分词器的扩展词表。8.2 数据质量优先于数量位置指令泛化不是“指令越多越好”。如果生成器只是机械替换同义词而不覆盖新的空间组合和参照关系数据量再大也只是在原有分布上重复。更推荐的策略是先做一遍当前数据集的指令多样性和空间关系覆盖度分析标记出低频方位组合、低频参照物、单视角样本。然后针对薄弱项定向补数据而不是盲目扩充整体数据集。8.3 位置指令评测接入常规流程建议把 PIGR 指标做成训练流程中的常驻指标而不是只在实验阶段使用。每次模型迭代后都跑一遍位置指令变体测试集观察不同方位子集的波动。这样做的好处是提前发现“LRP”Language Regression Problem语言通道回归避免模型在提升视觉能力的同时悄悄丢掉语言空间对齐。8.4 从仿真到真机的验证顺序在真实机器人上做位置指令泛化实验成本高建议先在仿真环境里跑完整评测。仿真中需要重点验证的是同一位置指令在不同相机角度下是否表现稳定多个候选物体同时出现时指代消解是否正确物体位置随机扰动后成功率是否明显下降。这三个维度全部达标后再上真机验证。9. 小结与后续方向回到开头的问题VLA 里的“L”到底有没有用准确答案是如果你只做视觉语义明确的简单操作L 确实可以被优化掉但如果你的任务涉及空间位置、相对关系、指代消解L 不但有用而且是决定模型能否泛化的核心通道。位置指令是检验 L 价值的一块极好的试金石。它把语言从“语义标签”升级为“空间推理接口”模型必须学会把离散的方位词映射到连续的世界坐标中。那些认为 L 无用的实验本质上是在一个不需要 L 才能完成的数据集上做出的消融结论并不能证明 L 没有价值。下一步值得关注的方向有三个一是 3D 语言场把位置指令直接对齐到三维空间表示而不是二维图像区域二是更细粒度的空间语言表达比如“位于 A 与 B 之间且靠近 B”这类复杂关系三是把空间推理与动作规划联合训练让模型在预测动作之前先做显式的空间推理。如果你正在做 VLA 微调或具身智能项目建议先把位置指令作为一个独立评测维度建立起来。不用急着换大模型先看看当前数据里空间关系覆盖了多少、指令措辞有多少变体、模型在每个方位子集上的 PIGR 是多少。把这些问题搞清楚你会发现语言通道的提升空间比想象中大得多。