ARTICLE DETAIL

资讯详情

深耕网站视觉设计与运营推广的一线实战洞察。

具身智能论文学习16:SmolVLA: A Vision-Language-Action Model for Affordable and Efficient Robotics

具身智能论文学习16:SmolVLA: A Vision-Language-Action Model for Affordable and Efficient Robotics 第一部分基本收录情况项目内容论文全名SmolVLA: A Vision-Language-Action Model for Affordable and Efficient Robotics中文译名《SmolVLA面向可负担且高效机器人学的视觉-语言-动作模型》当前发表形式arXiv / Technical Report正式会议/期刊截至目前未查到正式收录arXiv编号arXiv:2506.01844首次公开2025年6月2日主要团队Hugging Face、Sorbonne University、Valeo.ai、ENS Paris-Saclay主模型规模450M参数Action Expert约100M参数VLMSmolVLM-2视觉编码器SigLIP语言模型SmolLM2动作生成Flow Matching动作形式连续Action Chunk主模型Chunk50步推理Flow Steps10步预训练数据481个社区数据集预训练Episodes22.9KFrames10.6M真实机器人SO-100、SO-101仿真LIBERO、Meta-World是否严格VLA是是否开源模型、代码、数据、训练/推理流程均公开论文的核心目标就是让VLA能够在单张消费级GPU上训练并部署在消费级GPU甚至CPU上。VLA 轻量化 | 低成本普及 | 单张消费级 GPU 可训练 | Hugging FaceLeRobot团队 | 450M参数模型第二部分解决的问题1Problem现有 VLA 模型普遍参数量大、训练与推理成本高限制了其在普通研究机构、消费级硬件和低成本机器人上的训练与部署因此 SmolVLA 试图构建一个小型、高效且仍具有竞争力的 VLA。SmolVLA 的核心问题可以概括为如何降低 VLA 的训练与部署门槛同时尽可能保持其机器人控制能力。2Previous Limitation此前的 VLA 研究主要沿着“扩大模型规模和机器人数据规模”的方向发展。例如 OpenVLA 约为 7B 参数π0 约为 3.3BGR00T N1 约为 2.2B。模型规模的扩大提升了泛化能力但也带来了明显的训练和部署成本。SmolVLA突然提出一个反方向的问题机器人Foundation Model是不是一定非得几十亿参数现有方法主要存在两个问题模型规模和计算成本较高。数十亿参数的 VLA 通常需要较强的 GPU 资源进行训练和推理在真实机器人上还需要考虑推理延迟、显存占用和部署硬件成本因此普通实验室和低成本机器人平台较难直接使用。机器人数据获取成本较高。以往 VLA 主要依赖大型实验室、工业机构或专业机器人平台采集的大规模数据而大量由普通用户和开源社区使用低成本机器人采集的数据尚未得到充分利用。因此SmolVLA 希望同时解决模型成本高和数据门槛高两个问题通过轻量化模型、社区机器人数据和高效推理机制降低 VLA 的实际使用门槛。于是路线变成大模型能力扩张→小模型效率与普及​第三部分SmolVLA的整体框架1整体输入输出流程RGB Image(s) Language Instruction Robot State ↓ SmolVLM-2冻结 VLM ↓ VLM Features ↓ Action ExpertFlow Matching Transformer ← 主要训练这里 ↓ Continuous Action Chunk [a_t, a_t1, ... , a_tn]Figure 1 就是这个流程视觉、语言和机器人 sensorimotor state 进入紧凑 VLM得到的特征送入 Action ExpertAction Expert 使用交替的 Cross-Attention / Self-Attention并通过 Flow Matching 输出连续 Action Chunk。Figure 1 展示了 SmolVLA 的整体架构。模型以 RGB 图像、自然语言指令和机器人传感运动状态为输入由轻量级预训练 VLM 提取多模态特征。为降低计算成本SmolVLA 不运行完整 VLM而是舍弃最后层仅保留前层特征用于动作预测。随后VLM 特征作为条件输入 Action Expert其中 Cross-Attention 用于融合视觉语言信息Self-Attention 用于建模动作序列关系并通过 Flow Matching 将 Noisy Actions 逐步转换为连续动作块。因此该架构的核心是以轻量 VLM 负责环境与任务理解以连续 Action Expert 负责机器人控制在保留 VLA 感知—决策能力的同时显著降低训练与推理成本并支持社区数据和低成本 LeRobot 平台上的训练与部署。2VLM轻量化技巧预训练 VLM 最后一层并不一定是下游任务最好的特征来源。因此机器人控制未必需要把 VLM 的全部 L 层都跑完Action Expert 可以直接使用较早的中间层特征。SmolVLA 因此尝试只保留前层、舍弃最后层。Table 8 验证了 VLM 层截断策略的有效性。随着保留层数 N 从 8 增加到 32LIBERO 平均成功率由 75.0% 提升至 80.3%说明更深的 VLM 特征仍能带来一定性能增益但仅保留前 16 层时已达到 78.5%与完整 32 层的 80.3% 相差仅 1.8 个百分点因此使用 NL/2 可以在明显减少计算量的同时保留大部分控制性能。此外直接保留大 VLM 的前若干层优于隔层跳过Skip %275.5%和直接使用更小的 VLM-256M75.8%说明 SmolVLA 更适合通过截断预训练大 VLM 来实现轻量化而不是简单缩小 VLM 规模。3SmolVLM-2 的多模态输入与状态编码SmolVLA 采用SmolVLM-2作为视觉语言骨干其由SigLIP Vision Encoder SmolLM2 Language Decoder组成。RGB 图像经 SigLIP 编码为 Visual Tokens语言指令 l 经 Tokenizer 转换为 Text Tokens机器人状态 qt​ 则通过线性投影 Wq​qt​ 转换为 State Token三者共同输入 VLM[Visual Tokens;Text Tokens;State Token]因此SmolVLM-2 不仅负责视觉—语言理解还将机器人自身状态提前纳入多模态表示为后续 Action Expert 提供统一的条件特征。Table 11进一步比较了 Robot State 的注入位置。Prefix 表示将状态作为 Token 输入 VLMSuffix 表示在 Action Expert 阶段再加入状态。在 Cross-Attention 设置下Prefix 的 LIBERO 平均成功率为80.3%明显高于 Suffix 的73.3%说明在 SmolVLA 最终采用的条件交互结构中让 VLM 提前联合建模视觉、语言和机器人状态更有利于后续连续动作生成。4视觉 Token 压缩——每帧仅保留 64 个 Token为降低视觉编码开销SmolVLA 取消了 SmolVLM-2 原有的 Image Tiling仅保留 Global Image。对于 512×512 的输入图像SigLIP 以 16×16 的 Patch 进行编码Pixel Shuffle 前形成 32×321024 个视觉 Token随后通过空间缩放因子为 4 的 Pixel Shuffle 将其压缩为 8×864 个 Visual Tokens即 Token 数量减少至原来的 1/16。这一设计显著降低了后续 VLM 的序列长度和计算开销。5Action Expert 的动作生成与容量压缩SmolVLA 的Action Expert是一个基于Conditional Flow Matching Transformer的连续动作生成模块。它以 VLM 提取的多模态特征和 Noisy Actions 为条件学习动作向量场逐步将噪声恢复为连续 Action Chunk。为进一步降低计算成本SmolVLA 同时压缩 Action Expert 的隐藏维度若 VLM 的隐藏维度为论文最终采用约的 Expert 宽度主模型中 Action Expert 约包含100M 参数。Table 9比较了不同 Action Expert 宽度对 LIBERO 性能的影响。完整宽度 1.0d 的平均成功率最高为82.3%当宽度降至 0.75d、0.5d 和 0.25d 时平均成功率分别为77.5%、80.3% 和 73.8%。结果说明过度压缩 Action Expert 会损害动作建模能力但性能并不随宽度严格单调变化因此 0.75d 并非成功率最优配置而是作者综合模型容量、计算成本与控制性能后采用的效率折中。6为什么交替使用Cross-Attention和Self-AttentionSmolVLA 的 Action Expert 并非只使用单一注意力而是交替采用 交叉注意力Cross-AttentionCA和 因果自注意力Causal Self-AttentionSA。其中Cross-Attention 以 Action Tokens 作为 Query以 VLM 特征作为 Key 和 Value用于让动作生成过程读取视觉、语言和机器人状态等条件信息Self-Attention 则在 Action Chunk 内部建模不同时间步动作之间的依赖关系。SmolVLA 采用Causal Self-Attention使当前动作只能访问当前及之前的 Action Tokens而不能直接读取未来动作从而避免训练阶段的 future action leakage。整体结构可以概括为Table 6验证了两种注意力机制的互补性仅使用 CA 和 SA 时LIBERO 平均成功率分别为79.0%和74.5%而交替使用 CASA 后提高到 85.5%。这说明Action Expert 既需要从 VLM 中读取任务条件也需要建模 Action Chunk 内部的时序关系单独使用其中一种机制都不充分。Table 7进一步说明 Self-Attention 应采用因果掩码。双向注意力 Bidirectional Attention 允许动作 Token 访问未来动作时平均成功率仅为67.5%改为 Causal Attention 后提升至 74.5%其中 Long-horizon 任务由 23% 提升至 40%。因此限制未来动作信息能够减少训练阶段的信息泄漏使动作生成过程更符合真实推理时的因果顺序。7Flow Matching 的连续动作生成SmolVLA 的动作生成沿用与 π0​ 相同的Flow Matching思路。给定真实动作块Chunk和高斯噪声首先构造不同噪声程度的中间动作其中接近噪声接近真实动作。Action Expert 以中间动作​ 和 VLM 条件特征​ 为输入学习向量场其训练目标为, 论文定义目标向量场为训练完成后模型在推理阶段从随机噪声出发通过学习到的向量场逐步恢复出连续Action Chunk而不是像 OpenVLA 那样逐个生成离散 Action Token。换句话说SmolVLA 的 Flow Matching 本身不是新的创新其主要作用是保留 π0​ 路线中成熟的连续动作生成能力再将整个VLA 和 Action Expert 做轻量化。8为什么不用L1直接回归动作Table 10 比较了 Flow Matching 与 L1 Regression 两种动作学习目标。Flow Matching 在 LIBERO 上的平均成功率为 80.25%高于 Regression 的 75.25%其中 Long-horizon 任务由 38% 提升至 53%优势更加明显。论文据此认为Flow Matching 对复杂、多模态的连续动作分布具有更合适的归纳偏置而直接 L1 回归更倾向于预测单一确定值在存在多种合理动作轨迹时可能产生折中结果。因此SmolVLA 最终采用 Flow Matching 作为连续 Action Chunk 的训练目标。9Action Chunk 长度与执行频率SmolVLA 一次生成长度为 n 的连续动作块主模型训练时采用 n50。Table 12比较了不同 Chunk Size其中 n1,10,30,50,100 的 LIBERO 平均成功率分别为50.0%、84.0%、78.5%、80.3% 和 74.5%。结果表明Action Chunk 并非越长越好过短难以建模连续动作结构过长则增加远期动作预测难度并降低环境反馈的利用效率因此论文认为10–50 步是较合理的范围。Table 13进一步区分了“预测多少步”和“实际连续执行多少步”。即使模型一次预测较长的 Action Chunk也不需要全部执行完再重新观察环境。当每执行1、10、30、50 步才更新一次观测时平均成功率分别为80.3%、82.8%、70.8% 和 51.8%说明每1–10 步重新获取环境信息并更新策略更加可靠。因此这两个实验共同说明 SmolVLA 需要在动作连续性与闭环响应性之间取得平衡较长 Action Chunk 可以减少模型调用次数但机器人不应将整段动作完全开环执行而应在 Chunk尚未耗尽时根据新的观测及时更新动作。10异步推理——预测与执行并行异步推理的核心不是让模型预测得更快而是用“边执行、边预测”把推理延迟隐藏在机器人执行过程中。传统同步推理需要在当前 Action Chunk 执行结束后再采集新观测并计算下一段动作因此容易产生两类问题一是 Chunk 执行期间缺少新的环境反馈控制具有一定的 open-loop 特征二是计算新动作时机器人可能出现等待。SmolVLA 因此提出异步推理机制Asynchronous Inference将动作执行与下一次策略推理解耦使二者并行进行。Figure 2展示了这一过程RobotClient 首先发送初始观测PolicyServer 预测长度为的动作块机器人开始执行后不必等待整个 Chunk 耗尽而是在执行到第步时提前采集新观测并请求新的动作块。服务器计算新 Chunk 的同时机器人继续执行旧 Action Queue当新结果返回后再通过聚合函数更新动作队列。由此SmolVLA 将原本串行的“预测 → 执行 → 再预测”改为“执行当前动作 ∥ 预测下一段动作”从而减少推理等待并提高真实机器人控制的响应性。11异步推理的触发阈值 gSmolVLA 使用阈值控制何时提前预测下一段 Action Chunk。设完整 Chunk 长度为,当前动作队列剩余动作数为当时系统采集新的观测并以非阻塞方式触发下一次异步推理。也就是说决定旧动作队列还剩多少时开始计算新 Chunk较大的会更早触发下一轮 Action Chunk 推理从而提高环境响应速度但也会增加模型调用和通信频率并可能对变化很小的机器人状态产生重复预测因此 SmolVLA 进一步利用 Observation Similarity Filter 抑制无效推理。越小则更节省计算但容易增加动作队列耗尽和机器人等待的风险。因此本质上用于平衡实时响应性与计算成本。Figure 3 展示了不同对 Action Queue 的影响。接近同步执行需要等当前队列基本耗尽后再更新增大后新 Chunk 会在旧队列尚未执行完时提前生成从而降低动作队列耗尽和机器人等待的概率。为避免高导致大量重复推理SmolVLA 还根据 joint-space similarity 过滤近似重复的 Observation仅在机器人状态发生足够变化或动作队列即将耗尽时触发新的预测。例如 n50g0.1剩余动作少于 5 个才开始算下一段触发很晚g0.5剩余少于 25 个时开始算比较居中g0.7剩余少于 35 个时就开始算大约执行 15 个动作后便启动下一轮推理更早g→1几乎刚开始执行旧 Chunk 就准备下一轮响应最快但计算调用最频繁。12Community-driven Pretraining 基于社区数据的预训练SmolVLA 的另一项核心设计是使用社区机器人数据进行预训练。作者从 Hugging Face / LeRobot 开源机器人社区筛选了481 个公开数据集共 22.9K episodes、10.6M frames。与大型实验室统一采集的数据相比这些社区数据来自更分散的真实场景在任务、环境、相机视角和操作质量等方面具有更强的异质性因此 SmolVLA 希望利用这种低成本但多样化的数据来源降低 VLA 对大规模专业机器人数据的依赖。需要注意的是SmolVLA 当前的机器人预训练数据仍主要来自SO100尚未实现 Open X-Embodiment 或 GR00T N1 那种真正的大规模跨具身预训练。因此这篇论文证明的重点是社区数据可以支持低成本 VLA 预训练而不是已经解决了 cross-embodiment data scaling。Table 1统计了SmolVLA使用的开放社区机器人预训练数据共包含481个数据集、22.9K个episodes和10.6M帧图像。与OpenVLA等使用百万级机器人轨迹的VLA相比SmolVLA的机器人预训练数据规模明显更小因此论文想说明的重点并不是依靠巨量数据取胜而是在有限、开放、社区采集的数据条件下通过轻量架构和数据标准化实现较强的机器人控制能力。需要特别注意图注中的“约10M episodes”与表格本身明显矛盾10.6M对应的是frames而不是episodes真正的episode数量是22.9K13社区数据这么乱怎么标准化SmolVLA 的预训练数据来自481 个 Hugging Face 社区数据集共 22.9K episodes 和 10.6M frames。这类社区数据虽然获取成本低、场景多样但缺乏统一采集规范因此作者主要对任务语言标注和相机视角进行了标准化处理。任务描述标准化。部分数据集存在Hold、Up、task desc等模糊描述甚至完全缺少语言指令。作者利用Qwen2.5-VL-3B-Instruct读取代表性图像帧和原始指令自动生成简洁、动作导向的任务描述从而提高语言监督的一致性。相机视角标准化。不同数据集对相机名称和视角的定义并不一致因此作者将相机人工映射为统一的OBS_IMAGE_1、OBS_IMAGE_2和OBS_IMAGE_3并按照top → wrist → side的优先顺序组织输入减少视角命名差异对训练的影响。第四部分实验结果1实验设置与训练配置SmolVLA 同时在仿真和真实机器人环境中进行评测。仿真使用LIBERO和Meta-World真实机器人实验则采用低成本SO100和SO101机械臂。Figure 4 展示了四项真实任务SO100 上的 Pick-Place、Stacking 和 Sorting以及 SO101 上的 Pick-Place-Lego其中 Sorting 具有更长的任务链而 SO101 实验进一步考察模型适配不同机器人平台和新物体位置的能力。主模型规模为450M 参数其中 Action Expert 约100M。机器人预训练采用 200,000 steps、global batch size 256、AdamW 优化器初始学习率为 10−4最低降至 2.5×10−6输入图像分辨率为 512×512Action Chunk 长度 n50Flow Matching 推理使用 10 steps。训练过程中VLM 保持冻结仅训练 Action Expert。预训练实验实际使用 4 张 GPU 以支持较大的 batch但模型本身支持单 GPU 训练。2仿真性能——小模型能否达到大 VLA 水平Table 2比较了 SmolVLA 与 Diffusion Policy、Octo、OpenVLA 和 π0​ 在 LIBERO 与 Meta-World 上的性能。在 LIBERO 中OpenVLA-7B 和机器人预训练后的 π0​-3.3B 平均成功率分别为76.5%和86.0%而 SmolVLA-0.45B 达到87.3%2.25B 版本进一步达到88.75%在 Meta-World 中0.45B 和 2.25B SmolVLA 分别达到57.3%和68.24%。需要注意Table 2 中 SmolVLA 的VLA Pt. 为 No即这些模型并未使用 22.9K 社区机器人轨迹进行机器人预训练而仅从预训练 VLM 初始化。因此这组实验主要验证SmolVLA 架构本身具有较高的参数效率和下游学习能力不能将性能优势直接归因于 Community Pretraining。SmolVLA 证明小型 VLA 架构本身也可以达到与数十亿参数 VLA 相当的仿真性能。3真实 SO100——450M 模型能否真正控制机器人Table 3给出了 SO100 上 Pick-Place、Stacking 和 Sorting 三项真实机器人任务的结果。ACT 平均成功率为48.3%3.5B π0​ 为61.7%而 0.45B SmolVLA 达到78.3%。其中 SmolVLA 在 Pick-Place 上为 75%低于 π0​ 的 100%但在 Stacking 和 Sorting 上分别达到90% 和 70%明显高于 π0​ 的 40% 和 45%。因此这组实验的重点不是“SmolVLA 每个任务都最好”而是约 0.45B 的 SmolVLA 在真实机器人多任务控制中取得了比数十亿参数 π0​ 更高的整体平均性能说明轻量化并不必然意味着明显牺牲控制能力。4SO101 迁移与 OOD 泛化Table 4在 SO101 上评测 Pick-Place-Lego并分别测试训练分布内ID和新物体位置OOD。ACT 的成功率为70% / 40%SmolVLA 则达到90% / 50%。SmolVLA 的社区预训练数据没有包含 SO101但这里并不是“完全不训练就直接控制 SO101”的 zero-shot cross-embodiment而是在目标 SO101 任务上进行下游训练后评测。因此这组结果说明的是SO100 社区预训练得到的表示能够迁移并帮助适配新的机器人平台同时对未见物体位置具有一定 OOD 泛化能力而不是已经解决了真正的零样本跨具身控制。5Community Pretraining 和 Multi-task Learning 到底有没有用机器人预训练且采用 Single-task Training 时平均成功率为40.0%改为 Multi-task Training 后提高到51.7%进一步加入 Community Pretraining 后达到78.3%。其中 Stacking 从 40% 提升至 90%Sorting 从 35% 提升至 70%。SmolVLA 的最终性能不仅来自轻量化网络结构多任务之间的知识迁移和社区机器人数据预训练同样是重要来源。6异步推理的速度—性能权衡Figure 5比较了同步与异步推理在真实机器人上的性能和执行效率。Async 的平均成功率为73.3%略低于 Sync 的78.3%其中 Sorting 由 70% 降至 50%但其执行效率明显更高Pick-Place 平均完成时间由13.75 s 降至 9.70 s缩短约30%固定时间内完成的成功 Pick-Place 次数也由9 次增加到 19 次。因此异步推理的主要价值并非提高任务成功率而是通过并行执行与预测减少推理等待显著提高机器人控制的响应速度和任务吞吐量同时也体现出性能与实时效率之间的 trade-off。7关键消融实验总结综合 Table 6、Table 7、Table 10 和 Table 12 的消融结果消融结论对应表格主要结果CASA CA SATable 6CA79.0%SA74.5%CASA85.5%Causal SA Bidirectional SATable 7Bidirectional67.5%Causal74.5%Flow Matching L1 RegressionTable 10Flow Matching80.25%Regression75.25%Chunk Size 10–50 较合理Table 12n10 为84.0%n50 为80.3%过短或过长都会下降SmolVLA 的消融实验主要验证了轻量化架构和动作建模中的几个关键设计交替 CA SA 最有效。LIBERO 平均成功率由纯 CA 的 79.0% 和纯 SA 的 74.5% 提升至85.5%说明视觉语言条件融合与动作序列建模具有互补作用。Causal SA 优于 Bidirectional SA。平均成功率由 67.5% 提升至74.5%说明限制未来 Action 信息能够减少 future action leakage。Flow Matching 优于 L1 Regression。平均成功率分别为80.25% 和 75.25%表明 Flow Matching 更适合复杂连续动作分布的建模。Action Chunk 长度需要折中。过短或过长都会降低性能实验表明1050 步是较合理的范围。第五部分SmolVLA的创新点和局限性1创新点①Lightweight VLA Architecture轻量化 VLA 架构SmolVLA 通过采用小型 VLM、减少视觉 Token、截断 VLM 后半部分网络层并缩小 Action Expert将主模型规模控制在约0.45B 参数。其中 Action Expert 约为0.1B 参数机器人训练阶段冻结 VLM主要训练动作专家从而显著降低训练和推理成本。②Community-driven Pretraining社区数据预训练SmolVLA 不依赖百万级专业机器人轨迹而是从 Hugging Face/LeRobot 社区筛选481 个公开数据集共 22.9K episodes、10.6M frames进行机器人预训练证明低成本机器人产生的社区数据同样可以支持有效的 VLA 训练。③Asynchronous Inference异步推理SmolVLA 将Action Chunk 的预测与机器人动作执行解耦机器人执行当前动作序列的同时Policy Server 并行计算下一段动作从而减少同步推理造成的等待时间提高真实机器人控制的响应速度和执行效率。2局限性SmolVLA 虽然显著降低了 VLA 的训练与部署成本但仍存在以下三方面限制数据规模与跨具身能力有限。当前机器人预训练数据约为23K trajectories明显小于 OpenVLA 等模型使用的百万级轨迹规模同时预训练数据主要来自SO100尚未形成真正的大规模 cross-embodiment pretraining因此对新机器人平台的泛化能力仍有限。VLM 与机器人任务的适配仍不充分。SmolVLA 使用的 VLM backbone 主要针对文档理解、OCR 等视觉语言任务预训练并非专门面向机器人交互此外目前也没有将大规模通用 Multimodal Data 与 Robot Data进行联合训练未来仍有提升空间。SmolVLA 借用了已经预训练好的 SmolVLM-2并在机器人训练中冻结 VLM机器人轨迹数据虽然作为输入经过 VLM但只用于训练后续 Action Expert并不会更新 VLM 参数。复杂长时程任务能力仍然不足。当前实验主要集中在 Pick-Place、Stacking、Sorting 等相对短时程操作并主要采用 模仿学习Imitation Learning。论文认为进一步处理复杂 long-horizon 任务可能需要层次化规划、多级策略以及 Reinforcement Learning 等训练方式。SmolVLA 解决的是“VLA 能否做得更小、更便宜”但尚未解决大规模跨具身数据、机器人专用 VLM 和复杂长时程决策等更深层的通用机器人问题。3从 SmolVLA 到 QVLA从架构轻量化走向低比特量化SmolVLA 证明了通过缩小 VLM、减少 Visual Tokens、截断部分 VLM 层以及压缩 Action Expert可以将 VLA 做到约0.45B 参数显著降低训练和推理成本。然而这条路线主要解决的是模型架构本身太大的问题并没有回答另一个部署层面的关键问题对于 OpenVLA、OpenVLA-OFT 等已经训练好的大规模 VLA能否在不重新设计模型结构的情况下进一步降低显存占用和推理开销这就自然引出了QVLA如果不再继续“把网络做小”而是降低模型参数本身的数值精度例如从 BF16/FP16 压缩到 INT8、INT4能否让已有的大型 VLA 直接变得更省显存、更快但 QVLA 发现不能简单照搬 LLM 的量化方法。LLM 量化通常关注文本困惑度或内部特征误差而 VLA 最终输出的是直接控制机器人的 Action即使量化只造成很小的动作偏差这些误差也可能在闭环控制和长时程执行中不断累积最终导致抓取失败或轨迹偏移。更进一步QVLA 发现 VLA 中不同模块、甚至同一层中的不同 Channel 对量化误差的敏感程度并不相同Projector 和 Action Head 尤其敏感同一层内部的 Channel 之间也存在明显差异。 因此QVLA 不再采用“一刀切”的统一低比特量化而是直接根据最终 Action Space 的误差判断每个 Channel 的重要程度再为不同 Channel 分配 0/2/4/8/16 bit。
返回列表