VLM³的理解1——架构

文章目录一、前言二、VLM³核心论点覆盖的4类3D任务关键发现训练效率问题1通俗解释一句话总结背景现在的AI怎么看深度VLM³的三个笨办法1. 统一相机焦距——消除相机差异2. 用数字坐标代替在图上画圈——文本指代像素3. 数据混合——食谱比厨艺更重要效果有多夸张为什么这件事很重要1. 回归损失可能不是必须的2. 通用模型可以打败专用模型3. 简单可扩展打个比方三、架构图2VLM³ 方法与现有视觉语言模型在处理3D理解任务上的核心区别总体架构对比关键模块与设计原理拆解(a) 带有架构改动的物体级别方法(b) DepthLM 使用渲染标记进行像素引用(c) VLM³ 无需架构改动或渲染标记总结问题1为什么之前没人想到一、为什么之前没人想到这个主意看起来确实不难1. 坐标归一化才是隐藏的钥匙2. 领域惯性3D视觉几十年都在做减法3. 数据食谱比食材更难掌握二、VLM³需要训练吗需要但训练方式很偷懒1. 不是从零训练是微调2. 训练目标就是预测下一个词3. 训练成本相对较低总结一、前言仅供参考未经实验验证。二、VLM³论文标题VLM³: Vision Language Models Are Native 3D LearnersVLM³视觉语言模型是原生3D学习者作者Zhipeng Cai项目负责人, Zhuang Liu, Yunyang Xiong, Zechun Liu, Vikas Chandra, Yangyang Shi机构Meta第1-5, 6作者、Princeton University第2作者发表时间2026年5月28日论文地址https://arxiv.org/pdf/2605.30561Github地址https://github.com/facebookresearch/VLM3核心论点论文的核心主张是标准的视觉语言模型VLM本身就是原生3D学习者无需修改架构、添加专门模块、设计复杂损失函数或大量数据增强。作者通过大规模深入研究证明仅需三个关键要素即可实现有效的3D学习焦距统一Focal Length Unification将输入图像resize至焦距统一为1000像素解决相机歧义问题实现跨数据混合训练基于文本的像素参考Text-based Pixel Reference将像素坐标归一化到 [0, 2000) 范围直接用文本指代像素/物体无需视觉提示visual prompting或额外编码器数据混合与缩放Data Mixture and Scaling合理的数据混合权重比复杂架构设计更重要覆盖的4类3D任务任务主要成果度量深度估计准确率从DepthLM-7B的0.84提升到0.90模型更小4B vs 7B物体级3D理解超越SpatialRGPT-8B且无需额外编码器像素对应估计EPE降低10倍优于专家模型DKM和RoMa相机位姿估计AUC30从基线的5%提升到94%超越VGGT接近DA3-Giant关键发现回归损失并非必要即使对于相机位姿估计这类传统上依赖复杂回归损失的任务纯文本生成next token prediction也能达到SOTA精度文本像素参考与视觉提示效果相当但文本方式更高效、更可扩展可在同一图像上打包多个问题数据混合至关重要当使用规模差异巨大的多样化数据集时简单的均匀权重会导致过拟合基于数据集大小的非均匀权重是关键训练效率深度估计32张GPU × 3天训练32M样本3.2亿标注像素物体级3D理解32张GPU × 3小时训练1M图像像素对应64张GPU × 7天训练80M样本相机位姿32张GPU × 4天训练10M样本问题1通俗解释一句话总结这篇论文证明那些能看图说话的普通AI比如GPT-4V、Qwen-VL本身就有理解三维空间的天赋不需要改装、不需要特殊训练技巧只要用对方法教它就能在3D任务上打败专业选手。背景现在的AI怎么看深度想象你闭上眼睛有人在你耳边描述一张照片“左边有个沙发右边有棵树”。你能大概想象出场景但很难准确判断沙发离你多远、树比沙发高多少、相机是往左移还是往右移。这就是目前大多数视觉语言模型VLM的痛点——它们擅长看懂画面内容这是猫还是狗但很不擅长看懂空间关系这东西离我几米远。以前要解决这类3D问题科学家得专门造一套专业工具给模型加装特殊模块就像给普通车装履带变坦克设计复杂的数学损失函数就像给司机看一堆仪表盘才能开车做大量几何/光照数据增强就像让司机在暴雨、大雾、夜间都练车VLM³的核心发现是这些复杂的改装其实都不需要。VLM³的三个笨办法论文发现只要做好三件看似简单的事普通VLM就能学会3D1. 统一相机焦距——消除相机差异比喻你用手机拍一张照片我用单反拍同一场景。虽然拍的是同一个东西但因为镜头不同画面透视感完全不同。如果AI直接学它会 confused“为什么同样的沙发有时显得大有时显得小”解决办法VLM³把所有图片都缩放到一个虚拟的统一焦距1000像素。相当于给所有照片都戴上同一副眼镜再看。这样AI就不会被不同相机干扰可以混合各种数据集一起学。2. 用数字坐标代替在图上画圈——文本指代像素比喻以前教AI找某个像素点得在图片上画个红箭头视觉提示然后把这张图喂给AI。如果要问100个不同的点就得做100张带箭头的图非常浪费。VLM³的办法直接告诉AI请告诉我坐标(1200, 800)那个点的深度。但这里有个技巧——不是直接说原图坐标比如1920×1080而是把坐标归一化到一个固定范围[0, 2000)。相当于给所有图片都套上统一的坐标网格。好处一张图可以配100个问题不需要复制100张图训练效率大幅提升。3. 数据混合——食谱比厨艺更重要比喻你有10个数据集有的有1000万张图比如自动驾驶街景有的只有1万张比如室内房间。如果让AI每样都吃同样多它会在小数据集上吃撑过拟合在大数据集上挨饿。解决办法按数据集的大小来调配食谱比例。大_dataset多给点小_dataset少给点。论文发现这个简单的比例调配比设计复杂的模型结构或损失函数更重要。效果有多夸张论文用了一个4B参数的普通模型Qwen3-VL-4B大概只有GPT-4V的1/10大小在四个完全不同的3D任务上做了测试任务传统VLM表现VLM³表现对比专业模型深度估计像素离相机多远准确率0.840.90追平专业模型UnidepthV2物体空间关系A在B前面吗成功率~11%58.5%超越SpatialRGPT-8B8B模型像素对应左图这个点对应右图哪个点误差153像素15.4像素比专业模型DKM、RoMa还准相机位姿相机往哪移、转了多少准确率5%94%超越VGGT接近DA3-Giant最惊人的是相机位姿传统方法需要多步骤先找对应点→再解优化方程或者复杂的回归损失辅助任务深度、光线方向等。VLM³只是让模型直接用文字描述相机向右平移了3.42米转了15度就达到了94%的准确率。为什么这件事很重要1. 回归损失可能不是必须的以前几乎所有3D视觉模型都依赖回归让模型输出精确数字比如3.42米。VLM³证明让模型像聊天一样说出答案效果一样好。这颠覆了3D视觉领域的一个基本假设。2. 通用模型可以打败专用模型以前大家认为样样通样样松。VLM³证明一个没改过架构的通用VLM通过纯文本训练能在多个3D任务上达到或超越专门为此设计的专家模型。3. 简单可扩展因为不需要改模型结构、不需要复杂损失函数、不需要大量数据增强VLM³的方法非常容易扩展到更大的模型和更多的数据。论文的训练成本很低32-64张GPU几天到几小时。打个比方想象你请一个通才画家VLM和一个专业测绘师专家模型来测量房间测绘师带了一堆专业仪器特殊模块、复杂的计算公式回归损失、还要在不同天气下练习数据增强。画家什么也没带你只是教他“看到那个点了吗告诉我它离你多远用嘴说就行。”结果画家说得和测绘师一样准甚至更快。因为画家本来就有很强的空间直觉视觉语言模型预训练带来的理解力只是以前没人用对方法去激发它。总结VLM³的核心信息是——别急着给AI做3D手术改装架构先试试用最简单的方法教它说话。很多时候AI比你想象的更聪明。三、架构图2VLM³ 方法与现有视觉语言模型在处理3D理解任务上的核心区别图2 详细地展示了 VLM³ 方法与现有视觉语言模型VLMs在处理3D理解任务上的核心区别与创新点。它的总体目的在于直观地对比三种不同的VLM设计范式从而凸显 VLM³ 所提出的“最简化设计”如何能够实现卓越的3D理解能力并证明标准 VLM 本身就是“原生3D学习器”。接下来我们将分步解析图中的每个关键模块和它们之间的协作关系总体架构对比图2从左到右依次展示了(a) 带有架构改动的物体级别方法 (Object-level methods with architecture change)代表了以往处理物体级别3D理解任务时VLM通常需要额外定制模块的情况。(b) DepthLM 使用渲染标记进行像素引用 (DepthLM with rendered markers for pixel reference)展示了早期像素级别3D理解任务如深度估计中VLM通过在图像上渲染视觉标记来指定像素的方法。© VLM³ 无需架构改动或渲染标记 (VLM³ without architecture change or rendered markers)这是本文提出的 VLM³ 方法它以最简洁的设计在不改变VLM核心架构和不依赖视觉标记的情况下实现了多样化的3D理解。关键模块与设计原理拆解(a) 带有架构改动的物体级别方法设计理念这种方法主要针对物体级别的3D理解任务例如识别图像中某个特定物体的高度。核心机制为了让 VLM 能够精确地引用图像中的特定物体通常通过边界框或分割掩码以往的方法需要额外添加专门的编码器或模块图中的 “Extra Modules”。这些模块负责将视觉区域信息如边界框的位置编码成 VLM 可以理解的表示。示例图中示例是“这个物体有多高”VLM在处理时需要通过“Extra Modules”来识别和引用“这个物体”。局限性这种方法牺牲了 VLM 的通用性需要改动其核心架构增加了模型的复杂性并且可能需要针对不同任务设计不同的模块不利于扩展和通用化。(b) DepthLM 使用渲染标记进行像素引用设计理念DepthLM 致力于实现像素级别的3D理解任务例如像素深度估计。它尝试让标准 VLM 也能处理这类细粒度任务。核心机制统一焦距 (Unify focal length)这是解决相机模糊性问题的关键一步。通过将所有输入图像统一调整大小使得它们的焦距在像素空间中达到一个预设值如1000像素这样 VLM 就不再需要显式的相机内参信息从而能够进行跨数据集的混合训练。渲染标记 (Render Marker)DepthLM 使用视觉提示 (visual prompting)的方式来引用图像中的特定像素。具体做法是在输入图像上直接渲染一个视觉标记例如一个小点或方框VLM 通过这个标记来识别目标像素。示例图中示例是“这个像素离相机有多远”VLM通过图像上渲染的标记来识别“这个像素”。局限性尽管这种方法能让 VLM 学习像素级别的深度估计但可扩展性有限。在训练或推理时如果需要查询图像中的多个像素就意味着需要为每个查询像素生成带有不同标记的重复图像这导致效率低下计算成本高昂。此外对于输出也需要像素引用的任务如像素对应渲染标记的方法会变得复杂。© VLM³ 无需架构改动或渲染标记设计理念VLM³ 旨在超越 DepthLM在不引入任何额外模块、不改变 VLM 基础架构、也不需要视觉标记的情况下实现多样化、细粒度的3D理解任务。这是本文的核心创新和论点即VLMs 是原生3D学习器。核心机制统一焦距 (Unify focal length)与 DepthLM 相同VLM³ 也通过图像大小调整来统一焦距例如所有图像的焦距都调整为1000像素有效解决了相机模糊性问题并支持混合数据训练。基于文本的像素/区域引用 (Text-based pixel/region reference)这是 VLM³ 的关键创新点。为了引用图像中的像素或物体区域VLM³不再依赖视觉标记。相反它直接使用文本来描述像素或区域的坐标。坐标归一化像素坐标被归一化到[0, 2000)的范围用于表示水平和垂直轴。例如像素(1500, 1000)可以直接作为文本输入给 VLM。优点这种方法移除了对视觉提示的需求使得 VLM³ 更加灵活、高效和可扩展。在一个训练样本中可以为同一图像打包多个问题-答案对极大地提高了训练效率。数据混合与缩放 (Data mixture and scaling)虽然图中未直接显示但论文强调在解决了相机模糊性和像素引用问题后大规模的数据混合和缩放对于标准 VLM 学习精确的3D理解至关重要甚至比设计复杂的任务特定模块、架构或损失函数更为重要。示例图中示例展示了 VLM³ 如何通过文本提问“像素(1500, 1000)离相机有多远”和“物体[(1900, 1300), (2000, 2000)]有多高”来直接进行像素和物体区域的3D理解。优势极简设计无需额外的 VLM 编码器/模块或渲染标记保持了标准 VLM 的原始架构。灵活性与可扩展性纯文本的输入/输出使得模型能够轻松适应各种3D任务并且能够高效地处理多个查询。通用性能够学习包括物体级别3D理解、度量深度估计、像素对应估计和相机姿态估计在内的多样化细粒度3D任务并能与复杂的专家视觉模型性能相媲美。总结图2清晰地传达了 VLM³ 的核心思想通过巧妙地解决相机模糊性问题统一焦距和实现高效的文本化像素/区域引用配合大规模数据混合与缩放标准视觉语言模型无需进行任何架构改动或复杂的任务特定设计就能成为强大的3D理解模型。这为未来的通用3D基础模型设计开辟了新的范式鼓励研究人员重新思考3D学习中哪些是真正必要的哪些是可以简化的。问题1为什么之前没人想到看起来 VLM³只是用坐标位置来标记像素位置然后通过带有坐标位置的文字来询问VLM看起来这并不是一个很难的事情为什么之前没人想到呢 VLM³的这种方法不需要训练吗这两个问题问得非常到位。我来逐个解释一、为什么之前没人想到这个主意看起来确实不难1. 坐标归一化才是隐藏的钥匙论文里其实提到一个非常关键但容易被忽略的细节之前的DepthLM同一作者组的上一篇论文已经尝试过用文本坐标但结论是“VLMs do not understand text-based pixel reference”视觉语言模型无法理解基于文本的像素引用。那VLM³做对了什么答案是坐标归一化。打个比方你直接跟AI说告诉我(960, 540)这个点的深度但有的图是1920×1080有的是640×480有的是4000×3000。AI看到(960, 540)时它无法建立统一的空间感——960在1920宽的图里是正中间在4000宽的图里只是左边1/4处。VLM³的发现把坐标都归一化到一个固定范围比如[0, 2000)相当于给所有图片套上了统一的坐标网格。这样AI就能建立稳定的空间直觉。所以不是没人想到用文字说坐标而是之前的人试了发现不work就放弃了。VLM³找到了让这个方法work的隐藏开关。2. 领域惯性3D视觉几十年都在做减法传统3D视觉的思维方式是“3D任务需要精确数字输出所以必须设计专门的数学模块回归头、几何损失函数。”这就像以前大家都认为要跑得快必须穿专业跑鞋、做复杂热身、调整呼吸节奏VLM³相当于发现“其实光脚也能跑而且跑得一样快甚至更快”但要证明这一点需要有人真的去大规模实验。论文里做了大量对比实验证明不需要改架构 ✓不需要回归损失 ✓不需要复杂数据增强 ✓数据混合比模型设计更重要 ✓这些结论都是反直觉的需要花很多GPU时间去验证。大多数人没这个条件或动力去挑战行业常识。3. 数据食谱比食材更难掌握即使有了文本坐标方法如果数据混合比例不对模型也会学偏。论文里提到“当使用规模差异巨大的多样化数据集时简单的均匀权重会导致饱和甚至性能下降。小数据集容易被过拟合大数据集则被’饿死’。”VLM³花了大量实验才找到合理的数据食谱。这个隐性门槛让简单方法实际上并不简单。二、VLM³需要训练吗需要但训练方式很偷懒答案是需要训练但训练方式非常轻量。1. 不是从零训练是微调VLM³拿的是已经预训练好的通用视觉语言模型比如Qwen3-VL-4B然后做监督微调SFT, Supervised Fine-Tuning。比喻通用VLM就像一个已经学会看图说话的聪明学生。VLM³只是给它看了一堆带坐标的问题答案比如像素(1200, 800)离相机5米远让它继续练习说话。没有给它换脑子改架构也没有教它新数学公式回归损失。2. 训练目标就是预测下一个词传统3D模型训练时模型需要输出精确数字比如3.421米然后用MSE/L1等数学公式计算误差。VLM³的训练目标是“请预测下一个文字token是什么”比如模型看到像素(1200, 800)离相机____“它要猜下一个词是5还是10”。本质上还是在聊天不是在解方程。3. 训练成本相对较低论文里提到的训练开销深度估计32张GPU × 3天物体3D理解32张GPU ×3小时像素对应64张GPU × 7天相机位姿32张GPU × 4天对比传统专家模型比如VGGT、DA3-Giant这些训练成本其实非常轻量。因为不需要改模型结构不需要调多个损失函数的权重也不需要做复杂的数据增强。总结问题答案为什么之前没人想到① 之前试过文本坐标但失败了缺了归一化这把钥匙② 3D领域几十年惯性认为必须改架构/加回归损失③ 数据混合的隐性门槛需要训练吗需要但不是从零训练是在通用VLM上做轻量监督微调SFT训练目标还是预测下一个文字token不改架构、不加回归头最反直觉的点VLM³的成功不是因为方法太简单所以没人看得上而是因为它把一个看似简单的方法做到了极致归一化坐标 数据混合 规模反而绕过了传统3D视觉的复杂弯路。