3DGS 重建最让人头疼的往往不是相机轨迹也不是算力不够而是场景里那些“不该存在”的东西——走动的人、穿行的车、飘动的树叶。以前我在室外场景跑 3DGS绕着一座雕塑拍了一圈兴致勃勃地等重建完成结果放大一看雕塑底座附近多了一串半透明的人影。这就是典型的 Distractor 问题。最近有一篇工作标题很有意思Per-View Gaussian Predictions Enable Training-Free Distractor Filtering。它想做的事和过去那些需要额外训练分割模型、手工 Mask、或者调权重的方法不太一样。概括起来就是一句话把 Distractor 过滤从“训练一个场景专属模型”变成“用逐视图高斯基元预测做一致性判断”。这个转变看起来只是技术路线调整但实际会改变 3DGS 场景重建的工程流程——尤其是批量处理、开放场景采集和自动化建模场景。这篇文章不打算复述论文而是想从问题本质、方法逻辑、落地流程和使用边界几个层面把这类思路讲透。你会看到它真正要解决的问题是什么为什么“无需训练”听起来很爽却并不免费以及实际使用时最容易踩在哪几个坑上。1. 先搞懂 Distractor 为什么是 3DGS 的心病1.1 3DGS 的渲染方式决定了它对动态内容极其敏感3D Gaussian Splatting 的表示不像传统 Mesh 那样有明确的“表面”。它通过一组带位置、协方差、颜色和不透明度的 3D 高斯体描述场景中的辐射场。渲染时这些高斯会被投影到图像平面然后按照深度从远到近排序逐像素做 Alpha 混合。因为这个过程本身非常适合 GPU 并行所以 3DGS 能做到实时渲染这也是它比 NeRF 更讨喜的核心原因之一。但问题也出在这里既然是逐像素混合那么任何穿过场景的动态物都会被“混合”进多个视角的高斯属性里。假设一个行人走过每一帧都在不同位置优化器为了让渲染结果匹配所有输入照片会试图把这个行人解释成一组静态高斯。最终效果就是行人被平均成一层半透明的残影贴在背景上。放大看边缘还有拖影像极了长曝光照片。所以 Distractor 不只是“脏点”也不是简单的噪声。它会直接污染附近静态场景的高斯属性导致重建结果里出现不属于场景物理表面的结构。1.2 动态干扰物为什么尤其难处理静态场景中偶尔出现一两个反光、垃圾桶优化器可以用更高的不透明度或更小的协方差去拟合。但动态干扰物的轨迹跨越了多个视角、多个时间点它和真正的静态场景不满足“多视角一致性”。按理说这种不一致应该很容易被机器识别但问题在于 3DGS 的优化过程并不天然知道什么是“一致”。典型的处理思路有两类训练时加 Mask先用语义分割网络把照片中的行人、车辆抠掉再参与训练。优点是直接缺点是需要额外分割模型而且分割结果不准时漏掉的区域照样变成残影误分割又会把背景抠出洞。鲁棒损失函数降低残差过大像素的权重。这样做能缓解部分 outlier但对持续多帧出现的动态干扰物效果有限因为优化器会在不同视角之间权衡容易把干扰物当成一个“偶发的可解释结构”。这两类思路都有一个共同毛病它们把 Distractor 过滤当成了一个需要为每个场景单独适配的训练问题。换个场景、换个干扰物类型可能就要重新标数据、重新调参数。1.3 新思路的起点能不能在推理阶段就完成过滤这正是标题里 “Training-Free” 值得注意的地方。它想跳过“场景专属训练”这一步直接利用逐视图高斯预测来做多视角一致性校验。换句话说传统方案是靠训练来学习“什么是背景什么是干扰物”而这类新思路是靠“每个视角独立预测出可能的高斯属性然后看这些预测是否互相支持”来判断。如果某个高斯基元只在少数视角下被预测出来或者视角之间的预测差异很大就认为它是 Distractor而不是场景本身。这个转变是从“经验学习”到“几何一致性推理”的转变。2. Per-View Gaussian Predictions 到底在预测什么2.1 先澄清一个容易误解的地方“Per-View Gaussian Predictions”不是给每张图单独训练一个 3DGS也不是说每张照片都要生成一个完整的三维模型。它更像是对每个视角的像素或区域预测其在 3D 空间中的高斯属性包括深度、法向、语义特征甚至一个直接的高斯表示。这些预测来自哪里在“无需训练”的设定下通常来自一个预训练好的通用模型。比如常见的单目深度估计模型、预训练的视觉特征模型或者一个已经在大量场景上训练过的 3D 先验模型。它们能对单张图像给出一个合理的三维理解不需要针对当前这个新场景重新训练。所以在理解这类方法时要分清两个层面预测模型本身是有训练的它是在通用数据上训练出来的场景重建过程不需要为当前场景再训练一个过滤器过滤逻辑是通过预测结果之间的一致性来执行的。2.2 用多视角预测做交叉验证替代 Mask 标注这类方案的核心机制可以用一个很朴素的逻辑来概括假设一个位置真有一个静态物体那么无论从哪个视角观察预测模型给出的深度、法向、语义特征都应该保持一致。但如果那个位置上是一个动态行人那么不同视角会看到不同身体部位甚至不同时间点的行人预测结果自然不会收敛到同一个 3D 点。于是我们可以把每个视角的预测投影到统一的 3D 空间对同一个高斯基元统计它被多少个视角“支持”。支持度低的高斯就被标记为 Distractor。这个过程不需要人工标注也不需要训练一个“当前场景专用”的过滤器所以叫 Training-Free。有一个细节需要想清楚这里的“一致性”不是简单的像素颜色一致而是三维属性一致。行人穿的衣服颜色可能变化不大在颜色层面甚至可能和背景融合但在深度层级前景和背景显然不同。所以预测的维度如果包含深度和离散语义就能比单纯的颜色残差判得更准。2.3 为什么要在“Gaussian”层面过滤而不是直接输出 2D Mask如果只是做 2D 分割其实和语义分割然后 Mask 训练没有本质区别。真正的差别在于Gaussian 层面的过滤能和 3DGS 优化流程直接对接。你可以把每个高斯基元看成一个小单元过滤的时候决定的是“某个基元是否应该被保留、降低权重、或者重置属性”。这比在图像空间做像素级 Mask 更符合三维重建的粒度。再往下推一步这类方法还可以在渲染管线里做文章。3DGS 渲染时是远到近排序、逐层混合的如果我们在混合前就把某些高斯的不透明度置为很低就可以避免干扰物进入最终的混合结果。这也解释了为什么“逐视图 Gaussian Predictions”会比“逐图像分割”更适合 3DGS——它可以直接嵌入到高斯基元的生命周期里。3. “无需训练”背后的工程价值不只是省显卡3.1 省掉训练过程等于省掉一大批配套工程如果只是把一个场景的训练时间从两小时变成半小时那确实只省了时间。但真正的工程价值在于不需要为每一个采集场景准备有标注的训练集也不需要维护一个场景专属的分割模型。在开放场景采集时你不可能提前标注每一张照片里的行人、车辆。常见的做法是采集完以后人工检查或者一股脑跑完再凭肉眼修重建结果。Per-View Gaussian Predictions 这类思路可以让你在第一次重建时就不再依赖手工标注而是自动完成候选 Distractor 的标记。这带来的间接好处是没有标注流程采集流水线更短不需要为不同场景训练多个过滤模型遇到新的干扰物类型只要预训练预测模型能输出合理特征过滤逻辑依然成立。3.2 重建和过滤可以同步进行迭代速度更快以往的管线上要么先过滤数据再训练 3DGS要么训练到一半停下来看损失。而 Training-Free 方案可以在优化过程中反复执行“预测—比较—过滤”的循环。每次迭代时都可以根据当前的中间结果重新计算每个高斯的支持度。这种做法的好处是过滤不是一次性的硬切割而是一个渐进更新的过程。一开始的重建可能很粗糙但经过几轮过滤场景越来越干净剩下的高斯也就越来越接近真实静态表面。你会明显感觉到结果在一轮一轮变“实”。3.3 但这不意味着“免费”它只是把成本转移了这里必须泼一盆冷水。Training-Free 不等于“没有模型”也不等于“不需要算力”。它真正省掉的是当前场景的训练成本但引入的是通用预测模型的推理成本。简单说你调用一次单目深度估计或视觉特征模型就要多一次前向推理。1000 张输入图像就意味着 1000 次或更多次额外推理。如果预测模型又大又慢最终整体耗时可能并不比训练一个轻量过滤器低。所以理解这类方案的正确姿势是它把“每个场景做一次训练”变成“每个视角做 N 次预测”。只有当你有大量场景需要批量重建并且这些场景共享同一套通用预测模型时它的边际成本才会越来越低。反过来如果只是做一两个小场景直接手工 Mask 可能更快。4. 落地时怎么用一个可参考的验证流程虽然我们暂时拿不到官方代码库但从方法名称和问题定义来看可以搭建一个非常接近思路的验证流程。这套流程适合先在一个小场景上跑通再逐步扩大。4.1 输入准备多视角视频或照片集采集时要注意几个基础条件尽量保证静态背景有充分的视角覆盖干扰物最好持续运动而不是长时间停在某个位置避免大幅度抖动和模糊否则预测模型的深度输出会不稳定视角数量要足够因为“一致性”依赖多视角交叉验证。特别提醒如果干扰物是静止的比如一个人站在那里不动那么多视角预测也会看到一致的深度和颜色这时候过滤难度会直线上升。方法可能会把它误判为静态场景。4.2 第一步先跑一个不加任何过滤的 Baseline这一点很容易被忽略。很多人拿到新方案直接开跑过滤版本结果遇到问题根本不知道是过滤逻辑引入的还是原本重建就崩。建议先做一次标准 3DGS 重建记录哪些区域出现了残影干扰物大概影响了多少个视角baseline 的 PSNR、LPIPS 是多少。这一步不仅是为了对比也是给你后续调参提供一个基准。如果过滤后反而变差了至少能知道是不是阈值设得过于激进。4.3 第二步对每个视角做 Gaussian Predictions这一步需要把输入图像送入一个预训练模型得到每个像素或每个 patch 的三维状态预测。常见预测包括深度图法向图语义类别/特征向量或者直接预测图像对应的高斯参数。需要注意预测结果必须对齐到 3DGS 的相机坐标系。通常会用 SfM如 COLMAP标定的内外参把深度投影到世界坐标。如果这里坐标系没有对齐后面的一致性校验就完全没有意义。另外不是所有预训练模型都适合所有场景。室内模型放到室外会崩白天模型放到夜晚也会崩。落地前必须先在自己场景的小样本上检查预测结果的质量。4.4 第三步多视角一致性校验这是整个流程的核心。用一句话概括把预测结果投影到同一份 3D 空间统计每个高斯基元的支持度。伪代码示意如下for each gaussian in scene: view_votes 0 feature_consistency [] for view in views_that_see_gaussian: projected project_gaussian_to_image(gaussian, view) prediction predict_gaussian_attribute(view.image, projected.pixels) if depth_distance(gaussian, prediction) depth_threshold: view_votes 1 feature_consistency.append(prediction.feature) support_ratio view_votes / total_visible_views if support_ratio support_threshold: mark_as_distractor(gaussian)这里有两个关键参数支持视角数阈值太低了会放过干扰物太高了会误伤那些被短暂遮挡的静态区域。深度/特征差异阈值太大过滤不了太小会让场景出现空洞。在实际工程里这两个参数很少一开始就调到最好。建议先在几十个明显 Distractor 的基元上肉眼观察看它们的支持率分布再反推合理阈值。4.5 第四步过滤并重新优化过滤方式也分激进和温和两种激进方式直接删掉被标记的高斯基元温和方式把被标记的高斯的不透明度降低或者暂时冻结它们不参与优化等几轮后再检查。我一般会先试温和方式。因为硬删除容易留下空洞而温和方式可以让优化器在后续迭代中自己修正。如果在某一轮里一个高斯基元重新获得了足够的支持它还有机会“复活”不会被一次误判杀死。4.6 最小可验证清单如果你也想复现一条类似的流程可以按这个清单检查是否有明显动态干扰物是否跑了 baseline预测模型是否在目标域上可接受坐标投影是否对齐是否用小样本标定过阈值是否比较过过滤前后指标是否保留中间 mask/置信度方便回溯。5. 参数、边界和排坑从能跑到跑得稳5.1 核心参数到底怎么理解没有具体代码时很多参数只能靠猜。但有几个参数的物理含义是通用的参数作用设置误区支持视角数阈值判断一个高斯被“证实”需要多少个视角设太高遮挡多的场景会大量误删设太低干扰物又会残留深度一致性阈值判断预测深度和当前高斯位置是否一致设太大过滤失效设太小背景也会被削预测模型推理分辨率影响深度/特征的精度和耗时全分辨率推理太慢太低又对远处小目标不友好高斯基元尺寸上限控制大高斯跨越多个物体的风险大高斯像大刷子会把背景和干扰物一起抹平过滤效果大打折扣这里最容易被忽略的是高斯基元尺寸。一个半径很大的高斯体可能同时覆盖静态物体和动态行人。即使你把它标记为 Distractor删除它也会连带破坏背景。所以在实际使用时最好在过滤前先检查一下候选高斯的尺寸把超大高斯拆分或限制其影响范围。5.2 哪些场景适合哪些不适合适合的场景动态干扰物比静态背景更“薄”例如行人、车辆、气球背景静止且纹理丰富多视角覆盖充分每个静态点至少被 5~10 个视角看到干扰物不是长时间停留通用预训练模型在当前域上输出稳定。不适合的场景干扰物静止不动和背景深度接近场景与预训练模型领域差异巨大比如水下、医学内窥镜、夜间红外干扰物占画面面积过大导致没有任何一个视角能看到“干净背景”来支撑一致性判断视角太少所有高斯支持率都低过滤无从谈起场景本身需要保留动态元素比如重建动态活动场景那就不能一刀切过滤。5.3 一套针对“过滤失效”的排查链路如果你跑出来的结果不对不要急着改参数。按下面的顺序检查看现象先判断是残留、空洞、还是整体崩坏。残留说明过滤力度不够空洞说明误判太多崩坏说明坐标对齐或预测输出格式有问题。看输入检查视频是否抖动、模糊、过曝检查相机位姿是否准确检查图像时间戳是否和实际场景顺序一致。看预测单独可视化几个视角的深度/特征输出看是否符合肉眼理解如果不符预测模型可能不是当前域的合适选择。看投影把预测深度投影到 3D 空间叠加到点云上看是否对齐最常见的错误是深度尺度不一致导致所有投影都偏移。看参数先从小阈值开始逐个放大观察标记数量变化。不要同时调 3 个参数否则很难定位。看基元检查被过滤的高斯是不是有大量超大尺寸。如果是要么限制高斯尺寸要么先做一遍后处理再判断。看优化过滤后是否给了足够的迭代次数。动态干扰物往往在后期优化阶段才会被真正“平均”进去所以过滤太早或太晚都会影响结果。5.4 长期使用建议把它当成预处理而不是一次性魔改这类方案很诱人但实际落地时最好把它设计成一个可插拔的预处理模块。我的建议是保留每个视角的预测结果不要只保留最终过滤标记把每一步的中间参数记录成 JSON方便回溯不要让代码库里的参数“硬编码”用配置文件管理每次拿到新场景先跑一遍默认参数再根据输出微调而不是每次从零开始。这样才能真正发挥“Training-Free”的价值模型不需要在新场景上训练但你的流程要能快速适配新场景。6. 这类方案真正改变的是什么如果只看到“不用训练了”其实低估了它。真正值得关注的是它把三维重建中的“脏活”从学习问题变成了推理问题。过去我们遇到 Distractor第一反应是“我得训练一个东西来识别它”。这意味着要有标注数据要训练模型要保证模型在新场景泛化。而 Per-View Gaussian Predictions 的思路是把判断依据建立在多视角几何一致性上。预测模型只是一个“通用传感器”真正做决定的是不同视角之间的互证。这会带来一个更深层的变化它让 3DGS 重建流程更接近“只要采集数据足够多就能自动分离静态和动态内容”。未来的开放场景重建可能不再需要人工先看一遍视频、哪段有行人哪段没有而是直接把原始数据交给系统让系统在重建过程中自动完成动态内容的剔除。但要注意边界。任何基于先验预测的方法都会受限于先验本身的质量。如果预训练模型在某个领域上很差那么再强的一致性校验也救不回来。所以真正实用的系统大概率会把“通用预测模型”和“场景自适应优化”结合起来而不是完全依赖某一个环节。对普通开发者来说可以不用等官方完整实现也可以先照着这个思路用已有 3DGS 工具加一个单目深度模型做一个最小验证。跑通以后你会有一种很直观的感受那些讨厌的半透明人影终于不是靠人工指出来的而是模型自己发现了“这些地方大家说得对不上”。回到开头那个雕塑场景。如果再遇到一次我会先不急着加过滤网络。先用已有模型对每个视角做一次预测再让它们在三维空间里互相验证。那些只在某些视角出现的“人”最终会因为没有足够的支持者而消失在重建结果里。这个过程不复杂但它代表了一个更通用的原则当数据来源足够多可信度之间的相互验证可能比单一模型学到的经验更可靠。这正是逐视图高斯预测这种思路最有价值的地方。