基本信息题目LiV-GS: LiDAR-Vision Integration for 3D Gaussian Splatting SLAM in Outdoor Environments作者Renxiang Xiao, Wei Liu, Yushuai Chen, Liang Hu期刊IEEE Robotics and Automation LettersVol. 10No. 1January 2025DOI10.1109/LRA.2024.3505777研究方向3D Gaussian SplattingLiDAR-Visual SLAM室外场景重建多传感器融合新视角合成。一句话总结LiV-GS 使用同一张 3D Gaussian Map 同时承担 LiDAR 定位地图和视觉渲染地图的角色前端将当前 LiDAR 点云直接与 Gaussian Map 配准后端利用图像、LiDAR 深度和法向约束更新 Gaussian并通过条件高斯约束将可靠的 LiDAR 几何先验传播到 LiDAR 没有覆盖的区域。Introduction3D Gaussian Splatting 的主要优势是显式表示、可微渲染以及较高的渲染效率但原始 3DGS 通常依赖 COLMAP 或其他 SfM 系统提供相机位姿和初始点云。这一流程在室外移动机器人场景中存在明显问题单目图像缺少可靠的绝对深度弱纹理、重复结构和光照变化会降低视觉定位精度LiDAR 可以提供准确几何但点云稀疏且视场有限仅依靠颜色损失优化 Gaussian容易产生漂浮点和错误深度很多 LiDAR-assisted 3DGS 方法仍然把 SLAM 和 Gaussian 重建分成两个阶段。典型流程是LiDAR SLAM ↓ 输出相机位姿和点云地图 ↓ 离线或在线训练 3DGS这种方法中的 Gaussian Map 主要负责渲染真正用于定位的仍然是另一张 LiDAR 点云地图。LiV-GS 试图将流程改成当前 LiDAR 点云 ↓ 直接与 Gaussian Map 配准 ↓ 估计当前位姿 ↓ LiDAR 深度 相机图像联合更新 Gaussian Map因此这篇论文真正要回答的问题是能否让同一张 Gaussian Map 既具有照片级渲染能力又具有足够可靠的空间几何从而直接服务于 LiDAR SLAM论文的核心思想LiV-GS 不再把 Gaussian 只看成一种渲染 primitive而是同时赋予其三种角色颜色表示单元记录环境颜色和不透明度局部表面单元Gaussian 协方差描述局部表面的尺度和方向定位地图单元当前 LiDAR 点云可以直接与 Gaussian Map 进行匹配。一个 Gaussian 被表示为其中表示不透明度表示颜色表示 Gaussian 中心表示 Gaussian 的尺度和方向。LiV-GS 没有使用球谐函数而是直接使用图像像素颜色以简化系统并提高运行速度。整个系统包含四个模块Data Preprocessing ↓ Front-End Tracking ↓ Back-End Optimization ↓ Map UpdateMethod一、LiDAR 与图像预对齐系统输入时间同步的单目图像和 LiDAR 点云。作者使用离线标定得到的 LiDAR-camera 外参将 LiDAR 点云投影到相机坐标系$$其中是 LiDAR 点和是 LiDAR 到相机的外参是相机内参。经过投影后系统获得与 RGB 图像对齐的稀疏 LiDAR 深度图。这一步建立了统一的图像观察空间使系统可以同时比较相机真实图像与 Gaussian 渲染颜色LiDAR 投影深度与 Gaussian 渲染深度。当某帧被选为关键帧时LiDAR 点会被直接加入 Gaussian MapGaussian 中心来自 LiDAR 点颜色来自对应图像像素协方差根据局部点云和相机射线方向初始化后续再通过后端优化调整位置、尺度和方向。因此LiDAR 不只是提供一个初始化点云而是在系统运行过程中持续向 Gaussian Map 注入几何可靠的 primitives。二、前端LiDAR 点云直接与 Gaussian Map 配准这是 LiV-GS 与普通 LiDAR-assisted 3DGS 最大的区别。系统不再用当前 LiDAR 点云匹配另一张点云地图而是直接匹配已有 Gaussian Map1. 局部 Gaussian 子地图系统使用滑动窗口只选取最近 10 个时刻生成的 Gaussians 作为当前局部地图其他 Gaussians 暂时被屏蔽。这样可以减少最近邻搜索开销避免远处 Gaussian 干扰当前匹配保证当前帧主要匹配局部可见区域。2. Gaussian 最短轴作为表面法向对于 LiDAR 点可以通过局部邻域协方差估计表面法向。对于 3D Gaussian其协方差矩阵具有三个特征方向两个较长轴通常位于物体切平面最短轴通常接近表面法向。因此LiV-GS 将 Gaussian 的最短轴视为 Gaussian 法向并将其与 LiDAR 点法向进行对齐。3. 点到 Gaussian 的跟踪误差前端使用类似 point-to-plane ICP 的误差其中$$ 是当前 LiDAR 点$$ 是待估计位姿$$ 是最近 Gaussian 的中心是 LiDAR 点法向是 Gaussian 最短轴方向是 Gaussian 可靠性权重。第一项约束 LiDAR 点与 Gaussian 表面的法向距离第二项约束 LiDAR 法向与 Gaussian 法向的一致性。因此它可以理解为带有 Gaussian 几何属性和可靠性权重的 point-to-plane ICP。需要注意的是论文虽然称其为离散点云与连续 Gaussian Map 的对齐但实际位姿残差仍然依赖“最近 Gaussian 中心”并没有直接最大化完整 Gaussian Mixture 的概率似然。三、如何判断一个 Gaussian 是否值得信任Gaussian Map 中的 Gaussians 并不具有相同的几何可靠性。论文观察到有 LiDAR 深度支撑的区域Gaussians 通常更密集并且表现出明显的表面各向异性仅由颜色损失生成的 Gaussians 往往比较稀疏形状也更加接近各向同性。因此作者构建了一个由“局部密度”和“法向一致性”共同决定的权重其中表示当前 Gaussian 法向与局部平均法向之间的一致性。则根据邻域 Gaussian 的不透明度空间距离协方差各向异性计算局部 Gaussian 密度。其直观含义是Gaussian 越密集 Gaussian 越贴合局部表面 相邻 Gaussian 法向越一致 ↓ 该 Gaussian 的几何可靠性越高 ↓ 在 LiDAR 跟踪中的权重越大这一步非常重要因为视觉优化产生的 Gaussian 虽然能够补充纹理和覆盖范围但不一定具有可靠深度。如果所有 Gaussians 都以相同权重参与定位不可靠的视觉 Gaussian 可能会破坏前端跟踪。四、关键帧插入与后端优化系统根据当前帧和上一关键帧之间的 Gaussian 共视程度选择关键帧。当共视程度低于阈值时当前帧被选为关键帧当前 LiDAR 点被转换为新的 Gaussians图像像素为 Gaussian 提供颜色新 Gaussians 被加入局部地图后端利用多个关键帧共同优化位姿和地图。后端采用两轮交替优化第一轮只优化滑动窗口中的关键帧位姿第二轮更新 Gaussian 的位置、颜色、尺度、不透明度和方向。Gaussian Map 可以分别渲染颜色图和深度图优化损失为光度损失主要约束 Gaussian 的颜色、透明度以及图像空间中的投影效果。几何损失它为 Gaussian Map 提供真实尺度和稀疏但准确的深度监督。法向尺度损失作者定义其中是 Gaussian 沿法向方向的方差。最小化这一项会让 Gaussian沿法向方向变薄沿切平面方向展开更接近物体表面而不是形成体积较大的椭球。这实际上是在将普通 3D Gaussian 转变为更接近 surfel 的表面 primitive。五、CGC把 LiDAR 几何传播到 LiDAR 看不到的区域LiDAR 和相机的视场通常并不完全一致。在相机可见、但 LiDAR 没有提供深度的区域仅依靠单目颜色损失很难确定准确几何Gaussian 容易出现沿相机射线漂移深度错误尺度异常漂浮点表面不连续。作者将地图中的 Gaussian 分成两类$X$主要通过颜色监督获得的 Gaussians$Y$具有 LiDAR 测量支撑的可靠 Gaussians。对于一个颜色监督 Gaussian $x$系统寻找最近的可靠 Gaussian $y$并假设其中表示从可靠 Gaussian $y$ 附近采样并分裂出的新 Gaussian 位置是可靠 Gaussian 的协方差。新 Gaussian 会继承邻近 LiDAR-Gaussian 的表面方向空间尺度局部几何分布。经过一轮后端优化后新 Gaussian 又会被认为是可靠 Gaussian并继续向外分裂和传播。其传播过程可以概括为LiDAR-supported Gaussian ↓ 按照其局部协方差进行 Gaussian splitting ↓ 生成新的视觉区域 Gaussian ↓ 图像与深度优化 ↓ 成为新的可靠 Gaussian ↓ 继续向周围传播CGC 的目标是将重建范围从扩展到也就是说LiDAR 不需要直接测到所有物体而是作为一组可靠的几何锚点引导 Gaussian 向相机可见区域传播。LiDAR 与 3DGS 到底是如何融合的LiV-GS 的融合并不只发生在一个位置而是贯穿整个 SLAM 流程。融合阶段LiDAR 的作用3DGS 的作用数据预处理提供稀疏准确深度建立统一的图像渲染空间Gaussian 初始化LiDAR 点作为可靠几何中心将点转换为可优化的 Gaussian primitive前端跟踪当前 LiDAR scan 提供位姿观测Gaussian Map 作为 frame-to-map 配准目标后端优化提供深度和表面几何监督利用颜色、深度和法向进行可微优化地图扩展提供可靠几何锚点通过 CGC 向 LiDAR 不可见区域传播最终输出保证尺度与空间结构提供照片级渲染和新视角合成因此LiV-GS 中 LiDAR 与视觉的职责可以概括为相机主要决定场景“看起来是什么样”LiDAR 主要决定物体“在哪里、表面朝向哪里”。而 3D Gaussian Map 则成为两种信息共同作用的统一载体。这也是论文最值得关注的地方LiDAR 不是在 Gaussian 优化之外独立运行而是直接在 Gaussian Map 上完成跟踪并持续影响 Gaussian Map 的生成和更新。实验结果数据集与设置论文主要使用 NTU4DRadLM 数据集包括Livox-Horizon LiDAR10 Hz单目相机分辨率为 $640\times480$4D 毫米波雷达。LiV-GS 本身没有使用 IMU。由于长距离室外场景难以保持光度一致性作者没有直接测试完整公里级轨迹而是将数据划分为六个约 220250 米的短序列。所有方法都在 NVIDIA RTX 4090 GPU 上运行。定位结果LiV-GS 在五个低速序列中取得了最低的 ATE。部分 ATE RMSE 结果如下序列LiV-GS ATE RMSEcp0.464 mgarden10.366 mgarden20.679 mnyl10.580 mnyl20.771 mloop20.843 m在高速 Loop2 序列中LiV-GS 的性能有所下降。作者认为主要原因是连续帧位移较大Gaussian Map 没有足够时间完成优化用于下一帧匹配的新 Gaussians 仍然较稀疏。值得注意的是论文正文称高速序列中 LiV-GS 略低于 NeRF-LOAM但表 II 中 LiV-GS 的 ATE 为 0.843 mNeRF-LOAM 为 1.785 m真正取得更低 ATE 的是 HDL graph SLAM其结果为 0.593 m。因此正文描述和表格数据并不完全一致。渲染结果论文使用 SSIM、PSNR 和 LPIPS 评价渲染质量。从论文第 6 页 Fig. 6 可以看到原始 3DGS 因缺少深度先验部分区域存在模糊和错误几何一些室内 RGB-D Gaussian SLAM 方法在室外稀疏深度条件下出现明显伪影或直接失败LiV-GS 对建筑轮廓、道路纹理、树木以及车辆反射的恢复相对清晰。不过论文没有明确说明所有评价图像是否与地图优化严格隔离因此这些指标更接近地图重建质量不一定完全等价于严格的新视角泛化能力。系统速度论文报告 LiV-GS 的平均处理速度为7.98FPS这接近数据集中 LiDAR 的 10 Hz 采样频率说明系统具有一定的在线运行潜力但严格来说还没有达到完整处理每个 10 Hz 输入帧的速度。跨模态毫米波雷达定位为了验证 Gaussian Map 是否真正具有可用于定位的几何结构作者进行了毫米波雷达重定位实验LiDAR Camera ↓ 构建 Gaussian Map ↓ 输入更加稀疏、噪声更大的毫米波雷达点云 ↓ 在 Gaussian Map 上进行定位论文第 7 页 Fig. 8 显示雷达重定位轨迹与参考轨迹较为接近。这个实验说明 Gaussian Map 不只是一个视觉渲染结果也可能用于跨模态定位全天候导航雷达—Gaussian 匹配下游语义定位。不过该实验只有轨迹可视化没有提供雷达定位 ATE、成功率或与传统点云地图的定量对比因此目前主要证明了可行性。闭环实验LiV-GS 在闭环序列上的性能明显下降。论文给出了两个原因系统没有闭环检测模块无法消除累计轨迹漂移系统没有使用球谐函数同一场景从不同视角观察时颜色不同可能在闭环处生成大量重叠 Gaussians。在闭环序列中LiV-GS 的渲染指标明显低于离线 3DGS这说明当前系统还不适合直接用于长期、反复访问的室外环境。论文的创新点1. 让 Gaussian Map 真正参与 SLAM 跟踪很多 LiDAR-assisted 3DGS 方法仍然使用独立的 LiDAR 点云地图估计位姿再将位姿提供给 Gaussian Map。LiV-GS 则直接执行这使 Gaussian Map 从一个后端渲染结果变成了真正参与状态估计的定位地图。这是论文最核心的系统创新。2. 用 Gaussian covariance 建立 LiDAR 与 3DGS 的几何接口LiDAR 局部点云和 Gaussian 都可以通过协方差描述局部表面方向法向切平面尺度各向异性。作者利用 Gaussian 最短轴表示法向使传统 point-to-plane 配准能够迁移到 Gaussian Map 上。3. 根据密度和法向一致性估计 Gaussian 可靠性LiV-GS 没有平等地信任所有 Gaussians而是利用降低稀疏、各向同性、主要由颜色监督产生的 Gaussian 对定位的影响。这使系统可以同时保留视觉 Gaussian 的高密度和颜色细节LiDAR Gaussian 的高几何可靠性。4. 使用 normal loss 构建表面化 Gaussian通过压缩 Gaussian 沿法向方向的尺度LiV-GS 使 Gaussian 更接近真实表面而不是只追求图像空间中的渲染正确。对于需要把 Gaussian Map 用作定位地图的系统这一点比单纯提高 PSNR 更重要。5. 使用 CGC 扩展 LiDAR 几何约束范围CGC 不是只在 LiDAR 实际测量到的像素上使用深度监督而是让可靠 Gaussian 的协方差和局部表面结构向外传播。因此它尝试解决相机视场大于 LiDAR 视场的问题使系统能够表示 LiDAR 没有直接覆盖的物体区域。存在的问题与不足1. 并不是真正的完整 Gaussian 分布配准论文强调离散点云与连续 Gaussian Map 的对齐但位姿误差仍然以最近 Gaussian 中心为对应目标。协方差主要用于提取 Gaussian 法向判断 Gaussian 各向异性计算可靠性权重。系统没有直接优化两个完整概率分布之间的 KL divergence、Wasserstein distance也没有最大化 LiDAR 点在 Gaussian Mixture 中的似然。因此更准确的描述是LiV-GS 实现了 Gaussian-aware point-to-plane ICP而不是完整概率意义上的 Gaussian registration。总结LiV-GS 最重要的贡献不是简单地给 3DGS 加入 LiDAR 深度监督而是改变了 Gaussian Map 在 SLAM 中的角色。传统 LiDAR-assisted 3DGS 通常是LiV-GS 则变成同一张 Gaussian Map 同时承担LiDAR 配准地图可微优化地图照片级渲染地图跨模态定位地图。其核心逻辑可以归纳为LiDAR 为 Gaussian 提供真实尺度、深度和表面方向相机为 Gaussian 提供稠密颜色和纹理而 Gaussian covariance 将两类信息统一为可用于定位和渲染的空间 primitive。从方法完整性看LiV-GS 仍然存在 CGC 定义不充分、缺少闭环、缺少 IMU、外观模型较弱和大规模实验有限等问题。但从研究方向看它证明了一件很有价值的事情3D Gaussian Map 不一定只是视觉渲染结果也可以成为机器人直接进行几何定位、地图更新和跨模态匹配的统一环境表示。这也是 LiV-GS 最值得后续工作继续推进的方向。关键词3D Gaussian Splatting3DGS SLAMLiDAR-Visual SLAM多传感器融合室外场景重建Gaussian Map新视角合成