图1Argus是一个前馈式三维重建网络基于自主构建的室内全景三维数据集Realsee3D进行训练。该网络能够利用获取的稀疏多视角全景图像快速重建出完整、一致且具有度量尺度的三维场景。目录摘要一、全景3D重建与数据集二、预备知识全景图几何分解三、方法架构与流程1. 参考帧选择Learning to Select Reference View2. 逆对数变换公式的含义3.损失函数实验标题Argus: Metric Panoramic 3D Reconstruction for Indoor ScenesRealsee, China 2 Quanzhou University of Information Engineering, China摘要针对全景数据的度量前馈三维重建方法由于缺乏大规模全景 RGBD 训练数据而尚未得到充分研究。我们提出了Realsee3D——一个包含1万个室内场景其中1千个为真实场景9千个为合成场景的混合数据集该数据集拥有29.9万个全景视点及精确的度量标注同时我们还开发了Argus——一个基于该数据集训练的前馈网络用于进行度量全景三维重建。在Realsee3D的稀疏无序捕获环境下选择不当的坐标锚点可能导致全局位姿漂移。Argus通过引入一个学习型共可见性模块来解决这一问题该模块能够选择几何上最优的参考视图作为度量世界坐标系的锚点。为进一步提升多任务学习效果我们将双向像素到世界坐标系的映射过程分解为多个可解释的子步骤每个子步骤均设有监督机制和跨坐标联合约束从而强化不同预测分支之间的几何一致性。在Realsee3D基准测试中Argus在相机位姿估计、深度估计和点云重建方面均取得了最先进的度量性能。一、全景3D重建与数据集前馈方法的快速发展表明高质量的三维数据集是稳健的前馈三维重建的基础。然而大多数大规模室内RGB-D数据集均基于透视投影[构建导致全景度量重建领域在专用训练数据和标准化基准方面存在关键空白。现有的全景三维数据集如Matterport3D和Stanford2D3D主要作为单目深度估计和语义分割等任务的评估基准但其规模有限且标注方案难以支持基于学习的多视图度量重建。因此全景单目深度估计方法通常需借助从基于大规模透视图像预训练的基础模型如DepthAnything V2进行迁移学习。为推进这一尚未充分探索的领域我们提出了Realsee3D——一个具备精确度量标注的大规模多视图全景RGB-D数据集可支持前馈全景重建模型的训练与评估并能灵活扩展至包括深度补全、新视角合成及具身智能在内的下游任务。二、预备知识全景图几何分解图3单视图的像素至世界坐标双向变换三、方法架构与流程图2Argus框架。首先通过Covisibility Transformer选择最优参考帧随后利用基于参考帧的Geometry Transformer对多视图几何特征进行聚合最后构建多个预测分支以生成中间几何分解表示从而支持多任务学习。网络流程模型基于 DINOv2 提取无序全景图特征依次通过 Covisibility TransformerL c 2 L_c2Lc2计算共视分数选出参考帧再通过 Geometry TransformerL g 24 L_g24Lg24回归相机位姿9维3D 平移、4D 四元数旋转、2个置信度分数及深度/点云图。激活函数约束深度头采用exp ( ⋅ ) \exp(\cdot)exp(⋅)保证正性点云图头采用逆对数变换f ( x ) sign ( x ) ⋅ ( exp ( ∣ x ∣ ) − 1 ) f(x) \text{sign}(x) \cdot (\exp(\vert{}x\vert{}) - 1)f(x)sign(x)⋅(exp(∣x∣)−1)处理宽动态范围的 3D 坐标所有置信度值均通过1 exp ( ⋅ ) 1 \exp(\cdot)1exp(⋅)激活以保证下界为 1。参考帧选择(Learning to Select Reference View)通过预计算图像对的共视分数构建全局共视矩阵利用 Dijkstra 算法选择最优参考视图。采用二元交叉熵BCE损失进行监督。1. 参考帧选择Learning to Select Reference View在多视角全景图三维重建任务中选择一个合适的主参照帧Reference Frame对于整个几何对齐和位姿估计至关重要。全局共视矩阵建立Global Covisibility Matrix Construction通过网络计算所有全景图对之间的局部共视得分Covisibility Score构建出一个N × N N \times NN×N的全局共视矩阵M \mathbf{M}M。矩阵中的元素M i , j \mathbf{M}_{i, j}Mi,j代表图像I i I_iIi和I j I_jIj之间的空间重叠与共视程度。图路径优化Dijkstra’s Algorithm Route Optimization为了找到全局最优的中心参考帧模型将全局共视矩阵转换为图结构节点为视角边权为共视程度的倒数或距离。应用 Dijkstra 算法 计算每个节点到其他所有节点的最佳路径与可达性选择能够使整个数据集/场景全局共视关系最强、连接最紧密Max Global Covisibility的图像I \mathcal{I}I作为最优参考帧I ^ \hat{\mathcal{I}}I^。交叉熵监督训练BCE Supervised Training在训练阶段模型将预测的共视 LogitsC ^ ∈ R N \hat{\mathbf{C}} \in \mathbb{R}^NC^∈RN与由真实位姿和深度算出的 One-hot 独热标签C ∈ R N \mathbf{C} \in \mathbb{R}^NC∈RN进行对比采用二元交叉熵损失监督。推理阶段的置换等价性Permutation Equivalence in Inference在推理时直接通过argmax \text{argmax}argmax操作挑选出共视得分最高的视图作为参考帧I ^ \hat{\mathcal{I}}I^。由于argmax \text{argmax}argmax具有置换等价性参考帧的选择完全独立于输入的顺序。2. 逆对数变换公式的含义3D 点云图头部Point Map Head使用的逆对数变换公式为 (x xx表示网络直接回归输出的原始数值f ( x ) f(x)f(x)为映射后得到的真实 3D 空间坐标值)f ( x ) sign ( x ) ⋅ ( exp ( ∣ x ∣ ) − 1 ) f(x) \text{sign}(x) \cdot (\exp(\vert{}x\vert{}) - 1)f(x)sign(x)⋅(exp(∣x∣)−1)解决大动态范围问题Handling Wide Dynamic Range室内及全景场景中的 3D 坐标数值跨度极大从零点几米到数十米不等。通过指数函数exp ( ∣ x ∣ ) \exp(\vert{}x\vert{})exp(∣x∣)神经网络内部预测较小的数值区间x xx经过指数拉伸后可以无缝覆盖并拟合极大的真实三维空间物理坐标。保证原点连续性与零点映射Zero-Preserving Continuity减去1 11即exp ( ∣ x ∣ ) − 1 \exp(\vert{}x\vert{}) - 1exp(∣x∣)−1是为了保证当网络输出x 0 x0x0时映射后的 3D 坐标f ( 0 ) exp ( 0 ) − 1 0 f(0) \exp(0) - 1 0f(0)exp(0)−10避免了原点偏移。保持对称性与符号不变Sign Preservation由于 3D 坐标系X , Y , Z X, Y, ZX,Y,Z包含正负方向引入符号函数sign ( x ) \text{sign}(x)sign(x)和绝对值∣ x ∣ \vert{}x\vert{}∣x∣可以确保变换关于原点奇对称正坐标保持正数拉伸负坐标保持负数拉伸且正负方向的数值缩放尺度完全一致。3.损失函数实验实验细节。使用AdamW优化器对训练损失进行优化共进行了99K次迭代来训练Argus模型。我们采用余弦学习率调度器其峰值学习率为5e−5预热阶段为9.9K次迭代。对于每个批次数据从随机训练场景中随机抽取2至28个视图。由于各场景内视图间的共可见性邻接矩阵已预先计算完成我们确保在训练过程中所抽取的视图之间存在连通性。此外我们将真实数据集和合成数据集均按9:1的场景级比例随机划分为训练集和测试集。鉴于ERP全景图像的像素分布不均匀极点区域的像素利用率极低。我们首先将全景图像、深度图及点云地图调整至560×280分辨率随后分别裁剪顶部与底部各15%的像素最终获得560×196的分辨率。我们还对视图施加了随机色彩抖动、高斯模糊及灰度增强等数据增强操作。此外对每个全景视点的输入数据施加绕Y轴的随机旋转这可对应于ERP图像中的水平像素偏移从而增强视点航向角的多样性。我们设定α0.2作为所有置信度损失项中正则化项的权重系数。整个训练过程在配备141GB显存的24块H20 GPU上运行耗时36小时。为确保训练稳定性我们采用了阈值为1.0的梯度范数截断技术并利用bfloat16精度及梯度检查点机制以提升GPU内存利用率与计算效率。所有评估任务均在单块H20 GPU上完成。#pic_center 70%x80%d \sqrt{d}d1 8 \frac {1}{8}81x ˉ \bar{x}xˉD ^ \hat{D}D^I ~ \tilde{I}I~ϵ \epsilonϵϕ \phiϕ∏ \prod∏a b c \sqrt{abc}abc∑ a b c \sum{abc}∑abc/ $$E \mathcal{E}E 【前馈三维重建】Argus：室内场景的可度量全景三维重建
图1Argus是一个前馈式三维重建网络基于自主构建的室内全景三维数据集Realsee3D进行训练。该网络能够利用获取的稀疏多视角全景图像快速重建出完整、一致且具有度量尺度的三维场景。目录摘要一、全景3D重建与数据集二、预备知识全景图几何分解三、方法架构与流程1. 参考帧选择Learning to Select Reference View2. 逆对数变换公式的含义3.损失函数实验标题Argus: Metric Panoramic 3D Reconstruction for Indoor ScenesRealsee, China 2 Quanzhou University of Information Engineering, China摘要针对全景数据的度量前馈三维重建方法由于缺乏大规模全景 RGBD 训练数据而尚未得到充分研究。我们提出了Realsee3D——一个包含1万个室内场景其中1千个为真实场景9千个为合成场景的混合数据集该数据集拥有29.9万个全景视点及精确的度量标注同时我们还开发了Argus——一个基于该数据集训练的前馈网络用于进行度量全景三维重建。在Realsee3D的稀疏无序捕获环境下选择不当的坐标锚点可能导致全局位姿漂移。Argus通过引入一个学习型共可见性模块来解决这一问题该模块能够选择几何上最优的参考视图作为度量世界坐标系的锚点。为进一步提升多任务学习效果我们将双向像素到世界坐标系的映射过程分解为多个可解释的子步骤每个子步骤均设有监督机制和跨坐标联合约束从而强化不同预测分支之间的几何一致性。在Realsee3D基准测试中Argus在相机位姿估计、深度估计和点云重建方面均取得了最先进的度量性能。一、全景3D重建与数据集前馈方法的快速发展表明高质量的三维数据集是稳健的前馈三维重建的基础。然而大多数大规模室内RGB-D数据集均基于透视投影[构建导致全景度量重建领域在专用训练数据和标准化基准方面存在关键空白。现有的全景三维数据集如Matterport3D和Stanford2D3D主要作为单目深度估计和语义分割等任务的评估基准但其规模有限且标注方案难以支持基于学习的多视图度量重建。因此全景单目深度估计方法通常需借助从基于大规模透视图像预训练的基础模型如DepthAnything V2进行迁移学习。为推进这一尚未充分探索的领域我们提出了Realsee3D——一个具备精确度量标注的大规模多视图全景RGB-D数据集可支持前馈全景重建模型的训练与评估并能灵活扩展至包括深度补全、新视角合成及具身智能在内的下游任务。二、预备知识全景图几何分解图3单视图的像素至世界坐标双向变换三、方法架构与流程图2Argus框架。首先通过Covisibility Transformer选择最优参考帧随后利用基于参考帧的Geometry Transformer对多视图几何特征进行聚合最后构建多个预测分支以生成中间几何分解表示从而支持多任务学习。网络流程模型基于 DINOv2 提取无序全景图特征依次通过 Covisibility TransformerL c 2 L_c2Lc2计算共视分数选出参考帧再通过 Geometry TransformerL g 24 L_g24Lg24回归相机位姿9维3D 平移、4D 四元数旋转、2个置信度分数及深度/点云图。激活函数约束深度头采用exp ( ⋅ ) \exp(\cdot)exp(⋅)保证正性点云图头采用逆对数变换f ( x ) sign ( x ) ⋅ ( exp ( ∣ x ∣ ) − 1 ) f(x) \text{sign}(x) \cdot (\exp(\vert{}x\vert{}) - 1)f(x)sign(x)⋅(exp(∣x∣)−1)处理宽动态范围的 3D 坐标所有置信度值均通过1 exp ( ⋅ ) 1 \exp(\cdot)1exp(⋅)激活以保证下界为 1。参考帧选择(Learning to Select Reference View)通过预计算图像对的共视分数构建全局共视矩阵利用 Dijkstra 算法选择最优参考视图。采用二元交叉熵BCE损失进行监督。1. 参考帧选择Learning to Select Reference View在多视角全景图三维重建任务中选择一个合适的主参照帧Reference Frame对于整个几何对齐和位姿估计至关重要。全局共视矩阵建立Global Covisibility Matrix Construction通过网络计算所有全景图对之间的局部共视得分Covisibility Score构建出一个N × N N \times NN×N的全局共视矩阵M \mathbf{M}M。矩阵中的元素M i , j \mathbf{M}_{i, j}Mi,j代表图像I i I_iIi和I j I_jIj之间的空间重叠与共视程度。图路径优化Dijkstra’s Algorithm Route Optimization为了找到全局最优的中心参考帧模型将全局共视矩阵转换为图结构节点为视角边权为共视程度的倒数或距离。应用 Dijkstra 算法 计算每个节点到其他所有节点的最佳路径与可达性选择能够使整个数据集/场景全局共视关系最强、连接最紧密Max Global Covisibility的图像I \mathcal{I}I作为最优参考帧I ^ \hat{\mathcal{I}}I^。交叉熵监督训练BCE Supervised Training在训练阶段模型将预测的共视 LogitsC ^ ∈ R N \hat{\mathbf{C}} \in \mathbb{R}^NC^∈RN与由真实位姿和深度算出的 One-hot 独热标签C ∈ R N \mathbf{C} \in \mathbb{R}^NC∈RN进行对比采用二元交叉熵损失监督。推理阶段的置换等价性Permutation Equivalence in Inference在推理时直接通过argmax \text{argmax}argmax操作挑选出共视得分最高的视图作为参考帧I ^ \hat{\mathcal{I}}I^。由于argmax \text{argmax}argmax具有置换等价性参考帧的选择完全独立于输入的顺序。2. 逆对数变换公式的含义3D 点云图头部Point Map Head使用的逆对数变换公式为 (x xx表示网络直接回归输出的原始数值f ( x ) f(x)f(x)为映射后得到的真实 3D 空间坐标值)f ( x ) sign ( x ) ⋅ ( exp ( ∣ x ∣ ) − 1 ) f(x) \text{sign}(x) \cdot (\exp(\vert{}x\vert{}) - 1)f(x)sign(x)⋅(exp(∣x∣)−1)解决大动态范围问题Handling Wide Dynamic Range室内及全景场景中的 3D 坐标数值跨度极大从零点几米到数十米不等。通过指数函数exp ( ∣ x ∣ ) \exp(\vert{}x\vert{})exp(∣x∣)神经网络内部预测较小的数值区间x xx经过指数拉伸后可以无缝覆盖并拟合极大的真实三维空间物理坐标。保证原点连续性与零点映射Zero-Preserving Continuity减去1 11即exp ( ∣ x ∣ ) − 1 \exp(\vert{}x\vert{}) - 1exp(∣x∣)−1是为了保证当网络输出x 0 x0x0时映射后的 3D 坐标f ( 0 ) exp ( 0 ) − 1 0 f(0) \exp(0) - 1 0f(0)exp(0)−10避免了原点偏移。保持对称性与符号不变Sign Preservation由于 3D 坐标系X , Y , Z X, Y, ZX,Y,Z包含正负方向引入符号函数sign ( x ) \text{sign}(x)sign(x)和绝对值∣ x ∣ \vert{}x\vert{}∣x∣可以确保变换关于原点奇对称正坐标保持正数拉伸负坐标保持负数拉伸且正负方向的数值缩放尺度完全一致。3.损失函数实验实验细节。使用AdamW优化器对训练损失进行优化共进行了99K次迭代来训练Argus模型。我们采用余弦学习率调度器其峰值学习率为5e−5预热阶段为9.9K次迭代。对于每个批次数据从随机训练场景中随机抽取2至28个视图。由于各场景内视图间的共可见性邻接矩阵已预先计算完成我们确保在训练过程中所抽取的视图之间存在连通性。此外我们将真实数据集和合成数据集均按9:1的场景级比例随机划分为训练集和测试集。鉴于ERP全景图像的像素分布不均匀极点区域的像素利用率极低。我们首先将全景图像、深度图及点云地图调整至560×280分辨率随后分别裁剪顶部与底部各15%的像素最终获得560×196的分辨率。我们还对视图施加了随机色彩抖动、高斯模糊及灰度增强等数据增强操作。此外对每个全景视点的输入数据施加绕Y轴的随机旋转这可对应于ERP图像中的水平像素偏移从而增强视点航向角的多样性。我们设定α0.2作为所有置信度损失项中正则化项的权重系数。整个训练过程在配备141GB显存的24块H20 GPU上运行耗时36小时。为确保训练稳定性我们采用了阈值为1.0的梯度范数截断技术并利用bfloat16精度及梯度检查点机制以提升GPU内存利用率与计算效率。所有评估任务均在单块H20 GPU上完成。#pic_center 70%x80%d \sqrt{d}d1 8 \frac {1}{8}81x ˉ \bar{x}xˉD ^ \hat{D}D^I ~ \tilde{I}I~ϵ \epsilonϵϕ \phiϕ∏ \prod∏a b c \sqrt{abc}abc∑ a b c \sum{abc}∑abc/ $$E \mathcal{E}E