# Metric3D：基于单张图像实现零样本度量级3D预测尹伟$^{1*}$、张驰$^{2*}$、陈浩$^{3\dagger}$、蔡志鹏$^{4}$、于刚$^{2}$、王凯旋$^{1}$、陈晓智$^{1}$、沈春华$^{3}$ $^{1}$大疆创新$^{2}$腾讯$^{3}$浙江大学$^{4}$英特尔实验室电子邮箱：${}^{1}${yvan.yin, halfbullet.wang, xiaozhi.chen}@dji.com; $^{2}${johnczhang, skicyyu}@tencent.com; $^{3}$, ; $^{4}$ ![Image](images/e3529b10103c316b8b8ff005fa012bee47a891a3b5c41aa3601ccecfd43c787a.jpg)

Figure 1 – Illustration and applications of our metric 3D reconstruction method. Top (metrology): we use two phones (iPhone 12 and an Android phone) to capture the scene and measure the size of tables. With the photos’ metadata, we perform 3D metric reconstruction and then measure tables’ sizes (marked in red), which are very close to the ground truth (marked in blue). In contrast, the recent method LeReS [^69] performs much worse and is unable to predict metric 3D by design. Bottom (dense SLAM mapping): existing SOTA mono-SLAM methods usually face scale drift problems (see the red arrows) in large-scale scenes and are unable to achieve the metric scale, while, naively inputting our metric depth, Droid-SLAM [^52] can recover much more accurate trajectory and perform the metric dense mapping (see the red measurements). Note that all testing data are unseen to our model.

## 摘要从图像中重建精确的3D场景是一项由来已久的视觉任务。由于单图像重建问题本身存在不适定性，大多数成熟的方法都建立在多视图几何的基础上。当前最先进的单目度量级深度估计方法仅能适配单一相机模型，且由于度量歧义的存在，无法进行混合数据训练。与此同时，在大规模混合数据集上训练的最先进单目方法虽然能通过学习仿射不变深度来实现零样本泛化，但这类方法无法恢复真实世界的度量信息。在本研究中，我们指出实现零样本单视图度量级深度模型的关键在于结合大规模数据训练与解决不同相机模型带来的度量歧义问题。我们提出了一种规范相机空间变换模块，该模块能够明确解决上述歧义问题，且可轻松嵌入到现有的单目模型中。借助该模块，单目模型能够在包含数千种相机模型的800万张图像上进行稳定训练，从而实现对未见过的相机设置下的自然图像的零样本泛化。 --- 大规模数据训练以及解决不同相机模型带来的度量歧义问题。我们提出了一种规范相机空间变换模块，该模块能够明确解决这些歧义问题，并且可以轻松集成到现有的单目模型中。借助该模块，单目模型便能在包含数千种相机型号的800万张图像上进行稳定训练，从而实现对具有未知相机设置的真实场景图像的零样本泛化。实验表明，我们的方法在7个零样本基准测试中均取得了最先进的性能。值得注意的是，我们的方法在第二届单目深度估计挑战赛中夺得了冠军。该方法能够在随机采集的互联网图像上准确恢复出度量三维结构，为可靠的单图像测量技术铺平了道路。其潜在益处还延伸至下游任务，只需接入我们的模型就能显著提升这些任务的性能。例如，我们的模型解决了单目SLAM中的尺度漂移问题（见图1），进而生成高质量的度量尺度密集地图。代码可在获取。 ### 1. 引言基于图像的3D重建是许多计算机视觉应用的核心，比如自动驾驶和机器人技术。主流方法利用多视图几何[^21]来可靠地恢复3D结构。然而，这些方法无法应用于单张图像，因此在没有先验知识的情况下难以实现3D重建。MiDaS [^40]、LeReS [^69]和HDN [^73]等最先进的可迁移方法虽然能从大型数据集中学习此类先验，但它们只能输出仿射不变的深度信息，也就是说，这些深度值仅在未知的偏移量和缩放比例范围内才是准确的。尽管单目度量级深度估计方法[^71] [^4]能在采用单一相机模型的单个数据集上发挥作用，但它们无法泛化到未见过的相机或场景。本研究旨在通过学习零样本、单视图、度量级深度模型来解决上述问题。根据预测深度的不同，现有方法可分为学习度量深度的方法[^71] [^64] [^4] [^63]、学习相对深度的方法[^57] [^58] [^8] [^7]，以及学习仿射不变深度的方法[^69] [^68] [^40] [^39] [^73]。尽管度量深度方法[^71] [^64] [^66] [^4] [^63]在各种基准测试中取得了令人瞩目的精度，但它们必须在相机内参相同的数据集上进行训练和测试。因此，度量深度方法的训练数据集往往规模较小，因为很难用同一台相机收集涵盖多种场景的大规模数据集。其结果是，所有这些模型都缺乏可迁移性——它们对真实场景图像的泛化能力较差，更不用说测试图像的相机参数还可能存在差异。一种折中方案是学习相对深度[^8] [^57]，它仅表示某一点相对于另一点的远近关系。但相对深度的应用场景十分有限。学习仿射不变深度的方法则在这两类方法之间找到了平衡：借助大规模数据，它们在训练过程中分离出度量信息，从而具备出色的鲁棒性和泛化能力。最新的前沿技术LeReS[^69]能够还原真实场景中的3D结构，但仅能恢复到未知的比例和位移水平。本研究致力于学习一种零样本可迁移模型，以便从单张图像中恢复度量级3D信息。首先，我们分析了单目深度估计中的度量歧义问题，并研究了深度相关的不同相机参数，包括像素尺寸、焦距和传感器尺寸。我们发现焦距是实现精确度量恢复的关键因素。LeReS [^69]在训练过程中并未考虑焦距信息。如第3.1节所示，仅凭图像外观，不同的焦距就可能导致度量歧义，因此它们在训练中解耦了深度尺度。为解决焦距变化的问题，CamConv [^15]在网络中编码了相机模型，从而迫使网络从图像外观中隐式理解相机模型，进而将成像尺寸映射到真实世界尺寸。然而，训练数据中包含的图像和相机类型有限，这给数据多样性和网络容量带来了挑战。相比之下，我们提出了一种训练中的规范相机变换方法。该方法受到人体重建方法的启发：为了提高无数姿态下的重建形状质量，它们将所有样本映射到规范姿态空间 [^37]以减少姿态差异。类似地，我们将所有训练数据转换到规范相机空间，使得处理后的图像可粗略视为由同一台相机拍摄所得。为实现这种变换，我们提出了两种不同的方法：第一种尝试调整图像外观以模拟规范相机；另一种则对用于监督的真值标签进行变换。由于网络中并未编码相机模型，我们的方法能够轻松应用于现有架构。推理阶段则采用逆规范变换来恢复度量信息。为了进一步提升深度精度，我们提出了随机提议归一化损失。该损失受到尺度平移不变损失的启发 [^69] [^40] [^73]，后者通过解耦深度尺度来突出单张图像的分布特征。不过，这类损失作用于整张图像，难免会压缩细微的深度差异。我们提出从图像中随机裁剪若干块区域，并对它们施加尺度平移不变损失 [^69] [^40]。我们的损失函数着重于单张图像的局部几何结构与分布特征。借助所提出的方法，我们能够轻松地将模型训练规模扩展至来自11个数据集的800万张图像，这些数据集涵盖了多种场景类型（室内和室外）以及成千上万种不同类型的相机，从而实现零样本可迁移性并显著提升精度。 --- 我们的模型能够从互联网上随机采集的图像中准确重建度量级3D信息，实现可靠的单图像度量分析。与仿射不变深度模型不同，我们的模型还能直接优化各类下游任务。例如（见图1），利用模型预测出的度量深度，我们能够显著减少单目SLAM [^52] [^51]系统的尺度漂移现象，从而在实现真实世界度量恢复的同时获得更优质的地图构建效果。我们的模型还支持大规模3D重建 [^23]。该模型在第二届单目深度估计挑战赛中荣获冠军 [^50]。总而言之，我们的主要贡献如下： - 我们提出了规范及逆规范相机变换方法，以解决不同相机设置带来的度量深度歧义问题。该方法使得从大规模数据集中学习强大的零样本单目度量深度模型成为可能。 • 我们提出了一种随机提案归一化损失函数，以有效提升深度精度； • 我们的模型在7个零样本基准测试中取得了最先进的性能。它能够在复杂环境中实现高质量的3D度量结构恢复，并助力多项下游任务，例如单目SLAM [^52] [^35]、3D场景重建 [^23] 以及计量学 [^75]。 ### 2. 相关工作基于单张图像的3D重建。从单张图像中重建各类物体已有大量研究 [^1] [^54] [^56]。这些方法能够生成汽车、飞机、桌子和人体的高质量3D模型 [^41] [^42]。主要挑战在于如何最佳地还原物体细节、如何用有限的内存表示它们，以及如何推广到更多样化的物体。然而，所有这些方法都依赖于针对特定物体类别或实例学习先验知识，通常需借助3D监督数据，因此无法用于完整场景的重建。除了这些物体重建研究外，也有若干工作专注于基于单张图像的场景重建 [^61]。Saxena等人 [^43] 基于整个场景可分割为多个小平面的假设来构建场景；通过确定平面的方向和位置，即可表示3D结构。最近，LeReS [^69] 提出利用强大的单目深度估计模型来进行场景重建，但该方法只能恢复一定比例的形状。Zhang等人 [^74] 近期提出了一种零样本保几何深度估计模型，无需尺度不变的深度标注即可进行训练，还能输出未知尺度的深度预测结果。与这些工作不同，我们的方法能够恢复度量级的3D结构。有监督的单目深度估计。随着多个基准测试 [^47] [^17] 的建立，基于神经网络的方法 [^71] [^66] [^4] 自此占据主导地位。一些方法通过整合图像中的信息来回归连续深度值 [^14]。由于不同RGB对应的深度分布差异较大，部分方法 [^66] [^4] 会将深度离散化，并将该问题转化为分类问题 [^64]，往往能取得更好的性能。深度模型在3D度量恢复方面的泛化问题涉及两个方面：一是对不同场景的泛化能力，二是如何在各种相机设置下预测准确的度量信息。第一个问题已被近期的研究较好地解决。一些工作 [^58] [^57] [^64] 构建了大规模的相对深度数据集，如DIW [^7] 和OASIS [^8]，旨在学习其中的相对关系。不过，相对深度会丢失几何结构信息。为了提升恢复后的几何质量，人们提出了学习仿射不变深度的方法，例如MiDaS [^40]、LeReS [^69] 和HDN [^73]。通过混合大规模数据，模型的顶尖性能和场景泛化能力得以持续提升。需要注意的是，从设计上讲，这些方法无法恢复度量信息。如何实现在多样化场景下既具备强泛化能力又能提供准确度量信息，正是我们试图解决的关键问题。大规模数据训练。近年来，借助大规模数据训练，各类自然语言问题和计算机视觉问题[^65] [^38] [^29]取得了令人瞩目的进展。CLIP[^38]是一种极具潜力的分类模型，它基于数十亿对图像与语言描述数据训练而成。通过零样本测试，它在多个分类基准测试中均取得了顶尖的性能表现。在深度预测领域，大规模数据训练也得到了广泛应用。Ranft等人[^40]在训练中使用了超过200万条数据，LeReS[^68]收集了超过30万条数据，Eftekhar等人[^13]同样整合了数百万条数据来构建强大的深度预测模型。 ### 3. 方法预备知识。我们考虑针孔相机模型，其内参为：$[[\hat{f}/\delta,0,u_0],[0,\hat{f}/\delta,v_0],[0,0,1]],$，其中$\hat{f}$是焦距（单位为微米），$\delta$是像素尺寸（单位为微米），$(u_0,v_0)$是主点坐标。$f=\hat{f}/\delta$是视觉算法中使用的以像素为单位的焦距。 #### 3.1. 度量歧义性分析图3展示了由不同相机在不同距离拍摄的示例。仅从图像外观来看，人们可能会认为最后两张照片是由同一台相机在相似位置拍摄的。实际上，由于焦距不同，它们是在不同位置拍摄的。因此，对于从单张图像中进行度量估计而言，相机内参至关重要，否则， --- ![Image](images/cf3c99721519e9117870cb892aec4bda960fa19e7b9b8662d4686336fee66930.jpg)

Figure 2 – Pipeline. Given an input image I, we first transform it to the canonical space using CSTM. The transformed image $I_c$ is fed into a standard depth estimation model to produce the predicted metric depth $D_c$ in the canonical space. During training, $D_c$ is supervised by a GT depth $D_c^*$ which is also transformed into the canonical space. In inference, after producing the metric depth $D_c$ in the canonical space, we perform a de-canonical transformation to convert it back to the space of the original input I. The canonical space transformation and de-canonical transformation are executed using camera intrinsics.

![Image](images/0c9900017464c16f69f895bb7472adc667f57e790c125cd3b7ee9b927537596c.jpg)

focal=26 mm, depth=2 m focal=52 mm, depth=2 m focal=26 mm, depth=1 m

Figure 3 – Photos of a chair captured at different distances with different cameras. The first two photos are captured at the same distance but with different cameras, while the last one is taken at a closer distance with the same camera as the first one.

该问题就无解了。为避免此类度量歧义，近期的方法如MiDaS[^40]和LeReS[^69]，会将度量信息与监督信号解耦，转而学习仿射不变深度。图4（A）展示了一个简单的针孔透视投影示意图。位于$d_{a}$处的物体A被投影到$A'$处。根据相似性原理，可得到如下等式： $$ d_{a}=\hat{S}\Bigl[\frac{\hat{f}}{\hat{S}^{\prime}}\Bigr]=\hat{S}\cdot\alpha $$ 其中$\hat{S}$和$\hat{S}'$分别为物体的实际尺寸和成像尺寸。$\hat{}$表示相关变量采用物理度量单位（如毫米）。要从单张图像中恢复出$d_a$，必须已知焦距、物体的成像尺寸以及现实世界中的物体尺寸。从单张图像中估算焦距是一项极具挑战性且无解的问题。尽管已有几种方法[^69] [^22]对此进行了探索，但精度仍远未达到理想水平。在此，我们通过假设训练/测试图像的焦距已知来简化问题。相比之下，神经网络更容易理解成像尺寸。要获取现实世界中的物体尺寸，神经网络需要理解语义场景布局及物体，而这正是神经网络的优势所在。我们定义$\alpha = \hat{f}/\hat{S}'$，因此$d_a$与$\alpha$成正比。关于传感器尺寸、像素尺寸和焦距，我们有以下观察结果。 O1：传感器尺寸和像素大小不会影响度量深度估计。根据透视投影原理（图4(A)），传感器尺寸仅影响视场角（FOV），与$\alpha$无关，因此不会影响度量深度估计。对于像素大小，我们假设两台像素大小不同（$\delta_1 = 2\delta_2$）但焦距$\tilde{f}$相同的相机来拍摄位于$d_a$处的同一物体。图4(B)展示了它们拍摄的照片。根据基本原理，像素表示的焦距为$f_1 = \frac{1}{2}f_2$。由于第二台相机的像素更小，尽管投影成像尺寸相同（$\tilde{S}'$），但像素表示的图像分辨率却为$S'_1 = \frac{1}{2}S'_2$。根据公式(1)，可得$\frac{\tilde{f}}{\delta_1 \cdot S'_1} = \frac{\tilde{f}}{\delta_2 \cdot S'_2}$，即$\alpha_1 = \alpha_2$，因此$d_1 = d_2$。所以，不同的相机传感器不会影响度量深度估计。 O2：焦距对度量深度估计至关重要。图3展示了由未知焦距引起的度量歧义问题。图5对此进行了说明。如果两台相机（$\hat{f}_1 = 2\hat{f}_2$）相距$d_1 = 2d_2$，它们在相机上形成的成像尺寸是相同的。因此，仅从外观上看，当用不同标签进行监督时，网络会产生混淆。基于这一观察，我们提出了一种规范相机变换方法来解决监督信号与图像外观之间的冲突。 ![Image](images/82753d6640ef1f139279b8fa6381607a3ebd57a15ed90f83d8b376941a7a5c88.jpg) ![Image](images/51fc855fdad1d201f6c53bc6a7c21bea7a0fad5a47ce578698ddde75f7d8f804.jpg)

(B)

Figure 4 – Pinhole camera model. (A) Object A at the distance $d_{a}$ is projected to the image plane. (B) Using two cameras to capture the car. The left one has a larger pixel size. Although the projected imaging sizes are the same, the pixel-represented images (resolution) are different.

![Image](images/37b0f769c2ab787ecb549a95a6c61bb8d8dc9e99d27bcad036f112326aa82bd8.jpg)

Figure 5 – Illustration of two cameras with different focal length at different distance. As $f_1 = 2f_2$ and $d_1 = 2d_2$, A is projected to two image planes with the same imaging size (i.e. $A'_1 = A'_2$).

--- #### 3.2. 规范相机变换核心思想是在实验中建立一个规范相机空间（$((f_x^c, f_y^c), f_x^c = f_y^c = f^c$），并将所有训练数据转换到该空间。这样一来，所有数据就可以大致视为由规范相机拍摄的。我们提出了两种变换方法：要么变换输入图像（$(\mathbf{I} \in \mathbb{R}^{H \times W \times 3})$），要么变换真实标签（GT）（$(\mathbf{D} \in \mathbb{R}^{H \times W})$）。原始的相机内参为$\{f, u_0, v_0\}$。方法1：变换深度标签（CSTM_label）。图3中的歧义源于深度信息。因此我们的第一种方法直接变换真实深度标签来解决这一问题。具体来说，在训练过程中，我们以比例$\omega_d = \frac{f^c}{f}$缩放真实深度（D*），即$\mathbf{D}_c^* = \omega_d \mathbf{D}^*$。原始的相机模型被转换为$\{f^c, u_0, v_0\}$。在推理阶段，预测得到的深度（$\mathbf{D}_c$）处于规范空间中，需要进行逆规范变换以恢复度量信息，即$\mathbf{D} = \frac{1}{\omega_d} \mathbf{D}_c$。注意，输入图像$\mathbf{I}$并未进行任何变换，即$\mathbf{I}_c = \mathbf{I}$。方法2：变换输入图像（CSTM.image）。从另一个角度看，这种歧义是由相似的图像外观引起的。因此该方法通过变换输入图像来模拟规范相机的成像效果。具体来说，图像$\mathbf{I}$按比例$\omega_r = \frac{f^c}{f}$进行缩放，即$\mathbf{I}_c = \mathcal{T}(\mathbf{I}, \omega_r)$，其中$\mathcal{T}(\cdot)$表示图像缩放操作。光学中心也会随之缩放，因此规范相机模型为$\{f^c, \omega_r u_0, \omega_r v_0\}$。真实标签则不进行任何缩放，即$\mathbf{D}_c^* = \mathcal{T}(\mathbf{D}^*, \omega_r)$。在推理阶段，逆规范变换是将预测结果缩放回原始尺寸，而不进行缩放操作，即$\mathbf{D} = \mathcal{T}(\mathbf{D}_c, \frac{1}{\omega_r})$。图2展示了整个流程。无论采用哪种变换方式，我们都会随机裁剪一块区域用于训练。裁剪操作仅会调整视场角和光学中心，因此不会引发任何度量歧义问题。在标签变换方法中，相关参数为$\omega_r = 1$和$\omega_d = \frac{f^c}{f}$；而在图像变换方法中则为$\omega_d = 1$和$\omega_r = \frac{f^c}{f}$。训练目标如下： $$ \min_{\boldsymbol{\theta}}\left|\mathcal{N}_{d}(\mathbf{I}_{c},\boldsymbol{\theta})-\mathbf{D}_{c}^{*}\right| $$ 其中 $\theta$ 是网络的 $(\mathcal{N}_d(\cdot))$ 参数，$\mathbf{D}_c^*$ 和 $\mathbf{I}_c$ 分别是经过变换的真实深度标签和图像。混合数据训练是提升模型泛化能力的有效方式。我们收集了11个数据集用于训练，详情请参阅补充材料。这些混合数据中包含了超过1万台不同相机拍摄的数据。所有收集到的训练数据均包含成对的相机内参，这些参数会被用于我们的规范变换模块中。监督机制。为了进一步提升性能，我们提出了随机提议归一化损失（RPNL）。尺度平移不变损失 [^40] [^69] 在仿射不变深度估计中被广泛应用，它能够将深度尺度解耦以突出单张图像的深度分布特征。然而，基于整幅图像的这种归一化方式不可避免地会压缩细粒度的深度差异，尤其是在近距离区域。受此启发，我们提出从真实深度 $p_{i(i=0,\ldots,M)} \in \mathbb{R}^{h_i \times w_i}$ 和预测深度 $\mathbf{D}_c^*$ 中随机裁剪若干块区域（$\mathbf{D}_c$）。随后，我们对成对的区域采用中位数绝对偏差归一化 [^48]。通过归一化局部统计特征，我们能够增强局部对比度。损失函数如下： $$ \begin{aligned}L_{\mathrm{RPNL}}=\frac{1}{MN}\sum_{p_{i}}^{M}\sum_{j}^{N}|\frac{d_{p_{i},j}^{*}-\mu(d_{p_{i},j}^{*})}{\frac{1}{N}\sum_{j}^{N}\left|d_{p_{i},j}^{*}-\mu(d_{p_{i},j}^{*})\right|}-\\\frac{d_{p_{i},j}-\mu(d_{p_{i},j})}{\frac{1}{N}\sum_{j}^{N}\left|d_{p_{i},j}-\mu(d_{p_{i},j})\right|}|\end{aligned} $$ 其中 $d^* \in \mathbf{D}_c^*$ 和 $d \in \mathbf{D}_c$ 分别为真实深度和预测深度，$\mu(\cdot)$ 是深度的中位数。M表示提议裁剪的数量，设定为32。训练过程中，提议区域会从图像中随机裁剪，其大小范围为原图尺寸的0.125到0.5。此外，我们还采用了其他几种损失函数，包括尺度不变对数损失 [^14] $L_{silog}$、成对法线回归损失 [^69] $L_{PWN}$ 以及虚拟法线损失 [^64] $L_{VNL}$。注意 $L_{silog}$ 是L1损失的一种变体。总体损失如下所示。 $$ \begin{array}{r}{L=L_{\mathrm{P W N}}+L_{\mathrm{V N L}}+L_{s i l o g}+L_{\mathrm{R P N L}}.}\end{array} $$ ### 4. 实验数据集详情。我们收集了11个公开的RGB-D数据集，用于训练的数据量超过800万条，涵盖多种室内外场景。需要注意的是，所有数据集均提供了相机内参。除了训练集的测试划分外，我们还收集了7个未见过的数据集用于评估模型的鲁棒性和泛化能力。所用数据的详细信息已在补充材料中报告。实现细节。我们采用了基于ConvNext-large [^33] 骨干网络的UNet架构，初始化时使用ImageNet22K预训练权重。优化器采用AdamW，批量大小为192，所有层的初始学习率设为0.0001，采用幂次为0.9的多项式衰减策略。我们最终模型在48块A100 GPU上训练了50万次迭代。参照DiverseDepth [^64] 的做法，我们在小批量中对所有数据集进行平衡处理，以确保每个数据集所占比例大致相等。训练期间，图像会先经过规范相机变换模块处理，有50%的概率会进行水平翻转，随后随机裁剪为 $512 \times 960$ 像素。对于消融实验，训练设置有所不同：我们从每个数据集中抽取5000张图像进行训练，在8块GPU上训练15万次迭代。评估细节。a) 为了验证我们的度量深度估计方法的鲁棒性，我们在8个零样本基准测试集上进行了测试，包括NYUv2 [^47]、KITTI [^17]、NuScenes [^6]。 ---

Table 1 – Quantitative comparison on NYUv2 and KITTI benchmarks. Both datasets are unseen to our model, but we can achieve comparable performance with state-of-the-art methods.

NYUv2 Benchmark
Method	$\delta_1\uparrow$	$\delta_2\uparrow$	$\delta_3\uparrow$	AbsRel $\downarrow$	$\log_{10}\downarrow$	RMS $\downarrow$
Li et al. [^30]	0.788	0.958	0.991	0.143	0.063	0.635
Laina et al. [^28]	0.811	0.953	0.988	0.127	0.055	0.573
VNL [^66]	0.875	0.976	0.994	0.108	0.048	0.416
TrDepth [^63]	0.900	0.983	0.996	0.106	0.045	0.365
Adabins [^4]	0.903	0.984	0.997	0.103	0.044	0.364
NeWCRFs [^71]	0.922	0.992	0.998	0.095	0.041	0.334
Ours CSTM_image	0.925	0.983	0.994	0.092	0.040	0.341
Ours CSTM_label	0.944	0.986	0.995	0.083	0.035	0.310
KITTI Benchmark
Method	$\delta_1\uparrow$	$\delta_2\uparrow$	$\delta_3\uparrow$	AbsRel $\downarrow$	RMS $\downarrow$	RMS_Log $\downarrow$
Guo et al. [^20]	0.902	0.969	0.986	0.090	3.258	0.168
VNL [^66]	0.938	0.990	0.998	0.072	3.258	0.117
TrDepth [^63]	0.956	0.994	0.999	0.064	2.755	0.098
Adabins [^4]	0.964	0.995	0.999	0.058	2.360	0.088
NeWCRFs [^71]	0.974	0.997	0.999	0.052	2.129	0.079
Ours CSTM_image	0.967	0.995	0.999	0.060	2.843	0.087
Ours CSTM_label	0.964	0.993	0.998	0.058	2.770	0.092

7-scenes [^46]、iBIMS-1 [^26]、DIODE [^53]、ETH3D [^45]。遵循以往的研究 [^71]，我们采用了绝对相对误差（AbsRel）、阈值内精度（$\delta_i < 1.25^i$，i = 1, 2, 3）、均方根误差（RMS）、对数空间的均方根误差（RMS_log）以及log10误差（log10）等指标。b) 此外，我们也参照当前的仿射不变深度基准测试 [^69] [^73]（见表4），来评估模型在5个零样本数据集上的泛化能力，即NYUv2、DIODE、ETH3D、ScanNet [^11]和KITTI。我们主要将所提方法与基于大规模数据训练的模型进行比较。需要注意的是，在此基准测试中，我们按照现有方法在评估前应用尺度偏移对齐操作。c) 为了评估我们的指标在3D重建质量方面的表现，我们从NYUv2中随机选取9个未见过的场景，并利用colmap [^44]来获取多帧重建所需的相机位姿。我们使用Chamfer $l_1$距离和F分数 [^25]来评估重建精度。d) 在密集SLAM实验中，遵循Li等人的研究 [^31]，我们在KITTI里程计基准测试 [^17]上进行测试，并评估平均平移RMS漂移（%，$t_{rel}$）和旋转RMS漂移（$^\circ/100m$、$r_{rel}$）误差 [^17]。需要注意的是，所有这些深度和重建评估均使用同一训练好的模型。 #### 4.1. 零样本泛化测试基于度量深度的基准测试评估。为了评估预测度量深度的准确性，首先我们在NYUv2 [^47]和KITTI [^18]上与最先进的度量深度预测方法进行比较。我们使用同一模型完成所有评估。结果如表1所示。无需任何微调或度量调整，我们便能取得与那些在基准测试上训练数百轮的最先进方法相媲美的性能。此外，我们收集了6个未见过的数据集来进行更多度量精度评估。这些数据集涵盖了多种室内外场景，包括房间、建筑物和驾驶场景。相机型号也各不相同，例如7scenes的焦距较短（约500），而ETH3D则为2000。我们主要将所提方法与最先进的度量深度估计方法进行比较，并分别采用它们在NYUv2和KITTI上训练的模型来评估室内外场景。从表3中可以看出，尽管7Scenes与NYUv2相似，NuScenes与KITTI相似，但现有方法的性能会出现明显下滑。相比之下，我们的模型更具鲁棒性。针对不同场景的泛化能力。仿射不变深度基准测试消除了尺度的影响，旨在评估模型对不同场景的泛化能力。MiDaS、LeReS和DPT等近期有影响力的研究在其中取得了不错的性能。遵循它们的方法，我们在5个数据集上进行了测试，并在评估前手动将尺度和偏移量与真实深度对齐。结果如表4所示。尽管我们的方法要求网络恢复更具挑战性的度量信息，但在大多数数据集上，我们的方法仍大幅优于它们。 #### 4.2. 基于我们方法的应用在这些实验中，我们将CSTM_image模型应用于各类任务。 3D场景重建。为了证明我们的方法能够在真实场景中恢复出具有度量信息的3D形状，我们首先在9个NYUv2场景上进行定量比较，这些场景在训练阶段并未出现过。我们预测每帧的度量深度，然后结合给定的相机位姿将其融合在一起。结果如表2所示。我们将其与视频一致性深度预测方法（RCVD [^27]）、无监督视频深度估计方法（SC-DepthV2 [^5]）、3D场景形状恢复方法（LeReS [^69]）、仿射不变深度估计方法（DPT [^39]）以及多视图立体重建方法（DPSNet [^23]）进行比较。除了DPSNet和我们的方法外，其他方法都需要针对每一帧将深度尺度与真实深度对齐。尽管我们的方法并非针对视频或多视图重建问题设计，但该方法能够实现帧间良好的一致性，且在这些零样本场景下能重建出比其他方法更精确的3D场景。从图6中的定性比较可以看出，我们的重建结果中噪声和异常值更少。密集SLAM建图。单目SLAM是重要的机器人应用领域，它仅依靠单目视频输入就能生成轨迹并进行密集3D建图。由于光照和几何约束有限，现有方法在大场景中会面临严重的尺度漂移问题，无法恢复度量信息。我们提出的鲁棒的度量深度估计方法为SLAM系统提供了可靠的深度先验。为了验证这一优势，我们将我们的度量深度直接输入到最先进的SLAM系统Droid-SLAM [^52]中，并在KITTI数据集上评估其轨迹表现。我们对原始系统未作任何调整。轨迹比较结果见表5。由于Droid-SLAM能够获取每帧精确的度量深度，就如同RGB-D SLAM一样， ---

Table 2 – Quantitative comparison of 3D scene reconstruction with LeReS [^69], DPT [^39], RCVD [^27], SC-DepthV2 [^5], and a learning-based MVS method (DPSNet [^23]) on 9 unseen NYUv2 scenes. Apart from DPSNet and ours, other methods have to align the scale with ground truth depth for each frame. As a result, our reconstructed 3D scenes achieve the best performance.

Method

Basement_0001a

Bedroom_0015

Diningroom_0004

Kitchen_0008

Classroom_0004

Playroom_0002

Office_0024

Office_0004

Diningroom_0033

C-I $\downarrow$1 F-score $\uparrow$

C-I\

![Image](images/6cf2315be76a665d9db0f8004b340add8df3b2e02550777435f040563aafcd26.jpg)

Figure 6 – Reconstruction of zero-shot scenes with multiple views. We sample several NYUv2 scenes for 3D reconstruction comparison. As our method can predict accurate metric depth, thus all frame's predictions are fused together for scene reconstruction. By contrast, LeReS [^69]'s depth is up to an unknown scale and shift, which causes noticeable distortions. DPSNet [^23] is a multi-view stereo method, which cannot work well on low-texture regions.

翻译漂移（$t_{rel}$）显著减小。此外，借助我们的深度数据，Droid-SLAM能够生成更密集、更精确的3D地图。图1展示了相关示例，补充材料中还给出了更多案例。我们也在ETH3D SLAM基准测试上进行了实验，结果见表6。搭载我们深度数据的Droid在SLAM任务上的表现明显更好。由于ETH3D场景均为小规模室内场景，其性能提升幅度小于在KITTI上的表现。真实场景中的计量学应用。为了展示我们恢复的度量3D结构的鲁棒性和精确度，我们下载了由各种相机拍摄的Flickr照片，并从元数据中提取粗略的相机内参。我们使用CSTM图像模型来重建这些照片的度量形状，并测量结构尺寸（图7中以红色标记），而真实尺寸则用蓝色表示。结果显示，我们测量的尺寸与真实尺寸非常接近。 #### 4.3. 消融研究关于规范变换的消融实验。我们研究了所提出的针对输入图像的规范变换（“CSTM_input”）以及针对真实标签的规范变换（“CSTM_output”）的效果，结果见表7。我们在55K张采样混合数据上训练模型，并在6个数据集上进行测试。一个简单的基线方案（“Ours w/o CSTM”）是移除CSTM模块并采用与我们相同的监督方式。若没有CSTM，模型在混合度量数据集上训练时无法收敛，也无法在零样本数据集上实现度量预测能力。这正是近期混合数据训练方法为避免度量问题而放弃学习仿射不变深度的原因。相比之下，我们的两种CSTM方法都能使模型具备度量预测能力，且性能相当。 ---

Table 3 – Quantitative comparison with SOTA metric depth methods on 6 unseen benchmarks. For SOTA methods, we use their NYUv2 and KITTI models for indoor and outdoor scenes evaluation respectively, while we use the same model for all zero-shot testing.

Method	DIODE(Indoor)	iBIMS-1	7Scenes	DIODE(Outdoor)	ETH3D	NuScenes
Method	Indoor scenes (AbsRel $\downarrow$/RMS $\downarrow$)			Outdoor scenes (AbsRel $\downarrow$/RMS $\downarrow$)
Adabins [^4]	0.443 / 1.963	0.212 / 0.901	0.218 / 0.428	0.865 / 10.35	1.271 / 6.178	0.445 / 10.658
NewCRFs [^71]	0.404 / 1.867	0.206 / 0.861	0.240 / 0.451	0.854 / 9.228	0.890 / 5.011	0.400 / 12.139
Ours_CSTM_label	0.252 / 1.440	0.160 / 0.521	0.183 / 0.363	0.414 / 6.934	0.416 / 3.017	0.154 / 7.097
Ours_CSTM_image	0.268 / 1.429	0.144 / 0.646	0.189 / 0.388	0.535 / 6.507	0.342 / 2.965	0.147 / 5.889

Table 4 – Comparison with SOTA affine-invariant depth methods on 5 zero-shot transfer benchmarks. Our model significantly outperforms previous methods and sets new state-of-the-art. Following the benchmark setting, all methods have manually aligned the scale and shift.

Method	Backbone	#Params	NYUv2		KITTI		DIODE		ScanNet		ETH3D		Rank
Method	Backbone	#Params	AbsRel $\downarrow$	$\delta_1\uparrow$	AbsRel $\downarrow$	$\delta_1\uparrow$	AbsRel $\downarrow$	$\delta_1\uparrow$	AbsRel $\downarrow$	$\delta_1\uparrow$	AbsRel $\downarrow$	$\delta_1\uparrow$	Rank
DiverseDepth [^64]	ResNeXt50 [^60]	25M	0.117	0.875	0.190	0.704	0.376	0.631	0.108	0.882	0.228	0.694	7.7
MiDaS [^40]	ResNeXt101	88M	0.111	0.885	0.236	0.630	0.332	0.715	0.111	0.886	0.184	0.752	7.2
Leres [^69]	ResNeXt101		0.090	0.916	0.149	0.784	0.271	0.766	0.095	0.912	0.171	0.777	5.4
Omnidata [^13]	ViT-base		0.074	0.945	0.149	0.835	0.339	0.742	0.077	0.935	0.166	0.778	4.9
HDN [^73]	ViT-Large [^12]	306M	0.069	0.948	0.115	0.867	0.246	0.780	0.080	0.939	0.121	0.833	3.7
DPT-large [^39]	ViT-Large		0.098	0.903	0.10	0.901	0.182	0.758	0.078	0.938	0.078	0.946	3.8
Ours CSTM_image	ConvNeXt-large [^33]	198M	0.058	0.963	0.053	0.965	0.211	0.825	0.074	0.942	0.064	0.965	1.3
Ours CSTM_label	ConvNeXt-large		0.050	0.966	0.058	0.970	0.224	0.805	0.074	0.941	0.066	0.964	1.8

![Image](images/691cf08c705c85901e6fb082193b43855df6c30c2aea66ccfd119794846860cc.jpg)

Figure 7 – Reconstruction of in-the-wild scenes. We collect several Flickr photos, which are captured by various cameras. With photos' metadata, we reconstruct the 3D metric shape and measure structures' sizes. Red and blue marks are ours and ground-truth sizes respectively.

Table 5 – Comparison with SOTA SLAM methods on KITTI. We input predicted metric depth to the Droid-SLAM [^52] ('Droid+Ours'), which outperforms others by a large margin on trajectory accuracy.

Method	Seq 00	Seq 02	Seq 05	Seq 06	Seq 08	Seq 09	Seq 10
Method	Translational RMS drift ( $t_{rel,\downarrow}$) / Rotational RMS drift ( $r_{rel,\downarrow}$)
GeoNet [^70]	27.6/5.72	42.24/6.14	20.12/7.67	9.28/4.34	18.59/7.85	23.94/9.81	20.73/9.1
VISO2-M [^49]	12.66/2.73	9.47/1.19	15.1/3.65	6.8/1.93	14.82/2.52	3.69/1.25	21.01/3.26
ORB-V2 [^36]	11.43/0.58	10.34/0.26	9.04/0.26	14.56/0.26	11.46/0.28	9.3/0.26	2.57/0.32
Droid [^52]	33.9/0.29	34.88/0.27	23.4/0.27	17.2/0.26	39.6/0.31	21.7/0.23	7/0.25
Droid+Ours	1.44/0.37	2.64/0.29	1.44/0.25	0.6/0.2	2.2/0.3	1.63/0.22	2.73/0.23

Table 6 – Comparison of VO error on ETH3D benchmark. Droid SLAM system is input with our depth ('Droid + Ours'), and ground-truth depth ('Droid + GT'). The average trajectory error is reported.

	Einstein_global	Manquin4	Motion1	Plantscene3	sfm_house_loop	sfm_lab_room2
	Average trajectory error ( $\downarrow$)
Droid	4.7	0.88	0.83	0.78	5.64	0.55
Droid + Ours	1.5	0.69	0.62	0.34	4.03	0.53
Droid + GT	0.7	0.006	0.024	0.006	0.96	0.013

Table 7 – Effectiveness of our CSTM. CamConvs [^15] directly encodes various camera models in the network, while we perform a simple yet effective transformation to solve the metric ambiguity. Without CSTM, the model cannot achieve transferable metric prediction ability.

Method	DDAD Test set of train. data (AbsRel $\downarrow$)			NS Zero-shot test set (AbsRel $\downarrow$)
w/o CSTM	0.530	0.582	0.394	1.00	0.568	0.584
CamConvs [^15]	0.295	0.315	0.213	0.423	0.178	0.333
Ours CSTM_image	0.190	0.235	0.182	0.197	0.097	0.210
Ours CSTM_label	0.183	0.221	0.201	0.213	0.081	0.212

表1也显示了相近的性能。因此，在训练过程中调整监督方式和输入图像外观，都能解决度量歧义问题。此外，我们将其与CamConvs [^15]进行比较，该方法在解码器中用4通道特征来编码相机模型。CamConvs采用与我们相同的训练计划、模型和训练数据。该方法迫使网络从图像外观中隐式理解各种相机模型，进而将成像尺寸映射到真实世界尺寸。我们认为这种方法对数据多样性和网络容量提出了挑战，因此其性能不如我们的方法。关于规范空间的消融实验。我们在此研究规范相机（即规范焦距）的影响。我们在小型采样数据集上训练模型，并在训练数据和测试数据的验证集上进行测试，计算平均AbsRel误差。我们针对3种不同的焦距（500、1000、1500）进行实验。实验表明，焦距为1000时性能略优于其他情况，详情见图8。因此我们在实验中将规范焦距设为1000。随机提议归一化损失的有效性。为了验证我们提出的随机提议归一化损失（RPNL）的有效性，我们在采样的小型数据集上进行了实验。结果见表8。我们在DDAD、Lyft、DrivingStereo（DS）、NuScenes（NS）上进行测试， --- ![Image](images/f2956f2407820b33d8b7fa1ff85cab7313d0665ff5684863232225e1e04731f0.jpg)

Figure 8 – Effect of different canonical focal lengths. We experiment on different canonical focal lengths and find that too large or small focal lengths will impact the performance.

Table 8 – Effectiveness of random proposal normalization loss. Baseline is supervised by ‘L_{PWN} + L_{VNL} + L_{silog}’. SSIL is the scale-shift invariant loss proposed in [^40].

Method	DDAD Test set of train.	Lyft data (AbsRel $\downarrow$)	DS	NS Zero-shot test set (AbsRel $\downarrow$)
baseline	0.204	0.251	0.184	0.207	0.104	0.230
baseline + SSIL [^40]	0.197	0.263	0.259	0.206	0.105	0.216
baseline + RPNL	0.190	0.235	0.182	0.197	0.097	0.210

KITTI和NYUv2。“基线”模型采用了除RPNL外的所有损失函数。我们将其与“基线+RPNL”以及“基线+SSIL [^40]”进行比较。可以发现，我们提出的随机提议归一化损失能够进一步提升性能。相比之下，尺度平移不变损失[^40]仅对整个图像进行归一化处理，对性能的提升十分有限。 ### 5. 结论本文致力于解决从单目图像重建三维度量场景的问题。为了解决由不同焦距引起的图像外观深度歧义，我们提出了一种规范相机空间变换方法。借助该方法，我们可以轻松合并数千台相机拍摄的数百万条数据，来训练一个度量深度模型。为了提升模型的鲁棒性，我们收集了超过800万条训练数据。多项零样本评估验证了本研究的有效性与鲁棒性。我们还展示了该方法在随机采集的互联网图像上进行计量分析，以及在大规模场景中进行密集建模的能力。 ## 致谢本研究部分得到了国家重点研发计划（编号：2022ZD0118700）的支持。 ### 6. 附录 #### 6.1. 数据集及训练与测试我们收集了来自11个公共数据集的超过800万条数据用于训练。数据集列表见表9。自动驾驶数据集，包括DDAD [^19]、Lyft [^24]、DrivingStereo [^62]、Argoverse2 [^55]、DSEC [^16]和Pandaset [^59]，提供了激光雷达数据以及相机内外参。我们将激光雷达数据投影到图像平面以获取真实深度。相比之下，Cityscapes [^10]、DIML [^9]和UASOL [^2]仅提供校准后的立体图像。

Table 9 – Training and testing datasets used in experiments.

Datasets	Scenes	Label	Size	# Cam.
Training Data
DDAD [^19]	Outdoor	LiDar	~80K	36+
Lyft [^24]	Outdoor	LiDAR	~50K	6+
Driving Stereo (DS) [^62]	Outdoor	Stereo $^{\dagger}$	~181K	1
DIML [^9]	Outdoor	Stereo $^{\dagger}$	~122K	10
Arogoverse2 [^55]	Outdoor	LiDAR	~3515K	6+
Cityscapes [^10]	Outdoor	Stereo $^{\dagger}$	~170K	1
DSEC [^16]	Outdoor	LiDAR	~26K	1
Mapillary PSD [^34]	Outdoor	SFM $^{\ddagger}$	750K	1000+
Pandaset [^59]	Outdoor	LiDAR	~48K	6
UASOL [^2]	Outdoor	Stereo $^{\dagger}$	~137K	1
Taskonomy [^72]	Indoor	LiDAR	~4M	~1M
Testing Data
NYU [^47]	Indoor	Kinect	654	1
KITTI [^17]	Outdoor	LiDAR	652	4
ScanNet [^11]	Indoor	Kinect	700	1
NuScenes (NS) [^6]	Outdoor	LiDAR	10K	6
ETH3D [^45]	Outdoor	LiDAR	431	1
DIODE [^53]	In/Out	LiDAR	771	1
7Scenes [^46]	Indoor	Kinect	17k	1
iBims-1 [^26]	Indoor	LiDAR	100	1

$^{†}$ “立体视觉”：我们使用RaftStereo [^32]来获取伪真实深度。 $^{4}$ “运动恢复结构”：通过运动恢复结构来获取伪真实深度。图像。我们使用draftstereo [^32]来生成伪真实深度图。Mapillary PSD [^34]数据集提供了成对的RGB-D数据，但这些深度图是通过运动恢复结构方法得到的。相机内参是由SfM估算得出的。我们认为这样得到的度量信息存在噪声，因此我们不在此类数据上施加学习度量深度损失，即$L_{silog}$，以减少噪声的影响。对于Taskonomy [^72]数据集，我们遵循LeReS [^68]的方法获取实例平面，并将其用于成对法线回归损失中。训练时，我们采用[^67]中的训练策略，以在每个训练批次中平衡所有数据集。测试数据列于表9中。它们均由高质量传感器采集。测试时，我们使用其提供的相机内参来执行我们所提出的规范空间变换。 #### 6.2. 部分实验详情零样本3D场景重建评估。在该实验中，我们使用所有方法发布的模型来预测每帧的深度，并利用真实姿态和相机内参来重建点云。评估重建的点云时，我们采用迭代最近点（ICP）[^3]算法，通过姿态变换矩阵将预测的点云与真实值进行匹配。最后，我们评估点云上的Chamfer $\ell_1$距离和F分数。野外场景的重建。我们从Flickr上收集了几张照片。通过相关的相机元数据，我们可以获得焦距$\hat{f}$和像素尺寸$\delta$。根据$\hat{f}/\delta$，我们可以得到用于3D重建的像素级焦距，进而获取度量信息。我们使用MeshLab软件测量点云上某些结构的大小。更多可视化结果见图11。 --- 用于3D重建的像素级焦距可帮助我们获取度量信息。我们使用MeshLab软件测量点云上某些结构的大小。更多可视化结果见图11。度量深度估计的泛化能力。为了评估我们方法在度量恢复方面的鲁棒性，我们在8个零样本数据集上进行了测试，即NYU、KITTI、DIODE（室内和室外部分）、ETH3D、iBims-1、NuScenes和7Scenes。详情见表9。我们使用官方提供的焦距来预测度量深度。所有基准测试均使用相同的深度模型进行评估，且不进行任何尺度对齐。仿射不变深度基准测试评估。我们遵循现有的仿射不变深度估计方法，对5个零样本数据集进行评估。评估前，我们采用最小二乘拟合来将尺度和平移与真实值对齐[^69]。以往方法的性能数据引自其论文。 Dense-SLAM建图。该实验在KITTI里程计基准测试上进行。我们使用我们的模型预测度量深度，然后直接将其作为初始深度输入到Droid-SLAM系统中。我们不进行任何微调，而是直接在KITTI上运行其发布的代码。利用Droid-SLAM预测的姿态，我们将深度反投影为3D点云并融合在一起，从而实现密集度量建图。更多定性结果见图10。 #### 6.3. 更多可视化结果重建$360^{\circ}$NuScenes场景。当前的自动驾驶汽车配备了多个针孔摄像头来捕捉$360^{\circ}$视角图像。获取环绕视图的深度信息对自动驾驶而言至关重要。我们从NuScenes的测试数据中选取了一些场景。借助我们的深度模型，我们能够为6个环形摄像头获取度量深度值。利用提供的相机内参和外参，我们将深度值反投影到3D点云中，并将所有视角的数据合并在一起。详情请参见图12。需要注意的是，6个环形摄像头的相机内参各不相同。我们可以观察到，所有视角的点云能够一致地融合在一起。深度估计的定性比较。在图9、13、14和15中，我们展示了与Adabins [^4]、NewCRFs [^71]以及Omnidata [^13]的深度图之间的定性比较结果。我们的结果产生的伪影要少得多。 ## 参考文献 [^1]: Jonathan T Barron and Jitendra Malik. Shape, illumination, and reflectance from shading. IEEE Trans. Pattern Anal. Mach. Intell., 37(8):1670–1687, 2014. 3 [^2]: Zuria Bauer, Francisco Gomez-Donoso, Edmanuel Cruz, Sergio Orts-Escolano, and Miguel Cazorla. Uasol, a large- 高分辨率户外立体数据集。Scientific data，6(1):1–14，2019年。9 [^3]: Paul Besl and Neil McKay. Method for registration of 3-d shapes. In Sensor fusion IV: Control Paradigms and Data Structures, volume 1611, pages 586–606. Spie, 1992. 9 [^4]: Shariq Farooq Bhat, Ibraheem Alhashim, and Peter Wonka. Adabins: Depth estimation using adaptive bins. In Proc. IEEE Conf. Comp. Vis. Patt. Recogn., pages 4009–4018, 2021. 2, 3, 6, 8, 10 [^5]: Jia-Wang Bian, Huangying Zhan, Naiyan Wang, Tat-Jin Chin, Chunhua Shen, and Ian Reid. Auto-rectify network for unsupervised indoor depth estimation. IEEE Trans. Pattern Anal. Mach. Intell., 2021. 6,7 [^6]: Holger Caesar, Varun Bankiti, Alex H Lang, Sourabh Vora, Venice Erin Liong, Qiang Xu, Anush Krishnan, Yu Pan, Giancarlo Baldan, and Oscar Beijbom. Nuscenes: A multimodal dataset for autonomous driving. In Proc. IEEE Conf. Comp. Vis. Patt. Recogn., pages 11621–11631, 2020. 5, 9 [^7]: Weifeng Chen, Zhao Fu, Dawei Yang, and Jia Deng. Single-image depth perception in the wild. In Proc. Advances in Neural Inf. Process. Syst., pages 730–738, 2016. 2, 3 [^8]: Weifeng Chen, Shengyi Qian, David Fan, Noriyuki Kojima, Max Hamilton, and Jia Deng. Oasis: A large-scale dataset for single image 3d in the wild. In Proc. IEEE Conf. Comp. Vis. Patt. Recogn., pages 679–688, 2020. 2, 3 [^9]: Jaehoon Cho, Dongbo Min, Youngjung Kim, and Kwanghoon Sohn. DIML/CVL RGB-D dataset: 2m RGB-D images of natural indoor and outdoor scenes. arXiv: Comp. Res. Repository, 2021. 9 [^10]: Marius Cordts, Mohamed Omran, Sebastian Ramos, Timo Rehfeld, Markus Enzweiler, Rodrigo Benenson, Uwe Franke, Stefan Roth, and Bernt Schiele. The cityscapes dataset for semantic urban scene understanding. In Proc. IEEE Conf. Comp. Vis. Patt. Recogn., 2016. 9 [^11]: Angela Dai, Angel X Chang, Manolis Savva, Maciej Halber, Thomas Funkhouser, and Matthias Nießner. Scannet: Richly-annotated 3d reconstructions of indoor scenes. In Proc. IEEE Conf. Comp. Vis. Patt. Recogn., pages 5828–5839, 2017. 6, 9 [^12]: Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, Jakob Uszkoreit, and Neil Houlsby. An image is worth 16x16 words: Transformers for image recognition at scale. Proc. Int. Conf. Learn. Representations, 2021. 8 [^13]: Ainaz Eftekhar, Alexander Sax, Jitendra Malik, and Amir Zamir. Omnidata: A scalable pipeline for making multi-task mid-level vision datasets from 3d scans. In Proc. IEEE Conf. Comp. Vis. Patt. Recogn., pages 10786–10796, 2021. 3, 8, 10 [^14]: David Eigen, Christian Puhrsch, and Rob Fergus. Depth map prediction from a single image using a multi-scale deep network. In Proc. Advances in Neural Inf. Process. Syst., pages 2366–2374, 2014. 3, 5 ## [^15]: Jose Facil, Benjamin Ummenhofer, Huizhong Zhou, Luis Montesano, Thomas Brox, and Javier Civera. CAM-Convs: camera-aware multi-scale convolutions for single- --- ![Image](images/832fc38871052ecd9299ac6fd0cbdf07ea23507db3d0c4e9844ed35e811bc411.jpg)

Figure 9 – Depth estimation. The visual comparison of predicted on iBims, ETH3D, and DIODE.

视图深度。载于IEEE计算机视觉与模式识别会议论文集，第11826–11835页，2019年。2, 8 [^16]: Mathias Gehrig, Willem Aarents, Daniel Gehrig, and Davide Scaramuzza. Dsec: A stereo event camera dataset for driving scenarios. IEEE Robotics and Automation Letters, 2021. 9 [^17]: Andreas Geiger, Philip Lenz, Christoph Stiller, and Raquel Urtasun. Vision meets robotics: The kitti dataset. Int. J. Robot. Res., 2013. 3, 5, 6, 9 [^18]: Andreas Geiger, Philip Lenz, and Raquel Urtasun. Are we ready for autonomous driving? the kitti vision benchmark suite. In Proc. IEEE Conf. Comp. Vis. Patt. Recogn., pages 3354–3361. IEEE, 2012. 6 [^19]: Vitor Guizilini, Rares Ambrus, Sudeep Pillai, Allan Raven-tos, and Adrien Gaidon. 3d packing for self-supervised 单目深度估计。载于IEEE计算机视觉与模式识别会议论文集，2020年。9 [^20]: Xiaoyang Guo, Hongsheng Li, Shuai Yi, Jimmy Ren, and Xiaogang Wang. Learning monocular depth by distilling cross-domain stereo networks. In Proc. Eur. Conf. Comp. Vis., pages 484–500, 2018. 6 [^21]: Richard Hartley and Andrew Zisserman. Multiple view geometry in computer vision. Cambridge university press, 2003. 2 ## [^22]: Yannick Hold-Geoffroy, Kalyan Sunkavalli, Jonathan Eisenmann, Matthew Fisher, Emiliano Gambaretto, Sunil Hadap, and Jean-François Lalonde. A perceptual measure for deep single image camera calibration. In Proc. IEEE Conf. Comp. Vis. Patt. Recogn., pages 2354–2363, 2018. 4 --- ![Image](images/0115e812cb6ff92bad27e77554a3a1dd9db1a73d21cbc076660842d286e2a289.jpg)

Figure 10 – Dense-SLAM Mapping. Existing SOTA mono-SLAM methods usually face scale drift problems in large-scale scenes and are unable to achieve the metric scale. We show the ground-truth trajectory and Droid-SLAM [^52] predicted trajectory and their dense mapping. Then, we naively input our metric depth to Droid-SLAM, which can recover a much more accurate trajectory and perform the metric dense mapping.

[^23]: Sunghoon Im, Hae-Gon Jeon, Stephen Lin, and In-So Kweon. Dpsnet: End-to-end deep plane sweep stereo. In Proc. Int. Conf. Learn. Representations, 2019. 3, 6, 7 [^24]: R. Kesten, M. Usman, J. Houston, T. Pandya, K. Nadamunii, A. Ferreira, M. Yuan, B. Low, A. Jain, P. Ondruska, S. Omari, S. Shah, A. Kulkarni, A. Kazakova, C. Tao, L. Platinsky, W. Jiang, and V. Shet. Level 5 perception dataset 2020. , 2019. 9 [^25]: Arno Knapitsch, Jaesik Park, Qian-Yi Zhou, and Vladlen Koltun. Tanks and temples: Benchmarking large-scale scene reconstruction. ACM Trans. Graph., 36(4):1–13, 2017. 6 [^26]: Tobias Koch, Lukas Liebel, Friedrich Fraundorfer, and Marco Korner. Evaluation of cnn-based single-image depth estimation methods. In Eur. Conf. Comput. Vis. Worksh., pages 0–0, 2018. 6,9 [^27]: Johannes Kopf, Xuejian Rong, and Jia-Bin Huang. Robust consistent video depth estimation. In Proc. IEEE Conf. Comp. Vis. Patt. Recogn., 2021. 6,7 [^28]: Iro Laina, Christian Rupprecht, Vasileios Belagiannis, Fed- Erico Tombari和Nassir Navab。基于全卷积残差网络的更精准深度预测。载于2016年第四届国际3D视觉会议（3DV），第239–248页。IEEE出版社，2016年。6 [^29]: John Lambert, Zhuang Liu, Ozan Sener, James Hays, and Vladlen Koltun. Mseg: A composite dataset for multi-domain semantic segmentation. In Proc. IEEE Conf. Comp. Vis. Patt. Recogn., pages 2879–2888, 2020. 3 [^30]: Jun Li, Reinhard Klein, and Angela Yao. A two-streamed network for estimating fine-scaled depth maps from single rgb images. In Proc. IEEE Conf. Comp. Vis. Patt. Recogn., pages 3372–3380, 2017. 6 [^31]: Shunkai Li, Xin Wu, Yingdian Cao, and Hongbin Zha. Generalizing to the open world: Deep visual odometry with online adaptation. In Proc. IEEE Conf. Comp. Vis. Patt. Recogn., pages 13184–13193, 2021. 6 [^32]: Lahav Lipson, Zachary Teed, and Jia Deng. Raft-stereo: Multilevel recurrent field transforms for stereo matching. In Int. Conf. 3D. Vis., 2021. 9 ## [^33]: Zhuang Liu, Hanzi Mao, Chao-Yuan Wu, Christoph Feicht- --- ![Image](images/7f602f49c5ae62962dd2a3ad925fefab3d37efdde679625d11cdc7b97ab27117.jpg)

Figure 11 – 3D metric reconstruction of in-the-wild images. We collect several Flickr images and use our model to reconstruct the scene. The focal length information is collected from the photo's metadata. From the reconstructed point cloud, we can measure some structures' sizes. We can observe that sizes are in a reasonable range.

![Image](images/a8f883344853fef612b4d2444f0d284a77be69dfa73fb057866205db651eb5c2.jpg)

Figure 12 – 3D reconstruction of $360^{\circ}$ views. Current autonomous driving cars are equipped with several pin-hole cameras to capture $360^{\circ}$ views. With our model, we can reconstruct each view and smoothly fuse them together. We can see that all views can be well merged together without scale inconsistency problems. Testing data are from NuScenes. Note that the front view camera has a different focal length from other views.

Enhofer、Trevor Darrell和Saining Xie。面向2020年代的卷积神经网络。载于IEEE计算机视觉与模式识别会议论文集，第 ## [^34]: Manuel Lopez-Antequera, Pau Gargallo, Markus Hofinger --- ![Image](images/2f1350da5d13fe79143c32524bbbbd2c901c28d0ade16333c7f5afbb0c432e0e.jpg)

Figure 13 – Depth estimation. The visual comparison of predicted on iBims, ETH3D, and DIODE.

Samuel Rota Bulò、Yubin Kuang和Peter Kontschieder。Mapillary行星级深度数据集。载于欧洲计算机视觉会议论文集，第12347卷，第589–604页，2020年。9 [^35]: Raul Mur-Artal and Juan D Tardós. Orb-slam2: An open-source slam system for monocular, stereo, and rgb-d cameras. IEEE transactions on robotics, 33(5):1255–1262, 2017. 3 [^36]: Raúl Mur-Artal and Juan D. Tardós. ORB-SLAM2: an open-source SLAM system for monocular, stereo and RGB-D cameras. IEEE Trans. Robot., 33(5):1255–1262, 2017. 8 [^37]: Sida Peng, Shangzhan Zhang, Zhen Xu, Chen Geng, Boyi Jiang, Hujun Bao, and Xiaowei Zhou. Animatable neural implicit surfaces for creating avatars from videos. arXiv: Comp. Res. Repository, page 2203.08133, 2022. 2 [^38]: Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, et al. Learning transferable visual models from natural language super- 计算机视觉。载于国际机器学习会议论文集，第8748–8763页。PMLR出版社，2021年。3 [^39]: René Ranftl, Alexey Bochkovskiy, and Vladlen Koltun. Vision transformers for dense prediction. In Proc. IEEE Int. Conf. Comp. Vis., pages 12179–12188, 2021. 2, 6, 7, 8 [^40]: René Ranftl, Katrin Lasinger, David Hafner, Konrad Schindler, and Vladlen Koltun. Towards robust monocular depth estimation: Mixing datasets for zero-shot cross-dataset transfer. IEEE Trans. Pattern Anal. Mach. Intell., 2020. 2, 3, 4, 5, 8, 9 [^41]: Shunsuke Saito, Zeng Huang, Ryota Natsume, Shigeo Morishima, Angjoo Kanazawa, and Hao Li. Pifu: Pixel-aligned implicit function for high-resolution clothed human digitization. In Proc. IEEE Conf. Comp. Vis. Patt. Recogn., pages 2304–2314, 2019. 3 ## [^42]: Shunsuke Saito, Tomas Simon, Jason Saragih, and Hanbyul Joo. Pifuhd: Multi-level pixel-aligned implicit function for high-resolution 3d human digitization. In Proc. IEEE Conf --- ![Image](images/7e529153eb7248da784e35e12174431659b8ae75fc9a48665fb3c2e388db4228.jpg)

Figure 14 – Depth estimation. The visual comparison of predicted on iBims, ETH3D, and DIODE.

计算机视觉与模式识别会议论文集，第84–93页，2020年。3 [^43]: Ashutosh Saxena, Min Sun, and Andrew Y Ng. Make3d: Learning 3d scene structure from a single still image. IEEE Trans. Pattern Anal. Mach. Intell., 31(5):824–840, 2008. 3 [^44]: Johannes Lutz Schönberger, Enliang Zheng, Marc Pollefeys, and Jan-Michael Frahm. Pixelwise view selection for unstructured multi-view stereo. In Proc. Eur. Conf. Comp. Vis., 2016. 6 [^45]: Thomas Schops, Johannes L Schonberger, Silvano Galliani, Torsten Sattler, Konrad Schindler, Marc Pollefeys, and Andreas Geiger. A multi-view stereo benchmark with high-resolution images and multi-camera videos. In Proc. IEEE Conf. Comp. Vis. Patt. Recogn., pages 3260–3269, 2017. 6, 9 [^46]: Jamie Shotton, Ben Glocker, Christopher Zach, Shahram Izadi, Antonio Criminisi, and Andrew Fitzgibbon. Scene coordinate regression forests for camera relocalization in rgb-d images. In Proc. IEEE Conf. Comp. Vis. Patt. Recogn., pages 2930–2937, 2013. 6, 9 [^47]: Nathan Silberman, Derek Hoiem, Pushmeet Kohli, and Rob Fergus. Indoor segmentation and support inference from rgbd images. In Proc. Eur. Conf. Comp. Vis., pages 746–760. Springer, 2012. 3, 5, 6, 9 [^48]: Dalwinder Singh and Birmohan Singh. Investigating the impact of data normalization on classification performance. Applied Soft Computing, 2019. 5 ## [^49]: Shiyu Song, Manmohan Chandraker, and Clark C Guest. High accuracy monocular sfm and scale correction for au- --- ![Image](images/07206200c9d9a26bf14a94506d71e81afc36a6cc618ee761f8a2c1cdca96bbeb.jpg)

Figure 15 – Depth estimation. The visual comparison of predicted on iBims, ETH3D, and DIODE.

自动驾驶。IEEE模式分析与机器智能汇刊，38(4):730–743，2015年。8 [^50]: Jaime Spencer, C. Stella Qian, Michaela Trescakova, Chris Russell, Simon Hadfield, Erich W. Graf, Wendy J. Adams, Andrew J. Schofield, James Elder, Richard Bowden, Ali Anwar, Hao Chen, Xiaozhi Chen, Kai Cheng, Yuchao Dai, Huynh Thai Hoa, Sadat Hossain, Jianmian Huang, Mohan Jing, Bo Li, Chao Li, Baojun Li, Zhiwen Liu, Stefano Mattoccia, Siegfried Mercelis, Myungwoo Nam, Matteo Poggi, Xiaohua Qi, Jiahui Ren, Yang Tang, Fabio Tosi, Linh Trinh, S. M. Nadim Uddin, Khan Muhammad Umair, Kaixuan Wang, Yufei Wang, Yixing Wang, Mochu Xiang, Guangkai Xu, Wei Yin, Jun Yu, Qi Zhang, and Chaoqiang Zhao. The second monocular depth estimation challenge. 载于IEEE计算机视觉与模式识别研讨会论文集，第3063–3075页，2023年6月。3 [^51]: Libo Sun, Wei Yin, Enze Xie, Zhengrong Li, Changming Sun, and Chunhua Shen. Improving monocular visual odometry using learned depth. IEEE Transactions on Robotics, 38(5):3173–3186, 2022. 3 [^52]: Zachary Teed and Jia Deng. Droid-slam: Deep visual slam for monocular, stereo, and rgb-d cameras. volume 34, pages 16558–16569, 2021. 1, 3, 6, 8, 12 ## [^53]: Igor Vasiljevic, Nick Kolkin, Shanyi Zhang, Ruotian Luo, Haochen Wang, Falcon Z Dai, Andrea F Daniele, Mohammadreza Mostajabi, Steven Basart, Matthew R Walter, et al. Diode: A dense indoor and outdoor depth dataset. arXiv: Comp. Res. Repository, page 1908.00463, 2019. 6,9 --- [^54]: Nanyang Wang, Yinda Zhang, Zhuwen Li, Yanwei Fu, Wei Liu, and Yu-Gang Jiang. Pixel2mesh: Generating 3d mesh models from single RGB images. In Proc. Eur. Conf. Comp. Vis., pages 52–67, 2018. 3 [^55]: Benjamin Wilson, William Qi, Tanmay Agarwal, John Lambert, Jagjeet Singh, Siddhesh Khandelwal, Bowen Pan, Ratnesh Kumar, Andrew Hartnett, Jhony Kaesemodel Pontes, Deva Ramanan, Peter Carr, and James Hays. Argoverse 2: Next generation datasets for self-driving perception and forecasting. In Proc. Advances in Neural Inf. Process. Syst., 2021. 9 [^56]: Jiajun Wu, Chengkai Zhang, Xiuming Zhang, Zhoutong Zhang, William Freeman, and Joshua Tenenbaum. Learning shape priors for single-view 3d completion and reconstruction. In Proc. Eur. Conf. Comp. Vis., pages 646–662, 2018. 3 [^57]: Ke Xian, Chunhua Shen, Zhiguo Cao, Hao Lu, Yang Xiao, Ruibo Li, and Zhenbo Luo. Monocular relative depth perception with web stereo data supervision. In Proc. IEEE Conf. Comp. Vis. Patt. Recogn., pages 311–320, 2018. 2, 3 [^58]: Ke Xian, Jianming Zhang, Oliver Wang, Long Mai, Zhe Lin, and Zhiguo Cao. Structure-guided ranking loss for single image depth prediction. In Proc. IEEE Conf. Comp. Vis. Patt. Recogn., pages 611–620, 2020. 2, 3 [^59]: Pengchuan Xiao, Zhenlei Shao, Steven Hao, Zishuo Zhang, Xiaolin Chai, Judy Jiao, Zesong Li, Jian Wu, Kai Sun, Kun Jiang, Yunlong Wang, and Diange Yang. Pandaset: Advanced sensor suite dataset for autonomous driving. In IEEE Int. Intelligent Transportation Systems Conf., 2021. 9 [^60]: Saining Xie, Ross Girshick, Piotr Dollár, Zhuowen Tu, and Kaiming He. Aggregated residual transformations for deep neural networks. In Proc. IEEE Conf. Comp. Vis. Patt. Recogn., pages 1492–1500, 2017. 8 [^61]: Guangkai Xu, Wei Yin, Hao Chen, Chunhua Shen, Kai Cheng, and Feng Zhao. Pose-free 3d scene reconstruction with frozen depth models. In Proc. IEEE Int. Conf. Comp. Vis., 2023. 3 [^62]: Guorun Yang, Xiao Song, Chaoqin Huang, Zhidong Deng, Jianping Shi, and Bolei Zhou. Driving stereo: A large-scale dataset for stereo matching in autonomous driving scenarios. In Proc. IEEE Conf. Comp. Vis. Patt. Recogn., 2019. 9 [^63]: Guanglei Yang, Hao Tang, Mingli Ding, Nicu Sebe, and Elisa Ricci. Transformer-based attention networks for continuous pixel-wise prediction. In Proc. IEEE Int. Conf. Comp. Vis., 2021. 2, 6 [^64]: Wei Yin, Yifan Liu, and Chunhua Shen. Virtual normal: Enforcing geometric constraints for accurate and robust depth prediction. IEEE Trans. Pattern Anal. Mach. Intell., 2021. 2, 3, 5, 8 [^65]: Wei Yin, Yifan Liu, Chunhua Shen, Anton van den Hengel, and Baichuan Sun. The devil is in the labels: Semantic segmentation from sentences. arXiv: Comp. Res. Repository, page 2202.02002, 2022. 3 [^66]: Wei Yin, Yifan Liu, Chunhua Shen, and Youliang Yan. Enforcing geometric constraints of virtual normal for depth prediction. In Proc. IEEE Int. Conf. Comp. Vis., 2019. 2, 3, 6 [^67]: Wei Yin, Xinlong Wang, Chunhua Shen, Yifan Liu, Zhi Tian, Songcen Xu, Changming Sun, and Dou Renyin. Diversedepth: Affine-invariant depth prediction using diverse data. arXiv: Comp. Res. Repository, page 2002.00569, 2020. [^68]: Wei Yin, Jianming Zhang, Oliver Wang, Simon Niklaus, Simon Chen, Yifan Liu, and Chunhua Shen. Towards accurate reconstruction of 3d scene shape from a single monocular image. IEEE Trans. Pattern Anal. Mach. Intell., 2022. 2, 3, 9 [^69]: Wei Yin, Jianming Zhang, Oliver Wang, Simon Niklaus, Long Mai, Simon Chen, and Chunhua Shen. Learning to recover 3d scene shape from a single image. In Proc. IEEE Conf. Comp. Vis. Patt. Recogn., 2021. 1, 2, 3, 4, 5, 6, 7, 8, 10 [^70]: Zhichao Yin and Jianping Shi. Geonet: Unsupervised learning of dense depth, optical flow and camera pose. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 1983–1992, 2018. 8 [^71]: Weihao Yuan, Xiaodong Gu, Zuozhuo Dai, Siyu Zhu, and Ping Tan. New CRFs: Neural window fully-connected CRFs for monocular depth estimation. In Proc. IEEE Conf. Comp. Vis. Patt. Recogn., 2022. 2, 3, 6, 8, 10 [^72]: Amir Zamir, Alexander Sax, , William Shen, Leonidas Guibas, Jitendra Malik, and Silvio Savarese. Taskonomy: Disentangling task transfer learning. In Proc. IEEE Conf. Comp. Vis. Patt. Recogn. IEEE, 2018. 9 [^73]: Chi Zhang, Wei Yin, Zhibin Wang, Gang Yu, Bin Fu, and Chunhua Shen. Hierarchical normalization for robust monocular depth estimation. Proc. Advances in Neural Inf. Process. Syst., 2022. 2, 3, 6, 8 [^74]: Chi Zhang, Wei Yin, Gang Yu, Zhibin Wang, Tao Chen, Bin Fu, Joey Tianyi Zhou, and Chunhua Shen. Robust geometry-preserving depth estimation using differentiable rendering. In Proc. IEEE Int. Conf. Comp. Vis., 2023. 3 [^75]: Rui Zhu, Xingyi Yang, Yannick Hold-Geoffroy, Federico Perazzi, Jonathan Eisenmann, Kalyan Sunkavalli, and Manmohan Chandraker. Single view metrology in the wild. In Proc. Eur. Conf. Comp. Vis., pages 316–333. Springer, 2020. 3