Fig. 1. We propose a convolutional approach to correct multipath interference (MPI) errors, in real-time and on complex scenes captured with off-the-shelf, time-of-flight (ToF) cameras. We introduce a novel two-stage learning scheme: we first pre-initialize our network to learn real depth representations, and then re-train these to learn MPI corrections from synthetic data. The leftmost image shows one of our synthetic validation scenes: our method (green) provides a better fit to ground truth data than ToF depth from the camera. In the sequence to the right, we illustrate how our system allows for real-time MPI compensation (10 milliseconds per frame) in real scenes captured with ToF devices, preserving temporal consistency. Please refer to the supplemental video for more results.
飞行时间（ToF）成像已成为深度估计的常用技术，让价格亲民的现成相机能够实时输出深度图。然而，由间接光照产生的多路径干扰会严重降低所采集的深度数据质量。以往的大多数研究试图通过复杂的硬件改造或昂贵的计算来解决这一问题。在本研究中，我们摒弃了这些方案，提出了一种校正多路径干扰导致的深度误差的新技术：无需改动相机，每帧处理时间仅需10毫秒。我们对多路径干扰特性的观察表明，其大部分信息都存在于图像空间中；这使我们能够将深度成像过程建模为空间变化的卷积运算，并利用卷积神经网络来校正多路径干扰误差。由于输入和输出数据的结构相似，我们的网络基于自编码器构建，并分两个阶段进行训练：首先利用编码器（卷积滤波器）学习用于表示受多路径干扰影响的深度图的合适基；接着训练解码器（反卷积滤波器），以从合成场景中校正深度，这些合成场景是通过基于物理的时间分辨渲染器生成的。这种方法帮助我们解决了ToF领域的关键难题——真实数据缺失问题：我们利用大量含多路径干扰的深度采集数据来训练编码器，再借助较小的含真实标签的合成训练集来训练网络的解码器阶段。我们使用现成的ToF相机，仅以采集到的错误深度数据作为输入，在合成及真实的复杂场景中验证了该方法的有效性。
CCS概念：• 计算方法 → 计算机视觉；计算摄影；3D成像；
其他关键词：飞行时间、深度相机、多路径干扰、机器学习
## ACM参考文献格式
胡利奥·马尔科、奎尔库斯·埃尔南德斯、阿道夫·穆尼奥斯、董越、阿德里安·哈拉博、金敏浩、童欣、迭戈·古铁雷斯。2017年。DeepToF：现成实时校正飞行时间成像中的多路径干扰技术。《ACM图形学汇刊》第36卷第6期，文章编号219（2017年11月），共12页。
---
## 1 引言
飞行时间（ToF）成像，尤其是连续波ToF相机，已成为采集深度图的标准技术。这类设备通过向场景发射调制的红外光，并在传感器处关联不同相移的测量结果来计算可见几何体的深度。然而，ToF设备会受到多路径干扰的影响：单个像素会记录多个光线反射，但系统默认所有到达该像素的光线都沿直接路径传播（详情见[Jarabo等人，2017]的研究）。这会导致采集到的深度数据出现误差，进而限制了ToF相机的应用范围。
为了弥补多路径干涉（MPI）带来的问题，以往的大多数研究都借助额外的信息源，比如编码照明或能产生不同相移的多种调制频率，从而区分出间接光。这要么需要更改硬件（例如修改内置照明系统，或使用能够处理多种调制频率的传感器），要么需要用标准的飞行时间（ToF）相机进行多次拍摄。其他采用单调制方式的方法则是先模拟真实的光传输过程，再利用模拟结果来校正采集到的MPI数据。虽然这些方法能适用于任何现成的ToF传感器，但处理单帧图像通常需要数分钟时间，而且一旦模拟不够精确，就容易产生误差。
我们的研究旨在突破这些限制：我们提出了一种利用未经改装的市售相机、在单频率条件下实时校正MPI的新技术。我们关键发现是：由于相机和红外发射器位置相近且视野范围几乎一致，大部分MPI信息实际上已经存在于图像空间中。此外，根据深度图给出的离散几何结构，每个像素处的光传输过程只能被表示为其余像素贡献的线性组合（权重未知）。这一线性过程可以在图像空间中用未知的卷积滤波器表示为空间变化的卷积运算。正因如此，我们设计了卷积神经网络（CNN）来获取这些滤波器。
然而，目前并不存在同时包含带MPI的深度数据及其对应真实参考值的合适ToF数据集，而且现有设备也无法采集此类数据。为解决这一问题，我们利用现有的基于物理的瞬态光传输渲染器（第5节）合成此类数据，并为其加入ToF相机模型。借助该模型，我们在模拟的深度估计中引入MPI，再将其与参考深度进行比较。我们的网络利用合成数据进行训练，以带MPI的深度图作为输入，输出校正后的深度图。由于输入和输出的分辨率相同，我们设计了编码器-解码器结构的网络。虽然振幅或相移图像能为网络提供额外信息，但这些图像往往未经过校准，且高度依赖设备特性。因此，我们将深度作为网络唯一可靠的输入，从而实现了即便对于单频率ToF设备也能实时运行的稳健解决方案。
这种方法带来了两个新挑战。首先，生成合成数据耗时较长，因此模拟数据集不太可能足够庞大且多样化，以避免过拟合问题。其次，尽管我们仔细分析了合成数据以确保其在统计特性上与真实世界数据相似，但它仍可能过于“完美”，比如缺少因传感器或发射器瑕疵导致的细微差异。我们通过利用输入和输出深度在结构上相似这一特点，设计了两阶段训练方法来应对这些挑战。第一阶段是利用真实世界采集的数据训练卷积自编码器（CAE），该阶段无需真实参考值。这一设计同时解决了上述两个挑战，因为它允许我们使用包含真实世界不完美数据的大型数据集进行训练。第一阶段由此训练出网络的编码滤波器，这些滤波器构成了从ToF深度图像的结构特性中学习到的特征字典（第6.1节）。
第二阶段以合成数据集为参考，针对回归任务进行有监督学习；该过程考虑了MPI的影响（此时输入与输出不再相同），并将结果送入解码器（而编码器保持不变）。我们将MPI的影响视为残差，因此将这一阶段建模为有监督的残差学习（第6.2节）。
我们分别在合成数据和真实采集的基准数据上分析了所提方法的性能，并与以往的研究进行了对比，结果显示该方法不仅效果更优，且运行速度显著更快。最后，我们在实际场景中验证了该技术：能够实时修正由ToF相机采集的深度图中的MPI干扰。总而言之，我们的贡献如下：
- 一种两阶段训练策略，结合卷积自编码器和残差学习方法。该方法首先利用无真实标签的真实采集数据中的统计规律，随后对来自合成数据的误差进行补偿（合成数据包含真实标签）。
- 一个具有与真实场景相似统计特性的合成ToF数据集。针对每个场景，我们提供了存在MPI干扰的深度图以及对应的真实深度图。我们认为这类数据十分紧缺，希望我们的数据集能为后续研究提供帮助。
- 一个经过训练的网络，能够实时从单张ToF深度图像中补偿多路径干扰，即便输入数据量极少，其性能仍优于以往的算法。
我们的训练数据集及训练好的网络已在线公开，网址为
## 2 相关工作
卷积神经网络（CNN）已被广泛应用于诸多基于图像的重建任务，例如材质分离、法线估计或深度恢复。此处我们仅关注与本研究密切相关的基于CNN的深度重建方法。关于瞬态成像和ToF成像的完整概述，可参考Jarabo等人最近的综述[Jarabo et al. 2017]；关于其他深度学习技术及其应用，可参阅Goodfellow等人的著作[^2016]。
基于CNN的深度重建。有一类方法通过多视角图像来推导深度。Zbontar等人[^2015]训练了一个CNN来计算立体图像对的匹配代价。Kalantari等人[^2016]利用CNN估算稀疏光场视图间的视差，再将结果送入另一个CNN以插值生成用于新视图合成的光场视图。与这些多视角方法不同，
---
我们是通过单目ToF相机拍摄的单张快照来重建深度图像的。
其他方法通过单张RGB图像来估计深度。Eigen等人[2015; 2014]提出了一种端到端的CNN模型，该模型首先恢复出粗略的深度图像，随后逐步对其进行精细化处理。在每一步中，都会对粗略深度进行上采样，并将其与细粒度的图像特征相结合。基于这种方法，多项研究将生成的深度表示为条件随机场（CRF），然后借助彩色图像分割技术[Li等人，2015；Liu等人，2015；Wang等人，2015]或利用中间CNN层生成的多分辨率深度信息[Xu等人，2017]来对深度图进行进一步优化。尽管这些方法提高了结果的精确度，但CRF优化过程既耗时又昂贵。最近，Su等人[^2017]利用从大型数据集渲染出的合成数据训练CNN，以便从单张RGB或RGB-D图像中重建低分辨率的3D形状。与这些方法不同，我们并不依赖额外的信息源。此外，我们还开发了一种高效方案：结合无标签的真实ToF图像与有标签的合成数据进行CNN训练。该方案能够以高达每秒100帧的速度高效生成全分辨率的深度图。
多路径干扰问题。多项研究利用了具有多种调制频率的振幅和相位图像作为输入。这类输入可通过优化手段转化为多路径干扰校正[Dorrington等人，2011；Freedman等人，2014]，也可通过逆衰减多项式的闭式解[Godbaz等人，2012]、频谱方法[Feigin等人，2016；Kirmani等人，2013]、稀疏正则化[Bhandari等人，2014]来处理，或者通过将间接光照建模为频域中的相量相互作用[Gupta等人，2015]。虽然这些技术对于能够同时捕捉多个频率的某些设备（如Kinect V2 [Feigin等人，2016]）而言效率较高，但对于单频率ToF相机来说却需要多次扫描。
其他处理多路径干扰的方法涉及硬件的添加或修改。Wu及其同事[^2014]利用飞秒摄影技术极高的时间分辨率，将全局光传输分解为直射光、次表面散射和相互反射成分[Velten等人，2013]。经过改装的ToF传感器能够从多个频率中重建瞬态图像[Heide等人，2013；Peters等人，2015]。其他技术还包括定制编码[Kadambi等人，2013]，或将ToF传感器与结构光投影结合[Naik等人，2015；O'Toole等人，2014]。相比之下，我们的方法仅需使用现成的相位ToF传感器即可，无需任何修改。
有些技术通过从近似深度图中估算光传输情况，从而从单频率（即单张振幅和深度图像）中消除多路径干扰。其中一种近似方法考虑了单次间接漫反射（假设反照率恒定），该方法将场景中所有像素对联系起来[Fuchs，2010]。后来，通过加入一些用户输入，该方法被扩展为可处理多次漫反射及多种反照率情况[Fuchs等人，2013]。此外，也有研究提出了基于深度空间的优化算法并结合路径追踪技术[Jiménez等人，2014]。虽然这些方法能够补偿由任何ToF设备获取的输入数据中的多路径干扰，但它们非常耗时；而且由于输入数据稀疏且对光传输模型的简化假设，它们无法在所有情况下完全区分间接光。相比之下，即便仅使用更少的信息（单张深度图，不含振幅数据），我们的方法也能针对各种复杂几何形状、不同反照率的情况实时补偿多路径干扰。
表1总结了这些方法，并将它们与我们提出的方法进行了比较。我们列出了所需的输入、测试场景的多样性（包括反照率和几何形状）以及执行时间。我们的方法适用于多种场景，仅需单张深度图作为输入，即可实现实时性能。
## 3 问题陈述
ToF深度误差。利用四个相移测量值$c_{1...4}$，ToF设备可计算出每个像素p处的深度z：
$$ z=\frac{c\,\phi}{4\pi f_{\omega_{R}}} $$
$$ \phi=\arctan\left(\frac{\mathbf{c}_{4}-\mathbf{c}_{2}}{\mathbf{c}_{1}-\mathbf{c}_{3}}\right), $$
其中$f_{\omega_R}$为设备的调制频率，c为真空中的光速，$\phi$为到达像素p的波的相位。该模型基于场景存在单一脉冲响应的假设，即假定：
$$ \begin{array}{r}{\mathbf{c}_{i}(p)=x(p)e^{2\pi j\phi(p)\frac{f\omega_{R}}{c}+\theta_{i}},}\end{array} $$
此处$j=\sqrt{-1}$、$x(p)$分别为波的振幅，$\theta_{i}$为测量值$c_{i}$的相位偏移。然而，在存在间接照明的情况下，观测到的像素可能接收到非单次反射直射光之外的光线，从而导致：
$$ \hat{\mathbf{c}}_{i}(p)=\mathbf{c}_{i}(p)+\int_{P}x(\overline{{p}})e^{2\pi j\phi(\overline{{p}})\frac{f\omega_{R}}{c}+\theta_{i}}d\overline{{p}}, $$
其中P表示所有从多个反射路径到达像素p的光线集合$\overline{p}$；振幅$x(\overline{p})$以及由光飞行时间引起的相位延迟$\phi(\overline{p})$此时均为路径$\overline{p}$的函数。ToF传感器通常会忽略多反射路径的影响，从而得到近似测量结果$\mathbf{c}_{i}(p) = \hat{\mathbf{c}}_{i}(p)$，进而产生深度估计误差，即多路径干扰（MPI）。
MPI现象观察。在ToF测距设备中，光源通常与摄像头位于同一位置，共享相似的可见视锥。如图2所示（摄像头朝向桌面），这意味着由二次反射间接照明引起的大部分MPI都源自实际可见的几何物体。以往的研究利用了这一特性，要么仅考虑二次反射照明[Dorrington等人，2011年；Fuchs，2010年]，要么忽略不可见的几何物体[Jiménez等人，2014年]。更高阶的间接照明可能源自不可见的几何物体，但由于散射事件的指数衰减以及随距离增加的二次衰减效应，超过两次反射的光线路径主要在点的局部邻域内产生干扰（见图2，摄像头朝向植物）。这些观察结果表明，场景中多路径干扰的大部分信息都存在于图像空间中，此时方程(4)被离散化为一个汇总结果，可建模为空间变化的卷积。有关此类空间变化卷积的更详细推导，请参阅附录A。
---
Table 1. Comparison between the different existing techniques that address the problem of multipath interference, including required input, tests shown in the paper (material types and variability of scenes) and execution time. Our approach performs in real time while requiring the most reduced input. Furthermore, we show a greater scene variability in terms of materials and geometries.
| Work | Input | Tested materials | Scenes | Reported time |
| [Fuchs 2010] | Single frequency | Single albedo | Few planes | ≈ 10 minutes |
| [Dorrington et al. 2011] | Multiple frequencies | Multiple albedos | Few planes | Unreported |
| [Godbaz et al. 2012] | Multiple frequencies | Multiple albedos | Few planes | Unreported |
| [Fuchs et al. 2013] | Single frequency, user input | Multiple albedos | Few planes | ≈ 150 seconds |
| [Heide et al. 2013] | Multiple freqs, hardware mods. | Multiple albedos | Several | ≈ 90 seconds |
| [Kadambi et al. 2013] | Single freq., custom code | Multiple albedos | Several | ≈ 4 seconds |
| [Kirmani et al. 2013] | Multiple frequencies | Single albedo | Few planes | Real time |
| [Freedman et al. 2014] | Multiple frequencies | Mult. albedos, specular | Few scenes | 31.2 ms |
| [Bhandari et al. 2014] | Multiple frequencies | Transparency | Few planes | Unreported |
| [O’Toole et al. 2014] | Multiple freqs, structured light | Multiple albedos | Several | Unreported |
| [Jiménez et al. 2014] | Single frequency | Multiple albedos | Many | Several minutes |
| [Peters et al. 2015] | Multiple frequencies | Mult. albedos, specular | Scene, video | 18.6 fps |
| [Gupta et al. 2015] | Multiple frequencies | Multiple albedos | Few scenes | Unreported |
| [Naik et al. 2015] | Single freq. structured light | Multiple albedos | Few planes | "Not real time" |
| [Feigin et al. 2016] | Multiple frequencies | Transparency | Several | "Efficient" |
| Our work | Single depth | Multiple albedos | Many | 10ms |
Fig. 2. ToF MPI at different scales, showing IR emission (red), indirect bounces (blue) and observed radiance (green). Left: Observed second-bounce illumination occurs mostly from reflections on visible geometry due to shared light-camera visibility frustum (camera facing the table), while higher-order bounces usually have a significant impact in the locality of the observed points (e.g. camera facing the plants). Right: Large objects such as a wall may cast a significant indirect component over the whole scene when captured from afar, while longer paths from out-of-sight geometry (discontinuous) create negligible MPI due to attenuation.
最后，由于多路径干扰并不会消除深度图的主要结构特征，因此错误的深度与参考深度在结构上相似。
## 4 我们的方法
鉴于MPI可以表述为一种空间变化的卷积运算，MPI补偿便可被建模为深度空间中的一系列卷积与反卷积操作。这进而表明，理论上可以通过设计卷积神经网络（CNN）来解决MPI误差问题。具体而言，由于错误深度与正确深度仅有细微差别（但结构相似），使用卷积自编码器（CAE）便成了颇具吸引力的解决方案。卷积自编码器是一种强大的工具，它利用无监督学习方式，以相同的输入和输出数据来学习低维特征向量的隐藏表示，最终形成两个对称的网络：编码器和解码器。这种方式能够构建更深层的网络架构，且在生成这些表示时还能保留空间局部性[Masci等人，2011]。这些低维特征向量保留了输入数据中的相关结构信息，同时消除了现有误差，从而有效还原出（参考）图像。近年来，CAE已在诸多视觉与成像任务中取得成功应用（例如[Choi等人，2017；Du等人，2016]）。
然而，常规的CAE无法直接应用于我们的特定问题：由于MPI引入的误差与待恢复的参考深度高度相关，训练时需要这类真实参考数据进行指导。但用于训练的足量标注数据集——即受MPI干扰的深度图像与其对应的真实深度图像配对数据——并不存在。尽管现实世界中的ToF深度图像随处可见，但测量其真实深度图却并非易事。另一方面，从合成场景渲染时间分辨图像极为耗时，且所得结果仅能覆盖现实场景变化的一小部分。
我们提出了一种两步训练方案，利用无标注的真实深度图像以及有标注的合成深度图像对（包含MPI干扰及无干扰两种情况）来训练卷积神经网络。我们的方法借鉴了基于过完备字典与稀疏编码的超分辨率算法[Yang等人，2010]。图6展示了我们网络的整体架构：首先，我们通过传统的无监督CAE训练来学习作为深度先验的编码器网络，此时将带有未知误差的无标注真实深度图像同时用作输入和输出。由此得到的编码器能够提取错误深度图像的低维特征向量。在第二步中，与稀疏编码中将原始信号重构为字典原子的线性组合不同，我们训练一个解码器，以便从这些特征向量中重建参考深度图。为此，我们保持编码器网络不变，再将其与一个残差解码器网络串联起来。解码器网络的权重则通过有监督的CNN训练，利用合成深度图像对来学习。
因此，我们的网络仅需将含有MPI干扰的深度图像作为输入，便能输出不受MPI影响的深度图。我们并未向网络提供其他ToF相关信息，比如像素幅度或相位图像，因为这些属性高度依赖于
---
Without MPI With MPI
Fig. 3. Representative sample of the scenes (amplitude) rendered with the ToF model to generate depth images with MPI. The top-left image shows the same scene with and without MPI.
特定的ToF相机设置，且稳定性较差。仅以深度信息作为输入，我们的解决方案便能在使用单频工作的商用ToF设备下保持鲁棒性。
在接下来的两节中，我们首先介绍用于训练的数据集（第5节），随后详细阐述我们的网络及两步训练方案（第6节）。
## 5 训练数据
为了获得由MPI导致的错误深度图与真实参考深度图的准确配对，我们利用Jarabo等人公开发布的时间分辨双向路径追踪器来模拟ToF照明模型的响应[^2014]。借此我们可以生成四幅相位图像[公式(2)]，进而得到ToF相机的MPI失真深度估计结果[公式(1)]。
现有的ToF设备通常使用方形调制函数而非理想的正弦函数，这会引入额外的深度估计误差（即抖动现象）；尽管ToF相机会对这些误差加以考量并在最终深度图像中予以补偿，但这种抖动效应及其校正方式因相机而异，且制造商通常不会提供相关信息。因此，我们采用理想的正弦函数，以避免引入非MPI相关的误差源。真实深度则可通过仿真轻松获取。
数据集方面，我们模拟了25种不同材质的场景，选用了反照率介于0.3到0.8之间的六种不同组合，并从七个不同视角进行渲染，分辨率设为$256 \times 256$——这一参数与ToF相机输出的分辨率相近——同时计算了多达20次间接光照反射。由此我们获得了1050张包含MPI效应的深度图像（通过翻转和旋转操作可生成共计8400张），以及对应的参考深度图。这些场景的几何模型取自三个不同的免费资源库$^{1}$。部分示例可见图3。在本文后续内容中，我们将其称为合成数据集。
从头训练一个神经网络需要足够大的标注数据集。然而，生成这类数据集耗时极长，所以
Fig. 4. Depth map with MPI of a real scene (top left) captured by a ToF camera, and its corresponding synthetic model (top right). The bottom row shows the depth profiles for the horizontal (left) and vertical (right) lines, showing a good agreement.
Fig. 5. In reading order: Absolute MPI error; depth distribution for reference and ToF depths, at a modulation of 20MHz (i.e. maximum unambiguous distance of 7.5m); relative error with respect to measured ToF depth; and bivariate histogram showing relative MPI error density per measured ToF depth. Measured ToF depths contain an average error of 12%. The blue line in the bivariate histogram shows that the average relative MPI error per ToF depth remains around 10% for most measured depths.
仅依靠合成数据来完成我们的研究目标是不切实际的。因此，我们从公共资源库中收集了额外包含6000张无标注真实深度图像的数据集（经翻转和旋转操作后可达48000张）[Karayev et al. 2011; Silberman et al. 2012; Xiao et al. 2013]，用以对网络进行预初始化；我们将其称为真实数据集。学习无标注真实深度的表征，将有助于后续利用规模较小的合成标注数据集来提升深度校正效果（见第6节）。
图4对比了用ToF相机拍摄的真实场景（包含MPI效应）与我们进行的ToF仿真结果，二者吻合度较高。此外，我们在附录B中对这两组数据进行了统计分析，以评估它们的相似性。
MPI误差的定量分析：图5展示了整个合成数据集中的误差分布情况。需要注意的是，虽然以往的研究仅关注小场景中几厘米级别的局部误差，但我们的数据表明全局误差可能更为显著——对于距离不超过7.5米的场景，平均误差可达26厘米（左上直方图中的红线）。总体而言，有12%的
---
实测ToF深度数据源于MPI效应（左下直方图）。反映相对误差与观测深度关系的双变量直方图（右下）进一步显示，对于大多数实测深度而言，平均误差稳定在10%左右，且深度越小误差越大。
## 6 网络架构
接下来我们将介绍网络的训练方法，采用两阶段方案：首先利用真实数据集进行自编码训练，随后使用合成数据集进行监督解码训练。
### 6.1 第一阶段：自编码器
我们使用包含48000张带有未知误差的深度图像的真实数据集来训练卷积自编码器。我们将这些有误差的深度图像用作无监督训练的输入和输出，并用合成数据集（含MPI）作为验证集。通过这一阶段，我们对网络进行预初始化，从而使编码器（图6上方灰色模块）能够为真实和合成深度图生成低维特征向量（图6上方蓝色模块）。该阶段的训练和验证曲线如图7所示。一旦编码器参数训练完成，我们就冻结其卷积层，仅在第二阶段更新解码器层。
网络参数。在编码阶段，我们采用两组$5 \times 5$卷积操作，设置两像素填充且步长为两像素，逐步减小每层卷积输入的尺寸。这有助于有效整合并提取不同尺度的特征。我们在六个尺度上执行此操作，对大小为$256 \times 256$像素的特征进行卷积对处理，直至最内层的卷积对（最后一层编码器），其尺寸为$8 \times 8$。在解码阶段，我们从编码器输出开始进行上采样及带两像素填充的$5 \times 5$卷积操作（见图6上方红色箭头），直至达到$256 \times 256$的输出分辨率。
我们曾尝试不采用这种预初始化步骤，直接用带标签的合成数据训练网络。结果显示，网络丧失了泛化能力，验证集上的准确率大幅下降，具体结果见第7节。
### 6.2 第二阶段：有监督解码器
在第二阶段，我们冻结编码器层，利用合成数据集通过有监督学习方式训练解码器。我们将有误差的深度图像（含MPI）作为输入，将无MPI的参考深度图像作为输出。我们用合成数据集的80%用于训练，剩余20%用于验证。由于编码器会执行下采样操作以检测多尺度特征，因此全分辨率输出（256×256）会明显模糊。为此，我们添加了对称的跳跃连接，将编码卷积中保持不变的细节特征与解码器中对应的输出相融合（见图6下方）。由于我们发现含MPI的深度图像（输入）与参考深度图像（输出）之间的平均差异为12%，我们按照[He et al. 2016]的方法将MPI视为残差，通过对上采样特征与跳跃特征进行逐元素相加来处理。该阶段的训练和验证曲线如图7所示。
原则上，将跳跃特征进行拼接（而非简单的逐元素相加）可以利用额外的学习滤波器生成更复杂的上采样特征组合。但在我们的实验结果中发现，这种残差方法的表现同样出色（甚至略好，详见第7.1节），同时还能使网络模型体积缩小30%，并减少执行时间。
### 6.3 实现细节
我们采用Caffe框架实现了该网络，并在NVIDIA GTX 1080上进行了训练。我们的网络直接接收输入深度数据，无需进行任何归一化处理。遵循以往使用CNN的研究惯例，所有卷积层之后依次接批量归一化层、缩放与偏置层以及ReLU激活层。训练过程中，我们采用Adam求解器[Kingma和Ba 2014]来进行梯度传播。学习率被设定为$1 \cdot 10^{-4}$，并在$1 \cdot 10^{-3}$到$1 \cdot 10^{-5}$的范围内以阶梯方式调整，以避免模型陷入平台期；同时我们将批处理大小设为16以充分利用内存。最终生成的网络可在10毫秒内完成单帧图像的MPI校正。关于网络和训练的更多细节，包括输入数据源，均可在项目网页上查看。
## 7 结果与验证
在本节中，我们首先分析了其他几种更简单的替代网络，结果显示它们的效果较差。随后，我们将我们的结果与使用商用相机的现有方法进行比较，并在合成场景和真实场景中全面验证了该方法的有效性，其中实时视频处理也包含在验证范围内。真实场景的采集使用的是PMD CamCube 3.0设备，该设备可生成分辨率为$200 \times 200$的深度图像，工作频率为20MHz，最大无歧义深度可达7.5米。
### 7.1 替代网络
我们测试了三种替代CNN的方案：(1) 通过直接用合成标注数据训练编码器-解码器来跳过自编码阶段；
(2) 移除残差跳跃连接；
(3) 用拼接连接取代残差连接。图8展示了采用残差学习方法的自编码器相较于其他方案能取得更好的效果，
它具有更强的泛化能力且网络规模更小。通过
连接。图8展示了我们的带有残差的自编码器如何
若没有自编码阶段，图像的平均分数会低于我们的结果（见图8右上角表格）。此外，未进行预初始化时，单张图像的平均绝对误差方差
是我们残差网络误差方差的三倍，这会导致模型精度更不稳定。拼接跳跃连接会使结果略有恶化，同时还会使网络规模增大约30%，
计算每个网络预测的深度之间的 $R^{2}$ 分数
从而导致输出结果模糊，精度也大幅降低。
在没有自编码阶段的情况下，图像呈现出较低的平均
分数低于我们的结果（见图8，右上表格）。此外，方差-
的逐图像平均绝对误差在没有预初始化的情况下
是我们残差网络误差方差的三倍，导致
精度更不稳定。拼接跳跃连接会略微降低
结果，同时还使网络规模增大大约30%
，原因是需要学习更多参数来组合
额外特征。最后，移除残差跳跃连接会使
上采样特征无法用来自
编码器层的高分辨率特征来增强，从而产生模糊的输出，因此
误差较大。
---
Fig. 6. Our two-stage training process for our regression network architecture. The first training stage learns a convolutional autocoder (an encoder-decoder pair) to learn lower-dimensional representations of depth. We use incorrect (with MPI) depth as both input and output in this unsupervised training. In the second, supervised training stage we input both incorrect depth with MPI and depth without MPI, and add skip connections for residual learning while fixing the weights of the encoder. This supervised training allows us to update the weights of a reconstruction decoder. Our final network is the pair of the original encoder and the updated decoder, working as a regression network. Please refer to the text for a more complete description.
Fig. 7. Learning curves for our two-stage scheme. The first stage (left) learns lower-dimensional representations of real depths using an autoencoder. The second stage (right) learns MPI corrections in the decoder by training with our labeled synthetic data. Note that the first stage converges quickly and provides a good starting point for the second stage, which uses a different training set.
### 7.2 与以往研究的比较
在图9中，我们将我们的解决方案与以往无需硬件修改、仅使用单一频率的方案进行比较[Fuchs 2010; Jiménez et al. 2014]。我们采用了合成场景和真实场景两种测试环境。Fuchs的方法[^2010]由于光传输的离散化问题，会导致估计结果存在噪声，其计算时间约为10分钟。
Fig. 8. Error distributions for different network alternatives: without residual connections (purple), without the autoencoding pre-initialization (blue), with concatenated skip connections (yellow), and our residual approach (green). Average $R^{2}$ across all predicted depth images shows that our residual learning with autoencoding pre-initialization reaches the best error distributions in the results, in terms of accuracy and low variance. The percentiles show that our approach presents also the best error distribution.
Jimenez等人的技术[^2014]会受到场景几何复杂度的限制，生成分辨率为$100 \times 100$的低分辨率图像就需要约一小时；由于内存消耗巨大（约60GB），我们无法计算更大尺寸的图像。此外，其结果总体上与输入的ToF采集数据非常接近，其中也包含了MPI误差。
---
Fig. 9. Comparison with previous works. Top row: synthetic scene. Bottom row: real scene. Jimenez et al' approach [^2014] is hindered by the geometrical complexity of the scenes, and fails to correct MPI since the optimization converges to a local minimum. Fuchs' technique [^2010] is closer to the reference, but is very noisy and greatly diverges in some regions. Our approach is the closest to the reference, as shown both in the depth maps and the graphs plotting the blue scanlines.
Fig. 10. Per-pixel distributions of absolute error for the synthetic validation dataset (left), and real dataset with measured ground truth (right). For each distribution, three percentiles (25%, 50% and 75%) are marked below. Our results clearly present a better error distribution.
同时还存在一些异常像素。我们的结果明显更接近参考值，不仅消除了MPI误差，计算速度更是快了数个数量级。
### 7.3 合成场景
从合成数据集中，共有213个场景被用作验证集（通过翻转和旋转操作扩充至1704个）。如图10（左）所示，我们的方法能得出更好的误差分布。图11展示了模拟ToF深度图、经我们修正后的MPI深度图以及参考深度图的对比情况。我们的CNN在保留细节的同时，显著减轻了MPI误差。
此外，在图12中，我们通过随机将三个不同场景中每个物体的反射率设置在0.3到0.8之间，对比了五种反照率组合下的误差情况。可以看出，我们的网络对这些变化具有鲁棒性，能够持续修正由MPI导致的深度误差。值得注意的是，即使大型平面物体发生强烈反照率变化（比如第一排的柜子或第二排的桌面），我们的网络仍能成功恢复正确的深度。
### 7.4 真实场景
现在我们来分析我们的方法在真实场景中的表现，这些场景是用PMD相机拍摄的。我们首先展示在包含V形结构、面板和康奈尔盒子的受控场景下的结果，随后是更具挑战性的野外拍摄结果。所有拍摄图像的镜头畸变都通过标准校准进行了修正，校准过程利用了棋盘格图案以及不同距离下的拍摄数据[Bouguet 2004; Lindner et al. 2010]，以得到相机的内部参数。
康奈尔盒子和V形结构。我们设计了不同的实验装置，将康奈尔盒子结构与带有平面面板的V形结构相结合（见图13左列）。我们精确测量了这些场景的几何参数，从而生成对应的合成参考图像用于定量分析。康奈尔盒子的尺寸为$600 \times 500 \times 640$毫米，附加面板的尺寸则在400毫米到1200毫米之间。PMD相机被放置在距物体0.5米到2.4米的不同位置。我们还在场景中添加了几种几何元素：三个不同尺寸的棱镜，以及一个硬纸板制成的字母E，用以制造额外的MPI误差源。康奈尔盒子、两块面板以及较小的形状物体表面都涂了两层由硫酸钡和白色哑光漆按1:1比例混合而成的涂料，这种混合涂料在耐用性和高反射漫反射表面特性之间取得了良好平衡[Knighton and Bugbee 2005; Patterson et al. 1977]。需要注意的是，这种混合涂料的反照率约为0.85，因此会产生较大的MPI效应，从而确保场景具有极高的挑战性。图13（中间和右列）展示了拍摄得到的深度图以及我们修正后的结果。我们在两个场景中都能补偿大部分MPI误差，使深度结果比FoF相机的结果更接近参考值。从误差分布图（图10中的右侧直方图）可以看出，我们的CNN能将50%的像素级误差控制在5厘米以内，而PMD拍摄结果中75%的误差都超过了9厘米。
真实场景中的实例。我们选取了几个真实场景进行分析，以展示在非受控条件下我们方法的优势。结果如图14所示。可以看出，我们的网络在所有情况下都能成功抑制多路径干涉现象，同时得益于残差学习方法，仍能保留细节。我们所做的多路径干涉校正幅度与测量的飞行时间距离成正比。这与我们在误差分析中的观察结果一致（见图5）：距离越大，误差往往也越大，因为相对误差会波动在10%左右。
### 7.5 实时视频处理
凭借我们方法的高速度，我们也能实时处理深度视频。在时间连贯性方面，我们利用了一个事实：我们的输入（错误的深度图）在帧与帧之间相当稳定，因此网络无需刻意约束就能产生时间上连贯的结果。而振幅和/或相位等其他输入则稳定性较差，可能会破坏这种时间连贯性。我们在图1和图15中展示了一些帧；完整序列可在补充视频中查看。
---
Fig. 11. Validation results for synthetic scenes (validation set) at varying distances between 0.5 and 7 meters. Top row shows ToF amplitude. Second, third and fourth rows show ToF depth with MPI, our estimated depth, and reference depth (without MPI). Our solution manages to correct MPI errors in a wide range of scenes while preserving details.
Fig. 12. Validation results for three scenes (one per row) with randomly varying albedos (one albedo set per column). Images show amplitude, vertical and horizontal plots show depth. Our approach is robust under arbitrary albedo variations.
---
Fig. 13. Error comparison for different captured combinations of the Cornell box, panels and prisms. Reference depth solutions were obtained replicating the scenes in simulation. We significantly decrease MPI errors in all the captured scenes, yielding errors under 5 cm for the 50% of the pixels, as we demonstrate in the error histograms (Figure 10).
Fig. 14. Comparison of conventional ToF and our corrected depth, in real world scenes. In accordance with our analysis of MPI errors from our synthetic dataset, longer depths yield higher errors (about 10% of the measured distance).
我们的输入（错误的深度图）在帧间相当稳定，因此网络无需特意设置就能生成时间上连贯的结果。而振幅和/或相位等其他输入的稳定性较差，可能会影响这种时间连贯性。我们在图1和图15中展示了一些帧；完整序列可在补充视频中查看。
Fig. 15. Our approach can also be applied to correct MPI errors of in-the-wild videos of real scenes, in real time and keeping temporal consistency. Here we show the depth profiles of a few frames of two of our videos. The complete sequences can be found in the supplemental video.
Fig. 16. Due to the high albedo of our barium-mixed diffuse paint ( $\approx$ 0.85), some specific camera-light configurations may yield large MPI errors (left). Objects very close to the camera (right, bottom-left box) yield a higher error since most of our training dataset has depths from 1.5m to 4m (see Figure 5). Still, our approach manages to improve MPI errors in both cases, providing results significantly closer to the reference depth.
## 8 讨论与未来工作
我们提出了一种全新的飞行时间成像方法，能够实时补偿多路径干涉效应。该方法仅需使用未经改装的市售相机、单一频率以及错误的深度图作为输入即可实现。这得益于我们精心设计的编码器-解码器（卷积-反卷积）神经网络，以及基于采集数据和合成数据的两阶段训练过程。在本文中，我们提供了包含错误深度图（受多路径干涉影响）及其对应正确深度图对的合成飞行时间数据集，还有训练好的网络，供公众使用。
未来有诸多研究方向。首先，如第5节所述，我们的训练数据集中并未考虑由于波形非理想正弦而产生的抖动误差，因为飞行时间相机可部分补偿此类误差，且制造商并未提供相关信息。如果能获得这些信息，我们就可以将完整的相机处理流程（包括非正弦波形和抖动校正）纳入训练数据集，并重新训练CNN以顾及这些残余误差。此外，如图16所示，仍有一些具有挑战性的场景有待改进。钡涂层表面的反射率极高，会在特定相机-光照配置下产生严重的多路径干涉误差（左图）。尽管我们的多路径干涉校正效果优于原始采集的飞行时间深度图，但平均仍有约10厘米的残余误差。另外，当物体距离相机极近时，我们的网络无法有效校正多路径干涉现象，比如第二个示例中的左下角盒子（图16，右图）。这很可能是因为我们的合成数据集中大部分样本的深度介于1.5米到4米之间。尽管如此，正如我们在图10中所展示的，逐像素误差分布明显优于原始采集的飞行时间深度图。
---
未来有诸多研究方向。首先，如第5节所述，我们的训练数据集中并未考虑由于波形非理想正弦而产生的抖动误差，因为飞行时间相机可部分补偿此类误差，且制造商并未提供相关信息。若能获取这些信息，我们就可以将完整的相机处理流程（包括非正弦波形和抖动校正）纳入训练数据集，并重新训练CNN以顾及这些残余误差。此外，如图16所示，仍有一些具有挑战性的场景有待改进。钡涂层表面的反射率极高，会在特定相机-光照配置下产生严重的多路径干涉误差（左图）。尽管我们的多路径干涉校正效果优于原始采集的飞行时间深度图，但平均仍有约10厘米的残余误差。另外，当物体距离相机极近时，我们的网络无法有效校正多路径干涉现象，比如第二个示例中的左下角盒子（图16，右图）。这很可能是因为我们的合成数据集中大部分样本的深度介于1.5米到4米之间。尽管如此，正如我们在图10中所展示的，逐像素误差分布明显优于原始采集的飞行时间深度图。
## 致谢
我们要感谢匿名审稿人提出的富有洞见的意见，感谢Belen Masia对稿件的校对，也感谢图形与成像实验室成员的有益讨论。该项目得到了欧洲研究理事会（ERC）在欧盟“地平线2020”研究与创新计划下的资助（CHAMELEON项目，授予协议号682080），以及DARPA（REVEAL项目）和西班牙经济与竞争力部的资助（TIN2016-78753-P和TIN2014-61696-EXP项目）。Min H. Kim感谢韩国国家研究基金会（NRF）的资助（2016R1A2B2013031、2013M3A6A6073718）、Giga KOREA项目（GK17P0200）以及韩国文化体育观光部下属的KOCCA的资助。Julio Marco还得到了阿拉贡自治政府的资助。
我们的研究假设反射为漫反射（或近似漫反射）。尽管我们已经证明该方法在多种具有更一般反射特性的真实场景中表现良好，但在存在高光泽材料时仍会出现一些问题。虽然将这类反射特性纳入训练数据集会有帮助，但我们的方法对于极度光滑或透明的表面很可能失效；在此类场景下，其他多频率方法[Kadambi等人，2013年；Qiao等人，2015年]可能更为适用。
## 附录
## A 图像空间中的光传输
第3节说明了场景中多路径干涉的大部分信息是如何存在于图像空间的。这使我们能够将积分域P限定为从可见几何形状到达像素p的微分路径$\bar{p}$，从而近似公式(4)。此外，鉴于图像的离散化域，我们可以利用传输矩阵$T_{i}$ [Ng等人，2003年；O'Toole等人，2014年]来建模公式(4)，该矩阵关联了像素$p_{v}$处的理想响应与测量相位偏移i下像素$p_{u}$处的输出响应。因此
$$ \begin{aligned}\hat{\mathbf{c}}_{i}(p_{u})&=\mathbf{c}_{i}(p_{u})+\sum_{v}\mathbf{T}_{i}(p_{u},p_{v})\mathbf{c}_{i}(p_{v})\\&=\mathbf{c}_{i}(p_{u})+\mathbf{T}_{i}*\mathbf{c}_{i},\end{aligned} $$
其中$*$是在$p_v$中的卷积运算，而$\mathbf{c}_i$是完整的相移图像。理想情况下，这意味着我们可以通过对已捕获的$\mathbf{c}_i$进行反卷积来计算正确的相移图像$\hat{\mathbf{c}}_i$，因为$\mathbf{c}_i = \hat{\mathbf{c}}_i *_v (I + \mathbf{T}_i)^{-1}$相当于单位矩阵I，但实际上这并不可行，因为传输矩阵$\mathbf{T}_i$是未知的。采集数据
Fig. 17. (a) Logarithmic depth histogram of real and simulated depths, showing a good match between both sets. (b) Derivative in x and y directions of real and simulated depths, also showing a similar trend. Please refer to the text for quantitative data and other statistical analyses.
这一过程成本高昂，而且我们无法对光传输的局部性做出强简化假设（即$T_{i}$的稀疏性），因为远处像素反射的光线可能对像素p有重要贡献。不过，正如我们在第4节中展示的那样，我们可以通过卷积神经网络来学习得到的反卷积算子。
## B 深度统计
为了验证我们的合成数据集（第5节），我们参考了以往关于深度图像统计的研究[Huang等人，2000年；Huang和Mumford，1999年]，分别对真实数据集和合成数据集进行分析。具体而言，我们分析了单像素统计、导数统计和双变量统计，以及Haar小波系数的联合统计。为了比较结果，我们使用了三种不同的指标：卡方误差[Pele和Werman，2010年]、Jensen-Shannon距离[Endres和Schindelin，2003年；Lin，1991年]以及皮尔逊相关系数。第一种是指介于0到∞之间的加权欧几里得误差（数值越小越好）；第二种用于衡量两个分布之间的相似性，取值范围为0到$\sqrt{ln(2)} = 0.833$（数值越小越好）；最后一种衡量相关性，值为0表示两个变量相互独立，±1则表示完美的线性正相关或负相关。
图17a展示了两组图像的深度直方图。它们非常相似，卡方误差为0.032，Jensen-Shannon距离为0.129，相关系数为0.90。图17b显示两组数据集的垂直和水平梯度也呈现相似的趋势，其中垂直梯度的卡方误差为0.051，Jensen-Shannon距离为0.162，相关系数为0.948；水平梯度的卡方误差为0.028，Jensen-Shannon距离为0.118，相关系数为0.969。正如Huang [^2000]所报告的那样，这两组数据的峰度值都很高。
接下来，我们按照共生方程[Huang等人，2000年；Lee等人，2000年]，对固定间距下的像素对进行了双变量统计分析。采集数据与模拟数据之间的匹配程度为：卡方误差0.094，Jensen-Shannon距离0.245，相关系数0.915。最后，我们选择了三种Haar滤波器（水平、垂直和对角线），用于分析小波域中的联合统计特性。水平-垂直配对以及水平-对角线配对的采集数据与模拟数据匹配程度分别为：卡方误差0.152和0.172，Jensen-Shannon距离0.314和0.336，相关系数0.892和0.896。
---
这些数值表明，我们的模拟图像与现有的真实世界深度图像具有非常相似的深度统计数据，因此可以作为我们网络的可靠输入。
## 参考文献
Ayush Bhandari、Achuta Kadambi、Refael Whyte、Christopher Barsi、Micha Feigin、Adrian Dorrington和Ramesh Raskar。2014年。通过调制频率多样性和稀疏正则化解决飞行时间成像中的多路径干扰问题。《光学快报》第39卷第6期，第1705–1708页。
Jean-Yves Bouguet。2004年。Matlab版相机校准工具箱。（2004年）。
Inchang Choi、Daniel S. Jeon、Giljoo Nam、Diego Gutierrez和Min H. Kim。2017年。利用光谱先验进行高质量高光谱重建。《ACM图形学交易》（SIGGRAPH Asia 2017）第36卷第6期。
A. A. Dorrington、J. P. Godbaz、M. J. Cree、A. D. Payne和L. V. Streeter。2011年。从商用测距相机中分离出真实测距数据与多路径及散射干扰。载于SPIE会议录，第7864卷，786404–786404–10页。
B. Du、W. Xiong、J. Wu、L. Zhang、L. Zhang和D. Tao。2016年。用于特征表示的堆叠卷积去噪自编码器。《IEEE神经网络与系统汇刊》第99卷，第1–11页。
David Eigen和Rob Fergus。2015年。利用通用的多尺度卷积架构预测深度、表面法线和语义标签。载于ICCV会议录。
David Eigen、Christian Puhrsch和Rob Fergus。2014年。利用多尺度深度网络从单张图像预测深度图。载于NIPS会议录。
Dominik Maria Endres和Johannes E Schindelin。2003年。一种概率分布的新度量标准。《IEEE信息理论汇刊》第49卷第7期，第1858–1860页。
M. Feigin、A. Bhandari、S. Izadi、C. Rhemann、M. Schmidt和R. Raskar。2016年。解决Kinect中的多路径干扰问题：一种逆问题方法。《IEEE传感器杂志》第16卷第10期（2016年5月），第3419–3427页。
Daniel Freedman、Yoni Smolin、Eyal Krupka、Ido Leichter和Mirko Schmidt。2014年。SRA：快速消除ToF传感器的通用多路径干扰。载于ECCV会议录。Springer出版社，第234–249页。
Stefan Fuchs。2010年。飞行时间相机图像中的多路径干扰补偿。载于国际模式识别会议录。第3583–3586页。
斯特凡·福克斯、迈克尔·苏帕和奥拉夫·赫尔维奇。2013年。基于光度校准和环境整合的ToF相机测量中多路径效应的补偿。载于《国际计算机视觉系统会议论文集》（ICVS'13）。施普林格出版社，柏林，海德堡，第31–41页。
约翰·P·戈德巴兹、迈克尔·J·克里和阿德里安·A·多林顿。2012年。AMCW激光雷达中混合像素/多路径干扰问题的闭式逆解。载于《SPIE会议录》，第8296卷。829618–829618–15。
伊恩·古德费洛、约书亚·本吉奥和亚伦·库维尔。2016年。《深度学习》。麻省理工学院出版社。。
莫希特·古普塔、什里·K·纳亚尔、马蒂亚斯·B·胡林和海梅·马丁。2015年。相量成像：基于相关性的飞行时间成像的推广。《ACM图形学汇刊》第34卷第5期，文章156（2015年11月），共18页。
何凯明、张翔宇、任少卿和孙剑。2016年。用于图像识别的深度残差学习。载于CVPR会议论文集。第770–778页。
费利克斯·海德、马蒂亚斯·B·胡林、詹姆斯·格雷格森和沃尔夫冈·海德里希。2013年。使用光子混频器设备实现低成本瞬态成像。《ACM图形学汇刊》第32卷第4期，文章45（2013年7月），共10页。
黄景刚、李安·B和达米安·芒福德。2000年。深度图像的统计特性。载于CVPR会议论文集，第1卷。IEEE出版社，第324–331页。
黄景刚和达米安·芒福德。1999年。自然图像及其模型的统计特性。载于CVPR会议论文集，第1卷。IEEE出版社，第541–547页。
阿德里安·哈巴罗、胡利奥·马尔科、阿道夫·穆尼奥斯、劳尔·布伊桑、沃伊切赫·雅罗斯兹和迭戈·古铁雷斯。2014年。瞬态渲染框架。《ACM图形学汇刊》第33卷第6期，文章177（2014年）。
阿德里安·哈巴罗、贝伦·马西亚、胡利奥·马尔科和迭戈·古铁雷斯。2017年。瞬态成像的最新进展：计算机图形学与视觉视角。《可视化信息学》第1卷第1期（2017年）。
大卫·希门尼斯、丹尼尔·皮萨罗、曼努埃尔·马佐和西拉·帕拉苏埃洛斯。2014年。飞行时间相机中多路径干扰的建模与校正。《图像与视觉计算》第32卷第1期（2014年），第1–13页。
阿楚塔·卡丹比、雷法尔·怀特、阿尤什·班达里、李·斯特里特、克里斯托弗·巴尔西、阿德里安·多林顿和拉梅什·拉斯卡尔。2013年。编码飞行时间相机：通过稀疏去卷积解决多路径干扰并恢复时间剖面。《ACM图形学汇刊》第32卷第6期，文章167（2013年11月），共10页。
尼玛·卡德米·卡拉塔里、王廷春和拉维·拉马穆尔蒂。2016年。基于学习的光场相机视图合成。《ACM图形学汇刊》第35卷第6期，文章193（2016年11月），共10页。
S·卡拉耶夫、Y·贾、J·巴伦、M·弗里茨、K·萨恩科和T·达雷尔。2011年。类别级3D物体数据集：让Kinect发挥作用。载于IEEE国际计算机视觉研讨会论文集。第1167–1174页。
迪德里克·金马和吉米·巴。2014年。Adam：一种随机优化方法。arXiv预印本arXiv:1412.6980（2014年）。
艾哈迈德·基尔马尼、阿里戈·贝内代蒂和菲利普·A·周。2013年。Spumic：利用光谱方法在飞行时间相机中同时实现相位解缠和多路径干扰消除。载于IEEE国际多媒体与博览会会议论文集。第1–6页。
尼克·奈特顿和布鲁斯·布吉比。2005年。硫酸钡与白色涂料的混合物是Spectralon $^{\circledR}$的低成本反射标准替代品。（2005年）
李安·B、黄景刚和达米安·芒福德。2000年。自然图像的随机拼贴模型。《国际计算机视觉杂志》（2000年）。
李波、沈春华、戴玉超、A. van den Hengel和何明义。2015年。基于深度特征回归与分层条件随机场的单目图像深度与表面法向估计。载于CVPR会议论文集。
林建华。1991年。基于香农熵的散度度量。IEEE信息理论汇刊，第37卷第1期，第145–151页。
Marvin Lindner、Ingo Schiller、Andreas Kolb和Reinhard Koch。2010年。用于精确测距的飞行时间传感器校准。计算机视觉与图像理解，第114卷第12期，第1318–1328页。
刘发耀、沈春华和林国盛。2015年。基于深度卷积神经场的单图像深度估计。载于CVPR会议论文集。
Jonathan Masci、Ueli Meier、Dan Ciresan和Jürgen Schmidhuber。2011年。用于分层特征提取的堆叠卷积自编码器。载于国际人工神经网络会议论文集，第52–59页。
Nikhil Naik、Achuta Kadambi、Christoph Rhemann、Shahram Izadi、Ramesh Raskar和Sing Bing Kang。2015年。用于缓解飞行时间传感器中多路径干扰的光传输模型。载于CVPR会议论文集，第73–81页。
Ren Ng、Ravi Ramamoorthi和Pat Hanrahan。2003年。利用非线性小波光照近似实现全频率阴影效果。ACM图形学汇刊，第22卷第3期。
Matthew O'Toole、Felix Heide、Lei Xiao、Matthias B. Hullin、Wolfgang Heidrich和Kiriakos N. Kutulakos。2014年。用于全局光传输5D瞬态分析的时间频率探测技术。ACM图形学汇刊，第33卷第4期，文章编号87（2014年7月），共11页。
EM Patterson、CE Shelden和BH Stockton。1977年。硫酸钡白色反射标准的Kubelka-Munk光学特性。应用光学，第16卷第3期，第729–732页。
Ofir Pele和Michael Werman。2010年。二次卡方直方图距离族。载于ECCV会议论文集。Springer出版社，第749–762页。
Christoph Peters、Jonathan Klein、Matthias B. Hullin和Reinhard Klein。2015年。求解三角矩问题以实现快速瞬态成像。ACM图形学汇刊，第34卷第6期（2015年11月）。
乔辉、林景宇、刘烨斌、Matthias B Hullin和戴琼海。2015年。通过对数求和稀疏正则化方法解析飞行时间成像中的瞬态时间轮廓。光学快报，第40卷第6期（2015年）。
Nathan Silberman、Derek Hoiem、Pushmeet Kohli和Rob Fergus。2012年。基于RGBD图像的室内分割与支持推断。计算机视觉–ECCV 2012会议论文集，第746–760页。
苏浩、范浩强和Leonidas Guibas。2017年。用于从单图像重建3D物体的点集生成网络。载于CVPR会议论文集。
Andreas Velten、吴迪、Adrian Jarabo、Belen Masia、Christopher Barsi、Chinmaya Joshi、Everett Lawson、Moungi G. Bawendi、Diego Gutierrez和Ramesh Raskar。2013年。飞秒摄影：捕捉并可视化光的传播过程。ACM图形学汇刊（SIGGRAPH 2013），第32卷第4期（2013年）。
王鹏、沈晓辉、林哲、S. Cohen、B. Price和A. Yuille。2015年。致力于从单图像统一预测深度与语义信息。载于CVPR会议论文集。
吴迪、Andreas Velten、Matthew O'Toole、Belen Masia、Amit Agrawal、戴琼海和Ramesh Raskar。2014年。利用飞行时间成像分解全局光传输。国际计算机视觉杂志，第107卷第2期（2014年4月），第123–138页。
肖建雄、安德鲁·欧文斯和安东尼奥·托拉尔巴。2013年。Sun3D：一个利用SfM技术和物体标签重建的大型空间数据库。载于ICCV会议论文集，第1625–1632页。
徐丹、艾丽莎·里奇、欧阳万里、王晓刚和尼库·塞贝。2017年。多尺度连续条件随机场作为单目深度估计的序列深度网络。载于CVPR会议论文集。
杨建超、约翰·赖特、黄煦涛和马毅。2010年。基于稀疏表示的图像超分辨率技术。IEEE TIP 19卷第11期（2010年）。
尤尔·兹博塔尔和扬·勒昆。2015年。利用卷积神经网络计算立体匹配代价。载于CVPR会议论文集。