{
  "paper_id": "650fcd93a2831e234f0e8cf751ded061",
  "paper_title": "DeepToF: Off-the-Shelf Real-Time Correction of Multipath Interference in Time-of-Flight Imaging",
  "paper_authors": [
    "Julio Marco",
    "Quercus Hernandez",
    "Adolfo Muñoz",
    "Yue Dong",
    "Adrian Jarabo",
    "Min H. Kim",
    "Xin Tong",
    "Diego Gutierrez"
  ],
  "publication_date": "2017-11",
  "publication_venue": "ACM Transactions on Graphics, Vol. 36, No. 6, Article 219 (SIGGRAPH Asia 2017)",
  "abstract": "飞行时间（ToF）成像已成为广泛使用的深度估计技术，廉价的现成相机可实时提供深度图。然而，间接照明导致的多径干扰（MPI）会显著降低捕获深度的质量。以往工作多依赖复杂硬件修改或高成本计算。本文提出一种无需改造相机、每帧仅需10毫秒的MPI深度误差校正技术。作者观察到MPI的大部分信息存在于图像空间，因此将深度成像过程表述为空间变化卷积，并用卷积神经网络校正MPI误差。由于网络输入与输出结构相似，网络基于自编码器并分两阶段训练：首先利用编码器学习表示受MPI污染深度图像的合适基，然后利用基于物理的时间分辨渲染器生成的合成场景训练解码器校正深度。该方法通过大规模含MPI污染深度的真实捕获训练集训练编码器，并用较小规模、带真值的合成训练集训练解码器，解决了ToF领域缺乏真值数据的关键问题。作者使用现成ToF相机、仅以捕获的错误深度为输入，在合成与真实复杂场景上演示并验证了方法。\n",
  "keywords": [
    "Time-of-Flight",
    "depth cameras",
    "multipath interference",
    "learning"
  ],
  "paper_institutions": [
    "Universidad de Zaragoza, I3A",
    "Microsoft Research Asia",
    "KAIST"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:30:20.425347Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对连续波ToF相机把所有到达光都假设为直接路径、而间接反射叠加相位导致多径干扰深度误差的问题，本文在现有多频或硬件改造方案、单频光传输模拟优化往往耗时数分钟至数小时的背景下，提出一种无需修改相机、仅输入单张受污染深度图并以10毫秒/帧运行的卷积校正方法。其核心依据是相机与红外发射器同位、共享近似视锥，二次反弹主要来自可见几何，高次反弹因距离衰减和散射衰减主要影响局部，因此MPI信息主要可在图像空间表示，核心机制为 ĉ_i(p_u)=c_i(p_u)+Σ_v T_i(p_u,p_v)c_i(p_v)=c_i(p_u)+T_i*c_i，其中传输矩阵T_i未知，网络学习从污染测量到参考深度的类反卷积映射。网络采用编码器-解码器结构，编码器在六个尺度上使用5×5卷积将256×256降至8×8，解码器上采样并通过对称跳跃连接进行逐元素残差修正；训练先以6000幅（增广至48000幅）无真值真实深度图做卷积自编码器重建，学习真实深度结构先验并冻结编码器，再用物理时间分辨双向路径追踪器扩展ToF模型生成的25个场景、6组0.3–0.8反照率、7个视点、最多20次反弹、256×256分辨率的1050对（增广至8400对）合成数据，按80%/20%训练验证并监督解码器。选择真实数据是为了吸收传感器与真实场景的不完美统计特性、缓解合成数据规模不足导致的过拟合，选择合成数据则是为了获得现实中无法同时采集的MPI深度与真值；附录通过深度直方图、梯度、双像素及Haar统计验证二者分布接近。实现基于Caffe和NVIDIA GTX 1080，采用Adam、批归一化和ReLU，达到约100帧/秒；真实数据由20MHz、最大无模糊距离7.5米、200×200分辨率的PMD CamCube 3.0采集并校正镜头畸变。实验用绝对误差分布、百分位、R²、每图MAE方差和相对误差等指标，显示原始合成深度平均MPI绝对误差约26厘米、平均占测量深度12%且多数距离上相对误差约10%，校正后误差分布显著改善，反照率变化下保持稳定，受控真实场景中50%像素误差低于5厘米而原始PMD深度75%误差超过9厘米；这些结果支持两阶段真实先验、残差跳跃连接和单深度输入设计的有效性。与Fuchs约10分钟且噪声明显的方法和Jiménez等在100×100图像上约需1小时、约60GB内存且易陷局部极小的方法相比，结果更接近真值且快数个数量级，并在真实视频中依靠输入深度的帧间稳定保持时间一致性。该方法适用于复杂漫反射或近漫反射场景的实时深度修复、室内扫描、机器人感知和动态视频，但训练未包含非正弦波wiggling校正，极高反照率约0.85的特定构型仍有约10厘米残差，1.5–4米为主的数据使过近物体校正不足，且对强光泽或透明表面可能失效；未来可纳入完整相机管线、扩充材质与距离分布，并在极端材质场景结合多频方法。\n\n### 关键要点\n\n- 方法仅把单张ToF输出的受污染深度图作为输入，不使用振幅或相位图像，因为后者依赖具体设备设置且不稳定，从而可适配单频现成ToF相机。\n- 图像空间光传输公式 ĉ_i(p_u)=c_i(p_u)+Σ_v T_i(p_u,p_v)c_i(p_v)=c_i(p_u)+T_i*c_i 表明MPI可写成未知空间变化卷积，这为CNN学习类反卷积校正提供了直接依据。\n- 两阶段训练先在无标签真实深度上训练卷积自编码器，使编码器学习真实深度结构；随后冻结编码器，用带真值合成数据监督训练残差解码器。\n- 网络在六个尺度上使用5×5卷积将256×256编码到8×8，再上采样回256×256；对称跳跃连接采用逐元素相加而非特征拼接，效果相当或略好且模型小约30%。\n- 合成数据集包含25个场景、6组反照率组合、7个视点和最多20次间接反弹，原始1050对深度经翻转旋转增广到8400对，分辨率为256×256。\n- 真实预训练集包含来自公共仓库的6000幅无标签深度图，增广后为48000幅；合成数据由Jarabo等的时间分辨双向路径追踪器加入理想正弦ToF相机模型生成。\n- 统计验证显示真实与合成深度的深度分布、梯度、共现和Haar小波系数均高度接近，例如深度直方图相关系数为0.90、Jensen-Shannon距离为0.129。\n- 网络用Caffe在NVIDIA GTX 1080上训练，Adam学习率在1e-3至1e-5间调整，批大小为16；推理每帧10毫秒，最高约100帧/秒。\n- 合成验证集包含213个样本并增广为1704个；R²和误差百分位表明残差自编码器方案优于无预训练、无跳跃连接和拼接连接等替代网络。\n- 在PMD CamCube 3.0采集的Cornell box、V形板和棱柱等受控场景中，校正后50%像素误差低于5厘米，而原始PMD捕获有75%像素误差超过9厘米。\n- 与Fuchs约10分钟、结果噪声较大的单频方法及Jiménez等约1小时才能处理100×100图像且需约60GB内存的方法相比，本文结果更接近参考深度并实现实时性能。\n- 局限性包括未建模非正弦波wiggling误差、高反照率场景仍有约10厘米残差、过近物体因训练深度多在1.5–4米而校正不足，且强光泽或透明表面可能需要多频方法。"
}