{
  "paper_id": "f9f9742f31be0501674226c1c12fa076",
  "paper_title": "Tackling 3D ToF Artifacts Through Learning and the FLAT Dataset",
  "paper_authors": [
    "Qi Guo",
    "Iuri Frosio",
    "Orazio Gallo",
    "Todd Zickler",
    "Jan Kautz"
  ],
  "publication_date": "2018-09",
  "publication_venue": "ECCV 2018 (Lecture Notes in Computer Science)",
  "abstract": "Scene motion, multiple reflections, and sensor noise introduce artifacts in the depth reconstruction performed by time-of-flight cameras. We propose a two-stage, deep-learning approach to address all of these sources of artifacts simultaneously. We also introduce FLAT, a synthetic dataset of 2000 ToF measurements that capture all of these nonidealities, and allows to simulate different camera hardware. Using the Kinect 2 camera as a baseline, we show improved reconstruction errors over state-of-the-art methods, on both simulated and real data.\n",
  "keywords": [
    "Time-of-Flight",
    "MPI artifacts",
    "Motion artifacts"
  ],
  "paper_institutions": [
    "NVIDIA, Santa Clara, USA",
    "Harvard SEAS, Cambridge, USA"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:26:29.128602Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n飞行时间（ToF）相机因其实用性和经济性被广泛用于深度估计，但场景运动、多路径干扰（MPI）和传感器散粒噪声会在深度重建中引入伪影。现有方法通常独立处理这些伪影来源，且由于缺乏大规模物理准确的数据集，尚无通过学习联合解决这些问题的尝试。本文提出一种两阶段深度学习方法，直接在多频率ToF传感器的原始相关测量域上操作：第一阶段运动模块（MOM）是受FlowNet启发的编码器-解码器架构，输出速度图将九个原始通道空间扭曲到公共参考帧，以减少运动伪影并提高运动物体边界附近的重建密度；第二阶段多反射模块（MRM）基于核预测网络（KPN），为每个像素输出九个空间变化的核，联合去除MPI和散粒噪声。该方法利用ToF深度重建公式 d=c/(2ω)arctan[(sinψ·i)/(cosψ·i)] 的可微性，支持在原始测量域和深度域进行端到端训练。为解决训练数据问题，作者引入FLAT数据集，包含2000个通过瞬态渲染生成的合成场景响应函数，模拟MPI、散粒噪声、渐晕、不同相机响应函数，并支持纹理和运动的数据增强。以Kinect 2相机为硬件平台，作者完整表征了其相机函数、噪声特性、渐晕和逐像素延迟，以缩小合成与真实数据间的差距。实验采用中位数误差、四分位距（IQR）和90百分位绝对误差作为评估指标：在受MPI和噪声影响的静态场景中，MRM将中位数偏差从LF2的2.92cm降至-0.01cm，90百分位误差从6.55cm降至4.19cm，接近使用1063.3MHz/1034.1MHz高频调制的Phasor方法（1.83cm），而Kinect 2频率低于150MHz；在同时包含运动、MPI和噪声的场景中，MOM-MRM将中位数误差降至1.02cm，重建密度从LF2的93.56%提升至97.67%。真实数据实验也验证了方法在角落MPI校正和运动物体边界修复方面的有效性。该方法在NVIDIA TitanV GPU上运行约需90ms。主要局限包括：MRM的72×72像素感受野难以充分捕获长程MPI；FLAT仅包含漫反射材质，无法处理强镜面反射；MOM不能为大运动下的部分遮挡背景进行修复；模型假设恒定环境光且忽略单次测量内的运动模糊。未来可通过扩展数据集材质、增大感受野、改进噪声模型和背景修复来进一步提升性能，适用于室内机器人、增强现实等需要可靠深度感知的场景。\n\n### 关键要点\n\n- 方法采用两阶段DNN架构：MOM编码器-解码器输出八个光流以对齐Kinect 2的九个原始相关通道，MRM核预测网络为每像素输出九个空间变化核以联合去除MPI和散粒噪声。\n- FLAT数据集包含2000个场景响应函数，由70个物体设置（每设置1至5个朗伯表面物体）从约30个视角通过双向路径追踪瞬态渲染生成。\n- FLAT渲染规格为空间分辨率424×512像素、1000个连续时间间隔（每个5×10⁻¹¹秒）、水平视场角70度，与Kinect 2参数对应。\n- FLAT支持散粒噪声、渐晕、纹理和运动的数据增强；纹理通过逐像素乘以CURET纹理图近似，运动提供2D仿射变换和3D位移两种近似方法。\n- Kinect 2使用三个调制频率、三个相位共九个相机函数；噪声模型基于15个场景、每场景100次测量构建逐像素经验分布查找表。\n- 静态MPI实验在真实深度1.5m至5m范围内评估：MRM中位数误差为-0.01cm、IQR为2.63cm、90百分位绝对误差为4.19cm，优于LF2和DToF。\n- 运动场景消融实验中，MOM-MRM中位数误差为1.02cm（相对0.45%）、IQR为2.43cm、90百分位误差为4.12cm，重建密度达97.67%。\n- MOM单独使用主要将重建密度从LF2的93.56%提升至95.50%，减少运动物体边界处的孔洞；加入MRM后进一步提升密度并消除MPI引起的深度偏差。\n- 在包含小运动、MPI和噪声的综合场景中，MOM-MRM表现优于LF2、MRM、DToF和Phasor；高频Phasor对运动极为敏感，双边滤波无法消除运动导致的系统性误差。\n- 在原始测量域操作而非直接输出深度，可利用已知物理映射关系、降低学习难度，并保留LF2流程中的不确定性估计以屏蔽不可靠像素。\n- 方法局限包括：MRM感受野仅72×72像素，长程MPI校正能力受限；FLAT仅含漫反射材质，强镜面反射表面会导致失败；MOM无法修复大运动下被遮挡背景的缺失数据。\n- 真实Kinect 2数据验证了方法在静态角落场景中减少MPI叶状伪影，以及在运动球场景中减少边界孔洞的实际效果。"
}