{
  "paper_id": "e8a73247e6c4bc1a666ef4edbedf06d7",
  "paper_title": "HOLD: Category-agnostic 3D Reconstruction of Interacting Hands and Objects from Video",
  "paper_authors": [
    "Zicong Fan",
    "Maria Parelli",
    "Maria Eleni Kadoglou",
    "Xu Chen",
    "Muhammed Kocabas",
    "Michael J. Black",
    "Otmar Hilliges"
  ],
  "publication_date": "2024",
  "publication_venue": "CVPR 2024",
  "abstract": "人类每天与多样的物体交互，对这些交互的整体3D捕捉对于理解和建模人类行为十分重要。然而，现有基于RGB的手-物重建方法大多假设预扫描的物体模板，或严重依赖有限的3D手-物数据，限制了其扩展和泛化到更无约束交互场景的能力。为此，我们提出HOLD——首个类别无关的方法，能够从单目交互视频中联合重建关节手与物体。我们开发了一种组合式关节隐式模型，可从2D图像重建解耦的3D手与物体，并进一步引入手-物约束以改进手-物姿态，从而提升重建质量。我们的方法不依赖任何3D手-物标注，却在实验室场景和具有挑战性的野外场景中均显著优于全监督基线。此外，我们定性展示了其在野外视频重建中的鲁棒性。",
  "keywords": [
    "hand-object reconstruction",
    "3D reconstruction",
    "category-agnostic",
    "monocular video",
    "neural implicit representation",
    "signed distance field",
    "volumetric rendering",
    "pose refinement",
    "egocentric video"
  ],
  "paper_institutions": [
    "ETH Zürich",
    "Max Planck Institute for Intelligent Systems"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:28:25.497162Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n从单目RGB视频中重建手-物交互的3D几何对理解人类行为至关重要，但现有方法大多依赖预扫描物体模板或有限的3D手-物数据，难以扩展到无约束场景，而手持物体扫描类方法又忽略手的关节性。为此，本文提出HOLD——首个类别无关的方法，从单目交互视频中联合重建关节手与物体的3D表面：先用现成手部回归器与SfM（HLoc）初始化手、物姿态，再训练组合式神经隐式模型HOLD-Net，其中手部由MANO姿态驱动的SDF与纹理场表示（观测空间点经逆线性混合蒙皮映射回规范空间），物体经刚性变换映射并由带32维时变隐码的SDF场表示，背景采用NeRF++建模，三者经误差有界采样后按深度排序合并并体渲染合成，核心合成公式为 C(r) = C_F(r) + (1 - M_F(r))·C_B(r)，训练由RGB、多类分割、eikonal、MANO SDF先验与稀疏等损失监督；随后利用接触约束（L_contact = Σ_i min_j ||V_tips^i - V_o^j||）与Soft Rasterizer的遮挡感知mask监督精化手-物姿态，最终以精化姿态从头完整训练HOLD-Net得到精确几何。实验选用HO3D-v3（提供MANO参数与6D物体姿态标注，用于实验室定量评估）与自采HOLD数据集（iPhone 14拍摄、室内外、第一/第三人称、多样光照，用于验证野外泛化），以MPJPE、Chamfer距离、F-score及手相对Chamfer距离为指标；HOLD在完全不使用3D手-物标注的情况下达到MPJPE 24.2mm、CD 0.4cm²、F10 96.5%、CD_h 11.3cm²，显著优于全监督基线iHOI与DiffHOI，并在DiffHOI未见类别上保持一致性能，验证了组合式隐式建模与交互约束联合优化两项创新的有效性。未来可探索检测器无关SfM、用先验正则化极少观察的物体区域以及更快的三维表示以缩短训练；实际部署中，薄/无纹理物体的SfM初始化失败、极少观察区域的RGB监督不足以及较长训练时间（初始训练100 epochs约需A100十小时、最终训练200 epochs）仍是主要约束。\n\n### 关键要点\n\n- HOLD是首个类别无关的手-物交互重建方法，仅从单目RGB视频即可联合重建关节手与未知物体的3D表面，无需预扫描物体模板、物体类别或任何3D手-物标注。\n- 方法流程分四步：用现成手部姿态估计器与SfM（HLoc）初始化手和物体姿态；预训练HOLD-Net学习手、物形状；用学到的形状通过手-物交互约束精化姿态；最终以精化姿态从头完整训练HOLD-Net重建精确3D几何。\n- HOLD-Net为组合式神经隐式模型：手部SDF由MANO姿态驱动、观测点经逆线性混合蒙皮（LBS）映射回规范空间；物体通过刚性变换 x = (sR_o)^{-1}(x' - t_o) 映射并附加32维时变隐码建模外观变化；背景用NeRF++倒球参数化并含每帧隐码以处理动态背景。\n- 体渲染时对同一光线分别采样手、物点，经规范空间查询SDF与颜色后按深度排序合并，最终颜色合成公式为 C(r) = C_F(r) + (1 - M_F(r))C_B(r)，模型还可渲染手/物amodal mask与手-物-背景三类语义概率。\n- 训练损失包含RGB重建、多类分割、eikonal正则、MANO SDF先验（基于Loop细分后的MANO网格）与稀疏损失；由于预测分割噪声较大，分割权重随训练递减而SDF先验与稀疏权重递增。\n- 姿态精化利用接触损失 L_contact = Σ_i min_j ||V_tips^i - V_o^j|| 鼓励常接触手部顶点贴近物体顶点，并用Soft Rasterizer渲染手、物amodal mask与分割结果做遮挡感知匹配，有效缓解单目深度歧义导致的手-物空间错位。\n- 定量评估使用HO3D-v3训练集中每个物体两条有3D标注的序列（省略SfM不收敛的香蕉与剪刀），野外泛化用iPhone 14自采数据集（室内外场景、第一/第三人称视角、不同光照条件，每10帧下采样）。\n- 评估指标包括手姿态MPJPE（毫米）、物体形状Chamfer距离（平方厘米）与F-score（F5/F10，经ICP对齐评估模板质量），以及衡量手-物相对3D空间关系的手相对Chamfer距离CD_h。\n- 在HO3D上HOLD达到MPJPE 24.2mm、CD 0.4cm²、F10 96.5%、CD_h 11.3cm²，全面优于HOMan（MPJPE 32.0mm）、iHOI（38.4mm、CD 3.8cm²）与DiffHOI（32.3mm、CD 4.3cm²）等使用3D监督的基线。\n- 泛化实验中，DiffHOI在未见类别上性能大幅下降（CD 6.5cm²、F10 57.8%），而HOLD保持一致且更优的表现（CD 0.3cm²、F10 96.9%），且在DiffHOI训练类别内也显著领先（MPJPE 22.5mm对34.2mm）。\n- 消融研究表明：去掉手部建模会使物体在手抓握区域出现孔洞（CD从0.38升至0.41cm²）；去掉接触式姿态精化会使CD_h从11.3恶化至122.1cm²，证明联合建模与交互约束对重建质量的贡献。\n- 与手持物体扫描SOTA方法（Hampali等）相比，HOLD重建的规范物体形状更优（CD 0.5对1.4cm²，F5 84.3%对57.4%，F10 94.4%对79.9%）；局限包括薄/无纹理物体受检测器SfM限制、极少观察物体区域难以仅靠RGB监督重建、训练耗时较长（初始100 epochs约10小时A100，最终200 epochs）。"
}