{
  "paper_id": "2dfebb28bc890909da990d4991ae5ca6",
  "paper_title": "Follow My Hold: Hand-Object Interaction Reconstruction through Geometric Guidance",
  "paper_authors": [
    "Ayce Idil Aytekin",
    "Helge Rhodin",
    "Rishabh Dabral",
    "Christian Theobalt"
  ],
  "publication_date": "2025",
  "publication_venue": "2026 International Conference on 3D Vision (3DV)",
  "abstract": "我们提出了一种新颖的基于扩散的框架，通过将手物交互作为几何引导，从单目RGB图像重建手持物体的3D几何。该方法以修复后的物体外观为条件作用于潜在扩散模型，并使用推理时引导来优化物体重建，同时确保合理的手物交互。与依赖大量后处理或产生低质量重建的先前方法不同，我们的方法通过优化在环设计引入引导，在扩散过程中直接生成高质量物体几何。具体而言，我们通过对速度场施加监督来引导扩散模型，同时优化被重建的手和物体的变换。该优化由多模态几何线索驱动，包括法线和深度对齐、轮廓一致性以及2D关键点重投影。我们进一步引入符号距离场监督并施加接触与非相交约束，以确保手物交互的物理合理性。我们的方法在遮挡下产生准确、鲁棒且连贯的重建，同时能很好地泛化到野外场景。",
  "keywords": [
    "手物交互重建",
    "单目RGB 3D重建",
    "潜在扩散模型",
    "整流流",
    "推理时引导",
    "基础模型",
    "几何监督",
    "符号距离场"
  ],
  "paper_institutions": [
    "Max Planck Institute for Informatics and Saarland University",
    "Bielefeld University"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:26:18.843314Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文解决从单张RGB图像重建手持物体3D几何这一病态问题：手部遮挡物体、几何纠缠且深度线索有限，而现有方法或依赖物体模板、或需多视角/视频输入，或如EasyHOI、Gen3DSR等基础模型流水线般脆弱——单一组件失败即导致重建灾难性失败。为此提出FollowMyHold，将2D基础模型监督直接嵌入3D生成采样过程：以修复后的物体外观为条件，在推理时用\"优化在环\"设计引导预训练rectified flow生成器Hunyuan3D-2，对速度场施加监督并同时优化手与物体的变换。方法先用LangSAM/WiLoR分割检测、FLUX.1 Kontext+Gemini修复外观、HaMeR估计手网格、MoGe-2估计部分点云、Hunyuan3D-2生成粗HOI网格，再经两步ICP将所有线索统一到图像对齐坐标系，最后按\"手→物体→联合\"三阶段施加像素对齐2D损失（法线、视差、轮廓、关键点重投影）与3D约束（SDF相交与邻近损失）。评测选用OakInk（100个刚性物体）、Arctic（11个铰接物体）、DexYCB（20个YCB物体）各随机1000张测试图，因其为带3D手物位姿标注的公认基准且覆盖不同物体类型，可验证遮挡下的精度与野外泛化能力；实现于NVIDIA Tesla H100 NVL GPU、PyTorch、Adam优化器、20步扩散推理、每样本约6.03分钟。指标采用Chamfer距离（CD）、F5/F10分数、相交体积（I.V.）与重建率（R.R.）：本方法在全部数据集取得最低CD（OakInk 1.80、Arctic 2.57、DexYCB 2.04 cm²），OakInk上重建率87%对EasyHOI的39%（近两倍），且保持低相交体积，验证了优化在环引导对精度与鲁棒性的同时提升；消融显示去掉引导或阶段分别使CD升至3.70/5.67 cm²。未来方向包括更鲁棒的2D/3D信号融合与学习交互先验、将几何目标纳入扩散训练以去除内循环、扩展至时间一致的视频重建。该技术面向AR/VR、具身智能、机器人与远程呈现等真实场景，但受限于单视角输入、内循环反传的计算开销以及对上游分割修复质量的依赖。核心机制为rectified flow更新 x_{t+Δt} = x_t + (σ_{t+Δt} − σ_t)·v_θ(x_t, t, c)，推理时以任务目标G的梯度修正速度场v_θ，并用 x̂_1 = x_t + (1−σ_t)·v_θ 估计干净样本以计算几何一致性损失。\n\n### 关键要点\n\n- 方法核心：FollowMyHold在推理时以\"优化在环\"设计引导预训练的rectified flow 3D生成器Hunyuan3D-2，对速度场施加梯度监督并同时优化手部与物体变换，全部使用预训练基础模型、无需额外训练。\n- 多模态线索提取：LangSAM提取手/物体掩码、WiLoR检测手部边界框、FLUX.1 Kontext（配合Gemini文本提示）修复被手遮挡的物体外观、HaMeR提供初始手部网格与2D关键点、MoGe-2估计部分HOI点云与相机、Hunyuan3D-2生成粗略HOI网格。\n- 坐标统一：通过两步ICP（粗HOI网格对齐部分点云得T_{U→I}，手网格对齐粗HOI网格得T_{H→U}）将不同基础模型的输出对齐到共享的图像对齐坐标系，避免手直接对齐不完整点云的陷阱，实现像素级可微监督。\n- 分阶段优化：Phase 1仅优化手部变换以建立空间锚点；Phase 2仅优化物体变换并引导速度场以粗对齐物体；Phase 3联合优化(T_h, T_o)与速度场，结合2D损失（法线、视差、轮廓、关键点重投影）与3D约束（相交、邻近）。\n- 物理合理性约束：相交损失将手/物体网格转为共享体素网格上的SDF，惩罚两者SDF同时为负的体积重叠；邻近损失以δ_contact为边距从手到物体单向计算距离，避免噪声物体预测带来的不稳定梯度并促进稳定接触。\n- 数据与评测设置：在OakInk（100个刚性物体）、Arctic（11个铰接物体）、DexYCB（20个YCB物体）三个公开基准上各随机采样1000张测试图像；在DexYCB上排除在该数据集上训练过的AlignSDF、gSDF、HORT以保证公平，并排除视频方法（本方法为单帧）。\n- 评测指标：物体精度用30K点采样的Chamfer距离（CD）与5mm/10mm阈值下的F分数（F5/F10），抓取合理性用手物相交体积（I.V.），鲁棒性用重建率（R.R.，即无论质量如何能产生输出的样本比例）。\n- 主要结果：本方法在所有数据集上取得最低CD（OakInk 1.80、Arctic 2.57、DexYCB 2.04 cm²），OakInk上重建率87%对比EasyHOI的39%（近两倍）且接近前馈方法，相交体积显著低于EasyHOI与HORT，在生成方法中确立SOTA。\n- 消融证据：完整方法CD为1.70 cm²；去掉推理时引导升至3.70、去掉Phase 1升至5.67、去掉Phase 2升至3.53、交换阶段顺序为3.18、从头联合优化为5.51 cm²，证明分阶段与引导设计的必要性；将EasyHOI的生成器换成Hunyuan3D-2仅使CD从5.23降至5.13，说明提升源于方法设计而非更强生成器。\n- 实现细节：实验在NVIDIA Tesla H100 NVL GPU上进行，基于PyTorch并集成Hunyuan3D-2预训练扩散骨干，使用Adam优化器，批大小为1，共20步扩散推理（第9步进行手部优化、第10步起施加梯度引导），物体引导尺度固定为5.0，每样本约需6.03分钟。\n- 局限性：推理时引导需内循环梯度更新（经latent解码器反向传播）而增加运行时间；假设上游分割与修复可靠，该阶段的伪影会传播进重建；细薄物体监督信号较弱，重建困难。\n- 未来方向与应用场景：更鲁棒的2D/3D信号融合与不确定区域的学习交互先验、将几何目标整合进扩散训练以去除引导内循环、扩展到具有时间一致性（如光流对齐）的视频重建；面向AR/VR、具身智能、机器人与远程呈现等实际应用。"
}