{
  "paper_id": "d9239bbe52b82386e75a02516907140e",
  "paper_title": "MagicHOI: Leveraging 3D Priors for Accurate Hand-object Reconstruction from Short Monocular Video Clips",
  "paper_authors": [
    "Shibo Wang",
    "Haonan He",
    "Maria Parelli",
    "Christoph Gebhardt",
    "Zicong Fan",
    "Jie Song"
  ],
  "publication_date": "",
  "publication_venue": "2025 IEEE/CVF International Conference on Computer Vision (ICCV)",
  "abstract": "大多数基于RGB的手部物体重建方法依赖物体模板，而无模板方法通常假设物体完全可见。在真实场景中，固定相机视角和静态握持会使物体部分区域不可见，导致这一假设失效并产生不合理的重建结果。为解决该问题，本文提出MagicHOI，能够从短暂的单目交互视频中重建手部和物体，即使视角变化非常有限。核心洞察是：尽管配对的3D手部物体数据稀缺，大规模新视角合成扩散模型能够提供丰富的物体监督，并可作为先验正则化手部交互过程中未观察到的物体区域。基于此，作者将新视角合成模型集成到无模板手部物体重建框架中，并通过可见接触约束对齐手部与物体。实验结果表明，MagicHOI显著优于现有最先进的手部物体重建方法；同时证明新视角合成扩散先验能够有效正则化未观察物体区域，提升3D手部物体重建质量。\n",
  "keywords": [
    "手部物体重建",
    "单目视频",
    "新视角合成",
    "扩散先验",
    "分数蒸馏采样",
    "有符号距离场",
    "遮挡鲁棒重建",
    "可见性加权",
    "手部物体接触",
    "3D重建"
  ],
  "paper_institutions": [
    "The Hong Kong University of Science and Technology (Guangzhou)",
    "The Hong Kong University of Science and Technology",
    "ETH Zürich, Switzerland",
    "Max Planck Institute for Intelligent Systems, Tübingen, Germany"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:37:18.056182Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文研究固定视角、短时长单目手部物体交互视频中因手握遮挡和物体自遮挡导致的部分可见重建难题；现有方法或依赖预扫描物体模板、受限于配对3D标注，或像体渲染方法那样过度依赖完整RGB观测，在物体未充分旋转时容易生成残缺或失真的几何。作者提出MagicHOI这一无模板整体框架，先用现成手部姿态估计器获得每帧MANO参数，并在Cutie分割图像上通过HLoc结构-from-motion与MVS获得相机位姿和深度；随后选择物体/手部像素比最高的帧，借助InpaintAnything去除手部区域以形成仅含物体的参考图，将冻结的Zero-1-to-3新视角合成扩散模型对齐到SfM物体空间。物体由隐式神经有符号距离与纹理场表示，观察区域接受RGB、分割和法向平滑监督，未观察区域则通过渲染新视角并使用Score Distillation Sampling损失接受类别无关的3D先验约束；其核心机制是先由可见光线构建三维可见性体素网格并计算新视角可见比例β，再以μ=e^{-β^2/0.6}调节新视角损失，使先验主要补全未观察区域而避免破坏已观察表面，最后仅优化手部平移和尺度，依据可靠的可见指尖接触、2D关节点、时间平滑和防穿透目标完成手物对齐。实验选用HO3D-v3中与HOLD相同的14段序列并切分为30帧短片段，以受控标注数据验证有限视角下的重建能力，同时录制室内外家居物体短片并加入互联网视频检验真实泛化；评价指标包括物体Chamfer距离、F5/F10、手部MPJPE、手相对Chamfer距离CDh和相对尺度RS。MagicHOI在HO3D上取得CD 0.87 cm、F5 69.72%、F10 92.15%、MPJPE 4.62 mm、CDh 2.39 cm和RS 0.11，整体优于iHOI、DiffHOI、EasyHOI和HOLD，支持了NVS先验补全遮挡区域以及可见性加权保护观察区域的作用；消融还显示单独RGB难以补全遮挡、单独NVS会产生失真，二者结合并加入加权策略效果最佳。该方法适用于产品短视频、机器人抓取演示规模化理解等真实场景，但仍受静态视角、严重遮挡、分割与补画质量、SfM收敛、物体无米制度量尺度以及需要可见接触等条件约束，未来可探索更鲁棒的MASt3R类位姿初始化、铰接或非刚性物体以及更复杂的双手和野外场景。\n\n### 关键要点\n\n- MagicHOI定义并处理部分可见手部物体重建任务，目标是从物体未被所有角度观察到的短单目视频中恢复完整3D手和物体表面。\n- 方法在初始化阶段使用现成手部估计器预测MANO姿态、形状、旋转和平移，并使用HLoc/SfM与MVS从分割后的视频中估计物体相机参数和深度。\n- 参考帧通过计算物体与手部像素比例自动选择，再用InpaintAnything补去手部区域，生成仅含物体的Zero-1-to-3条件输入。\n- 冻结的Zero-1-to-3根据参考图像、参考视角和目标球坐标视角生成新视角图像，为遮挡或未观察物体部分提供类别无关的扩散先验。\n- SfM空间与Zero-1-to-3规范空间通过3D对应项和PnP项估计刚性变换，目标为L_a=L_3D+λ_2D L_2D，其中λ_2D=1.0。\n- 物体用隐式有符号距离与纹理场表示，总训练损失结合RGB、分割、法向平滑和按视角加权的NVS分数蒸馏损失，权重λ_segm=10.0、λ_smooth=50.0。\n- 可见性加权策略把体素标记为可见、不可见或背景，依据新视角可见比例β计算μ=e^{-β^2/0.6}，从而在未观察区域加强NVS先验、在已观察区域保留图像证据。\n- 手物对齐只使用投影后未被物体或前方指尖遮挡的指尖接触点，并通过光线追踪找到物体表面对应点，避免不可靠接触造成错误对齐。\n- HO3D实验使用14段序列并将长视频切成30帧短片段，基准方法包括iHOI、DiffHOI、EasyHOI和HOLD，所有对比方法均为无模板方法。\n- MagicHOI在CD、F5、F10、MPJPE、CDh和RS六项指标上均达到表中最优，说明其同时改善物体几何、手物相对对齐和尺度估计。\n- 消融表明RGB+NVS已将CD从仅RGB的1.37 cm降至0.91 cm，加入可见性加权后进一步降至0.89 cm，并将CDh从3.77 cm降至2.39 cm。\n- 真实室内外和互联网视频结果显示方法可处理严重手遮挡与自遮挡，但对分割、补画、SfM初始化和可见接触仍有依赖，且主要面向刚性物体短片段。"
}