{
  "paper_id": "5fc3fda7280e146076043ab94e6819e5",
  "paper_title": "Reconstructing Hand-Held Objects from Monocular Video",
  "paper_authors": [
    "Di Huang",
    "Jiaming Sun",
    "Xiaopeng Ji",
    "Tong He",
    "Xingyi He",
    "Qing Shuai",
    "Wanli Ouyang",
    "Xiaowei Zhou"
  ],
  "publication_date": "December 6-9, 2022",
  "publication_venue": "SIGGRAPH Asia 2022 Conference Papers (SA '22 Conference Papers), Daegu, Republic of Korea, ACM",
  "abstract": "This paper presents an approach that reconstructs a hand-held object from a monocular video. In contrast to many recent methods that directly predict object geometry by a trained network, the proposed approach does not require any learned prior about the object and is able to recover more accurate and detailed object geometry. The key idea is that the hand motion naturally provides multiple views of the object and the motion can be reliably estimated by a hand pose tracker. Then, the object geometry can be recovered by solving a multi-view reconstruction problem. We devise an implicit neural representation-based method to solve the reconstruction problem and address the issues of imprecise hand pose estimation, relative hand-object motion, and insufficient geometry optimization for small objects. We also provide a newly collected dataset with 3D ground truth to validate the proposed approach. The dataset and code will be released at https://dihuangdh.github.io/hhor",
  "keywords": [
    "Object reconstruction",
    "joint hand-object reconstruction"
  ],
  "paper_institutions": [
    "The University of Sydney",
    "Image Derivative Inc.",
    "Zhejiang University",
    "Shanghai AI Laboratory",
    "State Key Lab of CAD&CG"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:35:36.883902Z",
  "template_tag": "simple",
  "summary": "### 摘要\n本文解决从固定单目RGB相机拍摄的视频中重建被手握持并运动的物体的问题，该场景常见于视频会议等日常情境，用户无需绕物体行走，采集过程更友好。现有方法难以适用：基于SfM的多视图重建（如COLMAP、NeuS）假设刚性场景且依赖纹理特征，而手握物体独立于背景运动且常为无纹理；基于学习的单视图重建（如ObMan、GF、IHOI）需从大量数据学习物体形状先验，难以泛化到训练集之外的物体类别。本文核心洞察是：手的运动天然提供物体的多视角观测，且手部运动可由手姿态跟踪器可靠估计，从而将问题转化为多视图重建。方法分两阶段：手部跟踪阶段基于MANO参数化手模型，通过最小化能量函数 M = argmin(E_2D + ω1·E_t + ω2·E_reg)（E_2D为2D关键点重投影误差、E_t为时序平滑项、E_reg为防止异常手的正则项），并在整个视频共享姿态与形状参数，将视频帧转换为以手为中心坐标系下的已标定多视图图像；稠密重建阶段采用基于SDF的隐式神经表示与可微体渲染，并针对手姿态不精确、手物相对运动和小物体优化不足三大问题提出三个模块：相机位姿与SDF联合优化（粗到细激活位置编码）、可学习形变场建模手物微小相对运动、语义引导光线采样（80%光线来自物体区域）。为验证方法，作者收集了HOD数据集，包含35个物体（5个复杂几何纯白雕塑与30个多样日常物体）的4K视频（每段约1800帧、30fps），其中14个物体配有商用3D扫描仪获取的高保真网格真值，用于定量评估——之所以新建数据集是因为现有数据集无法满足该设定。实验在单张NVIDIA TITAN RTX GPU上基于PyTorch实现，一分钟4K视频的手部跟踪耗时15分钟、分割6分钟、神经SDF重建需30小时收敛。定量评估采用Chamfer Distance（网格归一化后用ICP配准），本方法平均CD为0.249，显著优于NeuS（3.391）、IHOI（6.802）、ObMan（3.163）和GF（68.682），消融实验证明相机精化、形变场与语义引导采样三个模块均有效；与静态物体采集设置对比显示本方法质量接近甚至超过COLMAP静态采集。未来方向包括用更精细的基于学习的形状补全替代Poisson重建以处理大孔洞与薄结构、借助TensoRF与Instant-NGP等技术加速重建、以及放宽固定相机、单一抓取手势和手物小相对运动等约束。该方法可应用于增强现实、3D打印和机器人操控等现实场景，但受限于需固定相机、单一抓取姿势、手物间小相对运动，且重建耗时数小时无法实时。\n\n### 关键要点\n- 方法核心：利用手部运动为握持物体天然提供多视角观测，通过学习式手姿态跟踪器可靠估计手部运动，将单目视频转换为以手/物为中心的已标定多视图图像，实现无需任何物体形状先验的多视图重建。\n- 手部跟踪：基于MANO参数化手模型，全视频共享姿态参数θ与形状参数β以减少优化参数并增强遮挡鲁棒性，通过最小化2D关键点重投影误差、时序平滑项与正则项的能量函数，采用MANO估计网络初始化并经LBFGS多阶段优化求解。\n- 稠密重建表示：以符号距离函数（SDF）作为隐式表面表示，MLP网络F以3D位置p和视线方向d为输入输出SDF值与RGB颜色，经NeuS式可微体渲染优化，并用marching cubes提取网格、3D语义标签分离手物、Poisson重建填补遮挡孔洞。\n- 相机位姿精化：将相机位姿视为可优化参数与SDF同时优化，并采用粗到细策略逐步激活位置编码（L=6），缓解手物严重遮挡导致的手跟踪位姿噪声对重建质量的直接影响。\n- 形变场模块：引入可学习形变网络W将每帧3D点映射到规范空间，每点运动以SE(3)刚体变换表示，补偿手与物体间不可避免的微小相对运动，消除重建网格上的尖锐伪影。\n- 语义引导策略：通过背景抠图与手部分割网络（在新建自我中心视角手部分割数据集上训练）获得2D语义图，训练时80%光线采样于物体区域以聚焦小物体优化，同时为网络增加语义头预测3D语义标签。\n- 训练损失：总损失L = L_c + λ_m·L_m + λ_e·L_e + λ_l·L_l + λ_d·L_d，包含颜色渲染损失、mask交叉熵损失（λ_m=5.0）、Eikonal正则（λ_e=0.1）、语义渲染损失（λ_l=0.1）与形变正则（λ_d=10.0）。\n- 数据集：新建HOD数据集包含35个物体（Sculptures子集5个纯白复杂雕塑、Daily Objects子集30个日常物体）的4K视频（约1800帧、30fps、2160×3840分辨率），其中14个物体配有商用3D扫描仪获取的高保真真值网格。\n- 实现设置：在单张NVIDIA TITAN RTX GPU上基于PyTorch实现，一分钟4K视频的手部跟踪需15分钟（8分钟2D关键点估计+7分钟MANO拟合）、分割需6分钟、神经SDF重建需30小时收敛，视频从30fps降采样至6fps用于分割与重建。\n- 定量结果：以Chamfer Distance为指标（网格归一化至单位尺寸并用点对点ICP配准），本方法平均CD为0.249，大幅优于NeuS（3.391）、IHOI（6.802）、ObMan（3.163）和GF（68.682）。\n- 消融与对比：vanilla NeuS因相机位姿不准产生错误形状，依次加入相机精化、形变场与语义引导采样逐步消除伪影并恢复更多物体细节；与静态物体采集（COLMAP/NeuS）对比显示手持采集下仍获得接近甚至更优的重建质量。\n- 适用约束与局限：方法假设固定相机、单一抓取手势和手物间小相对运动；Poisson重建后处理不适合大孔洞或薄结构；重建耗时数小时无法实时；因输入视频存在严重手物遮挡，难以恢复与静态采集NeuS同等精细的细节。"
}