{
  "paper_id": "45f8baad6f7fcbffb8cefe5221ba1a9c",
  "paper_title": "What's in your hands? 3D Reconstruction of Generic Objects in Hands",
  "paper_authors": [
    "Yufei Ye",
    "Abhinav Gupta",
    "Shubham Tulsiani"
  ],
  "publication_date": "",
  "publication_venue": "2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)",
  "abstract": "本文研究从单张RGB图像重建手中所持物体。与以往通常假设已知三维模板并将问题归结为三维姿态估计的方法不同，本文无需预先知道物体三维模板即可重建通用手持物体。核心洞察是手部关节运动对物体形状具有很强预测性，因此提出根据手部关节姿态和视觉输入条件化重建物体。对于手持物体图像，先用现成系统估计手部姿态，再在归一化的以手为中心的坐标系中，通过隐式网络利用视觉特征和关节感知坐标处理查询点并预测符号距离。在三个数据集上的实验表明，该方法持续优于基线，可重建多样化物体；分析还显示显式关节条件的收益与鲁棒性，并能在测试时优化中进一步改进手部姿态估计。\n",
  "keywords": [
    "手持物体三维重建",
    "手部姿态估计",
    "手物交互",
    "神经隐式表示",
    "符号距离函数",
    "关节条件化",
    "单视图重建",
    "归一化手腕坐标系"
  ],
  "paper_institutions": [
    "Carnegie Mellon University",
    "Meta AI"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:39:55.505284Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对单张RGB图像中手持物体因相互遮挡、自遮挡和三维标注稀缺而难以重建、已有方法多依赖已知实例模板并将任务降为6D姿态估计的问题，本文提出无需物体模板的通用手持物体三维重建方法。相关研究虽已在独立手部姿态估计、孤立通用物体重建和已知模板手物姿态估计方面取得进展，但对自然场景中可操作未知物体的几何理解仍有限；本文观察到手指卷曲、捏合、张掌等关节姿态由物体局部几何驱动，因而不将手部遮挡视为噪声，而把预测手部姿态作为物体形状的互补线索。方法先用基于MANO的现成手部重建系统估计45维关节参数、全局位姿及相机，并将弱透视相机转为透视相机以处理较强透视效应，再在归一化手腕坐标系中用逐点隐式SDF网络重建物体；对查询点x，先经x_p=K T_{θw}x投影到图像并从ResNet特征金字塔采样全局与像素对齐局部视觉特征φ=g(π(x);I)，同时通过正向运动学计算该点相对15个关节的坐标并做位置编码，得到关节感知表示ψ=h(x;θA)，核心机制为s=f(x,φ,ψ)，零等值面即物体表面。训练时假设图像帧中手部姿态和物体三维形状已知，95%采样点集中在物体表面附近，其余均匀采样，以预测SDF与真值SDF的误差及eikonal正则约束优化；推理时不需要预先给定物体三维模板。实验选择合成ObMan、真实HO3D和自然MOW三个数据集，以分别验证大规模多类别合成形状、真实多相机标注和野外外观与形状多样性，ObMan使用Hasson等的手部预测器，HO3D与MOW使用FrankMocap，并因真实标注稀缺而先在ObMan预训练再在真实集微调。评价采用5mm与10mm阈值F-score、Chamfer距离和手物交叠体积；本文方法在ObMan取得0.42/0.63的F5/F10、1.02mm CD和1.74cm³交叠体积，在HO3D取得0.28/0.50、1.53mm和4.77cm³，在MOW取得0.13/0.24、23.1mm和19.4cm³，整体显著优于HO和GF两类无模板基线，尤其提升局部形状与真实数据表现，支持关节条件化、像素对齐特征和手腕归一化坐标的有效性，但ObMan的CD受HO显式Chamfer与边长正则影响而未超过HO。消融表明去除关节条件后ObMan的F5降至0.37、交叠体积升至3.93cm³，直接拼接MANO姿态参数在预测姿态下F5仅0.23，而关节相对位置编码更鲁棒；在手部预测误差加倍时方法仍优于基线，并可通过测试时优化鼓励接触、惩罚穿透，使CD、交叠体积、仿真位移和手部端点误差分别改善到1.00、1.28cm³、3.00和8.7mm。该方法面向增强现实、机器人抓取和自然手物交互理解等场景，主要约束是单视图严重遮挡、依赖三维真值训练、初始手部姿态存在误差且尚不能直接处理视频中动态抓取的物体一致性；未来可结合可微渲染降低三维监督需求，并扩展到时间一致的野外视频重建。\n\n### 关键要点\n\n- 本文任务是从单张RGB图像恢复手中未知通用物体的三维形状，推理时不要求给定实例特定三维模板，因此不同于把已知模板对齐到图像的6D姿态估计方法。\n- 系统先利用现成基于MANO的模型估计手部关节参数、全局变换和相机，再在归一化手腕坐标系中重建物体，使手形与物形关系对全局旋转平移保持不变。\n- 物体由神经隐式符号距离场表示，逐点网络根据查询点的视觉特征和关节感知嵌入预测SDF，并通过零等值面提取网格。\n- 视觉编码器以ResNet特征金字塔为骨干，既使用全局conv5上下文生成连贯形状，也在投影位置对多层级特征做双线性采样以保留局部细节。\n- 关节位置嵌入通过正向运动学计算查询点相对于15个手部关节的坐标并进行位置编码，使网络能直接利用点靠近拇指和食指等几何关系。\n- 训练采样中95%的点位于物体表面附近，其余点在空间中均匀采样，损失由SDF回归项和eikonal正则项组成。\n- ObMan包含8类、2772个物体和约21K个由GraspIt生成并渲染的抓取，训练和测试物体不重叠，适合检验对未见合成物体的重建能力。\n- HO3D是包含10个YCB物体、103K标注图像的真实视频数据集，MOW则包含442张野外图像、121个物体模板且标注为近似真值；真实实验采用ObMan预训练后再微调。\n- 评价使用F5、F10、Chamfer距离和手物交叠体积；本文方法在三个数据集上的F-score均高于HO和GF基线，并能重建瓶子、电钻、剪刀、杯子和笔等多样形状。\n- 去除关节条件会导致F-score下降且穿透增加，直接使用MANO姿态参数在预测姿态下泛化明显变差；即使手部预测误差加倍，所提编码仍使方法优于基线。\n- 测试时优化通过惩罚手部点进入物体SDF负区域并拉近指定接触区域来改进手姿，使交叠体积、仿真位移和手部EPE下降。\n- 方法当前依赖三维真值训练，且不能直接保证视频中变化关节下的物体一致性，未来可探索可微渲染和动态时间一致重建。"
}