{
  "paper_id": "e4d67a872ad0c51810cb680cbf1e89a9",
  "paper_title": "Reconstructing Hand-Object Interactions in the Wild",
  "paper_authors": [
    "Zhe Cao",
    "Ilija Radosavovic",
    "Angjoo Kanazawa",
    "Jitendra Malik"
  ],
  "publication_date": "2021",
  "publication_venue": "ICCV 2021",
  "abstract": "本文研究从自然场景中的2D图像理解手物交互的问题。该任务需要同时重建手和物体的3D模型，而手物之间的相互遮挡使其极具挑战性。论文提出两项主要贡献：一是RHO（Reconstructing Hands and Objects）重建技术，利用2D图像线索和3D接触先验同时重建手与物体的3D模型；二是MOW（Manipulating Objects in the Wild）数据集，包含500个借助RHO完成“3D化”的手物交互图像样本。该数据集涵盖121个不同物体类别，相比以往数据集具有更丰富的操作动作多样性。\n",
  "keywords": [
    "手物交互",
    "3D重建",
    "单目RGB",
    "手部姿态估计",
    "物体姿态估计",
    "可微渲染",
    "接触先验",
    "MANO",
    "野外数据集"
  ],
  "paper_institutions": [
    "University of California, Berkeley"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T03:43:26.642537Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文解决单张自然场景RGB图像中手物交互的3D重建问题，难点在于手物相互遮挡、单目深度与尺度欠约束、日常物体类别繁多且接触精细；已有3D数据集多在实验室采集，参与者、物体和动作多样性有限，与真实图像存在明显现实差距。作者提出RHO，以MANO参数化手部网格和可获得的3D物体模型为基础，先用FrankMocap初始化并拟合2D手部关键点，再用PointRend产生忽略类别的实例掩码、借助可微渲染比较掩码与估计深度来优化物体位姿，随后通过手物最近点距离与手部SDF碰撞惩罚联合优化，核心目标为 L = λ₁L_mask + λ₂L_depth + λ₃L_dist + λ₄L_collision，最后用从GRAB MoCap学习的接触先验和迭代小网络修正手姿。在有真值的HO3D与FPHA实验室数据集上的设置用于验证精度，在EPIC Kitchens和100 Days of Hands静态帧上的实验用于检验野外泛化；作者还半自动构建MOW，含500张图像、121个物体类别、450名参与者及3D手姿、物体模型与位姿标注。指标包括对齐根节点和尺度后的21关节手部MAE、物体Chamfer距离或MAE、手物距离、碰撞分数、amodal mask IoU和用户评分；HO3D上手部MAE 9.7mm、物体Chamfer距离19.9均优于对比方法的14.7和26.8，FPHA上手部MAE 14.2优于18.0而物体MAE 23.9略高于22.3，消融显示手物距离由414.8mm降至75.8mm、碰撞分数由39.8降至6.5，MOW的物体与手部amodal IoU分别为0.77和0.68、平均质量4.16、模型匹配率92%。该研究可服务于物体可供性、意图推断、从人类演示学习操作和机器人灵巧操作，但受单RGB输入、需要选择或匹配3D模型、单人单手物对假设、人工校验以及严重遮挡、裁剪、掩码歧义和不完美CAD模型等限制，失败案例也指向提升初始化、模型适配与联合优化局部极小值的后续方向。\n\n### 关键要点\n\n- RHO是一种基于优化的单图像手物重建方法，包含手部姿态估计、物体姿态估计、手物3D配置联合优化和3D接触先验精修四个步骤。\n- 手部使用MANO参数模型表示，先由FrankMocap获得初始姿态、形状和弱透视相机，再通过OpenPose等检测的2D关键点进行拟合优化。\n- 对未知物体类别，作者使用在COCO上训练的PointRend生成实例掩码并忽略类别预测，再选择与检测手部框IoU最高的物体实例。\n- 物体位姿通过神经可微渲染优化，比较渲染掩码与估计掩码，并加入渲染深度图与单目深度估计之间的深度损失以缓解2D掩码歧义。\n- 联合优化使用手物顶点间的对称最近点距离项促使两者靠近，并使用基于手部SDF的穿透损失惩罚物体顶点进入手部网格。\n- 最后的姿态精修网络从GRAB手部MoCap数据学习3D接触先验，输入手部参数和手物距离场，通过3次迭代更新手姿以形成更合理的接触。\n- MOW数据集的图像来自EPIC Kitchens和100 Days of Hands的静态帧，不使用时序信息，标注流程包括选择3D模型、运行RHO重建和人工迭代验证。\n- MOW包含500张野外图像、121个物体类别，并为每张图像提供3D物体模型、3D物体位姿、3D手部姿态，还可推导amodal掩码和接触图。\n- 在HO3D上，RHO的手部MAE为9.7mm、物体Chamfer距离为19.9，分别优于对比方法的14.7mm和26.8；在FPHA上手部MAE为14.2mm，优于18.0mm。\n- 消融实验表明，交互损失将手物距离从414.8mm降至71.5mm但造成39.8的碰撞分数，深度、碰撞损失和精修最终将碰撞分数降至6.5并保持75.8mm的距离。\n- 典型失败情况包括手部严重遮挡或被图像裁剪、2D掩码导致物体位姿歧义、物体3D模型不精确以及联合优化收敛到不理想的局部极小值。"
}