{
  "paper_id": "d309499cd7ae167626b3afafafbaf625",
  "paper_title": "Learning to Estimate Pose and Shape of Hand-Held Objects from RGB Images",
  "paper_authors": [
    "Mia Kokic",
    "Danica Kragic",
    "Jeannette Bohg"
  ],
  "publication_date": "",
  "publication_venue": "2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)",
  "abstract": "本文提出一种从RGB图像建模三维手物交互的系统，用于估计手握的、属于已知类别的新物体。作者设计了名为HOPS-Net的卷积神经网络来估计手持物体的位姿和形状，并利用已有方法估计手部姿态与构型。该方法的核心思想是手部信息有助于物体位姿和形状估计，因此将手部信息融入物体位姿与形状的训练、推理以及初始位姿精修过程。网络在一个人手与物体交互的大型合成数据集上训练；为缩小真实图像与合成图像之间的差距，采用Augmented CycleGAN图像到图像转换模型，将合成渲染结果生成具有真实纹理的物体图像，从而可扩展地生成带标注训练数据。定量实验表明，即使手部参数含有噪声，也能显著改善物体位姿和形状估计；定性实验展示了在自然场景中估计手握物体位姿与形状的结果。\n",
  "keywords": [
    "手部物体交互",
    "6D位姿估计",
    "三维形状检索",
    "HOPS-Net",
    "RGB图像",
    "合成到真实迁移",
    "Augmented CycleGAN",
    "抓取位姿精修"
  ],
  "paper_institutions": [],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:24:39.806214Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对单张RGB图像中手握物体因缺少深度信息、手物相互遮挡以及缺乏大规模带三维标注真实数据而难以恢复6D位姿和形状的问题，本文面向瓶子、马克杯、刀和碗四个已知类别的新实例提出HOPS-Net。相关研究通常只能依靠小规模6D标注数据或大规模粗标注数据，难以从物理层面理解手物交互；本文则通过合成数据自动获得位姿与形状标签，并用图像到图像转换缓解仿真到真实的域差距。系统首先用Mask R-CNN获得物体类别和分割，用HandNet估计手部姿态、20个关节角及三维关节位置，然后由类别专属的HOPS-Net根据物体分割、裁剪图像和手部参数回归物体位置、方向并输出形状嵌入，最后在GraspIt!中通过使指尖贴近物体表面来精修位姿并生成合理抓取。训练数据由GraspIt!和EigenGrasp规划器生成，筛选满足指尖接触且符合类别相关真实抓取分布的稳定抓取；为模拟真实推理误差，数据还对手部参数加入高斯噪声，并仅保留手部遮挡低于50%的样本。Augmented CycleGAN以无纹理灰色合成渲染为源域、ImageNet物体分割图像为目标域，借助高斯潜变量实现一对多的颜色和纹理生成，使同一形状可产生多种真实外观，同时保留自动标注。形状检索采用连体网络将图像-手部特征与体素网格特征映射到同一嵌入空间并以对比损失训练，测试时检索最近邻网格；方向回归则依据每类对称性构造由旋转矩阵列组成的类别专属表示R，以避免惩罚不可观测的对称自由度。模型的核心机制是联合最小化形状、位置和方向损失，即 L = L_M + L_p + L_O。实验按类别70:30划分“真实”遮挡数据集，使用ADD、ADD-S准确率-阈值曲线下面积、位置和方向MAE以及形状检索F1评估；加入带噪声手部参数后，平均ADD面积从11.45升至27.92，经精修达到37.44，平均ADD-S面积从42.31升至61.07并在精修后达到71.98，位置MAE从4.277 cm降至3.076 cm并在精修后降至2.686 cm，方向MAE从49.91度降至35.49度并在精修后降至34.45度，形状F1也从55.99小幅提升至57.76，验证了手部线索和基于接触的精修对位姿估计的关键作用；随机抓取则不会带来显著提升，说明收益依赖符合真实任务分布的手物关系。在GUN-71真实自我中心活动数据上的定性结果表明，方法在较大遮挡和透明情况下仍可得到合理形状与位姿，但分割错误或手部姿态错误会导致检索和位姿失败。该技术可用于虚拟现实操作、机器人从人类演示中学习抓取以及自动标注海量操作视频，主要约束是仅处理已知类别、依赖外部分割和手部估计，且接触精修被限制在位置5 cm、方向5度内，也不能保证初始几何完全不穿透；未来计划联合学习手与物体的估计并扩展更多物体类别。\n\n### 关键要点\n\n- HOPS-Net以分割物体、物体裁剪图以及估计的手部姿态和构型为输入，输出物体位置、方向和用于三维网格检索的形状特征向量。\n- 手部信息按用途区分：三维关节位置HS主要用于估计物体位置，手腕姿态和20个关节角HP主要用于判断物体方向与形状。\n- 形状检索采用共享权重的连体网络，将图像-手部特征和二值体素网格特征映射到同一嵌入空间，并以最近邻方式检索最相似网格。\n- 方向估计直接回归旋转矩阵的相关列，但根据瓶子、马克杯、刀和碗的对称性构造类别专属表示R，从而减少对称视角造成的学习歧义。\n- 位姿精修在GraspIt!中固定手部并优化物体位姿，使五个指尖到物体网格表面的距离最小，优化范围限制为位置5 cm、方向5度。\n- Augmented CycleGAN通过高斯潜变量实现合成图像到多种真实纹理外观的一对多映射，可在不需要人工标注真实图像的情况下生成训练数据。\n- 合成训练数据由GraspIt!和EigenGrasp规划器生成，只保留所有指尖接触物体且符合类别相关任务抓取分布的稳定抓取。\n- 为匹配真实场景中的手部检测误差，训练数据对HP中的参数加入高斯噪声，并仅保留手部遮挡物体面积低于50%的样本。\n- 定量消融显示，加入带噪声手部参数并进行位姿精修后，平均ADD-S面积从42.31提升到71.98，平均位置MAE降至2.686 cm。\n- 形状检索F1分数在加入手部参数后平均从55.99提升到57.76，说明手部构型对形状识别有小幅但一致的帮助。\n- GUN-71上的定性结果可处理严重遮挡和透明物体，但Mask R-CNN分割错误或HandNet手部姿态错误会造成形状检索和物体位姿失败。"
}