{
  "paper_id": "0ecf755917b4aff75137a5ece3e8de5f",
  "paper_title": "AffordPose: A Large-scale Dataset of Hand-Object Interactions with Affordance-driven Hand Pose",
  "paper_authors": [
    "Juntao Jian",
    "Xiuping Liu",
    "Manyi Li",
    "Ruizhen Hu",
    "Jian Liu"
  ],
  "publication_date": "",
  "publication_venue": "2023 IEEE/CVF International Conference on Computer Vision (ICCV)",
  "abstract": "人类如何与物体交互取决于目标物体的功能角色，由此产生了可供性感知的手物交互问题，而学习合理、恰当的手物交互需要大量人类示范。本文提出 AffordPose，这是一个由可供性驱动手部姿态的大规模手物交互数据集。作者为每个物体标注具体的部件级可供性标签，例如 twist、pull、handle-grasp 等，而非 use 或 handover 等泛化意图，用以说明交互目的并引导交互定位。细粒度手物交互揭示了以手为中心的可供性对手部姿态具体配置的影响，同时也表现出一定程度的多样性。数据集共收集 26.7K 个手物交互，每个交互包含三维物体形状、部件级可供性标签和人工调整的手部姿态。综合数据分析通过参数统计和接触计算展示了各可供性下手物交互的共性与多样性。作者还在手物可供性理解和面向可供性的手物交互生成任务上进行实验，验证了该数据集对学习细粒度手物交互的有效性。\n",
  "keywords": [
    "手物交互",
    "可供性",
    "部件级标注",
    "手部姿态",
    "大规模数据集",
    "可供性理解",
    "交互生成",
    "MANO"
  ],
  "paper_institutions": [
    "Dalian University of Technology",
    "Shandong University",
    "Shenzhen University",
    "Tsinghua University"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:22:49.339092Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文解决的问题是如何让智能体理解并生成不仅稳定、而且符合物体功能和人类使用习惯的细粒度手物交互；已有数据集多关注一般抓取稳定性，或只提供 use、handover 等粗粒度意图，难以同时说明交互是什么、在哪里发生以及如何执行。作者提出 AffordPose 数据集，以 twist、pull、press、handle-grasp、wrap-grasp、support、lift、lever 等 8 种以手为中心的部件级可供性为桥梁，将物体功能区域与 MANO 手部姿态直接关联。数据来自 PartNet 和 PartNet-Mobility 中 13 类共 641 个具有层级分割的三维物体，选择这些数据是因为其部件结构适合标注功能区域并支持跨类泛化；标注先由志愿者对功能性部件达成可供性共识，再由 14 名志愿者在 GraspIt! 中依据彩色可供性区域人工调整手掌位姿和 16 个关节自由度，核心姿态机制可表示为手掌外参 $p=\\{\\mathbf t,\\mathbf q\\}$ 与关节内参 $\\theta\\in\\mathbb{R}^{16}$，并借助力分析减少穿透和物理不合理姿态。最终数据集包含 26,712 个交互，每个样本含三维物体形状、部件级可供性标签和手部姿态参数。分析表明，不同可供性在关节配置、接触部位和手部位姿上差异显著，同一可供性跨物体类别具有共性，而同一可供性也会因个人习惯呈现多样性；手指接触频率显示拇指、食指和中指在多数动作中作用突出，关节标准差则进一步刻画了各自由度的变化范围。在实验设置上，手物可供性理解采用 DGCNN、8:1:1 训练验证测试划分，验证手部姿态与可供性之间的可推断关系；面向可供性的交互生成比较仅输入物体的 GrabNet 与输入物体和 one-hot 可供性条件的 AffordPoseNet，并增加 211 个有部件可供性但无手部标注的物体扩展测试集。结果显示，使用全部手部参数的可供性分类平均准确率达 98.39%，部件定位平均 IoU 为 96.29%；AffordPoseNet 的平均接触率为 96.06%、穿透深度为 0.89cm，并取得 83.51% 的可供性准确率，说明可供性条件能引导生成差异化且功能恰当的手物交互。该数据集可服务于机器人操作、AR 指导、基于图像的交互分类和手部网格恢复等真实场景，但小尺寸拉链或瓶盖等接触区域、遮挡、手部姿态多样性以及合成网格和人工标注规模仍是主要约束；未来可扩展动态可供性交互、双手协作和人机协作，并发展半自动或半自动高效标注方法。\n\n### 关键要点\n\n- AffordPose 包含来自 13 个类别的 641 个三维物体、8 种以手为中心的可供性和 26,712 个手物交互标注。\n- 每个样本记录三维物体形状、部件级可供性标签和完整手部姿态参数，同一物体可支持多种可供性对应的不同交互。\n- 数据构建分为部件级可供性标注和手部交互标注两个阶段，功能性部件由 5 名志愿者讨论并形成标签共识。\n- 手部标注在 GraspIt! 中完成，志愿者调整 MANO 手模型的手掌平移、旋转和各手指关节角，并通过力分析避免穿透和不合理姿态。\n- 14 名志愿者平均为每个物体模型标注 42 个交互，且每个物体至少包含 28 个手部交互。\n- 代表性手部姿态由特定可供性下平均关节内参的最近手模型定义，结果显示不同可供性具有明显不同的关节配置。\n- 同一可供性可在锅、杯、刀等不同物体类别上产生相似关节配置，但手的整体位置和旋转会随接触部件变化。\n- 接触频率分析表明拇指、食指和中指对多数可供性动作最重要，关节标准差则显示根部关节通常比部分远端关节变化更小。\n- 基于 DGCNN 的可供性理解实验中，输入全部姿态参数取得 98.39% 的平均分类准确率和 96.29% 的平均定位 IoU。\n- AffordPoseNet 通过将可供性标签编码为 one-hot 向量并与物体特征拼接，可生成对应给定可供性的差异化手部姿态，而 GrabNet 往往生成相似姿态。\n- 生成实验中 AffordPoseNet 的平均可供性准确率为 83.51%，但 pull 和 twist 因拉链、瓶盖等目标区域过小而准确率较低。\n- 基于渲染 RGB 图像的应用中，ResNet-18 交互分类平均精确率和召回率分别为 97.31% 和 97.29%，改进 I2L-MeshNet 的手部网格恢复平均 MPVPE 为 16.4mm。",
  "available_templates": [
    "deep_read",
    "simple"
  ]
}