{
  "paper_id": "5c65e1c3637d38bb6ef1c76fb4d14d47",
  "paper_title": "OakInk: A Large-scale Knowledge Repository for Understanding Hand-Object Interaction",
  "paper_authors": [
    "Lixin Yang",
    "Kailin Li",
    "Xinyu Zhan",
    "Fei Wu",
    "Anran Xu",
    "Liu Liu",
    "Cewu Lu"
  ],
  "publication_date": "",
  "publication_venue": "2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)",
  "abstract": "论文指出，理解人类操作物体需要机器同时掌握两类知识：物体可供性，以及人类如何基于可供性与物体交互。现有数据库对这两类知识缺乏全面覆盖，因此作者提出多模态、富标注的知识库 OakInk。其中，Oak 知识库收集并标注 1,800 个常见家用物体的可供性；Ink 知识库记录 100 个精选物体上的丰富人类交互，并通过新颖的 Tink 方法将交互迁移到虚拟对应物体。OakInk 最终包含 50,000 个具有可供性感知和意图导向的不同手物交互。论文在姿态估计和抓取生成任务上进行基准测试，并提出基于意图的交互生成与人到人交接生成两个应用。数据集和源代码已公开发布。\n",
  "keywords": [
    "手物交互",
    "可供性",
    "知识库",
    "多模态数据集",
    "姿态估计",
    "抓取生成",
    "交互迁移",
    "人手交接"
  ],
  "paper_institutions": [
    "Shanghai Jiao Tong University, China",
    "Shanghai Qi Zhi Institute, China"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:38:54.546008Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对现有手物交互数据集普遍缺乏物体可供性与人类交互经验统一建模、真实数据物体和交互数量有限、仿真抓取又难以反映人类分布的问题，本文从物体中心和人类中心两个视角构建大规模多模态知识库 OakInk。Oak 部分收集来自在线商家、ShapeNet、YCB 和 ContactDB 的 1,800 个日常家用、适合单手操作的物体，通过包含分类体系与属性描述的知识图谱表示物体功能，选择这些来源是为了兼顾类别、形状、可供性多样性以及与通用基准的衔接；Ink 部分从 Oak 中选择 100 个代表性物体，邀请 12 名受试者完成 use、hold、lift-up、hand-out、receive 等至多 5 种意图导向动作，使用 4 台 RealSense D435 和 8 台 Optitrack 红外相机同步记录，得到 230,064 帧 RGB-D 数据。为把真实交互扩展到形状尺寸不同但可供性相似的 1,700 个虚拟物体，作者提出学习—拟合混合方法 Tink，依次进行 DeepSDF 隐式形状插值、基于 ICP 的显式接触映射和迭代姿态精修，其核心机制可写为 \\(V_h,P_h \\leftarrow \\arg\\min_{\\theta,\\beta,P_{h_0}}(E_{\\mathrm{consis}}+E_{\\mathrm{anat}}+E_{\\mathrm{intp}})\\)，分别约束手部锚点与目标接触区的一致性、人体解剖合理性以及手物不穿透，从而在保持意图和接触语义的同时适配目标物体。实验中，图像集按视角划分 SPO 并用于手部网格恢复和手物姿态估计，几何集按物体 80%/10%/10% 划分用于抓取生成；跨数据集测试显示，在 DexYCB 上单独使用 OakInk-Image 的手部 MPJPE 为 44.81 mm，与 HO3D 混合后降至 39.70 mm，证明其对现有数据具有互补性，物理指标则显示 OakInk-Shape 的穿透深度仅 0.11 cm、实体交叠体积 0.62 cm³，支持其交互可行性与稳定性。论文还基准测试 HMR、HOPE 和 GraspGen，并提出 IntGen 与 HoverGen 两类新任务，感知评分分别达到约 3.86–3.98 和 4.03，展示了意图化交互生成和人到人交接生成的实用潜力；其现实场景包括计算机视觉、计算机图形学、机器人操作学习与交接，但当前局限于家用单手物体和同类相似可供性迁移，尚未记录剪刀等铰接物体活动部件的动态交互，也未实现从人手到多指机械臂的知识迁移，这些构成后续探索方向。\n\n### 关键要点\n\n- Oak 知识库包含 1,800 个家用单手操作物体，来源包括在线商家模型、ShapeNet、YCB 和 ContactDB，并组织为 32 个类别。\n- 物体可供性被定义为物体功能，由部件分割和功能短语构成；10 名志愿者通过共识流程最终确定 30 个属性短语。\n- Ink 的真实采集使用 4 台 RealSense D435 RGB-D 相机和 8 台 Optitrack Prime 13W 红外相机，所有传感器经过同步和外参标定。\n- 真实数据覆盖 12 名受试者、100 个源物体和至多 5 种意图，共保留 230,064 帧 RGB-D 序列。\n- 手部姿态采用 MANO 模型表示，通过多视角人工标注 2D 关键点并优化重投影、几何一致性、轮廓、解剖和时序平滑等约束获得。\n- 接触区域由 17 个手部部件锚点按 25 mm 阈值传播到物体表面，contactness 在最近点取 1 并随距离衰减至 0。\n- Tink 使用 DeepSDF 在源物体与目标物体间构造 10 个插值形状，再逐段用 ICP 映射接触区域，最后迭代优化新手的姿态、形状和腕部位置。\n- OakInk 最终形成 50,000 个不同的可供性感知、意图导向手物交互，并划分为 OakInk-Image、OakInk-Core 和 OakInk-Shape。\n- 跨数据集实验中，HO3D、OakInk-Image 及其混合训练在 DexYCB 上的 MPJPE 分别为 55.38 mm、44.81 mm 和 39.70 mm。\n- 在生成任务中，HoverGen 的感知评分为 4.03，高于 GrabNet 的 3.66，IntGen 在不同物体上的评分介于 3.86 到 3.98。\n- 当前数据与方法不适用于铰接物体活动部件的动态交互，也没有覆盖人手交互到多指机器人手臂的迁移。"
}