{
  "paper_id": "74b2d933d89665094855697efd23f9f6",
  "paper_title": "OAKINK2: A Dataset of Bimanual Hands-Object Manipulation in Complex Task Completion",
  "paper_authors": [
    "Xinyu Zhan",
    "Lixin Yang",
    "Yifei Zhao",
    "Kangrui Mao",
    "Hanlin Xu",
    "Zenan Lin",
    "Kailin Li",
    "Cewu Lu"
  ],
  "publication_date": "",
  "publication_venue": "2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)",
  "abstract": "本文提出 OAKINK2，一个面向复杂日常活动的双手物体操作数据集。为将复杂任务结构化，OAKINK2 引入 Affordance、Primitive Task 和 Complex Task 三层抽象，以物体为中心将复杂任务解码为物体可供性被依次满足的过程。数据集提供多视角图像流，以及人体、双手和多种交互物体的精确姿态标注，支持交互重建、运动合成等应用。基于三层抽象，作者进一步探索面向复杂任务完成的任务导向框架 CTC：利用大语言模型将复杂任务目标分解为 Primitive Task 序列，并通过 Motion Fulfillment Model 为每个 Primitive Task 生成双手运动。数据集与模型可在 <https://oakink.net/v2> 获取。\n",
  "keywords": [
    "OAKINK2",
    "双手操作",
    "物体可供性",
    "原始任务",
    "复杂任务完成",
    "任务分解",
    "运动生成",
    "扩散模型",
    "大语言模型",
    "三维姿态标注"
  ],
  "paper_institutions": [
    "Shanghai Jiao Tong University",
    "South China University of Technology"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:40:02.897548Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文针对现有方法难以理解并完成涉及多物体、多可供性、长时序日常操作的问题，指出 OakInk 等数据集虽研究物体可供性，却缺少完整实现可供性的人类演示和复杂任务。作者提出以物体为中心的三层抽象：Affordance 描述物体或部件功能，Primitive Task 是完成某一可供性的最小手物交互，Complex Task 将 Primitive 按依赖组成，并以 Primitive Dependency Graph（PDG）的有向无环图表示，节点为 Primitive、有向边规定执行顺序。基于该机制构建 OAKINK2 真实世界双手操作数据集，选择厨房、书房、化学实验室、浴室四类场景以覆盖多样长时序目标，并用 1 个第一视角、3 个第三视角 RGB 相机与 12 台 OptiTrack 动捕相机同步采集，以验证任务分解、精确三维姿态和运动生成的可用性；数据集含 38 个长时目标、150 个复杂任务、75 个物体、39 种可供性、60 类 Primitive、627 条序列（363 条 Primitive、264 条复杂任务）和 401 万帧，标注人体上半身、双手、物体位姿、形状、关节参数及任务规格。在应用上，CTC 框架先用 GPT-4 将场景与目标文本解析为 PDG 程序，再由 Oracle 检索并重定向专家物体轨迹，最后用 Task-aware Motion Fulfillment 模型生成双手运动，其核心是在文本、物体几何与物体轨迹条件下生成手部轨迹，即 P(P_h | T_o, V_o, text_PT)；MF-MDM 在 MDM 扩散变压器中加入 Sequential Merging 聚合多物体空间关系，并用细化模型补充手物距离。手部网格重建以 MPJPE、MPVPE、AUC 等评测，多视图 POEM 的 PA-MPJPE 为 6.18 mm、RR-MPJPE 为 12.12 mm；TaMF 的接触率为 0.90、实体交叠体积为 4.17 cm³、FID 为 1.369，感知得分为 3.64±0.85，支持其接触合理性与生成真实性，但复杂任务规划总成功率仅 36%，且 Primitive 超过 5 个时无成功案例，说明大语言模型对高复杂依赖关系仍受限。未来可用于视觉-语言-动作预训练、端到端文本到操作生成，以及跨具身体迁移和仿真环境中的具身学习；现实约束包括动捕遮挡需人工清洗、物体轨迹依赖 Oracle 或演示重定向、任务执行须满足 PDG 先后序且生成动作需避免穿透。\n\n### 关键要点\n\n- OAKINK2 以物体为中心建立 Affordance、Primitive Task、Complex Task 三层抽象，将复杂任务视为连续满足物体可供性的过程。\n- Primitive Dependency Graph 用有向无环图表达复杂任务：节点是完成单一可供性的 Primitive，有向边表示执行依赖，L0 节点无需前置任务。\n- 数据集覆盖厨房餐桌、书房餐桌、演示化学实验室和浴室餐桌四类场景，包含 38 个长时序操作目标并实例化为 150 个 Complex Task。\n- 数据采集使用 4 个 30 fps、分辨率 848×480 的 RGB 视角，其中包括 1 个第一视角和 3 个第三视角，同时使用 12 台 Optitrack Prime 13W 红外动捕相机。\n- OAKINK2 共含 75 个物体、39 种可供性、60 种 Primitive、627 条双手交互序列和 4.01M 帧，其中 363 条为 Primitive 序列、264 条为 Complex Task 序列。\n- 标注包括人体上半身、双手和物体的三维位姿、形状、铰接参数，以及可供性、Primitive、PDG、专家解说和受试者完成序列等任务规格。\n- CTC 框架分三阶段：GPT-4 根据场景和目标文本生成 Primitive 规划程序，Oracle 检索并重定向物体轨迹，TaMF 为每个 Primitive 生成双手运动。\n- MF-MDM 基于扩散式 MDM，通过 Sequential Merging 层聚合物体运动、几何和手物空间关系，另用细化模型改善交互细节。\n- 手部网格重建基准显示，多视图 POEM 达到 PA-MPJPE 6.18 mm、PA-MPVPE 6.61 mm、RR-MPJPE 12.12 mm 和 RR-MPVPE 12.15 mm。\n- TaMF 生成结果的 CR 为 0.90、SIV 为 4.17 cm³、FID 为 1.369，生成动作感知得分为 3.64±0.85，而真实数据集感知得分为 4.66±0.48。\n- LLM Primitive 规划总成功率为 36%，Primitive 数不超过 3 个时成功率为 44%，3 至 5 个时降至 20%，超过 5 个时无成功案例。\n- 数据集质量受动捕遮挡、错标和重叠标记影响，需专业人员清洗；复杂任务执行还必须严格满足 PDG 依赖，不能加入多余或顺序错误的 Primitive。"
}