{
  "paper_id": "165565e958225f53d600cf57a513380d",
  "paper_title": "GRAB: A Dataset of Whole-Body Human Grasping of Objects",
  "paper_authors": [
    "Omid Taheri",
    "Nima Ghorbani",
    "Michael J. Black",
    "Dimitrios Tzionas"
  ],
  "publication_date": "",
  "publication_venue": "ECCV 2020 (Lecture Notes in Computer Science)",
  "abstract": "训练计算机理解、建模并合成人体抓取，需要一个包含复杂三维物体形状、详细接触信息、手部姿态与形状以及随时间变化的三维身体运动的丰富数据集。通常“抓取”被理解为单手稳定地提起物体，但本文捕捉整个人体的运动，并采用广义的“全身抓取”概念。因此，作者收集了一个名为GRAB（GRasping Actions with Bodies）的全身抓取新数据集，其中包含10名受试者与51个形状、大小各异的日常物体交互的完整三维形状和姿态序列。给定动作捕捉标记，作者拟合包括关节化面部和双手在内的完整三维身体形状与姿态，以及三维物体姿态，从而得到随时间变化的详细三维网格，并据此计算身体与物体之间的接触。该数据集在建模和理解人类如何抓取与操作物体、全身如何参与以及交互如何随任务变化方面远超现有数据集。作者通过示例应用展示GRAB的实用价值：训练条件生成网络GrabNet，为未见过的三维物体形状预测三维手部抓取。数据集和代码可在 <https://grab.is.tue.mpg.de> 用于研究目的。\n",
  "keywords": [
    "全身抓取",
    "人体-物体交互",
    "三维数据集",
    "动作捕捉",
    "SMPL-X",
    "接触标注",
    "GrabNet",
    "条件变分自编码器",
    "手部姿态生成"
  ],
  "paper_institutions": [
    "Max Planck Institute for Intelligent Systems, Tübingen, Stuttgart, Germany"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:35:21.602568Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对现有抓取数据多局限于单手稳定提物、缺乏全身三维运动、精细手面姿态和身体-物体接触标注的问题，论文在抓取分类、触觉/热成像接触采集、MoCap交互捕捉和人体-物体交互模型等研究基础上，提出广义“全身抓取”概念并构建GRAB数据集。作者选择高精度光学MoCap而非同步RGB视频，是为了在严重遮挡下获得身体、手指、面部和物体的可靠三维运动，并验证小尺寸半球标记不会显著改变自然抓取；数据采集使用54台Vicon Vantage 16相机（16 MP、120 fps）、每名受试者99个标记（49个身体、14个面部、36个手指），以及51个具有已知CAD网格并3D打印的日常物体。方法上，论文先扫描每名受试者并将SMPL-X模型拟合到三维体型，再扩展MoSh++以在固定形状β下优化姿态θ、表情ψ和平移γ，得到含身体、双手和面部的10475顶点三维网格；刚体物体则依据至少3个可见标记求解6自由度姿态。接触由人体与物体网格的三维邻近关系推断，核心机制为 d≤ε_contact，其中经验阈值 ε_contact=4.5 mm，并通过“相交环”启发式规则处理手指穿透薄壁物体及接触欠冲问题。GRAB包含10名男女受试者、4种交互意图（use、pass、lift、off-hand pass）、1334个序列和1622459帧，其中952514帧被启发式判定为接触帧；分析显示use序列中92%的接触帧涉及右手、39%涉及左手、31%涉及双手、8%涉及头部，且手指接触比手掌更频繁，证明面部和全身参与的重要性。为验证数据集对学习模型的价值，作者训练GrabNet：CoarseNet以4096维BPS物体编码为条件，通过cVAE生成16维潜码并解码MANO手腕与手指参数，RefineNet再依据按GRAB接触似然加权的手-物距离，经3次迭代细化接触。定量结果表明CoarseNet在训练/验证/测试集上的重建顶点误差分别为12.1/14.1/18.4 mm，RefineNet降至3.7/4.1/4.4 mm；AMT用户研究中生成抓取平均Likert分为4.12，真实抓取为4.38，对最近真值的平均顶点误差为2.45 cm、接触图误差为4.18%，支持了数据驱动的自然抓取生成与自上而下的拟人接触推断。该数据适用于视觉行为理解、图形人体合成、机器人模仿抓取、人体-物体交互先验和合成渲染等场景，但约束在于实验室MoCap环境、无同步自然图像、SMPL-X不能建模软组织变形、受试者均为右利手且数据仅限研究使用；未来可探索全身交互模型、从接触推断物体形状/姿态、时间模式分析、MoCap到网格的映射、机器人模仿和合成图像渲染。\n\n### 关键要点\n\n- GRAB将“抓取”扩展为包含手、面部、躯干等多部位接触的“全身抓取”，并记录真实的动态操作、手中调整和重新抓取。\n- 数据集记录10名受试者（5男5女）与51个形状和尺寸不同的日常3D打印物体交互，物体具有已知CAD网格。\n- 采集系统使用54台16 MP红外相机，以120 fps捕捉运动，并通过大量相机减少遮挡、保留接触瞬间的时间细节。\n- 每名受试者配置99个反光标记：身体49个、面部14个、手指36个；手掌侧不安装设备以尽量保持自然交互。\n- 每个物体至少粘贴8个1.5 mm半径半球标记，并保证任意时刻至少3个可见，以便稳定求解刚体三维姿态。\n- 论文使用个性化SMPL-X模型和扩展的MoSh++恢复身体、双手及面部运动，SMPL-X网格包含10475个顶点。\n- 接触标注以网格距离 d≤4.5 mm 为基础，并使用相交环检测区分物体外表面接触与手指穿透造成的误接触。\n- GRAB包含use、pass、lift、off-hand pass四种意图，共1334个序列、1622459帧，其中952514帧被定义为接触帧。\n- use序列的接触统计显示右手占92%、左手占39%、双手占31%、头部占8%，拇指到小指的接触 likelihood 依次为100%、96%、92%、79%、39%。\n- GrabNet由CoarseNet和RefineNet组成：前者用BPS编码和cVAE生成初始MANO抓取，后者依据手-物距离在3步内细化姿态与接触。\n- 用户研究中GrabNet生成抓取的平均Likert分为4.12，接近真实抓取的4.38，但平均顶点误差仍有2.45 cm，说明生成结果自然 yet 与真值并不完全重合。\n- 主要限制是没有同步RGB图像、采集依赖实验室MoCap、SMPL-X无法表示软组织变形，且所有受试者均为右利手。"
}