{
  "paper_id": "4455f175b990b4f8102c947ce8764163",
  "paper_title": "InterCap: Joint Markerless 3D Tracking of Humans and Objects in Interaction",
  "paper_authors": [
    "Yinghao Huang",
    "Omid Taheri",
    "Michael J. Black",
    "Dimitrios Tzionas"
  ],
  "publication_date": "2022",
  "publication_venue": "GCPR 2022",
  "abstract": "人类不断与日常物体交互以完成任务。要理解这类交互，计算机需要从观测全身与场景交互的相机中重建交互过程。由于人体与物体之间的遮挡、运动模糊、深度/尺度歧义以及手部和可抓握物体部件的图像分辨率较低，这一任务极具挑战。为使问题可处理，以往研究要么关注交互的手而忽略身体，要么关注交互的身体而忽略手。GRAB数据集涵盖灵巧的全身交互，但采用基于标记的动作捕捉且缺少图像；BEHAVE采集了身体-物体交互视频，但缺少手部细节。本文提出InterCap，一种利用参数化全身模型SMPL-X和已知物体网格、从多视角RGB-D数据重建交互中的全身人体与物体的新方法。InterCap基于两个关键观察：手与物体之间的接触可用于同时改善两者的姿态估计；Azure Kinect传感器可构建简单的多视角RGB-D采集系统，在减轻遮挡影响的同时提供合理的相机间同步。作者使用该方法采集了InterCap数据集，包含10名受试者（5男5女）与10种不同尺寸和可供性的物体交互，交互可涉及手或脚。数据集共有223段RGB-D视频、67,357个多视角帧，每帧包含6幅RGB-D图像。该方法为每个视频帧提供人体网格和物体的伪真值。数据和代码可在 <https://intercap.is.tue.mpg.de> 用于研究目的。\n",
  "keywords": [
    "人机交互",
    "无标记动作捕捉",
    "多视角RGB-D",
    "SMPL-X",
    "全身姿态估计",
    "6DoF物体跟踪",
    "接触约束",
    "InterCap数据集"
  ],
  "paper_institutions": [
    "Max Planck Institute for Intelligent Systems, Tübingen, Germany",
    "University of Amsterdam, Amsterdam, The Netherlands"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:22:35.161740Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对相机观测全身操作时面临的人体与物体互相遮挡、运动模糊、深度/尺度歧义以及手部和可抓握部件分辨率低等问题，已有工作往往只研究交互双手而忽略身体，或只研究身体而缺少手部细节；GRAB虽有精细全身-物体交互却依赖标记式动作捕捉且缺少图像，BEHAVE虽有多视角RGB-D视频却缺少手部姿态和精细接触。本文提出InterCap，从多视角RGB-D数据联合重建交互中的全身人体与刚性物体，采用带有关节手部的SMPL-X参数模型和已知物体网格，并利用“手物接触可同时改善双方姿态估计”与“Azure Kinect多视角系统可缓解遮挡并提供合理同步”两个关键观察。系统使用6台Azure Kinect在办公室中呈环形布置，经API标定并在MeshLab中手动修正外参；物体端先用PointRend分割，再通过可微渲染拟合掩码与深度以估计6DoF位姿，人体端用多视角OpenPose关键点重投影、点云深度和身体/手部/面部先验拟合SMPL-X，最后在全部帧联合优化，核心机制可概括为 E = E_O + E_B + λ_S E_S + λ_A E_A + λ_G E_G + Q_t E_C，其中E_O和E_B为物体与人体拟合项，E_S/E_A抑制人体和物体运动抖动，E_G防止穿透地面，Q_t为人工标注的接触帧二值标记，E_C促使标注的身体、手或脚顶点与物体顶点贴合。由此采集的InterCap数据集包含10名受试者（男女各5名）与10种尺寸、可供性不同的日常刚性物体，共223段RGB-D视频、67,357个多视角帧，每帧含6幅RGB-D图像；选择消费级RGB-D硬件是为了在遮挡缓解、全身/手部细节、部署灵活性和自然外观之间取得平衡，并验证联合接触约束能够为RGB视频生成合理的全身、手部、物体及接触伪真值。实验采用4.5 mm距离阈值生成接触热图，并报告网格穿透深度和顶点到点云距离；热图与行李箱把手、雨伞和网球拍握把、滑板上表面、凳子上表面等物体可供性一致，人体热图显示交互主要集中在右手手掌、手指和MCP关节。穿透统计表明约60%接触帧的平均穿透不超过5 mm，80%不超过7 mm，98%不超过20 mm，全部接触帧平均穿透为7.2 mm；人体和物体的平均顶点到点云距离分别为20.29 mm和18.50 mm，明显低于经对齐评估的SMPLify-X、VIBE和ExPose等单目RGB方法，但高于可逐帧自由改变体型的PROX-D。消融结果显示接触项使抓握姿态更自然并减少穿透，时序平滑项降低顶点加速度和抖动。该方法适用于室内日常动作理解、4D人体-物体重建、接触分析和研究数据生成，但受限于已知刚性物体网格、单物体假设、人工接触标注、30 FPS下需避免过快运动以及Kinect同步和遮挡造成的残余抖动，手部问题尤其明显；未来方向包括自动接触检测、更小物体与灵巧操作、更强运动先验以及更贴近日常非受控场景的采集。\n\n### 关键要点\n\n- InterCap使用6台Azure Kinect RGB-D相机组成环形采集系统，内参由厂商提供，外参通过Azure Kinect API标定并在MeshLab中依据相邻相机点云手动精修。\n- 方法假设物体为刚性且三维网格已知，物体模型优先从互联网获取，缺失模型使用Artec手持扫描仪扫描得到。\n- 物体跟踪先由PointRend生成语义掩码，再通过可微渲染最小化渲染掩码、深度与观测掩码、深度之间的差异，以估计物体的6DoF旋转和平移。\n- 针对遮挡导致的分割错误，系统会在相邻帧之间比较渲染物体与所有分割候选的重叠率，并保留重叠最大的候选。\n- 人体单独跟踪阶段将PROX-D扩展到多视角RGB-D数据，使用SMPL-X表示人体，并结合2D关键点重投影、多视角点云、身体与手部先验以及自穿透惩罚。\n- 联合优化阶段固定由第一阶段得到的平均体型，在所有帧上同时优化人体姿态、平移和物体位姿，并加入运动平滑、物体加速度、地面支撑、防穿透和接触约束。\n- 接触监督包括人工标注的物体易接触顶点、人体易接触区域以及二值接触帧向量Q_t，接触损失只在Q_t为1的帧中促使对应身体部位与物体贴合。\n- InterCap数据集包含10名受试者、10种日常物体、223段视频和67,357个多视角帧，每帧有6幅RGB-D图像，交互意图包括Pass、Check、Use和自由发挥。\n- 接触热图以4.5 mm为接触阈值，结果符合常见物体可供性；人体热图显示右手参与最多，接触主要分布在手掌、手指和MCP关节。\n- 方法仍依赖人工标注和已知物体网格，要求避免造成严重模糊的快速动作，并且残余抖动会因2D检测器对遮挡敏感、相机间微小时延和手部低分辨率而加剧。",
  "available_templates": [
    "deep_read",
    "simple"
  ]
}