{
  "paper_id": "00b89e74dea1f7b8fd11507780b07c18",
  "paper_title": "HO-Cap: A Capture System and Dataset for 3D Reconstruction and Pose Tracking of Hand-Object Interaction",
  "paper_authors": [
    "Jikai Wang",
    "Qifan Zhang",
    "Yu-Wei Chao",
    "Bowen Wen",
    "Xiaohu Guo",
    "Yu Xiang"
  ],
  "publication_date": "2024",
  "publication_venue": "Advances in Neural Information Processing Systems 38",
  "abstract": "论文介绍 HO-Cap，一套面向视频中手与物体三维重建及位姿跟踪的数据采集系统和数据集。系统利用多台 RGB-D 相机与 HoloLens 头显采集数据，无需昂贵三维扫描仪或动捕系统；提出半自动形状与位姿标注方法，显著减少人工标注时间。采集的数据包括人类执行拾取放置、双手交接以及按物体可供性使用物体等任务，可作为具身智能和机器人操作研究的人类演示。采集装置与标注框架将向社区开放，用于重建物体和人手三维形状并跟踪其在视频中的位姿。\n",
  "keywords": [
    "手物交互",
    "三维重建",
    "位姿跟踪",
    "RGB-D",
    "数据集",
    "半自动标注",
    "符号距离场",
    "多视角一致性",
    "MANO",
    "HoloLens",
    "具身智能",
    "机器人操作"
  ],
  "paper_institutions": [
    "The University of Texas at Dallas",
    "NVIDIA"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:37:29.936000Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对手物交互数据采集依赖昂贵动捕设备、人工逐帧标注耗时，以及 HO-3D、H2O 等自动或半自动系统受限于已知三维模型或需为每个物体训练专属跟踪器的问题，论文提出 HO-Cap 采集系统与标注框架。该系统使用八台已标定的 Intel RealSense D455 RGB-D 相机、一台上方高分辨率 Azure Kinect 和受试者佩戴的 Microsoft HoloLens，同时获取第三人称多视角与第一人称视角，并通过 Vicalib 标定内外参、基于 ROS 时间戳同步，使点云可融合到桌面附近的世界坐标系。标注流程以 SAM2 在首帧仅靠人工选择两个点生成物体掩码并标注名称，随后用 BundleSDF 重建刚性未知物体的带纹理网格，用 FoundationPose 跨视角初始化和跟踪 6D 位姿，用 MediaPipe 检测 21 个手部关键点，并以多视角三角化、RANSAC 和时序插值抑制检测噪声。其核心机制是基于符号距离场的位姿优化：对物体逐帧求解 T_t* = argmin_Tt (L_sdf(T_t)+λ1 L_smooth(T_t,T_{t-1}))，使融合点云对齐模型表面并防止位姿跳变；手部位姿则用 MANO 的三维关键点损失和正则化优化，最后将手与物体的 SDF 损失、手部姿态正则及平滑约束联合优化，以减少网格穿模并提升物理合理性。基于该系统构建的 HO-Cap 数据集包含 64 段视频、约 656K 帧、9 名受试者、64 个可在线购买且均有重建网格的独特物体，覆盖抓取放置、双手交接和可供性驱动使用三类任务，支持单手与双手交互；选择多视角 RGB-D 与预训练大模型组合，是为了在无标记、无三维扫描仪、无领域专属训练的条件下验证方法对多样物体和自然交互的可扩展性，并可将标注轨迹导入 NVIDIA Isaac Sim 支持具身智能与机器人操作研究。标注质量在随机抽取的 800 张图像上用三维标注投影与人工二维点的像素欧氏距离评估，最终物体、左手、右手误差分别为 3.42(±1.73)、4.58(±2.72)、3.82(±2.29) 像素，且从初始位姿、SDF 精炼到联合精炼持续下降，支持多视角一致性与 SDF 联合优化的有效性。基线实验还包括：手部姿态采用 PCK 和 MPJPE，HaMeR 的 MPJPE 为 28.9 mm，显著优于 A2J-Transformer 的 78.7 mm；物体检测采用 MS COCO AP，新物体 CNOS 为 25.3 AP、GroundingDINO 为 17.0 AP，已见物体训练后 RT-DETR 达 75.9 AP、YOLO11 达 71.4 AP；新物体 6D 位姿采用 ADD 和 ADD-S 的 AUC，FoundationPose 达 89.3% 和 95.7%，高于 MegaPose 的 67.1% 和 83.0%。这些结果表明数据集可用于检测、手部姿态、物体位姿及零样本能力评测，未来可探索弱纹理、金属、小型柱状物体和手部关键点失败等难题，应用于人因交互、VR/AR、从人类演示学习、具身智能和机械臂操作，但实际部署受多相机标定与同步、物体需刚性、操作中需有足够可见颜色深度和几何信息等约束。\n\n### 关键要点\n\n- 硬件采集平台由八台 Intel RealSense D455、一台 Azure Kinect 和一副 Microsoft HoloLens 组成，可同时记录多视角第三人称 RGB-D 数据和第一人称视角数据。\n- 所有静态相机通过 Vicalib 完成内参和外参标定，图像与头部位姿记录在 ROS bag 中，并依据时间戳实现同步。\n- 物体三维重建不依赖预存 CAD 模型或三维扫描仪，而是由 SAM2 提供掩码、BundleSDF 跟踪并训练神经物体场，最后通过 marching cubes 提取带纹理网格。\n- 数据集中的 64 个物体均为刚性物体，并在独立的重建环节中由人员在 Azure Kinect 前移动和旋转物体，以尽量覆盖完整表面。\n- 交互视频中的物体初始位姿由 FoundationPose 在各视角分别跟踪，再转换到世界坐标系，通过距离判定和 RANSAC 剔除离群视角结果。\n- SDF 物体跟踪使用八视角融合点云，最小化点到物体模型表面的符号距离平方，并加入旋转四元数与平移的平滑损失防止时序跳变。\n- 手部采用 MANO 参数模型，形状参数按受试者预先标定；MediaPipe 检测的二维关键点经多视角三角化、投影误差筛选和样条平滑后形成三维关键点约束。\n- 联合优化同时计算物体和手部的 SDF 损失、手部姿态 L2 正则以及时序平滑项，只需少量精炼步骤即可减少手物网格相交。\n- HoloLens 直接发布的头部位姿存在抖动，论文利用已优化的物体位姿和 FoundationPose 在 HoloLens 图像中重新对齐物体，以精炼相机位姿。\n- HO-Cap 包含 64 段视频、约 656K 帧、9 名受试者和 64 个物体，任务分为 28 段拾取放置、21 段双手交接和 15 段可供性使用。\n- 在 800 张随机抽取图像上，最终联合精炼位姿的二维投影误差均在 5 像素以内，并且误差随初始位姿、SDF 精炼和联合精炼逐步降低。\n- 方法不适配弱纹理或金属物体、MediaPipe 频繁失败的视频，以及被手握持后可见几何信息过少的小型或柱状物体，相关序列被排除在数据集外。"
}