{
  "paper_id": "21092334d9176bac1fe1c65165397057",
  "paper_title": "DexterCap: Affordable and Automated Capture of Complex Hand-Object Interactions",
  "paper_authors": [
    "Yutong Liang",
    "Shiyi Xu",
    "Yulong Zhang",
    "Bowen Zhan",
    "He Zhang",
    "Libin Liu"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "捕捉细粒度手物交互极具挑战，原因在于手指紧密排列会造成严重自遮挡，而且手中操作动作十分细微。现有光学动作捕捉系统通常依赖昂贵的相机配置和大量人工后处理，低成本视觉方法则在遮挡情况下出现精度和可靠性下降。为此，本文提出 DexterCap，一种面向灵巧手中操作的低成本光学捕捉系统。该系统使用密集的字符编码标记片，在严重自遮挡下实现鲁棒跟踪，并配套只需极少人工参与的自动化重建流水线。基于 DexterCap，作者构建了 DexterHand 数据集，覆盖从简单基元到魔方等复杂关节物体的多样操作行为。作者将发布数据集和代码，以支持未来灵巧手物交互研究。\n",
  "keywords": [
    "动作捕捉",
    "手物交互",
    "灵巧操作",
    "字符编码标记",
    "标记检测",
    "MANO",
    "姿态估计",
    "DexterHand 数据集"
  ],
  "paper_institutions": [
    "北京大学",
    "北京大学计算机学院",
    "腾讯机器人X实验室"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:27:03.504636Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n细粒度手物交互捕捉面临手指近距离自遮挡、手中操作动作细微、商业光学系统昂贵且需大量人工清理、数据手套存在惯性漂移、无标记视觉方法在遮挡下精度不足等问题；现有数据集又多聚焦抓握、移动或简单刚体交互，缺少长时、复杂关节物体操作资源。本文提出低成本、自动化的多相机光学捕捉与重建系统 DexterCap，并通过 DexterHand 数据集验证其能力。原型系统采用 13 台同步工业相机，以 2048×2448 分辨率、20 FPS 采集灰度视频，硬件总成本低于 6000 美元；选择该配置是为了在可负担成本、多视角抗遮挡和高精度之间取得平衡，并检验系统对刚体及关节物体的可扩展性。系统在每只手的指节、手背、手掌等相对刚性区域粘贴 19 片字符编码棋盘标记，提供超过 500 个可检测角点，物体表面也布置标记；标记字符由字母和数字组成，共 324 个唯一标签。图像处理采用 CornerNet、EdgeNet、BlockNet 三级级联：先基于 U-Net 热力图检测角点，再判断角点间边连接并组装四边形，最后识别双字符标签和方向，随后用邻域投票纠正误标。三维阶段对至少被三台相机看到的标记进行三角化和 RANSAC 剔除外点，再基于 MANO 手模型完成形状估计、分段非刚性标定和逐帧运动求解；其核心机制可概括为 E = E_point + λ_reg E_reg，即同时最小化模型表面标记与观测三维标记的位置误差，并惩罚违反自然关节范围的姿态。刚体物体用 Kabsch 算法估计 6-DoF 位姿，魔方则通过 384 个标记、共面性评分、1×2×2 块分解和角度吸附重建全局位姿及内部转动。DexterHand 包含七种基本形状和一个魔方，总时长 4936.65 秒，多数序列超过 10 分钟，动作涵盖徒手屈伸、外展、旋转以及多种手中操作，用于验证密集标记和自动流水线对细微、长时、多物体灵巧操作的重建能力。实验表明，CornerNet 图像级角点检测达到 94.7% 精确率、81.6% 召回率和 87.7% F1，EdgeNet 准确率为 99.02%，BlockNet 方向及双字符准确率分别为 98.39%、97.95% 和 97.36%；边优先组装将每帧候选四边形从 5550 个降至 83 个块。三维标记重投影误差为 1.42 像素，MANO 标记重建误差在标定阶段为 0.77±0.28 毫米、动态操作阶段为 2.06±1.09 毫米，物体标记误差为 1.512 毫米，手物平均穿透为 3.8±3.1 毫米。与 GRAB、ARCTIC、HUMOTO、HaMeR 和 GigaHands 的基准比较中，本文方法取得 9.31 的 MSNR 和 0.76 m/s³ 的 jerk，运动质量可媲美商业系统并显著优于纯视觉方法，同时是其中唯一聚焦灵巧手中操作的方案。未来可扩展更多被试、可变形与关节物体、双手操作和工具使用，增加抓握类型、意图、接触区域和力等语义标注，并结合遮挡感知姿态先验、IMU 等多模态传感以及物理仿真和 sim-to-real 技术；其成果可服务于动画、机器人灵巧操作、手物交互生成与策略训练，主要约束是系统仍依赖可见标记，在所有视角中大量标记同时不可见时会退化，且离线处理尚未优化。\n\n### 关键要点\n\n- DexterCap 原型由 13 台海康威视工业 GigE PoE 相机构成，采集 2048×2448、20 FPS 的灰度视频，总硬件成本低于 6000 美元。\n- 系统在每只手粘贴 19 片字符编码棋盘标记，形成超过 500 个可检测角点，并在刚体或魔方等物体表面布置同类标记。\n- 标记标签使用排除易混淆字符后的字母与数字，提供 324 个唯一双字符 ID，并通过左下划线帮助确定方向。\n- 图像处理流水线依次运行 CornerNet 角点检测、EdgeNet 边连接分类和 BlockNet 块识别，最后用模板邻域投票纠正错误标签。\n- EdgeNet 的边优先策略将平均候选数量从对比方法的每帧 5550 个四边形降至 707 条边和 83 个块，显著减少冗余计算。\n- 三维标记重建要求标记至少出现在三台相机中，使用三角化、RANSAC、基于补丁的聚类和滑动窗口 z-score 剔除异常点。\n- 手部重建先用低成本三维扫描估计 MANO 形状参数，再通过开放手旋转序列完成标记到网格的重心坐标关联，之后逐帧优化全局位姿和 27 个解剖学自由度。\n- 刚体物体通过 Kabsch 算法对齐观测标记与标准模型；魔方则利用共面性检测识别面层转动，并分解为两个 1×2×2 块分别配准。\n- DexterHand 数据集覆盖长方体、圆柱体、圆盘、环、三棱柱等七种基本形状以及魔方，总时长 4936.65 秒，并经过匿名化处理。\n- 新会话在约 180 帧人工标注数据训练出的模型上可自动处理；未优化离线速度约为每帧 5 秒标记识别和 5–12 秒手物重建。\n- 关键精度结果包括 1.42 像素重投影误差、动态阶段 2.06±1.09 毫米手部标记重建误差和 1.512 毫米物体标记误差。\n- 当手指或物体在所有视角中被大面积遮挡时，基于视觉标记的重建仍可能产生穿透等伪影，需要额外先验或传感模态解决。",
  "available_templates": [
    "deep_read",
    "simple"
  ]
}