{
  "paper_id": "05987d76c3dc72abba9e03a6d97d9886",
  "paper_title": "Ego-Exo 3D Hand Tracking in the Wild with a Mobile Multi-Camera Rig",
  "paper_authors": [
    "Patrick Rim",
    "Kun He",
    "Kevin Harris",
    "Braden Copple",
    "Shangchen Han",
    "Sizhe An",
    "Ivan Shugurov",
    "Tomas Hodan",
    "He Wen",
    "Xu Xie"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "在非受控环境中精确三维追踪双手及其与周围世界的交互，仍是自我中心计算机视觉中的重要挑战。除少数例外，现有数据集主要在受控实验室环境中采集，限制了环境多样性与模型泛化能力。为此，本文提出一种新型无标记多相机系统，用于在真正的野外条件下以近乎不受限的移动性采集精确的三维手与物体数据。系统结合轻量级背负式采集支架上的八个外视相机，以及用户佩戴的 Meta Quest 3 头显提供的两个自我中心视角。作者设计了一套自我中心—外视中心追踪流水线，从该系统生成精确的三维手部姿态真值，并严格评估其质量。通过采集包含同步多视角图像和精确三维手部姿态的标注数据集，研究证明该方法能够显著缓解环境真实性与三维标注精度之间的权衡。\n",
  "keywords": [
    "三维手部追踪",
    "自我中心与外视中心",
    "移动多相机系统",
    "野外采集",
    "手部姿态估计",
    "多视角三角化",
    "数据集",
    "EgoExo-Hands"
  ],
  "paper_institutions": [
    "Meta Reality Labs",
    "Yale University"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:32:48.849696Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文解决的核心问题是：现有手物交互数据集往往在受控实验室中获得高精度三维真值，或在真实环境中获得多样性影像却缺乏密集、精确的手部三维标注，导致 AR/VR 自然交互、机器人与遥操作等场景所需的泛化能力不足。作者提出一种约 8 千克的背包式移动多相机采集系统，包含八个以半穹顶布局安装的单色鱼眼外视相机和 Meta Quest 3 提供的两个单色鱼眼自我中心视角，并用五个 OptiTrack 相机追踪头显顶部的轻量标记树，以确定头显相对于外视支架的位姿；全部十路视频与五路 MoCap 数据硬件同步并标定到随参与者移动的共同坐标系，工作站置于可随行小车上，从而在室内外保持接近自然的活动能力。数据标注采用多阶段自我中心—外视中心流水线：先用 Sapiens 在十个视角中预测包括每只手 21 个关键点在内的身体关键点并定位手部，再生成 256×256 透视裁剪图，经直方图均衡化后用 InterNet 预测专用二维手部关键点；每帧共得到二十组关键点，置信度低于 0.3 的预测被滤除，随后通过基于 RANSAC 的鲁棒多视角几何得到 42 个三维关键点，并利用高分辨率手部扫描建立个性化线性混合蒙皮模型，再以逆运动学拟合网格。其核心误差机制可概括为 MPJPE = (1/N) Σ_j ‖p̂_j − p_j‖₂，即预测与参考三维关节位置的平均欧氏误差。为验证真值质量，作者将移动支架与具有三十个高分辨率相机、视角更密集的固定穹顶系统同步标定到同一坐标系；无交互、手手交互和手物交互的 MPJPE 中位数分别为 6.28、7.46 和 7.90 毫米，P90 分别为 7.31、8.95 和 12.53 毫米，证明轻量化移动系统达到亚厘米级中位精度。作者还构建约 30,000 帧、三名受试者、覆盖多种室内外环境的 EgoExo-Hands 评测集；使用 UmeTrack 与 HOT3D 联合训练的模型在原域测试 MKPE 为 9.48 和 10.95 毫米，在 EgoExo-Hands 上为 16.28 毫米，而单独使用 HOT3D 或 UmeTrack 训练时误差升至 22.59 和 24.78 毫米，说明野外数据具有更高多样性和挑战性。该工作的主要创新是在不使用手部标记物、不固定采集空间的条件下，同时获得真实环境、多视角覆盖和精确手部三维真值；其约束包括系统仍需背负支架和随行计算车、头显需要标记树进行外视定位、严重遮挡与复杂光照会影响二维检测和三角化，目前扩展摘要重点提供手部关键点与网格而非完整物体真值。未来将扩大数据规模，并补充 6DoF 物体位姿、分割、接触标注和详细文本描述，以服务开放世界手物交互理解。\n\n### 关键要点\n\n- 采集硬件为约 8 千克的自包含背包式支架，八个单色鱼眼相机以半穹顶方式安装，分辨率为 1024×1280、采集频率为 60 Hz。\n- 八个外视相机的布局包含两个俯视、两个远角、两个侧向伸出并向内倾斜以及两个仰视机位，用于最大化手部覆盖并减少遮挡。\n- 用户佩戴的 Meta Quest 3 提供两个前向鱼眼自我中心视角，选择该设备是因为其相机配置接近大规模真实消费级使用场景。\n- 头显不固定在支架上，允许自由头部转动；五个 OptiTrack PrimeX 13W 相机通过头显顶部标记树追踪头显相对支架的位姿。\n- 十个单色相机和五个 MoCap 相机经过硬件同步与精确标定，共同坐标系随参与者移动而非固定在物理世界中。\n- 标注流水线依次使用 Sapiens 全身关键点检测、256×256 透视裁剪、直方图均衡化、InterNet 手部关键点检测、置信度过滤、RANSAC 三角化和个性化网格拟合。\n- 每帧十个视角分别产生 Sapiens 与 InterNet 两组预测，共二十组二维手部关键点；低于 0.3 置信度的关键点会在三角化前被丢弃。\n- 在三十相机固定穹顶的金标准对比中，移动系统在三类交互条件下均取得亚厘米级 MPJPE 中位数，手物交互 P90 误差最高，为 12.53 毫米。\n- EgoExo-Hands 包含约 30,000 个标注帧、三名受试者和多种室内外场景，用于检验已有手部追踪模型在野外环境中的泛化能力。\n- 在 UmeTrack 和 HOT3D 上训练的模型迁移到 EgoExo-Hands 时 MKPE 明显升高，说明该数据集比原有受控数据更具挑战性。\n- 未来大规模数据集计划在手部关键点和个性化网格之外增加 6DoF 物体位姿、分割、接触和文本描述等标注。",
  "available_templates": [
    "deep_read",
    "simple"
  ]
}