{
  "paper_id": "c264db48cf7110356ae6c11053f20285",
  "paper_title": "SHOW3D: Capturing Scenes of 3D Hands and Objects in the Wild",
  "paper_authors": [
    "Patrick Rim",
    "Kevin Harris",
    "Braden Copple",
    "Shangchen Han",
    "Xu Xie",
    "Ivan Shugurov",
    "Sizhe An",
    "He Wen",
    "Alex Wong",
    "Tomas Hodan",
    "Kun He"
  ],
  "publication_date": "",
  "publication_venue": "CVPR 2026",
  "abstract": "在操作过程中准确理解人手和物体的三维状态，仍是第一视角计算机视觉中的重要挑战。现有的手物交互数据集主要在受控摄影棚环境中采集，限制了环境多样性，也使基于此类数据训练的模型难以泛化到真实场景。为解决该问题，本文提出一种新型无标记多相机系统，能够在真正的野外条件下实现近乎不受限的移动，同时仍可生成精确的手部和物体三维标注。该采集系统由轻量的背负式多相机装置组成，并与用户佩戴的VR头显进行同步和标定。为获得手部和物体的三维真值，作者开发了一套第一视角—外部视角联合追踪流水线，并严格评估了标注质量。最终，本文提出SHOW3D，这是首个包含多样化真实环境（包括户外场景）中手物交互三维标注的大规模数据集。多个下游任务实验表明，该方法显著缓解了环境真实性与三维标注精度之间的根本权衡。\n",
  "keywords": [
    "第一视角视觉",
    "手物交互",
    "三维手部姿态估计",
    "物体6DoF姿态估计",
    "野外数据集",
    "移动多相机系统",
    "无标记动作捕捉",
    "交互场",
    "文本条件预测",
    "AR/VR"
  ],
  "paper_institutions": [
    "Meta Reality Labs",
    "Yale University"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:33:43.136077Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对第一视角感知在真实场景中难以同时获得环境真实性与高精度三维手物标注的问题，本文指出现有GigaHands、HOT3D、ARCTIC等数据集多依赖固定摄影棚或标记式动捕，环境单一且标记会改变外观，而Ego-Exo4D、Nymeria等野外数据又缺少密集准确的手部和物体三维真值；为此提出约8千克的背包式移动多相机系统，由8个外视角单色鱼眼相机、Meta Quest 3上的2个第一视角单色鱼眼相机和5个仅追踪头显标记刚体的动捕相机构成，全部硬件在60 Hz同步并标定到随参与者移动的共同坐标系。该系统用自动第一视角—外部视角联合流水线生成无标记三维标注：手部分支结合Sapiens全身关键点与裁剪图上的InterNet手部关键点，经透视裁剪和RANSAC多视角三角化后用逆运动学拟合个性化线性混合蒙皮网格；物体分支以CAD模型为基础，依次用CNOS检测、FoundPose估计粗6DoF姿态、GoTrack优化，并以多视图gPnP替代PnP，置信度用于自动过滤。基于该系统构建的SHOW3D包含约20小时、430万同步帧、10个视角共4300万图像、1200多条序列、38名参与者、21个物体和30多个室内外地点，标注含双手三维关键点与网格、物体6DoF姿态和纹理CAD模型、二维掩码、接触区域及多条动作级文本；选择单色鱼眼和第一视角—外部视角融合，是为了在光照变化、遮挡和自然运动下保持覆盖与精度，从而验证移动无标记方案可兼顾摄影棚级精度和野外多样性。论文的核心机制之一是交互场 F_i^{a→b} = min_{1≤j≤V_b} ||v_i^a - v_j^b||_2，用于逐顶点刻画手或物体网格到另一侧网格的最近距离；在SHOW3D、HOT3D和UmeTrack上的跨数据集实验中，手部标注对独立参考达到亚厘米中位误差，物体P50平移误差约1.53–3.51 mm，SHOW3D训练的交互场模型迁移到HOT3D的ADE为14.70 mm，优于HOT3D训练后测SHOW3D的22.57 mm，三维手部姿态MKPE也显示旧数据训练模型在SHOW3D上明显退化，而加入SHOW3D可提升鲁棒性；文本条件预测在30帧和60帧未来将平均平移误差从42.7/46.7 mm降至30.4/35.0 mm，支持语义意图能补充运动学信息。该数据适用于AR/VR自然交互、机器人灵巧操作与遥操作等场景，但仍受严重遮挡、强室外光照、小物体检出率、对称物体旋转歧义、CAD模型依赖和自动标注有效帧比例约束，未来可加入触觉、测距等模态并扩展具身应用。\n\n### 关键要点\n\n- 移动采集装置为背包式设计，重约8千克，包含8个外视角单色鱼眼相机、Quest 3提供的2个第一视角相机和5个仅用于头显定位的动捕相机，所有相机以60 Hz硬件同步。\n- 手部标注流水线先由Sapiens检测全身和手部关键点，再生成256×256透视裁剪并用InterNet检测更精细的手部关键点，两类检测通过RANSAC三角化融合，最后经逆运动学拟合个性化手部网格。\n- 物体标注流水线依赖CAD模型和DINOv2特征，依次执行CNOS二维检测、FoundPose粗6DoF估计和GoTrack优化跟踪；多视图输入通过gPnP求解，并产生可用于过滤的置信度。\n- SHOW3D包含430万同步多视角帧、约20小时视频、1200多条序列、38名参与者、21个日常物体和30多个不同地点，且每帧由10个相机同时采集。\n- 数据集覆盖花园、户外座位、建筑边缘、厨房、会议室、走廊、食堂、办公桌和娱乐空间等室内外场景，光照和背景变化显著多于受控摄影棚。\n- 除手部和物体三维姿态外，数据还提供拟合网格、纹理三维CAD模型、二维分割掩码、顶点级接触区域以及由LLM增强生成的多条自然语言动作描述。\n- 手部标注质量分别对照30相机固定摄影棚系统和人工标注三维关键点，在无交互、手手交互和手物交互条件下均达到亚厘米中位误差；手物交互时相对摄影棚和人工参考的中位MPJPE分别为7.90 mm和6.36 mm。\n- 物体标注通过在5个物体上附加光学标记并以动捕作为独立参考，P50平移误差为1.53–3.51 mm，P50旋转误差为1.23°–5.77°，但较小的bottle_bbq标注产出率仅为53.5%。\n- 在交互场估计中，SHOW3D训练并测试HOT3D的ADE为14.70 mm，而HOT3D训练后测试SHOW3D为22.57 mm，说明野外数据覆盖更广、向摄影棚迁移更容易；两数据集联合训练可将HOT3D上的ADE降至8.80 mm。\n- 在三维手部姿态估计中，UmeTrack或HOT3D训练模型在SHOW3D上的MKPE分别为22.2 mm和19.6 mm，加入SHOW3D后组合模型在SHOW3D和HOT3D上分别达到14.3 mm和12.3 mm，定性结果显示其对物体遮挡和背景杂乱更鲁棒。\n- 文本驱动的6DoF物体轨迹预测使用30个历史姿态和BERT编码文本，预测30帧和60帧后的平均平移误差分别由42.7 mm、46.7 mm降至30.4 mm、35.0 mm；对倒入、拿起、打开等结构化动作收益最大，而对移动、检查等高歧义动作收益有限甚至可能为负。"
}