{
  "paper_id": "215787d66a566bb8ee8516c4dcbaabc7",
  "paper_title": "EgoBody: Human Body Shape and Motion of Interacting People from Head-Mounted Devices",
  "paper_authors": [
    "Siwei Zhang",
    "Qianli Ma",
    "Yan Zhang",
    "Zhiyin Qian",
    "Taein Kwon",
    "Marc Pollefeys",
    "Federica Bogo",
    "Siyu Tang"
  ],
  "publication_date": "",
  "publication_venue": "Computer Vision -- ECCV 2022",
  "abstract": "Understanding social interactions from egocentric views is crucial for many applications, ranging from assistive robotics to AR/VR. Key to reasoning about interactions is to understand the body pose and motion of the interaction partner from the egocentric view. However, research in this area is severely hindered by the lack of datasets. Existing datasets are limited in terms of either size, capture/annotation modalities, ground-truth quality, or interaction diversity. We fill this gap by proposing EgoBody, a novel large-scale dataset for human pose, shape and motion estimation from egocentric views, during interactions in complex 3D scenes. We employ Microsoft HoloLens2 headsets to record rich egocentric data streams (including RGB, depth, eye gaze, head and hand tracking). To obtain accurate 3D ground truth, we calibrate the headset with a multi-Kinect rig and fit expressive SMPL-X body meshes to multi-view RGB-D frames, reconstructing 3D human shapes and poses relative to the scene, over time. We collect 125 sequences, spanning diverse interaction scenarios, and propose the first benchmark for 3D full-body pose and shape estimation of the interaction partner from egocentric views. We extensively evaluate state-of-the-art methods, highlight their limitations in the egocentric scenario, and address such limitations leveraging our high-quality annotations. Data and code are available at https://sanweiliti.github.io/egobody/egobody.html.",
  "keywords": [
    "pose estimation",
    "egocentric view",
    "motion capture",
    "dataset"
  ],
  "paper_institutions": [
    "ETH Zürich",
    "Microsoft"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:40:59.716705Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n从自我中心（第一人称）视角理解社交互动对辅助机器人与AR/VR等现实应用至关重要，其关键在于从头戴设备（HMD）估计互动对象的三维人体姿态、形状与运动；然而该方向长期受制于数据匮乏——现有数据集要么仅提供第三人称视角、要么缺乏互动、要么缺少三维真值（如Ego4D无姿态真值、You2Me无身体形状与场景标注），且现有3D人体姿态与形状估计（3DHPS）方法在HMD数据上因严重身体截断、运动模糊与人员进出视野而性能骤降。为此，本文提出大规模数据集EgoBody：由佩戴Microsoft HoloLens2的受试者记录RGB（1920×1080@30FPS）、深度、眼动、头部与手部追踪等多模态自我中心数据流，同时用3–5台Azure Kinect多视角RGB-D阵列采集第三人称数据，通过棋盘格与ICP完成空间标定、以手电筒信号实现软同步，并提出基于人体关键点的Kinect-HoloLens2外参精化方案以克服出厂深度标定误差；真值获取采用无标记动作捕捉流程，其核心机制为将SMPL-X模型拟合到多视角观测并最小化目标函数 E(β,γ,θ,φ)=E_J+λ_D·E_D+E_prior+λ_contact·E_contact+λ_coll·E_coll（多视角2D关节投影误差、深度点云一致性、姿态/形状/表情先验、人体-场景接触与碰撞惩罚的加权和），再经LEMO先验做时序一致优化，从而在世界坐标系中重建两名互动者随时间变化的三维全身网格。数据集共125段序列、36名受试者（18男18女）、15个室内场景，互动场景基于社会学五大类别（合作、社会交换、冲突、从众、其他）设计，提供219,731帧多视角帧、199,111帧自我中心帧（其中175,611帧互动者可见）及三维场景重建，训练/验证/测试集受试者互不重叠。基于此，作者建立首个自我中心视角下互动者3DHPS基准，采用MPJPE与V2V误差（默认骨盆平移对齐，另报Procrustes对齐）：SoTA方法在EgoBody上的3D关节误差平均比3DPW高77%，且各方法差异显著，表明现有数据不足以应对自我中心挑战；而仅用EgoBody训练集微调SPIN、METRO与EFT即可分别降低MPJPE 42%、36%与18%（V2V降低35%、33%、14%），对运动模糊的鲁棒性大幅提升（跨清晰度级别标准差从27.3/16.7/11.1降至2.4/3.2/1.3），并在You2Me跨数据集评测中同样显著改善（如SPIN的PA-MPJPE从152.8降至87.9），验证了高质量标注对适配截断与模糊等自我中心挑战的价值。未来可增加参与者与更丰富模态（音频、自然语言运动描述），并探索局部图像特征以缓解手腕等末端关节的高误差；实际约束包括HMD功耗受限导致的丢帧与模糊、HoloLens2与Kinect无法硬件同步（快速运动下存在轻微时间错位），以及单纯数据增强（如运动模糊增强）无法弥补自我中心视角挑战。\n\n### 关键要点\n\n- EgoBody是首个同时采集自我中心与第三人称多模态数据的大规模互动数据集：HoloLens2记录RGB（1920×1080@30FPS）、长程深度（512×512@1–5FPS）及眼动/头部/手部追踪（60FPS），3–5台Azure Kinect同步采集多视角RGB-D，为两名互动者提供SMPL-X三维姿态与形状真值。\n- 互动场景依据社会学五大类别（合作、社会交换、冲突、从众、其他）设计，涵盖猜动作游戏、传接物品、教跳舞、争论、指示任务等，动作类型包括坐、站、走、跳舞、弯腰、抓取、投掷等，并允许受试者即兴发挥以保证类内多样性。\n- 真值获取采用无标记动作捕捉流程：OpenPose检测2D关节、Mask-RCNN与DeepLabv3提取人体点云、人工清洗误检，先逐帧拟合SMPL-X，再基于LEMO先验（含接触摩擦项防止身体滑动）进行时序一致优化，得到平滑自然的运动。\n- 针对HoloLens2出厂深度标定不精确导致的Kinect-HoloLens2标定误差，提出基于关键点的外参精化方案：最小化3D SMPL-X关节投影到自我中心图像与OpenPose检测之间的2D误差，并以正则项约束变换接近初始标定。\n- 数据集规模：125段序列、36名受试者（18男18女）、15个室内场景；MVSet含219,731帧多视角帧，EgoSet含199,111帧自我中心帧（其中175,611帧互动者可见），另提供SMPL标注、深度帧及头部/手部/眼动追踪数据。\n- 基准评测采用MPJPE（24个SMPL关节的平均欧氏距离）与V2V误差（网格顶点平均欧氏距离），默认骨盆平移对齐、可选Procrustes对齐；SoTA方法在EgoBody上的3D关节误差平均比3DPW高77%，且在3DPW上趋于饱和的各方法在EgoBody上性能差异仍很大。\n- 挑战分析：以拉普拉斯方差度量图像清晰度，多数方法对模糊不敏感但重度模糊（分数<10）仍致误差上升；身体截断是主要误差源——下半身关节不可见率高（膝盖约50%、脚约80%），PARE（部位注意力机制）与EFT（激进裁剪增强）因设计针对遮挡/截断而最鲁棒。\n- 在EgoBody训练集上微调后，SPIN-ft/METRO-ft/EFT-ft的MPJPE分别降低42%/36%/18%，V2V降低35%/33%/14%，且在各清晰度与可见度类别上均改善，跨清晰度级别的误差标准差从27.3/16.7/11.1降至2.4/3.2/1.3，鲁棒性显著提升。\n- 跨数据集评测（You2Me，PA-MPJPE）：SPIN从152.8降至87.9、EFT从95.8降至85.6、METRO从117.7降至88.2，证明EgoBody训练集赋予模型应对通用自我中心视角挑战的能力，而非仅适配自身采集场景。\n- 眼动与注意力分析：超过75%的帧中相机佩戴者的2D注视点距互动者最近关节在120像素内，且注意力偏向上半身关节，这解释了下半身在自我中心图像中更频繁的截断与更高误差。\n- 真值质量验证：随机抽取1517帧经AMT人工标注，2D关节误差31.08像素；Scan-to-body Chamfer距离1.65cm、3D逐关节误差4.32cm；运动平滑度PSKL分数（0.312/0.262）显著优于HPS数据集（0.924/1.044），接近AMASS自然运动分布。\n- 局限与约束：HoloLens2与Kinect无法硬件同步，需以手电筒信号软同步，快速运动（如手部动作）存在轻微时间错位；HMD功耗受限导致丢帧与模糊；在原训练集上附加运动模糊增强微调SPIN无改善（MPJPE 184.9 vs 182.8），表明现有数据增强无法替代真实自我中心数据。",
  "available_templates": [
    "deep_read",
    "simple"
  ]
}