{
  "paper_id": "5b19f8e2dd2849dd1513e6a5bd94abe3",
  "paper_title": "Estimating Body and Hand Motion in an Ego-sensed World",
  "paper_authors": [
    "Brent Yi",
    "Vickie Ye",
    "Maya Zheng",
    "Yunqi Li",
    "Lea Müller",
    "Georgios Pavlakos",
    "Yi Ma",
    "Jitendra Malik",
    "Angjoo Kanazawa"
  ],
  "publication_date": "2024",
  "publication_venue": "2025 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)",
  "abstract": "We present EgoAllo, a system for human motion estimation from a head-mounted device. Using only egocentric SLAM poses and images, EgoAllo guides sampling from a conditional diffusion model to estimate 3D body pose, height, and hand parameters that capture a device wearer's actions in the allocentric coordinate frame of the scene. To achieve this, our key insight is in representation: we propose spatial and temporal invariance criteria for improving model performance, from which we derive a head motion conditioning parameterization that improves estimation by up to 18%. We also show how the bodies estimated by our system can improve hand estimation: the resulting kinematic and temporal constraints can reduce world-frame errors in single-frame estimates by 40%.",
  "keywords": [
    "egocentric human motion estimation",
    "diffusion models",
    "SLAM",
    "3D body pose estimation",
    "hand pose estimation",
    "spatial and temporal invariance",
    "SMPL-H",
    "head-mounted devices",
    "allocentric coordinate frame"
  ],
  "paper_institutions": [
    "UC Berkeley",
    "ShanghaiTech",
    "UT Austin"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:40:15.754743Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文针对从头戴式设备估计佩戴者三维运动这一难题提出EgoAllo系统：在自我中心视角下，除手部偶尔可见外，身体姿态、身高等大多数参数从未被直接观测，且估计结果需与感知到的自运动和视觉观测保持一致，而现有自我中心人体运动估计工作（如EgoEgo、AvatarPoser、BoDiffusion）多聚焦身体姿态，未处理身高与手部运动的挑战。EgoAllo仅以设备的度量SLAM头部位姿和自我中心视频为输入，采用头部位姿条件化的去噪扩散模型作为运动先验，并在测试时通过Levenberg-Marquardt引导优化器融合视觉手部观测；其核心洞察在于条件表示的设计——论文提出空间不变性（沿地面平面的全局SE(3)变换不影响局部运动）与时间不变性（时移等变性）两项准则，据此推导出在每个时间步将中央瞳孔帧（CPF）局部规范化至地面平面的不变条件参数化 g(·)={ΔT_cpf^{t-1,t}, (T_world,canonical)^{-1}·T_world,cpf^t}，使估计精度提升最高18%。训练采用AMASS数据集并合成设备位姿（因需包含身体与手部参数、形状及SLAM位姿的序列），评估选用AMASS与RICH（合成设备位姿以隔离运动先验质量）、Aria Digital Twins与EgoExo4D（真实Project Aria数据以验证真实传感器下的表现），指标包括世界系MPJPE、PA-MPJPE、接地指标GND与头部关节误差T_head；结果显示相比EgoEgo基线精度提升20~30%，形状估计将身高误差从52mm降至32mm，且估计身体施加的运动学与时间约束可将单帧手部估计的世界系误差降低40%以上（HaMeR的237.90mm降至EgoAllo-Mono的131.45mm，结合Project Aria灰度相机3D腕部位姿进一步降至60.08mm）。未来方向包括利用模型输出引导训练前馈模型以规避测试时优化开销，以及扩展至包含更详细场景几何的数据；系统面向增强现实、机器人与辅助技术等现实应用，但当前实现假设平坦地面（在山坡、楼梯等场景失效）、手部引导依赖合理的单目检测（左右手翻转或虚假检测会导致失败），且扩散引导作为测试时优化过程依赖超参数并带来运行时成本。\n\n### 关键要点\n\n- EgoAllo仅从头戴设备的自我中心SLAM位姿与图像输入，联合估计佩戴者在场景分配坐标系中的三维身体姿态、身高与手部参数，面向增强现实、机器人与辅助技术应用。\n- 核心机制为头部位姿条件化的去噪扩散先验，输出SMPL-H局部参数（关节旋转Θ、形状β、逐关节接触指示ψ），并通过全局对齐公式 T_world,root^t = T_world,cpf^t · T_cpf,root^(Θ^t,β^t) 将局部身体精确放入世界坐标系，保证与输入SLAM序列的严格对齐。\n- 论文提出空间不变性（沿地面平面的SE(3)全局变换不改变表示）与时间不变性（时移等变性）两项准则；现有方法中EgoEgo的序列规范化满足空间但不满足时间不变性，AvatarPoser/BoDiffusion的绝对位姿+全局增量满足时间但不满足空间不变性，无方法同时满足两者。\n- 不变条件参数化在每个时间步将CPF帧原点投影至地面平面构建规范帧（z轴平行世界上轴、y轴对准CPF前向），结合局部相对变换ΔT_cpf^{t-1,t}，同时实现两种不变性并编码头部高度与朝向信息。\n- 训练使用AMASS数据集并合成设备位姿（在左右瞳孔间锚定CPF帧），采样长度32至128的序列；评估采用AMASS、RICH、Aria Digital Twins（身体估计）与EgoExo4D（手部估计）四个数据集。\n- 在AMASS测试集上，不变条件参数化相比序列规范化（EgoEgo所用）在长度32序列上降低MPJPE近18%，相比绝对位姿条件化降低超23%，证明不变性准则对学习问题的关键作用。\n- 身体估计指标包括世界系MPJPE、PA-MPJPE、接地指标GND（双脚是否接触地面）与头部关节误差T_head；EgoAllo在所有数据集上相比EgoEgo提升20~30%精度，GND接近1.0表明估计可靠接地。\n- 形状估计对度量尺度接地至关重要：EgoAllo将平均身高误差从52mm降至32mm，但体重误差从5kg升至8kg，因头部位姿对身高约束强而与体重相关性弱。\n- 手部估计通过HaMeR检测自我中心图像中的MANO参数，经引导损失（3D手部对齐、重投影、滑步、先验项）以Levenberg-Marquardt优化器融入采样，将世界系手部MPJPE从HaMeR的237.90mm降至131.45mm（降低超40%）。\n- 结合Project Aria机器感知服务提供的3D腕部位姿（EgoAllo-Wrist3D），手部误差进一步降至60.08mm，表明引导式框架易于随传感器增加而扩展。\n- 长序列通过MultiDiffusion路径融合处理：测试时以32时间步重叠切分窗口并行去噪，并在每个去噪步骤后融合重叠区域的扩散路径。\n- 局限性包括：扩散引导是依赖超参数且带来运行时成本的测试时优化过程；手部引导仍依赖合理的单目估计（左右手翻转或虚假检测会导致失败）；假设平坦地面，在山坡或楼梯等场景会失效。"
}