{
  "paper_id": "8532e974b88724d648c85644b9c6a814",
  "paper_title": "Ego-Body Pose Estimation via Ego-Head Pose Estimation",
  "paper_authors": [
    "Jiaman Li",
    "C. Karen Liu",
    "Jiajun Wu"
  ],
  "publication_date": "",
  "publication_venue": "2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)",
  "abstract": "从自我中心（第一人称）视频序列中估计三维人体运动对人类行为理解至关重要，并在VR/AR中有多种应用。然而，直接学习自我中心视频与人体运动之间的映射极具挑战，因为用户的身体往往无法被安装在头部的前向相机观测到。此外，收集大规模、高质量的配对自我中心视频与三维人体运动数据集需要精确的动作捕捉设备，这通常将视频中的场景多样性限制在实验室环境中。为消除对配对自我中心视频与人体运动的需求，我们提出新方法EgoEgo（Ego-Body Pose Estimation via Ego-Head Pose Estimation），将问题分解为两个阶段，并以头部运动作为中间表示进行连接。EgoEgo首先结合SLAM与学习方法估计精确的头部运动；随后以估计的头部姿态为输入，利用条件扩散模型生成多个合理的全身运动。这种头部与身体姿态的解耦消除了对配对自我中心视频与三维人体运动训练数据集的需求，使我们能够分别利用大规模的自我中心视频数据集和动作捕捉数据集。此外，为进行系统性基准测试，我们开发了包含配对自我中心视频与人体运动的合成数据集AMASS-Replica-Ego-Syn（ARES）。在ARES和真实数据上，我们的EgoEgo模型均显著优于当前最先进的方法。",
  "keywords": [
    "自我中心视频",
    "人体姿态估计",
    "头部姿态估计",
    "条件扩散模型",
    "单目SLAM",
    "三维人体运动",
    "合成数据集",
    "VR/AR"
  ],
  "paper_institutions": [
    "Stanford University"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:32:39.713741Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文解决从自我中心（第一人称）视频中估计三维人体运动的问题，该问题对VR/AR应用至关重要，但面临两大挑战：用户身体常处于头戴前向相机视野之外，且大规模配对的自我中心视频与三维人体运动数据难以采集（往往局限于实验室场景）。以往工作（如EgoPose、Kinpoly）依赖小规模数据集，难以泛化到分布外的场景与运动。为此，作者提出EgoEgo方法，以头部运动作为中间表示将问题解耦为两个阶段：第一阶段结合单目SLAM（DROID-SLAM）与学习模型——GravityNet从SLAM轨迹预测重力方向以对齐坐标系，HeadNet从光流特征预测头部旋转与平移距离以重定标并替换SLAM结果；第二阶段采用以头部姿态为条件的去噪扩散概率模型（DDPM），其前向过程按 q(x_n|x_{n-1})=N(x_n; √(1-β_n)x_{n-1}, β_n I) 逐步加噪，反向过程学习预测 x_0 并以重构损失 L=E‖x̂_θ(x_n,n,c)-x_0‖₁ 训练，从而生成多个合理的全身运动。该解耦使两阶段可分别利用大规模单模态数据训练：头部估计使用ARES、Kinpoly-RealWorld与GIMO的自我中心视频（仅用头部姿态标注），扩散模型与GravityNet使用AMASS动作捕捉数据（约45小时），从而验证了无需配对数据即可学习的核心思想。为系统评测，作者基于AMASS动作与Replica三维场景、利用SDF穿透检测与AI Habitat渲染构建了合成数据集ARES（18个场景、约15小时、1,664,616帧、30fps，其中5个场景留作未见测试场景）。实验采用头部朝向误差O_head、头部平移误差T_head、MPJPE、加速度误差Accel与脚部滑动FS五项指标及人类感知研究：EgoEgo在ARES上MPJPE为121.1mm（对比Kinpoly-OF的141.6与PoseReg的147.7）、O_head为0.20（对比单独SLAM的0.62），在AMASS上以真实头部姿态为条件时MPJPE为109.0mm、FS为4.4mm，均大幅超越现有方法；人类研究中98%与69%的受试者更偏好其结果，34%的情况下其结果被选优于真实运动（完美输出应为50%），表明难以与真值区分。未来可通过构建更大规模带头部姿态的真实采集数据集进一步提升头部旋转预测精度；实际约束包括真实数据规模有限（如Kinpoly-RealWorld仅约20分钟、GIMO约30分钟训练视频）以及生成模型为多解问题、定量比较时需对每个输入采样200次并取MPJPE最小者。\n\n### 关键要点\n\n- EgoEgo将自我中心视频到全身运动的估计解耦为两阶段：先从视频估计头部运动，再以头部姿态为条件生成全身运动；头部运动作为紧凑的中间表示，使两阶段可分别利用大规模单模态数据（自我中心视频数据集与动作捕捉数据集）训练，无需配对数据。\n- 第一阶段采用混合方法：DROID-SLAM提供相机轨迹，基于Transformer的GravityNet从SLAM旋转与平移序列预测重力方向并将平移旋转对齐到真实重力方向[0,0,-1]^T，HeadNet从预训练ResNet-18提取的光流特征预测头部旋转与相邻帧平移距离。\n- HeadNet预测的平移距离用于重定标SLAM平移（尺度 s = d/d^s，即预测平均距离与SLAM平均距离之比），其预测的头部角速度经积分得到旋转以直接替换SLAM旋转，训练损失为 L = L_dist + L_vel + L_rot。\n- 第二阶段采用条件扩散模型（DDPM）生成全身姿态：以SMPL为骨架（22个关节），姿态表示包含全局关节位置与6D旋转；去噪网络将头部姿态条件与带噪身体姿态及噪声嵌入拼接后输入Transformer预测 x_0。\n- ARES合成数据集将AMASS动作序列（150帧子序列）置于Replica场景中，通过SDF穿透损失（阈值2）筛选无穿模姿态，再用AI Habitat按头部轨迹渲染自我中心图像，共18个场景、约15小时、1,664,616帧（30fps），其中5个场景留作未见测试场景。\n- 评测指标包括头部朝向误差O_head（旋转矩阵差的Frobenius范数）、头部平移误差T_head（mm）、MPJPE（mm）、加速度误差Accel（mm/s²）与脚部滑动FS（mm）。\n- 在ARES、Kinpoly-MoCap与GIMO三个数据集上，EgoEgo全面超越PoseReg与Kinpoly-OF基线：如ARES上MPJPE 121.1mm、Accel 6.2、FS 2.7，Kinpoly-MoCap上MPJPE 125.9mm。\n- 头部姿态估计的混合方法显著优于单独DROID-SLAM：ARES上O_head从0.62降至0.23、T_head从411.3mm降至176.5mm；消融实验表明重力对齐与学习尺度均有效改善平移结果。\n- 在AMASS测试集上以真实头部姿态为条件时，扩散模型优于AvatarPoser与Kinpoly-Head：MPJPE 109.0mm、Accel 10.5、FS 4.4mm（对比Kinpoly-Head的110.9/11.4/11.2）。\n- 人类感知研究显示，从自我中心视频估计全身运动时，98%与69%的参与者更偏好EgoEgo结果（对比两个基线），且34%的情况下其结果被选优于真实运动（完美输出应为50%），表明人们难以将其与真值区分。\n- 消融研究表明使用真实头部姿态可显著提升全身姿态估计（如Kinpoly-MoCap上MPJPE从125.9降至76.0mm），说明更精确的头部姿态预测可进一步改进全身估计。\n- 约束与局限：真实采集数据规模有限（Kinpoly-RealWorld约20分钟、GIMO约30分钟训练视频），导致真实数据上头部旋转预测仅与SLAM相当；生成模型为多解问题，定量比较时需对每个头部姿态输入采样200次并取MPJPE最小者。"
}