{
  "paper_id": "95790e414c931af2ff8aa5103c036e0d",
  "paper_title": "Estimating Egocentric 3D Human Pose in the Wild with External Weak Supervision",
  "paper_authors": [
    "Jian Wang",
    "Lingjie Liu",
    "Weipeng Xu",
    "Kripasindhu Sarkar",
    "Diogo Luvizon",
    "Christian Theobalt"
  ],
  "publication_date": "2021",
  "publication_venue": "ICCV 2021",
  "abstract": "基于单鱼眼相机的自我中心3D人体姿态估计近来受到广泛关注。然而，现有方法难以对真实场景图像进行姿态估计，因为缺乏大规模真实自我中心数据集，它们只能在合成数据上训练。此外，当身体部位被周围场景遮挡或与之交互时，这些方法很容易失败。为解决真实数据的短缺，我们收集了一个大规模真实场景自我中心数据集Egocentric Poses in the Wild（EgoPW）。该数据集由头戴鱼眼相机和辅助外部相机采集，在训练期间提供来自第三人称视角的额外人体观测。我们提出了一种新的自我中心姿态估计方法，可在该新数据集上以外部弱监督进行训练。具体而言，我们首先通过结合外部视角监督的时空优化方法为EgoPW数据集生成伪标签，然后使用伪标签训练自我中心姿态估计网络。为促进网络训练，我们提出一种新颖的学习策略，用预训练外部视角姿态估计模型提取的高质量特征监督自我中心特征。实验表明，我们的方法能从单张真实场景自我中心图像预测准确的3D姿态，并在定量和定性上均优于现有最先进方法。",
  "keywords": [
    "自我中心3D人体姿态估计",
    "鱼眼相机",
    "外部弱监督",
    "伪标签生成",
    "对抗域适应",
    "真实场景数据集"
  ],
  "paper_institutions": [
    "MPI Informatics",
    "Saarland Informatics Campus",
    "Facebook Reality Labs"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:37:52.062345Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文研究单头戴鱼眼相机的真实场景自我中心3D人体姿态估计问题。现有方法（Mo²Cap²、xR-egopose等）因缺乏大规模真实自我中心数据而只能依赖合成数据训练，存在明显域差距，且在身体部位被场景遮挡或交互时容易失败。为此，作者构建了大规模真实场景数据集EgoPW（318k帧、97个序列、10名演员、20种动作、8个场景），采用头戴鱼眼相机与一台同步外部相机（Sony RX0）联合采集，以第三人称视角提供训练期弱监督，弥补真实数据短缺并验证真实场景下的泛化能力。方法核心是时空优化伪标签生成框架，其目标函数 E(P_seq^ego, R_seq, t_seq) = λ_R^ego E_R^ego + λ_R^ext E_R^ext + λ_J^ego E_J^ego + λ_J^ext E_J^ext + λ_T E_T + λ_B E_B + λ_C E_C + λ_M E_M 综合了自我中心/外部重投影、姿态正则、运动平滑、骨骼长度、相机位姿一致性与相机矩阵正则等能量项，其中外部重投影项将自我中心3D姿态经相机位姿[R_i|t_i]与内参K投影至外部视角并与OpenPose 2D关节比对，同时联合优化未知的相对相机位姿（PnP初始化），并借助序列VAE运动先验保证对噪声2D估计的鲁棒性。随后，姿态估计网络（特征提取器Θ+姿态估计器Ψ，输出2D热图与关节距离，经鱼眼相机模型重建3D姿态）在EgoPW伪标签与Mo²Cap²合成数据上联合训练，并通过两个对抗模块增强：域判别器Γ缩小合成-真实域差距，视角判别器Λ利用预训练外部姿态网络（ResNet-50第4个res-block特征+平均池化）的高质量特征监督自我中心特征学习，防止过拟合于有限的20个训练身份。评估采用PA-MPJPE与BA-MPJPE指标：伪标签精度达57.19/46.14mm（优于VIBE的68.13/52.99）；在Wang等人测试集上网络达81.71/64.87mm，较Mo²Cap²与xR-egopose分别提升20.1%与27.0%，在Mo²Cap²测试集上达83.17/64.33mm（提升8.8%与4.2%），消融实验证实外部视角监督、特征学习与域适应各模块均必要。方法局限在于采集系统仅含一个外部视角，制约伪标签精度；未来可融合IMU与深度相机，并发展基于视频的时序一致估计方法，以更好支撑可穿戴医疗监测、运动分析与xR等对移动性与空间无约束有要求的真实应用场景。\n\n### 关键要点\n\n- 针对现有自我中心3D姿态估计方法（Mo²Cap²、xR-egopose）仅能以合成数据训练、在真实图像上因域差距性能显著下降且难以处理遮挡的问题，本文提出利用外部视角弱监督的真实场景自我中心姿态估计新方法。\n- 新数据集EgoPW由头戴鱼眼相机与一台同步外部相机（Sony RX0）采集，含318k帧、97个序列、10名演员、20种服装与20种日常动作、8个场景，是目前最大的真实场景自我中心数据集且已公开，数据收集获IRB批准。\n- 伪标签由时空优化框架生成：将序列分段后，以序列VAE解码器输出姿态序列，通过最小化融合自我中心重投影、外部重投影、姿态正则、运动平滑、骨骼长度、相机位姿一致性与相机矩阵正则的目标函数求解。\n- 外部重投影项 E_R^ext = Σ‖J_i^ext − K[R_i|t_i]P_i^ego‖² 将自我中心3D姿态投影到外部视角并与OpenPose 2D关节对齐；因两相机相对位姿未知，相机位姿与姿态被同时优化并以PnP初始化。\n- 相机位姿一致性项约束相邻帧间由SLAM相对位姿变换得到的相机位姿与优化位姿一致，消除仅用外部重投影的歧义；外部3D姿态项经Procrustes对齐约束自我中心姿态与VIBE估计的外部姿态，双视角互补解决手部（外部遮挡）与足部（自我中心不可见）的跟踪失败。\n- 姿态估计网络由特征提取器Θ与姿态估计器Ψ构成，预测2D热图与关节-相机距离并经鱼眼相机模型重建3D姿态，在Mo²Cap²合成数据与EgoPW伪标签上以MSE重建损失联合训练。\n- 对抗域适应模块引入判别器Γ区分合成与真实特征，训练特征提取器使两域特征不可分，从而缩小合成-真实域差距；消融中去掉该模块使PA-MPJPE从81.71升至84.22。\n- 特征监督模块用在大规模第三人称数据上预训练的外部姿态网络（Xiao等）的特征，通过判别器Λ以对抗方式对齐自我中心与外部特征表示，取ResNet-50第4个res-block输出并经平均池化消除空间分布差异，防止过拟合并提升泛化能力。\n- 在Wang等人测试集上，本方法PA-MPJPE/BA-MPJPE为81.71/64.87mm，较Mo²Cap²提升20.1%、较xR-egopose提升27.0%；在Mo²Cap²测试集上为83.17/64.33mm，分别提升8.8%与4.2%。\n- 伪标签精度评估中，本优化方法达57.19/46.14mm，显著优于VIBE（68.13/52.99）、Wang等人方法（83.40/63.88）及Mo²Cap²（102.3/74.46），验证了双视角融合监督的价值。\n- 消融实验显示：去掉外部视角监督PA-MPJPE升至90.05，去掉特征表示学习升至85.46，去掉域适应升至84.22，仅用无监督域适应为91.56，均证明各模块的必要性。\n- 局限与展望：采集系统仅含一个自我中心与一个外部视角，制约伪标签精度与网络性能上限；未来计划融合IMU与深度相机等多传感器采集数据，并发展基于视频的时序一致自我中心姿态估计方法。"
}