{
  "paper_id": "52a85b86b8eccdf9a2d082460f21f963",
  "paper_title": "SAME: Spatial-Aware Multimodal Egocentric Human Pose Estimation",
  "paper_authors": [
    "Yurong Fu",
    "Peng Dai",
    "Yu Zhang",
    "Feng Yiqiang",
    "Yang Zhang",
    "Haoqian Wang"
  ],
  "publication_date": "",
  "publication_venue": "Proceedings of the AAAI Conference on Artificial Intelligence",
  "abstract": "自我中心人体姿态估计（HPE）在虚拟现实和增强现实等沉浸式应用中发挥着至关重要的作用。然而，仅依赖视觉或稀疏惯性数据的现有方法常常遭受遮挡或病态问题。在本工作中，我们提出SAME，一个新颖的空间感知多模态融合框架，结合立体图像与稀疏IMU的互补信号，以实现准确且鲁棒的自我中心人体姿态估计。该框架采用基于双坐标系的两阶段网络，以缓解立体相机与IMU之间的坐标不一致。第一阶段，IMU信号被变换到局部坐标系，并与立体图像迭代融合以估计局部坐标系中的3D姿态。第二阶段，利用头戴显示器（HMD）SLAM算法提供的6DOF头部姿态将局部姿态变换到全局坐标系，并通过时间Transformer网络进行时间聚合。同时，为实现多模态特征间的几何与语义对齐，我们提出深度引导的空间感知可变形立体注意力网络和模态感知Transformer解码器，用于跨视角与跨模态特征融合。大量实验表明，我们的方法在公开的EMHI多模态自我中心姿态估计基准上取得了最先进的性能。",
  "keywords": [
    "自我中心人体姿态估计",
    "多模态融合",
    "立体图像",
    "稀疏IMU",
    "空间感知可变形注意力",
    "Transformer",
    "虚拟现实",
    "增强现实"
  ],
  "paper_institutions": [
    "PICO",
    "Tsinghua University"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:29:02.338106Z",
  "template_tag": "simple",
  "summary": "### 摘要\n自我中心人体姿态估计（HPE）是虚拟现实（VR）与增强现实（AR）等沉浸式应用的核心技术，但仅依赖视觉或稀疏惯性数据的现有方法分别受制于严重自遮挡、身体部位超出视野，以及随时间漂移和稀疏观测导致的病态问题。相关研究从单鱼眼相机方法（Mo²Cap²、xR-EgoPose、Selfpose）发展到立体相机方法（EgoGlass、UnrealEgo、EgoPoseFormer），再到多模态融合方法（FRAME、EgoAllo、REWIND、MEPoser），但现有融合多为后期融合或简单特征拼接，难以实现有效的跨传感器信号融合。为此，本文提出SAME——一个空间感知的多模态自我中心姿态估计框架，融合立体图像与稀疏IMU信号（HMD和手柄的三个6DOF加小腿两个3DOF）。其核心机制为基于双坐标系的两阶段分解：f_φ = f_φL(J_L | I_Left, I_Right, x) * f_φG(J_G | J_L, x_Head)，第一阶段将IMU信号变换到局部坐标系（左相机坐标系）并与立体图像迭代融合，以由粗到细方式估计局部3D姿态；第二阶段利用HMD的SLAM算法提供的6DOF头部姿态将局部姿态变换到全局坐标系，并经时间Transformer网络（TTN）聚合以获得时序平滑且物理合理的运动。针对中层融合的几何与语义对齐难题，提出深度引导的空间感知可变形立体注意力（DSA）网络将3D位置编码注入图像特征，其核心公式为 f_PE(p̂_v, J_L, C_v) = MLP(Θ(Π⁻¹(p̂_v, C_v), d(J_L)))，即在关节深度±δ的小壳范围内沿反投影射线均匀采样N_s个3D点并映射为单一特征嵌入；同时提出模态感知Transformer解码器，用独立的键/值投影层保留各模态特性、以共享查询投影层实现模态协作。实验选用公开的EMHI基准，因其由真实VR产品套件采集、同时提供自我中心视觉与IMU信号，包含58名受试者39种动作的885个序列共约307万帧，按官方70%训练、Protocol1（16%）评估跨受试者泛化、Protocol2（14%）评估分布外动作泛化；实现采用PyTorch与AdamW（批大小4、初始学习率1×10⁻³、权重衰减3×10⁻⁵、20个epoch、8块A100约20小时）。在MPJPE、PA-MPJPE、U-PE、L-PE、FootPE、HandPE与Ground共7项毫米级指标上，SAME在两个协议上全面达到最优：Protocol1上MPJPE 33.4mm、PA-MPJPE 20.7mm、Ground 2.0mm，Protocol2上MPJPE 38.0mm、PA-MPJPE 21.6mm、Ground 4.7mm，其中HandPE较MEPoser从45.0/53.8mm降至23.5/25.4mm（提升超45%），支持了空间感知多视角融合与模态感知融合两项创新的有效性；消融实验进一步验证SA-MVF、MA-MMF、TTN及地面穿透损失的独立贡献。未来方向为探索半监督与无监督训练方法以泛化到真实场景；实际约束在于该数据驱动方法高度依赖大规模高质量标注数据，而野外数据采集困难，且模型需在VR/AR设备所提供的立体相机与稀疏IMU硬件配置下运行。\n\n### 关键要点\n- 提出SAME框架，以中层融合策略将自我中心立体图像与稀疏IMU信号（HMD/手柄三个6DOF、小腿两个3DOF）结合用于自我中心人体姿态估计，整个网络可端到端训练。\n- 采用双坐标系两阶段设计：第一阶段在局部坐标系（左相机坐标系）中统一IMU与视觉信号以缓解坐标不一致，第二阶段借助HMD SLAM的6DOF头部姿态变换到全局坐标系并进行时间精化。\n- 深度引导的空间感知可变形立体注意力（SA-MVF）网络将3D位置编码注入图像特征，在关节深度±δ的小壳范围内沿反投影射线均匀采样3D点，桥接立体图像与3D空间的几何对应。\n- 模态感知Transformer解码器（MA-MMF）为IMU与图像特征使用独立的键/值投影层以保留各模态特性并避免粒度失配，通过共享查询投影层实现模态协作。\n- 时间Transformer网络（TTN）含3层（前馈维度256、8个注意力头），在T=32时间窗口上聚合全局帧姿态，利用已知重力方向与地面稳定参考修正滑步、穿地等伪影。\n- 损失函数为 L = λ_L·L_L^3D + λ_G·L_G^3D + λ_ground·L_ground，其中地面穿透损失 L_ground = (1/T)Σ(tanh(min(0, h_min^t)))² 惩罚任何低于地面平面的关节。\n- 实验数据集为公开EMHI基准：58名受试者、39种动作、885个序列、约307万帧，由真实VR产品套件采集，按70%训练、Protocol1（16%）跨受试者、Protocol2（14%）分布外动作划分。\n- 实现设置：PyTorch实现，AdamW优化器，批大小4，初始学习率1×10⁻³，权重衰减3×10⁻⁵，训练20个epoch，在8块NVIDIA A100 GPU上约20小时；两个模态骨干预训练后因GPU资源限制被冻结。\n- 主要结果：Protocol1上MPJPE 33.4mm、PA-MPJPE 20.7mm、Ground 2.0mm；Protocol2上MPJPE 38.0mm、PA-MPJPE 21.6mm、Ground 4.7mm，全面优于HMD-Poser、UnrealEgo、EgoPoseFormer、FRAME与MEPoser。\n- 肢体关节改进最显著：HandPE从MEPoser的45.0mm（Protocol1）与53.8mm（Protocol2）分别降至23.5mm与25.4mm，两个测试集上均提升超45%，归因于稀疏IMU观测与立体图像的有效融合。\n- 消融实验表明：移除SA-MVF、MA-MMF或TTN均导致MPJPE/PA-MPJPE下降，TTN对Ground指标尤为关键（从24.5降至4.7）；仅用IMU加左相机的配置即优于MEPoser全输入结果。\n- 局限与约束：作为数据驱动方法高度依赖大规模高质量标注训练数据，野外数据采集困难；未来可探索半监督与无监督训练方法以提升真实VR/AR场景（含未见动作）的泛化能力。"
}