{
  "paper_id": "418824c5dc26ac7fd264422f06a04440",
  "paper_title": "EgoPoseVR: Spatiotemporal Multi-Modal Reasoning for Egocentric Full-Body Pose in Virtual Reality",
  "paper_authors": [
    "Haojie Cheng",
    "Shaun Jing Heng Ong",
    "Shaoyu Cai",
    "Aiden Tat Yang Koh",
    "Fuxi Ouyang",
    "Eng Tat Khoo"
  ],
  "publication_date": "",
  "publication_venue": "IEEE Transactions on Visualization and Computer Graphics",
  "abstract": "Immersive virtual reality (VR) applications demand accurate, temporally coherent full-body pose tracking. Recent head-mounted camera-based approaches show promise in egocentric pose estimation, but encounter challenges when applied to VR head-mounted displays (HMDs), including temporal instability, inaccurate lower-body estimation, and the lack of real-time inference. To address these limitations, we present EgoPoseVR, an end-to-end framework for accurate egocentric full-body pose estimation in VR that integrates headset motion cues with egocentric RGB-D observations through a dual-modality fusion pipeline. A spatiotemporal encoder extracts frame- and joint-level representations, which are fused via cross-attention to fully exploit complementary motion cues across modalities. A kinematic optimization module then imposes constraints from HMD signals, enhancing the accuracy and stability of pose estimation. To facilitate training and evaluation, we introduce a large-scale synthetic dataset of over 1.8 million temporally aligned HMD and RGB-D frames across diverse VR scenarios. Experimental results show that EgoPoseVR outperforms state-of-the-art egocentric pose estimation models. A user study in real-world scenes further shows that EgoPoseVR achieved significantly higher subjective ratings in accuracy, stability, embodiment, and intention for future use compared to baseline methods. These results show that EgoPoseVR enables robust full-body pose tracking, offering a practical solution for accurate VR embodiment without requiring additional body-worn sensors or room-scale tracking systems.",
  "keywords": [
    "Virtual reality",
    "head-mounted displays",
    "egocentric full-body pose estimation",
    "multimodal spatiotemporal fusion"
  ],
  "paper_institutions": [],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:27:16.617724Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n沉浸式虚拟现实（VR）应用需要准确且时序连贯的全身姿态追踪，但现有消费级VR设备仅能稳定追踪头部与手部运动，从稀疏头显（HMD）信号推断全身姿态存在本质歧义，且现有自我中心视觉方法面临时序不稳定、下身估计不准、缺乏实时推理以及商用头显不开放下视鱼眼相机数据访问等挑战。相关研究包括基于物理的方法、数据驱动方法（AvatarPoser、EgoPoser等）、扩散模型方法（AGRoL、EgoEgo）以及基于下视自摄像头的自我中心姿态估计，但均难以直接迁移到VR环境。为此，本文提出EgoPoseVR，一个端到端双流时空框架，将HMD运动信号与头戴式下视RGB-D相机观测通过跨模态融合管线集成：每个模态流由时空Transformer编码器提取帧级动态与关节级依赖，RGB-D流通过可见性感知的时序关节检测模块（含一欧元滤波与增量特征更新）抑制运动模糊与视野外关节误检，随后通过多头交叉注意力（HMD特征作为查询、RGB-D特征作为键值）融合互补线索，最后由运动学姿态优化模块（KPO）通过能量函数施加HMD信号约束与骨骼结构保持约束，其核心对齐能量函数为 E_A = Σ_{k∈O} λ_a‖p_k − q_k‖² + Σ_{k∉O} λ_s‖p_k − p̃_k‖²，确保优化后关节位置与VR系统观测一致同时保持未观测关节的合理结构。为支持训练与评估，作者构建了首个VR专用大规模合成数据集（因合成数据可扩展生成、环境与服装可控且无需复杂动捕设置），包含18235个动作序列、180万帧时间对齐的HMD与RGB-D数据（320×256分辨率、60 FPS），涵盖AMASS/BABEL精选动作、8个室内3D环境、100张HDR全景图、100套服装与20种鞋类资产，并提供2D/3D关节位置与旋转标注及逐关节可见性标签，用于验证时空模型与跨头显适配能力。实验在NVIDIA RTX 3090上以AdamW（学习率5.0e-4、批大小32）训练，采用MPJPE、PA-MPJPE、MPJRE与FPS四项指标，完整系统（HMD+RGB-D(M)+KPO）上身MPJPE达1.66 cm、下身4.75 cm，并以97 FPS保持实时性能，优于EgoPoser与EgoPoseFormer等最先进方法，验证了双模态融合与运动学优化的有效性；20人真实场景用户研究（Friedman与Wilcoxon非参数检验，p<0.001）显示其在准确性、稳定性、具身感与未来使用意愿上显著优于基线。未来方向包括引入时序先验或生成模型处理视野外与严重遮挡情形、采集真实世界时间同步数据以缩小sim-to-real差距、以及融合肌骨骼或物理先验提升解剖合理性。该方法无需额外穿戴传感器或房间级追踪系统，适用于康复训练等沉浸式VR场景，但受限于身体可见性依赖、合成视觉观测的sim-to-real差距及SMPL缺乏生物力学约束。\n\n### 关键要点\n\n- 提出EgoPoseVR双流时空框架，将HMD运动信号与头戴下视RGB-D观测通过跨注意力融合，实现无需外部基础设施或穿戴传感器的VR全身姿态估计。\n- 时空编码器（帧级Transformer+关节级Transformer）分别处理HMD轨迹与RGB-D导出的3D关节关键点，捕捉时序动态与关节间依赖，将视觉时序推理复杂度从图像级O(T·C·H·W)降至关节级O(T·J)。\n- RGB-D流采用可见性感知概率模块ζ与一欧元滤波，抑制视野外关节的误检热图噪声，并通过增量特征更新仅处理新增帧以加速推理。\n- 跨模态融合中HMD特征作为查询、RGB-D特征作为键值，融合后由双分支解码器分别预测骨盆全局旋转与其余关节局部旋转（6D表示），经FK层与一欧元滤波输出平滑的22关节全身位置。\n- 运动学优化模块（KPO）通过头手对齐能量E_A与骨骼结构保持能量E_S（骨骼长度与方向一致性约束）精化关节位置，保证与VR追踪信号及骨骼结构一致。\n- 构建首个VR专用大规模合成数据集：18235个序列、180万帧时间对齐HMD与RGB-D数据，含2D/3D关节位置与旋转标注及逐关节可见性标签，弥补现有数据集缺乏时序连续性与旋转信息的空白。\n- 数据集设计涵盖AMASS/BABEL精选的2350个动作序列、8个室内3D环境、100张HDR全景图、100套服装与20种鞋类，并提供骨盆中心与相机中心两种坐标以支持跨头显适配。\n- 定量结果：完整系统上身MPJPE 1.66 cm、下身4.75 cm、MPJRE-U 8.21°，以97 FPS保持实时性能，在所有指标上优于EgoPoser与EgoPoseFormer及其组合基线。\n- 消融实验表明：单帧RGB、多帧RGB时序堆叠、深度输入与KPO模块均带来一致增益；移除时空编码器导致MPJRE从7.61°大幅升至14.29°，移除跨模态融合仅造成适度下降。\n- 20人真实场景用户研究（IRB批准、5点Likert量表、Friedman/Wilcoxon非参数检验）显示EgoPoseVR在追踪准确性、响应与稳定性、具身感及未来使用意愿四个维度上均显著优于基线（p<0.001）。\n- 局限性：用户身体移出相机视野或严重遮挡时跨模态融合收益减弱；合成视觉观测存在sim-to-real差距；SMPL参数化缺乏生物力学约束，可能产生非物理合理姿态。\n- 系统采用基于持久WebSocket的跨设备传输架构（输入客户端、推理服务器、渲染客户端），支持Unity/UE实时同步渲染与低延迟双向通信，便于多模型灵活切换部署。",
  "available_templates": [
    "deep_read",
    "simple"
  ]
}