# EgoPoseVR：面向虚拟现实环境的时空多模态推理技术，用于实现以自我为中心的全身姿态估计
程浩杰 🔗、王承景亨 🔗、蔡绍宇 🔗、吴泰阳 🔗、欧阳福喜 🔗、许恩达 $^{*}$
Fig. 1: Egocentric full-body pose estimation in VR enabled by an integrated setup that combines a VR headset with hand controllers and a headset-mounted downward-facing RGB-D camera. The configuration supports real-time and accurate tracking of both upper- and lower-body movements to facilitate natural avatar control and immersive interaction.
摘要——沉浸式虚拟现实（VR）应用需要准确且时间上连贯的全身姿态跟踪功能。近期基于头戴式摄像头的方案在以自我为中心的姿态估计领域展现出潜力，但将其应用于VR头戴式显示器（HMD）时仍面临诸多挑战，包括时间稳定性不足、下半身估计不准确以及缺乏实时推理能力。为解决这些局限，我们提出了EgoPose VR——一款面向VR场景的端到端框架，可实现精准的以自我为中心的全身姿态估计。该框架通过双模态融合流程，将头显的运动线索与以自我为中心的RGB-D观测数据相结合。时空编码器负责提取帧级和关节级的特征，再通过交叉注意力机制进行融合，从而充分利用不同模态间的互补运动线索。随后，运动学优化模块会依据HMD信号施加约束，进一步提升姿态估计的准确性和稳定性。为方便训练与评估，我们构建了一个大规模合成数据集，包含超过180万组时间对齐的HMD与RGB-D帧，涵盖多种VR场景。实验结果表明，EgoPose VR的性能优于现有的以自我为中心的姿态估计模型。在真实场景中的用户研究也显示，相较于基线方法，EgoPose VR在准确性、稳定性、沉浸感以及未来使用意愿方面的主观评分显著更高。这些结果证明，EgoPose VR能够实现稳健的全身姿态跟踪，无需额外的身体穿戴传感器或房间级跟踪系统，即可为精准的VR沉浸体验提供实用解决方案。
索引词——虚拟现实、头戴式显示器、以自我为中心的全身姿态估计、多模态时空融合
## 1 引言
虚拟现实（VR）可支持各类沉浸式应用，包括沉浸式娱乐[^9] [^47] [^50]、体育训练与康复[^5] [^32] [^52]以及社交协作[^24] [^42] [^56]。其中许多场景都需要准确且时空一致的全身姿态估计，才能如实反映用户的身体状态并实现直观的交互。然而，当前消费级VR设备提供的全身跟踪能力十分有限。因此，研究人员广泛探索通过将外部系统整合到VR设备中来实现全身姿态估计的方案，例如基于光学标记的动作捕捉系统[^12] [^41]以及第三人称视角摄像头[^48] [^70]。尽管目前的光学标记系统可实现高精度的姿态跟踪，但它们需要较大的捕捉空间和精细的校准过程[^53]。虽然第三人称视角能提供无遮挡的完整全身观测数据，但由于其依赖外部视点，并不适用于VR这类本质上依赖以自我为中心感知的沉浸式第一人称应用场景[^3]。
现代VR硬件，包括配备手持控制器的头戴式显示器（HMD），能够为用户头部和手部提供稳定且低延迟的运动测量数据 [^44]。然而，仅通过头部和手部追踪来推断全身姿态在本质上存在歧义，因为相似的上半身动作可能对应多种合理的全身姿势配置 [^20] [^68]。这一局限性凸显了在VR中采集下肢运动数据的必要性。一种方法是在下肢附加额外的可穿戴传感器，以提供额外的运动线索 [^8] [^17] [^39] [^55] [^63] [^64] [^69]。其中，惯性测量单元（IMU）应用最为广泛，因为它们体积小巧且不易受遮挡影响，但需要精确校准，且存在漂移问题和使用上的不便 [^39]。另一种颇具前景的替代方案
---
Fig. 2: Workflow of our EgoPoseVR framework for egocentric full-body pose estimation in VR. HMD motion and egocentric downward-facing RGB-D inputs are jointly encoded by the spatiotemporal module to predict full-body poses. A tailored kinematic optimization via energy functions ensures structurally consistent and immersive avatar rendering.
是利用安装在使用者前方、朝下的摄像头 [^43]，来捕捉用户身体的第一人称视角图像。计算机视觉领域的最新研究表明，这种配置能显著提升下肢姿态估计的准确性 [^7] [^21] [^22] [^25] [^34] [^37] [^51] [^61] [^62]。不过，将这些方法直接应用于VR不仅受到摄像头获取条件的限制 [^13]，还面临模态整合方面的根本性挑战。
将HMD运动数据与以使用者为中心的视觉输入整合到统一框架中面临着重大挑战。HMD运动数据在空间上较为稀疏、结构清晰且维度较低，而以使用者为中心的视觉数据则维度很高，且对微小的头部运动极为敏感——这类运动往往会导致场景突然变化或产生运动模糊，进而破坏时间稳定性 [^3] [^21] [^58]。此外，现有的以使用者为中心的视觉方法本身计算量就很大 [^3]，若再加入来自头戴式显示器和控制器的额外VR运动信号，会进一步增加计算复杂度和推理延迟。除了这些差异外，由于缺少能在VR环境中提供时序同步的头戴设备运动数据与以使用者为中心的视觉数据的多模态数据集，研究进展更是受到制约。在VR环境中，用户对误差和延迟极为敏感，这些挑战被进一步放大 [^45]，因此亟需开发一种能在实际沉浸式条件下统一运动与视觉的原理性框架。
为解决这些问题，我们提出了如图2所示的EgoPoseVR——一种用于以头戴式显示器为中心的全身体姿估计的双流时空框架。该框架结合了基于HMD的运动数据与向下拍摄的以头戴式显示器为中心的摄像头的视觉输入，专为虚拟现实场景设计。每个数据流都经过时空上下文编码，能够捕捉时间动态与关节级依赖关系。在RGB-D模态中，我们设计了一种感知可见性的时序关节检测模块，以减轻运动模糊和场景变化带来的不稳定性，从而增强对视觉噪声的鲁棒性。为了充分利用不同模态间的互补信息，我们进一步引入了交叉注意力融合模块，利用视觉线索来优化HMD运动特征。最后，我们引入了一个运动学优化模块，通过强制姿态与虚拟现实信号保持一致，同时保留骨骼结构，从而提高姿态估计精度。为了支持训练与推理，我们构建了一个专为虚拟现实中以头戴式显示器为中心的全身体姿估计任务定制的多模态数据集。在合成数据集上的评估结果表明，EgoPoseVR相比现有最先进方法能够实现更精确且稳定的姿态估计，同时还能保持97 FPS的实时性能。一项真实用户研究进一步验证了这些发现，结果显示其在准确性、稳定性、沉浸感以及未来使用意愿方面的主观评分显著更高。
综上所述，本研究的主要贡献如下：
• 我们提出了EgoPoseVR——一种用于虚拟现实的新型以头戴式显示器为中心的姿态估计系统。该系统通过头戴设备上的RGB-D摄像头，融合了HMD运动信号与以头戴式显示器为中心的视觉观测数据，无需外部基础设施即可实现可部署的全身体姿跟踪。
- 我们提出了一种双流时空架构，该架构能够编码帧级动态与关节级依赖关系，通过跨模态融合模块整合互补线索，并利用运动学优化器来细化预测结果，从而确保其与VR追踪信号的结构一致性。
• 我们构建了首个用于VR环境中以自我为中心的全身姿态估计的大规模合成数据集，该数据集包含时间同步的头戴式显示器运动数据及RGB-D数据，配有2D和3D关节标注；涵盖180万帧图像，来自多种VR场景，可适用于不同的头戴式显示器-摄像头配置。
## 2 相关工作
### 2.1 VR环境中的以自我为中心的姿态估计
在VR应用中，一种常见且便捷的配置是仅利用头戴式显示器输入来估计全身姿态，无需依赖额外的传感器或视觉观测数据。基于物理的方法如QuestSim [^60] 和 QuestEnvSim [^27] 通过强化学习和模拟生成物理上合理的运动，但由于其依赖不可微的模拟器，难以集成到实时系统中。相比之下，数据驱动模型（例如AvatarPoser [^20]、AvatarJLM [^68] 和 EgoPoser [^19]）利用具备时序建模能力或关节间约束的神经网络直接回归姿态，从而提升了姿态估计的性能。最近，基于扩散的方法如AGRoL [^11] 和 EgoEgo [^28] 能够生成逼真的运动序列，不过其迭代采样和对未来帧的预测特性限制了其实时应用能力。这些仅使用头戴式显示器的方法往往难以准确预测下肢姿态，原因在于空间上稀疏的头戴式显示器输入缺乏全局身体上下文信息。
为了超越空间上稀疏的头戴式显示器输入，实现更精准的全身姿态估计，近期研究尝试整合额外的可穿戴传感器（如惯性测量单元）[^13]。为从稀疏信号中恢复全身运动，DIP [^17]采用循环序列建模方法，而SIP [^55]则将该任务视为从稀疏到密集姿态轨迹的优化问题。其他方法则引入生物力学约束和结构先验以提升物理合理性，例如TransPose [^64]和PIP [^63]。实时应用方面，HMD-Poser [^8]也进行了探索，它结合了轻量级神经网络与在线形状自适应技术，以适用于实际的虚拟现实场景。
---
Table 1: Comparison of representative datasets for egocentric full-body human pose estimation.
| Mo2Cap2 [^61] | xR-EgoPose [^51] | EgoGlass [^66] | UnrealEgo [^2] | ARES [^28] | SynthEgo [^7] | EgoPoseVR (Ours) |
| Camera Lens Type | Fisheye | Fisheye | Perspective | Fisheye | Perspective | Perspective | Perspective |
| Mono/Stereo | Mono | Mono | Stereo | Stereo | Mono | Stereo | Mono |
| Body Visibility | ✓ | ✓ | ✓ | ✓ | ✗ | ✓ | ✓ |
| Environment | In- & Outdoor | Mostly Indoor | Indoor | Indoor | In- & Outdoor | In- & Outdoor | In- & Outdoor |
| Joint Location | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ |
| Joint Rotation | ✗ | ✗ | ✗ | ✗ | ✓ | ✓ | ✓ |
| Depth Availability | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✓ |
| HMD Adaptability | ✗ | ✗ | ✗ | ✗ | ✗ | ✓(Implicit) | ✓(Explicit) |
| Temporal Continuity | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✓ |
| Dataset Size | 530k | 383k | 2 $\times$ 170k | 2 $\times$ 450k | 1.2M | 2 $\times$ 60k | 1.8M |
除了惯性测量单元外，其他传感策略还包括安装在躯干或四肢上的可穿戴摄像头，如Nymeria [^35]和EgoSim [^16]，它们将RGB摄像头与动作捕捉服相结合。不过，这些可穿戴传感器通常需要定制的硬件配置，且易受磁干扰影响[^23]，这限制了它们在虚拟现实环境中的可扩展性和实用性。
### 2.2 基于自中心摄像头的运动跟踪
在自中心姿态估计领域，一种重要方向是利用朝下拍摄的头戴式摄像头获取视觉观测数据，从而优化下肢姿态预测[^3]。Mo2Cap2 [^61]、xR-EgoPose [^51]和EgoPW [^57]等早期方法证明了这一思路的可行性，但受严重的自身遮挡问题以及缺乏显式的运动学建模限制，其性能存在明显局限。近期的研究不再局限于单目基线方法，而是引入了更多辅助信息。例如，Ego3DPose [^21]这类几何感知方法利用立体对应关系和方向线索来缓解自身遮挡问题；Scene-Aware EgoPose [^59]这类场景感知方法则整合深度信息和体素化上下文以确保姿态的合理性。更近期的研究中，包括REWIND [^25]在内的生成式运动模型采用了基于扩散的方法来实现实时全身姿态估计。EgoPoseFormer [^62]和Ego4View [^1]提出了从粗到精的细化策略，逐步将自中心观测数据转化为3D姿态。尽管这些从粗到精的设计提升了鲁棒性，但会带来较高的推理延迟，且严重依赖骨盆到摄像头之间的约束条件。
目前基于图像的自中心姿态估计方法主要在合成数据集上进行评估（表1）。这类数据集被广泛采用，是因为它们能够在不受特定场地限制的情况下生成大规模数据，支持环境和服装方面的多样化且可控的变量设置，同时无需复杂的额外动作捕捉设备。虽然合成数据无法完全涵盖现实世界的各种变化，但它为训练和评估提供了实用且可控的基础。我们并未试图仅通过扩大数据覆盖范围来解决仿真到现实的差距问题，而是专注于设计能够在合成数据与真实场景之间的分布偏移下仍保持鲁棒性的算法。除此之外，现有方法通常逐帧进行姿态估计，这会导致时间上的不一致性。头部快速移动产生的自身遮挡和运动模糊会进一步扭曲自中心视角，进而使预测结果不稳定。另外，以往的研究忽略了这样一个实际限制：商用头戴设备（如Meta Quest和Apple Vision Pro）并不允许访问朝下拍摄的鱼眼摄像头数据，这一限制不仅制约了相关技术的适用性，也阻碍了其在真实虚拟现实环境中的严格验证[^34]。
### 2.3 用于时序动态的时空建模
时空建模在第三人称3D人体姿态估计中已经得到广泛应用，因为时序上下文能够消除逐帧的歧义性，并确保各帧之间的运动一致性 [^10]。基于Transformer的架构，如PoseFormer [^67]、MixSTE [^65]和MHFormer [^29]，利用基于词元的注意力机制来捕捉RGB序列中的长距离依赖关系；而基于扩散的模型，如DiffPose [^14]和S2Fusion [^49]，则进一步融入了概率性的时序先验。尽管这些方法效果显著，但它们通常使用密集的视觉帧，且往往针对离线场景设计。近期出现的一些高效设计，如UNSPAT [^26]和HoT [^30]，试图通过对齐空间位置或剪枝操作来减少全帧处理的计算量。相比之下，多项研究表明，无需密集采样的视频图像序列也能实现可靠的时间建模。PhaseMP [^46]和ReMP [^18]利用相位表示或可复用的运动先验，从稀疏的运动流中编码长距离动态信息；而KTPFormer [^38]则通过注入运动学先验来提升时空稳定性。
尽管在利用时空视觉信息方面已取得进展，但以自我为中心的姿态估计仍受限于数据集的不足。如表1所示，Mo2Cap2 [^61]、xR-EgoPose [^51]和UnrealEgo [^2]等常用基准数据集主要提供孤立的帧，缺乏时序对齐的图像序列，从而限制了时空模型的发展。此外，大多数数据集并未包含关节旋转的显式标注（如EgoGlass [^66]），而这些标注对于模拟来自头戴设备和控制器的动态六自由度（6DoF）运动信号至关重要。时序动态信息与旋转信息的缺失，进一步阻碍了头戴设备与控制器信号以及以自我为中心的视觉输入之间的一致性对齐。这一缺口促使我们创建了一个专为VR应用设计的、时空对齐的以自我为中心的姿态数据集。
## 3 方法论
### 3.1 概述
我们致力于解决VR场景下的实时全身3D姿态估计任务，即从同步的以自我为中心的信号中预测关节方向与位置。输入数据包括来自头戴设备和手部控制器的时序运动数据，以及由安装在头戴设备上的商用摄像头采集的向下拍摄的RGB-D图像。在这种场景下，如何在保证计算效率的同时实现多模态的互补利用且不产生相互干扰，是我们设计的核心挑战。
为此，我们提出了EgoPoseVR，一种双流时空框架（见图2）。每个流都经由专门设计的时空编码器进行处理，该编码器采用Transformer层来捕捉逐帧的时序动态以及关节间的依赖关系，从而生成特定于模态的表征。运动流基于头戴设备和控制器的轨迹进行运算，而视觉流则对从RGB-D输入中提取的时序稳定的关节进行编码，以提供紧凑的视觉几何线索。这两种表征在共享的潜空间中融合，以预测经过优化的全身姿态；随后，该姿态会经由定制的运动学优化器进一步调整，以确保其与VR跟踪信号及骨骼结构约束保持一致。最终输出的是时序稳定且空间精确的全身姿态估计结果，非常适合低延迟的VR应用场景。
### 3.2 输入模态与姿态表示
头戴式显示器在当前帧t输出的输入信号$\mathbf{x}_t$由空间上稀疏的运动测量值组成。对于分别对应头部、左控制器和右控制器的每个设备$i \in \{H, C_L, C_R\}$，我们提取其全局3D位置$\mathbf{p}_t^i \in \mathbb{R}^3$、6D朝向$\boldsymbol{\theta}_t^i \in \mathbb{R}^6$、线速度$\mathbf{v}_t^i \in \mathbb{R}^3$以及6D角速度$\boldsymbol{\omega}_t^i \in \mathbb{R}^6$。这些分量会被拼接成全局运动描述符$\mathbf{g}_t^i = [\mathbf{p}_t^i, \boldsymbol{\theta}_t^i, \mathbf{v}_t^i, \boldsymbol{\omega}_t^i] \in \mathbb{R}^{18}$。为了降低对全局姿态的敏感性并促进以身体为中心的推理，我们会显式计算每个控制器相对于头戴式显示器的相对姿态。对于每个控制器而言
---
$c \in \{C_L, C_R\}$，我们通过将控制器姿态转换到头戴式显示器的坐标系下，来定义其相对于头部的位置$\tilde{\mathbf{p}}_t^c \in \mathbb{R}^3$和6D旋转$\tilde{\boldsymbol{\theta}}_t^c \in \mathbb{R}^6$。这些特征会被拼接成局部运动描述符$\mathbf{r}_t^c = [\tilde{\mathbf{p}}_t^c, \tilde{\boldsymbol{\theta}}_t^c] \in \mathbb{R}^9$。头戴式显示器的输入向量$\mathbf{x}_t \in \mathbb{R}^{72}$是通过拼接所有运动描述符得到的，可表示为：
$$ \mathbf{x}_{t}=\left[\mathbf{g}_{t}^{H},\ \mathbf{g}_{t}^{C_{L}},\ \mathbf{g}_{t}^{C_{R}},\ \mathbf{r}_{t}^{C_{L}},\ \mathbf{r}_{t}^{C_{R}}\right]\in\mathbb{R}^{72}. $$
与此同时，安装在头戴式显示器上的向下拍摄的RGB-D相机会采集以自我为中心的视觉观测数据，记为$\mathbf{y}_t \in \mathbb{R}^{C \times H \times W}$，其中C、H、W分别表示通道数、图像高度和宽度。为了充分利用头戴式显示器运动和RGB-D图像数据的时间连续性，我们构建了一个包含T个连续帧的预设窗口，该窗口以时间t为终点，即$\mathbf{X} = [\mathbf{x}_{t-T+1}, \ldots, \mathbf{x}_t] \in \mathbb{R}^{T \times 72}$、$\mathbf{Y} = [\mathbf{y}_{t-T+1}, \ldots, \mathbf{y}_t] \in \mathbb{R}^{T \times C \times H \times W}$。因此，每帧t的最终输入被定义为头戴式显示器运动与视觉模态的结合体：
$$ I_{t-T+1:t}=\{\mathbf{X},\mathbf{Y}\}. $$
我们的模型采用SMPL参数化方式[^33]来预测全身人体姿态。遵循以往的研究[^20]，我们重点关注主要的骨骼结构，排除两个手掌关节，最终得到22个输出关节。对于每一个关节，模型会预测其相对于运动链中父关节的旋转角度。这使得每帧的输出维度达到$\mathbb{R}^{132}$，对应22个关节，这些关节通过6D旋转来表示，用于操控基于SMPL的虚拟人。
### 3.3 头戴式显示器与RGB-D特征建模
#### 3.3.1 头戴式显示器流编码器
为了有效捕捉以自我为中心的运动数据中的时间动态和空间结构，我们引入了时空编码器，它作用于基于头戴式显示器的测量数据，如公式(3)所定义。给定公式(2)中的时间维度头戴式显示器描述符X，我们首先通过线性嵌入层$E_{l}(\cdot)$将每一帧投影到潜空间，从而生成一系列特征向量。为了捕捉长距离时间依赖关系并弥补逐帧或短期建模的局限性，我们采用了逐帧变换器编码器$\mathcal{T}_{f}(\cdot)$。其自注意力机制能够对整个时间窗口内的过往运动线索进行动态加权，进而助力提取稳健的趋势，提升后续姿态估计的时间连贯性。
$$ \mathbf{M}_{t}=\mathcal{T}_{j}\left(\mathbf{F}\left(\left[\mathcal{T}_{f}\left(E_{l}(\mathbf{X})\right)\right]_{t}\right)+\mathbf{e}_{j}\right). $$
为了在关注当前第t帧的同时保留时间上下文信息，我们提取最终的时间特征向量，并通过多层感知机（MLP）将其映射为结构化的姿态表示，记为$\mathbf{F}(\cdot)$。这一步骤将长期动态信息总结为特定于该帧的特征，确保后续模块能够利用具有时间感知能力的信息进行处理。为了促使模型学习各关节的特有语义，而非将所有关节视为等同处理，我们为每个关节特征添加了可学习的嵌入层$\mathbf{e}_j$。这一嵌入层提供了身份标识信号，有助于网络区分运动模式相似的关节，并辅助其推理关节间的相互关系。最后，我们进一步利用逐关节的Transformer编码器$\mathcal{T}_j(\cdot)$对关节特征进行优化。这使得网络能够建模运动学约束，生成解剖结构一致的姿态假设。最终得到的逐关节特征表示$\mathbf{M}_j$会形成一个形状为$\mathbb{R}^{J \times S}$的张量，其中J代表关节数量，S则表示每个关节的特征维度。
#### 3.3.2 RGB-D流编码器
虽然头戴式显示器（HMD）流能够捕捉头部和手部的轨迹，并能粗略推断下肢动作，但其预测结果仍存在歧义。同一上半身动作可能对应多种合理的下肢姿态。为解决这一歧义问题，我们引入了一个互补的视觉流，用于处理来自朝下摄像头的RGB-D输入。
为了有效利用RGB-D流，我们采用了卷积热图编码器，即基于ResNet骨干网并结合特征金字塔网络的结构。
```pseudo
// Algorithm 1: Temporal refinement of 3D joint estimates
```
输入：Y、Z、T、J以及$\zeta$
输出：优化后的3D关节关键点序列$\tilde{\mathbf{Z}}$
如果$\mathbf{Y}$是第一批关节关键点，则
2 | 遍历所有满足$(t', j)$、$t' \in [t-T+1, t]$条件的$j \in [1, J]$
3 | $\left|\begin{array}{c} \tilde{\zeta}_{t'} \\ j \leftarrow \mathcal{F}(\zeta_{t'} \\ j) \end{array}\right|$;
4 | 结束遍历
5 | 逐关节掩码$\eta \leftarrow \text{ReLU}(\tilde{\zeta} - 0.5)$、$\tilde{\mathbf{Z}} \leftarrow \mathbf{Z} \odot \eta$；
6 | 否则
7 | 设N为新增帧的数量；
8 | 新帧为$N: [t-N+1, t]$，旧帧为$\mathcal{P}: [t-T+1, t-N]$；
9 | 若$N > 0$为真，则
10 | $\mathbf{Z}^+, \zeta^+\leftarrow \mathbf{Z}_N$, $\zeta_N, \mathbf{Z}^-, \zeta^-\leftarrow \mathbf{\tilde{Z}_P}$, $\tilde{\zeta}_P$;
11 | $\tilde{\zeta} = \text{Concat}(\tilde{\zeta}^-, \tilde{\zeta}^+)$;
12 | \textit{遍历}所有满足$(t, j)$条件的$t' \in N, j \in [1, J]$
13 | $\left|\begin{array}{c} \tilde{\zeta}_{t'} \\ j \leftarrow \mathcal{F}(\tilde{\zeta}_{t'} \\ j) \end{array}\right|$;
14 | 结束遍历
15 | $\eta \leftarrow \text{ReLU}(\tilde{\zeta}_N - 0.5)$;
16 | $\tilde{\mathbf{Z}}^+ \leftarrow \mathbf{Z}^+ \odot \eta$, $\tilde{\mathbf{Z}} \leftarrow \text{Concat}(\mathbf{Z}^-, \tilde{\mathbf{Z}}^{+})$;
17 | 结束条件判断
（FPN）[^31]首先会对RGB-D输入进行处理，以估计3D关节关键点序列$\mathbf{Z} \in \mathbb{R}^{T \times J \times 3}$。与直接在公式2中对密集图像序列$\mathbf{Y}$应用时空建模相比，使用3D关节关键点能将时间推理的计算复杂度从图像级别（即$\hat{O}(T \cdot C \cdot H \cdot W)$）降低到关节级别（即$\hat{O}(T \cdot J)$）。此外，显式的3D关节监督机制能够稳定训练过程，并提供空间上可解释的中间特征。
为了提升3D关节估计的鲁棒性和稳定性，我们进一步引入了一种新的优化策略，如算法1所述。由于每个热图总会产生一个峰值，因此相机视野之外的关节可能会被错误地检测为可见，从而导致误判。这种错误表示会造成关节定位不准确，并在真实场景中产生不稳定的预测结果。针对这一问题，我们设计了一个基于可见性感知的概率预测模块，该模块会输出初始的可见性概率序列$\zeta \in \mathbb{R}^{T \times J}$，用以表示当前视角下各关节可见的可能性。由于视觉编码器会同时处理多帧数据，因此我们进一步加入了一个单欧元滤波器$\mathcal{F}$来对$\zeta$进行平滑处理。此外，为了加快推理速度，我们设计了增量式特征更新方案：仅从新添加的帧中提取特征，并将其与之前帧中缓存的特征进行融合。这种设计在保留时间上下文信息的同时，显著减少了冗余计算。
根据算法1计算得到的优化后的3D关节关键点序列$\tilde{\mathbf{Z}}$，我们采用与公式3中相同的时空编码器，对来自$\mathbf{N}_t \in \mathbb{R}^{J \times S}$的逐帧及逐关节关键点特征$\tilde{\mathbf{Z}}$进行处理。这些特征能够捕捉图像衍生关键点的时间动态变化以及关节间的相互关系，并且可与HMD数据流兼容，以便后续进行交叉注意力融合。值得注意的是，尽管两种数据流采用了完全相同的时空编码器设计，但它们的参数是独立训练的。
$$ \mathbf{N}_{t}=\mathcal{T}_{j}\left(\mathbf{F}\left(\left[\mathcal{T}_{f}\left(E_{l}(\tilde{\mathbf{Z}})\right)\right]_{t}\right)+\mathbf{e}_{j}\right). $$
#### 3.3.3 跨模态时空融合
为了将RGB-D数据流与HMD数据流中的互补信息整合起来，我们采用了标准的多头交叉注意力机制[^54]。其中，HMD特征$\mathbf{M}_t$作为查询项，而RGB-D特征$\mathbf{N}_t$则提供键和值，从而使HMD特征能够有选择地关注相关的视觉线索。最终得到的增强表示$\mathbf{M}_t = \text{CrossAttn}(\mathbf{M}_t, \mathbf{N}_t)$即为经过视觉引导优化后的HMD特征。
融合后的特征$\tilde{\mathbf{M}}_t$随后被送入两个并行的前馈网络$\mathcal{T}_g(\cdot)$和$\mathcal{T}_l(\cdot)$，以解码以连续6D旋转格式表示的关节旋转参数。第一个分支$\mathcal{T}_g$专注于根关节（即骨盆），其全局旋转决定了整个身体的朝向。由于骨盆的运动轨迹相对平稳且连续，因此为其设计了专门的处理路径。第二个分支，
---
$\mathcal{T}_{l}$负责处理其余关节的局部旋转，以捕捉更细微的动作模式。这种架构上的分离减少了不同空间尺度间的相互干扰，从而有助于更精确地分配对相关特征的注意力。
随后，6D关节旋转表示会通过正向运动学（FK）层，结合VR头戴设备的世界坐标，从而计算出全身3D关节位置。为了减轻高频抖动并提升帧间的时间连贯性，我们进一步对输出的位置轨迹应用单欧元滤波器$\mathcal{F}$，最终得到第t帧处更平滑的全身体关节位置序列$\mathbf{P}_t \in \mathbb{R}^{22 \times 3}$：
$$ \mathbf{P}_{t}=\mathcal{F}\left(\mathrm{F K}\left(\mathcal{T}_{g}(\tilde{\mathbf{M}}_{t}),\mathcal{T}_{l}(\tilde{\mathbf{M}}_{t})\right)\right). $$
### 3.4 基于能量函数的运动姿态优化
尽管系统中使用了头戴式显示器和控制器的姿态数据作为输入，但由于遮挡、传感器噪声以及仅通过头部和手部追踪来推断全身动作的困难性，网络仍可能输出不准确的关节位置。逆向运动学（IK）虽然能改善时间连续性，但在仅有头部和手部输入的情况下仍受约束不足的限制，从而在没有运动先验的情况下产生模糊或不符合常理的下半身姿态 [^60]。为解决这一问题，我们提出了一种基于能量的运动学骨骼优化方法，该方法能在保持骨骼一致性的同时优化关节位置。
(a) Original Pose
(b) $E_{A}$ Only
(c) $E_{A} + E_{S}$
Fig. 3: Pose refinement results under different kinematic pose optimization settings. The semi-transparent mesh is the ground-truth pose, while the predicted mesh is color-coded by the pose error (redder indicates higher error).
#### 3.4.1 头部与手部对齐项
为确保优化后的骨骼与来自输入头戴式显示器信号的外部位置观测保持一致，我们定义了一个位置对齐能量项，用以强制优化后的关节位置与来自头戴式显示器和控制器的外部观测值相一致。具体而言，设O表示可观测的关节集合（头部、左手、右手），其真实位置由VR系统提供，记为$\mathbf{q}_k \in \mathbb{R}^3$，其中$k \in O$。设$\tilde{\mathbf{p}}_k$表示网络的初始预测结果，而$\mathbf{p}_k$则表示优化后的结果。头部与手部对齐的能量函数可表述为：
$$ E_{\mathrm{A}}=\sum_{k\in O}\lambda_{a}\left\|\mathbf{p}_{k}-\mathbf{q}_{k}\right\|^{2}+\sum_{k\notin O}\lambda_{s}\left\|\mathbf{p}_{k}-\tilde{\mathbf{p}}_{k}\right\|^{2}. $$
第一项促使$\mathbf{p}_k$与可见关节对应的$\mathbf{q}_k$对齐，从而确保其与现实世界的传感器输入一致。第二项则作为未观测关节（$k \notin O$）的自正则化约束，引导其优化后的位置靠近初始预测值$\tilde{\mathbf{p}}_k$。这种表述方式确保了只有在有外部观测数据支持时，优化过程才会调整原始预测结果；而在缺乏真实数据的情况下，仍能保持合理的姿态结构。权重因子$\lambda_a$和$\lambda_s$分别控制了与观测关节对齐以及未观测关节正则化的相对重要性。
#### 3.4.2 骨骼结构保持项
为确保优化过程中局部骨骼结构得以保留，我们定义了一个结构保持能量项，用于惩罚相邻关节之间在骨长与骨方向方面的偏差。设$\mathbf{J}_{ij}$和$\mathbf{J}_{ij}$分别表示关节j到i的初始及优化后的关节方向向量预测值。局部结构保持的约束能量函数定义如下：
$$ E_{\mathrm{S}}=\sum_{i}\sum_{j\in\mathcal{M}(i)}\left[\lambda_{l}\left\|\ell(\mathbf{J}_{i j})-\ell(\mathbf{\tilde{J}}_{i j})\right\|^{2}+\lambda_{d}\left\|\mathbf{J}_{i j}-\mathbf{\tilde{J}}_{i j}\right\|^{2}\right], $$
其中，$\mathcal{M}(i)$表示在骨骼层级中与关节i直接相连的关节集合，通常由SMPL运动树定义，$\ell(\cdot)$代表相邻关节间的距离计算。第一项用于保证骨长的一致性，第二项则促使相邻关节的方向保持一致。权重因子$\lambda_{l}$和$\lambda_{d}$分别控制了骨长与方向保持的相对重要性。
## 4 面向VR虚拟形象的合成数据集生成
为解决适合沉浸式VR应用且需要时空对齐的姿态数据匮乏的问题，我们推出了EgoPoseVR——一个包含以自我为中心的RGB-D图像、头戴式显示器运动轨迹以及全身2D/3D姿态标注的合成数据集，具体信息见表1。EgoPoseVR包含18,235个运动序列，共计180万帧，渲染分辨率为$320 \times 256$，帧率为60 FPS，从而为训练和评估VR虚拟形象姿态估计系统提供了大规模基准数据集。
该数据集的构建基于五个关键设计目标。首先，为确保动作多样性，我们从AMASS [^36]中精选了2,350个序列，并参考BABEL [^40]中的类别级标注，涵盖了各类日常及任务导向性动作。其次，为促进场景与光照条件的泛化能力[^6]，我们纳入了8个大规模室内3D环境以及100张HDR全景图，从而提供室内外两种风格的光照条件。第三，为增强外观多样性，该数据集包含了100套服装（男性50套、女性50套）和20种鞋类模型，提升了第一人称视角下的视觉真实感。第四，为确保不同头显设备间的兼容性，我们提供了以骨盆为中心和以摄像头为中心的关节坐标；后者是通过从骨盆到头部应用正向运动学，再结合预先计算好的头部与第一人称摄像头之间的相对位姿得到的，从而实现在任意头显配置下的精准第一人称投影。最后，为支持高效且时间一致的第一人称渲染，所有RGB-D序列均以$320 \times 256$分辨率渲染，并与头戴式显示器及手部控制器的轨迹对齐。考虑到第一人称视角下的部分可见性问题，EgoPoseVR还为每个帧提供了各关节的可见性标签，这些标签以二进制形式标识关节是否位于摄像头视野内。关于EgoPoseVR数据集的更多实现细节，可在补充材料中查看以确保可复现性。
Fig. 4: Example images from our dataset showing third-person and egocentric RGB-D views. Green dots indicate 2D joint projections and pink dashed boxes mark the motion blur regions.
## 5 跨设备数据传输流水线
为实现不同传感模块与渲染模块间的实时全身姿态估计，我们基于持久性WebSocket通信框架设计了一种轻量级的跨设备架构。该系统由三个组件构成：输入客户端与渲染客户端。
---
此外还有推理服务器。输入客户端集成了通过USB Type-C物理连接的VR头戴式显示器和RGB-D摄像头。RGB-D图像与头戴式显示器的姿态数据会同步后，通过持久的WebSocket连接实时传输给推理服务器。推理服务器负责运行我们的EgoMotionVR模型，并且能够同时托管多个模型，从而无需更改客户端架构即可灵活切换模型。
Fig. 5: System architecture illustrating cross-device data transmission for real-time SMPL pose estimation and visualization.
接收到数据后，推理服务器会将最新的RGB-D帧暂时存储在缓冲队列中。我们的EgoPoseVR模型会根据需求持续获取最新帧，估算出SMPL格式的全身姿态，并进行内部姿态优化以减少噪声并提高时间稳定性。优化后的SMPL姿态会通过WebSocket返回给输入客户端以供头显内可视化，同时也会发送给渲染客户端用于第三人称监控，从而支持通过Unity或UE渲染实现同步的第三人称视角反馈。整个系统以同步方式运行，支持客户端与服务器间的双向通信，能够实现传感器数据的低延迟流式传输以及模型预测结果的即时返回。
## 6 评估
### 6.1 实验
我们实现了该系统，并使用NVIDIA GeForce RTX 3090 GPU训练了所有模型。训练是在我们提出的EgoPoseVR数据集上进行的，该数据集由AMASS数据集中的人体动作合成而来 [^36]。每个数据集被分为90%的训练集和10%的测试集。网络使用AdamW优化器进行优化，学习率为$5.0e^{-4}$。批量大小设为32。整体训练目标包括2D关节估计损失和3D姿态估计损失，用以保证空间精度和运动学合理性。完整的公式和损失权重策略请参见补充材料。
由于此前尚无同时整合HMD运动和以自我为中心的视觉线索的方法，我们将我们的EgoPoseVR系统与两种最先进的单模态方法进行了比较，即基于HMD的方法EgoPoser [^19]，以及基于以自我为中心视觉的方法EgoPoseFormer [^62]，还有它们的互补配置。为了全面评估性能，我们采用了四种标准指标：MPJPE（平均关节位置误差，单位：厘米）、PA-MPJPE（经过Procrustes对齐的MPJPE，单位：厘米）、MPJRE（平均关节旋转误差，单位：度）以及FPS（每秒帧数）。
### 6.2 与现有方法的比较
为了确保与现有方法进行比较时的公平性和严谨性，我们首先采用EgoPoser [^19]来揭示仅使用HMD运动的局限性。为了引入视觉线索，我们将EgoPoseFormer [^62]作为细化模块集成进来。值得注意的是，EgoPoseFormer本身并未被用作独立基线，因为它仅预测关节位置而非旋转信息，这使其无法与基于SMPL的运动重建兼容；此外，它在训练时依赖真实的骨盆到摄像机的变换参数，而这些在VR推理过程中是无法获得的。为克服这些局限，我们为EgoPoseFormer提供了由EgoPoser预测的骨盆姿态，从而实现公平且实用的集成。
为了严格评估每个所提出组件的有效性，我们采用了基于受控模块替换的分阶段评估策略。从EgoPose + EgoPoseFormer基线开始，我们首先用我们的HMD编码器替换运动流，同时保留原有的视觉模块，从而得到Proposed HMD + EgoPoseFormer配置。这一配置在其他视觉细化流程相同的情况下，突出了我们的运动表示方式的贡献。接着，我们用基于RGB的编码器替换视觉流，形成Proposed HMD + Proposed RGB (M)配置，其中(M)表示多帧输入。这一中间变体凸显了我们视觉模块的有效性，同时也确保了与EgoPose + EgoPoseFormer基线的公平比较。最后，我们评估了完整的系统（即EgoPoseVR (HMD + RGB-D (M) + KPO)），该系统集成了所有提出的模块，在基于VR的全身体态估计中取得了更高的精度。
#### 6.2.1 定量评估
为了客观评估不同方法的有效性，我们在表2中给出了定量比较结果。为了更好地分离各模块的影响，上下半身的指标分别报告（-U表示上半身，-L表示下半身）。额外的逐关节指标详见补充材料。
如B行所示，将视觉线索融入EgoPoser能显著提升下肢关节估计的精度。在以自我为中心的场景中，由于缺乏直接传感数据，这类估计主要依赖视觉推理。在C行中，用我们提出的HMD模块替换EgoPoser后，各项指标的性能均得到进一步提升，其中MPJRE-U指标的下降尤为显著。这一改进源于我们专门设计的关节嵌入机制，它能更有效地编码传感器输入。这种提升对于基于SMPL的虚拟人控制而言尤为重要，因为准确的关节旋转是实现逼真动作合成的关键。
为了与B行的基线模型进行公平比较，D行保留了相同的输入模态，但用我们提出的视觉模块替换了EgoPoseFormer。尽管相较于C行，其精度提升相对有限，但该系统的FPS却大幅提高，显示出精度与运行速度之间更优的平衡。最后，E行展示了EgoPoseVR的完整配置：通过引入深度输入和KPO模块，该系统能有效应对运动模糊和遮挡等挑战，同时保证上半身的运动学一致性。尽管计算开销有所增加，但这种完整配置仍能实现最高的精度，尤其是在上半身估计方面（如MPJPE-U），同时还能保持实时处理能力，因此非常适合交互式虚拟现实场景。
#### 6.2.2 定性评估
表2中对应A–E行的方法在下肢有明显运动的场景下进行了可视化展示，如图6所示。EgoPoser主要依靠对侧手臂与腿部的协调关系来推断下肢运动；然而，当手臂摆动不明显时（如图6(b)所示），其预测结果便不可靠。基于EgoPoseFormer的B–C行方法则严重依赖图像视野中的骨盆位置；因此，当用户头部向上（图6(a)）、向下（图6(b)和6(c)）或向侧面（图6(d)）大幅移动时，预测的下肢姿态便会出现偏差。
相比之下，我们提出的RGB模块（D行）利用图像中可见的关节信息来增强基于HMD的下肢关节估计能力，无需依赖骨盆定位，从而能够适应更大的视角变化。引入深度信息和KPO模块后，系统对下肢的3D空间理解能力得到进一步提升，同时能根据HMD传感器输入施加上半身约束，最终实现更准确、更稳健的全身体姿估计。
---
Table 2: Quantitative results of module-level comparison with state-of-the-art methods on our synthetic dataset. Row colors indicate performance improvement from the previous row: Yellow (<10%), Light Green (10–20%), Dark Green (>20%).
| Method | MPJPE-U $\downarrow$ | MPJPE-L $\downarrow$ | PA-MPJPE-U $\downarrow$ | PA-MPJPE-L $\downarrow$ | MPJRE-U $\downarrow$ | MPJRE-L $\downarrow$ | FPS $\uparrow$ |
| A | EgoPoser [^19] | 5.61 $\pm$ 3.76 | 8.45 $\pm$ 5.99 | 4.13 $\pm$ 2.56 | 7.36 $\pm$ 5.08 | 15.48 $\pm$ 6.24 | 10.72 $\pm$ 4.89 | 216 $\pm$ 16 |
| B | EgoPoser [^19] + EgoPoseFormer [^62] | 4.92 $\pm$ 3.35 | 6.44 $\pm$ 4.92 | 3.66 $\pm$ 2.41 | 5.34 $\pm$ 3.94 | 15.39 $\pm$ 6.21 | 9.97 $\pm$ 4.63 | 29 $\pm$ 1 |
| C | Proposed HMD + EgoPoseFormer [^62] | 3.60 $\pm$ 2.80 | 5.82 $\pm$ 4.88 | 2.68 $\pm$ 1.81 | 4.83 $\pm$ 3.80 | 8.59 $\pm$ 4.06 | 7.73 $\pm$ 4.24 | 29 $\pm$ 2 |
| D | Proposed HMD + Proposed RGB (M) | 3.57 $\pm$ 2.71 | 5.23 $\pm$ 4.86 | 2.55 $\pm$ 1.80 | 4.20 $\pm$ 3.73 | 8.33 $\pm$ 4.04 | 7.29 $\pm$ 4.28 | 155 $\pm$ 6 |
| E | EgoPoseVR (HMD + RGB-D (M) + KPO) | 1.66 $\pm$ 1.05 | 4.75 $\pm$ 4.35 | 2.05 $\pm$ 1.53 | 3.63 $\pm$ 3.31 | 8.21 $\pm$ 3.96 | 6.74 $\pm$ 3.94 | 97 $\pm$ 6 |
(a) Leaping Motion
(b) Walking Motion
(c) Bending Motion
Fig. 6: Qualitative results of module-level comparison with state-of-the-art methods. The leftmost blue avatar represents the ground truth, while the remaining five avatars from left to right correspond respectively to the methods listed in Rows A–E of Table 2. Pose errors are color-coded relative to the ground truth, with deeper red indicating greater error.
(d) Kicking Motion
### 6.3 消融研究
我们对输入模态和模型组件分别开展了消融研究，以分析它们各自的贡献（见表3）。
在输入模态方面，以仅使用HMD的基线模型为起点，我们首先加入单帧RGB输入，它能提供每帧的视觉特征，但不包含时间上下文信息。这显著提升了位置精度，尤其是对于那些仅靠HMD信号无法提供足够运动学约束的下肢关节而言。随后，我们将单帧输入替换为时序堆叠的RGB序列，使网络能够利用短期运动连续性信息。这进一步降低了位置噪声和方向不稳定性，尤其在头部突然移动的情况下效果更为明显。在多帧配置中加入深度信息后，所有指标均获得额外提升，因为深度信息提供了几何线索，能够在遮挡和运动模糊的情况下明确区分关节位置。
Table 3: Ablation study of input modalities and model components. (S): single-frame RGB input; (M): multi-frame RGB input. Row colors indicate accuracy improvement from the previous row: Yellow (<10%), Light Green (10–20%), Dark Green (>20%).
| Method | MPJPE $\downarrow$ | PA-MPJPE $\downarrow$ | MPJRE $\downarrow$ | FPS $\uparrow$ |
| HMD Only | 6.26 $\pm$ 4.03 | 4.85 $\pm$ 3.05 | 9.26 $\pm$ 3.85 | 212 $\pm$ 6 |
| HMD + RGB (S) | 4.42 $\pm$ 3.47 | 3.37 $\pm$ 2.57 | 8.12 $\pm$ 3.82 | 158 $\pm$ 8 |
| HMD + RGB (M) | 4.25 $\pm$ 3.28 | 3.22 $\pm$ 2.47 | 7.90 $\pm$ 3.68 | 155 $\pm$ 6 |
| HMD + RGB-D (M) | 3.95 $\pm$ 3.05 | 2.96 $\pm$ 2.21 | 7.61 $\pm$ 3.51 | 154 $\pm$ 7 |
| + KPO (Full System) | 2.92 $\pm$ 2.16 | 2.70 $\pm$ 2.17 | 7.61 $\pm$ 3.51 | 97 $\pm$ 6 |
| - Cross-Modal Fusion | 4.08 $\pm$ 3.03 | 3.10 $\pm$ 2.19 | 7.65 $\pm$ 3.62 | 156 $\pm$ 5 |
| - Spatiotemporal Encoder | 6.42 $\pm$ 4.19 | 5.35 $\pm$ 3.28 | 14.29 $\pm$ 5.07 | 189 $\pm$ 6 |
对于模型组件而言，第3.4节中提出的KPO模块被进一步应用于HMD + RGB-D（M）之上，该模块在保持预测关节方向的同时，显著提升了全身关节位置的一致性。尽管这种优化会增加计算成本，但最终系统仍能达到97帧/秒的帧率，从而确保其在实时虚拟现实交互中的实用性。补充材料中提供了额外的消融实验结果。为了评估时空编码器与跨模态融合模块的必要性，我们从完整系统中分别移除这两个组件。虽然这确实能提升推理速度，但却会导致全身关节姿态精度的下降。若用简单的特征拼接来替代跨模态融合，性能仅会出现小幅度的降低，这是因为模态特定的特征在融合前就已经被时空编码器有效编码了。
Pose Re-Projection
Fig. 7: Effect of visual input modality and the proposed visibility probability factor $\zeta$ on heatmap quality and the resulting 3D pose estimation, evaluated via 2D re-projections of the predicted joints.
### 6.4 基于热图的关节精度分析
为了探究不同因素对2D热图质量的影响，我们从图像模态以及所提出的可见性概率因子$\zeta$的整合情况这两个维度，对输入配置进行了比较。
---
(a) High-Knee Motion
(b) Squat Motion
(c) Sitting Motion
Fig. 8: Comparison with existing methods in the real-world scenes. From left to right, the avatars are generated by EgoPoser [^19], EgoPoser [^19] + EgoPoseFormer [^62], and the proposed EgoPoseVR, respectively. The foreground users illustrate the corresponding real-world motions, while the background avatars demonstrate their synchronized virtual counterparts in real time.
第3.3.2节。为了进行定量验证，我们通过已知的相机内参，将预测出的3D关节重新投影到原始的2D图像平面上，从而能够直接评估其与输入观测数据的空间对齐程度。
图7最左侧的列显示，若不引入$\zeta$，对应视野外关节的热图会产生大量噪声和伪影。这是因为固定阈值滤波无法自适应地抑制不可见关节产生的热图响应。为解决这一局限，我们引入了关节可见性预测头，用于预测每个关节位于可见区域内的概率。如中间列所示，整合$\zeta$后，噪声热图信号被有效抑制，热图分布也更加清晰，从而聚焦于有效的关节区域。通过比较图7中的RGB和RGB-D行可以发现，深度线索能够帮助网络更好地捕捉场景的3D空间结构，进而实现更精确的关节定位。这种优化确保了2D关节序列的时间稳定性，为时空编码器提供可靠的输入，最终得出准确的3D姿态估计结果。
### 6.5 真实环境下的用户研究
为了评估不同方法在真实场景中的有效性，我们开展了一项用户研究，对比了EgoPoser [^19]（EP）、EgoPoser [^19] + EgoPoseFormer [^62]（EP+EF）以及我们提出的EgoPoseVR，即表2中的A、B和E行。该研究方案已经过我校机构审查委员会（IRB）的审核与批准。所有对比模型均使用所提出的数据集进行训练。基于第5节中描述的多设备数据传输设计，为确保比较的公平性与一致性，不同方法生成的虚拟化身会在UE渲染器中并排显示，且均由同一虚拟现实设备产生的相同用户输入驱动。
共有20名参与者从大学教职员工和学生中招募而来（平均年龄=24.9岁，标准差=3.73），其中男性11人，女性9人。阅读并签署知情同意书后，参与者首先填写了人口统计学问卷以记录其基本信息。在签署知情同意书的过程中，参与者被告知研究的总体目的，但对具体的研究假设并不知情。参与者的先前虚拟现实体验存在异质性：14名参与者有虚拟现实使用经历，6名则没有；此外，还有8名参与者曾有过姿势追踪或相关开发任务的经验。在简短演示我们的系统后，他们被要求戴上头戴式显示器，自由进行基本的全身运动（如行走、坐下、抬腿和弯腰）。
Table 4: Post-session questionnaire used for the subjective evaluation of different methods.
| Question | Description |
| Q1 | The avatar's upper body movements accurately reflected my real-world movements. |
| Q2 | The avatar's lower body movements accurately reflected my real-world movements. |
| Q3 | The avatar's movements were synchronized (real-time) with my actions in real time. |
| Q4 | The avatar's motion appeared stable and free of noticeable jittering. |
| Q5 | I felt that the avatar's body was a natural extension of my own body. |
| Q6 | I would prefer to use this pose estimation method and its associated device in future VR applications. |
整个过程在5分钟内完成。实验结束后，参与者填写了表4所示的5点李克特量表问卷。基于标准化的具身感知问卷[^4] [^15]，我们设计的问卷用于评估系统的四个维度：追踪精度（Q1–Q2）、响应性与稳定性（Q3–Q4）、具身感知程度（Q5）以及未来使用意愿（Q6）。我们选取了与系统功能评估最相关的题项，而非采用完整的具身感知量表。实验期间，并未告知参与者在UE环境中不同方法所对应的虚拟形象安排，以确保评估结果的客观性。
问卷评分采用5点李克特量表，生成的是有序数据，无法假定其符合正态分布。因此，我们采用了非参数分析方法：运用Friedman检验来评估不同方法间的整体差异，并通过Holm–Bonferroni校正后的Wilcoxon符号秩检验来进行成对比较。Friedman检验结果显示所有问卷题项的评分差异均具有显著性（p < 0.001）。事后检验进一步表明，EgoPoseVR的评分显著高于EP和EP+EF（p < 0.01），如图9所示。这些发现表明，参与者在所有评估维度上均能明显察觉到三种模型间的差异。详细的统计结果详见补充材料。
弗里德曼检验表明，Q1（上半身追踪精度）存在显著影响（ $\chi^{2}(2) = 21.794$，p < 0.0001，肯德尔系数 W = 0.545）。在对比EP+EF与EP时可以发现，EP+EF采用了相同的
---
Fig. 9: Statistical analysis of the user study. The box represents the interquartile range (IQR), the central line indicates the median. Outliers are shown as individual points. (n.s.): no statistical significance, (*): p ≤ 0.05, (**): p ≤ 0.01, (***)): p ≤ 0.001.
EP+EF采用的基于头戴式显示器的上半身估算策略与EP一致，两者间无显著差异（$p = 0.051$）。然而，EP+EF引入的额外延迟降低了其相对于EP的感知精度。对于下半身追踪精度（Q2），Friedman检验同样显示出显著效应（$\chi^2(2) = 35.368$，$p < 0.0001$，Kendall's W = 0.884）。EP的表现最差，因为它仅依赖头戴式显示器的运动数据；而EP+EF虽有一定改善，但在单腿深蹲、抬膝等大关节角度姿势下仍表现不佳（见图8）。相比之下，借助专用的头戴式显示器与KPO模块增强后的EgoPoseVR，在上半身精度方面表现更优，且在下半身运动中的表现也显著优于这两种基准方法（均为$p < 0.001$），这得益于其时空编码器和跨模态模块的作用。
在响应性与稳定性方面（第三、第四季度），观察到了显著的条件效应（第三季度：$\chi^{2}(2) = 31.886$，p < 0.001，Kendall’s W = 0.797；第四季度：$\chi^{2}(2) = 25.323$，p < 0.001，Kendall’s W = 0.633）。EP+EF的计算开销阻碍了虚拟形象及时做出响应，从而导致其响应性评分显著降低。在稳定性方面，EP由于根据上半身动作来推测下半身姿态，因此会出现抖动现象；而EP+EF则因延迟导致帧与帧之间的不一致性更加明显，不过这两种条件之间并无统计学上的显著差异（p = 0.749）。所提出的方法缓解了这两个问题（所有p < 0.001）；不过当手臂遮挡住下半身，或者身体部位移出视野范围时，重建出的动作容易变得不够平滑。
在身体感知度方面（第五题）以及未来使用意愿方面（第六题），同样观察到了显著的条件效应（第五题：$\chi^{2}(2) = 31.521$，p < 0.001，Kendall's W = 0.788；第六题：$\chi^{2}(2) = 34.274$，p < 0.001，Kendall's W = 0.857）。事后检验结果显示，参与者对所提出方法的评价显著高于EP和EP+EF（所有p < 0.001）。就第五题而言，EP与EP+EF之间并无显著差异（p = 0.090），这一结果表明：不完整的或不稳定的下半身追踪不足以显著提升身体感知度。更强烈的身体感知度源于更高的追踪精度与时间稳定性，这进而转化为参与者在未来VR应用中采用该系统的更大意愿；可见主观接受度与前述技术层面的改进是一致的。
## 7 局限性与未来工作
我们的方法存在若干局限性，这些局限性也为未来的研究开辟了方向。首先，RGB-D细化模块的有效性依赖于用户身体在摄像头视野内的可见性。当用户身体处于视野之外或严重被遮挡时（见图10），跨模态融合的优势便会减弱。未来的研究可以考虑引入时间先验或生成模型，以更好地应对这种视觉信息稀疏的情况。其次，尽管我们数据集中的虚拟形象动作是由现实生活中的动作捕捉数据驱动的，但对应的视觉观测结果却是合成生成的，这不可避免地会引入仿真到现实之间的差距。为缓解这一问题，我们引入了基于可见性的建模（见3.3.2节）以及与头戴式显示器传感器测量结果的运动学对齐（见3.4节），以降低其对复杂动作和环境场景的敏感性。不过，未来的工作将侧重于收集真实场景下、时间上同步的头戴式显示器动作数据与RGB-D数据，以便在真实的部署环境中进一步提升系统的鲁棒性。第三，虽然SMPL能够实现高效的预测与动画生成，但它并未纳入生物力学约束。因此，生成的姿态可能缺乏物理合理性或高频肌肉动态特征。若能将我们的框架扩展为纳入肌肉骨骼模型或基于物理的先验知识，便有望实现更符合解剖学原理的姿态重建。
Fig. 10: Failure cases under partial or complete observability loss in egocentric views. The blue avatar denotes the ground truth, and the right avatar shows the predicted pose with color-coded errors.
## 8 结论
我们提出了EgoPoseVR，这是一个用于虚拟现实环境中以自我为中心的全身姿态估计的统一框架。该框架利用头戴式显示器（HMD）提供的空间稀疏运动轨迹，以及安装在头盔上的向下朝向的RGB-D摄像头所采集的空间观测数据。我们的方法采用了一种时空融合策略，能够借助可感知可见性的RGB-D特征来优化基于HMD运动输入得到的姿态估计结果，尤其注重在遮挡或视角受限的情况下提升下肢姿态估计的精确度。为支持这一任务，我们构建了一个大规模、专门针对虚拟现实场景的数据集，其中包含了时间上同步的RGB-D数据与HMD运动数据，从而能够在逼真的自我中心条件下实现有效的模型训练。在合成及真实虚拟现实场景中的大量实验表明，EgoPoseVR在关节位置与旋转角的估计精度上均优于现有的以自我为中心的姿态估计基准方法，同时还能保持实时性能。它无需额外的身体穿戴式传感器，即可实现便携且无需特定基础设施支持的全身动作追踪。这些研究成果凸显了其在促进自然虚拟形象建模以及康复训练和其他沉浸式虚拟现实应用中的无缝交互方面的巨大潜力。
## 参考文献
[^1]: H. Akada, J. Wang, V. Golyanik, and C. Theobalt. Bring your rear cameras for egocentric 3d human pose estimation. arXiv preprint arXiv:2503.11652, 2025. 3
[^2]: H. Akada, J. Wang, S. Shimada, M. Takahashi, C. Theobalt, and V. Golyanik. Unrealego: A new dataset for robust egocentric 3d human motion capture. In European Conference on Computer Vision, pp. 1–17. Springer, 2022. 3
[^3]: M. M. Azam and K. Desai. A survey on 3d egocentric human pose estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 1643–1654, 2024. 1, 2, 3
[^4]: A. Borrego, J. Latorre, M. Alcañiz, and R. Llorens. Embodiment and presence in virtual reality after stroke: a comparative study with healthy subjects. Frontiers in neurology, 10:1061, 2019. 8
[^5]: H. Cheng, C. Xu, X. Chen, Z. Chen, J. Wang, and L. Zhao. Realistic volume rendering with environment-synced illumination in mixed reality. In 2023 IEEE International Symposium on Mixed and Augmented Reality Adjunct (ISMAR-Adjunct), pp. 423–428. IEEE, 2023. 1
[^6]: H. Cheng, C. Xu, J. Wang, Z. Chen, and L. Zhao. Fast and accurate illumination estimation using ldr panoramic images for realistic rendering. IEEE Transactions on Visualization and Computer Graphics, 29(12):5235–5249, 2022. 5
## [^7]: H. Cuevas-Velasquez, C. Hewitt, S. Aliakbarian, and T. Baltrušaitis. Simpleego: Predicting probabilistic body pose from egocentric cameras. In 2024 International Conference on 3D Vision (3DV), pp. 1446–1455. IEEE, 2024. 2, 3
---
[^8]: P. Dai, Y. Zhang, T. Liu, Z. Fan, T. Du, Z. Su, X. Zheng, and Z. Li. Hmdposer: On-device real-time human motion tracking from scalable sparse observations. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 874–884, 2024. 1, 2
[^9]: T. D. Do, C. I. Protko, and R. P. McMahan. Stepping into the right shoes: The effects of user-matched avatar ethnicity and gender on sense of embodiment in virtual reality. IEEE transactions on visualization and computer graphics, 2024. 1
[^10]: A. Dosovitskiy, L. Beyer, A. Kolesnikov, D. Weissenborn, X. Zhai, T. Unterthiner, M. Dehghani, M. Minderer, G. Heigold, S. Gelly, et al. An image is worth $16 \times 16$ words: Transformers for image recognition at scale. arXiv preprint arXiv:2010.11929, 2020. 3
[^11]: Y. Du, R. Kips, A. Pumarola, S. Starke, A. Thabet, and A. Sanakoyeu. Avatars grow legs: Generating smooth human motion from sparse tracking inputs with diffusion model. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 481–490, 2023. 2
[^12]: S. Eom, D. Sykes, S. Rahimpour, and M. Gorlatova. Neurolens: Augmented reality-based contextual guidance through surgical tool tracking in neurosurgery. In 2022 IEEE International symposium on mixed and augmented reality (ISMAR), pp. 355–364. IEEE, 2022. 1
[^13]: Z. Fan, P. Dai, Z. Su, X. Gao, Z. Lv, J. Zhang, T. Du, G. Wang, and Y. Zhang. Emhi: A multimodal egocentric human motion dataset with hmd and body-worn imus. In Proceedings of the AAAI Conference on Artificial Intelligence, vol. 39, pp. 2879–2887, 2025. 2
[^14]: R. Feng, Y. Gao, T. H. E. Tse, X. Ma, and H. J. Chang. Diffpose: Spatiotemporal diffusion model for video-based human pose estimation. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 14861–14872, 2023. 3
[^15]: M. Gonzalez-Franco and T. C. Peck. Avatar embodiment. towards a standardized questionnaire. Frontiers in Robotics and AI, 5:74, 2018. 8
[^17]: Y. Huang, M. Kaufmann, E. Aksan, M. J. Black, O. Hilliges, and G. Pons-Moll. Deep inertial poser: Learning to reconstruct human pose from sparse inertial measurements in real time. ACM Transactions on Graphics (TOG), 37(6):1–15, 2018. 1, 2
[^16]: D. Hollidt, P. Streli, J. Jiang, Y. Haghighi, C. Qian, X. Liu, and C. Holz. Egosim: An egocentric multi-view simulator and real dataset for body-worn cameras during motion and activity. Advances in Neural Information Processing Systems, 37:106607–106627, 2024. 3
[^18]: H. Jang and Y. M. Kim. Remp: Reusable motion prior for multi-domain 3d human pose estimation and motion in betweening. In 2025 IEEE/CVF Winter Conference on Applications of Computer Vision (WACV), pp. 2474–2483. IEEE, 2025. 3
[^19]: J. Jiang, P. Streli, M. Meier, and C. Holz. Egoposer: Robust real-time egocentric pose estimation from sparse and intermittent observations everywhere. In European Conference on Computer Vision, pp. 277–294. Springer, 2024. 2, 6, 7, 8
[^20]: J. Jiang, P. Streli, H. Qiu, A. Fender, L. Laich, P. Snape, and C. Holz. Avatarposer: Articulated full-body pose tracking from sparse motion sensing. In European conference on computer vision, pp. 443–460. Springer, 2022. 1, 2, 4
[^21]: T. Kang, K. Lee, J. Zhang, and Y. Lee. Ego3dpose: Capturing 3d cues from binocular egocentric views. In SIGGRAPH Asia 2023 Conference Papers, pp. 1–10, 2023. 2, 3
[^22]: T. Kang and Y. Lee. Attention-propagation network for egocentric heatmap to 3d pose lifting. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 842–851, 2024. 2
[^23]: M. Kaufmann, Y. Zhao, C. Tang, L. Tao, C. Twigg, J. Song, R. Wang, and O. Hilliges. Em-pose: 3d human pose estimation from sparse electromagnetic trackers. In Proceedings of the IEEE/CVF international conference on computer vision, pp. 11510–11520, 2021. 3
[^24]: A. Lammert, G. Rendle, F. Immohr, A. Neidhardt, K. Brandenburg, A. Raake, and B. Froehlich. Immersive study analyzer: Collaborative immersive analysis of recorded social vs studies. IEEE Transactions on Visualization and Computer Graphics, 2024. 1
[^25]: J. Lee, W. Xu, A. Richard, S.-E. Wei, S. Saito, S. Bai, T.-L. Wang, M. Sung, J. Saragih, et al. Rewind: Real-time egocentric whole-body motion diffusion with exemplar-based identity conditioning. arXiv preprint arXiv:2504.04956, 2025. 2, 3
[^26]: M. Lee, H. Lee, B. Kim, and S. Kim. Unspat: Uncertainty-guided spatiotemporal transformer for 3d human pose and shape estimation on videos. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, pp. 3004–3013, 2024. 3
[^27]: S. Lee, S. Starke, Y. Ye, J. Won, and A. Winkler. Questenvsim:
基于稀疏传感器的环境感知模拟运动追踪。载于ACM SIGGRAPH 2023会议论文集，第1–9页，2023年。2
[^28]: J. Li, K. Liu, and J. Wu. Ego-body pose estimation via ego-head pose estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 17142–17151, 2023. 2, 3
[^29]: W. Li, H. Liu, H. Tang, P. Wang, and L. Van Gool. Mhformer: Multi-hypothesis transformer for 3d human pose estimation. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pp. 13147–13156, 2022. 3
[^30]: W. Li, M. Liu, H. Liu, P. Wang, J. Cai, and N. Sebe. Hourglass tokenizer for efficient transformer-based 3d human pose estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 604–613, 2024. 3
[^31]: T.-Y. Lin, P. Dollár, R. Girshick, K. He, B. Hariharan, and S. Belongie. Feature pyramid networks for object detection. In Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 2117–2125, 2017. 4
[^32]: C. Liu, F. F.-Y. Tan, S. Zhao, A. Kanneganti, G. A. Tushar, and E. T. Khoo. Facilitating virtual reality integration in medical education: A case study of acceptability and learning impact in childbirth delivery training. In Proceedings of the 2024 CHI Conference on Human Factors in Computing Systems, pp. 1–14, 2024. 1
[^33]: M. Loper, N. Mahmood, J. Romero, G. Pons-Moll, and M. J. Black. Smpl: A skinned multi-person linear model. In Seminal Graphics Papers: Pushing the Boundaries, Volume 2, pp. 851–866. 2023. 4
[^34]: Z. Luo, J. Cao, R. Khirodkar, A. Winkler, K. Kitani, and W. Xu. Real-time simulated avatar from head-mounted sensors. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 571–581, 2024. 2, 3
[^35]: L. Ma, Y. Ye, F. Hong, V. Guzov, Y. Jiang, R. Postyeni, L. Pesqueira, A. Gamino, V. Baiyya, H. J. Kim, et al. Nymeria: A massive collection of multimodal egocentric daily motion in the wild. In European Conference on Computer Vision, pp. 445–465. Springer, 2024. 3
[^36]: N. Mahmood, N. Ghorbani, N. F. Troje, G. Pons-Moll, and M. J. Black. Amass: Archive of motion capture as surface shapes. In Proceedings of the IEEE/CVF international conference on computer vision, pp. 5442–5451, 2019. 5, 6
[^37]: C. Millerdurai, H. Akada, J. Wang, D. Luvizon, C. Theobalt, and V. Golyanik. Eventego3d: 3d human motion capture from egocentric event streams. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 1186–1195, 2024. 2
[^38]: J. Peng, Y. Zhou, and P. Mok. Ktpformer: Kinematics and trajectory prior knowledge-enhanced transformer for 3d human pose estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 1123–1132, 2024. 3
[^39]: J. L. Ponton, H. Yun, A. Aristidou, C. Andujar, and N. Pelechano. Sparse-poser: Real-time full-body motion reconstruction from sparse data. ACM Transactions on Graphics, 43(1):1–14, 2023. 1
[^40]: A. R. Punnakkal, A. Chandrasekaran, N. Athanasiou, A. Quiros-Ramirez, and M. J. Black. Babel: Bodies, action and behavior with english labels. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 722–731, 2021. 5
[^41]: P. Rahimian and J. K. Kearney. Optimal camera placement for motion capture systems. IEEE transactions on visualization and computer graphics, 23(3):1209–1221, 2016. 1
[^42]: T. Rhee, S. Thompson, D. Medeiros, R. Dos Anjos, and A. Chalmers. Augmented virtual teleportation for high-fidelity telecollaboration. IEEE transactions on visualization and computer graphics, 26(5):1923–1933, 2020. 1
[^43]: H. Rhodin, C. Richardt, D. Casas, E. Insafutdinov, M. Shafiei, H.-P. Seidel, B. Schiele, and C. Theobalt. Egocap: egocentric marker-less motion capture with two fisheye cameras. ACM Transactions on Graphics (TOG), 35(6):1–11, 2016. 2
[^44]: A. Rojo, J. Cortina, C. Sánchez, E. Urendes, R. García-Carmona, and R. Raya. Accuracy study of the oculus touch v2 versus inertial sensor for a single-axis rotation simulating the elbow's range of motion. Virtual Reality, 26(4):1651–1662, 2022. 1
[^45]: D. Roth and M. E. Latoschik. Construction of the virtual embodiment questionnaire (veq). IEEE Transactions on Visualization and Computer Graphics, 26(12):3546–3556, 2020. 2
## [^46]: M. Shi, S. Starke, Y. Ye, T. Komura, and J. Won. Phasemp: Robust 3d pose estimation via phase-conditioned human motion prior. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 14725–
---
14737, 2023. 3
[^47]: S. Starke, P. Starke, N. He, T. Komura, and Y. Ye. Categorical codebook matching for embodied character controllers. ACM Transactions on Graphics (TOG), 43(4):1–14, 2024. 1
[^48]: Z. Sun, Y. Liang, Z. Ma, T. Zhang, L. Bao, G. Li, and S. He. Repose: 3d human pose estimation via spatio-temporal depth relational consistency. In European Conference on Computer Vision, pp. 309–325. Springer, 2024. 1
[^49]: J. Tang, J. Wang, K. Ji, L. Xu, J. Yu, and Y. Shi. A unified diffusion framework for scene-aware human motion estimation from sparse signals. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 21251–21262, 2024. 3
[^50]: Y. Tao, C. Y. Wang, A. D. Wilson, E. Ofek, and M. Gonzalez-Franco. Embodying physics-aware avatars in virtual reality. In Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems, pp. 1–15, 2023. 1
[^51]: D. Tome, P. Peluse, L. Agapito, and H. Badino. xr-egopose: Egocentric 3d human pose from an hmd camera. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 7728–7738, 2019. 2, 3
[^52]: J. C. Uhl, H. Schrom-Feiertag, G. Regal, K. Gallhuber, and M. Tscheligi. Tangible immersive trauma simulation: is mixed reality the next level of medical skills training? In Proceedings of the 2023 chi conference on human factors in computing systems, pp. 1–17, 2023. 1
[^53]: E. Van der Kruk and M. M. Reijne. Accuracy of human motion capture systems for sport applications; state-of-the-art review. European journal of sport science, 18(6):806–819, 2018. 1
[^54]: A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. N. Gomez, E. Kaiser, and I. Polosukhin. Attention is all you need. Advances in neural information processing systems, 30, 2017. 4
[^55]: T. Von Marcard, B. Rosenhahn, M. J. Black, and G. Pons-Moll. Sparse inertial poser: Automatic 3d human pose estimation from sparse imus. In Computer graphics forum, vol. 36, pp. 349–360. Wiley Online Library, 2017. 1, 2
[^56]: C. Wang, S. Zheng, L. Zhong, C. Yu, C. Liang, Y. Wang, Y. Gao, T. L. Lam, and Y. Shi. Pepperpose: Full-body pose estimation with a companion robot. In Proceedings of the 2024 CHI Conference on Human Factors in Computing Systems, pp. 1–16, 2024. 1
[^57]: J. Wang, L. Liu, W. Xu, K. Sarkar, D. Luvizon, and C. Theobalt. Estimating egocentric 3d human pose in the wild with external weak supervision. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 13157–13166, 2022. 3
[^58]: J. Wang, L. Liu, W. Xu, K. Sarkar, and C. Theobalt. Estimating egocentric 3d human pose in global space. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 11500–11509, 2021. 2
[^59]: J. Wang, D. Luvizon, W. Xu, L. Liu, K. Sarkar, and C. Theobalt. Scene-aware egocentric 3d human pose estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 13031–13040, 2023. 3
[^60]: A. Winkler, J. Won, and Y. Ye. Questsim: Human motion tracking from sparse sensors with simulated avatars. In SIGGRAPH Asia 2022 Conference Papers, pp. 1–8, 2022. 2, 5
[^61]: W. Xu, A. Chatterjee, M. Zollhoefer, H. Rhodin, P. Fua, H.-P. Seidel, and C. Theobalt. Mo 2 cap 2: Real-time mobile 3d motion capture with a cap-mounted fisheye camera. IEEE transactions on visualization and computer graphics, 25(5):2093–2101, 2019. 2, 3
[^62]: C. Yang, A. Tkach, S. Hampali, L. Zhang, E. J. Crowley, and C. Keskin. Egoposeformer: A simple baseline for stereo egocentric 3d human pose estimation. In European Conference on Computer Vision, pp. 401–417. Springer, 2024. 2, 3, 6, 7, 8
[^63]: X. Yi, Y. Zhou, M. Habermann, S. Shimada, V. Golyanik, C. Theobalt, and F. Xu. Physical inertial poser (pip): Physics-aware real-time human motion tracking from sparse inertial sensors. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pp. 13167–13178, 2022. 1, 2
[^64]: X. Yi, Y. Zhou, and F. Xu. Transpose: Real-time 3d human translation and pose estimation with six inertial sensors. ACM Transactions On Graphics (TOG), 40(4):1–13, 2021. 1, 2
[^65]: J. Zhang, Z. Tu, J. Yang, Y. Chen, and J. Yuan. Mixste: Seq2seq mixed spatio-temporal encoder for 3d human pose estimation in video. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pp. 13232–13242, 2022. 3
[^66]: D. Zhao, Z. Wei, J. Mahmud, and J.-M. Frahm. Egoglass: Egocentric-view human pose estimation from an eyeglass frame. In 2021 International
3D视觉会议（3DV），第32–41页。IEEE出版社，2021年。3
[^67]: C. Zheng, S. Zhu, M. Mendieta, T. Yang, C. Chen, and Z. Ding. 3d human pose estimation with spatial and temporal transformers. In Proceedings of the IEEE/CVF international conference on computer vision, pp. 11656–11665, 2021. 3
[^68]: X. Zheng, Z. Su, C. Wen, Z. Xue, and X. Jin. Realistic full-body tracking from sparse observations via joint-level modeling. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 14678–14688, 2023. 1, 2
[^69]: Z. Zheng, T. Yu, H. Li, K. Guo, Q. Dai, L. Fang, and Y. Liu. Hybridfusion: Real-time performance capture using a single depth sensor and sparse imus. In Proceedings of the European Conference on Computer Vision (ECCV), pp. 384–400, 2018. 1
[^70]: W. Zhu, X. Ma, Z. Liu, L. Liu, W. Wu, and Y. Wang. Motionbert: A unified perspective on learning human motion representations. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 15085–15099, 2023. 1