# SAME：空间感知的多模态自中心人体姿态估计
傅玉荣 $^{*1,2}$、戴鹏 $^{*1}$、张宇 $^{1}$、冯义强 $^{1}$、张洋 $^{\dagger1}$、王浩乾 $^{\dagger2}$，
$^{1}$PICO
$^{2}$清华大学
## 摘要
自中心人体姿态估计（HPE）在虚拟现实和增强现实等沉浸式应用中发挥着至关重要的作用。然而，现有仅依赖视觉数据或稀疏惯性数据的方法往往存在遮挡问题或不适定问题。在这项工作中，我们提出了SAME——一种新颖的空间感知多模态融合框架，它结合了立体图像与稀疏IMU的互补信号，以实现准确且鲁棒的自中心HPE。该框架采用基于双坐标系的两阶段网络，以解决立体相机与IMU之间的坐标不一致问题。在第一阶段，IMU信号被转换到局部坐标系，并与立体图像迭代融合，从而估算出局部坐标系下的3D姿态；在第二阶段，借助头戴式显示器（HMD）的SLAM算法提供的6DOF头部姿态，将局部姿态转换到全局坐标系，再通过时序Transformer网络进行时序聚合。同时，为了实现多模态特征间的几何与语义对齐，我们提出了一种深度引导的空间感知可变形立体注意力网络，以及用于跨视图、跨模态特征融合的模态感知Transformer解码器。大量实验表明，我们的方法在公开的EMHI多模态自中心姿态估计基准测试中取得了最先进的性能。
## 引言
自中心HPE旨在利用面向自身的头戴式相机、稀疏惯性测量单元（IMU）等可穿戴传感器来估算3D人体姿态（Akada等人，2025年；Yi等人，2025年）。近年来，由于其在虚拟现实（VR）、增强现实（AR）等众多领域的应用价值，它受到了广泛关注（Li、Liu和Wu，2023年；Du等人，2023年）。不过，由于自中心场景中存在严重的自身遮挡以及视角频繁变化的问题，自中心HPE面临着巨大挑战（Grauman等人，2022年）。
这类方法不可避免地受到单模态数据的固有局限：具体而言，基于视觉的方法难以处理下肢频繁被遮挡、身体部位超出自中心图像的视野范围等问题；而基于IMU的方法虽能避免遮挡问题，却会随时间产生漂移，且由于观测数据稀疏而存在不适定问题。因此，近期的研究（Camiletto等人，2025年；Lee等人，2025年；Fan等人，2025年）转向了多模态融合方向，但有效的跨传感器信号融合仍颇具挑战性。现有大多数方法采用后期融合策略，即分别为不同模态训练多个模型，再整合多个模型的输出结果——这种方式并不理想，因为它无法同时利用所有数据进行训练。此外，MEPoser（Fan等人，2025年）提出了一种基础的多模态融合方法，该方法仅简单地将IMU特征与视觉特征拼接后用于回归，却忽略了不同模态的特性差异。
为了克服上述局限，我们提出了一种空间感知的多模态自中心（SAME）人体姿态估计方法，如图1所示。首先，我们提出了一种基于双坐标系的两阶段网络，以充分利用两种输入模态的特性。具体而言，在第一阶段，IMU信号被转换到左摄像头坐标系中——本文将其定义为局部坐标系，并与视觉信号融合以估计局部坐标系下的人体姿态。局部坐标系中的姿态估计采用由粗到精的方式。在第二阶段，为了充分利用HMD的SLAM系统提供的6自由度头部姿态信息，并通过与地面对齐的稳定参考系来提升姿态的物理合理性，我们将局部姿态转换到全局坐标系下，再利用时序Transformer网络在时间窗口内融合数据。值得注意的是，整个网络可以端到端训练。
其次，与以往方法采用的后期融合策略不同，我们提出了一种中期融合方法：在特征提取之后，对自中心立体图像特征与IMU特征进行迭代融合。中期融合面临的最大挑战在于建立多模态特征之间的几何与语义对应关系。为了实现所有输入数据的几何对齐，我们在多视图融合模块中提出了一种新的深度引导的空间感知可变形立体注意力（DSA）网络，用于将三维位置嵌入（PEs）编码到图像特征中。这对于搭建立体图像与三维空间之间的几何对应关系具有重要价值。同时，我们采用了一种模态感知的Transformer解码器来实现语义对齐的多模态融合。该网络的核心思想有两点：首先，通过使用不同的键和值投影层来保留每种模态的独特特性。
---
其次，通过共享的查询投影层实现模态间的协作。
综上所述，我们的主要贡献如下：
- 提出一种两阶段中期多模态融合框架，将立体图像与稀疏的IMU信号融合以实现自中心人体姿态估计。
- 深度引导的空间感知DSA网络与模态感知的Transformer解码器提升了跨视图及跨模态特征融合的性能。
• 大量实验证明了所提方法的有效性与优越性。
## 相关工作
## 基于单模态输入的自中心人体姿态估计
早期的自中心人体姿态估计研究主要聚焦于使用单个鱼眼摄像头。例如，Mo²Cap²（Xu等人，2019年）率先利用基于CNN的二维模块来估计二维热图以及摄像头与各关节之间的距离，随后借助鱼眼摄像头模型通过反向投影二维检测结果来恢复三维关节坐标。xR-EgoPose（Tome等人，2019年）采用了类似的方法，使用了双分支自编码器；而Selfpose（Tome等人，2020年）则增加了旋转预测与关节旋转损失项。不过，这些单目方法在深度估计上存在歧义性问题。
为了解决单摄像头设置中固有的深度模糊问题，研究人员探索了立体摄像头设置，因为后者能提供更强的深度信息。例如，EgoGlass（Zhao等人，2021年）会先为每张图像预测二维热图，随后利用三维提升模块从二维热图中生成三维关节位置。UnrealEgo（Akada等人，2022年）采用了类似的流程，但设计了一种新的二维模块，该模块由两个权重共享的编码器和一个解码器组成，以便更好地利用立体信息来估计热图。UnrealEgo2（Akada等人，2024年）在此基础上进一步扩展，将分割掩码、场景信息和时间上下文纳入基于Transformer的框架中。EgoTAP（Kang和Lee，2024年）提出了一种传播网络，以充分利用关节的运动学结构。EgoPoseFormer（Yang等人，2024年）采用了DSA操作来有效融合多视角特征，并运用DETR风格（Carion等人，2020年）的Transformer以由粗到精的方式预测姿态。然而，这些方法都忽略了将三维位置编码嵌入图像特征中，而这种编码对于建立立体图像与三维空间之间的几何对应关系十分有益。在采用外部摄像头的多视角三维物体检测领域，已有一些方法（Liu等人，2023年；Xiong等人，2023年）证明了将三维位置编码嵌入图像特征的有效性。不过，为了在大空间中检测三维物体，这些方法通常使用所有视角共享的大型视锥体来表示三维位置编码。与这些方法不同，我们提出了一种深度引导的三维位置编码网络，以更好地适配以自我为中心的人体姿态估计场景。如图2所示，该网络仅聚焦于较小的外壳范围，从而迭代式地微调每个身体关节的三维坐标。
## 基于多模态输入的以自我为中心的人体姿态估计
在以自我为中心的立体摄像头设置中，严重遮挡等常见限制仍然存在，导致这些方法在舞蹈、健身、瑜伽等复杂动作中无法准确进行人体姿态估计。近期的研究试图利用不同传感器模态提供的互补信息来克服这些限制。FRAME（Camiletto等人，2025年）提出了一种两阶段网络，用于结合以自我为中心的立体图像与SLAM姿态数据。EgoAllo（Yi等人，2024年）利用SLAM头部姿态来约束基于扩散模型的身体姿态与身高先验，并在采样过程中融入来自以自我为中心视频的手部观测数据。除了SLAM头部姿态和以自我为中心的立体图像外，REWIND（Lee等人，2025年）还引入了身份感知的运动数据，以进一步提升姿态估计的质量。与我们论文中的方法类似，MEPoser（Fan等人，2025年）将以自我为中心的立体视频与稀疏的IMU信号相结合，这些信号包括来自头戴显示器和手部控制器的三个6自由度数据，以及佩戴在小腿上的IMU提供的两个3自由度数据。不过，他们的论文中仅提出了一种基础的多模态融合方法，即简单地将IMU特征与视觉特征拼接起来，再通过LSTM网络回归身体姿态。相比之下，我们的方法引入了模态感知的Transformer网络，以实现有效的模态协作，同时保留每种模态的独特特性。
## 方法
## 概述
如图1所示，我们的网络旨在根据T帧内的多模态以自我为中心观测序列来估计人体姿态：
$$ f_{\phi}(\boldsymbol{J}_{G}^{1:T}\mid\boldsymbol{I}_{\mathrm{L e f t}}^{1:T},\boldsymbol{I}_{\mathrm{R i g h t}}^{1:T},\boldsymbol{x}^{1:T}) $$
其中 $\phi$ 表示网络权重，$J_G^{1:T}$ 代表全局坐标系下的 $N_J$ 个SMPL关键点序列，$I_v \in \{\text{Left}, \text{Right}\} \in \mathbb{R}^{C \times H \times W}$ 是在第t帧从视角v拍摄的以自我为中心的图像，而 $\boldsymbol{x}^t = [x_{\text{Head}}^t, ..., x_{\text{LeftReg}}^t]$ 则是第t帧的一组稀疏IMU测量数据，包括来自头戴显示器和手部控制器的三个6自由度数据，以及佩戴在小腿上的IMU提供的两个3自由度数据。
正如Pan等人（2023年）和Fan等人（2025年）的研究所示，直接在全球坐标系下回归人体运动并非易事，因为以自我为中心的视频与IMU测量数据之间存在显著的模态差异和坐标不一致性。为解决这一问题，我们将任务分解为两个连续阶段：
$$ \begin{array}{r}{f_{\phi}=f_{\phi_{L}}(\boldsymbol{J}_{L}^{1:T}\mid\boldsymbol{I}_{\mathrm{L e f t}}^{1:T},\boldsymbol{I}_{\mathrm{R i g h t}}^{1:T},\boldsymbol{x}^{1:T})*f_{\phi_{G}}(\boldsymbol{J}_{G}^{1:T}\mid\boldsymbol{J}_{L}^{1:T},x_{\mathrm{H e a d}}^{1:T})}\end{array} $$
其中，$f_{\phi_L}$表示第一阶段中的网络，该网络专注于估计局部坐标系下的姿态$J_L^{1:T}$；本文中局部坐标系被定义为左侧相机坐标系。在此阶段，IMU信号首先被转换到统一的局部坐标系中，随后与立体视频结合，以提高姿态估计的准确性和鲁棒性。为了进一步提升估计精度和物理合理性，第二阶段提出了一种时间细化网络$f_{\phi_G}$，该网络会对整个时间窗口进行建模，最终生成在全球坐标系下更平滑且符合物理规律的运动$J_G^{1:T}$。
---
Figure 1: Overview of the proposed framework. Given a sequence of multi-modal egocentric observations, we first apply two dedicated backbones to extract image features $\{F_{\mathrm{Left}}^{t}, F_{\mathrm{Right}}^{t}\}_{t=1}^{T}$, 2D keypoints $\{P_{\mathrm{Left}}^{t}, P_{\mathrm{Right}}^{t}\}_{t=1}^{T}$, IMU features $\{F_{\mathrm{Im}}^{t}\}_{t=1}^{T}$ and initial 3D joint positions $\{J_{\mathrm{Im}}^{t}\}_{t=1}^{T}$. Next, for each timestamp t, we estimate the 3D poses in the local frame $\{J_{L}^{t}\}_{t=1}^{T}$ via alternating between a multi-view fusion and a multi-modal fusion module. Lastly, we transform the local poses into the global frame and adopt a temporal Transformer network to generate the final 3D poses $\{J_{\mathrm{G}}^{t}\}_{t=1}^{T}$.
## 多模态特征提取
为了适配视觉数据与IMU数据的异质性特点，我们针对每种输入模态采用了专用的骨干网络。首先，在IMU分支中，我们采用了类似HMD-Poser（Dai等人，2024年）的网络来估计3D关节$\{J_{\text{imu}}^t\}_{t=1}^T \in \mathbb{R}^{N_J \times 3}$以及IMU特征$\{F_{\text{imu}}^t\}_{t=1}^T \in \mathbb{R}^{N_{\text{imu}} \times D}$，其中D代表IMU特征的维度。值得注意的是，与在全局坐标系下运行的Dai等人（2024年）的方法不同，我们的IMU网络借助$x_{\text{Head}}^{1:T}$将原始IMU数据转换到局部坐标系，并在该坐标系下估计3D关节和特征。通过这种方式，以自我为中心的视频与IMU测量数据之间的坐标不一致性问题得到了缓解。其次，视觉分支利用预训练的ResNet（He等人，2016年）来提取立体图像特征$\{F_{\text{Left}}^t, F_{\text{Right}}^t\}_{t=1}^T \in \mathbb{R}^{4 \times \frac{W}{4} \times D}$并估计2D关节位置$\{P_{\text{Left}}^t, P_{\text{Right}}^t\}_{t=1}^T \in \mathbb{R}^{N_J \times 2}$。所估计的2D关节将作为后续基于注意力的多视图融合模块中的参考锚点。
## 局部坐标系下的迭代姿态估计
在收集完上述所有立体视觉线索和IMU特征后，我们提出了一种采用由粗到细方式的迭代姿态估计网络。由于该网络对所有帧的处理方式相同，为简便起见，本小节中省略了下标t。如图1所示，迭代姿态估计网络从IMU分支估计出的3D姿态$J_L^0 = J_{imu}$开始，交替运行用于融合多视图信息的多视图融合模块以及实现跨模态协作的多模态融合模块。经过N次迭代后，我们的模型就能获得精度更高的局部坐标系下的最终3D姿态$J_L = J_L^N$。
基于空间感知的多视图融合。在多视图融合方面，EgoPoseFormer（Yang等人，2024年）采用DSA操作来处理多视图特征，并在公开的自我中心数据集上取得了最先进的成果。然而，它忽略了空间相关信息，而这类信息对于生成准确的3D姿态同样至关重要。本文提出了一种空间感知的多视图融合（SA-MVF）模块，如图2所示。该模块以迭代前一轮输出的查询特征$Q^{n-1}$和3D姿态$J_{L}^{n-1}$、立体图像特征$[F_{Left}, F_{Right}]$、2D关节位置$[P_{Left}, P_{Right}]$以及相机参数$[C_{Left}, C_{Right}]$作为输入，输出空间感知的多视图融合图像特征$F^{n}_{mv}$。初始查询特征$Q^{0}$是通过将$J_{inv}$与一个标量标识符输入多层感知机（MLP）网络计算得出的。从结构上看，SA-MVF模块由用于关节级特征提取的空间感知DSA网络和用于跨关节特征融合的空间注意力网络组成。
如图2(a)所示，对于视角v中的第i个身体关节，给定一个包含内容特征$q^i \in Q^{n-1}$、2D参考点$p_v^i$以及3D参考点$J_L^i \in J_L^{n-1}$的查询元素，空间感知的可变形注意力计算如下：
$$ \begin{aligned}\boldsymbol{o}_{v}^{i}&=SpatialAwareDeformAttn(\boldsymbol{q}^{i},\boldsymbol{p}_{v}^{i},\boldsymbol{J}_{L}^{i},\boldsymbol{F}_{v},C_{v})\\&=\sum_{m=1}^{M_{a}}\boldsymbol{W}_{m}[\sum_{k=1}^{K_{s}}A_{mqk}\cdot\boldsymbol{W}_{m}^{\prime}(\boldsymbol{F}_{v}(\boldsymbol{p}_{v}^{i}+\Delta\boldsymbol{p}_{mqk}^{i})\\&\quad+f_{\mathrm{PE}}(\boldsymbol{p}_{v}^{i}+\Delta\boldsymbol{p}_{mqk}^{i},\boldsymbol{J}_{L}^{i},C_{v}))]\end{aligned} $$
其中m表示注意力头的索引，k表示采样的键的索引，$M_{a}$和$K_{s}$分别为注意力头的数量
---
(a) Overview of Our Spatial-Aware Multi-View Fusion Module
(b) Feature Sampling with Depth-Guided 3D PE
Figure 2: (a) The architecture of the proposed spatial-aware multi-view fusion network; (b) A diagram illustrating the feature sampling process with depth-guided 3D positional embedding.
Figure 3: The modality-aware multi-modal fusion module.
以及总的采样键数量。$W_m$和$W'_m$是如标准多头注意力网络中那样的可学习权重。$\Delta p_{mqk}^i$和$A_{mqk}$分别表示第m个注意力头中第k个采样点的采样2D偏移量和注意力权重。$\Delta p_{mqk}^i$和$A_{mqk}$都是通过基于查询特征$q^i$的线性投影得到的。由于$p_v^i + \Delta p_{mqk}^i$是分数值，因此采用如（Zhu等人，2020年）所述的双线性插值来计算图像特征$F_v(p_v^i + \Delta p_{mqk}^i)$。为了帮助模型学习图像与3D空间之间的几何对应关系，我们提出了一种新的深度引导型3D PE网络，用于为每个采样的2D点提取3D PE。从数学上讲，采样2D点$p_v^i = p_v^i + \Delta p_{mqk}^i$的3D PE计算如下：
$$ f_{\mathrm{PE}}(\hat{\boldsymbol{p}}_{v}^{i},\boldsymbol{J}_{L}^{i},\boldsymbol{C}_{v})=\mathrm{MLP}(\boldsymbol{\Theta}(\boldsymbol{\Pi}^{-1}(\hat{\boldsymbol{p}}_{v}^{i},\boldsymbol{C}_{v}),d(\boldsymbol{J}_{L}^{i}))) $$
其中$\Pi^{-1}(\hat{\boldsymbol{p}}_{v}^{i}, \boldsymbol{C}_{v})$表示由相机参数$\boldsymbol{C}_{v}$参数化的逆投影函数。$\Theta$是沿未投影射线方向的采样过程。如图2(b)所示，在深度范围$N_{s}$内均匀采样固定数量的$[d(\boldsymbol{J}_{L}^{i}) - \delta, d(\boldsymbol{J}_{L}^{i}) + \delta]$个3D点，其中$d(\cdot)$是用于提取每个3D点的深度分量的函数，$\delta$是预定义的采样范围。有了这些采样的3D点后，采用MLP网络将它们映射为单一的特征嵌入。需要注意的是，逆投影函数确保了来自所有相机的采样3D点都处于统一的局部坐标系中。如此一来，不同相机的3D PE就能对齐。逆投影和采样过程的细节详见补充材料。
多视图特征$\{o_{Left}^{i}, o_{Right}^{i}\}_{i=1}^{N_J}$被拼接起来并输入线性投影层，以生成空间感知的立体图像特征。
$$ o^{i}=\operatorname{L i n e a r}(\operatorname{C o n c a t}(o_{\operatorname{L e f t}}^{i},o_{\operatorname{R i g h t}}^{i})),\;i\in[1,...,N_{J}] $$
值得注意的是，对于2D检测置信度较低的关节，我们会屏蔽掉它们的特征，以防止不可靠的信息被纳入。接下来，应用自注意力操作来从所有关节特征中提取空间信息和人体运动学信息。
$$ \boldsymbol{F}_{mv}^{n}=SelfAttention([\boldsymbol{o}^{1},\boldsymbol{o}^{2},...,\boldsymbol{o}^{N_{J}}]) $$
模态感知多模态融合。以往的多模态特征对齐方法（Lyu等人，2024年）通常通过将IMU特征投影到视觉语义空间来与视觉特征对齐。然而，正如Ye等人（2024年）所展示的，这种策略会导致粒度上的不匹配：与IMU特征中的离散信息相比，视觉特征往往包含更丰富的语义信息。为此，本文提出了一种模态感知多模态融合（MA-MMF）模块。
---
如图3所示，该模块由M个相同的层堆叠而成。每层包含两个子层：第一个是特定于模态的自注意力机制，第二个是全连接前馈网络。同时，每个子层周围都采用了残差连接和层归一化操作。
形式上，在第m层，给定空间感知多视角特征$\boldsymbol{F}_{\mathrm{mv}}^{n} \in \mathbb{R}^{N_{J} \times D}$、IMU特征$\boldsymbol{F}_{\mathrm{imu}} \in \mathbb{R}^{N_{\mathrm{imu}} \times D}$以及上一层输出的查询特征$\boldsymbol{Q}_{m-1}^{n} \in \mathbb{R}^{N_{J} \times D}$，我们使用独立的线性投影层来生成键和值投影矩阵，同时保留共享的查询投影矩阵，具体形式如下：
$$ \tilde{K}=[F_{\mathrm{i m u}}W_{\mathrm{i m u}}^{K};\;F_{\mathrm{m v}}^{n}W_{\mathrm{i m a g e}}^{K}] $$
$$ \tilde{V}=[F_{\mathrm{i m u}}W_{\mathrm{i m u}}^{V};\;F_{\mathrm{m v}}^{n}W_{\mathrm{i m a g e}}^{V}] $$
$$ \tilde{Q}=Q_{m-1}^{n}W^{Q} $$
$$ Q_{m}^{n}=\mathrm{S o f t m a x}\left(\frac{\tilde{Q}\tilde{K}^{\top}}{\sqrt{D}}\right)\tilde{V} $$
其中$W_{\text{imu}}^K$、$W_{\text{image}}^K$、$W_{\text{imu}}^V$、$W_{\text{image}}^V$、$W^Q \in \mathbb{R}^{D \times D}$为可学习的投影矩阵，$Q_m^n$为更新后的查询特征。通过不同的键和值投影层来保留每种模态的独特特性，我们可以避免两种模态间的相互干扰，尤其是在粒度不匹配方面。同时，使用共享的查询投影矩阵能够实现模态间的协作。经过M层模态感知注意力处理后，我们就能得到多视角和多模态融合特征$Q_M^n$，这些特征将作为下一次迭代的查询特征。此外，我们还采用轻量级的MLP回归头，从$J_L^n$中预测关节位置$Q_M^n$。
## 全局坐标系下的姿态优化
在获得局部坐标系下的估计人体关节$\{J_L^t\}_{t=1}^T$后，我们首先借助HMD的SLAM系统提供的头部运动数据$\{\tilde{J}_G^t\}_{t=1}^T$，将其转换到全局坐标系下，得到$\{x_{\text{Head}}^t\}_{t=1}^T$。接着，我们提出了用于全局坐标系下姿态优化的时序Transformer网络（TTN）。这一设计旨在充分利用在全局坐标系下优化姿态的优势：首先，在全局坐标系中可以建立与地面对齐的稳定参考系，借此修正滑动或穿地等异常现象；其次，由于全局坐标系中重力方向已知，我们能够减少不稳定的姿态。具体而言，TTN由3层Transformer组成，每层的前馈维度为256，注意力头数为8。它能处理时间窗口为$T = 32$内的所有信息。最后，通过MLP网络输出全局坐标系下优化后的人体关节位置$\{J_G^t\}_{t=1}^T$。
## 损失函数
我们将总体损失函数$\mathcal{L}$定义为局部坐标系下的3D关节损失$\mathcal{L}_L^{3D}$、全局坐标系下的3D关节损失$\mathcal{L}_G^{3D}$以及穿地损失$\mathcal{L}_{ground}$的组合：
$$ \mathcal{L}=\lambda_{L}\mathcal{L}_{L}^{3D}+\lambda_{G}\mathcal{L}_{G}^{3D}+\lambda_{g r o u n d}\mathcal{L}_{g r o u n d} $$
其中$\lambda_L$、$\lambda_G$和$\lambda_{ground}$分别为各项损失的权重。$\mathcal{L}_L^{3D}$和$\mathcal{L}_G^{3D}$通过计算预测值与真实值之间的均方误差均值得到。穿地损失$\mathcal{L}_{ground}$的定义如下：
$$ \mathcal{L}_{\mathrm{g r o u n d}}=\frac{1}{T}\sum_{t=1}^{T}\left(\tanh(\min(0,h_{\min}^{t}))\right)^{2} $$
$$ h^{t}_{\min}=\min_{j\in\{1,\ldots,N_{J}\}}(y^{t}_{j}-y_{ground}) $$
其中 $y_{ground}$ 表示全局坐标系下地平面的高度，$y_j^t$ 表示第 t 帧时关节 j 的预测高度。$\mathcal{L}_{ground}$ 会对低于地平面的关节进行惩罚。
## 实验
实现细节。SAME 基于 PyTorch 实现，采用 AdamW 优化器（Loshchilov 和 Hutter，2017）进行训练，批量大小为 4。我们首先针对每种输入模态分别训练两个专用骨干网络。由于 GPU 资源有限，在训练完整模型时这两个预训练的骨干网络会被冻结，不过我们承认对整个模型进行端到端微调有望进一步提升性能。随后，我们以 $1 \times 10^{-3}$ 的初始学习率和 $3 \times 10^{-5}$ 的权重衰减系数训练完整模型，共训练 20 个周期。在 8 块 NVIDIA A100 GPU 上训练该模型大约需要 20 小时。详细的网络架构和参数详见补充材料。
数据集。我们所有的对比实验和消融研究均在公开的 EMHI（Fan 等人，2025）数据集上进行，该数据集是一个大规模多模态第一人称人体姿态估计基准，提供了由真实 VR 产品套件采集的第一人称视觉数据和惯性测量单元信号。该数据集包含 58 名受试者执行的 39 种动作所生成的 885 个序列，总计约 307 万个帧。我们遵循 EMHI 数据集的官方使用方法，将其划分为三部分：用于训练的部分占 70%，另外两部分即 Protocol1（16%）和 Protocol2（14%）用于测试。需要注意的是，Protocol1 包含与训练集相同的动作集，用于评估跨受试者泛化能力；而 Protocol2 包含训练集中未出现的动作，旨在评估模型在分布外动作上的泛化能力。
评价指标。与以往研究一致，我们共采用 7 个评价指标，可分为两类。第一类用于衡量人体姿态估计的准确性，包括平均关节位置误差（MPJPE）、经过普洛克鲁斯特斯对齐的 MPJPE（PA-MPJPE）、上半身 MPJPE（U-PE）、下半身 MPJPE（L-PE）、脚部 MPJPE（FootPE）以及手部 MPJPE（HandPE）。第二类用于衡量生成姿态的物理合理性。参照 Zheng 等人（2023）的方法，我们在该类指标中采用 Ground 指标。本文中所有指标均以毫米为单位报告。
## 对比分析
我们将我们的 SAME 方法与最新的单模态及多模态方法进行对比。对于单模态基线方法，我们
---
| Dataset | Methods | Input | PA-MPJPE $\downarrow$ | MPJPE $\downarrow$ | U-PE $\downarrow$ | L-PE $\downarrow$ | FootPE $\downarrow$ | HandPE $\downarrow$ | Ground $\downarrow$ |
| Protocol1 | HMD-Poser | IMU | 27.8 | 57.6 | 48.4 | 70.9 | 78.9 | 52.3 | 19.6 |
| UnrealEgo | Stereo | 38.6 | 55.2 | 39.9 | 77.3 | 100.2 | 85.2 | 22.1 |
| EgoPoseFormer | Stereo | 29.9 | 50.7 | 32.9 | 76.5 | 96.6 | 51.0 | 31.9 |
| FRAME | IMU+Stereo | 28.2 | 37.4 | 28.0 | 51.1 | 62.1 | 45.1 | 2.4 |
| MEPoser | IMU+Stereo | 23.8 | 36.9 | 27.1 | 51.0 | 63.5 | 45.0 | 23.7 |
| Ours | IMU+Stereo | 20.7 | 33.4 | 22.8 | 48.8 | 57.5 | 23.5 | 2.0 |
| Protocol2 | HMD-Poser | IMU | 33.5 | 70.5 | 51.8 | 97.5 | 112.6 | 57.1 | 25.7 |
| UnrealEgo | Stereo | 42.8 | 63.7 | 46.4 | 88.7 | 115.5 | 100.8 | 28.7 |
| EgoPoseFormer | Stereo | 32.7 | 62.6 | 42.0 | 92.3 | 118.1 | 66.8 | 41.8 |
| FRAME | IMU+Stereo | 44.3 | 60.5 | 55.8 | 67.4 | 78.6 | 75.5 | 6.0 |
| MEPoser | IMU+Stereo | 29.4 | 47.6 | 32.1 | 70.2 | 92.2 | 53.8 | 23.7 |
| Ours | IMU+Stereo | 21.6 | 38.0 | 25.5 | 56.1 | 66.9 | 25.4 | 4.7 |
Table 1: Comparison with state-of-the-art methods on the EMHI dataset. The best results are in bold.
Figure 4: Per joint error analysis in Protocol2.
考虑了使用来自头戴式显示器的三个 6DOF 参数和来自惯性测量单元的两个 3DOF 参数的 HMD-Poser（Dai 等人，2024），以及两种基于立体图像的第一人称人体姿态估计最先进方法：UnrealEgo（Akada 等人，2022）和 EgoPoseFormer（Yang 等人，2024）。对于多模态基线方法，我们选择了两种最新方法：FRAME（Boscolo Camiletto 等人，2025）以立体图像和头部 6D 姿态作为输入，以及与我们使用相同输入数据的 MEPoser（Fan 等人，2025）。为了确保与现有方法进行严谨对比，我们直接采用了 Fan 等人（2025）提供的 HMD-Poser、UnrealEgo 和 MEPoser 的评估结果。至于 EgoPoseFormer 和 FRAME，我们按照论文中描述的原始设置，在 EMHI 数据集上重新训练它们的模型。
表1给出了详细的定量结果，表明我们的方法在Protocol1和Protocol2中，所有评估指标均优于以往的单模态和多模态方法。尤其在Protocol2中，我们的方法以较大优势超越了所有现有方法，因为该协议中的动作与训练集不重叠。这证明了我们的方法不仅在姿态估计精度上表现优异，在应用于包含未见动作的真实VR和AR场景时，也具备更强的鲁棒性和泛化能力。为了进一步了解SAME如何实现如此卓越的精度，我们在图4中可视化了不同身体关节的位置误差改善情况。结果显示，在肘、手、膝、踝和脚等肢体部位，性能提升尤为显著。
| SA-MVF | MA-MMF | TTN | PA-MPJPE $\downarrow$ | MPJPE $\downarrow$ | Ground $\downarrow$ |
| ✗ | ✗ | ✗ | 23.9 | 42.5 | 25.8 |
| ✗ | ✓ | ✓ | 23.1 | 40.7 | 6.0 |
| ✓ | ✗ | ✓ | 22.5 | 38.8 | 5.9 |
| ✓ | ✓ | ✗ | 22.3 | 39.0 | 24.5 |
| ✓ | ✓ | ✓ | 21.6 | 38.0 | 4.7 |
Table 2: Ablation study for key components in our model.
| IMU | $I_{Left}$ | $I_{Right}$ | PA-MPJPE $\downarrow$ | MPJPE $\downarrow$ | Ground $\downarrow$ |
| ✓ | ✗ | ✗ | 32.1 | 52.1 | 6.4 |
| ✗ | ✓ | ✓ | 36.0 | 62.4 | 13.0 |
| ✓ | ✓ | ✗ | 25.3 | 41.0 | 6.2 |
| ✓ | ✓ | ✓ | 21.6 | 38.0 | 4.7 |
Table 3: Ablation study for the input modalities.
以手部为例，在Protocol1中，我们的方法将HandPE从45.0毫米降低至23.5毫米；在Protocol2中则从53.8毫米降至25.4毫米，在两组测试集中均实现了超过45%的改善。这些改进主要归功于我们的空间感知多视角融合模块和模态感知多模态融合模块，它们能有效将手和小腿的稀疏IMU观测数据与立体图像相结合，从而显著降低这些关节处的MPJPE值。
在图5中，我们展示了一些用于定性比较的可视化结果。显然，我们的模型能得出精确得多的结果。其中最显著的改善出现在肢体部位，这与图4和表1中的结果一致。
我们还在补充材料中提供了更多可视化结果和包括计算效率在内的定量结果。详情请参阅我们的补充材料。
## 消融研究
我们通过多种设置对方法进行了消融实验，以评估关键组件、输入模态等因素的影响。所有…
---
(a) (b) (c) (d) (e)
Figure 5: Qualitative comparison on a few challenging inputs. For better illustration, the predicted (red) and ground-truth (green) 3D poses are re-projected onto external reference views which are not used for pose estimation. Note that the input IMU data is not presented in this figure for simplicity. The qualitative results confirm that our SAME obtains more accurate 3D poses than existing single-modal and multi-modal methods. Best viewed in color.
## 所有消融研究均在Protocol2上进行
所提出的关键组件的影响。如前所述，我们的模型包含三个关键组件：用于编码空间信息的SAMVF、用于多模态融合的MA-MMF，以及用于全局框架下姿态优化的TTN。表2总结了我们的消融实验结果：分别移除每个模型组件以分离其贡献，同时移除所有组件以明确模型的整体价值。首先，当移除深度引导的3D PE模块、仅使用DSA网络进行多视角融合时（即无SA-MVF），MPJPE和PA-MPJPE指标均出现显著下降，这表明SA-MVF能够帮助模型将准确的空间信息编码到图像特征中，从而对HPE精度的提升作出重要贡献。其次，当用普通的Transformer解码器替换MA-MMF（即无MA-MMF）或移除TTN模块时，MPJPE和PA-MPJPE指标也会变差，说明MA-MMF和TTN能够进一步改善精度。
| $\mathcal{L}_{\text{ground}}$ | PA-MPJPE $\downarrow$ | MPJPE $\downarrow$ | Ground $\downarrow$ |
| ✗ | 22.4 | 38.5 | 8.1 |
| ✓ | 21.6 | 38.0 | 4.7 |
Table 4: Ablation study for the ground-penetration loss.
第三，TTN在降低Ground指标方面发挥了重要作用，这验证了全局框架下的时序姿态优化对提升物理合理性至关重要。最后，如预期般，移除所有组件的模型得到的结果最差。不过，其在MPJPE和PA-MPJPE指标上的表现仍优于MEPoser，这暗示MEPoser中简单的多模态融合方法在获取精确的自我中心HPE方面效果较差。
输入模态的影响。为了探究输入信号的有效性，表3报告了使用以下输入设置时的实验结果：(1) 仅使用IMU；(2) 立体图像；(3) IMU + 左摄像头视图；(4) IMU + 立体图像。注意，缺失的数据会被替换为零，以保持模型不变。从结果中可以得出以下结论：(1) IMU数据和立体图像在自中心人体姿态估计中均发挥着重要作用。(2) 仅使用IMU和左摄像头的模型性能甚至优于MEPoser，这验证了我们所提方法的优越性。(3) 我们的模型能够有效整合多模态数据中的互补信号，从而在自中心人体姿态估计中实现最先进的精度。
地面穿透损失的影响。表4展示了引入与不引入地面穿透损失时的对比结果。不出所料，在模型训练中加入地面穿透损失能够进一步提升精度和物理合理性。
关于模型大小和超参数选择影响的更多消融实验，请参阅我们的补充材料。
## 结论
我们提出了一种空间感知的多模态自中心人体姿态估计方法，该方法结合了立体图像和稀疏IMU的互补信号。为了实现多模态特征之间的几何与语义对齐，我们设计了基于深度的空间感知可变形立体注意力网络以及用于跨视角、跨模态特征融合的模态感知Transformer解码器。实验表明，在公开的EMHI数据集上，我们的方法相较于现有最先进方法取得了更优的结果。全面的消融研究证实了所提出各组件的有效性。
局限性。作为一种数据驱动的方法，我们的方法高度依赖大规模训练数据。要收集带有高质量真实标签的野外数据集确实十分困难。探索有效的半监督和无监督训练方法以实现对现实场景的泛化，将是未来研究的一个有趣方向。
---
## 致谢
本研究得到了深圳市科技计划项目（资助编号：KJZD20240903103210014）的支持。
## 参考文献
Akada, H.; Wang, J.; Golyanik, V.; and Theobalt, C. 2024. 基于自中心立体视频的3D人体姿态感知。载于IEEE/CVF计算机视觉与模式识别会议论文集，第767–776页。
Akada, H.; Wang, J.; Golyanik, V.; and Theobalt, C. 2025. 利用后置摄像头进行自中心3D人体姿态估计。arXiv预印本arXiv:2503.11652。
Akada, H.; Wang, J.; Shimada, S.; Takahashi, M.; Theobalt, C.; and Golyanik, V. 2022. Unrealego：一个用于鲁棒自中心3D人体动作捕捉的新数据集。载于欧洲计算机视觉会议论文集，第1–17页。Springer出版。
Boscolo Camiletto, A.; Wang, J.; Alvarado, E.; Dabral, R.; Beeler, T.; Habermann, M.; and Theobalt, C. 2025. FRAME：基于自中心视频的虚拟人运动地板对齐表示。arXiv预印本arXiv:2503.23094。
Camiletto, A. B.; Wang, J.; Alvarado, E.; Dabral, R.; Beeler, T.; Habermann, M.; and Theobalt, C. 2025. FRAME：基于自中心视频的虚拟人运动地板对齐表示。载于计算机视觉与模式识别会议论文集，第17497–17507页。
Carion, N.; Massa, F.; Synnaeve, G.; Usunier, N.; Kirillov, A.; 和 Zagoruyko, S. 2020. 基于Transformer的端到端物体检测。载于欧洲计算机视觉会议论文集，第213–229页。Springer出版社。
Dai, P.; Zhang, Y.; Liu, T.; Fan, Z.; Du, T.; Su, Z.; Zheng, X.; 和 Li, Z. 2024. HMD-Poser：基于可扩展稀疏观测数据的设备端实时人体运动追踪。载于IEEE/CVF计算机视觉与模式识别会议论文集，第874–884页。
Du, Y.; Kips, R.; Pumarola, A.; Starke, S.; Thabet, A.; 和 Sanakoyeu, A. 2023. 虚拟角色长出双腿：利用扩散模型从稀疏追踪输入生成平滑的人体运动。载于IEEE/CVF计算机视觉与模式识别会议论文集，第481–490页。
Fan, Z.; Dai, P.; Su, Z.; Gao, X.; Lv, Z.; Zhang, J.; Du, T.; Wang, G.; 和 Zhang, Y. 2025. Emhi：一个包含HMD和穿戴式IMU的多模态第一人称视角人体运动数据集。载于AAAI人工智能会议论文集，第39卷，第2879–2887页。
Grauman, K.; Westbury, A.; Byrne, E.; Chavis, Z.; Furnari, A.; Girdhar, R.; Hamburger, J.; Jiang, H.; Liu, M.; Liu, X. 等. 2022. Ego4D：基于3000小时第一人称视角视频的全球场景记录。载于IEEE/CVF计算机视觉与模式识别会议论文集，第18995–19012页。
He, K.; Zhang, X.; Ren, S.; 和 Sun, J. 2016. 用于图像识别的深度残差学习。载于IEEE计算机视觉与模式识别会议论文集，第770–778页。
Kang, T.; 和 Lee, Y. 2024. 用于第一人称视角热图到3D姿态还原的注意力传播网络。载于IEEE/CVF计算机视觉与模式识别会议论文集，第842–851页。
Lee, J.; Xu, W.; Richard, A.; Wei, S.-E.; Saito, S.; Bai, S.; Wang, T.-L.; Sung, M.; Kim, T.-K.; 和 Saragih, J. 2025. REWIND：基于示例身份条件约束的实时第一人称视角全身运动扩散模型。载于计算机视觉与模式识别会议论文集，第7095–7104页。
Li, J.; Liu, K.; 和 Wu, J. 2023. 通过头部姿态估计实现身体姿态估计。载于IEEE/CVF计算机视觉与模式识别会议论文集，第17142–17151页。
Liu, Y.; Yan, J.; Jia, F.; Li, S.; Gao, A.; Wang, T.; 和 Zhang, X. 2023. PETRv2：一种基于多摄像头图像的3D感知统一框架。载于IEEE/CVF国际计算机视觉会议论文集，第3262–3272页。
Loshchilov, I.; 和 Hutter, F. 2017. 解耦权重衰减正则化方法。arXiv预印本arXiv:1711.05101。
Lyu, Y.; Zheng, X.; Zhou, J.; 和 Wang, L. 2024. UniBind：由LLM增强的统一且平衡的表征空间，实现多模态数据融合。载于IEEE/CVF计算机视觉与模式识别会议论文集，第26752–26762页。
Pan, S.; Ma, Q.; Yi, X.; Hu, W.; Wang, X.; Zhou, X.; Li, J.; 和 Xu, F. 2023. 融合单目图像与稀疏IMU信号以实现实时人体运动捕捉。载于SIGGRAPH Asia 2023会议论文集，第1–11页。
Tome, D.; Alldieck, T.; Peluse, P.; Pons-Moll, G.; Agapito, L.; Badino, H.; 和 De la Torre, F. 2020. SelfPose：基于头戴式摄像头的3D第一人称视角姿态估计。IEEE模式分析与机器智能交易，第45卷第6期：6794–6806页。
Tome, D.; Peluse, P.; Agapito, L.; 和 Badino, H. 2019. xRegoPose：基于HMD摄像头的3D人体姿态估计。载于IEEE/CVF国际计算机视觉会议论文集，第7728–7738页。
熊K.、龚S.、叶X.、谭X.、万J.、丁E.、王J.和白X.，2023年。Cape：用于多视角3D物体检测的摄像头视角位置嵌入。载于IEEE/CVF计算机视觉与模式识别会议论文集，第21570–21579页。
徐W.、Chatterjee A.、Zollhoefer M.、Rhodin H.、Fua P.、Seidel H.-P.和Theobalt C.，2019年。Mo 2 cap 2：基于头戴式鱼眼摄像头的实时移动3D动作捕捉。IEEE可视化与计算机图形学汇刊，第25卷第5期：2093–2101页。
杨C.、Tkach A.、Hampali S.、张L.、Crowley E. J.和Keskin C.，2024年。EgoPoseFormer：一种用于立体中心视3D人体姿态估计的简单基准模型。载于欧洲计算机视觉会议论文集，第401–417页。Springer出版社。
叶Q.、徐H.、叶J.、严M.、胡A.、刘H.、钱Q.、张J.和黄F.，2024年。mplug-owl2：通过模态协作革新多模态大语言模型。载于IEEE/CVF计算机视觉与模式识别会议论文集，第13040–13051页。
易B.、叶V.、郑M.、李Y.、Müller L.、Pavlakos G.、马Y.、Malik J.和Kanazawa A.，2024年。在自我感知的世界中估计身体和手部运动。arXiv预印本arXiv:2410.03665。
---
易B.、叶V.、郑M.、李Y.、Müller L.、Pavlakos G.、马Y.、Malik J.和Kanazawa A.，2025年。在自我感知的世界中估计身体和手部运动。载于计算机视觉与模式识别会议论文集，第7072–7084页。
赵D.、魏Z.、Mahmud J.和Frahm J.-M.，2021年。Ego-glass：基于眼镜框架的中心视人体姿态估计。载于2021年3D视觉国际会议（3DV）论文集，第32–41页。IEEE出版社。
郑X.、苏Z.、温C.、薛Z.和金X.，2023年。通过关节级建模从稀疏观测中实现逼真的全身追踪。载于IEEE/CVF国际计算机视觉会议论文集，第14678–14688页。
朱X.、苏W.、卢L.、李B.、王X.和戴J.，2020年。Deformable DETR：用于端到端物体检测的可变形Transformer。arXiv预印本arXiv:2010.04159。