# 在自我感知世界中估计身体和手部运动
布伦特·易 $^{1}$ 维姬·叶 $^{1}$ 玛雅·郑 $^{1}$ 云琪·李 $^{2}$ 莉娅·米勒 $^{1}$
乔治奥斯·帕夫拉科斯 $^{3}$ 易·马 $^{1}$ 杰滕德拉·马利克 $^{1}$ 安久·金泽 $^{1}$
$^{1}$加州大学伯克利分校 $^{2}$上海科技大学 $^{3}$德克萨斯大学奥斯汀分校
图1. EgoAllo。我们提出了一种系统，该系统能够根据以自我为中心的SLAM位姿和图像来估计人体姿态、身高以及手部参数。输出结果能够捕捉佩戴者在场景的他心参照系中的动作，我们在此通过3D重建来可视化这些结果。
## 摘要
我们提出了EgoAllo系统，这是一种基于头戴式设备的人体运动估计系统。仅利用以自我为中心的SLAM位姿和图像，EgoAllo就能引导从条件扩散模型中采样，从而估计出3D人体姿态、身高以及手部参数，这些参数能够描述佩戴者在场景的他心坐标系中的动作。为实现这一目标，我们的核心见解在于表征方式：我们提出了用于提升模型性能的空间和时间不变性准则，并据此推导出头部运动条件化参数化方法，该方法可将估计精度提升高达18%。我们还展示了该系统估计出的身体数据如何改善手部估计效果：由此产生的运动学和时间约束能够将单帧估计的世界坐标系误差降低40%。
### 1. 引言
头戴式设备正日益普及。除了为3D场景理解带来新挑战外[^18] [^57] [^68] [^111]，这些设备上的以自我为中心传感器具有独特性——其输出结果与佩戴者在世界中的运动相互关联。利用这些传感器来了解佩戴者以及其周围的场景，对于增强现实、机器人技术和辅助技术领域的应用而言至关重要。
因此，我们推出了EgoAllo系统。该系统利用以自我为中心的输入数据来估算佩戴者及其在现实世界中的运动状态，也就是以他心为中心的坐标系。我们的输入数据包括通过SLAM技术获取的头部姿态度量信息，以及来自Project Aria等设备拍摄的以自我为中心的视频 [^61]。随后，系统会输出人体姿态、身高以及手部运动参数的估算结果。
这是一项极具挑战性的任务：虽然手部等身体部位偶尔会出现在以自我为中心的画面中，但大多数身体参数从未被直接观测到。估计得到的人体姿态、身高以及手部参数必须与感知到的自身运动及视觉观测结果保持一致。这一设定与以往大多数以自我为中心的人体运动估计研究有所不同[^7] [^48]，后者仅关注人体姿态，并未涉及身高和手部运动的挑战。
我们提出的系统采用以头部位姿为条件的扩散模型作为运动先验，同时利用Levenberg-Marquardt引导优化器来采样与图像观测结果相符的手部-身体序列。我们的研究成果得益于一个关键
---
见解：用于头部位姿条件化的表征方式对于精确的全身运动估计至关重要。我们通过以下方式研究了该表征的选择：(1) 确定现有系统无法满足的理想空间和时间不变性属性；(2) 利用这些属性为我们的运动先验推导出更优的参数化方法。
我们系统在四个数据集上进行了系统性评估。在身体估计方面，我们发现改进条件参数化能够使准确率提升4.9%到17.9%。此外，我们观察到所得到的系统还能改善手部估计效果，与世界坐标系下的误差相比，相较于单帧估计结果可降低40%以上。代码、模型以及更多实验结果可在我们的项目网页上查看。
### 2. 相关工作
基于外部视觉输入的3D人体恢复。大量研究致力于从第三人称视觉输入中估计人体模型的参数，例如SCAPE [^2] 或SMPL及其变体 [^52] [^63] [^79]，这类研究中人类受试者是从外部摄像头的视角被观测到的。这些研究大多专注于从单张图像中提取3D表征，比如将2D关键点观测结果映射到3D空间 [^58]，通过端到端回归方法实现 [^20] [^31] [^33] [^40] [^60] [^62] [^77]，通过优化算法完成 [^19] [^44] [^63]，或者利用回归与优化之间的协同作用 [^42]。当以视频形式提供多帧数据时，还可以融入时间上下文和跟踪信息 [^16] [^34] [^39] [^64] [^65] [^71] [^108]。这些系统的输入（图像）和输出（人体网格）与EgoAllo所处理的以自我为中心的场景类似，但自我中心设备存在独特挑战：待估计的人体通常位于用作输入的向外拍摄的摄像头背后。
人体运动先验。自我感知人体运动估计的主要挑战在于可观测性有限；因此需要借助先验来解决歧义问题。对于人体运动而言，这些先验通常被定义为对合理人体运动的无条件分布。这些分布既可以通过建模现实世界的物理约束来表示 [^6] [^50] [^67] [^73]，也可以直接从数据中学习人体运动的生成模型。在训练无条件先验时，传统的数据驱动方法包括将高斯混合模型拟合到3D关键点轨迹上 [^25]，而现代方法则包括训练变分自编码器 [^38] [^75] 来对自回归过渡过程 [^15] [^51] [^74] 或完整的时空序列进行建模 [^22]。训练完成后，这些先验可应用于迭代优化框架中的估计问题 [^41] [^74] [^102]。EgoAllo的构建理念与这些方法一致，但它借鉴了以往自我感知运动估计领域的研究成果，采用了特定任务的条件先验。
用于人体运动的去噪扩散模型。EgoAllo的核心是一个去噪扩散模型[^23] [^69] [^84]，借助该模型我们能够采样生成3D人体运动数据。虽然扩散模型主要因其在文本条件图像生成领域的卓越表现而为人所知[^78] [^80]，但它们也在基于文本[^35] [^36] [^112]、音乐[^1] [^93]、姿势[^35] [^48]以及物体几何形状[^43] [^47] [^49]等模态条件的人体运动合成方面取得了进展。EgoAllo采用了类似的条件扩散方法，重点研究用于自我感知人体运动估计的条件参数设计。去噪扩散的迭代特性还使得引导机制成为可能[^11] [^13] [^30] [^35] [^87] [^114]，即通过对去噪步骤进行引导来满足特定目标。我们利用这种引导机制，在测试阶段融入诸如手部姿势观测数据之类的信息。
基于自我中心观测的人体运动。EgoAllo的设计思路源自以往多项关于自我中心感知下人体运动估计的研究。许多研究采用鱼眼相机，将佩戴者的身体纳入视野范围[^27] [^76] [^91] [^91] [^92] [^95] [^96] [^98]。其他方法则依赖安装在身上的摄像头[^83]、基于模拟的物理合理性约束[^54] [^106] [^107]、安装在身体和手部的惯性传感器[^37] [^46] [^104] [^105]、手持控制器[^7] [^28] [^29]，以及来自其他人的交互线索[^59]。同期的相关研究还使用了Nymeria[^55]数据集来进行带有语言描述输出的自我中心运动建模[^24]，也将其用于结合场景几何信息与CLIP[^70]特征输入的在线场景建模[^21]。最相关的是，EgoEgo[^48]展示了无需依赖身体可观测性假设即可离线估计人体姿势的方法。研究者通过巧妙整合多个组件来实现这一点：单目SLAM系统[^89]、基于姿势条件的重力矢量回归网络、基于光流特征条件的头部朝向与尺度回归网络，以及基于头部姿势条件的身体扩散模型。EgoAllo在输入和输出两方面都与上述方法有所不同——我们研究的条件参数是根据Project Aria等设备提供的SLAM位姿计算得出的[^85]；在输出方面，我们考虑了身高差异和手部姿势因素。
针对自我感知姿态的条件化设置。以往的研究在头部姿态信息的参数化方式及其作为神经网络输入的使用上存在差异。AvatarPoser [^28]和BoDiffusion [^7]将头部姿态参数化为四个组成部分：世界坐标系下的朝向、朝向差值、世界坐标系下的位置以及位置差值。这些研究主要关注基于VR控制器输入的场景，并以相同方式对控制器姿态输入进行参数化。EgoEgo [^48]的扩散模型仅使用绝对的头部位置和朝向，但与HuMoR [^74]类似，其在实现过程中定义了每个序列的规范坐标系，以确保传入模型的所有输入轨迹都与相同的初始x-y位置和前进方向对齐。在我们的研究中，将其称为序列规范化。最后，EgoPoser [^29]提出了一种类似的方案，用于对齐头部姿态和控制器姿态输入的初始位置。我们提出了一种替代上述参数化方式的方案，其灵感来源于以往研究中发现的不变性所带来的鲁棒性和泛化能力优势。
---
Figure 2. Overview of components in EgoAllo. We restrict the diffusion model to local body parameters (Section 3.1.1). An invariant parameterization $g(\cdot)$ (Section 3.1.2) of SLAM poses is used to condition a diffusion model. These can be placed into the global coordinate frame via global alignment (Section 3.2.1) to input poses. When available, egocentric video is used for hand detection via HaMeR [^66], which can be incorporated into samples via guidance (Section 3.2.2).
表征 [^10] [^53] [^81] [^97] [^103] [^110] [^115]以及神经网络架构 [^8] [^9] [^12] [^14] [^32] [^45] [^90] [^100] [^101] [^109]。具体而言，我们在第3.1.2节中介绍了一种对空间和时间偏移均具有不变性的参数化方式。
### 3. 方法
我们研究了利用以自我为中心的设备上的传感器来估计佩戴者在以他者为中心的坐标系中的动作这一问题。我们假设地面是平坦的，且有两个输入：设备SLAM系统提供的姿态数据以及以自我为中心的视频。
我们的系统利用头部姿态信息来条件化基于扩散模型的身体姿态与身高先验，并在采样过程中融入视觉手部观测结果。这使得它能够同时受益于用于构建运动先验的3D人体运动捕捉数据集 [^56]，以及用于手部估计的大规模图像数据集 [^66]。
#### 3.1. 以自我为中心的条件化运动扩散
符号说明：我们用 $\mathbf{T}_{\mathrm{A,B}} = (\mathbf{R}_{\mathrm{A,B}}, \mathbf{p}_{\mathrm{A,B}})$ 表示从坐标系B到坐标系A的$\mathrm{SE}(3)$变换，它由旋转 $(\mathbf{R}_{\mathrm{A,B}})$ 和平移 $(\mathbf{p}_{\mathrm{A,B}})$ 项组成。时间步t用上标表示，扩散噪声步n用下标表示。因此，$\vec{x}_0^t$ 指的是干净$(n=0)$人体运动序列的第t个时间步。
给定一个包含T个时间步的观测窗口，EgoAllo的运动先验是一个扩散模型，旨在捕捉以头部姿态编码 $\vec{x}_0 = \{\vec{x}_0^1, ..., \vec{x}_0^T\}$ 为条件的人体运动分布 $\vec{c} = \{\vec{c}^1, ..., \vec{c}^T\}$。对于每个时间步t，我们以SMPL-H [^52] [^79]模型参数的形式表示人体运动 $\{\mathbf{T}_{\text{world,root}}^{t}, \Theta^t, \beta\}$：根变换 $\mathbf{T}_{\text{world,root}}^{t} \in \text{SE}(3)$（人的根坐标系位于其骨盆处）、局部关节旋转矩阵 $\Theta^t \in \mathbb{R}^{51 \times 3 \times 3}$，以及与时间无关的形状参数 $\beta \in \mathbb{R}^{16}$。
局部关节旋转、身体尺寸变化与全局运动之间的依赖关系，使得这一学习任务极具挑战性。我们的核心见解是：通过设计具有理想不变性的参数化方式，可以降低这种难度。空间和时间上的不变性能让模型专注于运动的本质结构，而不受位置或时间上的无关偏移影响。
##### 3.1.1. 扩散模型输出表示
在输出方面，我们采样身体和手部关节旋转、身体形状以及二元接触预测结果$\vec{x}_0^t = \{\Theta^t, \beta^t, \psi_j^{t=1...21}\}$；其中身体形状$\beta^t$被要求在所有时间步中保持一致，而$\psi_j^t$则是每个关节的接触指示符。值得注意的是，这些参数都是局部的——我们将在第3.2.1节讨论如何将这些输出映射到以自我为中心的坐标系中。
我们选择这套输出参数主要基于三个原因：(1) 身体形状编码了穿戴者的身高信息，这对于在场景的度量级几何结构中定位至关重要。以往的研究很少考虑这一点：除了[^29]之外，现有方法[^7] [^28] [^48]产生的输出均采用固定的“平均”人体形状。(2) 接触预测结果可用于计算足部滑动等常见问题的损失函数，相关内容将在第3.2.2节讨论。(3) 局部身体参数对全局坐标系具有不变性。正如我们接下来要讨论的，模型的条件化参数化也因此可以不受地面平面上任意变换的影响。
##### 3.1.2. 不变性条件化
我们的条件化表示旨在将原始的SLAM姿态（头部运动）映射为适合扩散模型学习的参数化形式。
原始输入。为了捕捉每个时间步的头部运动，我们以中心瞳孔帧（CPF）的姿态作为输入，像Project Aria这类设备的SLAM系统可以提供毫米级的精度[^85]。对于时间步1…T，我们…
---
通过函数g对这些姿态进行重新参数化，用于条件化：
$$ \mathbf{T}_{\mathrm{w o r l d,c p f}}^{t}=(\mathbf{R}_{\mathrm{w o r l d,c p f}}^{t},\mathbf{p}_{\mathrm{w o r l d,c p f}}^{t})\in\mathrm{S E}(3), $$
$$ \{\vec{c}^{\mathrm{1}},\ldots,\vec{c}^{T}\}=g(\{\mathbf{T}_{\mathrm{w o r l d},\mathrm{c p f}}^{\mathrm{1}},\ldots,\mathbf{T}_{\mathrm{w o r l d},\mathrm{c p f}}^{T}\}). $$
与以往基于SMPL人体模型“头部关节”附加的坐标系进行条件化的研究不同[^7] [^28] [^29] [^48]，CPF帧与此不同。该头部关节与设备姿态之间的偏移量取决于$\beta^{t}$所捕获的头部形状，因此在我们的实验设置中很难预先计算出来。
为了编码绝对高度信息，我们假设世界坐标系的+z轴朝上，地面位于z=0处。训练数据中直接提供了地面参数[^56]；测试时，我们也可以通过RANSAC从稀疏的SLAM点中提取这些参数（附录A.3.5）。
不变性目标。如第2节所述，以往研究中函数g的实现方式各不相同。为了了解不同选择对学习过程的影响，我们针对头部运动表示提出了两种不变性属性。每种属性都能减少表征冗余，从而简化学习问题。我们在附录A.1中提供了关于这些属性的更详细解释和可视化说明。
不变性1（空间层面）：地面平面上的全局变换不应影响一个人的局部运动。给定局限于XY平面的$\mathbf{T}_{xy} \in SE(3)$，函数g应满足$g(\{\mathbf{T}_{xy} \mathbf{T}_{world,cpf}^t\}_{t}) = g(\{\mathbf{T}_{world,cpf}^t\}_{t}) \forall \mathbf{T}_{xy}$。
不变性2（时间维度）：如果同一人体动作在时间上发生在不同时刻，提取出的头部运动表示应保持一致。这可表述为时间平移等变性。设$\vec{c}^t$如方程2中所定义。对于任意满足$\delta$的平移量$\{\vec{c}_{shift}^1,\ldots,\vec{c}_{shift}^T\}=g(\{\mathbf{T}_{world,cpf}^{1+\delta},\ldots,\mathbf{T}_{world,cpf}^{T+\delta}\})$，g在重叠的时间步上应满足$\vec{c}_{shift}^t=\vec{c}^{t+\delta}$。
现有研究中的参数化方法均无法同时满足这两种性质。EgoEgo提出的序列规范化方法[^48]实现了空间不变性（不变性1），但会在每个窗口的第一个时间步引入全局依赖性，从而违反了不变性2。[^7]和[^28]所使用的绝对姿态及姿态差值能满足不变性2，却无法满足不变性1。最后，[^29]所考虑的相对位置既不具备空间不变性，也不具备时间不变性。
不变性条件化：我们提出了一种g的公式，通过在每个时间步将头部运动相对于地面进行局部规范化，从而同时实现这两种不变性。我们基于每个时间t下CPF框架的相对运动来构建，该运动同时满足不变性1和2：
$$ \Delta\mathbf{T}_{\mathrm{cpf}}^{t-1,t}=(\mathbf{T}_{\mathrm{world,cpf}}^{t-1})^{-1}\mathbf{T}_{\mathrm{world,cpf}}^{t}. $$
重要的是，这种变换的平移分量位于局部坐标系中。这与世界坐标系下的位置差值[^7]、[^28]、[^29]不同，后者仍会违反不变性1。
Figure 3. Locally canonicalized coordinate frames. We compute our invariant conditioning parameterization (Equation 4) using transformations computed from three coordinate frames. Following [^85], the CPF has the z-axis forward. Following HuMoR [^74], the world and canonical z-axes point up. Canonical frames are computed by projecting the CPF frame origin to the ground plane, then aligning the canonical y-axis to the CPF forward direction. The axes are color-coded as x (red), y (green), and z (blue).
仅靠相对变换无法编码与场景或地面相关的信息：即便整个轨迹被上下翻转，也不会影响$\Delta T_{cpf}^{t-1,t}$。因此，我们提出通过CPF框架与地面之间的变换，将相对运动锚定在地面平面上；该变换是通过将CPF框架投影到地面来计算的，它能编码头部高度和方向信息。我们的完整表示形式如下：
$$ \overbrace{\left\{\Delta\mathbf{T}_{\mathrm{c p f}}^{t-1,t},\quad\left(\mathbf{T}_{\mathrm{w o r l d,c a n o n i c a l}}\right)^{-1}\mathbf{T}_{\mathrm{w o r l d,c p f}}^{t}\right\}}^{\mathrm{I n v a r i a n t~i m p l e m e n t a t i o n~o f~}g(\cdot)}. $$
我们在图3中展示了规范框架的示例，完整表示形式则见附录A.1。规范框架是通过将CPF原点投影到地面平面来定位的；给定标准基$\mathbf{e}_{\{x,y,z\}}$，我们计算得到：
$$ \mathbf{p}_{world,canonical}^{t}=\left[\begin{array}{l l l}{\mathbf{e}_{x}}&{\mathbf{e}_{y}}&{\overrightarrow{0}}\end{array}\right]^{\top}\mathbf{p}_{world,cpf}^{t}. $$
在方向方面，我们将规范框架的局部z轴与世界z轴平行对齐，其局部y轴指向CPF框架的“前方”$\vec{v}^t$。借助构造z轴旋转的$\mathbf{R}_z(\cdot):\mathbb{R}\to\mathrm{SO}(3)$以及再次作为标准基的$\mathbf{e}_{\{x,y,z\}}$，我们计算得出：
$$ \begin{array}{r}{\vec{v}^{t}=\mathbf{R}_{\mathrm{w o r l d,c p f}}^{t}\mathbf{e}_{z},}\end{array} $$
$$ \mathbf{R}_{world,canonical}^{t}=\mathbf{R}_{z}\bigl(-\arctan2\bigl(\mathbf{e}_{x}^{\top}\overrightarrow{v}^{t},\mathbf{e}_{y}^{\top}\overrightarrow{v}^{t}\bigr)\bigr). $$
这种规范框架的定义与以往的研究有显著区别。虽然EgoEgo[^48]和HuMoR[^74]使用了类似的规范框架，但它们仅为整个序列计算一个规范框架。而相比之下，
---
我们会在每个时间步计算方程5和7。这样既能实现地面平面的锚定，又不会牺牲不变性2。
与以往研究的关联：EgoAllo的不变性条件化与EgoPoser[^29]提出的空间和时间归一化方法存在相似之处。（1）EgoPoser的时间归一化是通过减去第一个时间步的位置来实现的，这是EgoEgo[^48]序列规范化方法的仅涉及位置的版本。它未考虑旋转因素，因此只能部分满足不变性1。与EgoEgo类似，它也无法满足不变性2。我们在附录A.2.3中发现，当该方法应用于EgoAllo的问题场景时，产生的影响较小。（2）EgoPoser的空间归一化是从手部姿态输入中减去头部的XY位置。由于EgoAllo并未将手部姿态作为网络输入，因此该方法在我们的场景中并不适用。
#### 3.2. 基于采样的估计
$$ p_{\theta}(\vec{x}_{n-1}|\vec{x}_{n},\vec{c})=\mathcal{N}(\mu_{\theta}(\vec{x}_{n},n,\vec{c}),\sigma_{n}^{2}\mathbf{I}), $$
我们利用局部人体表征和不变性约束策略来训练运动先验，该先验采用去噪扩散模型的形式 [^23]。给定扩散步数 $n = N \ldots 1$，我们遵循 [^72] 的思路，将去噪过程近似为：
其中，一个Transformer [^94] $\mu_{\theta}$ 被训练用来根据含噪样本 $\vec{x}_{n}$ 和约束条件 $\vec{c}$ 预测后验均值。借助依赖噪声的权重项 $w_{n}$，损失函数可表示为：
$$ \min_{\theta}\ \mathbb{E}_{\vec{x}_{0}}\mathbb{E}_{n\sim\mathcal{U}}\left[w_{n}\|\mu_{\theta}(\vec{x}_{n},n,\vec{c})-\vec{x}_{0}\|^{2}\right]. $$
训练完成后，我们通过遵循DDIM算法 [^86] 来进行采样以估计人体运动。最终的EgoAllo采样流程包含几个额外组件：全局对齐阶段、用于满足物理约束和视觉手部观测的引导损失，以及针对较长序列长度的路径融合 [^3] 方法。我们将在下方详细介绍这些内容。
##### 3.2.1. 全局对齐
$$ \mathbf{T}_{\mathrm{w o r l d,r o o t}}^{t}=\mathbf{T}_{\mathrm{w o r l d,c p f}}^{t}\mathbf{T}_{\mathrm{c p f,r o o t}}^{(\Theta^{t},\beta^{t})}, $$
为了将采样得到的人体置于以自我为中心的坐标系中，我们计算SMPL-H根节点的绝对姿态：
其中，$\mathbf{T}_{cpf,root}^{(\Theta^{t},\beta^{t})}$ 用于计算人体根部与CPF坐标系之间的变换关系，该变换基于一组特定的局部姿态和形状参数。类似的处理流程也应用于 [^7]、[^28]、[^29]。与扩散模型直接输出绝对身体变换结果的方式不同 [^48]，这种方法能够确保估算结果与输入的SLAM序列精确对齐。
##### 3.2.2. 引导损失
我们的扩散模型学习的是以中央瞳孔帧运动为条件的人体运动分布。在测试阶段，我们通过引导机制 [^11] [^30] [^114] 引入物理先验和视觉手部观测带来的约束。与 [^35] [^47] 中的做法类似，我们通过对 $\Theta = \{\Theta^1, ..., \Theta^T\}$ 预测的关节旋转量 $\mu_\theta(\vec{x}_n, n, \vec{c})$ 施加代价来实现这一点。我们将人体形状 $\beta^t$ 和接触状态 $\psi_{j=1...21}^t$ 视为固定值，通过Levenberg-Marquardt优化器对人体和手指姿态进行优化，以最小化手部观测误差、滑动误差以及先验代价：
$$ \begin{array}{r}{\mathcal{E}_{\mathrm{g u i d a n c e}}^{(\Theta)}=\mathcal{E}_{\mathrm{h a n d s}}^{(\Theta)}+\mathcal{E}_{\mathrm{s k a t e}}^{(\Theta)}+\mathcal{E}_{\mathrm{p r i o r}}^{(\Theta)}.}\end{array} $$
我们首先在每个时间步t对应的以自我为中心的图像上运行HaMeR。一旦检测到手部，就会生成MANO [^79] 关节参数形式的3D手部估计结果，以及以相机为中心的3D手部关键点 $\hat{\mathbf{p}}_{camera_j}^t$（对应手部关节集 $j \in \mathcal{H}$）。可选地，也可以利用Project Aria的机器感知服务 [^85] 来估计手腕和手掌的姿态。用带下标的 $\lambda$ 表示标量权重项，我们有：
$$ \begin{array}{r}{\mathcal{E}_{\mathrm{h a n d s}}^{(\Theta)}=\lambda_{\mathrm{h a n d s3D}}\mathcal{E}_{\mathrm{h a n d s3D}}^{(\Theta)}+\lambda_{\mathrm{r e p r o j}}\mathcal{E}_{\mathrm{r e p r o j}}^{(\Theta)}.}\end{array} $$
3D目标函数 $\mathcal{E}_{\text{hands3D}}^{(\Theta)}$ 旨在最小化检测到的手部参数与对应的SMPL-H手部参数之间的差异，具体体现在手腕姿态和局部关节旋转上。其中，$\Pi_K$ 表示利用相机内参K进行的投影，$\mathbf{p}_{world,j}^{(\Theta^t)} \in \mathbb{R}^3$ 是时间t下关节j的世界坐标，$\mathbf{T}_{\text{camera,cpf}}$ 来自设备校准数据，重投影代价可表示为：
$$ \mathcal{E}_{\mathrm{r e p r o j}}^{(\Theta)}=\sum_{t,j\in\mathcal{H}}||\Pi_{K}(\mathbf{p}_{\mathrm{c a m e r a},j}^{(\Theta^{t})})-\Pi_{K}(\hat{\mathbf{p}}_{\mathrm{c a m e r a},j}^{t})||_{2}^{2}, $$
$$ \mathbf{p}_{\mathrm{c a m e r a},j}^{(\Theta^{t})}=\mathbf{T}_{\mathrm{c a m e r a},\mathrm{c p f}}(\mathbf{T}_{\mathrm{w o r l d},\mathrm{c p f}}^{t})^{-1}\mathbf{p}_{\mathrm{w o r l d},j}^{(\Theta^{t})}. $$
为了减少脚部滑动现象，我们利用接触预测结果为每个时间步t和关节j施加滑动代价 [^74] [^102]：
$$ \begin{array}{r l}&{\mathcal{E}_{\mathrm{s k a t e}}^{(\Theta)}{=}\displaystyle\sum_{t,j}\lambda_{\mathrm{s k a t e}}||\frac{1}{2}(\psi_{j}^{t}{+}\psi_{j}^{t{-}1})(\mathbf{p}_{w o r l d,j}^{t}{-}\mathbf{p}_{w o r l d,j}^{t{-}1})||_{2}^{2}.}\end{array} $$
最后，我们最小化一个先验成本$\mathcal{E}_{prior}^{(\Theta)}$。该成本会惩罚关节旋转$\Theta^{t}$与去噪器$\hat{\Theta}^{t}$生成的旋转$\mu_{\theta}(\vec{x}_{n}, n, \vec{c})$之间的偏差，同时也会鼓励平滑性。我们在附录A.3.4中详细列出了用于此目的的各项术语。
##### 3.2.3. 序列长度外推
对于测试时的较长序列，我们借鉴了图像[^3] [^113]和人类动作[^4] [^82]扩散模型中已有的组合生成方法。我们使用长度不超过128的子序列来训练我们的动作先验模型；当测试时输入观测序列的长度超过这一数值时，我们会将其分割成多个窗口，相邻窗口之间会有32个时间步的重叠。随后我们并行地在各窗口上运行模型$\mu_{\theta}(\vec{x}_{n},\vec{c},n)$。在每个去噪步骤之后，重叠区域的扩散路径会按照MultiDiffusion[^3]的方法进行融合。
### 4. 实验
我们进行了一系列实验，以评估EgoAllo的条件化参数化方式、身体估计精度以及手部估计性能。
---
| Conditioning | Seqlen | Invariance 1 / 2 | MPJPE $\downarrow$ | % Diff | PA-MPJPE $\downarrow$ | % Diff | GND $\uparrow$ |
| EgoAllo (Eq. 4) | 32 | ☑ | / | 129.8 $\pm$1.1 | — | 109.8 $\pm$1.1 | — | 0.98 $\pm$0.00 |
| Absolute+Local Relative | 32 | P | / | 133.0 $\pm$1.1 | 2.4% | 113.6 $\pm$1.2 | 3.4% | 0.95 $\pm$0.00 |
| Absolute+Global Deltas [^7] [^28] | 32 | ☒ | / | 136.2 $\pm$1.1 | 4.9% | 118.3 $\pm$1.2 | 7.7% | 0.93 $\pm$0.01 |
| Sequence Canonicalization [^48] | 32 | ☑ | / | 153.1 $\pm$1.5 | 17.9% | 128.7 $\pm$1.5 | 17.1% | 0.76 $\pm$0.01 |
| Absolute | 32 | ☒ | / | 159.9 $\pm$1.2 | 23.2% | 141.0 $\pm$1.3 | 28.4% | 0.89 $\pm$0.01 |
| EgoAllo (Eq. 4) | 128 | ☑ | / | 119.7 $\pm$1.3 | — | 101.1 $\pm$1.3 | — | 1.00 $\pm$0.00 |
| Absolute+Local Relative | 128 | P | / | 124.5 $\pm$1.3 | 4.0% | 104.9 $\pm$1.4 | 3.8% | 1.00 $\pm$0.00 |
| Absolute+Global Deltas [^7] [^28] | 128 | ☒ | / | 127.4 $\pm$1.3 | 6.4% | 109.8 $\pm$1.4 | 8.6% | 0.99 $\pm$0.00 |
| Sequence Canonicalization [^48] | 128 | ☑ | / | 134.0 $\pm$1.8 | 11.9% | 112.1 $\pm$1.6 | 10.9% | 0.88 $\pm$0.02 |
| Absolute | 128 | ☒ | / | 148.3 $\pm$1.5 | 23.9% | 131.2 $\pm$1.6 | 29.8% | 0.96 $\pm$0.01 |
Table 1. Motion prior conditioning comparison. We train and evaluate otherwise identical models using four conditioning parameterizations on AMASS [^56] test set sequences, using sequences of length 32 and 128. Parameterizations vary in their spatial (1) and temporal (2) invariance properties, which we loosely classify as following completely (✓), partially (P), or not at all (X). The conditioning parameterization used by EgoAllo reduces errors by almost 18% compared to the sequence canonicalization approach used by the most relevant related work [^48].
训练。为了训练实验中使用的EgoAllo模型，我们需要包含人体和手部姿态参数、身体形状以及设备SLAM姿态$T_{world,cpf}$的序列。与以往的研究[^7] [^28] [^48]类似，我们使用带有合成设备姿态的AMASS数据集[^56]来训练EgoAllo。我们通过将混合蒙皮网格中左右瞳孔对应的顶点之间的中心瞳孔帧作为锚点来标注训练集序列，训练时采用的序列长度在32到128之间。
评估。我们使用四个数据集进行评估。我们采用AMASS[^56]、RICH[^26]和Aria Digital Twins（ADT）[^61]来评估身体估计性能，采用EgoExo4D[^17]来评估手部估计性能。AMASS和RICH不包含以自我为中心的数据；我们采用与训练时相同的方法为这些数据标注合成设备姿态。ADT和EgoExo4D都包含使用Project Aria眼镜拍摄的以自我为中心的图像和SLAM姿态[^85]，我们直接利用这些数据。
指标。为了量化性能，我们报告四项指标：(1) MPJPE是世界坐标系下的平均关节位置误差（毫米）。(2) PA-MPJPE是经过Procrustes对齐后的平均关节位置误差（毫米），计算误差前会先按时间步对关节位置进行对齐。(3) GND是一种接地指标，旨在应对“自我感知的人类会漂浮在地面之上”这一现象。给定人体轨迹后，该指标会用一个简单的二进制指示符来表示人的脚部是否曾接触地面平面。(4) Thead是SMPL头部关节位置的平均误差（毫米）。
#### 4.1. 身体估计
在第一组实验中，我们仅基于设备SLAM姿态来评估身体估计效果，不考虑图像或手部信息。这种设置使我们能够分离出我们的身体运动先验的优势，同时直接与不考虑手部的方法进行对比。
##### 4.1.1. 不变条件化评估
我们首先评估第3.1.2节中讨论的空间和时间不变性准则的重要性。我们通过比较五种条件化函数g的实现来完成这一评估：(1) EgoAllo是我们在第4节中提出的最终不变表示。(2) Absolute+Local Relative将绝对姿态与公式3中定义的相对姿态差值合并。(3) Absolute+Global Deltas将绝对姿态与相对方向以及世界坐标系下的位置差值合并，这些数据由[^7]和[^28]提供。(4) Sequence Canonicalization采用[^48]实现的对齐方法，该方法违反了时间不变性。(5) Absolute简单地以绝对姿态作为条件，这违反了空间不变性。
我们使用每种参数化方式训练结构相同的条件扩散模型，随后在AMASS [^56]测试集上进行评估。表1中报告了各项指标以及与EgoAllo相比的百分比差异。
总体而言，我们发现条件化参数化的选择对估计精度有显著影响。随着不变性属性被纳入表示形式，我们观察到精度的持续提升。与EgoAllo相比，Absolute条件化方式使得短序列（长度32）和长序列（长度128）的MPJPE均增加了23%以上。与EgoAllo相比，SeqCanonical条件化方式使得长度32序列的MPJPE增加近18%，长度128序列则增加12%。
##### 4.1.2. 与基线模型的比较
为了进一步研究EgoAllo的身体估计质量，我们将其与三种基线模型进行比较。(1) NoShape。NoShape是EgoAllo的一种变体，它关闭了形状估计功能，因此无法估计穿戴者的身高。(2) EgoEgo。我们还将其与EgoEgo中的人体运动扩散模型[^48]进行比较。该模型与EgoAllo类似，但仅考虑SMPL“平均”身体形状，并使用序列规范化坐标作为条件及模型输出。(3) VAE+Opt。
---
| AMASS [^56] |
| Method | Seq | MPJPE $\downarrow$ | PA-MPJPE $\downarrow$ | GND $\uparrow$ | $T_{head}$ $\downarrow$ |
| EgoAllo | 32 | 129.8 $\pm$1.1 | 109.8 $\pm$1.1 | 0.98 $\pm$0.00 | 6.4 $\pm$0.1 |
| NoShape | 32 | 138.1 $\pm$1.1 | 118.8 $\pm$1.1 | 0.94 $\pm$0.01 | 44.7 $\pm$0.4 |
| EgoEgo | 32 | 184.0 $\pm$1.5 | 158.6 $\pm$1.6 | 0.81 $\pm$0.01 | 45.2 $\pm$1.0 |
| VAE+Opt | 32 | 199.5 $\pm$1.3 | 191.4 $\pm$1.4 | 0.49 $\pm$0.01 | 78.0 $\pm$1.5 |
| EgoAllo | 128 | 119.7 $\pm$1.3 | 101.1 $\pm$1.3 | 1.0 $\pm$0.00 | 6.2 $\pm$0.1 |
| NoShape | 128 | 128.1 $\pm$1.3 | 110.3 $\pm$1.4 | 0.98 $\pm$0.01 | 44.6 $\pm$0.7 |
| EgoEgo | 128 | 167.4 $\pm$2.1 | 145.8 $\pm$2.0 | 0.92 $\pm$0.01 | 54.9 $\pm$1.9 |
| VAE+Opt | 128 | 205.3 $\pm$2.6 | 192.3 $\pm$2.8 | 0.75 $\pm$0.02 | 67.8 $\pm$3.1 |
| RICH [^26] |
| Method | Seq | MPJPE $\downarrow$ | PA-MPJPE $\downarrow$ | GND $\uparrow$ | $T_{head}$ $\downarrow$ |
| EgoAllo | 32 | 193.7 $\pm$3.4 | 174.8 $\pm$3.6 | 0.95 $\pm$0.01 | 8.8 $\pm$0.2 |
| NoShape | 32 | 200.9 $\pm$3.3 | 183.3 $\pm$3.6 | 0.73 $\pm$0.02 | 44.9 $\pm$0.9 |
| EgoEgo | 32 | 215.4 $\pm$3.9 | 192.9 $\pm$4.0 | 0.73 $\pm$0.02 | 56.2 $\pm$2.9 |
| VAE+Opt | 32 | 352.0 $\pm$6.7 | 354.8 $\pm$6.5 | 0.59 $\pm$0.02 | 319.3 $\pm$11.6 |
| EgoAllo | 128 | 176.2 $\pm$5.6 | 160.1 $\pm$5.9 | 0.96 $\pm$0.02 | 8.9 $\pm$0.3 |
| NoShape | 128 | 185.7 $\pm$5.5 | 169.9 $\pm$5.8 | 0.82 $\pm$0.03 | 45.8 $\pm$1.6 |
| EgoEgo | 128 | 207.8 $\pm$6.9 | 187.8 $\pm$6.8 | 0.88 $\pm$0.03 | 66.5 $\pm$5.4 |
| VAE+Opt | 128 | 319.8 $\pm$10.1 | 323.8 $\pm$10.5 | 0.75 $\pm$0.04 | 274.4 $\pm$17.6 |
| Aria Digital Twins [^61] |
| Method | Seq | MPJPE $\downarrow$ | PA-MPJPE $\downarrow$ | GND $\uparrow$ | ' |
| EgoAllo | 32 | 173.5 $\pm$1.1 | 146.1 $\pm$1.1 | 0.88 $\pm$0.01 | - |
| NoShape | 32 | 178.5 $\pm$1.1 | 153.0 $\pm$1.1 | 0.89 $\pm$0.01 | - |
| EgoEgo | 32 | 212.5 $\pm$1.4 | 181.3 $\pm$1.6 | 0.64 $\pm$0.01 | - |
| VAE+Opt | 32 | 284.9 $\pm$1.6 | 283.9 $\pm$1.9 | 0.63 $\pm$0.01 | - |
| EgoAllo | 128 | 155.1 $\pm$1.6 | 129.3 $\pm$1.6 | 0.94 $\pm$0.01 | - |
| NoShape | 128 | 163.7 $\pm$1.6 | 140.0 $\pm$1.6 | 0.96 $\pm$0.01 | - |
| EgoEgo | 128 | 182.6 $\pm$2.3 | 153.9 $\pm$2.6 | 0.73 $\pm$0.02 | - |
| VAE+Opt | 128 | 290.8 $\pm$3.8 | 282.5 $\pm$4.4 | 0.7 $\pm$0.02 | - |
Table 2. Body estimation performance, compared against a baseline without shape prediction, EgoEgo [^48], and VAE+Opt [^74] [^102]. We exclude the $T_{head}$ metric for ADT because the Biomech57 head joints used by ADT are not directly comparable to the SMPL-H head joints used by our model.
最后，我们将其基于SLAHMR [^102]框架的方法进行比较，该方法用于从外摄视频中估计人体运动。SLAHMR的一个主要优势在于它在优化框架中使用了无条件运动先验[^74]。因此，它无需重新训练即可适应新场景——我们保留了原始流程中的身体姿态和形状变量，但将外摄关键点[^71]代价函数替换为以自我为中心的CPF姿态对齐代价函数。
由于问题表述上的差异，许多现有的以自我为中心的人体运动估计方法难以直接比较。当它们的输入不同时，这种情况尤为明显，例如鱼眼相机[^91]、[^95]、[^96]、腕部佩戴传感器[^46]或手持控制器姿态[^7]、[^28]、[^29]。此外，像EgoEgo [^48]这样的先前工作并未将视觉输入用于手部估计。为保证公平性，本节中所有方法均仅以CPF或头部姿态作为输入。
EgoAllo改善了身体运动估计效果。我们在此报告相关指标。
(a) Ground-truth
(b) EgoAllo
(d) VAE+Opt
Figure 4. Egocentric human motion estimation for a running sequence. We show the ground-truth, an output from EgoAllo, and outputs from two baselines. The glasses CAD model is placed at the conditioning transformation $T_{world,cpf}$.
在表2中列出了相关数据，图4展示了示例输出结果。我们发现，EgoAllo在所有数据集上都能显著提升估计精度，对于较短和较长的评估序列而言，其精度比EgoEgo高出20~30%。我们发现形状估计对于生成基于度量尺度、与场景对齐的人体运动估计至关重要：头部需与输入的SLAM位姿对齐，脚部则需置于所观测到的地面平面上。这一点从定性结果、改进的对齐指标，以及EgoAllo与无形状约束模型之间6~7%的MPJPE差距中均可看出。
VAE优化收敛效果较差。基于优化的估计方法在关键点成本有限的情况下效果显著[^74] [^102]，但我们发现在约束较少的场景中难以实现收敛。从表2中可看出其泛化能力较弱：VAE+Opt在AMASS测试集上的表现具有竞争力，但在RICH或ADT数据集上评估时性能会急剧下降。图4中VAE+Opt的输出结果也过于平滑，缺乏EgoAllo或EgoEgo预测结果所具有的表现力[^48]。这凸显了在此类估计问题中采用条件扩散模型的优势。
形状估计评估。为了更深入地了解EgoAllo的形状估计特性，我们将其与EgoEgo使用的“平均”形状和无形状约束模型进行了对比。在AMASS测试集上我们发现：EgoAllo略微改善了整体形状（平均顶点间误差从19毫米降至18毫米），且身高估计精度大幅提升（平均身高误差从52毫米降至32毫米），但在体重估计方面无法泛化（平均体重误差从5公斤增至8公斤）。人体形状是根据佩戴者的头部姿态推断得出的，这种方式虽然能提供较强的身高约束，但与体重的相关性较低。准确的身高数据对于正确的场景定位至关重要，这一点从MPJPE和GND指标中便可看出。
---
#### 4.2. 手部估计
为了评估EgoAllo的手部估计效果，我们在标注有3D手部姿态关键点的EgoExo4D [^17]验证集片段上运行HaMeR。我们在表3中对四种手部估计方法进行了定量比较。在方法（1）HaMeR [^66]中，我们直接对未失真的 Egocentric RGB图像应用HaMeR模型，无需输入边界框；我们遵循HaMeR的演示代码，使用ViTPose [^99]来计算裁剪区域。（2）EgoAllo-NoReproj使用了除重投影损失（公式14）之外的所有损失项，手部引导直接采用HaMeR预测的3D手腕姿态。（3）EgoAllo-Mono与EgoAllo-NoReproj类似，但手部引导采用重投影损失，以此解决单帧HaMeR估计中固有的尺度歧义问题。最后，我们展示了该方法的扩展版本：（4）EgoAllo-Wrist3D在EgoAllo-Mono的基础上加入了来自Project Aria机器感知服务的3D手腕姿态损失[^85]——与假设输入为单目图像的HaMeR不同，这是一种独立的传感方案，还利用了Project Aria独有的双SLAM摄像头。为了确保不同设置下的公平性，我们仅在HaMeR能给出估计结果的时间步上计算相关指标。
结果如表3所示。虽然HaMeR的局部姿态（PA-MPJPE）略好一些，但EgoAllo的手部-身体估计在将手部映射到世界坐标系时的表现有显著提升。与HaMeR相比，EgoAllo-Mono将MPJPE从237.90毫米降低到了131.45毫米。基于重投影的引导机制至关重要：即便使用相同的输入数据，EgoAllo-NoReproj的输出在MPJPE和PA-MPJPE两项指标上均不如EgoAllo-Mono。最后，通过整合Project Aria设备上额外摄像头提供的更精确的手腕姿态估计，误差进一步从131.45毫米降至60.08毫米。这一结果既凸显了EgoAllo的改进空间，也说明了基于引导机制的EgoAllo框架在接入更多传感器时能轻松扩展。
从定性分析结果来看，我们发现使用HaMeR进行单目估计时出现的高手部估计误差，是由检测失败和单目估计的不确定性共同导致的。即便检测成功，单目HaMeR估计出的手部尺度与距离往往也不准确，甚至会在不同帧之间出现闪烁现象。EgoAllo通过引入运动学约束以及基于扩散模型的合理人体运动先验来改善这一问题——图5展示了HaMeR估计结果和EgoAllo输出结果的对比示例。
### 5. 讨论
局限性与未来工作。尽管EgoAllo的核心思路具有通用性，但我们当前系统的实现仍存在若干局限，这些也是我们未来希望探索的方向。首先，扩散模型引导机制属于测试时的优化过程，它依赖于超参数且会带来运行时间成本。未来或许可以利用模型的输出作为训练数据，来训练一个无需该步骤的前馈模型。此外，手部引导的成功仍依赖于合理的单目手部估计结果。
Figure 5. Body estimation improves hand estimation. We show raw outputs from HaMeR [^66] in blue and hand-body estimations from EgoAllo in purple. Top: improved scene interaction during touchscreen operation with EgoAllo-Mono. We know a priori that the fingers are contacting the screen in this sequence. Bottom: qualitative examples from EgoExo [^17] evaluation, showing the differences between monocular hands and EgoAllo-Wrist3D estimates.
| Method | MPJPE $\downarrow$ | PA-MPJPE $\downarrow$ |
| HaMeR | 237.90 $\pm$1.89 | 13.04 $\pm$1.89 |
| EgoAllo-NoReproj | 143.20 $\pm$0.42 | 14.75 $\pm$0.42 |
| EgoAllo-Mono | 131.45 $\pm$0.39 | 14.71 $\pm$0.39 |
| EgoAllo-Wrist3D | 60.08 $\pm$0.26 | 14.38 $\pm$0.26 |
Table 3. Hand estimation errors in millimeters. EgoAllo's hand-body estimation can constrain and resolve ambiguities in noisy outputs from HaMeR, which we observe can reduce MPJPE for hands by over 40%. EgoAllo-Wrist3D incorporates 3D wrist poses provided from the grayscales cameras on Project Aria.
若出现左右手颠倒或虚假检测等错误，就可能导致估计失败。最后，我们的模型假设地面是平坦的。这一假设部分是因为训练数据[^56]中仅包含平面信息，没有详细的场景几何结构。因此，在山坡或楼梯等场景下，我们的方法将无法正常工作。未来我们希望将研究成果拓展到包含更详细场景信息的数据上，现有研究已经证明这类信息对人体姿态估计具有重要参考价值[^21]。
结论。我们提出了EgoAllo系统，该系统可利用头戴式设备估计人体运动。EgoAllo仅凭借以自我为中心的SLAM姿态和图像，就能同时估计人体姿态、身高以及手部参数。研究结果凸显了针对此类问题，空间和时间不变性在条件设定中的重要性，同时也证明了利用估计出的人体信息能够改善手部估计效果。
---
致谢。本项目部分资金由NSF:CNS-2235013和IARPA DOI/IBC编号140D0423C0035提供。JM的研究得到了ONR MURI N00014-21-1-2801的支持。YM得到了Simons基金会与NSF联合资助的DMS项目#2031899、ONR项目N00014-22-1-2102、NSF项目#2402951，以及TBSI、InnoHK和香港大学的部分支持。BY的研究得到了美国国家科学基金会研究生研究奖学金计划DGE 2146752号项目的支持。作者还要感谢Hongsuk Choi、Michael Taylor、Tyler Bonnen、Songwei Ge、Chung Min Kim和Justin Kerr在技术讨论与建议方面提供的宝贵意见，也要感谢Jiaman Li对EgoEgo相关问题的解答。
## 参考文献
[^1]: Simon Alexanderson, Rajmund Nagy, Jonas Beskow, and Gustav Eje Henter. Listen, denoise, action! audio-driven motion synthesis with diffusion models. ACM Transactions on Graphics (TOG), 42(4):1–20, 2023. 2
[^2]: Dragomir Anguelov, Praveen Srinivasan, Daphne Koller, Sebastian Thrun, Jim Rodgers, and James Davis. Scape: shape completion and animation of people. In ACM SIGGRAPH 2005 Papers, pages 408–416. ACM New York, NY, USA, 2005. 2
[^3]: Omer Bar-Tal, Lior Yariv, Yaron Lipman, and Tali Dekel. Multidiffusion: Fusing diffusion paths for controlled image generation. arXiv preprint arXiv:2302.08113, 2023. 5, 1
[^4]: German Barquero, Sergio Escalera, and Cristina Palmero. Seamless human motion composition with blended positional encodings. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 457–469, 2024. 5
[^5]: James Bradbury, Roy Frostig, Peter Hawkins, Matthew James Johnson, Chris Leary, Dougal Maclaurin, George Necula, Adam Paszke, Jake VanderPlas, Skye Wanderman-Milne, and Qiao Zhang. JAX: composable transformations of Python+NumPy programs, 2018. 3
[^6]: Marcus A Brubaker, David J Fleet, and Aaron Hertzmann. Physics-based person tracking using the anthropomorphic walker. International journal of computer vision, 87(1-2):140–155, 2010. 2
[^7]: Angela Castillo, Maria Escobar, Guillaume Jeanneret, Albert Pumarola, Pablo Arbeláez, Ali Thabet, and Artsiom Sanakoyeu. Bodiffusion: Diffusing sparse observations for full-body human motion synthesis. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 4221–4231, 2023. 1, 2, 3, 4, 5, 6, 7
[^8]: R Qi Charles, Hao Su, Mo Kaichun, and Leonidas J Guibas. Pointnet: Deep learning on point sets for 3d classification and segmentation. In 2017 IEEE conference on computer vision and pattern recognition (CVPR), pages 77–85. IEEE, 2017. 3
[^9]: Haiwei Chen, Shichen Liu, Weikai Chen, Hao Li, and Randall Hill. Equivariant point network for 3d point cloud analysis. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 14514–14523, 2021. 3
[^10]: Ting Chen, Simon Kornblith, Mohammad Norouzi, and Geoffrey Hinton. A simple framework for contrastive learning
视觉表征的相关内容。载于国际机器学习会议论文集，第1597–1607页。PMLR，2020年。3
[^11]: Hai Ci, Mingdong Wu, Wentao Zhu, Xiaoxuan Ma, Hao Dong, Fangwei Zhong, and Yizhou Wang. Gfpose: Learning 3d human pose prior with gradient fields. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 4800–4810, 2023. 2, 5
[^12]: Taco Cohen and Max Welling. Group equivariant convolutional networks. In International conference on machine learning, pages 2990–2999. PMLR, 2016. 3
[^13]: Prafulla Dhariwal and Alexander Nichol. Diffusion models beat gans on image synthesis. Advances in neural information processing systems, 34:8780–8794, 2021. 2
[^14]: Haiwen Feng, Peter Kulits, Shichen Liu, Michael J Black, and Victoria Fernandez Abrevaya. Generalizing neural human fitting to unseen poses with articulated se (3) equivariance. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 7977–7988, 2023. 3
[^15]: Saeed Ghorbani, Calden Wloka, Ali Etemad, Marcus A Brubaker, and Nikolaus F Troje. Probabilistic character motion synthesis using a hierarchical deep latent variable model. In Computer Graphics Forum, pages 225–239. Wiley Online Library, 2020. 2
[^16]: Shubham Goel, Georgios Pavlakos, Jathushan Rajasegaran, Angjoo Kanazawa $^{*}$, and Jitendra Malik $^{*}$. Humans in 4D: Reconstructing and tracking humans with transformers. In Int. Conf. Comput. Vis., 2023. 2
[^17]: Kristen Grauman, Andrew Westbury, Lorenzo Torresani, Kris Kitani, Jitendra Malik, Triantafyllos Afouras, Kumar Ashutosh, Vijay Baiyya, Siddhant Bansal, Bikram Boote, et al. Ego-exo4d: Understanding skilled human activity from first-and third-person perspectives. arXiv preprint arXiv:2311.18259, 2023. 6, 8, 3
[^18]: Qiao Gu, Zhaoyang Lv, Duncan Frost, Simon Green, Julian Straub, and Chris Sweeney. Egolifter: Open-world 3d segmentation for egocentric perception. arXiv preprint arXiv:2403.18118, 2024. 1
[^19]: Peng Guan, Alexander Weiss, Alexandru O Balan, and Michael J Black. Estimating human shape and pose from a single image. In Int. Conf. Comput. Vis., pages 1381–1388. IEEE, 2009. 2
[^20]: Riza Alp Guler and Iasonas Kokkinos. Holopose: Holistic 3d human reconstruction in-the-wild. In IEEE Conf. Comput. Vis. Pattern Recog., pages 10884–10894, 2019. 2
[^21]: Vladimir Guzov, Yifeng Jiang, Fangzhou Hong, Gerard Pons-Moll, Richard Newcombe, C Karen Liu, Yuting Ye, and Lingni Ma. Hmd $^{2}$: Environment-aware motion generation from single egocentric head-mounted device. arXiv preprint arXiv:2409.13426, 2024. 2, 8, 1
[^22]: Chengan He, Jun Saito, James Zachary, Holly Rushmeier, and Yi Zhou. Nemf: Neural motion fields for kinematic animation. In NeurIPS, 2022. 2
[^23]: Jonathan Ho, Ajay Jain, and Pieter Abbeel. Denoising diffusion probabilistic models. Advances in neural information processing systems, 33:6840–6851, 2020. 2, 5
## [^24]: Fangzhou Hong, Vladimir Guzov, Hyo Jin Kim, Yuting Ye, Richard Newcombe, Ziwei Liu, and Lingni Ma. Egolm: Multi-modal language model of egocentric motions. arXiv preprint arXiv:2409.18127, 2024. 2
---
[^25]: Nicholas Howe, Michael Leventon, and William Freeman. Bayesian reconstruction of 3d human motion from single-camera video. Advances in neural information processing systems, 12, 1999. 2
[^26]: Chun-Hao P. Huang, Hongwei Yi, Markus Höschle, Matvey Safroshkin, Tsvetelina Alexiadis, Senya Polikovsky, Daniel Scharstein, and Michael J. Black. Capturing and inferring dense full-body human-scene contact. In IEEE Conf. Comput. Vis. Pattern Recog., pages 13274–13285, 2022. 6, 7, 3
[^27]: Hao Jiang and Vamsi Krishna Ithapu. Egocentric pose estimation from human vision span. In 2021 IEEE/CVF International Conference on Computer Vision (ICCV), pages 10986–10994. IEEE, 2021. 2
[^28]: Jiaxi Jiang, Paul Streli, Huajian Qiu, Andreas Fender, Larissa Laich, Patrick Snape, and Christian Holz. Avatarposer: Articulated full-body pose tracking from sparse motion sensing. In European conference on computer vision, pages 443–460. Springer, 2022. 2, 3, 4, 5, 6, 7
[^29]: Jiaxi Jiang, Paul Streli, Manuel Meier, Andreas Fender, and Christian Holz. Egoposer: Robust real-time ego-body pose estimation in large scenes. arXiv preprint arXiv:2308.06493, 2023. 2, 3, 4, 5, 7, 1
[^30]: Zhongyu Jiang, Zhuoran Zhou, Lei Li, Wenhao Chai, Cheng-Yen Yang, and Jenq-Neng Hwang. Back to optimization: Diffusion-based zero-shot 3d human pose estimation. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, pages 6142–6152, 2024. 2, 5
[^31]: Hanbyul Joo, Natalia Neverova, and Andrea Vedaldi. Exemplar fine-tuning for 3d human model fitting towards in-the-wild 3d human pose estimation. In 2021 International Conference on 3D Vision (3DV), pages 42–52. IEEE, 2021. 2
[^32]: Angjoo Kanazawa, Abhishek Sharma, and David Jacobs. Locally scale-invariant convolutional neural networks. arXiv preprint arXiv:1412.5104, 2014. 3
[^33]: Angjoo Kanazawa, Michael J Black, David W Jacobs, and Jitendra Malik. End-to-end recovery of human shape and pose. In IEEE Conf. Comput. Vis. Pattern Recog., pages 7122–7131, 2018. 2
[^34]: Angjoo Kanazawa, Jason Y Zhang, Panna Felsen, and Jitendra Malik. Learning 3d human dynamics from video. In IEEE Conf. Comput. Vis. Pattern Recog., pages 5614–5623, 2019. 2
[^35]: Korrawe Karunratanakul, Konpat Preechakul, Supasorn Suwajanakorn, and Siyu Tang. Guided motion diffusion for controllable human motion synthesis. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 2151–2162, 2023. 2, 5
[^36]: Jihoon Kim, Jiseob Kim, and Sungjoon Choi. Flame: Free-form language-based motion synthesis & editing. In Proceedings of the AAAI Conference on Artificial Intelligence, pages 8255–8263, 2023. 2
[^37]: Meejin Kim and Sukwon Lee. Fusion poser: 3d human pose estimation using sparse imus and head trackers in real time. Sensors, 22(13):4846, 2022. 2
[^38]: Diederik P Kingma and Max Welling. Auto-encoding variational bayes. arXiv preprint arXiv:1312.6114, 2013. 2
[^39]: Muhammed Kocabas, Nikos Athanasiou, and Michael J Black. Vibe: Video inference for human body pose and shape
估计相关内容。载于IEEE计算机视觉与模式识别会议论文集，第5253–5263页，2020年。2
[^40]: Muhammed Kocabas, Chun-Hao P Huang, Otmar Hilliges, and Michael J Black. Pare: Part attention regressor for 3d human body estimation. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 11127–11137, 2021. 2
[^41]: Muhammed Kocabas, Ye Yuan, Pavlo Molchanov, Yunrong Guo, Michael J. Black, Otmar Hilliges, Jan Kautz, and Umar Iqbal. Pace: Human and motion estimation from in-the-wild videos. In 3DV, 2024. 2
[^42]: Nikos Kolotouros, Georgios Pavlakos, Michael J Black, and Kostas Daniilidis. Learning to reconstruct 3d human pose and shape via model-fitting in the loop. In Int. Conf. Comput. Vis., pages 2252–2261, 2019. 2
[^43]: Nilesh Kulkarni, Davis Rempe, Kyle Genova, Abhijit Kundu, Justin Johnson, David Fouhey, and Leonidas Guibas. Nifty: Neural object interaction fields for guided human motion synthesis. arXiv preprint arXiv:2307.07511, 2023. 2
[^44]: Christoph Lassner, Javier Romero, Martin Kiefel, Federica Bogo, Michael J Black, and Peter V Gehler. Unite the people: Closing the loop between 3d and 2d human representations. In IEEE Conf. Comput. Vis. Pattern Recog., pages 6050–6059, 2017. 2
[^45]: Yann LeCun, Yoshua Bengio, et al. Convolutional networks for images, speech, and time series. The handbook of brain theory and neural networks, 3361(10):1995, 1995. 3
[^46]: Jiye Lee and Hanbyul Joo. Mocap everyone everywhere: Lightweight motion capture with smartwatches and a head-mounted camera. arXiv preprint arXiv:2401.00847, 2024. 2, 7
[^47]: Jiaman Li, Alexander Clegg, Roozbeh Mottaghi, Jiajun Wu, Xavier Puig, and C Karen Liu. Controllable human-object interaction synthesis. arXiv preprint arXiv:2312.03913, 2023. 2, 5
[^48]: Jiaman Li, Karen Liu, and Jiajun Wu. Ego-body pose estimation via ego-head pose estimation. In IEEE Conf. Comput. Vis. Pattern Recog., pages 17142–17151, 2023. 1, 2, 3, 4, 5, 6, 7
[^49]: Jiaman Li, Jiajun Wu, and C Karen Liu. Object motion guided human motion synthesis. ACM Transactions on Graphics (TOG), 42(6):1–11, 2023. 2
[^50]: Zongmian Li, Jiri Sedlar, Justin Carpentier, Ivan Laptev, Nicolas Mansard, and Josef Sivic. Estimating 3d motion and forces of person-object interactions from monocular video. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 8640–8649, 2019. 2
[^51]: Hung Yu Ling, Fabio Zinno, George Cheng, and Michiel Van De Panne. Character controllers using motion vaes. ACM Transactions on Graphics (TOG), 39(4):40–1, 2020. 2
[^52]: Matthew Loper, Naureen Mahmood, Javier Romero, Gerard Pons-Moll, and Michael J Black. Smpl: A skinned multi-person linear model. In Seminal Graphics Papers: Pushing the Boundaries, Volume 2, pages 851–866, 2023. 2, 3
[^53]: David G Lowe. Distinctive image features from scale-invariant keypoints. International journal of computer vision, 60:91–110, 2004. 3
## [^54]: Zhengyi Luo, Ryo Hachiuma, Ye Yuan, and Kris Kitani. Dynamics-regulated kinematic policy for egocentric pose estimation. Advances in Neural Information Processing Systems, 34:25019–25032, 2021. 2
---
[^55]: Lingni Ma, Yuting Ye, Fangzhou Hong, Vladimir Guzov, Yifeng Jiang, Rowan Postyeni, Luis Pesqueira, Alexander Gamino, Vijay Baiyya, Hyo Jin Kim, et al. Nameria: A massive collection of multimodal egocentric daily motion in the wild. arXiv preprint arXiv:2406.09905, 2024. 2
[^56]: Naureen Mahmood, Nima Ghorbani, Nikolaus F Troje, Gerard Pons-Moll, and Michael J Black. Amass: Archive of motion capture as surface shapes. In IEEE Conf. Comput. Vis. Pattern Recog., pages 5442–5451, 2019. 3, 4, 6, 7, 8
[^57]: Jinjie Mai, Abdullah Hamdi, Silvio Giancola, Chen Zhao, and Bernard Ghanem. Egoloc: Revisiting 3d object localization from egocentric videos with visual queries. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 45–57, 2023. 1
[^58]: Julieta Martinez, Rayat Hossain, Javier Romero, and James J Little. A simple yet effective baseline for 3d human pose estimation. In Int. Conf. Comput. Vis., pages 2640–2649, 2017. 2
[^59]: Evonne Ng, Donglai Xiang, Hanbyul Joo, and Kristen Grauman. You2me: Inferring body pose in egocentric video via first and second person interactions. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 9890–9900, 2020. 2
[^60]: Mohamed Omran, Christoph Lassner, Gerard Pons-Moll, Peter Gehler, and Bernt Schiele. Neural body fitting: Unifying deep learning and model based human pose and shape estimation. In 2018 international conference on 3D vision (3DV), pages 484–494. IEEE, 2018. 2
[^61]: Xiaqing Pan, Nicholas Charron, Yongqian Yang, Scott Peters, Thomas Whelan, Chen Kong, Omkar Parkhi, Richard Newcombe, and Yuheng Carl Ren. Aria digital twin: A new benchmark dataset for egocentric 3d machine perception. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 20133–20143, 2023. 1, 6, 7, 3
[^62]: Georgios Pavlakos, Luyang Zhu, Xiaowei Zhou, and Kostas Daniilidis. Learning to estimate 3d human pose and shape from a single color image. In IEEE Conf. Comput. Vis. Pattern Recog., pages 459–468, 2018. 2
[^63]: Georgios Pavlakos, Vasileios Choutas, Nima Ghorbani, Timo Bolkart, Ahmed A. A. Osman, Dimitrios Tzionas, and Michael J. Black. Expressive body capture: 3D hands, face, and body from a single image. In IEEE Conf. Comput. Vis. Pattern Recog., pages 10975–10985, 2019. 2
[^64]: Georgios Pavlakos, Jitendra Malik, and Angjoo Kanazawa. Human mesh recovery from multiple shots. In IEEE Conf. Comput. Vis. Pattern Recog., pages 1485–1495, 2022. 2
[^65]: Georgios Pavlakos, Ethan Weber, Matthew Tancik, and Angjoo Kanazawa. The one where they reconstructed 3d humans and environments in tv shows. In Eur. Conf. Comput. Vis., pages 732–749. Springer, 2022. 2
[^66]: Georgios Pavlakos, Dandan Shan, Ilija Radosavovic, Angjoo Kanazawa, David Fouhey, and Jitendra Malik. Reconstructing hands in 3D with transformers. In arxiv, 2023. 3, 8
[^67]: Xue Bin Peng, Angjoo Kanazawa, Jitendra Malik, Pieter Abbeel, and Sergey Levine. Sfv: Reinforcement learning of physical skills from videos. ACM Transactions On Graphics (TOG), 37(6):1–14, 2018. 2
[^68]: Chiara Plizzari, Shubham Goel, Toby Perrett, Jacob Chalk, Angjoo Kanazawa, and Dima Damen. Spatial cognition from
以自我为中心的视频：虽不在视野中，却并未被遗忘。arXiv预印本arXiv:2404.05072，2024年。1
[^69]: Ryan Po, Wang Yifan, Vladislav Golyanik, Kfir Aberman, Jonathan T Barron, Amit H Bermano, Eric Ryan Chan, Tali Dekel, Aleksander Holynski, Angjoo Kanazawa, et al. State of the art on diffusion models for visual computing. arXiv preprint arXiv:2310.07204, 2023. 2
[^70]: Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, et al. Learning transferable visual models from natural language supervision. In International conference on machine learning, pages 8748–8763. PMLR, 2021. 2
[^71]: Jathushan Rajasegaran, Georgios Pavlakos, Angjoo Kanazawa, and Jitendra Malik. Tracking people by predicting 3d appearance, location and pose. In IEEE Conf. Comput. Vis. Pattern Recog., pages 2740–2749, 2022. 2, 7
[^72]: Aditya Ramesh, Prafulla Dhariwal, Alex Nichol, Casey Chu, and Mark Chen. Hierarchical text-conditional image generation with clip latents, 2022. 5
[^73]: Davis Rempe, Leonidas J Guibas, Aaron Hertzmann, Bryan Russell, Ruben Villegas, and Jimei Yang. Contact and human dynamics from monocular video. In Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part V16, pages 71–87. Springer, 2020. 2
[^74]: Davis Rempe, Tolga Birdal, Aaron Hertzmann, Jimei Yang, Srinath Sridhar, and Leonidas J Guibas. Humor: 3d human motion model for robust pose estimation. In Proceedings of the IEEE/CVF international conference on computer vision, pages 11488–11499, 2021. 2, 4, 5, 7, 1
[^75]: Danilo Jimenez Rezende, Shakir Mohamed, and Daan Wierstra. Stochastic backpropagation and approximate inference in deep generative models. In International conference on machine learning, pages 1278–1286. PMLR, 2014. 2
[^76]: Helge Rhodin, Christian Richardt, Dan Casas, Eldar Insafutdinov, Mohammad Shafiei, Hans-Peter Seidel, Bernt Schiele, and Christian Theobalt. Egocap: egocentric marker-less motion capture with two fisheye cameras. ACM Transactions on Graphics (TOG), 35(6):1–11, 2016. 2
[^77]: Gregory Rogez, Philippe Weinzaepfel, and Cordelia Schmid. Lcr-net: Localization-classification-regression for human pose. In IEEE Conf. Comput. Vis. Pattern Recog., pages 3433–3441, 2017. 2
[^78]: Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, and Björn Ommer. High-resolution image synthesis with latent diffusion models. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 10684–10695, 2022. 2
[^79]: Javier Romero, Dimitrios Tzionas, and Michael J Black. Embodied hands: Modeling and capturing hands and bodies together. arXiv preprint arXiv:2201.02610, 2022. 2, 3, 5
## [^80]: Chitwan Saharia, William Chan, Saurabh Saxena, Lala Li, Jay Whang, Emily L Denton, Kamyar Ghasemipour, Raphael Gontijo Lopes, Burcu Karagol Ayan, Tim Salimans, et al. Photorealistic text-to-image diffusion models with deep language understanding. Advances in Neural Information Processing Systems, 35:36479–36494, 2022. 2
---
[^81]: Silvio Savarese and Li Fei-Fei. 3d generic object categorization, localization and pose estimation. In 2007 IEEE 11th international conference on computer vision, pages 1–8. IEEE, 2007. 3
[^82]: Yonatan Shafir, Guy Tevet, Roy Kapon, and Amit H Bermano. Human motion diffusion as a generative prior. arXiv preprint arXiv:2303.01418, 2023. 5
[^83]: Takaaki Shiratori, Hyun Soo Park, Leonid Sigal, Yaser Sheikh, and Jessica K Hodgins. Motion capture from body-mounted cameras. In ACM SIGGRAPH 2011 papers, pages 1–10. ACM New York, NY, USA, 2011. 2
[^84]: Jascha Sohl-Dickstein, Eric Weiss, Niru Maheswaranathan, and Surya Ganguli. Deep unsupervised learning using nonequilibrium thermodynamics. In International conference on machine learning, pages 2256–2265. PMLR, 2015. 2
[^85]: Kiran Somasundaram, Jing Dong, Huixuan Tang, Julian Straub, Mingfei Yan, Michael Goesele, Jakob Julian Engel, Renzo De Nardi, and Richard Newcombe. Project aria: A new tool for egocentric multi-modal ai research. arXiv preprint arXiv:2308.13561, 2023. 2, 3, 4, 5, 6, 8
[^86]: Jiaming Song, Chenlin Meng, and Stefano Ermon. Denoising diffusion implicit models. arXiv preprint arXiv:2010.02502, 2020. 5, 3
[^87]: Yang Song, Jascha Sohl-Dickstein, Diederik P Kingma, Abhishek Kumar, Stefano Ermon, and Ben Poole. Score-based generative modeling through stochastic differential equations. arXiv preprint arXiv:2011.13456, 2020. 2
[^88]: Jianlin Su, Murtadha Ahmed, Yu Lu, Shengfeng Pan, Wen Bo, and Yunfeng Liu. Roformer: Enhanced transformer with rotary position embedding. Neurocomputing, 568:127063, 2024. 2
[^89]: Zachary Teed and Jia Deng. Droid-slam: Deep visual slam for monocular, stereo, and rgb-d cameras. Advances in neural information processing systems, 34:16558–16569, 2021. 2
[^90]: Nathaniel Thomas, Tess Smidt, Steven Kearnes, Lusann Yang, Li Li, Kai Kohlhoff, and Patrick Riley. Tensor field networks: Rotation-and translation-equivariant neural networks for 3d point clouds. arXiv preprint arXiv:1802.08219, 2018. 3
[^91]: Denis Tome, Patrick Peluse, Lourdes Agapito, and Hernan Badino. xr-egopose: Egocentric 3d human pose from an hmd camera. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 7728–7738, 2019. 2,7
[^92]: Denis Tome, Thiemo Alldieck, Patrick Peluse, Gerard Pons-Moll, Lourdes Agapito, Hernan Badino, and Fernando De la Torre. Selfpose: 3d egocentric pose estimation from a headset mounted camera. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020. 2
[^93]: Jonathan Tseng, Rodrigo Castellon, and Karen Liu. Edge: Editable dance generation from music. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 448–458, 2023. 2
[^94]: Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. Advances in neural information processing systems, 30, 2017. 5, 2
[^95]: Jian Wang, Lingjie Liu, Weipeng Xu, Kripasindhu Sarkar, and Christian Theobalt. Estimating egocentric 3d human pose in global space. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 11500–11509, 2021. 2,7
[^96]: Jian Wang, Zhe Cao, Diogo Luvizon, Lingjie Liu, Kripasindhu Sarkar, Danhang Tang, Thabo Beeler, and Christian Theobalt. Egocentric whole-body motion capture with fisheyevit and diffusion-based motion refinement. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 777–787, 2024. 2, 7
[^97]: Laurenz Wiskott and Terrence J Sejnowski. Slow feature analysis: Unsupervised learning of invariances. Neural computation, 14(4):715–770, 2002. 3
[^98]: Weipeng Xu, Avishek Chatterjee, Michael Zollhoefer, Helge Rhodin, Pascal Fua, Hans-Peter Seidel, and Christian Theobalt. Mo 2 cap 2: Real-time mobile 3d motion capture with a cap-mounted fisheye camera. IEEE transactions on visualization and computer graphics, 25(5):2093–2101, 2019. 2
[^99]: Yufei Xu, Jing Zhang, Qiming Zhang, and Dacheng Tao. Vitpose+: Vision transformer foundation model for generic body pose estimation. arXiv preprint arXiv:2212.04246, 2022. 8
[^100]: Jingyun Yang, Congyue Deng, Jimmy Wu, Rika Antonova, Leonidas Guibas, and Jeannette Bohg. Equivact: Sim(3)-equivariant visuomotor policies beyond rigid object manipulation, 2023. 3
[^101]: Jingyun Yang, Zi-ang Cao, Congyue Deng, Rika Antonova, Shuran Song, and Jeannette Bohg. Equibot: Sim (3)-equivariant diffusion policy for generalizable and data efficient learning. arXiv preprint arXiv:2407.01479, 2024. 3
[^102]: Vickie Ye, Georgios Pavlakos, Jitendra Malik, and Angjoo Kanazawa. Decoupling human and camera motion from videos in the wild. In IEEE Conf. Comput. Vis. Pattern Recog., pages 21222–21232, 2023. 2, 5, 7
[^103]: Brent Yi, Weijia Zeng, Sam Buchanan, and Yi Ma. Canonical factors for hybrid neural fields. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 3414–3426, 2023. 3
[^104]: Xinyu Yi, Yuxiao Zhou, and Feng Xu. Transpose: Real-time 3d human translation and pose estimation with six inertial sensors. ACM Transactions on Graphics (TOG), 40(4):1–13, 2021. 2
[^105]: Xinyu Yi, Yuxiao Zhou, Marc Habermann, Vladislav Golyanik, Shaohua Pan, Christian Theobalt, and Feng Xu. Egolocate: Real-time motion capture, localization, and mapping with sparse body-mounted sensors. arXiv preprint arXiv:2305.01599, 2023.2
[^106]: Ye Yuan and Kris Kitani. 3d ego-pose estimation via imitation learning. In Proceedings of the European Conference on Computer Vision (ECCV), pages 735–750, 2018. 2
[^107]: Ye Yuan and Kris Kitani. Ego-pose estimation and forecasting as real-time pd control. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 10082–10092, 2019. 2
[^108]: Ye Yuan, Umar Iqbal, Pavlo Molchanov, Kris Kitani, and Jan Kautz. Glamr: Global occlusion-aware human mesh recovery with dynamic cameras. In IEEE Conf. Comput. Vis. Pattern Recog., 2022. 2
## [^109]: Manzil Zaheer, Satwik Kottur, Siamak Ravanbakhsh, Barnabas Poczos, Russ R Salakhutdinov, and Alexander J Smola. Deep sets. Advances in neural information processing systems, 30, 2017. 3
---
[^110]: Fangneng Zhan, Lingjie Liu, Adam Kortylewski, and Christian Theobalt. General neural gauge fields. arXiv preprint arXiv:2305.03462, 2023. 3
[^111]: Daiwei Zhang, Gengyan Li, Jiajie Li, Mickaël Bressieux, Otmar Hilliges, Marc Pollefeys, Luc Van Gool, and Xi Wang. Egogaussian: Dynamic scene understanding from egocentric video with 3d gaussian splatting. arXiv preprint arXiv:2406.19811, 2024.1
[^112]: Mingyuan Zhang, Zhongang Cai, Liang Pan, Fangzhou Hong, Xinying Guo, Lei Yang, and Ziwei Liu. Motiondiffuse: Text-driven human motion generation with diffusion model. arXiv preprint arXiv:2208.15001, 2022. 2
[^113]: Qinsheng Zhang, Jiaming Song, Xun Huang, Yongxin Chen, and Ming-Yu Liu. Diffcollage: Parallel generation of large content with diffusion models. In 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 10188–10198. IEEE, 2023. 5
[^114]: Siwei Zhang, Qianli Ma, Yan Zhang, Sadegh Aliakbarian, Darren Cosker, and Siyu Tang. Probabilistic human mesh recovery in 3d scenes from egocentric views. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 7989–8000, 2023. 2, 5
[^115]: Zhengdong Zhang, Arvind Ganesh, Xiao Liang, and Yi Ma. Tilt: Transform invariant low-rank textures. International journal of computer vision, 99:1–24, 2012. 3