# xR-EgoPose：基于头戴式显示设备摄像头的自我中心式3D人体姿态估计
Denis Tome $^{1,2}$、Patrick Peluse $^{2}$、Lourdes Agapito $^{1}$ 以及 Hernan Badino $^{2}$
$^{1}$伦敦大学学院 $^{2}$Facebook Reality Lab
{D.Tome, L.Agapito}@cs.ucl.ac.uk {patrick.peluse, hernan.badino}@fb.com
a)
b)
c)
d)
e)
Figure 1: Left: Our xR-EgoPose Dataset setup: (a) external camera viewpoint showing a synthetic character wearing the headset; (b) example of photorealistic image rendered from the egocentric camera perspective; (c) 2D and (d) 3D poses estimated with our algorithm. Right: results on real images; (e) real image acquired with our HMD-mounted camera with predicted 2D heatmaps; (f) estimated 3D pose, showing good generalization to real images.
f)
## 摘要
我们提出了一种全新的解决方案，用于从安装在头戴式虚拟现实设备边缘的向下拍摄的鱼眼摄像头所采集的单目图像中，实现自我中心式3D人体姿态估计。这种特殊视角距离用户面部仅2厘米，生成的图像具有独特的视觉特征：严重的自身遮挡现象以及强烈的透视畸变，导致人体下半身与上半身的分辨率存在巨大差异。我们的贡献有两点：首先，我们提出了一种全新的编码器-解码器架构，其特有的双分支解码器专门用于处理2D关节位置的不确定性差异。我们在合成数据集和真实数据集上的定量评估表明，相较于现有的自我中心式姿态估计方法，该策略能显著提升估计精度。其次，我们构建了一个全新的大规模照片级真实感合成数据集——xR-EgoPose，其中包含38.3万帧高质量渲染图像，涵盖了不同肤色、体型、服饰的人群，背景和光照条件也多种多样，且人物会执行各类动作。实验表明，这一高多样性的合成训练集能够很好地泛化到真实场景视频中，在带有真值的真实数据集上也能取得最先进的性能。此外，在Human3.6M基准测试上的评估结果显示，我们的方法在性能上与针对第三人称视角3D人体姿态估计这一更经典问题的顶尖方法不相上下。
### 1. 引言
扩展现实（XR）技术（如AR、VR和MR）的出现催生了娱乐、通信、医疗、CAD设计、艺术以及办公效率等诸多领域的广泛应用。这类技术主要通过头戴式显示设备（HMD）将虚拟环境渲染出来，使用户沉浸于虚拟空间之中，而渲染视角正是用户自身的视角。不过，目前的解决方案大多聚焦于用户感知系统中的视频和音频层面，在触觉和本体感觉方面仍存在空白。针对本体感觉问题的部分解决方案仅限于对手部位置的实时追踪与渲染，这些位置是通过控制器设备获取的。人体其余部分的3D姿态则可以通过头部和手部姿态的逆运动学来推断[^16]，但这种方式往往会导致人体姿态估计结果不准确，信号损失严重，不仅会阻碍自然流畅的社交互动[^14]，甚至还会引发晕动症[^36]。
在本文中，我们提出了一种基于安装在HMD上的单目摄像头实现全身3D人体姿态估计的新方法。在我们的方案中，摄像头被安装在HMD的边缘并向下拍摄，距离普通人的鼻子仅2厘米左右。在这种独特的摄像头视角下，大部分下半身区域会出现自身遮挡现象（见图2右侧图像）。此外，由于鱼眼镜头以及摄像头距离面部极近，会产生强烈的透视畸变，进而导致分辨率出现巨大差异——
---
上身与下身之间的遮挡关系（见图3）。因此，从这种第一人称视角拍摄的图像中估计二维或三维姿态，比从更常见的外部视角要困难得多；以至于即便是最先进的人体姿态估计算法，在我们的输入数据上的表现也欠佳[^42]。
我们的工作针对上述两大挑战展开：(i) 鉴于输入图像的独特视觉特征，以及佩戴头戴式显示器的摄像头这一特定场景下的训练数据稀缺，我们创建了一套全新的、大规模、照片级逼真的合成数据集，用于包含二维和三维标注的训练；以及(ii) 为解决身体自遮挡以及上下身分辨率差异这一难题，我们提出了一种新架构，该架构能够考虑人体关节二维位置估计中的不确定性。
我们的贡献可总结如下：
更具体地说，我们的解决方案采用两步法：我们并非直接从输入图像回归三维姿态，而是先训练模型提取人体关节的二维热图，再通过带有双分支解码器的自编码器来回归三维姿态。其中一个分支负责根据编码结果回归三维姿态，另一个分支则用于重构输入的二维热图。通过这种方式，潜变量被强制编码二维关节估计中的不确定性。自编码器有助于为被遮挡的肢体或不确定性较高的部位推断出准确的关节姿态。这两个子步骤先分别训练，最终端到端整合，因为所得到的网络是完全可微分的。训练过程在真实数据和合成数据上进行。这套合成数据集包含了多种多样的身体形态、环境和动作，我们将公开发布该数据集以促进该领域的发展。
- 针对搭载摄像头的虚拟现实头盔拍摄的单目图像，我们提出了一种用于中心视角全身三维姿态估计的新型编码器-解码器网络（见第5.2节）。我们在带有真实三维标注的合成数据集和真实世界基准测试上进行的定量评估表明，我们的方法性能优于以往的最先进水平[^55]。消融实验结果显示，引入我们这种旨在重构二维输入热图的新颖解码器分支，是三维姿态估计性能大幅提升的关键。
我们证明，无需任何修改，我们的新方法就能适配外部前置摄像头的常规场景。在Human3.6M基准测试中，我们的方法目前排名第二，仅次于[^46]。
- 我们构建了一个由38.3万帧图像组成的大规模训练语料库，将公开发布该语料库以促进中心视角人体姿态捕捉领域的发展（见第4节）。与现有的唯一一套基于头戴式鱼眼摄像头的单目中心视角数据集相比，我们的新数据集在照片级逼真度（见图2）、视角（图像由虚拟现实头戴式显示器上的摄像头渲染而成）以及人物、背景和动作的多样性方面均有显著提升[^55]。
### 2. 相关工作
我们介绍了关于单目（单摄像头）无标记3D人体姿态估计的相关研究，重点聚焦于两种截然不同的采集场景：一种是外置摄像头视角下的采集方式——利用外部摄像头从远距离拍摄一个或多个受试者，这也是最常用的设置；另一种是第一人称或自中心系统，即通过头戴式摄像头观察用户自身的身体。虽然我们的论文主要探讨第二种场景，但我们还是借鉴了近期基于CNN的人体3D姿态估计方法的成果。我们还介绍了那些结合可穿戴传感器用于第一人称人体姿态估计的方法。
基于外部摄像头视角的单目3D姿态估计：卷积神经网络的问世以及大量2D和3D训练数据集的出现[^18] [^3]，近年来推动了基于外部摄像头拍摄的RGB图像的单目3D姿态估计技术的快速发展。目前主要出现了两大研究趋势：(i) 直接从图像中回归3D关节位置的全监督方法[^22] [^31] [^47] [^58] [^32] [^27]；以及(ii) 将问题拆解为2D关节检测与3D姿态提升两个步骤的流程化方法[^26] [^29] [^35] [^1] [^59] [^60] [^4] [^43]。全监督方法的进展及其泛化能力受到了野外图像3D姿态标注数据稀缺的严重制约。这促使人们投入大量精力来创建逼真的合成数据集[^39] [^51]，而这些数据集的制作得益于近期从人体扫描数据中学习得到的参数化密集3D人体模型[^24]。另一方面，两步拆分式方法之所以受欢迎，主要源于两大优势：一是有现成的高质量2D关节检测器可供使用[^53] [^30] [^34] [^6]，这类检测器仅需易于获取的2D标注数据；二是可以利用3D动作捕捉数据集及其真实投影结果来训练3D姿态提升步骤，而无需针对图像提供3D标注数据。即便结构简单的架构也被证明能以较低的误差率完成该任务[^26]。近期的技术突破在于将2D和3D任务整合为联合估计过程[^41] [^42]，以及采用弱监督[^54] [^48] [^50] [^9] [^33]或自监督损失函数[^49] [^38]，或是混合2D和3D数据进行训练[^46]。
第一人称3D人体姿态估计：尽管利用自中心摄像头视角采集用户数据以用于活动识别这一领域近年来受到了广泛关注，
---
Figure 2: Example images from our xR-EgoPose Dataset compared with the competitor Mo2Cap2 dataset [^55]. The quality of our frames is far superior than the randomly sampled frames from mo2cap2, where the characters suffer color matching with respect to the background light conditions.
多年来[^11] [^25] [^5]，大多数方法最多只能检测到上半身的运动（手部、手臂或躯干）。通过头戴式摄像头捕捉完整的3D人体运动要困难得多。一些头戴式捕捉系统基于RGB-D输入，主要能重建手部、手臂和躯干的运动[^40] [^57]。Jiang和Grauman[^20]通过从佩戴在胸前的摄像头拍摄的视频中估计自身运动，从而重建全身姿态，但他们的估计结果准确性不足且不确定性较高。[^2]提出了一种应对身体大部分不可见情况的方案，但该方案适用于外部摄像头视角。Rhodin等人[^37]率先提出了利用头盔安装的立体鱼眼摄像头对进行全身捕捉的方法。这些摄像头通过伸缩杆安装在距离用户头部约25厘米的位置，虽然对用户来说设备相当笨重，但能够捕捉到视野范围较大的图像，从而涵盖大部分身体部位。Xu等人[^55]最近展示了用于全身姿态估计的单目头戴式系统（他们提出了一种安装在棒球帽上的实时紧凑型装置），不过在这种情况下，以自我为中心的摄像头距离用户前额的距离比我们提出的方法要远几厘米。在我们的真实世界评估数据集上，无论是在室内还是室外序列中，我们的方法性能都比Xu等人的方法高出20%甚至更多[^55]。
基于可穿戴设备的3D姿态估计：受试者佩戴的惯性测量单元（IMU）为第一人称人体姿态估计提供了一种无需摄像头的替代方案。然而，这类系统具有侵入性且校准复杂。虽然减少传感器数量能降低设备的侵入性[^52]，但从稀疏的传感器读数中恢复准确的人体姿态却变得更加困难。Shiratori等人[^44]提出的另一种方法是采用由16个安装在肢体上的摄像头组成的多摄像头运动恢复结构（SFM）。该方法仍然具有很强的侵入性，而且还会受到运动模糊、自动白平衡、卷帘快门效应以及场景中物体运动的影响，因此在现实场景中并不实用。
### 3. 以自我为中心的姿态估计面临的挑战
图3展示了我们头戴式显示器自我中心视角设置独特的视觉外观——上一行显示了从自我中心视角看会自身遮挡的身体部位，其中深绿色表示像素分辨率最高，亮红色表示像素分辨率最低。这种独特的视觉外观既需要新方法，也需要新的训练语料库。我们的论文正是针对这两点展开研究。我们新设计的神经网络架构专门用于编码由于分辨率差异、极端透视效果和自身遮挡所导致的上下半身关节之间的不确定性差异。另一方面，我们新构建的大规模合成训练集——xR-EgoPose——包含38.3万张从全新视角渲染的图像：即安装在虚拟现实显示器上的鱼眼相机所拍摄的图像。与现有的唯一单目自我中心数据集[^55]相比，该数据集在照片真实感方面表现更为出色（详见图2的横向对比），且数据变异性更强。为了能够对真实世界图像进行定量评估，我们提供了xR-EgoPose $^{R}$——这是一个规模较小的真实世界数据集，通过轻便的设备——安装在虚拟现实显示器上的真实鱼眼相机——采集而成，并附带真实的3D姿态标注。我们广泛的实验评估表明，无论是在合成数据集还是真实世界数据集上，我们的新方法在单目自我中心3D姿态估计任务中的表现都优于当前最先进的技术[^55]。
### 4. xR-EgoPose合成数据集
该数据集的设计注重可扩展性，涵盖角色、环境和光照条件的增强。渲染场景是由随机选取的角色、环境、照明设备和动画动作生成的。这些动画数据来源于动作捕捉数据。为了模拟佩戴时的典型情况，我们会给头戴设备上相机的定位添加微小的随机位移。
---
Figure 3: Visualization of different poses with the same synthetic actor. Top: poses rendered from an external camera viewpoint. White represents occluded areas of the body. Poses rendered from the egocentric camera viewpoint. The color gradient indicates the density of image pixels for each area of the body: green indicates higher pixel density, whereas red indicates lower density. This figure illustrates the most important challenges faced in egocentric human pose estimation: severe self-occlusions, extreme perspective effects and drastically lower pixel density for the lower body.
即用户佩戴时头戴设备相对于头部的姿态变化。
角色：为了提升体型多样性，我们从单个角色出发，生成了偏瘦矮型、偏瘦高型、丰满矮型和丰满高型等版本。每种版本的高度范围在155厘米到189厘米之间。
肤色：色调包括白色（高加索人、有雀斑或白化病患者）、浅色欧洲人皮肤、深色欧洲人皮肤（较深的高加索人、欧洲混血）、地中海或橄榄色（地中海人、亚洲人、西班牙裔、美洲原住民）、深棕色（非裔美国人、中东人）以及黑色（非裔美国人、非洲人、中东人）。此外，我们还在场景生成器所使用的每个角色的着色器中加入了随机肤色参数。
服装：服装类型包括运动裤、牛仔裤、短裤、正装裤、裙子、夹克、T恤、长袖衫和背心。鞋类则包括凉鞋、靴子、正装鞋、运动鞋和洞洞鞋。每种类型都采用不同的纹理和颜色进行渲染。
动作：动作类型列于表1中。
图像：图像分辨率为$1024 \times 1024$像素，色彩深度为16位。在训练和测试阶段，我们将色彩深度降采样至8位。帧率为30帧/秒。每一帧都会生成RGB、深度、法线、人体分割以及像素世界位置图像，还可选择调节曝光以用于光照增强。每帧都配有元数据，包括3D关节位置、角色身高、环境、相机姿态、人体分割信息以及动画骨骼数据。
渲染质量：最大化合成数据集的照片级真实感是我们的首要目标。因此，我们借助真实的动作捕捉数据[^17]，在Maya中为角色制作动画，并采用标准化的基于物理的渲染方案，配合V-Ray引擎。所有渲染场景中，角色的服装、皮肤以及环境光照均应用了全局自定义着色器设置。
#### 4.1. 训练集、测试集与验证集
该数据集总共包含383K帧，涵盖23名男性角色和23名女性角色，被划分为三个子集：训练集：252K帧；测试集：115K帧；验证集：16K帧。性别分布如下：训练集：13名男性/11名女性，测试集：7名男性/5名女性，验证集：3名男性/3名女性。表1详细描述了根据不同动作对数据集的划分情况。
| Action | N. Frames | Size Train | Size Test |
| Gaming | 24019 | 11153 | 4684 |
| Gesticulating | 21411 | 9866 | 4206 |
| Greeting | 8966 | 4188 | 1739 |
| Lower Stretching | 82541 | 66165 | 43491 |
| Patting | 9615 | 4404 | 1898 |
| Reacting | 26629 | 12599 | 5104 |
| Talking | 13685 | 6215 | 2723 |
| Upper Stretching | 162193 | 114446 | 46468 |
| Walking | 34989 | 24603 | 9971 |
Table 1: Total number of frames per action and their distribution between train and test sets. Everything else not mentioned is validation data.
### 5. 网络架构
如图4所示，我们提出的架构采用两步法，包含两个模块。第一个模块利用ResNet[^13]架构，检测图像空间中身体关节位置的2D热图。第二个模块则以这些2D热图作为输入，进而回归出3D坐标。
---
Figure 4: Our novel two-step architecture for egocentric 3D human pose estimation has two modules: a) the 2D heatmap estimator, based on ResNet101 [^13] as the core architecture; b) the 3D lifting module takes 2D heatmaps as input and is based on our novel dual branch auto-encoder.
利用一种新型双分支自编码器来提取身体关节特征。
这种流水线式方法最重要的优势在于，2D模块和3D模块可以根据现有的训练数据独立训练。例如，如果缺乏带有3D标注的大量图像数据，也可以仅使用3D动作捕捉数据和投影热图来训练3D提升模块，而无需配对图像。一旦两个模块完成预训练，由于整个架构具备完全可微性，就可以进行端到端的微调。该架构的另一个优势是第二个分支仅在训练阶段需要（详见第5.2节），测试时即可将其移除，既能保证相同的性能，又能加快执行速度。
#### 5.1.2 D姿态检测
给定输入RGB图像$\mathbf{I} \in \mathbb{R}^{368 \times 368 \times 3}$后，2D姿态检测器会推断出2D姿态，表现为一组热图$\mathbf{HM} \in \mathbb{R}^{47 \times 47 \times 15}$，每个身体关节对应一个热图。针对这项任务，我们采用了标准的ResNet 101[^13]架构，其中最后的平均池化层和全连接层被替换为卷积核大小为3、步长为2的反卷积层。权重采用Xavier初始化方式[^12]随机初始化。模型训练时使用归一化后的输入图像，即先减去均值再除以标准差，并以真实热图与预测热图之间的均方误差作为损失函数：
$$ \mathrm{L_{2D}=m s e(H M,\widehat{H M})} $$
我们还训练了其他替代性的2D姿态检测器，包括CPM[^53]和Stacked Hourglass Network[^30]，它们虽然计算成本更高，但性能相当。
#### 5.2. 2D到3D的映射
3D姿态模块将前一个模块生成的15个热图作为输入，并输出最终的3D姿态$\mathbf{P} \in \mathbb{R}^{16 \times 3}$。需要注意的是，输出的3D关节数量为16个，因为我们把头部也算入其中；由于受试者佩戴了头戴设备，无法从2D图像中估计其位置，但可以在3D空间中通过回归得到其位置。在大多数流程中，3D姿态估算模块通常以检测到的关节2D坐标作为输入。而我们的方法类似于[^33]，是从热图而非仅2D位置来回归3D姿态。其主要优势在于，热图包含了关于2D姿态估计不确定性的重要信息。
我们架构的主要创新点（见图4）在于确保这种不确定性信息不会丢失。编码器将一组热图作为输入，将其编码为嵌入向量$\hat{z}$；解码器则有两个分支——一个用于从$\hat{z}$回归3D姿态，另一个用于重构输入的热图。设置这一分支的目的是迫使潜向量能够编码所估计的2D热图的概率密度函数。
自编码器的整体损失函数如下：
$$ \begin{array}{rcl}\mathbf{L}_{\mathrm{AE}}&=&\lambda_{p}(||\mathbf{P}-\hat{\mathbf{P}}||^{2}+R(\mathbf{P},\hat{\mathbf{P}}))+\\&&\lambda_{hm}||\widehat{\mathbf{H}\mathbf{M}}-\widetilde{\mathbf{H}\mathbf{M}}||^{2}\end{array} $$
其中P表示真实值；$\mathbf{HM}$是解码器从潜空间回归得到的热图集合，$\widehat{\mathbf{HM}}$则是ResNet回归得到的热图（详见第5.1节）。最后，R是关于3D姿态$R(\mathbf{P}, \hat{\mathbf{P}}) = \lambda_{\theta} \theta(\mathbf{P}, \hat{\mathbf{P}}) + \lambda_{L} \mathbf{L}(\mathbf{P}, \hat{\mathbf{P}})$的损失，其计算公式为：
$$ \theta(\mathbf{P},\hat{\mathbf{P}})=\sum_{l}^{L}\frac{\mathbf{P}_{l}\cdot\hat{\mathbf{P}}_{l}}{||\mathbf{P}||*||\hat{\mathbf{P}}_{l}||}\quad\mathbf{L}(\mathbf{P},\hat{\mathbf{P}})=\sum_{l}^{L}||\mathbf{P}_{l}-\hat{\mathbf{P}}_{l}|| $$
该公式分别对应余弦相似度误差和肢体长度误差，其中$\mathbf{P}_l \in \mathbb{R}^3$代表姿态中的第$l^{th}$条肢体。这种损失函数的一个重要优势是，模型可以同时利用3D和2D数据集进行训练：如果某个图像样本只有2D标注，那么$\lambda_p = 0$，此时仅有热图会对损失产生影响。在第6.2节中，我们将展示如何利用更丰富的2D标注数据来提升最终的3D人体姿态估计效果。
#### 5.3. 训练细节
该模型在整个训练集上训练了3个周期，学习率为$1e^{-3}$，采用批量归一化方式。
---
| Approach | Evaluation error (mm) | Gaming | Gesticulating | Greeting | Lower Stretching | Patting | Reacting | Talking | Upper Stretching | Walking | All |
| Martinez [^26] | Upper body | 58.5 | 66.7 | 54.8 | 70.0 | 59.3 | 77.8 | 54.1 | 89.7 | 74.1 | 79.4 |
| Lower body | 160.7 | 144.1 | 183.7 | 181.7 | 126.7 | 161.2 | 168.1 | 159.4 | 186.9 | 164.8 |
| Average | 109.6 | 105.4 | 119.3 | 125.8 | 93.0 | 119.7 | 111.1 | 124.5 | 130.5 | 122.1 |
| Ours - single-branch | Upper body | 114.4 | 106.7 | 99.3 | 90.9 | 99.1 | 147.5 | 95.1 | 119.0 | 104.3 | 112.5 |
| Lower body | 162.2 | 110.2 | 101.2 | 175.6 | 136.6 | 203.6 | 91.9 | 139.9 | 159.0 | 148.3 |
| Average | 138.3 | 108.5 | 100.3 | 133.3 | 117.8 | 175.6 | 93.5 | 129.0 | 131.9 | 130.4 |
| Ours - dual-branch | Upper body | 48.8 | 50.0 | 43.0 | 36.8 | 48.6 | 56.4 | 42.8 | 49.3 | 43.2 | 50.5 |
| Lower body | 65.1 | 50.4 | 46.1 | 65.2 | 70.2 | 65.2 | 45.0 | 58.8 | 72.2 | 65.9 |
| Average | 56.0 | 50.2 | 44.6 | 51.1 | 59.4 | 60.8 | 43.9 | 53.9 | 57.7 | 58.2 |
Table 2: Quantitative evaluation with Martinez et al. [^26], a state-of-the-art approach developed for front-facing cameras. Both upper and lower body reconstructions are shown as well. A comparison with our own architecture using a single-branch decoder is also included. Note how the competing approach fails consistently across different actions in lower body reconstructions. This experiment emphasizes how, even a state-of-the-art 3D lifting method developed for external cameras fails on this challenging task.
批量大小设为16。用于从ResNet计算出的特征中识别热图的反卷积层，其核大小为3，步长为2。编码器的卷积层和反卷积层核大小均为4，步长为2。最后，编码器的所有层均采用泄露率为0.2的Leaky ReLU作为激活函数。损失函数中使用的$\lambda$权重是通过网格搜索确定的，分别被设为$\lambda_{hm} = 10^{-3}$、$\lambda_p = 10^{-1}$、$\lambda_\theta = -10^{-2}$和$\lambda_L = 0.5$。该模型从零开始训练，权重初始化方式为Xavier初始化。
### 6. 定量评估
我们在多种以自我为中心的3D人体姿态数据集上对所提出的方法进行了定量评估：(i) 我们的合成数据集xR-EgoPose的测试集；(ii) 我们的小规模真实世界数据集xR-EgoPose $^{R}$的测试集，该数据集使用安装在VR显示器上的真实鱼眼相机采集，包含真实的3D姿态标注；(iii) Mo2Cap2测试集[^55]，包含2700帧真实图像，标注了室内外场景中两个人的真实3D姿态。
此外，我们还在Human3.6M数据集上进行了定量评估，以证明我们的架构无需任何修改即可很好地适配外部摄像头视角的情况。
评估协议：除非另有说明，我们报告平均关节位置误差——MPJPE：
$$ E(\mathbf{P},\hat{\mathbf{P}})=\frac{1}{N_{f}}\frac{1}{N_{j}}\sum_{f=1}^{N_{f}}\sum_{j=1}^{N_{j}}||\mathbf{P}_{j}^{(f)}-\hat{\mathbf{P}}_{j}^{(f)}||_{2} $$
其中，$\mathbf{P}_j^{(f)}$ 和 $\hat{\mathbf{P}}_j^{(f)}$ 分别表示第 f 帧中关节 j 的真实姿态和预测姿态所对应的三维坐标，这里共涉及 $N_f$ 帧数据以及 $N_j$ 个关节。
#### 6.1. 在我们所构建的自我中心合成数据集上的评估
在 xR-EgoPose 测试集上的评估：首先，我们在合成的 xR-EgoPose 数据集测试集上评估我们的方法。由于 Mo2Cap2 [^55] 等最先进的单目自我中心人体姿态估计方法的代码并未公开，因此无法与它们进行对比。我们转而选择 Martinez 等人 [^26] 提出的最新的传统外部摄像头视角下的先进方法作为对比对象。为了公平比较，我们使用 xR-EgoPose 数据集的训练集对该模型重新训练，从而可以直接比较 2D 到 3D 模块的性能。
表 2 列出了两种方法的 MPJPE（公式 3）数值，结果显示我们的方法（Ours-dual-branch）在上半身重建任务中的表现比 Martinez 等人的方法高出 36.4%，下半身重建任务中高出 60%，整体性能更是高出 52.3%，提升效果显著。
第二个解码器分支的影响：表 2 还展示了一项消融实验，用于对比我们方法的两个版本：包含用于从编码 z 重构热图 $\hat{H}\hat{M}$ 的第二分支的版本（Ours-dual-branch），以及不包含该分支的版本（Ours-single-branch）。单分支编码器的整体平均误差为 130.4 毫米，而我们的新型双分支架构所能达到的误差仅为 58.2 毫米。
不同关节类型的重建误差：表 4 将重建误差按不同的关节类型进行了分解。误差最大的关节是手部（由于手部移出视野范围时会产生严重遮挡）和脚部（由于自身遮挡以及分辨率较低）。
#### 6.2. 在真实自我中心数据集上的评估
与 Mo2Cap2 [^55] 的对比：我们将我们的方法与直接竞争对手 Mo2Cap2 在其真实世界测试集上的结果进行对比，该测试集包含室内和室外序列。为了保证公平比较，[^55] 的作者为我们提供了他们 2D 关节估计器生成的热图，这样两种 3D 重建网络就能使用相同的输入数据。表 5 列出了两种方法的 MPJPE 误差，我们的双分支方法在室内和室外场景中均明显优于 Mo2Cap2 [^55]。
---
| Protocol #1 | Chen [^7] | Hossain [^15]* | Dabral [^8]* | Tome [^48] | Moreno [^29] | Kanazawa [^21] | Zhou [^61] | Jahangiri [^19] | Mehta [^27] | Martinez [^26] | Fang [^10] | Sun [^45] | Sun [^46] | Ours |
| Errors (mm) | 114.2 | 51.9 | 52.1 | 88.4 | 87.3 | 88.0 | 79.9 | 77.6 | 72.9 | 62.9 | 60.4 | 59.1 | 49.6 | 53.4 |
| Protocol #2 | Yasin [^56] | Hossain [^15]* | Dabral [^8]* | Rogez [^39] | Chen [^7] | Moreno [^29] | Tome [^48] | Zhou [^61] | Martinez [^26] | Kanazawa [^21] | Sun [^45] | Fang [^10] | Sun [^46] | Ours |
| Errors (mm) | 108.3 | 42.0 | 36.3 | 88.1 | 82.7 | 76.5 | 70.7 | 55.3 | 47.7 | 58.8 | 48.3 | 45.7 | 40.6 | 45.24 |
Table 3: Comparison with other state-of-the-art approaches on the Human3.6M dataset (front-facing cameras). Approaches with * make use of temporal information.
需要注意的是，立体自我中心系统 EgoCap [^37] 提供的数据集无法直接用于对比，因为其摄像头相对于头部的位置差异极大（他们的立体摄像头距离头部 25 厘米）。
在 xR-EgoPose $^{R}$ 数据集上的评估：我们小规模真实世界数据集包含 $\sim$ 10K 帧图像，这些图像由安装在 VR 头显上的鱼眼摄像头拍摄，拍摄对象为三名穿着不同服装、执行 6 种不同动作的实验者。真实 3D 姿态数据是通过定制的动作捕捉系统获取的。该网络先在我们的合成数据集（xR-EgoPose）上训练，随后利用其中两名实验者的数据进行微调，测试集则包含第三名未参与训练的实验者的数据。输入视图和重建姿态的示例见图 6，MPJPE [^18] 误差（公式 3）见表 6。这些结果表明，该模型（主要在合成数据上训练）对真实图像具有良好的泛化能力。
#### 6.3. 前置摄像头上的评估
Human3.6M数据集上的对比实验：结果表明，我们提出的方法不仅适用于以自我为中心的场景，在前置摄像头的更常见场景下也能取得优异结果。本次评估选用了Human3.6M数据集 [^18]。我们采用了两种评估协议。协议1中，训练阶段使用5个受试者（S1、S5、S6、S7、S8），评估阶段使用受试者（S9、S11）。MPJPE误差是在每第64帧上计算的。协议2中，训练阶段使用6个受试者（S1、S5、S6、S7、S8、S9），评估则在受试者11的第64帧上进行（评估时采用Procrustes对齐的MPJPE指标）。结果如表3所示，从中可以
| Joint | Error (mm) | Joint | Error (mm) |
| Left Leg | 34.33 | Right Leg | 33.85 |
| Left Knee | 62.57 | Right Knee | 61.36 |
| Left Foot | 70.08 | Right Foot | 68.17 |
| Left Toe | 76.43 | Right Toe | 71.94 |
| Neck | 6.57 | Head | 23.20 |
| Left Arm | 31.36 | Right Arm | 31.45 |
| Left Elbow | 60.89 | Right Elbow | 50.13 |
| Left Hand | 90.43 | Right Hand | 78.28 |
Table 4: Average reconstruction error per joint using Eq. 3, evaluated on the entire test-set (see Sec. 4).
e)
Figure 5: Examples of reconstructed heatmaps generated by the latent vector z. They reproduce the correct uncertainty of the predicted 2D joint positions.
看出我们的方法与其他最先进方法表现相当，在非时序类方法中综合排名第二。
#### 6.4. 混合2D与3D真实数据集
我们架构的一个重要优势在于，模型可以同时基于3D和2D数据集进行训练：如果某张图像样本仅有2D标注而没有3D真实标签，该样本仍可被使用，且仅热图部分会对损失函数产生影响。我们评估了在添加仅含2D标注、不含3D标签的图像后，在以自我为中心和前置摄像头这两种场景下产生的影响。在以自我为中心的场景中，我们创建了zR-EgoPose测试集的两个子集。第一个子集包含50%同时具备3D和2D标签的可用图像样本；第二个子集包含100%的2D标签图像样本，但仅含50%的3D标签。实际上，第二个子集中包含的仅含2D标注的图像数量是第一个子集的两倍。表7a对比了两个子集的结果，从中可以看出额外的2D标注对最终的3D姿态估计有积极作用。在Human3.6M数据集上也观察到了类似现象。图7b展示了当使用来自COCO [^23] 和MPII [^3] 的额外2D标注时，重建误差的改善情况。
#### 6.5. 在隐空间中编码不确定性
图5展示了我们的方法将输入2D热图的不确定性编码到隐向量中的能力。图中展示了输入2D热图的示例，以及解码器第二个分支重构出的热图以供对比。
---
| INDOOR | walking | sitting | crawling | crouching | boxing | dancing | stretching | waving | total (mm) |
| 3DV'17 [^27] | 48.76 | 101.22 | 118.96 | 94.93 | 57.34 | 60.96 | 111.36 | 64.50 | 76.28 |
| VCNet [^28] | 65.28 | 129.59 | 133.08 | 120.39 | 78.43 | 82.46 | 153.17 | 83.91 | 97.85 |
| Xu [^55] | 38.41 | 70.94 | 94.31 | 81.90 | 48.55 | 55.19 | 99.34 | 60.92 | 61.40 |
| Ours | 38.39 | 61.59 | 69.53 | 51.14 | 37.67 | 42.10 | 58.32 | 44.77 | 48.16 |
| OUTDOOR | walking | sitting | crawling | crouching | boxing | dancing | stretching | waving | total (mm) |
| 3DV $^{{*}}$17 [^27] | 68.67 | 114.87 | 113.23 | 118.55 | 95.29 | 72.99 | 114.48 | 72.41 | 94.46 |
| VCNet [^28] | 84.43 | 167.87 | 138.39 | 154.54 | 108.36 | 85.01 | 160.57 | 96.22 | 113.75 |
| Xu [^55] | 63.10 | 85.48 | 96.63 | 92.88 | 96.01 | 68.35 | 123.56 | 61.42 | 80.64 |
| Our | 43.60 | 85.91 | 83.06 | 69.23 | 69.32 | 45.40 | 76.68 | 51.38 | 60.19 |
Table 5: Quantitative evaluation on Mo2Cap2 dataset [^55], both indoor and outdoor test-sets. Our approach outperforms all competitors by more than 21.6% (13.24 mm) on indoor data and more than 25.4% (20.45 mm) on outdoor data.
Figure 6: Qualitative results on synthetic and real images acquired with a camera physically mounted on a HMD: (top) 3D poses reconstructed from synthetic images. Blue are ground truth poses and red predictions; (bottom) reconstructed 3D predictions (in red) from real images captured in a mocap studio compared to ground truth poses (in blue), and reconstruction of images the wild from mo2cap2 [^55] with poses shown using the same alignment for better visualization.
| Action | Error (mm) | Action | Error (mm) |
| Greeting | 51.78 | Upper Stretching | 61.09 |
| Talking | 47.46 | Throwing Arrow | 88.54 |
| Playing Golf | 68.74 | Average | 61.71 |
| Shooting | 52.64 | | |
Table 6: Average reconstruction error per joint using Eq. 3, evaluated on real data captured in a mocap studio.
| 3D | 2D | Error (mm) | Training dataset | Error (mm) |
| 50% | 50% | 68.04 | H36M | 67.9 |
| 50% | 100% | 63.98 | H36M + COCO + MPII | 53.4 |
(a) xR-EgoPose
(b) Human3.6M
表7：利用更庞大的2D标注语料库可提升最终的3D姿态估计效果
### 7. 结论
我们针对安装在头戴式设备上的单目摄像头进行3D人体姿态估计的问题提出了解决方案。我们的全可微网络可将输入图像转换为热图，再通过新颖的双分支自编码器从热图推导出3D姿态，这一设计对获得精准结果至关重要。我们还推出了xR-EgoPose数据集，这是一套大规模、照片级逼真的合成数据集，对模型训练不可或缺，我们将公开该数据集以促进这一前沿领域的研究。虽然我们的成果达到了最先进水平，但仍存在少数因严重遮挡或系统无法测量超出视野范围的手部而导致的误差情况。未来工作的重点将是增加摄像头数量以覆盖更大的视野并实现多视角感知。
---
## 参考文献
[^1]: I. Akhter and M. J. Black. Pose-conditioned joint angle limits for 3d human pose reconstruction. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 1446–1455, 2015. 2
[^2]: M. Amer, S. V. Amer, and A. Maria. Deep 3d human pose estimation under partial body presence. In Proceedings of the IEEE International Conference on Image Processing (ICIP), 2018. 3
[^3]: M. Andriluka, L. Pishchulin, P. Gehler, and B. Schiele. 2d human pose estimation: New benchmark and state of the art analysis. In IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 2014. 2,7
[^4]: F. Bogo, A. Kanazawa, C. Lassner, P. Gehler, J. Romero, and M. J. Black. Keep it smpl: Automatic estimation of 3d human pose and shape from a single image. In European Conference on Computer Vision, pages 561–578. Springer, 2016. 2
[^5]: C. Cao, Y. Zhang, Y. Wu, H. Lu, and J. Cheng. Egocentric gesture recognition using recurrent 3d convolutional neural networks with spatiotemporal transformer modules. 2017 IEEE International Conference on Computer Vision (ICCV), 2017. 2
[^6]: Z. Cao, T. Simon, S.-E. Wei, and Y. Sheikh. Realtime multi-person 2d pose estimation using part affinity fields. In CVPR, 2017. 2
[^7]: C.-H. Chen and D. Ramanan. 3d human pose estimation=2d pose estimation+ matching. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 7035–7043, 2017. 7
[^8]: R. Dabral, A. Mundhada, U. Kusupati, S. Afaque, and A. Jain. Structure-aware and temporally coherent 3d human pose estimation. arXiv preprint arXiv:1711.09250, 2017.7
[^9]: D. Drover, C.-H. Chen, A. Agrawal, A. Tyagi, and C. P. Huynh. Can 3d pose be learned from 2d projections alone? arXiv preprint arXiv:1808.07182, 2018. 2
[^10]: H.-S. Fang, Y. Xu, W. Wang, X. Liu, and S.-C. Zhu. Learning pose grammar to encode human body configuration for 3d pose estimation. In Thirty-Second AAAI Conference on Artificial Intelligence, 2018. 7
[^11]: A. Fathi, A. Farhadi, and J. M. Rehg. Understanding egocentric activities. In Proceedings of the International Conference on Computer Vision (ICCV), 2011. 2
[^12]: X. Glorot and Y. Bengio. Understanding the difficulty of training deep feedforward neural networks. In Proceedings of the thirteenth international conference on artificial intelligence and statistics, pages 249–256, 2010. 5
[^13]: K. He, X. Zhang, S. Ren, and J. Sun. Deep residual learning for image recognition. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 770–778, 2016. 4, 5
[^14]: U. Hess, K. Kafetsios, H. Mauersberger, C. Blaison, and C. Kessler. Signal and noise in the perception of facial emotion expressions: From labs to life. Pers Soc Psychol Bull, 42(8), 2016. 1
[^15]: M. R. I. Hossain and J. J. Little. Exploiting temporal information for 3d human pose estimation. In European Conference on Computer Vision, pages 69–86. Springer, 2018. 7
[^16]: . How to make 3 point tracked full-body avatars in vr, , last accessed on 2019-03-19. 1
[^17]: . Animated 3d characters, last accessed on 2019-03-19. 4
[^18]: C. Ionescu, D. Papava, V. Olaru, and C. Sminchisescu. Human3.6m: Large scale datasets and predictive methods for 3d human sensing in natural environments. IEEE transactions on pattern analysis and machine intelligence, 36(7):1325–1339, 2014. 2, 7
[^19]: E. Jahangiri and A. L. Yuille. Generating multiple diverse hypotheses for human 3d pose consistent with 2d joint detections. In Proceedings of the IEEE International Conference on Computer Vision, pages 805–814, 2017. 7
[^20]: H. Jiang and K. Grauman. Seeing invisible poses: Estimating 3d body pose from egocentric video. In 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 3501–3509. IEEE, 2017. 3
[^21]: A. Kanazawa, M. J. Black, D. W. Jacobs, and J. Malik. End-to-end recovery of human shape and pose. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 7122–7131, 2018. 7
[^22]: S. Li and A. B. Chan. 3d human pose estimation from monocular images with deep convolutional neural network. In Asian Conference on Computer Vision, pages 332–347. Springer, 2014. 2
[^23]: T.-Y. Lin, M. Maire, S. Belongie, J. Hays, P. Perona, D. Ramanan, P. Dollár, and C. L. Zitnick. Microsoft coco: Common objects in context. In European conference on computer vision, pages 740–755. Springer, 2014. 7
[^24]: M. Loper, N. Mahmood, J. Romero, G. Pons-Moll, and M. J. Black. Smpl: A skinned multi-person linear model. ACM Transactions on Graphics (TOG), 34(6):248, 2015. 2
[^25]: M. Ma, H. Fan, and K. M. Kitani. Going deeper into first-person activity recognition. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 1894–1903, 2016. 2
[^26]: J. Martinez, R. Hossain, J. Romero, and J. J. Little. A simple yet effective baseline for 3d human pose estimation. In Proceedings of the International Conference on Computer Vision (ICCV), 2017. 2, 6, 7
[^27]: D. Mehta, H. Rhodin, D. Casas, P. Fua, O. Sotnychenko, W. Xu, and C. Theobalt. Monocular 3d human pose estimation in the wild using improved cnn supervision. In 3D Vision (3DV), 2017. 2, 7, 8
## [^28]: D. Mehta, S. Sridhar, O. Sotnychenko, H. Rhodin, M. Shafiei, H.-P. Seidel, W. Xu, D. Casas, and C. Theobalt. Vnect: Real-time 3d human pose estimation with a single rgb camera. ACM Transactions on Graphics (TOG), 36(4):44, 2017. 8
---
[^29]: F. Moreno-Noguer. 3d human pose estimation from a single image via distance matrix regression. In 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 1561–1570. IEEE, 2017. 2, 7
[^30]: A. Newell, K. Yang, and J. Deng. Stacked hourglass networks for human pose estimation. In European Conference on Computer Vision, pages 483–499. Springer, 2016. 2, 5
[^31]: S. Park, J. Hwang, and N. Kwak. 3d human pose estimation using convolutional neural networks with 2d pose information. In European Conference on Computer Vision, Workshops, pages 156–169. Springer, 2016. 2
[^32]: G. Pavlakos, X. Zhou, K. G. Derpanis, and K. Daniilidis. Coarse-to-fine volumetric prediction for single-image 3d human pose. In Computer Vision and Pattern Recognition (CVPR), 2017 IEEE Conference on, pages 1263–1272. IEEE, 2017. 2
[^33]: G. Pavlakos, L. Zhu, X. Zhou, and K. Daniilidis. Learning to estimate 3d human pose and shape from a single color image. In IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2018. 2, 5
[^34]: L. Pishchulin, E. Insafutdinov, S. Tang, B. Andres, M. Andriluka, P. V. Gehler, and B. Schiele. Deepcut: Joint subset partition and labeling for multi person pose estimation. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 4929–4937, 2016. 2
[^35]: V. Ramakrishna, T. Kanade, and Y. Sheikh. Reconstructing 3d human pose from 2d image landmarks. In European Conference on Computer Vision, pages 573–586. Springer, 2012.
[^36]: J. T. Reason and J. J. Brand. Motion sickness. Academic press, 1975. 1
[^37]: H. Rhodin, C. Richardt, D. Casas, E. Insafutdinov, M. Shafiei, H.-P. Seidel, B. Schiele, and C. Theobalt. Ego cap: egocentric marker-less motion capture with two fisheye cameras. ACM Transactions on Graphics (TOG), 35(6):162, 2016. 3, 7
[^38]: H. Rhodin, M. Salzmann, and P. Fua. Unsupervised geometry-aware representation for 3d human pose estimation. arXiv preprint arXiv:1804.01110, 2018. 2
[^39]: G. Rogez and C. Schmid. Mocap-guided data augmentation for 3d pose estimation in the wild. In Advances in Neural Information Processing Systems, pages 3108–3116, 2016. 2, 7
[^40]: G. Rogez, J. S. Supancic, and D. Ramanan. First-person pose recognition using egocentric workspaces. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 4325–4333, 2015. 3
[^41]: G. Rogez, P. Weinzaepfel, and C. Schmid. Lcr-net: Localization-classification-regression for human pose. In CVPR 2017-IEEE Conference on Computer Vision & Pattern Recognition, 2017. 2
[^42]: G. Rogez, P. Weinzaepfel, and C. Schmid. LCR-Net++: Multi-person 2D and 3D Pose Detection in Natural Images. CoRR, abs/1803.00455v1, 2018. 2
[^43]: M. Sanzari, V. Ntouskos, and F. Pirri. Bayesian image based 3d pose estimation. In European Conference on Computer Vision, pages 566–582. Springer, 2016. 2
[^44]: T. Shiratori, H. S. Park, L. Sigal, Y. Sheikh, and J. K. Hodgins. Motion capture from body-mounted cameras. In ACM Transactions on Graphics (TOG), volume 30, page 31. ACM, 2011. 3
[^45]: X. Sun, J. Shang, S. Liang, and Y. Wei. Compositional human pose regression. In Proceedings of the IEEE International Conference on Computer Vision, pages 2602–2611, 2017. 7
[^46]: X. Sun, B. Xiao, F. Wei, S. Liang, and Y. Wei. Integral human pose regression. In Proceedings of the European Conference on Computer Vision (ECCV), pages 529–545, 2018. 2, 7
[^47]: B. Tekin, I. Katircioglu, M. Salzmann, V. Lepetit, and P. Fua. Structured prediction of 3d human pose with deep neural networks. In British Machine Vision Conference (BMVC), 2016.
[^48]: D. Tome, C. Russell, and L. Agapito. Lifting from the deep: Convolutional 3d pose estimation from a single image. CVPR 2017 Proceedings, pages 2500–2509, 2017. 2, 7
[^49]: H.-Y. Tung, H.-W. Tung, E. Yumer, and K. Fragkiadaki. Self-supervised learning of motion capture. In Advances in Neural Information Processing Systems, pages 5242–5252, 2017. 2
[^50]: H.-Y. F. Tung, A. Harley, W. Seto, and K. Fragkiadaki. Adversarial inversion: Inverse graphics with adversarial priors. arXiv preprint arXiv:1705.11166, 2017. 2
[^51]: G. Varol, J. Romero, X. Martin, N. Mahmood, M. J. Black, I. Laptev, and C. Schmid. Learning from synthetic humans. In 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2017), 2017. 2
[^52]: T. von Marcard, B. Rosenhahn, M. J. Black, and G. Pons-Moll. Sparse inertial poser: Automatic 3d human pose estimation from sparse imus. In Computer Graphics Forum, volume 36, pages 349–360. Wiley Online Library, 2017. 3
[^53]: S.-E. Wei, V. Ramakrishna, T. Kanade, and Y. Sheikh. Convolutional pose machines. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 4724–4732, 2016. 2, 5
[^54]: J. Wu, T. Xue, J. J. Lim, Y. Tian, J. B. Tenenbaum, A. Torralba, and W. T. Freeman. Single image 3d interpreter network. In European Conference on Computer Vision, pages 365–382. Springer, 2016. 2
[^55]: W. Xu, A. Chatterjee, M. Zollhoefer, H. Rhodin, P. Fua, H.-P. Seidel, and C. Theobalt. Mo $^{2}$Cap $^{2}$: Real-time mobile 3d motion capture with a cap-mounted fisheye camera. IEEE Transactions on Visualization and Computer Graphics, pages 1–1, 2019. 2, 3, 6, 8
[^56]: H. Yasin, U. Iqbal, B. Kruger, A. Weber, and J. Gall. A dual-source approach for 3d pose estimation from a single image. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 4948–4956, 2016. 7
## [^57]: H. Yonemoto, K. Murasaki, T. Osawa, K. Sudo, J. Shimamura, and Y. Taniguchi. Egocentric articulated pose tracking for action recognition. In International Conference on Machine Vision Applications (MVA), 2015. 3
---
[^58]: X. Zhou, X. Sun, W. Zhang, S. Liang, and Y. Wei. Deep kinematic pose regression. In European Conference on Computer Vision, pages 186–201. Springer, 2016. 2
[^59]: X. Zhou, M. Zhu, S. Leonardos, and K. Daniilidis. Sparse representation for 3d shape estimation: A convex relaxation approach. IEEE transactions on pattern analysis and machine intelligence, 39(8):1648–1661, 2017. 2
[^60]: X. Zhou, M. Zhu, S. Leonardos, K. G. Derpanis, and K. Daniilidis. Sparseness meets deepness: 3d human pose estimation from monocular video. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 4966–4975, 2016. 2
[^61]: X. Zhou, M. Zhu, G. Pavlakos, S. Leonardos, K. G. Derpanis, and K. Daniilidis. Monocap: Monocular human motion capture using a cnn coupled with a geometric prior. IEEE transactions on pattern analysis and machine intelligence, 2018. 7