# 利用外部弱监督在野外环境中估计以自我为中心的3D人体姿态 王健 $^{1,2}$ 刘凌杰 $^{1,2}$ 徐伟鹏 $^{3}$ 克里帕辛杜·萨卡尔 $^{1,2}$ 迪奥戈·卢维松 $^{1,2}$ 克里斯蒂安·特博尔特 $^{1,2}$ $^{1}$MPI信息学研究所 $^{2}$萨尔兰信息学园区 $^{3}$Facebook Reality Labs {jianwang,lliu,ksarkar,theobalt}@mpi-inf.mpg.de ## 摘要 近期，利用单个鱼眼相机进行以自我为中心的3D人体姿态估计受到了广泛关注。然而，现有方法在从野外图像中估计姿态时表现不佳，因为它们只能在合成数据上训练，缺乏大规模的野外以自我为中心的数据集。此外，当身体部位被周围场景遮挡或与之交互时，这些方法很容易失效。为了解决野外数据不足的问题，我们收集了一个名为“野外以自我为中心的姿态数据集（EgoPW）”的大规模野外以自我为中心的数据集。该数据集由头戴式鱼眼相机和辅助外部相机采集，训练过程中外部相机能提供第三人称视角下的人体额外观测信息。我们提出了一种新的以自我为中心的姿态估计方法，该方法能在新数据集上利用弱外部监督进行训练。具体来说，我们首先结合外部视图监督，通过时空优化方法为EgoPW数据集生成伪标签，随后用这些伪标签来训练以自我为中心的姿态估计网络。为了促进网络训练，我们提出了一种新颖的学习策略，利用预训练的外部视图姿态估计模型提取的高质量特征来监督以自我为中心的特征。实验表明，我们的方法能从单张野外以自我为中心的图像中预测准确的3D姿态，在定量和定性评估中均优于现有最先进的方法。 ### 1. 引言 由于传统的外置摄像头动作捕捉系统在人员在大空间内移动时会受到限制，从而限制了应用场景范围，因此基于头戴式或身体佩戴式相机的以自我为中心的动作捕捉技术近年来越发受到青睐。与传统系统不同，以自我为中心的动作捕捉系统 ![Image](images/96944f35ad8e8c2c0da9ded93b9dc9b4e2f15351fc33b10261a8832a8f28d7bb.jpg)
Figure 1. Compared with $Mo^{2}Cap^{2}$, our method gets a more accurate egocentric pose from a single in-the-wild image, especially when the body parts are occluded. Note that the external images are only used for visualization, not the inputs to our method.
具有移动性强、灵活性高且无需特定录制空间的特点，能够捕捉各类人体活动，可应用于可穿戴医疗监测、运动分析以及扩展现实等领域。 在本研究中，我们专注于从单个头戴式鱼眼相机中估计完整的3D人体姿态。最相关的工作是Mo²Cap² [^44] 和 xR-egopose [^35]。虽然这些方法取得了令人满意的结果，但由于真实数据有限，它们仅在合成图像上训练，因此在真实场景中的性能会显著下降。此外，当人体部位被周围场景遮挡或与之交互时，这些方法往往难以应对（参见图1中的Mo²Cap²结果）。这一现象既源于合成数据与真实数据之间的域差异，也源于它们处理遮挡问题的能力有限。 为了解决真实以自我为中心数据不足的问题。 --- 我们采集了一个大规模的自然场景下的自中心视角数据集，名为“野外自中心姿态数据集”（EgoPW）。这是目前规模最大的自然场景下自中心视角数据集，包含超过31.2万帧图像，涵盖了8种日常场景中的20种不同活动。为了获取网络训练所需的监督信息，一种可行方案是利用多视角摄像头配置来采集带有真实3D人体姿态标签的训练数据，或者采用多视角弱监督方式。然而，在空间有限的环境中（如图3所示的小厨房），这种方案并不实用，而这种场景正是常见的录制环境。因此，在灵活性与3D精度之间权衡后，我们采用了一种由自中心摄像头和单个辅助外部摄像头组成的新设备配置。实验表明，外部视角能在训练过程中提供额外的监督信息，尤其对于自中心视角中高度遮挡的区域（如下半身部分）效果显著。 为了解决遮挡问题并估算精确姿态，我们针对EgoPW数据集提出了一种新的弱监督式自中心姿态估计算法。具体而言，我们提出了一种时空优化方法，用于为EgoPW数据集中的每一帧生成精确的3D姿态。生成的姿态随后被用作训练自中心姿态估计网络的伪标签[^44]。为了提升网络性能，我们利用从外部姿态估计网络中提取的特征来辅助自中心姿态估计网络的训练，该外部网络已在大规模自然场景人体姿态数据集上训练完成。具体来说，我们通过欺骗判别器使其无法分辨特征来自哪种视角，从而强制使两种视角提取的特征尽可能相似。为了进一步提升姿态估计网络的性能，除了EgoPW数据集外，我们还使用合成数据集[^44]来训练网络，并采用域适应策略来缩小合成数据与真实数据之间的域差异。 我们在Wang等人[^42]和Xu等人[^44]提供的测试数据上评估了我们的方法。结果表明，无论是在定量还是定性方面，我们的方法都显著优于现有最先进的方法。我们还展示了在各种自然场景图像上的定性结果，证明我们的方法能够在极具挑战性的场景中预测精确的3D姿态，尤其是当人体关节严重遮挡时（详见图1中的结果）。总结来说，我们的贡献如下： - 一种利用外部视角的弱监督信息来估计自中心人体姿态的新方法，该方法在自然场景数据上的表现显著优于现有方法，尤其在存在严重遮挡的情况下； - 一个大规模的自然场景自中心视角数据集（EgoPW），由头戴式鱼眼摄像头和外部摄像头采集而成。该数据集可在免费获取； - 一种通过结合外部视角的监督信息为自然场景自中心数据集生成伪标签的新优化方法； - 一种用于网络训练的对抗性方法，通过让自中心图像的特征表示与外部特征表示相互匹配来优化网络。 ### 2. 相关工作 以自我为中心的3D全身姿态估计。Rhodin等人[^30]提出了首个利用头盔式立体鱼眼相机来估计全身姿态的方法。Cha等人[^4]则提出了一种基于RNN的方法，利用安装在头部的两个针孔相机来估计身体姿态。Xu等人[^44]采用了单个广角鱼眼相机方案，并提出了一种基于单帧的自我中心动作捕捉系统。采用相同装置，Tome等人[^35]利用自编码器网络捕捉预测热图中的不确定性，从而获取自我中心姿态。为了进一步减轻图像畸变的影响，Zhang等人[^46]提出了一种自动校准模块。Hwang等人[^14]在用户胸部安装超广角鱼眼相机，可同时估计身体姿态、相机旋转及头部姿态。Jiang等人[^16]在用户头部安装前置鱼眼相机，通过利用环境运动及人体四肢信息来估计身体和头部姿态。Wang等人[^42]提出了一种优化算法，借助从Mocap数据集中学到的运动先验来获取时间上稳定的自我中心姿态。然而，这些方法均在合成数据集上训练，因此由于域差异及缺乏外部监督，在真实图像上的性能会有所下降。相比之下，我们的方法在自然场景中的表现更佳。 伪标签生成。伪标签任务[^20] [^34] [^45]是一种半监督学习技术，它为未标记数据生成伪标签，并利用这些生成的标签来训练新模型。该技术已应用于分割[^8] [^22] [^47] [^48]、姿态估计[^2] [^21] [^23] [^25]以及图像分类[^1] [^13] [^29]领域。由于伪标签可能存在误差，一些方法被提出用于过滤不准确的标签以提高标签稳定性。Shi等人[^34]通过测量样本密度来为未标记样本设定置信度水平。Chen等人[^5]采用由易到难的迁移策略来确保伪标签的稳定性。Wang和Wu[^41]引入了重复重新预测策略来更新伪标签，而Rizve等人[^32]则提出了一种能选择伪标签的不确定性感知型伪标签选择框架。Morerio等人[^24]使用了条件 --- ![Image](images/068dc7948235173cb3231e4d279548d7779447b52d2863f808f1e92c4a9e0406.jpg)
Figure 2. Overview of our method. We first collected the new EgoPW dataset (Sec. 3.1), where pseudo labels are generated by a multi-view based optimization method (Sec. 3.2). We then train our model with the proposed framework (Sec. 3.3), where the network is simultaneously trained with EgoPW datasets and synthetic data from Mo $^{2}$Cap $^{2}$. We enforce the egocentric network to learn a better feature representation from the external view (Sec. 3.3.2) and bridge the gap between synthetic and real data with a domain classifier (Sec. 3.3.1).
利用GAN过滤伪标签中的噪声。与以往基于网络预测或聚类来生成标签的伪标签工作不同，我们设计了一种优化框架，能够同时利用自我中心视角和外部视角的监督来生成标签。 弱监督的3D人体姿态估计。近年来，开发弱监督3D姿态估计方法受到了越来越多的关注。弱监督方法不需要带有配对图像和3D标注的数据集。一些研究[^27] [^40]利用非刚性运动恢复结构技术，从无约束图像中的2D关键点标注获取3D关节位置。另一些研究[^6] [^7] [^10] [^28] [^38]提出了一种无监督学习方法，借助2D投影的 supervision来训练3D姿态估计网络。与我们工作最为接近的是[^15] [^19] [^31] [^39]提出的方法，它们利用多视角图像提供的弱监督来进行训练。Iqbal等人[^15]与Rhodin等人[^31]通过计算不同视角下经Procrustes对齐后的3D姿态之间的差异来指导网络训练过程。Wandt等人[^39]先预测相机姿态以及规范形式下的3D人体姿态，再利用多视角一致性来指导训练。Kocabas等人[^19]则利用不同视角间的极线几何关系生成伪标签，并用这些伪标签来训练3D姿态提升网络。与以往的研究[^15] [^19] [^31] [^39]不同，我们的方法采用了时空优化框架，以自中心视角和外部视角为输入，从而获取用于网络训练的鲁棒3D伪标签。这种优化方法能够确保当2D姿态估计存在误差时，网络训练过程的稳定性。 ### 3. 方法 我们提出了一种在野外数据集上训练神经网络的新方法，该方法利用来自自中心视角和外部视角的弱监督信息。我们的方法概览如图2所示。我们首先采集了一个大规模的自中心野外数据集，名为EgoPW，该数据集包含同步的自中心与外部图像序列（见第3.1节）。接下来，我们利用基于优化的框架为EgoPW数据集生成伪标签。该框架以时间窗口内包含B帧的自中心图像$\mathcal{I}_{seq}^{ego} = \{\mathcal{I}_{1}^{ego}, \ldots, \mathcal{I}_{B}^{ego}\}$和外部图像$\mathcal{I}_{seq}^{ext} = \{\mathcal{I}_{1}^{ext}, \ldots, \mathcal{I}_{B}^{ext}\}$作为输入，输出自中心3D姿态$\mathcal{P}_{seq}^{ego} = \{\mathcal{P}_{1}^{ego}, \ldots, \mathcal{P}_{B}^{ego}\}$作为伪标签（见第3.2节）。随后，我们利用来自$\mathrm{Mo}^{2} \mathrm{Cap}^{2}$ [^44]的合成数据以及带有伪标签的EgoPW数据集来训练自中心姿态估计网络$\mathcal{P}_{seq}^{ego}$。在训练过程中，我们利用现成的外部姿态估计网络[^43]提取的特征表示，以对抗学习的方式促使我们的自中心网络学习到更好的特征表示（见第3.3.2节）。我们还采用对抗性域适应策略来缩小合成数据集与真实数据集之间的域差异（见第3.3.1节）。 #### 3.1. EgoPW数据集 我们首先介绍新采集的EgoPW数据集，这是首个由自中心相机采集的大规模野外人类行为数据集，同时搭配… --- 外部摄像头（索尼RX0），两者同步工作。EgoPW数据集共包含31.8万帧图像，分为97个序列，每个序列由10名演员在20种服装样式下执行20种不同的动作。所有个人数据的收集均获得了IRB的批准。我们利用以自我为中心的视角图像和外部图像生成3D姿态作为伪标签，相关内容将在后文详述。就规模而言，我们的EgoPW数据集比现有的自然场景3D姿态估计数据集（如3DPW [^37]）更大，且与现有的合成以自我为中心的数据集（包括Mo²Cap² [^44]和xR-egopose [^35]数据集）规模相当。 #### 3.2. 伪标签生成的优化 在本节中，我们提出了一种基于[^42]的优化方法，用于为EgoPW生成伪标签。给定一个序列，我们将其拆分为包含B个连续帧的片段。对于以自我为中心的帧$I_{seq}^{ego}$，我们使用Mo²Cap²方法$\tilde{\mathcal{P}}_{seq}^{ego} = \{\tilde{\mathcal{P}}_{1}^{ego}, \ldots, \tilde{\mathcal{P}}_{B}^{ego}\}, \tilde{\mathcal{P}}_{i}^{ego} \in \mathbb{R}^{15 \times 3}$来估计由15个关节位置表示的、以以自我为中心摄像头坐标系为基准的3D姿态（称为“以自我为中心的姿态”）$H_{seq}^{ego} = \{H_{1}^{ego}, \ldots, H_{B}^{ego}\}$，以及2D热图[^44]。除了以自我为中心的姿态外，我们还利用ORB-SLAM2 $[R_{seq}^{SLAM} \mid t_{seq}^{SLAM}] = \{[R_{1}^{2} \mid t_{1}^{2}], \ldots, [R_{B-1}^{2} \mid t_{B-1}^{2}]\}$来估计相邻两帧之间以自我为中心摄像头姿态的变换矩阵[^26]。对于外部帧$I_{seq}^{ext}$，我们使用VIBE $\mathcal{P}_{seq}^{ext} = \{\mathcal{P}_{1}^{ext}, \ldots, \mathcal{P}_{B}^{ext}\}$来估计3D姿态（称为“外部姿态”）$\mathcal{P}_{i}^{ext} \in \mathbb{R}^{15 \times 3}$、[^18]，并使用OpenPose $\mathcal{J}_{seq}^{ext} = \{\mathcal{J}_{1}^{ext}, \ldots, \mathcal{J}_{B}^{ext}\}$来估计2D关节点$\mathcal{J}_{i}^{ext} \in \mathbb{R}^{15 \times 2}$、[^3]。 接下来，按照[^42]的描述，我们构建一个潜在空间，通过由基于CNN的编码器$f_{enc}$和解码器$f_{dec}$组成的序列VAE来编码以自我为中心的运动先验。随后，我们通过寻找一个潜矢量z来优化以自我为中心的姿态，使得对应的姿态序列$P_{seq}^{ego} = f_{dec}(z)$能够最小化目标函数： $$ \begin{aligned}E(\mathcal{P}_{seq}^{ego},R_{seq},t_{seq})&=\lambda_{R}^{ego}E_{R}^{ego}+\lambda_{R}^{ext}E_{R}^{ext}+\lambda_{J}^{ego}E_{J}^{ego}\\&+\lambda_{J}^{ext}E_{J}^{ext}+\lambda_{T}E_{T}+\lambda_{B}E_{B}\\&+\lambda_{C}E_{C}+\lambda_{M}E_{M}.\\ \end{aligned} $$ 在该目标函数中，$E_R^{ego}$、$E_J^{ego}$、$E_T$和$E_B$分别代表以自我为中心的投影项、以自我为中心的姿态正则化项、运动平滑正则化项和骨骼长度正则化项，这些定义与[^42]中的定义一致。$E_R^{ext}$、$E_J^{ext}$、$E_C$和$E_M$分别是外部投影项、外部3D人体姿态正则化项、摄像头姿态一致性项和摄像头矩阵正则化项，相关内容将在后文描述。各项的详细定义请参见补充材料。 需要注意的是，由于外部摄像头和以自我为中心摄像头之间的相对姿态未知，我们还需要针对每一帧优化以自我为中心摄像头相对于外部摄像头的姿态，即旋转参数$R_{seq} = R_1, \ldots, R_B$和平移参数$t_{seq} = t_1, \ldots, t_B$。 外部投影项。为了利用外部2D姿态来指导优化过程，我们设计了外部投影项，该术语旨在最小化投影后的3D姿态与外部2D关节点之间的差异。其能量项定义为： $$ E_{R}^{e x t}(\mathcal{P}_{s e q}^{e g o},R_{s e q},t_{s e q})=\sum_{i=1}^{B}\left\|\mathcal{J}_{i}^{e x t}-K\left[R_{i}\mid t_{i}\right]\mathcal{P}_{i}^{e g o}\right\|_{2}^{2}, $$ 其中，K表示外部相机的内参矩阵；$[R_i \mid t_i]$ 表示第i帧中以外部相机坐标为参考系的自我中心相机的位姿。在公式2中，我们首先利用自我中心相机的位姿$\mathcal{P}_{i}^{ego}$以及内参矩阵K，将自我中心的身体位姿$[R_i \mid t_i]$投影到外部视图中的2D身体位姿，随后将投影得到的身体位姿与OpenPose估算出的2D关节点[^3]进行比较。由于在优化初期，外部相机与自我中心相机之间的相对位姿尚不清楚，因此我们在优化自我中心的身体位姿$[R_i \mid t_i]$的同时，也同步优化自我中心相机的位姿$\mathcal{P}_{seq}^{ego}$。为了加快优化的收敛速度，我们采用透视n点算法$[R_i \mid t_i]$来初始化自我中心相机的位姿[^11]。 相机位姿一致性。仅依靠外部重投影项无法得到精确的3D位姿，因为自我中心相机的位姿和优化后的身体位姿可以任意改变而不违反外部重投影约束。为消除这种歧义，我们引入如下的相机一致性项$E_{C}$： $$ \begin{aligned}E_{C}(R_{seq},t_{seq})&=\sum_{i=1}^{B-1}\left\|\begin{bmatrix}R_{i}&t_{i}\\ 0&1\end{bmatrix}\begin{bmatrix}R_{i}^{i+1}&t_{i}^{i+1}\\ 0&1\end{bmatrix}\right.\\&-\left.\begin{bmatrix}R_{i+1}&t_{i+1}\\ 0&1\end{bmatrix}\right\|_{2},\end{aligned} $$ 该约束要求第$(i+1)$帧时的自我中心相机位姿$[R_{i+1} \mid t_{i+1}]$，与通过第i帧的自我中心相机位姿$[R_i \mid t_i]$结合第i帧与第$(i+1)$帧之间的相对位姿所得到的位姿保持一致。 外部3D身体位姿正则化。除了外部重投影项外，我们还利用外部3D身体位姿来指导自我中心3D身体位姿的优化。我们定义了外部3D位姿项，用于衡量经过刚性对齐后外部身体位姿与自我中心身体位姿之间的差异： $$ E_{J}(\mathcal{P}_{{s e q}}^{{e g o}},\mathcal{P}_{{s e q}}^{{e x t}})=\sum_{i=1}^{B}\left\|\mathcal{P}_{i}^{{e x t}}-[R_{i}^{p a}\mid t_{i}^{p a}]\mathcal{P}_{i}^{{e g o}}\right\|_{2}^{2}, $$ --- ![Image](images/880d67347e9d083b06d4da9e2f753bf9d6c598a21165fe8c580539840bf83f08.jpg)
(a) Egocentric Image (b) Only Egocentric (c) Our Pseudo Label (d) Only External (e) External Image
Figure 3. Our pseudo label generation method combines the information from both the egocentric view and external view, therefore leading to more accurate pseudo labels (c). Only with the egocentric camera, the feet cannot be observed and well-tracked (b). Only with the external camera, the hands are occluded and result in the wrong result on the hand part (d).
其中，$[R_i^{pa} \mid t_i^{pa}]$是通过Procrustes分析计算得到的变换矩阵，它可将外部3D位姿估计值$\mathcal{P}_i^{ext}$与自我中心3D位姿$\mathcal{P}_i^{ego}$进行刚性对齐。 通过结合从自我中心视图和外部视图估算出的身体位姿，我们能够重构出更精确的伪标签。如图3所示，该人的手部在外部视图中被遮挡，导致外部视图中手部追踪失败（图3，b），但在自我中心视图中手部清晰可见且可被追踪（图3，d）；另一方面，足部在自我中心视图中无法被观测到，因此在该视图中无法被追踪（图3，b），但在外部视图中却易于观测和追踪（图3，d）。通过整合两个视图的信息，我们便能成功预测出作为伪标签的精确3D位姿（图3，c）。需要注意的是，外部相机仅用于生成伪标签，测试时仅使用自我中心相机。 相机矩阵正则化。我们约束相机旋转矩阵$R_{i}$为正交矩阵： $$ E_{J}(R_{s e q})=\sum_{i=1}^{B}\left\|R_{i}^{T}R_{i}-I\right\|_{2}^{2}. $$ 与以往利用多视图弱监督的单视图姿态估计方法[^15] [^19] [^31] [^39]不同，我们的时空优化方法是在学习到的运动先验指导下生成伪标签，因此对于自我中心视图中常见的噪声较大且不准确的2D姿态估计结果，该方法具有更强的鲁棒性。 #### 3.3. 训练自我中心姿态估计网络 通过第3.2节中的优化框架，我们可以为EgoPW数据集中的每个以自我为中心的帧获取精确的3D姿态伪标签$\mathcal{P}_{seq}^{ego}$，这些伪标签随后会被处理成2D热图$H_E$以及关节与以自我为中心的相机之间的距离$D_E$，具体细节参见补充材料中所描述的鱼眼相机模型[^33]。 随后，我们在Mo²Cap²生成的合成数据集以及EgoPW数据集上训练基于单图像的以自我为中心的姿态估计网络，如图2右侧所示。该姿态估计网络包含一个特征提取器Θ和一个姿态估计器Ψ：特征提取器Θ将图像编码为特征向量，姿态估计器Ψ则将特征向量解码为2D热图和距离向量。利用鱼眼相机模型即可从这些数据中重建出3D姿态。此处我们提到的合成数据集$S = \{I_S, H_S, D_S\}$包含来自Mo²Cap²数据集的合成图像$I_S$及其对应的热图$H_S$和距离标签$D_S$；而EgoPW数据集$E = \{I_E^{ego}, H_E, D_E, I_E^{ext}\}$则包含以自我为中心的野外图像$I_E^{ego}$，以及伪热图$H_E$、距离标签$D_E$和对应的外部图像$I_E^{ext}$。在训练过程中，我们使用两项重建损失和两项对抗损失来训练该以自我为中心的姿态估计网络。重建损失定义为预测的热图/距离与标签中的热图/距离之间的均方误差： $$ \begin{aligned}&L_{S}=\mathrm{mse}(\hat{H}_{S},H_{S})+\mathrm{mse}(\hat{D}_{S},D_{S})\\&L_{E}=\mathrm{mse}(\hat{H}_{E},H_{E})+\mathrm{mse}(\hat{D}_{E},D_{E}),\\ \end{aligned} $$ 其中 $$ \begin{align*}\hat{H}_{S},\hat{D}_{S}&=\Psi(F_{S}),F_{S}=\Theta(I_{S});\\\hat{H}_{E},\hat{D}_{E}&=\Psi(F_{E}^{ego}),F_{E}^{ego}=\Theta(I_{E}^{ego}).\end{align*} $$ 我们分别设计了两项对抗损失，用于学习以自我为中心的特征表示，并缩小合成数据集与真实数据集之间的域差异。这两项损失的说明如下。 #### 3.3.1 对抗性域适应 为了缩小合成数据域与真实数据域之间的差距，我们借鉴Tzeng等人的方法[^36]，引入了一个对抗性判别器$\Gamma$。该判别器以从合成图像和野外图像中提取的特征向量作为输入，用于判断这些特征是否来自野外图像。对抗性判别器$\Gamma$通过交叉熵损失进行训练： $$ \mathcal{L}_{D}=-E[\operatorname{l o g}(\Gamma(F_{S}))]-E[\operatorname{l o g}(1-\Gamma(F_{E}^{{e g o}}))]. $$ 一旦判别器$\Gamma$训练完成，特征提取器$\Theta$就会将不同域的图像映射到同一个特征空间，使得判别器$\Gamma$无法区分这些特征源自合成图像还是真实图像。如此一来，姿态估计器$\Psi$就能为野外数据预测出更精确的姿态。 --- #### 3.3.2 利用外部视图监督以自我为中心的特征表示 尽管我们的新训练数据集规模很大，但与现有的大规模外部视角人体数据集（包含数千种身份）相比，该数据集中身份的多样性仍然相对有限（仅20种身份）。一般来说，由于数据集的多样性更高，利用这些外部视角数据集学到的表征质量也更好。为了进一步提升网络的泛化能力并防止其过度拟合训练所用的身份，我们提出利用高质量的第三人称视角特征来监督自我中心表征。从迁移学习的角度来看，尽管遵循Mo²Cap² [^44] 的方法，我们的自我中心网络已在第三人称视角数据集上预训练，但在合成数据集上微调时仍容易“遗忘”已学到的知识。第三人称视角特征的监督作用能够防止自我中心特征与从大规模真实人体图像中学到的特征偏离过大。 然而，直接最小化自我中心特征$F_E^{ego}$与外部特征$F_E^{ext}$之间的距离并不会提升性能，因为由于视角方向和相机畸变的显著差异，自我中心视角与外部视角的中间特征本就应当存在差异。为解决这一问题，我们采用对抗训练策略来对齐自我中心网络与外部网络的特征表征。具体而言，我们使用一个对抗判别器$\Lambda$，它接收从自我中心图像及对应的自然场景图像中提取的特征向量，并判断该特征源自自我中心图像还是外部图像。该对抗判别器$\Lambda$通过交叉熵损失函数进行训练： $$ {\cal L}_{V}=-E[\log(\Lambda(F_{E}^{e g o}))]-E[\log(1-\Lambda(F_{E}^{e x t}))], $$ 其中$F_E^{ext} = \Theta^{ext}(I_E^{ext})$和$\Theta^{ext}$是外部姿态估计网络的特征提取器，其架构与自我中心姿态估计网络完全一致。外部姿态估计网络中特征提取器$\Theta^{ext}$和姿态估计器$\Psi^{ext}$的参数取自Xiao等人研究中的预训练模型[^43]，且在训练过程中保持固定。 需要注意的是，姿态估计网络的深层通常代表人体的全局语义信息$^{[9]}$，因此我们使用ResNet-50网络第4个残差块的输出特征$^{[12]}$作为判别器$\Lambda$的输入。此外，自我中心视角与外部视角中关节的空间位置存在明显差异，这会使判别器$\Lambda$轻易识别出自我中心特征与外部特征的区别。为解决这一问题，我们在判别器$\Lambda$中引入平均池化层来对特征进行空间聚合，从而进一步消除自我中心图像与外部图像之间空间分布的影响。更多细节请参阅补充材料。 ![Image](images/995294c667e60760c3a83a7b036cde85c5a90b081c10c3466feb48b12005dece.jpg)
Figure 4. The visualization of features with (b) or without (c) the adversarial supervision from external features. By supervising the training of the egocentric network with the feature representation from an external view, the egocentric network is able to focus on extracting the semantic features of the human body.
在训练过程中，自我中心姿态估计网络被训练以生成特征$F_E^{ego}$来欺骗域判别器$\Lambda$，使其无法区分该特征源自自我中心图像还是外部图像。为实现这一点，自我中心网络会学会更多地关注输入图像中的相关部分，即人体，这一点如图4所示。 ### 4. 实验 #### 4.1. 数据集 我们在Mo $^{2}$Cap $^{2}$ [^44] 和 Wang等人[^42]提供的真实数据集上对微调后的网络进行了定量评估。Mo $^{2}$Cap $^{2}$ [^44] 的真实数据集包含室内外场景下拍摄的两人共2700帧图像，而Wang等人[^42]的数据集则包含摄影棚内拍摄的两人共12000帧图像。为了衡量我们生成的伪标签的准确性，我们仅在Wang等人[^42]的数据集上评估我们的优化方法（第3.2节），因为Mo $^{2}$Cap $^{2}$ 数据集并不包含外部视角数据。 为了在野外数据上评估我们的方法，我们还对EgoPW数据集的测试集进行了定性评估。EgoPW数据集将公开发布，更多细节以及与其他数据集的对比结果详见补充材料。 #### 4.2. 评估指标 我们使用PA-MPJPE和BA-MPJPE这两个指标来衡量我们的方法及其他基线方法的结果，它们用于评估单人体姿态的准确性。对于PA-MPJPE，我们利用Procrustes分析$\hat{P}$将每一帧中估计出的姿态$\mathcal{P}$与真实姿态[^17]进行刚性对齐。为了消除身体尺度的影响，我们也报告了BA-MPJPE分数。在该指标计算中，我们首先将每个预测的人体姿态$\hat{P}$和真实人体姿态$\mathcal{P}$的骨骼长度调整为标准骨架的骨骼长度，随后计算两种处理后姿态之间的PA-MPJPE值。 #### 4.3. 伪标签生成 在本文中，我们首先使用优化框架（第 3.2 节）生成伪标签，并利用这些标签来训练我们的 --- ![Image](images/c48e4c81f2a897d65129b9657a4db4c3d45bb247cccb95bfd4f984d2ebee5ab5.jpg)
Figure 5. Qualitative comparison between our method and the state-of-the-art methods. From left to right: input image, $Mo^{2}Cap^{2}$ result, xR-egopose result, our result, and external image. The ground truth pose is shown in red. Note that the external images are not used during inference. The input images in the left part are from the test dataset in [^42], while those in the right part come from EgoPW test sequences.
MethodPA-MPJPEBA-MPJPE
$Mo^{2}Cap^{2}$102.374.46
xR-egopose112.087.20
Wang et al. [^42]83.4063.88
VIBE [^18]68.1352.99
Our Optimizer57.1946.14
Table 1. The accuracy of pseudo labels on Wang et al.'s dataset. Utilizing both egocentric and external view, the body poses from our optimization method (Sec. 3.2) are more accurate and can serve as better pseudo labels.
网络（第 3.3 节）。因此，准确率更高的伪标签通常会带来更好的网络性能。在本实验中，我们在 Wang 等人的数据集上评估了伪标签的准确率，并将结果显示在表 1 中。该表表明，我们的方法通过在优化过程中同时利用自我中心视角和外部视角，优于所有基线方法。需要注意的是，尽管在表 1 中进行了比较，我们不能使用任何基于外部视角的姿势估计方法（例如 VIBE [^18] 和 3DPW [^37]）来训练自我中心姿势估计网络。这是因为外部相机和自我中心相机之间的相对位置是未知的，使得仅从外部视角无法获得自我中心的身体姿势。与我们的优化方法相比，[^42] 中所提方法由于缺乏外部视角的监督，表现较差。 #### 4.4. 三维姿态估计对比 在本节中，我们将第3.3节中训练的自我中心姿态估计网络与以往的单帧基方法在[^42]提供的测试数据集上进行对比，结果见表2中的“Wang等人测试数据集”栏。由于xR-egopose的代码或预测结果并未公开，我们采用了自行实现的xR-egopose版本。在该数据集上，
MethodPA-MPJPEBA-MPJPE
Wang et al.'s test dataset
Rhodin et al. [^31]89.6773.56
$Mo^{2}Cap^{2}$ [^44]102.374.46
xR-egopose [^35]112.087.20
Ours81.7164.87
$Mo^{2}Cap^{2}$ test dataset
Rhodin et al. [^31]97.6976.92
$Mo^{2}Cap^{2}$ [^44]91.1670.75
xR-egopose [^35]86.8566.54
Ours83.1764.33
Table 2. Performance of our egocentric pose estimation network (Sec. 3.3) on Wang et al.'s test dataset and Mo $^{2}$Cap $^{2}$ test dataset [^44]. Our method outperforms the state-of-the-art methods, Mo $^{2}$Cap $^{2}$ [^44] and xR-egopose [^35], on both metrics.
我们的方法分别比Mo²Cap²和xR-egopose的性能高出20.1%和27.0%。我们还在Mo²Cap²测试数据集上与以往的方法进行了对比，结果见表2中的“Mo²Cap²测试数据集”栏。在Mo²Cap²测试数据集上，我们的方法比Mo²Cap²和xR-egopose的性能分别高出8.8%和4.2%。 从表2的结果可以看出，在单帧自我中心姿态估计任务中，我们的方法优于以往的所有方法。关于各类运动的更定量结果可参见补充材料。在定性比较方面，我们在图5中展示了该方法在实验室数据集和野外数据集上的结果。与$Mo^{2}Cap^{2}$及xR-egopose相比，我们的方法表现更佳，尤其是在身体部位被遮挡的野外场景中。更多定性结果请参阅补充材料。 我们还将该方法与Rhodin等人的方法[^31]进行了比较，后者利用多视角提供的弱监督来训练单视角姿态估计网络。 --- 在我们的EgoPW数据集中，仅包含一个自我中心视角和一个外部视角。因此，我们固定外部视角的3D姿态估计网络，仅训练自我中心姿态估计网络。遵循Rhodin等人[^31]的做法，我们通过Procrustes分析来对齐自我中心视角与外部视角的预测结果，并采用Rhodin等人提出的损失函数。表2中的结果显示我们的方法性能更优。这主要是因为我们的时空优化方法能预测出准确且时间上稳定的3D姿态作为伪标签，而其他方法在自我中心姿态估计上则存在偏差。 #### 4.5. 消融研究
MethodPA-MPJPEBA-MPJPE
w/o external view90.0568.99
w/o learning representation85.4667.01
w/o domain adaptation84.2266.48
Unsupervised DA91.5669.17
Ours81.7164.87
Table 3. The quantitative results of ablation study.
来自外部视角的监督。在本研究中，我们将外部视角引入作为网络训练的监督信号。外部视角能够生成准确的伪标签，尤其在人体部位在自我中心视角中被遮挡但在外部视角中可见时效果更佳。若没有外部视角，生成的伪标签准确性较低，进而会影响网络性能。为了验证这一点，我们首先采用Wang等人的方法生成3D姿态伪标签（即不借助任何外部监督），然后基于这些新伪标签训练姿态估计网络。结果如表3中“无外部视角”行所示。我们还在图6中展示了有无外部视角监督的定性结果。定性和定量结果均表明，有外部监督时，我们的姿态估计网络性能显著更好，尤其是在遮挡情况下。 学习自我中心特征表示以及通过对抗训练弥合域差异。在本研究中，我们训练姿态估计网络时引入了两个对抗组件，以学习自我中心人体的特征表示（见3.3.2节）并弥合合成图像与真实图像之间的域差异（见3.3.1节）。为了验证这两个模块的有效性，我们在训练过程中移除了域分类器$\Lambda$，结果如表3中“无特征表示学习”行所示。我们还移除了 ![Image](images/41153f477ff7ece86151a49966aa484ddea4233a73a88d5203050c5871a1235d.jpg)
Figure 6. The results of our method with (c) and without external view (b). The network cannot predict accurate poses for the occluded cases without the external view supervision. The external view is only for visualization and not used for predicting the pose.
域分类器$\Gamma$，在不使用$L_{D}$的情况下训练网络，定量结果如表3中“无域适应”行所示。一旦移除这两个组件中的任何一个，我们的方法性能便会下降，这证明了特征表示学习模块和域适应模块的有效性。 仅与仅使用无监督域适应方法的结果进行比较。在本实验中，我们将我们的方法与常用于迁移学习任务的无监督对抗域适应方法[^36]进行了对比。我们仅利用对抗域适应模块中的$L_{S}$和$L_{D}$来训练网络（见第3.3.1节），并在表3的“无监督DA”栏中展示了结果。由于我们使用了高质量的伪标签，我们的方法优于无监督域适应方法。 ### 5. 结论 在本文中，我们提出了一种基于单头戴式鱼眼相机的自我中心人体姿态估计新方法。我们收集了一个新的自然场景下的自我中心数据集（EgoPW），并设计了一种新的优化方法来生成精确的自我中心姿态作为伪标签。接着，我们利用这些伪标签以及外部网络的特征来监督自我中心姿态估计网络。实验表明，无论是在定性还是定量方面，我们的方法都优于所有现有最先进的方法，而且该方法在严重遮挡情况下也能取得良好效果。在未来的工作中，我们希望开发一种基于视频的方法，从自然场景视频中估计时间上连贯的自我中心姿态。 局限性。我们方法中伪标签的准确性受到自然场景采集系统的限制，该系统仅包含一个自我中心视角和一个外部视角，这进一步限制了网络的性能。未来的解决方案之一是融合不同传感器，包括惯性测量单元和深度相机，以采集自然场景数据集。 致谢：Jian Wang、Kripasindhu Sarkar和Christian Theobalt得到了ERC Consolidator Grant 4DReply（770784）的支持；Lingjie Liu得到了Lise Meitner博士后奖学金的支持。 --- ## 参考文献 [^1]: Eric Arazo, Diego Ortego, Paul Albert, Noel E O'Connor, and Kevin McGuinness. Pseudo-labeling and confirmation bias in deep semi-supervised learning. In 2020 International Joint Conference on Neural Networks (IJCNN), pages 1–8. IEEE, 2020. 2 [^2]: Jinkun Cao, Hongyang Tang, Hao-Shu Fang, Xiaoyong Shen, Cewu Lu, and Yu-Wing Tai. Cross-domain adaptation for animal pose estimation. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 9498–9507, 2019. 2 [^3]: Zhe Cao, Tomas Simon, Shih-En Wei, and Yaser Sheikh. Realtime multi-person 2d pose estimation using part affinity fields. In CVPR, 2017. 4 [^4]: Y. Cha, T. Price, Z. Wei, X. Lu, N. Rewkowski, R. Chabra, Z. Qin, H. Kim, Z. Su, Y. Liu, A. Ilie, A. State, Z. Xu, J. Frahm, and H. Fuchs. Towards fully mobile 3d face, body, and environment capture using only head-worn cameras. IEEE Transactions on Visualization and Computer Graphics, 24(11):2993–3004, 2018. 2 [^5]: Chaoqi Chen, Weiping Xie, Wenbing Huang, Yu Rong, Xinghao Ding, Yue Huang, Tingyang Xu, and Junzhou Huang. Progressive feature alignment for unsupervised domain adaptation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 627–636, 2019. 2 [^6]: Ching-Hang Chen, Ambrish Tyagi, Amit Agrawal, Dylan Drover, Stefan Stojanov, and James M Rehg. Unsupervised 3d pose estimation with geometric self-supervision. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 5714–5724, 2019. 3 [^7]: Xipeng Chen, Kwan-Yee Lin, Wentao Liu, Chen Qian, and Liang Lin. Weakly-supervised discovery of geometry-aware representation for 3d human pose estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 10895–10904, 2019. 3 [^8]: Zhenghao Chen, Rui Zhang, Gang Zhang, Zhenhuan Ma, and Tao Lei. Digging into pseudo label: a low-budget approach for semi-supervised semantic segmentation. IEEE Access, 8:41830–41837, 2020. 2 [^9]: Xiao Chu, Wei Yang, Wanli Ouyang, Cheng Ma, Alan L Yuille, and Xiaogang Wang. Multi-context attention for human pose estimation. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 1831–1840, 2017. 6 [^10]: Dylan Drover, Ching-Hang Chen, Amit Agrawal, Ambrish Tyagi, and Cong Phuoc Huynh. Can 3d pose be learned from 2d projections alone? In Proceedings of the European Conference on Computer Vision (ECCV) Workshops, pages 0–0, 2018. 3 [^11]: X. Gao, Xiaorong Hou, Jianliang Tang, and H. Cheng. Complete solution classification for the perspective-three-point problem. IEEE Trans. Pattern Anal. Mach. Intell., 25:930–943, 2003. 4 [^12]: Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In Proceedings. IEEE计算机视觉与模式识别会议论文集，第770–778页，2016年。6 [^13]: Zijian Hu, Zhengyu Yang, Xuefeng Hu, and Ram Nevatia. Simple: Similar pseudo label exploitation for semi-supervised classification. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 15099–15108, 2021. 2 [^14]: Dong-Hyun Hwang, Kohei Aso, Ye Yuan, Kris Kitani, and Hideki Koike. Monoeye: Multimodal human motion capture system using a single ultra-wide fisheye camera. In ACM Symposium on User Interface Software & Technology, page 98–111, 2020. 2 [^15]: Umar Iqbal, Pavlo Molchanov, and Jan Kautz. Weakly-supervised 3d human pose learning via multi-view images in the wild. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 5243–5252, 2020. 3, 5 [^16]: Hao Jiang and Vamsi Krishna Ithapu. Egocentric pose estimation from human vision span. ICCV, 2021. 2 [^17]: David G Kendall. A survey of the statistical theory of shape. Statistical Science, pages 87–99, 1989. 6 [^18]: Muhammed Kocabas, Nikos Athanasiou, and Michael J. Black. VIBE: video inference for human body pose and shape estimation. In IEEE Conference on Computer Vision and Pattern Recognition, pages 5252–5262, 2020. 4, 7 [^19]: Muhammed Kocabas, Salih Karagoz, and Emre Akbas. Self-supervised learning of 3d human pose using multi-view geometry. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 1077–1086, 2019. 3, 5 [^20]: Dong-Hyun Lee et al. Pseudo-label: The simple and efficient semi-supervised learning method for deep neural networks. In Workshop on challenges in representation learning, ICML, volume 3, page 896, 2013. 2 [^21]: Chen Li and Gim Hee Lee. From synthetic to real: Unsupervised domain adaptation for animal pose estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 1482–1491, 2021. 2 [^22]: Yuexiang Li, Jiawei Chen, Xinpeng Xie, Kai Ma, and Yefeng Zheng. Self-loop uncertainty: A novel pseudo-label for semi-supervised medical image segmentation. In International Conference on Medical Image Computing and Computer-Assisted Intervention, pages 614–623. Springer, 2020. 2 [^23]: Katja Ludwig, Sebastian Scherer, Moritz Einfalt, and Rainer Lienhart. Self-supervised learning for human pose estimation in sports. In 2021 IEEE International Conference on Multimedia & Expo Workshops (ICMEW), pages 1–6. IEEE, 2021. 2 [^24]: Pietro Morerio, Riccardo Volpi, Ruggero Ragonesi, and Vittorio Murino. Generative pseudo-label refinement for unsupervised domain adaptation. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, pages 3130–3139, 2020. 2 ## [^25]: Jiteng Mu, Weichao Qiu, Gregory D Hager, and Alan L Yuille. Learning from synthetic animals. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 12386–12395, 2020. 2 --- [^26]: Raúl Mur-Artal, J. M. M. Montiel, and Juan D. Tardós. ORB-SLAM: a versatile and accurate monocular SLAM system. IEEE Transactions on Robotics, 31(5):1147–1163, 2015. 4 [^27]: David Novotny, Nikhila Ravi, Benjamin Graham, Natalia Neverova, and Andrea Vedaldi. C3dpo: Canonical 3d pose networks for non-rigid structure from motion. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 7688–7697, 2019. 3 [^28]: Dario Pavllo, Christoph Feichtenhofer, David Grangier, and Michael Auli. 3d human pose estimation in video with temporal convolutions and semi-supervised training. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 7753–7762, 2019. 3 [^29]: Hieu Pham, Zihang Dai, Qizhe Xie, and Quoc V Le. Meta pseudo labels. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 11557–11568, 2021. 2 [^30]: Helge Rhodin, Christian Richardt, Dan Casas, Eldar Insafutdinov, Mohammad Shafiei, Hans-Peter Seidel, Bernt Schiele, and Christian Theobalt. Egocap: egocentric marker-less motion capture with two fisheye cameras. ACM Trans. Graph., 35(6):162:1–162:11, 2016. 2 [^31]: Helge Rhodin, Jörg Spörri, Isinsu Katircioglu, Victor Constantin, Frédéric Meyer, Erich Müller, Mathieu Salzmann, and Pascal Fua. Learning monocular 3d human pose estimation from multi-view images. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 8437–8446, 2018. 3, 5, 7, 8 [^32]: Mamshad Nayeem Rizve, Kevin Duarte, Yogesh S Rawat, and Mubarak Shah. In defense of pseudo-labeling: An uncertainty-aware pseudo-label selection framework for semi-supervised learning. arXiv preprint arXiv:2101.06329, 2021. 2 [^33]: Davide Scaramuzza and Katsushi Ikeuchi. Omnidirectional camera. 2014. 5 [^34]: Weiwei Shi, Yihong Gong, Chris Ding, Zhiheng MaXiaoyu Tao, and Nanning Zheng. Transductive semi-supervised deep learning using min-max features. In Proceedings of the European Conference on Computer Vision (ECCV), pages 299–315, 2018. 2 [^35]: Denis Tomè, Patrick Peluse, Lourdes Agapito, and Hernán Badino. xr-egopose: Egocentric 3d human pose from an HMD camera. In IEEE International Conference on Computer Vision, pages 7727–7737, 2019. 1, 2, 4, 7 [^36]: Eric Tzeng, Judy Hoffman, Kate Saenko, and Trevor Darrell. Adversarial discriminative domain adaptation. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 7167–7176, 2017. 5, 8 [^37]: Timo von Marcard, Roberto Henschel, Michael J Black, Bodo Rosenhahn, and Gerard Pons-Moll. Recovering accurate 3d human pose in the wild using imus and a moving camera. In Proceedings of the European Conference on Computer Vision (ECCV), pages 601–617, 2018. 4, 7 [^38]: Bastian Wandt and Bodo Rosenhahn. Repnet: Weakly supervised training of an adversarial reprojection network for 3d human pose estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 7782–7791, 2019. 3 [^39]: Bastian Wandt, Marco Rudolph, Petrissa Zell, Helge Rhodin, and Bodo Rosenhahn. Canonpose: Self-supervised monocular 3d human pose estimation in the wild. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 13294–13304, 2021. 3, 5 [^40]: Chaoyang Wang, Chen Kong, and Simon Lucey. Distill knowledge from nrsfm for weakly supervised 3d pose learning. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 743–752, 2019. 3 [^41]: Guo-Hua Wang and Jianxin Wu. Repetitive reprediction deep decipher for semi-supervised learning. In Proceedings of the AAAI Conference on Artificial Intelligence, volume 34, pages 6170–6177, 2020. 2 [^42]: Jian Wang, Lingjie Liu, Weipeng Xu, Kripasindhu Sarkar, and Christian Theobalt. Estimating egocentric 3d human pose in global space. ICCV, 2021. 2,4,6,7 [^43]: Bin Xiao, Haiping Wu, and Yichen Wei. Simple baselines for human pose estimation and tracking. In European Conference on Computer Vision (ECCV), 2018. 3, 6 [^44]: Weipeng Xu, Avishek Chatterjee, Michael Zollhöfer, Helge Rhodin, Pascal Fua, Hans-Peter Seidel, and Christian Theobalt. Mo $^{2}$cap $^{2}$: Real-time mobile 3d motion capture with a cap-mounted fisheye camera. IEEE Trans. Vis. Comput. Graph., 25(5):2093–2101, 2019. 1, 2, 3, 4, 6, 7 [^45]: Xibei Yang, Shaochen Liang, Hualong Yu, Shang Gao, and Yuhua Qian. Pseudo-label neighborhood rough set: measures and attribute reductions. International journal of approximate reasoning, 105:112–129, 2019. 2 [^46]: Yahui Zhang, Shaodi You, and Theo Gevers. Automatic calibration of the fisheye camera for egocentric 3d human pose estimation from a single image. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, pages 1772–1781, 2021. 2 [^47]: Zhedong Zheng and Yi Yang. Rectifying pseudo label learning via uncertainty estimation for domain adaptive semantic segmentation. International Journal of Computer Vision, 129(4):1106–1120, 2021. 2 [^48]: Yuliang Zou, Zizheng Han, Zhang, Chun-Liang Li, Xiao Bian, Pfister. PseudoSeg：分割。arXiv