# EgoFish3D：基于自监督学习的鱼眼相机中心视觉3D姿态估计
刘宇轩 $^{ID}$，IEEE研究生会员；杨建新，IEEE研究生会员；顾晓 $^{ID}$，IEEE研究生会员；陈一军、郭耀 $^{ID}$，IEEE会员；杨广中 $^{ID}$，IEEE会士。
摘要—近年来，中心视觉越来越受到关注，为人本应用开辟了新途径。然而，使用中心视觉鱼眼相机虽然能够实现广角覆盖，但会引入图像畸变，同时强烈的人体自遮挡现象会给数据处理和模型重建带来巨大挑战。与以往仅利用合成数据进行模型训练的研究不同，本文提出了全新的真实场景中心人体姿态（ECHP）数据集。为了解决利用动作捕捉系统采集3D真值数据的难题，我们同时采集了头戴式中心视觉鱼眼相机以及两台第三人称视角相机的图像，从而规避了环境限制。通过利用多视图约束下的自监督学习，我们提出了一种简单却高效的框架——EgoFish3D，用于在不同真实场景中从单张图像实现中心视觉3D姿态估计。所提出的EgoFish3D包含三个主要模块：1）第三人称视角模块以两张外视图像为输入，估计以第三人称相机坐标系表示的3D姿态；2）中心视觉模块预测中心视觉相机坐标系下的3D姿态；3）交互模块估计第三人称视角与中心视觉视角之间的旋转矩阵。在本文构建的ECHP数据集及现有基准数据集上的实验结果表明，所提出的EgoFish3D具有显著有效性，其性能优于现有方法。
索引词—中心视觉、3D人体姿态估计、自监督学习、多视图约束。
稿件于2022年1月16日收到，2022年10月8日及11月29日修订，2023年1月23日录用。于2023年2月6日发表，当前版本发布于2023年12月12日。本研究部分得到了国家自然科学基金项目（编号62203296）、上海市浦江人才计划（编号22PJ1405500）、上海市科学技术委员会项目（编号20DZ2220400）以及上海交通大学上海基础研究试点计划（编号21TQ1400203）的支持。负责协调本稿件评审并批准其发表的副编辑为Mohammed Daoudi教授。（通讯作者：郭耀、杨广中。）
## 一、引言
中心视觉是计算机视觉领域的一个新兴方向，涉及对头戴式或胸戴式可穿戴相机采集的数据进行分析 [^1]，[^2]，[^3]。当中心视觉相机朝下拍摄，尤其是搭配鱼眼镜头时，能够捕捉到人体及周围环境的更大视野范围，为后续处理提供更丰富的视觉线索 [^3]，[^4]，[^5]，[^6]。与第三人称视角相比，中心视觉在自由生活环境中进行长期人本感知方面更具优势，为理解人类行为和社会活动提供了新机遇 [^5]，[^6]，[^7]，[^8]，[^9]。
以自我为中心的视觉在下游应用中的一个先决条件，是从自我中心视角进行精确的姿态估计。尽管近年来单目2D/3D人体姿态估计领域取得了显著进展[^10]、[^11]、[^12]、[^13]，但这些传统的第三人称视角姿态估计方法在直接用于从新的一人称视角预测2D/3D姿态时容易出错，如图1(b)所示，该图展示了可获得的典型结果。由于以自我为中心的视觉存在若干固有挑战，目前可用的专门面向自我中心场景的人体姿态估计方法寥寥无几，如图1(c)所示。首先，从第一人称视角看，人体存在明显的自遮挡现象，尤其是头部和下肢，这使得被遮挡关节的估计十分困难。其次，虽然配备鱼眼镜头的自我中心相机能够扩大视野并捕捉更多人体细节，但所拍摄的图像严重失真，大大增加了实际标注的难度。此外，由于缺乏准确的真实数据，现实世界中的相关数据集十分匮乏——因为使用动作捕捉（MoCap）系统进行数据采集既耗时费力，又仅限于专门的实验室环境。为部分解决这些问题，视觉领域的研究人员近期致力于利用合成人体模型构建公开数据集[^14]、[^15]。然而，用合成数据集训练会影响模型在现实场景中的泛化能力。
为解决上述问题，有必要开发专门用于自我中心3D人体姿态估计的方法。此外，引入自监督学习也具有优势。一些近期研究已经利用多个第三人称视角间的固有约束，比如多视图几何关系和视图一致性[^16]、[^17]、[^18]，从而无需真实标签即可实现3D人体姿态估计。这些
---
Fig. 1. Egocentric 3D pose estimation from a single fisheye camera. a) Our proposed EgoFish3D can achieve accurate 2D and 3D pose estimation from distorted images captured by a single fisheye camera. b) Existing third-person-view 2D/3D pose estimation methods [^10], [^11] fail on this challenging task from images captured by the fisheye camera. c) The strong self-occlusion for lower limbs, the severe distortion of the fisheye camera, and the lack of real-world datasets are the inherent challenges in egocentric vision.
自监督方法在姿态估计性能上已能与完全监督的方法相媲美。不过在实践中，将多视图自监督机制直接应用于自我中心3D姿态估计仍面临挑战。首先，第三人称视角相机与自我中心相机的内部参数存在差异。其次，第三人称视角图像与第一人称视角图像之间的重叠区域往往有限，且难以获取两种视角间的转换关系。更重要的是，传统的2D/3D姿态估计方法很难处理自我中心的图像，因此限制了基于多视图约束的自监督学习的直接应用。
为应对上述挑战，我们首先利用头戴式GoPro相机（配备鱼眼镜头）构建了以自我为中心的姿态（ECHP）数据集，同时采用两台RGB相机从第三人称视角同步拍摄图像。ECHP的训练集和验证集包含30个视频序列（约7.5万帧），这些视频是在8个不同的真实室内/室外场景中录制的，记录了9名受试者执行的10种日常动作，且这些受试者的身体纹理共有20种之多。测试集则由7个视频序列（约1.7万帧）组成，涵盖了4名受试者执行的新身体纹理下的10种动作，该测试集由多摄像头动作捕捉系统同步采集，并附带真实标注数据。该数据集不仅可作为以自我为中心的三维姿态估计的新基准，还能助力提升所提方法在真实场景中的泛化能力。本文的核心内容是提出了一种新颖的自监督方法——EgoFish3D，该方法能够利用单个头戴式鱼眼镜头实现以自我为中心的三维人体姿态估计。图2展示了我们所提方法的整体架构。EgoFish3D包含三个模块：1）第三人称视角模块；2）以自我为中心模块；3）交互模块。第三人称视角模块首先利用两台第三人称视角相机生成三维姿态，从而得到以第三人称视角坐标系表示的相对精确的三维姿态。随后，以自我为中心模块将畸变的第一人称视角图像作为输入，进行二维姿态估计，并最终输出以自我为中心坐标系下的三维姿态。在该模块中，我们融入了潜在特征、二维热图和人体掩码以提升估计精度。另一个引入的交互模块用于估算两种三维姿态之间的三维旋转关系，从而为另外两个模块的训练提供约束规则。训练阶段，我们以自监督方式训练这三个模块；推理阶段，仅使用以自我为中心模块即可根据单张以自我为中心的鱼眼图像预测三维姿态。本研究是首次尝试在无需三维姿态真实标注作为先验的情况下，利用向下拍摄的鱼眼镜头以自监督方式实现以自我为中心的三维姿态估计。我们在ECHP数据集以及公开的合成数据集[^14]、[^15]上进行的实验结果表明，与现有的监督式方法相比，我们的方法能够取得不错的精度。
综上所述，本文的主要贡献包括：
- 提出了一种自监督方法，无需三维真实标注即可从单张图像中实现以自我为中心的三维姿态估计。
- 构建了真实场景下的ECHP数据集，该数据集包含了来自两台第三人称视角相机以及一台以自我为中心的鱼眼相机的同步图像。
引入了交互模块来学习第三人称视角与以自我为中心视角之间的关系。
### II. 相关工作
### A. 基于以自我为中心相机的人体姿态估计
随着自我中心视觉 [^7] 的日益普及，基于单个自我中心相机的人体姿态估计近年来引起了广泛关注。与由第三方视角相机拍摄的图像/视频不同，自我中心视觉仍面临着源于这种新颖的第一人称视角所捕获视觉数据的固有挑战。在以往的工作中，自我中心相机通常放置在胸部 [^4] 或头部 [^14]、[^15]、[^19]、[^20]、[^21]、[^22]，朝外看 [^4]、[^19]、[^20] 或朝下看 [^14]、[^15]、[^21]。
为了模拟人类的视觉感知，有一类研究基于向外拍摄的以自我为中心相机展开，但仅凭借有限的可观测人体部分来恢复三维人体姿态时存在诸多困难。Jiang等人[^4]利用周围环境的动态运动特征，从安装在胸部的相机中获取不可见部位的姿态信息。然而，所估计的姿态精度较低，且极易受环境变化的影响。另一类研究[^19]、[^20]将以自我为中心的三维姿态估计与预测建模为马尔可夫决策过程，这类研究通常将姿态估计限定在跑步或行走等单一动作模式下。
与向外拍摄的相机相比，近期的一些研究将以自我为中心的相机调整为向下拍摄的模式，这样就能持续在视野中捕捉到人体。此外，这些研究都将相机与鱼眼镜头相结合。
---
Fig. 2. Illustration of the training and inference phases of our proposed EgoFish3D. During the training phase, the third-person view module takes two images from the third-person view as input and generates a relatively accurate 3D pose represented in the coordinate system of the external cameras, the interactive module predicts the rotation difference between the third-person-view and the egocentric coordinate systems, and the egocentric module estimates both 2D and 3D poses from an egocentric distorted image. During the inference phase, only the egocentric module can directly predict 2D and 3D poses from an egocentric image captured by a fisheye camera.
采用鱼眼镜头可以扩大对人体的感知范围，从而提升以自我为中心的三维人体姿态估计的性能。Rhodin等人[^21]利用头戴式立体鱼眼镜头提出了一种无标记的以自我为中心全身动作捕捉方法，但这种立体相机在实际应用中并不方便。Xu等人[^15]提出了一种基于单台帽式鱼眼镜头的实时以自我为中心三维姿态估计方法，该方法将原始图像和放大图像同时作为输入，以应对下肢的严重遮挡问题。不过，该方法在推理阶段并非直接回归三维姿态，而是预测关节的绝对深度。最近，Tome等人[^14]基于头戴式鱼眼镜头构建了一个大型合成数据集，并提出了一种三分支网络，在该合成数据集上实现了最先进的三维姿态估计性能。为解决严重畸变的问题，Zhang等人[^22]提出了一种自动校准模块来估算鱼眼镜头参数，从而减轻图像畸变对稳健的以自我为中心三维姿态估计的影响。需要指出的是，[^14]、[^15]、[^22]中提出的模型均在强监督下基于合成数据训练，导致模型在现实应用中的泛化能力较差。受此启发，本文构建了真实的以自我为中心人体动作数据集。此外，我们充分利用第三人称视角相机与以自我为中心相机之间的多视图约束，以自监督方式实现以自我为中心的三维人体姿态估计。
### B. 基于多视图约束的自监督学习三维人体姿态估计
近年来，自监督学习在3D人体姿态估计领域受到了越来越多的关注。这类方法利用多视角信息来消除从第三人称视角摄像头拍摄的同步2D图像中学习3D人体姿态时的歧义性[^23]、[^24]、[^25]、[^26]、[^27]。然而，多视角的融合以及不同摄像头视角下3D姿态的标注工作颇具挑战性。采用一些典型的融合方法，比如同一姿态的多视角一致性[^16]、[^23]、[^26]，以及三角测量法[^25]、[^28]，能够降低3D人体姿态标注的成本，并让网络以自监督的方式学习。
Rhodin等人[^23]利用多视角一致性来约束系统，使其在所有视角下预测出相同的姿态，且仅需少量标注数据即可实现。CanonPose[^16]将观测到的2D姿态分解为规范的3D姿态和摄像头朝向。具体而言，它包含多个子网络，用于从不同视角推断相同的3D姿态，再将所有视角的预测结果汇总以得出最终的3D姿态推断结果。不过，仅应用多视角一致性约束并不足以解决问题，因为模型可能会因不同的输入而陷入平凡解[^23]、[^29]。Iqbal等人[^29]提出了一种基于归一化3D骨骼长度的新颖目标函数，这些骨骼长度是从Human3.6M数据集中计算得出的。与之不同的是，Rhodin等人[^30]利用时间一致性先验，先从无标签的序列多视角图像中学习出具备几何感知能力的身体表征，再将该新几何表征映射到实际的3D姿态上。在本文中，我们旨在结合第三人称视角与第一人称视角，解决多视角自监督学习问题。
多视角数据融合领域的另一研究方向采用了传统的三角测量法，该方法需要用到摄像头的内部参数和外部参数[^25]、[^28]。Iskakov等人[^28]率先提出了一种基线方法，通过代数运算从多视角2D姿态中计算出3D人体姿态。Kocabas等人[^25]利用极线几何定理，从多个2D姿态生成3D姿态标注。我们的方法也将三角测量的3D姿态作为先验，以实现更快的收敛速度和更好的性能。
### III. 第一人称人体姿态（ECHP）数据集
目前迫切需要可用的真实世界数据，以推动第一人称姿态估计算法的开发。由于摄像头放置位置独特且图像为第一人称视角拍摄，现有第一人称姿态估计的训练方法几乎都基于合成数据集，真实世界数据仅用于测试。由于合成环境与真实环境之间存在域差异，模型在现实应用中的泛化能力受到限制。更重要的是，使用动作捕捉系统同步采集监督学习所需的真实标注数据存在困难。这是因为多摄像头动作捕捉系统只能在特定环境中使用，且标注工作十分耗时费力。
---
这是由于相机摆放位置独特且图像来自第一人称视角。然而，现有的以自我为中心的姿态估计训练方法几乎都基于合成数据集，真实世界数据仅用于测试。由于合成环境与真实环境之间存在域差异，模型在现实应用中的泛化能力受到限制。更重要的是，利用动作捕捉系统同步采集监督学习所需的真实标签数据存在困难。这是因为多摄像头动作捕捉系统仅能在特定环境中使用，且标注工作十分耗时费力。
在本文中，我们首先构建了一个以自我为中心的姿态（ECHP）数据集，以便通过自监督学习的方式实现以自我为中心的3D人体姿态估计。与主要由合成图像组成的前期数据集不同[[^14]][[^15]]，我们的ECHP数据集由在不同场景下使用鱼眼镜头拍摄的以自我为中心的相机所采集的真实世界图像构成。该数据集包含了9名不同受试者、20种不同身体纹理下执行的10种日常动作数据。第三人称视角图像由两台Intel Realsense D455相机拍摄，而以自我为中心的视角图像则由安装在头部的配备鱼眼镜头的GoPro Hero9相机拍摄。
### A. 数据采集
为了克服通过动作捕捉系统获取真实数据这一难题，我们采用两台RGB相机来拍摄第三人称视角的图像，同时用配备鱼眼镜头的头戴式GoPro相机拍摄以自我为中心的视角图像。通过这种方式，ECHP数据集包含了从两种不同视角——即第三人称视角和以自我为中心视角——采集的同步性良好的图像。实际操作中，以自我为中心的相机通过头盔固定在头部，向前伸出约13–18厘米，并向下倾斜约15–25度，以减少自身遮挡并确保尽可能多地看到下肢。我们还利用Aruco标记[[^31]]来获取以自我为中心的相机在第三人称视角帧中的6D姿态。所有三台相机都通过25毫米棋盘格进行了校准，以确定其内部参数[[^32]]。
在我们的ECHP数据集的训练集和验证集中，有9名不同受试者、20种不同身体纹理下执行的10种日常动作（即蹲下、行走、跳舞、伸展、挥手、拳击、踢腿、触摸、夹持、敲击）。为了提升数据集的多样性，真实世界数据是在8种不同场景（包括室内和室外）中采集的。总体而言，ECHP数据集的训练集和验证集包含约75k帧的30个视频序列。为了全面评估不同以自我为中心的姿态估计算法的性能及泛化能力，我们在测试集中同时使用了VICON动作捕捉系统与全身步态模型，采集了4名具有新身体纹理的受试者执行的这10种日常动作数据，即包含约17K帧、带有解剖关节位置3D真实值的7个视频序列。需要强调的是，由于使用了动作捕捉系统，测试数据是在同一室内场景中采集的；更重要的是，4名受试者中有2名在训练集中并未出现。
综上所述，ECHP数据集可分为三个部分：约65k张同时包含第三人称视角
TABLE I DETAILS OF OUR ECHP DATASET
| Seq. | Frames | Subj(Gen) | Split | Seq. | Frames | Subj(Gen) | Split |
| #1 | 2652 | 1(F) | train | #20 | 2727 | 1(F) | val |
| #2 | 2625 | 2(M) | train | #21 | 2656 | 3(M) | train |
| #3 | 2573 | 1(F) | val | #22 | 3524 | 3(M) | train |
| #4 | 2795 | 2(M) | train | #23 | 2653 | 3(M) | train |
| #5 | 2279 | 1(F) | train | #24 | 2086 | 4(M) | train |
| #6 | 2359 | 2(M) | train | #25 | 2596 | 2(M) | train |
| #7 | 2268 | 1(F) | train | #26 | 2125 | 5(M) | train |
| #8 | 2339 | 2(M) | train | #27 | 1831 | 6(M) | train |
| #9 | 2218 | 3(M) | train | #28 | 3128 | 7(M) | train |
| #10 | 3215 | 1(F) | train | #29 | 2508 | 8(M) | train |
| #11 | 2797 | 2(M) | train | #30 | 1844 | 9(F) | train |
| #12 | 2833 | 4(M) | val | #31 | 1942 | 4(M) | test |
| #13 | 2984 | 4(M) | train | #32 | 2220 | 4(M) | test |
| #14 | 2001 | 4(M) | train | #33 | 2900 | 10(M) | test |
| #15 | 2563 | 1(F) | train | #34 | 2434 | 10(M) | test |
| #16 | 2807 | 2(M) | train | #35 | 2978 | 2(M) | test |
| #17 | 2373 | 1(F) | train | #36 | 2440 | 2(M) | test |
| #18 | 2213 | 2(M) | val | #37 | 2364 | 11(M) | test |
| #19 | 2427 | 1(F) | val | | | | |
Seq - 序列；Subj - 受试者；Gen - 性别；Val - 验证。
图像和以自我为中心图像的数据用于训练，剩余的10k张图像用于验证，而由VICON动作捕捉系统采集的以自我为中心图像及3D真实值则构成了测试数据集。表I列出了每个视频序列中以自我为中心图像的精确帧数、受试者数量、性别以及训练/验证/测试划分情况。
### B. 数据预处理
值得注意的是，我们的主要研究重点是自我中心姿态估计，因此我们利用OpenPose [^10] 离线提取由第三人称视角摄像头拍摄的RGB图像中目标人体的2D关节点。这两个2D姿态将作为EgoFish3D第三人称视角模块的输入。此外，一个预训练好的人体实例分割模型 [^33] 用于离线提取人体掩码，作为我们自我中心模块的输入。两台第三人称视角摄像头之间的外部参数在数据采集期间已被预先测量并固定。为了适配我们提出的网络，我们将第三人称视角的图像缩放为 $640 \times 480$，将自我中心视角的图像缩放为 $384 \times 384$。
### IV. 用于自我中心3D姿态估计的EgoFish3D
### A. 问题阐述
在本文中，我们的目标是通过利用两台第三人称视角摄像头提供的自监督信息，从单个头戴式鱼眼摄像头进行自我中心3D姿态估计。我们用 $\{C_1\}, \{C_2\}$ 表示两台第三人称视角摄像头 $c_1$、$c_2$ 的坐标系，而 $\{C_{ego}\}$ 则表示自我中心鱼眼摄像头 $c_{ego}$ 的局部坐标系。对于摄像头c而言，每一帧捕获的图像可定义为 $I_c$，对应的目标人体2D关节点为
---
Fig. 3. The details of our proposed ECHP dataset. (a) Placement of two third-person-view cameras (rgb camera of Realsense D455) and a head-mounted egocentric camera (GoPro) with a fisheye lens looking downwards; (b) Selected examples of the different scenes, subjects, and body textures in our ECHP dataset. In total, we capture the data of 9 subjects in 8 different scenes with 20 different body textures; (c) 10 different daily actions are recorded in our dataset.
Fig. 4. Overview of our proposed EgoFish3D. The figure shows the network architecture, which contains three modules: third-person-view module, egocentric module and interactive module. The black arrows indicate direction of information flow. The colorized lines with arrows indicate different loss functions. The yellow dotted line indicates that two sub-networks share the same weights.
$J_c = \{j_{c,1}, j_{c,2}, \ldots, j_{c,N}\} \in \mathbb{R}^{N \times 2}$，其中 $j_{c,i} = [u_{c,i}, v_{c,i}]$ 表示关节i的像素坐标，N为关键身体关节的数量。相应地，在摄像头c下表示的估计3D关节点为 $P_c = \{p_{c,1}, p_{c,2}, \ldots, p_{c,N}\} \in \mathbb{R}^{N \times 3}$，其中 $p_{c,i} = [x_{c,i}, y_{c,i}, z_{c,i}]$。需要注意的是，我们首先利用OpenPose [^10] 从两张第三人称视角图像 $J_{c_1}, J_{c_2}$ 中提取2D姿态 $\mathbf{I}_{c_1}, \mathbf{I}_{c_2}$，同时给出两台第三人称视角摄像头之间的变换矩阵 $\{c_2 R_{c_1}, c_2 T_{c_1}\}$。
给定由自我中心鱼眼摄像头拍摄的图像 $I_{c_{ego}}$，我们设计了一个参数为 $f_\theta(\cdot)$ 的深度神经网络 $\theta$，该网络首先预测2D关节位置 $J_{c_{ego}}$，然后估计以自我中心摄像头坐标系表示的3D人体姿态 $P_{c_{ego}}$。在本文中，我们提出EgoFish3D通过自监督学习来完成这一任务。
### B. EgoFish3D概述
我们提出的EgoFish3D架构如图4所示。具体来说，我们的网络包含三个模块，即第三人称视角模块 $f_{\theta}^{trd}$、自我中心模块 $f_{\theta}^{ego}$ 以及交互模块 $f_{\theta}^{itr}$。
第三人称视角模块 $f_{\theta}^{trd}$ 利用两台外部摄像头实现3D姿态估计，旨在提供相对精确的、以第三人称视角摄像头坐标系表示的3D姿态作为监督信号。该模块的输入是从两张第三人称视角图像中估计出的两个2D姿态 $J_{c_1}, J_{c_2}$，输出则是第三人称视角坐标系下的3D姿态 $\hat{P}_{c_1}, \hat{P}_{c_2}$。该网络由多个多层感知机组成，每个多层感知机均由线性层、批归一化层和激活函数组合而成。
对于以自我为中心的模块$f_{\theta}^{ego}$而言，其输入是一张单一的以自我为中心的图像$\mathbf{I}_{e_{ego}}$。我们首先执行二维姿态估计以获取身体关节的热图，随后在自我坐标系下预测三维姿态$\hat{P}_{e_{ego}}$。为了应对扭曲的以自我为中心图像中姿态估计所固有的挑战，我们提出了一种特征融合机制，将输入图像的高层特征$\hat{F}^{T}_{T_{e_{ego}}}$、身体关节的二维热图$\hat{H}^{M}_{e_{ego}}$以及人体掩码$\hat{M}_{e_{ego}}$结合起来。该模块首先基于CNN骨干网络实现特征融合，随后将融合后的特征送入由若干CNN层和MLP组成的编码器-回归器，从而生成最终的三维姿态估计结果。
需要注意的是，上述两个模块所估计出的三维姿态是基于不同坐标系表示的，因此有必要进行第三人称视角坐标系与自我坐标系之间的旋转对齐。
---
跨帧而言，为此我们在本文中引入了一个交互式模块，该模块以来自不同坐标系的配对二维姿态$\{J_{c_1}, \hat{J}_{c_{ego}}\}$、$\{J_{c_2}, \hat{J}_{c_{ego}}\}$作为输入。其网络结构类似于第三人称视角模块，由若干MLP组成，分别用于预测旋转矩阵$c_1, \hat{R}_{c_{ego}}, c_2, \hat{R}_{c_{ego}}$。
### C. 第三人称视角模块
该模块旨在给定两张第三人称视角的图像以及这两台相机之间的变换矩阵的前提下，预测第三人称视角相机坐标系下的三维姿态。为了生成精确的姿态估计结果，我们结合了基于多视图约束的传统三角测量法与基于学习的深度估计模型。
1) 三维姿态三角测量：给定两台相机的内部参数和变换矩阵，可通过三角测量法根据点在两张图像上的投影来确定其在三维空间中的位置。在不同的三角测量算法中，我们采用了与深度估计相关的算法。通过OpenPose $J_{c_1}, J_{c_2}$获取二维姿态[^10]后，便可计算出三维位置的解析解$P_{c_1}^{tri}, P_{c_2,i}^{tri}$。
2) 通过深度预测进行三维姿态估计：为了避免三角测量导致的三维姿态估计误差，我们还引入了网络$f_{\theta}^{trd}$来预测二维关节点的深度值，即$d_{c} = f_{\theta}^{trd}(J_{c})$。借此，便可利用该相机的内部参数计算出各相机坐标系下表示的三维关节点$\hat{P}_{c}$。
3) 损失函数：在该模块中，有两个约束条件用于辅助网络训练。首先，引入了基于深度的预测结果与三角测量结果之间的约束$\mathcal{L}_{pose}^{trd}$。
$$ \mathcal{L}_{p o s e}^{t r d}=\sum_{c=c_{1},c_{2}}^{}\sum_{i=1}^{N}\left\|\hat{p}_{c,i}-p_{c,i}^{t r i}\right\|_{1} $$
此外，经过变换后，用$\{C_{1}\}$和$\{C_{2}\}$表示的两个估计三维姿态应当保持一致。
$$ \mathcal{L}_{t r a n}^{t r d}=\sum_{i=1}^{N}\|\hat{p}_{c_{1},i}-({}^{c_{2}}R_{c_{1}}\hat{p}_{c_{2},i}+{}^{c_{2}}T_{c_{1}})\|_{1} $$
训练过程中，总损失$\mathcal{L}^{trd}$可表示为加权和$\mathcal{L}^{trd} = \omega_1 \mathcal{L}_{pose}^{trd} + \omega_2 \mathcal{L}_{tran}^{trd}$。
### D. 以自我为中心的模块
该模块旨在根据畸变的鱼眼图像，在自我中心相机坐标系下预测目标人体的二维和三维姿态，其中三维姿态为最终输出结果。为了提升三维姿态估计的性能，我们提出了一种特征融合方法，将输入图像的高层特征、身体关节的二维热图以及人体掩码结合起来。此外，二维热图及二维姿态分支还利用了从第三人称视角模块估计出的三维姿态，从而引入重投影约束。
1) 基于重投影的二维姿态与热图预测：从第三人称视角模块获取三维关节信息后，一种直观的方法是将三维数据投影到畸变的自我中心图像平面上，从而为训练自我中心二维姿态检测器提供监督信息。鱼眼相机的内部参数通过标定方法[^32]提取得出。众所周知，直接预测重叠度较低且内部参数不同的两台相机之间的变换极具挑战性。为简化操作，在我们的ECHP数据集中，我们利用Aruco标记来确定自我中心相机在第三人称视角坐标系中的6D姿态$\{c_1 \tilde{R}_{c_{ego}}, c_1 \tilde{T}_{c_{ego}}\}$。不过，该检测效果会受到光照条件以及标记与相机距离的影响。因此，我们仅使用能稳定检测到Aruco标记的图像来训练自我中心二维姿态检测器。给定由第三人称视角相机$P_{c_1}^{tri}$估计出的$c_1$，可将其重投影到自我中心图像上。据此，我们就能得到自我中心二维姿态$J_{c_{ego}}^{rep}$以及热图$H M_{c_{ego}}^{rep}$。接下来，在$\hat{H} M_{c_{ego}}$的监督下，训练自我中心二维姿态检测器来预测二维热图$H M_{c_{ego}}^{rep}$，其中采用MSE损失$\mathcal{L}_{rep}^{ego}$作为约束条件。
$$ \mathcal{L}_{r e p}^{e g o}=\sum_{i=1}^{N}\left\|\hat{H M}_{c_{e g o},i}-H M_{c_{e g o},i}^{r e p}\right\|_{2}^{2} $$
实际应用中，由于三角测量得到的三维姿态和外参误差，重投影得到的二维姿态精度相对较低。值得注意的是，与重投影结果相比，二维姿态检测器能预测出更精确的热图。
2) 以自我为中心的3D姿态估计中的信息融合：本文的主要目标是训练网络$f_{\theta}^{ego}$，使其能够根据单张鱼眼图像预测3D姿态$\hat{P}_{c_{ego}}$。为实现这一目标，我们在以自我为中心的模块中提出了一种特征融合机制来提升姿态估计性能，该机制包含三个主要分支。第一个分支利用预训练的2D姿态检测器来获取热图$\hat{M}_{c_{ego}}$；第二个分支在特征空间中提取输入图像的潜在特征$\hat{F}^{\hat{T}}c_{ego}$；第三个分支则借助预训练的人体实例分割网络[^33]来提取人体掩码$\hat{M}_{c_{ego}}$。最终的特征融合采用注意力感知的方式，即$\hat{P}_{c_{ego}} = f_{\theta}^{ego}\left(\hat{H}\hat{M}_{c_{ego}} \odot \hat{F}^{\hat{T}}c_{ego} \odot \hat{M}_{c_{ego}}\right)$。随后，融合后的特征会被送入编码器与回归器，以预测最终的3D姿态。在训练过程中，我们采用了两种自监督约束条件：其一是上文提到的重投影损失$\mathcal{L}_{rep}^{ego}$，用于迫使以自我为中心的2D检测器生成合理的热图；其二是第三人称视角与以自我为中心视角之间的3D姿态变换约束$\mathcal{L}_{pose}^{ego}$，该约束由交互模块预测的旋转矩阵$c_{1}$和$\hat{R}_{c_{ego}}$提供监督。需要注意的是，我们选择$\{C_{1}\}$作为参考坐标系。此外，我们还引入了额外的损失项$\mathcal{L}_{bone}^{ego}$来约束骨骼长度$\hat{b}$，以确保左侧和右侧连杆的长度保持一致。
$$ \mathcal{L}_{p o s e}^{e g o}=\sum_{i=1}^{N}\left\|\hat{p}_{c_{e g o},i}-{}^{c_{1}}\hat{R}_{c_{e g o}}\hat{p}_{c_{1},i}\right\|_{2} $$
---
$$ \mathcal{L}_{b o n e}^{e g o}=\sum_{i=1}^{L}\left\|\hat{b}_{c_{e g o},i}^{l e f t}-\hat{b}_{c_{e g o},i}^{r i g h t}\right\|_{2} $$
3) 损失函数：在中心视角模块的训练过程中，总损失 $\mathcal{L}^{ego}$ 是加权求和 $\mathcal{L}^{ego} = \alpha_1\mathcal{L}_{rep}^{ego} + \alpha_2\mathcal{L}_{pose}^{ego} + \alpha_3\mathcal{L}_{bone}^{ego}$。
### E. 交互式模块
由于Aruco标记的检测极易受环境影响，在某些情况下会检测失败，因此我们提出了交互式模块，用于自动预测第三人称视角与中心视角坐标系之间的旋转矩阵，从而为训练中心视角模块提供变换约束。给定一对2D姿态 $\{J_c, \hat{J}_{e_go}\}$，其中 $c \in \{c_1, c_2\}$，交互式模块 $f_{θ}^{itr}$ 通过简单的多层感知机来预测欧拉角 $[\hat{\theta}, \hat{\phi}, \hat{\psi}]$。据此便可确定旋转矩阵 $\hat{R}$。利用两台第三人称视角摄像头的外部参数，可定义如下变换约束 $\mathcal{L}_{tran}^{itr}$。
$$ \mathcal{L}_{t r a n}^{i t r}=\left\|^{c_{1}}\hat{R}_{c_{e g o}}-^{c_{2}}R_{c_{1}}{}^{c_{2}}\hat{R}_{c_{e g o}}\right\|_{1} $$
为确保交互式模块能快速收敛，我们在训练初期利用Aruco标记预测的外部参数 $^c\tilde{R}_{ego}$ 来形成约束 $\mathcal{L}_{mat}^{itr}$。
$$ \mathcal{L}_{m a t}^{i t r}=\left\|^{c}\hat{R}_{c_{e g o}}-^{c}\tilde{R}_{c_{e g o}}\right\|_{1},c=c_{1},c_{2} $$
训练过程中，总损失 $\mathcal{L}^{itr}$ 可表示为加权求和 $\mathcal{L}^{itr} = \beta_1 \mathcal{L}_{tran}^{itr} + \beta_2 \mathcal{L}_{mat}^{itr}$。需注意，$\mathcal{L}_{mat}^{itr}$ 仅在最初的5个训练轮次中使用。
总而言之，用于训练整个EgoFish3D网络模型的损失函数就是上述各模块的损失之和，即 $\mathcal{L} = \mathcal{L}^{trd} + \mathcal{L}^{ego} + \mathcal{L}^{itr}$。
### V. 实验设置
### A. 数据集
对于第III节中提到的ECHP数据集，我们基于序列{seq1-seq2、seq4-seq11、seq13-seq17、seq21-seq30}中的6.5万帧图像训练模型，并在序列{seq3、seq12、seq18-seq20}的剩余图像上验证模型，以展示定性结果。为验证所提出的自监督方法的有效性，我们还采集了7段测试视频{test1-test7}，涉及4名受试者（其中2名为新受试者，且所有人体纹理在训练集中均未出现），这些视频由VICON系统提供3D姿态真值，用于给出定量结果。需注意，VICON系统无法捕捉鼻部的关节位置，因此我们只报告14个身体关节的结果。
为评估方法的有效性，我们对另外两个现有的合成数据集进行了详细的对比实验。1) Mo $^{2}$Cap $^{2}$ [^15] 是一个大规模合成数据集，模拟了单台帽式鱼眼摄像头拍摄的图像，包含53万张渲染图像，涵盖约3000种不同动作和700种不同的人体纹理。
Fig. 5. Examples from our proposed ECHP dataset and the public datasets, i.e., xR-EgoPose [^14] and Mo $^{2}$Cap $^{2}$ [^15]. Compared to xR-EgoPose and Mo2 $^{2}$Cap $^{2}$, both training and test data in the ECHP dataset are real-world images and suffer from less occlusions of lower limbs, improving the generalization capability of the learned models in practical applications.
此外，还有一个包含约5500帧图像的真实世界测试集用于定量评估。2) xR-EgoPose [^14] 同样是由头戴式鱼眼摄像头采集的合成数据集，包含38.3万帧图像，有23名男性和23名女性角色执行9种不同动作。Mo²Cap²和xR-EgoPose数据集均包含2D和3D关节位置的真值标注。图5展示了这三个数据集的几个示例。尽管我们的ECHP数据集所含图像数量少于Mo²Cap²和xR-EgoPose，但我们相信数据集中的真实世界中心视角图像能为中心视角姿态估计算法的发展做出贡献。
### B. 实现细节
由于我们的方法基于自监督学习，采用端到端训练策略时网络可能无法收敛。为了使模型更快收敛并减少过拟合现象，我们采用了多阶段训练策略。首先，我们利用3D姿态三角测量和深度估计方法训练第三人称视角模块，从而在第三人称视角坐标系下借助 $\omega_1 = 1.0$、$\omega_2 = 0.5$ 来估算3D姿态。接着，训练以自我为中心的2D姿态检测器，利用 $\alpha_1 = 1.0$ 来生成热图。需要注意的是，输入的以自我为中心的图像尺寸为 $384 \times 384$，热图的维度则为 $48 \times 48$。为了提升该以自我为中心的2D姿态估计模型在不同现实场景中的泛化能力，我们选用ECHP（包含 $\sim40$ 个带有基于三角测量得到的3D姿态的2D投影数据）与Mo $^2$Cap $^2$（包含 $\sim40$ 个带有标注的2D姿态的合成数据）组合而成的数据集来训练模型。随后，我们训练交互模块，用以估算第三人称视角坐标系与以自我为中心的坐标系之间的旋转矩阵。在最初的5个训练轮次中，我们使用通过Aruco标记估算得到的外部参数作为监督信号，从而借助 $\beta_1 = 1.0$、$\beta_2 = 1.0$ 加快网络的收敛速度。最后，我们训练以自我为中心的模块，并对整个网络进行微调以获得更好的性能，此过程涉及 $\alpha_2 = 1.0$、$\alpha_3 = 0.05$。所提出的方法及对比方法均基于PyTorch实现，优化算法采用Adam，学习率设为0.001。
### C. 评估指标
本文采用了三种评估协议。第一种是平均关节位置误差（MPJPE），它用于计算真实值与预测值之间3D关节的平均距离。
---
如公式(8)所示。
$$ E(P,\hat{P})=\frac{1}{K}\frac{1}{N}\sum_{k=1}^{K}\sum_{i=1}^{N}\left\|p_{i}^{k}-\hat{p}_{i}^{k}\right\|_{2} $$
第二种指标是PA-MPJPE，它指的是应用普洛克鲁斯特斯分析进行对齐后得到的MPJPE值，对齐操作旨在消除两个3D姿态间的全局平移、旋转和缩放影响。第三种指标是BA-MPJPE，它会先将估计出的3D姿态与真实3D姿态的骨骼长度调整为标准骨架尺寸，以消除身体尺度带来的影响，之后再计算PA-MPJPE。
### D. 对比方法
由于我们是首个利用第三人称视角下的多视图约束，针对向下拍摄的鱼眼相机提出自监督方法以估计中心视觉三维姿态的研究团队，因此我们将所提出的EgoFish3D与四种现有的、使用带有真实标注的中心视觉图像的监督学习方法[^14]、[^15]、[^22]、[^34]进行比较。首先，对比实验在我们的ECHP数据集上进行。为了公平比较，我们保持第三人称视角模块和交互模块的一致性，以生成相同的伪标签并用于训练不同方法。对于Martinez提出的网络[^34]，我们在从预测的热图中提取二维姿态后再实现该网络。由于[^14]和[^15]的代码并未公开，我们自行实现了这两个模型。由于在实际数据中很难确定身体部位之间的旋转关系，因此仅实现Tome提出的网络[^14]中的第一和第三分支用于对比。对于Xu提出的网络[^15]，我们实现了热图缩放和关节深度估计模块，并通过中心视觉鱼眼相机的重投影公式生成三维姿态。其次，我们在Mo²Cap² [^14]和xR-EgoPose [^15]数据集上将所提出的EgoFish3D与其他方法进行比较。为了评估三维姿态估计的性能，我们在xR-EgoPose和Mo²Cap²数据集上重新训练我们的中心视觉模块，以报告定量和定性结果。第三，为了展示EgoFish3D的泛化能力，我们直接将基于ECHP数据集训练的模型应用于Mo²Cap²中的真实测试数据，无需在合成数据集上微调，并展示定性结果。我们数据集上的主要对比方法如下。
Martinez [^34]是一种基线方法，采用多个多层感知机进行三维姿态估计，输入为二维姿态。
- Tome [^14]是一种最先进的监督学习方法，采用编码器-解码器网络进行中心视觉三维姿态估计。
- Xu [^15]是一种双分支网络，将原始图像和放大图像作为输入进行监督姿态估计。
- Zhang [^22]是一种双分支网络，引入了自动校准模块来处理鱼眼镜头的畸变问题。
EgoFish3D是我们所提方法的完整网络。
### E. 消融研究
我们还对所提出的EgoFish3D进行了消融研究，以证明不同子网络和损失函数的有效性。我们逐一移除或更改网络的以下部分。
- EgoFish3D是我们所提方法的完整网络。
w/o $\tilde{M}$是一种通过移除人体实例分割$\hat{M}_{c_{ego}}$得到的消融模型。
w/o $\hat{F}T$是一种通过移除特征提取分支$\hat{F}T_{c_{eqo}}$得到的消融模型。
w/o $\hat{H}M$是一种消融研究，移除了中心视觉模块中的热图预测分支$\hat{H}M_{ceqo}$。
w/o $f_{\theta}^{trd}$是一种消融研究，移除了第三人称视角模块$f_{\theta}^{trd}$。仅以三角测量得到的三维姿态作为监督信号。
w/o $\mathcal{L}_{pose}^{trd}$表示移除了第三人称视角模块中约束基于深度的姿态和三角测量姿态的损失项。
若没有 $\mathcal{L}_{mat}^{itr}$，就会形成如式(7)所示、缺少 $\mathcal{L}_{mat}^{itr}$ 的简化模型。
### 六、实验结果
### A. 定量结果
无需额外说明，表中加粗及用 $\underline{\text{underline}}$ 标记的数值分别对应各列中的最优结果和第二优结果。所有数值的单位均为毫米（mm）。借助VICON动作捕捉系统提供的全身步态模型，地面真值标注即为解剖学层面的三维关节位置。
1) ECHP数据集：表二上半部分报告了在ECHP数据集上与其他最先进方法的三维姿态估计结果对比情况。第二列列出了所有测试数据的平均MPJPE（PA-MPJPE）结果，其余各列则分别展示不同动作下的结果。
可以看出，在所采用的MPJPE评估协议下，我们提出的EgoFish3D取得了最佳的平均三维姿态估计结果（MPJPE = 107.9），优于其他对比方法 [^14]、[^15]、[^34]。这是因为我们的以自我为中心的特征融合方法能够利用输入图像中蕴含的更多有用信息。例如，人体掩码有助于剔除置信度低或超出人体范围的热图。还可以发现，在PA-MPJPE评估协议下，我们的方法取得了与Xu [^15] 相当的性能（PA-MPJPE = 73.1）。需要注意的是，Xu [^15] 提出的方法对鱼眼镜头拍摄的畸变以自我为中心的图像较为敏感。与我们的EgoFish3D相比，该方法在推理阶段需要利用鱼眼相机的内参来计算三维姿态。因此，若缺乏已知的相机内参，该方法的性能会显著下降。在动作级别对比中，除上肢超出视野范围的拳击动作外，我们的EgoFish3D在九种动作上仍能取得最优或次优的姿态估计效果，这证明了与对比方法相比，我们的方法对不同动作的适应性更强。
我们还在表五中报告了各关节的估计误差。可以看出，远端关节（如手部）的PJPE较大，经过Procrustes分析后该数值会变小。这主要是……
---
TABLE II
COMPARISON MPJPE (PA-MPJPE) RESULTS OF EGOCENTRIC 3D POSE ESTIMATION IN MILLIMETERS (mm) ON ECHP DATASET
| Approach | All | Squatting | Walking | Dancing | Stretching | Waving | Boxing | Kicking | Touching | Clamping | Knocking |
| Martinez [^34] | 118.3(80.0) | 135.5(75.9) | 114.8(73.9) | 122.9(84.3) | 133.2(85.0) | 107.9(76.1) | 116.7(82.2) | 102.6(71.8) | 117.9(79.0) | 115.9(93.3) | 116.4(84.6) |
| Tome [^14] | 112.4(73.9) | 136.3(78.4) | 113.9(72.6) | 119.5(79.8) | 123.9(78.2) | 99.0(63.9) | 110.3(71.9) | 100.2(73.1) | 110.7(67.7) | 104.3(81.1) | 103.4(72.0) |
| Xu $^{\dagger}$ [^15] | 110.9(71.2) | 112.4(70.7) | 114.3(76.8) | 108.5(70.1) | 114.7(69.5) | 105.9(65.5) | 109.5(68.1) | 106.7(72.0) | 102.2(65.8) | 128.0(85.9) | 106.6(66.0) |
| EgoFish3D | 107.9(73.1) | 123.8(71.2) | 106.8(68.9) | 110.4(80.1) | 121.4(81.3) | 95.6(66.4) | 111.2(75.4) | 94.6(69.3) | 110.5(70.0) | 101.6(80.8) | 102.7(71.4) |
| Ablated models | All | Squatting | Walking | Dancing | Stretching | Waving | Boxing | Kicking | Touching | Clamping | Knocking |
| A: EgoFish3D | 107.9(73.1) | 123.8(71.2) | 106.8(68.9) | 110.4(80.1) | 121.4(81.3) | 95.6(66.4) | 111.2(75.4) | 94.6(69.3) | 110.5(70.0) | 101.6(80.8) | 102.7(71.4) |
| B: w/o $\hat{M}$ | 114.1(82.5) | 133.7(80.3) | 110.4(71.3) | 113.0(82.6) | 127.8(92.0) | 108.3(85.3) | 116.9(88.0) | 101.7(75.5) | 109.0(83.3) | 106.0(87.0) | 112.3(87.7) |
| C: w/o $\hat{F}$T | 114.5(73.5) | 135.8(77.5) | 116.6(70.2) | 120.2(79.9) | 126.8(80.5) | 102.0(64.5) | 113.4(73.5) | 101.2(69.3) | 110.9(68.9) | 107.3(81.9) | 107.6(71.1) |
| D: w/o $\hat{H}$M | 123.9(82.3) | 150.0(91.2) | 119.9(81.6) | 131.2(91.9) | 128.7(85.6) | 120.5(73.6) | 115.7(77.3) | 120.2(86.3) | 117.8(74.8) | 128.4(87.2) | 111.8(74.0) |
| E: w/o $\hat{t}_{b}^{trd}$ | 114.4(78.3) | 127.0(80.0) | 112.0(76.6) | 111.0(78.2) | 126.7(79.3) | 102.6(69.1) | 114.0(75.3) | 104.0(78.7) | 117.0(72.8) | 117.4(94.4) | 113.0(79.1) |
| F: w/o $\mathcal{L}_{pose}^{trd}$ | 111.1(79.5) | 148.1(86.1) | 114.1(87.8) | 115.9(88.6) | 117.1(82.0) | 92.5(64.3) | 111.3(77.4) | 98.5(78.5) | 106.1(68.5) | 99.9(76.6) | 101.0(74.9) |
| G: w/o $\mathcal{L}_{mat}^{tr}$ | 521.1(78.7) | 481.2(75.4) | 510.7(76.7) | 478.2(83.7) | 572.7(83.0) | 532.9(70.5) | 563.0(76.4) | 466.7(80.7) | 519.7(76.3) | 525.4(88.5) | 558.1(77.2) |
$^{\dagger}$ 在推理阶段需要额外的信息（即鱼眼相机的内参）。
TABLE III
COMPARISON MPJPE RESULTS OF EGOCENTRIC 3D POSE ESTIMATION IN MILLIMETERS (mm) ON XR-EGOPOSE DATASET
| Approach | All | Gaming | Gesticulating | Greeting | Lower Stretching | Patting | Reacting | Talking | Upper Stretching | Walking |
| Martinez [^34] | 122.1 | 109.6 | 105.4 | 119.3 | 125.8 | 93.0 | 119.7 | 111.1 | 124.5 | 130.5 |
| Tome(p3d) [^14] | 130.4 | 138.3 | 108.5 | 100.3 | 133.3 | 117.8 | 175.6 | 93.5 | 129.0 | 131.9 |
| Tome(p3d+hm) [^14] | 58.2 | 56.0 | 50.2 | 44.6 | 51.1 | 59.4 | 60.8 | 43.9 | 53.9 | 57.7 |
| Tome(p3d+hm+rot) [^14] | 54.7 | 60.4 | 54.6 | 44.7 | 56.5 | 57.7 | 52.7 | 56.4 | 53.6 | 55.4 |
| Zhang [^22] | 50.0 | 36.8 | 34.1 | 36.7 | 50.1 | 57.2 | 34.4 | 32.8 | 54.3 | 52.6 |
| EgoFish3D | 48.0 | 48.2 | 42.5 | 47.3 | 48.8 | 53.6 | 47.2 | 36.2 | 48.9 | 46.1 |
TABLE IV
COMPARISON BA-MPJPE RESULTS OF EGOCENTRIC 3D POSE ESTIMATION IN MILLIMETERS (mm) ON MO $^{2}$CAP $^{2}$ DATASET
| Approach/Indoor | All | Walking | Sitting | Crawling | Crouching | Boxing | Dancing | Stretching | Waving |
| 3DV'17 [^35] | 76.3 | 48.8 | 101.2 | 119.0 | 94.9 | 57.3 | 61.0 | 111.4 | 64.5 |
| VNext [^36] | 97.8 | 65.3 | 130.0 | 133.1 | 120.4 | 78.4 | 82.5 | 153.2 | 83.9 |
| Zhang [^22] | 62.13 | 41.2 | 76.6 | 73.0 | 89.7 | 53.0 | 58.9 | 92.2 | 71.6 |
| Xu [^15] | 61.4 | 38.4 | 70.9 | 94.3 | 81.9 | 48.6 | 55.2 | 99.3 | 60.9 |
| EgoFish3D | 60.9 | 42.1 | 65.0 | 82.7 | 79.0 | 55.5 | 59.1 | 94.5 | 66.8 |
| Approach/Outdoor | All | Walking | Sitting | Crawling | Crouching | Boxing | Dancing | Stretching | Waving |
| 3DV'17 [^35] | 92.5 | 68.7 | 114.9 | 113.2 | 118.5 | 95.3 | 73.0 | 144.5 | 72.4 |
| VNext [^36] | 113.4 | 84.4 | 167.9 | 138.4 | 154.5 | 108.4 | 85.0 | 160.6 | 96.2 |
| Xu [^15] | 80.6 | 63.1 | 85.5 | 96.6 | 92.9 | 96.0 | 68.4 | 123.6 | 61.4 |
| EgoFish3D | 79.2 | 59.4 | 115.9 | 89.7 | 79.2 | 101.6 | 66.9 | 107.2 | 71.4 |
因为准确估计第三人称视角和以自我为中心视角下的旋转关系颇具挑战性。我们还评估了所提出的交互模块的性能。我们用平均角度误差来衡量相机方向的估计情况，我们的交互模块该误差值为 $6.02^{\circ}$。
2) xR-EgoPose数据集：在xR-EgoPose数据集中，各方法的MPJPE对比结果如表III所示。我们在其合成数据集上重新训练模型，并与三种现有方法[^14]、[^22]、[^34]进行性能对比。我们的方法取得了最佳的平均性能（MPJPE = 48.0），优于Tome [^14]（MPJPE = 54.7）和Zhang [^22]（MPJPE = 50.0）。可以发现，我们的方法采用了与Tome(p3d+hm)相同的监督信号，即2D热图和3D姿态来训练模型，但性能却优于包含额外关节相对旋转监督信息的三分支网络Tome(p3d+hm+rot)；而这类相对旋转信息在真实数据中难以获取。在九种动作中，我们的模型在四种动作上表现最佳，在另外四种动作上也位列第二。
3) $Mo^{2}Cap^{2}$数据集：不同方法在$Mo^{2}Cap^{2}$数据集上的结果如表IV所示。我们在该合成数据集上重新训练模型，并在公开的真实世界自拍图像上测试该模型。我们遵循[^15]提出的评估协议，报告BA-MPJPE指标。对于室内环境下采集的数据，我们将我们的方法与四种不同方法[^15]、[^22]、[^35]、[^36]进行对比，我们的方法取得了与Xu [^15]相当的性能（BA-MPJPE = 60.9），且优于其他三种方法。在不同动作中，我们的方法在五种动作上表现最佳或位列第二。
---
TABLE V ERROR PER JOINT IN MILLIMETER
| Joint | PJPE | PA-PJPE |
| Right Shoulder | 96.7 | 49.1 |
| Right Elbow | 105.5 | 68.1 |
| Right Hand | 167.5 | 134.4 |
| Right Hip | 53.7 | 63.4 |
| Right Knee | 103.6 | 66.0 |
| Right Ankle | 128.9 | 69.7 |
| Left Shoulder | 95.6 | 69.0 |
| Left Elbow | 150.5 | 62.1 |
| Left Hand | 232.3 | 136.5 |
| Left Hip | 32.0 | 64.0 |
| Left Knee | 101.3 | 68.9 |
| Left Ankle | 142.3 | 81.2 |
PJPE – 关节位置误差；PA – 普洛克鲁斯特斯分析
TABLE VI
RESULTS OF OUR PROPOSED THIRD-PERSON-VIEW MODULE COMPARED WITH DIFFERENT METHODS
| Approach | PA-MPJPE(mm) |
| Triangulation | 69.19 |
| Triangulation+smooth | 67.29 |
| PARE [^11] | 66.92 |
| Ours(third-person-view module) | 63.26 |
Fig. 6. Human body joints (N = 15) for ECHP dataset.
在八种动作中，我们的方法在五种动作上表现最佳或位列第二。对于室外环境下采集的数据，我们与三种方法[^15]、[^35]、[^36]进行对比，我们的方法性能（BA-MPJPE = 79.2）最优。同样可以发现，我们的方法在八种动作中的五种上均取得了最佳性能。
4) 消融实验：表II的下半部分列出了在ECHP数据集上的消融实验结果。第二列报告了所有测试数据的平均MPJPE(PA-MPJPE)结果，其余各列则显示每种动作的结果。可以发现，与其他六种消融模型B-G相比，我们的完整网络（模型A）在MPJPE和PA-MPJPE两项指标上均表现最佳。在动作级对比中，我们的完整网络在九种动作中均能实现最佳或次佳的姿态估计效果，显著优于其他模型。
这种特征融合方法真的有效吗？为了评估所提出的以自我为中心视图模块中三分支特征融合机制的有效性，我们依次移除每个分支，对应得到模型B至D。实验结果表明，所有…
(b)
Fig. 7. Visualization results of egocentric 2D pose estimation by our proposed EgoFish3D. (a) On ECHP dataset; (b) On Mo $^{2}$Cap $^{2}$ dataset. The red points are the predicted joint positions and the colorized lines indicate the skeleton.
(a)
(b)
Fig. 8. Visualization of 2D pose by the proposed (a) egocentric module and (b) reprojection of the transformed 3D pose. The egocentric module can generate more accurate 2D pose than the reprojected one, especially for the joints of the upper limb.
有三个分支共同提升了姿态估计的性能。热图$\hat{H}M_{c_{ego}}$引入了2D关节的先验信息，掩码$\hat{M}_{c_{ego}}$会剔除置信度低或超出人体范围的热图，而潜在特征$\hat{F}T_{c_{ego}}$则保留了图像中的原始信息，并弥补了2D姿态检测中的误差。
我们能否直接使用三角测量得到的3D姿态作为监督信号呢？我们通过移除第三人称视角模块、直接采用三角测量得到的3D姿态来进行消融实验，以此验证其效果。
---
Fig. 9. Visualization of the egocentric 3D pose estimation by our EgoFish3D. (a) On ECHP dataset. Left: visualization results on the test set (two bottom rows are new subjects and all body textures are unseen in the training set); Right: visualization results on validation set. (b) On xR-EgoPose dataset. We retrain our model on their dataset. (c) On Mo²Cap² dataset. We directly apply our model trained on ECHP dataset to their dataset. The red color is the predicted 3D pose by our EgoFish3D and the blue color represents the ground truth.
监督机制。如模型E所示，其性能明显逊于完整网络架构。这是由于在某些情况下二维姿态估计不准确，以及三角测量得到的三维姿态解过于简单所致。更重要的是，借助训练有素的第三人称视角模块，我们仅需使用一台第三人称视角摄像头就能简化数据采集流程。我们还在表VI中提供了所提出的第三人称视角模块的更多定量结果，以证明所设计回归器的有效性，而非采用三角测量方法。我们结合VICON系统采集了更多的第三人称视角图像，用于进行第三人称视角姿态估计，并将所提出的第三人称视角模块与三种方法进行比较：三角测量法、带时间平滑处理的三角测量法，以及最先进的第三人称姿态估计方法PARE [^11]。在推理阶段，我们仅将单视角摄像头拍摄的外中心图像输入第三人称视角模块。结果表明，与其他方法相比，我们的第三人称视角模块取得了最佳性能，这凸显了该模块的有效性，它能够生成相对准确的弱标签。
粗略的先验知识是否有助于网络训练？模型F和G凸显了通过三角测量得到的三维姿态先验以及通过ArUco标记得到的旋转矩阵的重要性。借助这些先验知识可以发现，我们的完整网络（模型A）能够持续提升性能。尤其是对于基于ArUco标记的旋转计算得出的$\mathcal{L}_{mat}^{itr}$而言，缺少该损失项的网络几乎无法在自我中心坐标系下估计三维姿态。
### B. 定性结果
图7展示了我们提出的基于自监督学习的方法在ECHP和Mo²Cap²数据集上进行的自我中心二维姿态估计的可视化结果。如图7(a)所示，在ECHP数据集上，所提出的EgoFish3D即便在下肢被遮挡的情况下也能预测出相对准确的二维姿态。图7(b)展示了我们的模型在Mo²Cap²数据集上预测的二维姿态的泛化能力：该二维姿态估计器是通过混合ECHP数据集与少量Mo²Cap²数据集中的合成数据（约4万条）训练而成的，且并未在该数据集上进行进一步微调。此外，与图8中展示的重新投影二维姿态相比，我们的自我中心模块能够预测出
---
更准确的二维姿态，这证明了重新投影损失$\mathcal{L}_{rep}^{ego}$的有效性。
我们的方法在ECHP、xR-EgoPose和Mo²Cap²数据集上的自我中心三维姿态估计结果分别如图9(a)–(c)所示。为了探究所提方法的泛化能力，我们直接将训练好的模型应用于Mo²Cap²数据集，无需进行微调。我们在xR-EgoPose数据集上重新训练EgoFish3D [^14]以开展对比实验。给定鱼眼镜头拍摄的单张自我中心图像，可以发现所提出的EgoFish3D能够针对不同动作预测三维姿态，甚至能处理未见过的受试者、纹理以及一些被遮挡的身体部位。
### VII. 结论与未来工作
本文提出了一种名为EgoFish3D的自监督自我中心姿态估计方法，该方法能够利用单张RGB图像在自我中心视角下同时估计二维姿态和三维姿态。这一成果的取得得益于对第三人称视角和自我中心视角中潜在信息的充分利用。具体而言，EgoFish3D包含了三个核心模块：第三人称视角模块、自我中心模块以及交互模块，用以提升该自监督方法的性能。本文还提出了一个名为ECHP的真实场景自我中心人体姿态数据集，该数据集通过三台不同摄像头采集图像，从而无需借助动作捕捉系统即可获取真实姿态数据。实验结果表明，EgoFish3D能够较为准确地预测二维和三维姿态。在未来的研究中，我们将致力于使该方法能适应自我中心摄像头的不同摆放位置，并将人体姿态估计与更多自我中心视觉任务相结合。
## 参考文献
[^1]: S. Ardeshir and A. Borji, “Egocentric meets top-view,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 41, no. 6, pp. 1353–1366, Jun. 2019.
[^2]: A. Bandini and J. Zariffa, “Analysis of the hands in egocentric vision: A survey,” IEEE Trans. Pattern Anal. Mach. Intell., early access, Apr. 13, 2020, doi: 10.1109/TPAMI.2020.2986648.
[^3]: Y. Huang, X. Yang, J. Gao, and C. Xu, “Holographic feature learning of egocentric-exocentric videos for multi-domain action recognition,” IEEE Trans. Multimedia, vol. 24, pp. 2273–2286, 2022.
[^4]: H. Jiang and K. Grauman, “Seeing invisible poses: Estimating 3D body pose from egocentric video,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2017, pp. 3501–3509.
[^5]: M. Lu et al., “Deep attention network for egocentric action recognition,” IEEE Trans. Image Process., vol. 28, no. 8, pp. 3703–3713, Aug. 2019.
[^6]: Y. Zhang, C. Cao, J. Cheng, and H. Lu, “Egogesture: A new dataset and benchmark for egocentric hand gesture recognition,” IEEE Trans. Multimedia, vol. 20, no. 5, pp. 1038–1050, May 2018.
[^7]: S. Alletto, G. Serra, S. Calderara, and R. Cucchiara, “Understanding social relationships in egocentric vision,” Pattern Recognit., vol. 48, no. 12, pp. 4082–4096, 2015.
[^8]: F. Ragusa, A. Furnari, S. Battiato, G. Signorello, and G. M. Farinella, “EGO-CH: Dataset and fundamental tasks for visitors behavioral understanding using egocentric vision,” Pattern Recognit. Lett., vol. 131, pp. 150–157, 2020.
[^9]: J. Yang, Y. Liu, X. Gu, G.-Z. Yang, and Y. Guo, “POSESDF: Simultaneous 3D human shape reconstruction and gait pose estimation using signed distance functions,” in Proc. IEEE Int. Conf. Robot. Automat., 2022, pp. 1297–1303.
[^10]: Z. Cao, T. Simon, S.-E. Wei, and Y. Sheikh, “Openpose: Realtime multi-person 2D pose estimation using part affinity fields,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 43, no. 1, pp. 172–186, Jan. 2021.
[^11]: M. Kocabas, C.-H. P. Huang, O. Hilliges, and M. J. Black, “PARE: Part attention regressor for 3D human body estimation,” in Proc. IEEE/CVF Int. Conf. Comput. Vis., 2021, pp. 11127–11137.
[^12]: Q. Zhang et al., “Single person dense pose estimation via geometric equivariance consistency,” IEEE Trans. Multimedia, vol. 25, pp. 572–583, 2023.
[^13]: W. Li et al., “Exploiting temporal contexts with strided transformer for 3D human pose estimation,” IEEE Trans. Multimedia, early access, Jan. 07, 2022, doi: 10.1109/TMM.2022.3141231.
[^14]: D. Tome et al., “SELFPOSE: 3D egocentric pose estimation from a headset mounted camera,” IEEE Trans. Pattern Anal. Mach. Intell., early access, Oct. 8, 2020, doi: 10.1109/TPAMI.2020.3029700.
[^15]: W. Xu et al., “Mo $^{2}$ cap $^{2}$: Real-time mobile 3D motion capture with a cap-mounted fisheye camera,” IEEE Trans. Vis. Comput. Graph., vol. 25, no. 5, pp. 2093–2101, May 2019.
[^16]: B. Wandt, M. Rudolph, P. Zell, H. Rhodin, and B. Rosenhahn, “Canonpose: Self-supervised monocular 3D human pose estimation in the wild,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2021, pp. 13294–13304.
[^17]: I. Chang, M.-G. Park, J. Kim, and J. H. Yoon, “Multi-view 3D human pose estimation with self-supervised learning,” in Proc. IEEE Int. Conf. Artif. Intell. Inf. Commun., 2021, pp. 255–257.
[^18]: A. Bouazizi, J. Wiederer, U. Kressel, and V. Belagiannis, “Self-supervised 3D human pose estimation with multiple-view geometry,” in Proc. IEEE Int. Conf. Autom. Face Gesture Recognition., 2021, pp. 1–8.
[^19]: Y. Yuan and K. Kitani, “Ego-pose estimation and forecasting as real-time PD control,” in Proc. IEEE/CVF Int. Conf. Comput. Vis., 2019, pp. 10082–10092.
[^20]: Z. Luo, R. Hachiuma, Y. Yuan, and K. Kitani, “Dynamics-regulated kinematic policy for egocentric pose estimation,” in Adv. Neural Inf. Process. Syst., pp. 25019–25032, 2021.
[^21]: H. Rhodin et al., “Egocap: Egocentric marker-less motion capture with two fisheye cameras,” ACM Trans. Graph., vol. 35, no. 6, pp. 1–11, 2016.
[^22]: Y. Zhang, S. You, and T. Gevers, “Automatic calibration of the fisheye camera for egocentric 3D human pose estimation from a single image,” in Proc. IEEE/CVF Winter Conf. Appl. Comput. Vis., 2021, pp. 1772–1781.
[^23]: H. Rhodin et al., “Learning monocular 3D human pose estimation from multi-view images,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2018, pp. 8437–8446.
[^24]: X. Chen, K.-Y. Lin, W. Liu, C. Qian, and L. Lin, "Weakly-supervised discovery of geometry-aware representation for 3D human pose estimation," in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2019, pp. 10895–10904.
[^25]: M. Kocabas, S. Karagoz, and E. Akbas, “Self-supervised learning of 3D human pose using multi-view geometry,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2019, pp. 1077–1086.
[^26]: C.-H. Chen et al., “Unsupervised 3D pose estimation with geometric self-supervision,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2019, pp. 5714–5724.
[^27]: X. Gu et al., “Occlusion-invariant rotation-equivariant semi-supervised depth based cross-view gait pose estimation,” 2021, arXiv:2109.01397.
[^28]: K. Iskakov, E. Burkov, V. Lempitsky, and Y. Malkov, “Learnable triangulation of human pose,” in Proc. IEEE/CVF Int. Conf. Comput. Vis., 2019, pp. 7718–7727.
[^29]: U. Iqbal, P. Molchanov, and J. Kautz, “Weakly-supervised 3 d human pose learning via multi-view images in the wild,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2020, pp. 5243–5252.
[^30]: H. Rhodin, M. Salzmann, and P. Fua, “Unsupervised geometry-aware representation for 3D human pose estimation,” in Proc. IEEE Eur. Conf. Comput. Vis., 2018, pp. 750–767.
[^31]: S. Garrido-Jurado, R. Muñoz-Salinas, F. J. Madrid-Cuevas, and M. J. Marín-Jiménez, “Automatic generation and detection of highly reliable fiducial markers under occlusion,” Pattern Recognit., vol. 47, no. 6, pp. 2280–2292, 2014.
[^32]: P. I. Corke, “The machine vision toolbox: A MATLAB toolbox for vision and vision-based control,” IEEE Robot. Autom. Mag., vol. 12, no. 4, pp. 16–25, Dec. 2005.
[^33]: P. Li, Y. Xu, Y. Wei, and Y. Yang, “Self-correction for human parsing,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 44, no. 6, pp. 3260–3271, Jun. 2022.
[^34]: J. Martinez, R. Hossain, J. Romero, and J. J. Little, “A simple yet effective baseline for 3D human pose estimation,” in Proc. IEEE/CVF Int. Conf. Comput. Vis., 2017, pp. 2640–2649.
[^35]: D. Mehta et al., “Monocular 3D human pose estimation in the wild using improved CNN supervision,” in Proc. IEEE Int. Conf. 3D Vis., 2017, pp. 506–516.
[^36]: D. Mehta et al., “Vnect: Real-time 3D human pose estimation with a single RGB camera,” ACM Trans. Graph., vol. 36, no. 4, pp. 1–14, 2017.