# 无标记多视角三维人体姿态估计综述 Ana Filipa Rodrigues Nogueira $^{1,2}$ Hélder P. Oliveira $^{1,3}$ Luís F. Teixeira $^{1,2}$ $^{1}$ 葡萄牙系统与计算机工程技术与科学研究所（INESC TEC），葡萄牙波尔图罗伯托·弗里亚斯博士街，邮编4200-465 $^{2}$ 波尔图大学工程学院（FEUP），葡萄牙波尔图罗伯托·弗里亚斯博士街，邮编4200-465 $^{3}$ 波尔图大学理学院（FCUP），葡萄牙波尔图坎波阿莱格里街，邮编1021-1055 ## 摘要 三维人体姿态估计通过检测人体关节来重构人体骨骼。动画、人机交互、监控和体育等多个实际应用都需要准确高效的三维人体姿态估计方案。然而，遮挡、二维姿态失配、随机相机视角和三维标注数据有限等挑战一直阻碍着模型性能提升，限制了模型在现实场景中的部署。摄像头设备的日益普及促使研究人员探索多视角解决方案，利用不同视角的信息来重构姿态。 现有综述大多主要聚焦于单目三维人体姿态估计，因此自2012年以来一直缺少针对多视角方法的全面调研。根据本文调研的文献来看，现有方法大多数是基于几何约束的全监督方法，这类方法往往受二维姿态失配问题限制。为缓解该问题，研究人员提出引入时间一致性或深度信息。另一种方案是直接处理三维特征，已有研究证明该方法可以彻底解决该问题，但代价是计算复杂度会提升。此外，低监督度模型已被证明有助于解决标注数据稀缺和对新设置泛化性差等挑战。因此，目前尚无方法能够解决三维姿态重构相关的所有挑战，复杂度和性能之间存在权衡关系。未来仍需进一步研究，以开发能够在可承受的计算成本下快速推断出高精度三维姿态的方法。在开发解决该任务的新方法时，主动学习、低监督方法、时间一致性、视角选择、深度信息估计和多模态方法都是值得关注的研究方向。 关键词：三维人体姿态估计 · 多视角 · 监督水平 · 时间一致性 · 多模态 ## 1 引言 三维人体姿态估计的目标是重构场景中所有人物的身体构型。找到该任务的解决方案对众多应用都至关重要，涵盖人机交互 [^92]、动画制作 [^36]、游戏、动作识别 [^52]、康复评估、监控系统 [^25]、体育 [^59] [^8]、直播 [^29]、人机交互（例如手语识别 [^26]）等诸多领域。举一个应用实例，Mustafa等人的研究 [^59] 表明，多视角设置下的三维姿态重构有助于开发针对包含多个交互个体（如体育赛事）的四维动态场景理解方法。 因此，有必要开发无需使用标记即可高效有效地解决该任务的方案，因为使用标记会对此类方法的适用场景施加诸多限制。此外，将标记布置在衣物上时，运动过程中标记可能发生移位，进而会导致人体关键点读取错误 [^73]。 二维姿态估计方法已经得到了广泛探索，但这类方法仅能重建平面姿态。因此，为了获取人体的体积信息，需要确定三维姿态。尽管如此，由于二维姿态估计方法的发展更为成熟，许多三维估计算法都会利用各视角的二维姿态估计结果来重建三维姿态。 多视角的使用有助于捕捉完整的人体几何结构，使其比单目方法更简单也更适用于三维姿态 --- 估计 [^80]。然而，遮挡问题、相机校准精度不足、缺乏三维标注数据、人体外观存在相似性或变异、多视角关联困难以及难以泛化到新视角，都是多视角系统三维姿态准确估计算法必须克服的挑战 [^8] [^88]。 ### 1.1 已有文献综述 多年来，准确高效估计三维人体姿态的方案已经得到了广泛探索，因此已有大量综述对现有绝大多数工作进行了总结与评估。 最初，大多数方法都是针对单视角输入开发的，因此已有多篇综述研究基于单目图像的三维姿态估计 [^15] [^75] [^56] [^40] [^53] [^50]。这类综述的主要结论是：尽管深度学习为三维姿态估计带来了显著提升，但遮挡、拥挤场景、缺乏能够真实模拟真实环境的数据集仍然限制了模型的性能，阻碍了它们的实际应用。未来研究方向建议包括：使用迁移学习 [^56]、合成数据 [^56] [^53]、弱监督模型 [^53]，或是例如通过利用多模态方法获取互补信息 [^75] [^53]，融合全局与局部上下文以获得更具区分度的特征 [^15]，探索个体与场景或物体之间的交互 [^40] [^53] [^50]，或是加入时序信息的利用 [^56]。此外，多视图几何被指出是解决单目三维姿态估计中数据稀缺和歧义性问题的一种方案 [^40] [^53] [^50]。 多相机设备的普及率不断提升，推动了学界进一步研究多视角拍摄带来的优势。因此，除了分析单视图方法之外，多项调研也覆盖了多视角方法[^96] [^54] [^23] [^69] [^85] [^61] [^7] [^100] [^48] [^46]。Holte等人的文献综述[^33]是目前已知唯一一篇专门针对多视角方法的研究。根据已有的调研分析，单目场景下存在的多数问题同样存在于多视角场景中，即缺少野生场景或包含稀有姿态的标注数据集[^54] [^69] [^7] [^23] [^48] [^85] [^100] [^61]，拥挤场景下多姿态识别难度大，以及遮挡问题[^96] [^46] [^100] [^48] [^33]。尽管利用不同视角有助于解决遮挡问题，但在部分场景中，遮挡仍然是一项挑战。此外，视角数量的增加要求更复杂的模型来处理所有视角采集的信息，这会导致推理速度变慢，因此需要在模型复杂度和运行速度之间取得平衡[^7] [^46] [^100] [^48]。另外，对焦或模糊带来的图像质量问题[^100] [^46] [^48] [^33]，以及2D姿态估计的误差会影响使用2D-3D升维的模型性能[^48] [^33]，这些因素都会对预测质量产生负面影响。因此，该领域仍存在大量改进空间，例如：考虑人与他人或人与周边环境的交互[^69] [^85] [^100] [^33]，提升方法通用性，使同一种方法可适配多个应用场景且不依赖特定输入视角[^46] [^48] [^33]。此外，多项调研推荐使用神经架构搜索来设计更优质、更高效的神经网络[^85] [^46] [^100] [^48]，利用时序信息，甚至将单目方法适配改造到多视角场景[^46] [^23]，使用迁移学习[^54]和数据增强[^100]。最后，为解决标注数据集稀缺的问题，研究者提出了多种策略，例如使用无监督、半监督或弱监督模型[^54] [^85]，或使用主动学习减轻人类标注工作量[^61]。 此外，部分调研也简要提及了多模态方法，这类方法主要结合视觉与惯性测量单元（IMU）传感器，也可结合深度传感器、点云或射频（RF）信号，能够获得更准确的估计结果，体现了互补信息的优势[^23] [^100] [^48]。 因此，本综述的研究范围为无标记方法，因此仅探讨不需要人体佩戴传感器的方法。此外，现有文献缺乏针对使用多台相机确定位姿方法的专门综述。现有多数探讨这类方法的综述仅用相对简短的章节介绍相关内容，如表1所示。因此，本文献综述专门聚焦于基于多相机数据的三维人体姿态估计研究，同时也介绍了多视角环境下使用不同类型传感器（如红绿蓝-深度（RGB-D）相机、飞行时间（ToF）相机或无线设备）获取三维姿态的相关工作。 ### 1.2 检索过程 本次研究检索过程（如图1所示）于2023年9月完成，并于2024年6月更新，使用的学术文献检索平台为Scopus。检索采用以下关键词的不同组合：三维姿态估计；多视角/多相机；信道状态信息（Channel State Information, CSI）、RF、Wi-Fi、多传感器、多模态、激光雷达（Light Detection And Ranging, LiDAR）；数据效率技术。 本次检索共得到204篇文献，随后采用以下标准对结果进行筛选： 1. 去除重复文献 2. 通过分析标题和摘要，排除与主题完全无关的文章。 3. 仅纳入英文撰写的同行评议文献。 4. 通读全文内容，仅纳入与本研究主题相关的文献。 ---
Table 1: Table of a comparative analysis between the surveys on 3D pose estimation
PapersYearMonocular view methodsMulti-view methodsWi-Fi, RF or other sensorsDatasetsBenchmarking PerformanceMetrics
A survey on monocular 3D human pose estimation [^40]2020✓✗✗✓✓✓
Monocular human pose estimation: A survey of deep learning-based methods [^15]2020✓✗✗✓✓✓
Human pose estimation and its application to action recognition: A survey [^75]2021✓✗✗✓✓✗
A Survey of Recent Advances on Two-Step 3D Human Pose Estimation [^56]2022✓✗✗✓✓✗
Recent Advances of Monocular 2D and 3D Human Pose Estimation: A Deep Learning Perspective [^53]2022✓✗✗✓✓✓
Efficient Annotation and Learning for 3D Hand Pose Estimation: A Survey [^61]2023✓✓ (19 works)✗✗✗✗
Human pose estimation using deep learning: review, methodologies, progress and future research directions [^46]2022✓✓ (9 works)✗✓✗✓
A survey of human pose estimation: The body parts parsing based methods [^54]2015✓✓ (6 works)✗✓✓✗
3D Human pose estimation: A review of the literature and analysis of covariates [^69]2016✓✓ (11 works)✗✓✓✓
Deep 3D human pose estimation: A review [^85]2021✓✓ (16 works)✗✓✓✓
Deep Learning Methods for 3D Human Pose Estimation under Different Supervision Paradigms: A Survey [^96]2021✓✓ (11 works)✗✓✓✓
A review of 3D human pose estimation algorithms for markerless motion capture [^23]2021✓✓ (7 works)✗✓✓✓
A review of deep learning techniques for 2D and 3D human pose estimation [^7]2021✓✓ (9 works)✗✓✓✓
Overview of 3D Human Pose Estimation [^50]2023✓✓ (17 works)✗✓✓✓
Deep Learning-Based Human Pose Estimation: A Survey [^100]2023✓✓ (26 works)✓✓✓✓
Vision-Based Human Pose Estimation via Deep Learning: A Survey [^48]2023✓✓ (8 works)✓✓✓✓
Human pose estimation and activity recognition from multi-view videos: Comparative explorations of recent developments [^33]2012✗✓ (24 works)✗✓✓✗
Markerless Multi-view 3D Human Pose Estimation: a survey (Ours)2024✗✓ (57 works)✓✓✓✓
应用上述筛选标准后，最终得到73篇符合要求的文献，我们对这些文献进行了全面梳理，用以构建本文献综述。从图2可以看出，该领域的研究热度正不断上升。 本文献综述其余部分结构安排如下：第2章——数据集，第3章——评价指标，第4章——多视角方法，第5章——多模态方法，第6章——讨论，第7章——结论。 ## 2 数据集 多视角场景下，用于训练和评估三维人体姿态估计模型性能最常用的数据集包括Human3.6M [^38]、Campus [^5]、Shelf [^5]和CMU Panoptic [^42]。 Human3.6M [^38]是常用的单人体三维姿态估计数据集。该数据在实验室环境下采集：四角布置了4台数码摄像机，其中一台数码摄像机顶部安装了1台ToF相机，墙面共布置10台运动捕捉相机，每侧墙面4台，水平边中部布置2台。数据集共包含15类不同动作，包括交谈、打招呼、摆姿势、行走、进食、静坐和拍照等。这些动作由共11名不同性别的受试者完成，其中2名男性和2名女性仅被纳入测试集。 Campus [^5]包含户外环境下三人互动的场景，由三台相机录制。已为1号相机和2号相机生成了三名受试者的人体关节标注，随后这些 --- ![Image](images/c0089ba004a7df9bbe8f1c33a0b69f0397244277b878c12043d05f0e97abad90.jpg)
Figure 1: PRISMA diagram of the conducted research process (adapted from [^62]).
![Image](images/5617561a99be0bde5c0a4fad6fd6b218d2124485f5d1b767ea3c6df4daae5a8e.jpg)
Figure 2: Evolution of the published works found in Sco-pus database for markerless 3D pose estimation in multi-camera settings or by using other types of sensors such as RGB-D cameras, ToF cameras or wireless sensors.
标注通过三角化和投影生成了第三个视角的标注。 Shelf数据集[^5]包含四名在室内场景中拆卸架子的人员，该场景由五台摄像机记录。由于一名参与者（参与者4）在大多数帧中始终被遮挡，评估过程中通常会忽略该人员对应的姿态估计结果。3D真实标注是通过对来自$2^{nd}$、$3^{rd}$和$4^{th}$摄像机视角的身体关节标注进行三角测量生成的。 （共480台VGA摄像机、31台HD摄像机和10台Kinetic摄像机）。该数据在受控环境中采集，既包含群体完成的动作，也包含个体完成的动作。参与者被组成最多8人的小组，参与各类社交活动，例如最后通牒博弈、讨价还价博弈这类游戏，还有小组讨论、音乐表演或舞蹈。 CMU Panoptic数据集[^42]是目前可用视角数量最多的数据集，总共提供521个视角。其他数据集则是针对特定应用场景采集的，例如可用于足球场人员跟踪的KTH Multiview Football数据集[^44] [^45]，或是用于跟踪烹饪过程中人员动作的MPII Cooking数据集[^68]。表2总结了现有数据集及其主要特征。表3、表4和附录A给出了相关研究工作中所用多个数据集的基准测试结果。 ## 3 评价指标 本节介绍专门用于人体姿态估计的评价指标。用于评价3D姿态估计质量的最常用指标包括正确部位百分比（PCP）、平均关节位置误差（MPJPE）、正确关键点百分比（PCK）和平均精度（AP）。除此之外，本文还介绍了其他使用频率较低的指标，例如平均精度均值（mAP）、曲线下面积（AUC）、平均关节角度误差（MPJAE）和根位置平均误差（MRPE）。 PCP用于衡量肢体检测的准确率。如果预测的肢体端点与真实肢体关节位置之间的距离小于等于肢体长度的$\alpha$，则该肢体被判定为检测正确（参见式1）。 $$ \frac{\left|\left|s_{p}-s_{p}^{^{\prime}}\right|\right|+\left|\left|e_{p}-e_{p}^{^{\prime}}\right|\right|}{2}\leq\alpha\left|\left|s_{p}-e_{p}\right|\right| $$ $s_p$和$e_p$是身体部位p起点和终点的3D真实坐标。 $s_{p}^{'}$和$e_{p}^{'}$是身体部位p起点和终点对应的估计坐标。$\alpha$是阈值，通常定义为0.5。 MPJPE也被称为3D误差，指的是估计关节与对应真实关节位置之间的平均欧氏距离（参见式2）。 $$ \mathbf{MPJPE}\left(S\right)=\frac{1}{N_{S}}\sum_{i=1}^{N_{S}}\left|\left|G_{i}-P_{i}\right|\right|_{2} $$ $G_{i}$是第i个关节的真实位置。$P_{i}$是第i个关节的预测位置。$N_{S}$是S骨架的关节数量。 部分研究人员还会使用MPJPE的一种变体——普氏对齐平均关节位置误差（PA-MPJPE）来报告结果，该方法对真实姿态应用普氏对齐[^31] ---
Table 2: Summary of the found datasets for Multi-view 3D Human Pose Estimation.
DatasetsYearSize ( $N^{o}$ frames)$N^{o}$ cameras$N^{o}$ subjectsCharacteristics
HumanEva-I [^73]201040 06074Single-person dataset that includes 6 distinct actions: random hand movements, boxing, playing with a ball by tossing and catching, walking, running and a combined sequence in which the subject begins walking, then runs and at the end, balances on each foot alternately. The ground-truth data was obtained using a MoCap system with 6 cameras.
HumanEva-II [^73]20102 46042Single-person performing an extended sequence of actions compared to HumanEva-I. The ground-truth motion was captured using a MoCap system with 12 cameras. This is only a test set, the models are supposed to be trained and validated with the data from HumanEva-I.
Utrecht Multi-Person Motion (UMPM) [^81]2011400 000430Consists of 9 different scenarios recorded with 1 to 4 people in the scene. Ground-truth was captured with 14 Vicon MoCap cameras.
KTH Multiview Football I [^44]201225732Professional football players during a match of the Allsvenskan league.
KTH Multiview Football II [^45]201380032Extended version of KTH Multiview Football I.
Human3.6M [^38]20143 600 000411Only single-person scenarios realizing one of the 17 pre-defined actions. People have IMU sensors attached for a better annotation of the keypoints.
Campus [^5]20142 00033Multiple people interacting in an outdoor environment.
Shelf [^5]20143 20054Multiple people in a room disassembling a shelf.
CMU Panoptic [^42]20151 500 0005211-8 per frameContains scenes with a single person doing a set of movements and scenarios with multiple people engaging in social activities. (521 cameras: 480 VGA camera; 31 HD cameras and 10 Kinect II Sensors).
MPII Cooking 2 [^68]20152 881 616830Single-person preparing several dishes.
NTU RGB+D [^71]20164 000 000340There are 60 different actions; some were performed with just one person in the scene and some required a multi-person setting. It was collected depth maps, RGB images and videos, 3D joint information, and infrared sequences.
MPI-INF-3DHP [^58]2017>1 300 000148Single-person performing one of the 8 pre-defined activities.
Total Capture [^79]20171 892 17685Single-person either walking, acting, doing freestyle movements or a range of motion sequences. All frames have a multi-view video, IMU and Vicon labelling.
PKU-MMD [^18]20175 312 580366The subjects performed various actions by themselves and in group. Contains depth maps, RGB images, skeleton joints, infrared sequences, and RGB videos.
WILDTRACK [^12]201836 0007313Data captured in the street in front of the ETH Zurich University's main building.
Multi-View Operating Room (MVOR) [^77]2018732310Consists of images recorded during 4 days in an interventional room at the University Hospital of Strasbourg.
NTU RGB+D 120 [^51]20198 000 0003106It is an extension of NTU RGB+D and it has 60 more different actions, making a total of 120 actions.
How2Sign [^26]2021~7 503 218311Consists of people doing sign language. Besides images, it also contains speech, English transcripts, gloss, pose information and depth information.
HuMoMM [^97]2023262 000518Includes 30 different actions: 20 performed individually and 10 in group. Contains RGB images and depth images and also, provides multi-modal annotations that comprehend 2D and 3D keypoints, SMPL parameters and action categories.
PKUInfantV [^95]2024~2 000 0003170It comprises 510 videos recorded in a hospital setting, and the movements of the infant were categorized as either normal or abnormal writhing motions by a physician. This dataset led to the creation of two other datasets: one consisting of 15 924 annotated images obtained from 420 videos in the PKUInfantV dataset, and the other being a downsampled version featuring solely the segments of the videos in which the infant exhibited movement.
后，再对估计关节计算MPJPE。 PCK指的是估计值与真实值之间距离小于某一值的点所占的百分比 --- 给定阈值的点的占比（参见式3）。 $$ P C K_{k_{i}}=\frac{1}{N}\sum_{i=1}^{N}\delta\left(\left|\left|P_{k}^{i}-G_{k}^{i}\right|\right|_{2}^{2}\leq t_{j}\right) $$ $PCK_{k_i}$是第k个骨架上第i个关键点的PCK值。 $t_{i}$ 是定义好的第j个阈值。 $P_{k}^{i}$ 和 $G_{k}^{i}$ 分别表示第k个预测骨架中第i个关节的坐标，以及该关节的坐标真值。 $$ \delta(.)=\begin{cases}1&\text{if}\left|\left|P_{k}^{i}-G_{k}^{i}\right|\right|_{2}^{2}\leq t_{j}\text{is True}\\ 0&\text{otherwise}\end{cases} $$ AP 使用MPJPE（见公式2）作为真值与预测关键点之间的阈值化指标进行计算（见公式4）。例如，AP@50 指的是当MPJPE < 50mm时才认为姿态估计正确，以此计算得到的AP。 $$ AP@k=\frac{1}{P}\sum_{p=1}^{P}\frac{TP_{p}}{TP_{p}+FP_{p}} $$ TP 表示真正例（True Positive）。 FP 表示假正例（False Positive）。 P 是场景中的人数。 k 是以毫米为单位的阈值。 $R^{(i)}$ 是根关节的真值坐标。 mAP 是所有考虑阈值下AP值的平均值（见公式5）。 $$ mAP=\frac{1}{T}\sum_{k=1}^{T}AP@k $$ T 是所考虑阈值的数量。 AUC 对在所有PCK阈值下评估模型性能的曲线进行积分计算。 MPJAE 衡量所有角度中，实际关节角度与估计角度之间以度为单位的绝对差值的平均值（见公式6）。 $$ \mathbf{MPJAE}=\frac{1}{N}\sum_{i=1}^{N}\left|\begin{pmatrix}x_{i}-x_{i}^{^{\prime}}\end{pmatrix}\quad mod\pm180^{\circ}\right| $$ N 是关节的总数量。 $P_{i}$ 是估计得到的姿态向量。 $P_{i}$ 是姿态向量的真值。 mod 是取模运算符，对角度应用项 $\mod \pm 180^{\circ}$ 可将角度限制在 $[-180^{\circ}, +180^{\circ}]$ 的范围内。 MRPE 是预测根关节位置与真值根关节位置之间的平均欧氏距离（见公式7）。 $$ \mathbf{M R P E}=\frac{1}{N}\sum_{i=1}^{N}\left|\left|R^{(i)^{\prime}}-R^{(i)}\right|\right|_{2} $$ $R^{(i)}$' 是预测得到的根关节坐标。 ## 4 多视角方法 一方面，多视角的存在为构建3D姿态提供了更多信息，另一方面也带来了一个新问题，即如何对这些多视角进行关联。[^88] 大多数早期方法都是针对单人场景解决这一任务的，而近年来的大多数方法则聚焦于多人场景。因此，现有方法可根据场景中的人数分为单人方法（第4.1节）和多人方法（第4.2节）。 本文提出的分类体系（见图3）如下：单人方法被划分为全监督方法，以及从半监督到无监督的方法。现有大多数方法都利用几何关系推断3D姿态，尽管如此，部分研究者选择了全监督方法，另一部分研究者则选择监督程度更低的方法，以提升自身方法的泛化能力，还可能优化模型性能。对于多人方法，我们根据从图像推断3D姿态所用方法的类型对其进行分类。因此，如果方法的实现基于相机视角之间或人体结构之间的几何关系，则将其归类为基于几何约束的方法。而体素类别下的方法不依赖2D姿态估计来确定3D姿态，而是利用体素特征推断3D姿态。最后，基于平面扫描立体视觉的方法使用平面扫描立体视觉网络将深度信息融入2D姿态估计，从而最大程度降低误匹配带来的影响。 ### 4.1 单人方法 本节介绍针对仅存在一个个体的场景提取3D姿态的开发方法。这些方法被分为两类：全监督方法（第4.1.1节），以及半监督到无监督方法（第4.1.2节），后者包含半监督、弱监督、自监督和无监督方法。该分类的依据是训练过程中使用的标注数据量。因此，训练过程使用完全标注数据集的模型被定义为全监督方法，而仅使用少量标注数据或完全不使用标注数据的模型则归为第二类。半监督、弱监督、自监督和无监督方法之间的差异主要源于模型训练所用标注数据量的不同，因此半监督 --- ![Image](images/08b4c93035fb820d166a042b7dab6984c3f019c83a7a397270e382a099fa59d3.jpg)
Figure 3: Proposed taxonomy for multi-view 3D pose estimation
方法训练所用的标注数据多于弱监督方法，而弱监督方法的标注数据又多于无监督方法——无监督方法训练时完全不使用任何标注数据。自监督方法是无监督方法的一个子类别，这类方法会生成隐式标签来辅助理解非结构化数据。一般而言，无监督方法无需依赖标注数据即可学习分析和理解数据结构，并根据观测到的特征以及不同数据样本之间的关系将数据聚类为不同组别。 #### 4.1.1 全监督方法 Signal等人 [^73] 引入了HumanEva数据集，以解决多视图3D姿态估计领域缺少数据集的问题，并提供了一个基准，使已开发的方法能够得到公平比较。因此，为了让人们直观了解如何使用该数据集，作者提出了一个基线模型，该模型是一种贝叶斯滤波方法，其参数通过序列重要性重采样和退火粒子滤波（APF）优化得到。 为了开发一种既能实现快速推理又能保持良好性能的方法，Wang和Chung [^88] 采用了自下而上的方法：首先，确定每个视角下所有可能的身体部位候选区域。随后，利用线性组合表达式确定哪些检测到的部位在所有视角下都存在对应关系，从而减少错误候选的数量。最后，应用置信度传播过程将所有部位组合成一个3D姿态。 Mehrizi等人[^57]采用了两阶段研究方法。因此，研究者提出了一种由感知机构成的深度神经网络（DNN），用于确定每个视角的二维姿态和分层纹理信息，再通过一个带跳跃连接的半沙漏网络利用上述信息推断三维姿态，体现了共享纹理信息对提高三维姿态估计精度的重要性。 Amin等人[11 $^{f}$] $^{g}$估计中，使用了Pictorial $^{c}$二维姿态和$^{r}$尽管所使用的方法在HumanEva-I数据集上展现出良好性能，但该方法依赖相机设置来学习成对外观项。 Remelli等人[^64]提出了一种高效的姿态重建方法，且不会大幅增加计算成本。为此，作者引入了更快版本的直接线性变换（Direct Linear Transform, DLT）方法，将预测得到的二维骨架提升为三维姿态，而二维姿态则是通过探究三维几何和相机投影生成的。 Solichah等人[^74]应用OpenPose [^10]算法预测二维姿态，该算法可在单张图像上实现面向多人的实时关键点检测。之后研究人员使用三角测量得到最终的三维姿态。尽管该方法取得了令人满意的结果，但它需要对相机参数进行正确标定。Kadkhodamohammadi和Padoy[^43]提出的方法采用如下流程：使用单视角检测器估计二维姿态，利用对极几何匹配不同视角间的二维姿态，再使用由多个阶段构成的多层神经网络回归得到三维姿态。作者已经证明，融入不同视角可以提升模型性能。尽管如此，该方法的一个主要缺点是高度依赖相机标定设置和单视角姿态检测器的特性。 Wan等人[^82]开展的研究旨在通过多视图融合模块改善多视角间二维关键点的相关性，并通过带解剖学约束的整体三角测量优化三维姿态估计。多视图融合模块将参考视角检测到的关键点生成的不同视角伪热图与初始热图融合，得到精度更高的热图。带解剖学约束的整体三角测量通过整合基于多视图几何约束的重投影项和主成分分析（Principal Component Analysis, PCA）重建项，实现所有视角的同时关联，保证解剖学一致性。尽管该模型性能较好，但它在重建未见过动作的姿态时仍存在挑战。 --- 并且对于相机数量与训练阶段不同的系统，该方法缺乏适应性。 从以往改进方法可以看出，目前大量方法依赖固定相机设置，无法泛化到新视角场景。为解决这一问题，Bartol等人[^3]提出了一种基于随机性的三角化方法：该方法在生成每个视角的二维姿态后，随机选取一组子视角，通过三角化融合对应二维姿态得到三维姿态。这一步骤会重复多次生成多个不同假设，为每个假设分配分数后计算所有假设的加权平均值，最终选出最合适的三维姿态假设。Jiang等人[^41]提出了名为概率三角化（Probabilistic Triangulation）的方法，可对相机姿态分布进行近似估计。该分布的参数由输入RGB图像估计得到的二维热图初始化，随后通过蒙特卡洛采样不断更新。这种方法降低了对标定参数的依赖，因此可以在未标定场景下估计三维姿态，但该模型仍需要使用标定数据进行训练。 Nakatsuka和Komorita[^60]开发了一种方法，可在视角有限、数据分辨率低的复杂环境中获得鲁棒的三维姿态估计结果。这类环境中频繁出现遮挡和视觉信息缺失的问题，会损害姿态预测的准确性；为应对这一挑战，已有部分研究者采用时间一致性约束。但Nakatsuka和Komorita认为，施加时间一致性约束可能会抑制微小的突变，反而会损害模型的整体性能。据此，他们提出了一种由两个部分组成的方法：一个模块以图像为输入回归三维姿态，另一个模块对得到的三维姿态估计结果进行优化，采用门控时序卷积网络仅对置信度较低的关键点预测结果进行校正。作者表示，该方法还可以通过引入轻量型三维姿态估计器进一步优化。 Xia和Zhang提出了VitPose[^89]，该模型由三部分组成：用于捕捉低层特征的CNN骨干网络、用于捕捉同一视角内人体关节之间长程关系以及不同视角关节之间关联的Vision Transformer编码器，以及可对多视角进行加权融合，避免姿态预测结果较差的视角损害模型性能的简单特征融合网络。因此，该方法实现了更鲁棒的融合步骤，同时也证明了对长程关系的探索能够得到更准确的二维姿态估计结果。Cai等人[^9]也对特征融合进行了研究，但他们的研究重点是融合多帧与多视角的特征。为实现这一目标，他们使用Transformer编码器生成融合了所有不同视角、不同帧特征的全局特征，再使用Transformer解码器将全局特征与每个视角的特有特征融合，得到更具表达能力的特征集用于三维姿态估计。实验证明，这种融合方案可有效降低深度不确定性的影响，同时也展现了无需相机参数先验知识的方法的应用潜力。 基于卷积神经网络（Convolutional Neural Network, CNN）的模型带来的计算负担可能会限制这类模型在实际场景中的应用。为解决这一问题，Hwang等人 [^35] 设计了一个由多台边缘设备和一台中央服务器组成的系统，其中每台边缘设备负责利用CNN对接收到的图像进行二维姿态估计，之后将估计结果连同对应时间戳发送至中央服务器。而中央服务器则会利用DLT对大致同一时间检测得到的二维姿态进行三角测量，生成三维姿态。因此，该系统将CNN的计算负担分散到各边缘设备，同时仅传输二维姿态和时间戳而非RGB图像，减少了数据流量，使其更适合现实场景中的实时应用。 #### 4.1.2 从半监督方法到无监督方法 标注数据集的稀缺性极大限制了模型的输出效果。因此，研究人员提出了无监督、弱监督、半监督和自监督方法，以摆脱对三维标注数据集的依赖。 Rhodin等人的工作就是一个典型例子 [^66]，该工作采用半监督方法，能够从未标注图像中学习得到人体的几何感知表示，之后利用少量监督信息学习从三维几何表示到三维姿态的映射。受该方法思路启发，Kundu等人 [^47] 提出了一种无监督方法，利用几何感知瓶颈生成可用于表示三维姿态的清晰潜在空间。另一方面，Rochette等人 [^67] 探索了一种弱监督方法，仅需单张图像即可确定三维姿态，该方法用到了多视图一致性损失和重投影一致性损失。与之类似，Ma等人 [^55] 也提出了一种自监督方法，该方法的损失函数利用多视图信息，将相机视角与三维人体骨骼完全解耦，从而解决了单目场景中存在的投影歧义问题。作者在研究中得出结论：训练过程中使用更多视角能够进一步提升该网络的性能。 在Zhao等人开展的研究工作 [^99] 中，作者提出了一种新型损失函数——三角测量残差损失（Triangulation Residual Loss），其目标是最小化视光线与通过三角测量得到的三维姿态估计结果之间的总距离。这种新型损失函数旨在实现多视图几何一致性约束，从而促进模型的高效自监督训练。而Jenni和Favaro [^39] 则提出了一种预训练技术 --- 利用自监督学习确定两张图像之间的同步关系，以及其中一张图像是否相对于另一张发生水平翻转，目标是学习到一种可用的有效表征，让网络无需知晓任何相机参数即可估计三维姿态。此外，作者提出对静态图像去除背景，避免在自监督学习任务中学习到无关特征。另外，Liu等人[^52]还提出了一种仅依赖两个视图重建姿态的方法，不需要知晓任何相机配置。该方法提取每张图像的二维姿态后，使用自监督三维回归网络，通过人体正交投影生成虚拟视图，使模型能够充分理解人体空间结构，以及将一个视角投影到另一个视角所需的变换。针对Yin等人[^95]的研究方向，已有学者探索了一种结合时间卷积块和时空注意力机制的自监督方法。所采用的方案包含重投影和视图一致性方法，能够在不需要三维标签和相机标定参数的情况下，准确还原出婴儿的三维姿态。 与以往研究不同，Feng等人[^30]没有尝试从现有未标记数据中学习或是生成新的合成数据，而是提出了一种优化数据标注流程的方法。Feng等人采用了基于主动学习的方案（见图4），能够在不显著增加整体计算成本的前提下高效完成数据标注。此外，研究人员表明，该策略无论是单独使用还是与自训练结合，都可以提升数据标注质量，进而优化整体三维姿态估计的效果。 表3展示了使用Human3.6M数据集评估模型性能的相关研究得到的结果。附录A.1展示了单人姿态估计技术在其他数据集上得到的结果。 ### 4.2 多人体方法 本节介绍针对多人体场景开发的三维姿态估计解决方案。因此本节将按照本文提出的分类体系，分为基于几何约束的方法（第4.2.1节）、基于体素的方法（第4.2.2节）和基于平面扫描立体匹配的方法（第4.2.3节）。 这些方法具备不同的特点：基于几何约束的方法利用人体结构、对极几何、视图间几何关系等相关条件的约束。基于平面扫描立体匹配的方法也会使用几何约束，尝试关联不同视角的二维姿态来构建最终三维姿态，但这类方法依赖于通过平面 ![Image](images/070c5ca15df9dc8e80477230013a9551387324e78786eb5d277f512b7280ce67.jpg)
Figure 4: Active learning process. In this process, the model interactively selects some instances and asks the human annotator to label them. Then, the model is retrained using these new labelled instances until it reaches a defined performance threshold or the budget limit.
Table 3: Table summarising the results reported in the revised publications for the Human3.6M [^38]
Type of methodPaperYearMPJPE (mm) $\downarrow$
Fully-supervisedTang et al. [^78]201899.70
Kadkhodamohammadi and Padoy [^43]201957.90
Remelli et al. [^64]202030.20
Remelli et al. [^64] (trained with extra data from the MPII Human Pose dataset [^2])202021.00
Reddy et al. [^63]202118.70
Wang and Sun [^83]202267.20
Wang et al. [^84]202231.17
Bartol et al. [^3]202229.10
Xia and Zhang [^89]202217.00
Jiang et al. [^41]202327.80
Wan et al. [^82]202321.10
Cai et al. [^9]202415.10
Cai et al. [^9] using the 2D ground-truth poses20247.90
Semi-supervisedRhodin et al. [^66]2018131.70
Self-supervisedJenni and Favaro [^39]202164.90
Liu et al. [^52]202122.50
Ma et al. [^55]202375.10
Zhao et al. [^99]202325.80
UnsupervisedKundu et al. [^47]202056.10
扫描立体匹配模型计算得到的深度信息。基于体素的方法采用了更独特的思路，三维姿态是基于三维空间中提取的一组特征回归得到的，而非上述另外两类常用方法那样基于二维空间特征，这避免了这些模 --- 型受到二维姿态估计器性能和匹配过程的限制。尽管如此，这类方法通常计算成本更高，推理速度也更慢。 #### 4.2.1 基于几何约束的方法 Belagiannis等人[^5]扩展了Amin等人[^1]提出的多人姿态估计方法，他们对不同视角下检测到的二维人体关节进行三角化，构建出包含场景中所有人员全部身体部位假设的三维离散状态空间。随后，研究人员使用三维图画结构（3D Pictorial Structures, 3DPS）模型，在约简后的状态空间中，从三维身体部位假设推断出三维人体姿态。之后，在[^6]中，研究人员在之前方法的基础上引入了时间一致性，用于随时间推移估计人体姿态。他们认为，时间一致性对于多人姿态估计非常重要：每个个体的运动轨迹与其身体姿态密切相关，时间一致性有助于对假阳性候选进行惩罚。Chen等人[^14]旨在开发一套系统，用于评估普通个体与存在运动功能障碍个体之间的动作相似度。为实现这一目标，作者将时间信息整合到3DPS模型中，提升了三维姿态估计的效果。 在[^4]中，作者在其此前研究工作[^5]的基础上开展研究。不过，他们采用了不同的身体参数化方案，探索了使用带有多个势函数的3DPS模型，并且采用结构化支持向量机（Support Vector Machine, SVM）学习模型参数，对不同势函数进行合理加权。Zhu等人[^102]同样对PS模型展开了研究，但应用于人体运动跟踪场景。为实现这一目标，研究人员首先进行背景减除，随后采用基于PS的部件柔性混合模型（Flexible Mixtures of Parts, FMP）进行前景学习以检测人体部位，最后采用APF对身体部位进行跟踪。如前文所述，Belagiannis等人的最新研究[^4]依赖结构化SVM优化模型参数。与之不同的是，Schwarz和Pollard[^70]为了简化超参数优化、提升三角化估计姿态的质量，采用条件随机场（Conditional Random Field, CRF）作为因子图确定三维姿态，其中三维肢体位置为变量，肢体位置先验、碰撞项和关节的时间平滑项为因子。此外，为了得到每个视角的二维姿态，Schwarz和Pollard利用了OpenPose库[^10]。另一方面，Ershadi等人[^27]采用自下而上的方法：首先借助DeeperCut模型[^37]检测二维身体部位，随后利用所有检测到的关节构建三维搜索空间，再应用高斯混合模型（Gaussian Mixture Model, GMM）对点进行聚类，得到场景中的人数。为了推断三维姿态，他们使用了在三维空间中定义成对项的全连接成对CRF，并采用环置信度传播算法进行推断。为了降低用于估计三维姿态的深度神经网络的计算成本，Wang等人[^84]提出了LHPE-nets。LHPE-nets包含一个低跨度网络，用于提升二维姿态预测训练过程的启动速度，还包含一个在低分辨率数据上训练的残差深度神经网络；与ResNet-34相比，该网络已被证明能够提升网络的可扩展性和性能。 为了解决基于PS的模型效率不足的问题，Dong等人[^24]提出了一种多路匹配算法，该算法利用对极几何、外观相似性和循环一致性来减小状态空间、消除错误检测，实现了跨视角2D姿态更高效的匹配。随后，在[^25]中，研究人员扩展了该方法，通过引入时间跟踪和黎曼扩展卡尔曼滤波实现姿态跟踪。但该方法存在一定局限性：仅出现在单个视角中的2D姿态会被判定为离群值，而如果存在快速运动，跟踪算法也会不可靠。因此，该方法无法应用于运动跟踪这类需要快速运动监测的场景中。为了提高跨视角2D姿态关联的速度，Bridgeman等人[^8]采用了仅基于几何关系的快速贪心算法，随后通过三角化生成3D骨架。尽管该方法比基于PS的方法速度更快，但在相机数量较少的场景中，已证明使用PS进行关节估计比三角化更精确[^25] [^8]，这体现了速度与精度之间存在的固有权衡[^25]。 Xu等人[^92]专注于人机交互应用方向，因此作者需要结合两项任务：3D人体骨架估计和机器人运动控制。在姿态估计部分，Xu等人使用2D姿态检测器确定每个视角的姿态，接着使用贪心算法关联2D姿态，最后基于配对后的2D姿态计算得到3D姿态。为了提升效率、避免姿态错配，作者加入了冗余筛选环节来移除多余配对，同时采用迭代回滚机制对当前状态的有效性进行二次检查；如果当前状态未通过检查，迭代会回退到备份状态。 为了解决拥挤场景下快速准确预测3D姿态的问题，Chen等人[^13]首先使用Jonker-Volgenant算法关联不同视角下的足部关节，随后利用该信息和人体运动学找到其余关节的匹配关系。最后，为了回归得到3D姿态，研究人员改进了三角化方法，引入了最大后验（Maximum A Posteriori, MAP）优化，该优化考虑了2D估计的不确定性，并加入了3D骨骼平均长度的约束。 Huang等人[^34]提出了一种方法，允许梯度从3D估计步骤反向传播到2D姿态检测环节，从而实现模型的端到端训练。此外，该研究的另一项贡献是提出了自底向上的动态匹配算法，该算法通过对每对2D姿态进行投影来构建3D姿态子空间，投影采用 --- 三角化得到3D姿态，随后采用基于距离的聚类方法识别出匹配完成的3D姿态。 针对Chu等人[^17]，研究人员提出了一种方法来减轻匹配过程带来的计算负担。该方法利用时间一致性和部位感知测量，能够借助先前得到的3D姿态，在不同视角间寻找更优的2D-3D对应关系。此外，为了去除可能的异常值或噪声数据，该方法应用了联合滤波器，提升了3D重建的鲁棒性。 另一方面，Dehaeck等人[^21]指出，仅依靠几何约束即可得到可靠的跨视角匹配算法，例如桑普森误差（Sampson error）可用于计算两个不同视角预测点之间的距离。此外，作者提出，解决视角间的匹配问题至少需要三个视角；如果仅有两个视角无遮挡，匹配结果的可信度就会下降。 Xu和Kitani[^93]提出利用多视图几何来缩小跨视角匹配的解空间。因此作者确定了几项约束条件：每个目标必须至少出现在两台相机的视野范围内，单个人的匹配数量不能超过可用相机的数量，且同一视角内的不同个体不能互相匹配。随后，为了增强多个视角间2D姿态的关联效果，该方法采用了自验证方法，利用所有相机对中质量更高的对应关系。最后，对来自不同相机对的3D姿态进行三角测量得到最终3D姿态，再通过光束平差法对结果进行优化。该方法最终得到的算法对不同相机设置都具有鲁棒性，且不需要知晓任何标定参数。 Ershadi-Nasab等人[^28]采用对抗学习方法，目标是在不需要任何相机标定的情况下估计3D姿态。该模型由生成器和判别器，生成器负责估计3D姿态，尝试生成判别器无法与真值姿态区分开的估计结果。生成器会先计算2D欧氏距离矩阵和2D角度差矩阵，再将二者映射为对应的3D版本，随后用这些3D矩阵生成最终3D姿态。此外，为了让生成器对遮挡更具鲁棒性、提升3D姿态估计的效果，该方法采用普氏分析（Procrustes analysis）来实现多个视角间的姿态关联。判别器会将生成姿态的3D欧氏距离矩阵、3D角度差矩阵与真值矩阵进行对比，判断二者是否一致。 其他研究已经探索了针对遮挡选择最佳视角的技术，以更准确地估计3D姿态 [^78] [^29] [^83]。Fan等人 [^29]开发了MAO-Pose，这是一种可管理相机位置的自监督方法。该方法鼓励不同相机选择关节可见性最佳的视角，并与其他相机选择的视角形成差异化的视点选择，以此得到丰富多样的视角集合。此外，研究引入了名为Consensus的通信系统，允许相机交换位置信息，通过获知其他相机的摆放规划，帮助下一任相机优化自身的位置方案。另一方面，Wang等人 [^83]提出了Smart-VPoseNet，这是一种仅依赖单个视角重建3D姿态的模型。不过，它所使用的视角是从多视角系统的所有可用视点中动态选择的。Smart-VPoseNet遵循的选择标准包括可见关节数量、人体伸展程度，以及视角与模型之间的亲和度。这三个标准可根据数据集的特点单独使用，也可结合使用。此外，作者表示他们的方法为潜在的双视角融合系统提供了研究基础。 #### 4.2.2 基于体素的方法 在 [^80]中，Tu等人提出了VoxelPose（见图5），该方法通过直接在3D空间中处理，完全避免了不同视角之间错误的2D姿态关联问题。该模型将来自不同视角的图像作为输入，生成对应的2D热图。随后，这些热图被投影到3D空间中，形成3D特征体，作为长方体候选网络（Cuboid Proposal Network, CPN）的输入，CPN会为场景中的每个人输出一个3D长方体候选框。最后，网络会生成更细粒度的长方体，以实现更准确的姿态估计，再将其输入到姿态回归网络（Pose Regression Network, PRN）中，得到最终的3D姿态。 该方法对遮挡的鲁棒性，以及相比以往方法更优异的性能，吸引了学界对该方法展开探索。因此，诸多后续研究都基于该架构开展，例如 [^22] [^94] [^104] [^98] [^63] [^16] [^103]。 Deng等人 [^22]为了让VoxelPose模型对域偏移具有鲁棒性，提出添加域适应组件、dropout机制和可迁移参数学习。这些新增设计能够让模型学习跨不同域的代表性特征，同时缓解学习域特定信息带来的负面影响。尽管该方法提升了跨域效率，减少了对手动标注数据的需求，但它的训练开销非常高，限制了它在高处理要求场景中的适用性，并且随着视角数量的增加，这一问题会更加突出。 另一方面，Faster VoxelPose [^94] 专注于通过避免使用3D CNN来提升VoxelPose的运行速度。为实现这一点，该方法需要先识别出每个个体对应的特征体，之后再将其独立重投影到二维空间。但该方法对视角数量减少的情况鲁棒性不佳，会导致性能大幅下降。因此，为解决这一问题，Zhuang和Zhou [^104] 提出了FasterVoxelPose+，对Faster VoxelPose模型做出了两处修改：深度可分离（Depth-wise --- ![Image](images/ef3612cd24771e839b78172ca8c3687d75b921b3c032b6424e5b88d9cd7e033d.jpg)
Figure 5: Overview of the VoxelPose architecture (image adapted from [^80])
投影衰减（Projection Decay, DPD）和编解码网络（Encoder-Decoder Network, EDN）。DPD是一种投影技术，可为二维姿态热图向三维体素特征的投影过程补充额外深度信息。而EDN由一个可融合多尺度信息的2D CNN构成，能够对二维重投影后的体素特征进行分阶段处理，最终得到更准确的三维边界框估计结果和二维姿态。对于VoxelTrack [^98]，作者在VoxelPose方法的基础上进行扩展，新增了跨时间跟踪三维姿态的功能。此外，该方法还加入了鲁棒性更强的二维骨干网络，以及对所有关节的额外三维热图监督，以此提升三维姿态估计的精度；同时为了提高推理速度，采用了稀疏3D CNN。但当相机数量减少时，上述所有方法仍然会出现性能下降，只是该影响在FasterVoxelPose+中表现得更不明显。TesseTrack [^63]受该问题的影响也较小，因为它通过四维时空CNN整合了时序信息。这使得该模型对遮挡的鲁棒性更强，更擅长预测关节位置，也能够处理单帧中出现的外观歧义问题。 在Zhu等人的研究[^103]中，同样沿用了VoxelPose方法，为每个人体候选框计算对应的特征体。但由于该研究的目标是构建一个可在拥挤环境下稳定运行的可靠方法，作者提出了三阶段策略来细化三维姿态。第一阶段在每个人体候选框周围区域生成粒度更细、范围更小的特征体。第二阶段，体素沙漏网络（Voxel Hourglass Network）利用这些特征体生成三维热图和标签图。随后，该研究采用三维关联嵌入（3D Associative Embedding）融合热图和标签图提供的信息，生成粗略的三维姿态。第三阶段，使用细化层对前一步得到的三维姿态进行优化。作者证明，加入三维标签图可以消除场景中其他人物带来的干扰关节，从而减少关节错配的数量。 此外，受VoxelPose启发，Wang等人[^86]提出了MvP，这是一种用于解决多人三维姿态估计任务的基于Transformer的模型。该方法将关节编码为可学习的查询嵌入，并将其与从输入图像中提取的特征结合，直接预测三维骨架。此外，为了提升模型性能，该研究提出的Transformer采用了基于几何信息的投影注意力机制，结合RayConv操作，对每个关节的跨视角数据进行精确融合。作者指出了该方法的一些缺陷：对新相机视角的泛化鲁棒性不足，且对训练数据需求量大。另一种基于VoxelPose的Transformer方法是体积Transformer姿态估计器（VTP）[^16]。创建该模型的目的是解决将自注意力直接应用于体积表示带来的高计算成本问题。为了克服这一问题，研究采用了稀疏Sinkhorn注意力（SSA）机制，因为它能提供准全局局部注意力。具体来说，该机制将输入序列分块，学习块之间的相关性，最后SSA利用这些相关信息。 --- 来理解如何对块进行重组和分类。作者得出结论：应用SSA可以降低内存消耗，从而能够将自注意力高效地应用于体积表示。 #### 4.2.3 基于平面扫描立体视觉的模型 为了创建比VoxelPose更快、计算成本更低的算法，Lin和Lee [^49]提出了一种基于平面扫描立体视觉的框架，可为每个视角生成的二维姿态添加人员级别和关节级别的深度信息，见图6。随后，将二维姿态和对应的深度信息反投影以生成三维姿态，降低了姿态关联的计算负担。为将该方法扩展到无标注数据集上，de França Silva等人 [^19]修改了此前提出的平面扫描立体视觉方法所使用的损失函数，实现了以无监督方式学习三维姿态。因此，这种新型损失函数不再计算生成的三维姿态与真实值之间的差异，而是利用三维姿态的二维投影与该视角估计得到的二维姿态之间的重投影误差。作者不仅证明了该方法从无标注数据中学习的潜力，还展示了Adabelief优化器相比Adam优化器收敛更快、性能更好的优势。之后，de França Silva等人 [^20]扩展了他们的工作，研究了一种匹配方法：利用与每个个体关联的地面点来匹配目标视图与参考视图。此外，作者还引入了平滑 $L_{1}$ 损失来计算二维姿态的重投影误差。与之前的版本相比，这些修改带来了显著的性能提升，同时也展现了该方法处理无标注数据的潜力。但需要注意的是，该方法需要已知相机参数才能计算损失。 周等人[^101]还利用平面扫描立体法获得深度分数矩阵，随后结合对应深度信息对二维姿态进行反投影，得到三维姿态。然而，为了优化所有关节的预测效果，尤其是那些受遮挡或其他可能阻碍检测的外部因素影响最大的关节，作者采用了注意力通道机制和一种基于关节与个体之间依赖关系的最优校准方法。该策略通过调整每个通道的权重，实现了通道层面的特征重校准，使模型能够学习关节之间的长依赖关系，提升最难检测关节的检测效果。 表4报告了所有使用Campus或Shelf数据集评估模型性能的改进研究的结果，附录A.2展示了多人体方法在其他数据集上得到的结果。 ## 5 多模态方法 本节介绍了使用RGB相机以外的其他传感器估计三维姿态的方法。 ### 5.1 不同类型的相机 部分研究人员使用各类相机传感器完成三维姿态估计任务，例如RGB-D相机[^11] [^36]、ToF相机[^32]或$360^{\circ}$相机[^72]，这类相机能够提供与常规RGB图像不同的输出。这类相机可以捕获更多信息，对姿态估计任务十分有利。例如，Shere等人[^72]提出了一种使用两台$360^{\circ}$相机确定三维姿态的方法。作者指出，这类相机的优势尤为突出：它不需要部署大量相机即可捕获完整场景，同时还能提供准确的深度信息。因此，他们利用时间信息关联二维姿态，降低估计误差。尽管该方法是针对$360^{\circ}$相机输出的数据开发的，但其他类型相机的数据也可适用，只不过需要额外进行成本较高的重投影步骤。在Carraro等人[^11]的研究中，他们使用一组RGB-D相机估计三维人体姿态，这使得他们能够利用深度信息，结合单视图姿态估计算法生成的二维姿态和相机外参标定参数计算得到三维姿态。此外，作者使用卡尔曼滤波随时间跟踪姿态，开发的系统可实现多人三维姿态的实时估计。Hwang等人[^36]同样利用RGB-D相机提供的深度信息优化二维姿态跨视图匹配流程。为了能够将该方法部署到实际场景中，作者采用了与[^35]类似的系统。 在Hassan等人[^32]的研究中，作者使用了可同时提供红外强度图像和深度信息的ToF相机。与使用RGB图像的系统相比，使用红外强度图像让系统对遮挡、材质反射率和光照条件的鲁棒性更强。此外，作者证明，相比于深度图像，使用强度图像作为输入估计二维姿态、再投影构建三维姿态的可靠性更高。但如果某个关节无法被检测确定，模型会利用深度信息获取缺失关节的位置。 ### 5.2 无线传感器 另一方面，部分研究人员选择使用其他类型的传感器，这类传感器能够克服基于视觉方法存在的诸多局限。因此，人们开始探索利用无线通信完成这项任务，因为无线通信不会受到遮挡、隐私 --- ![Image](images/da56eccf1e6a67d8b71b7c9d67859cb99298609e3ce3c2bc1812bc0b4844d762.jpg)
Figure 6: Overview of the plane sweep stereo-based method followed by Lin and Lee (image adapted from [^49])
Table 4: Table summarising the results reported in the revised publications for the Campus [^5] and Shelf [^5] datasets.
Type of methodPaperYearCampus — PCP (%) $\uparrow$Shelf — PCP (%) $\uparrow$
Actor 1Actor 2Actor 3AverageActor 1Actor 2Actor 3Average
Geometric constraint-basedBelagiannis et al. [^5]201482.0072.0073.0075.6066.0065.0083.0071.30
Belagiannis et al. [^6]201583.0073.0078.0078.0075.0067.0086.0076.00
Belagiannis et al. [^4]201693.4575.6584.3784.4975.2669.6887.5977.51
Schwarcz and Pollard [^70]201886.5582.5488.1485.1588.3485.2691.3088.92
Ershadi-Nasab et al. [^27]201894.1892.8984.6290.5693.2975.8594.8387.99
Bridgeman et al. [^8]201991.8492.7193.1692.5799.6892.7997.7296.73
Dong et al. [^24]201997.6093.3098.0096.3098.8094.1097.8096.90
Huang et al. [^34]202097.9694.8197.3996.7198.7596.2297.2097.39
Chu et al. [^17]202198.3793.7698.2696.7999.1495.4197.6497.39
Ershadi Nasab et al. [^28]202198.4195.1298.8297.4599.8394.9198.3397.69
Dong et al. [^25]202297.6093.3098.0096.3098.8094.1097.8096.90
Xu and Kitani [^93]202299.0094.7099.6097.8099.6095.2098.5097.80
Chen et al. [^14]2024————98.6095.8097.9097.40
Voxel-basedTu et al. [^80]202097.6093.8098.8096.7099.3094.1097.6097.00
Wang et al. [^86]202198.2094.1097.4096.6099.3095.1097.8097.40
Zhang et al. [^98]202198.1093.7098.3096.7098.6094.9097.7097.10
Reddy et al. [^63]202197.9095.2099.1097.4099.1096.3098.3098.20
Ye et al. [^94]202296.5094.1097.9096.2099.4096.0097.5097.60
Chen et al. [^16]202397.6093.1098.1096.3099.3095.1097.4097.30
Zhuang and Zhou [^104]202397.4093.6098.1096.4099.0096.3097.7097.70
Deng et al. [^22]202385.1086.3078.4083.2096.5094.1097.7096.10
Plane sweep-basedLin and Lee [^49]202198.4093.7099.0097.0099.3096.5098.0097.90
de França Silva et al. [^19]202296.9087.8088.9091.20————
Zhou et al. [^101]202298.6094.0099.2097.3099.4097.3098.2098.30
de França Silva et al. [^20]202398.4093.4098.6096.80————
问题或光照不佳的影响，而这些都是基于视觉的方法必须面对的挑战 [^76] [^90] [^91]. 通常，利用无线信号重建三维姿态的系统，例如RF [^76] [^90] [^91] 或 Wi-Fi [^87] [^65]，都会配备一台与无线信号同步的相机。但研究人员仅使用相机数据生成三维姿态真值，用于对比通过无线信号生成的骨架结果 [^87] [^65] [^76] [^90] [^91]。使用这类信号的方法的典型流程为：首先将输入信号转换为图像，例如提取信道状态信息或到达角频谱，之后采用计算机视觉领域的方法得到最终的三维姿态 [^87] [^65] [^76] [^90] [^91]. --- ## 6 讨论 本节将对多视角设置下的各类三维姿态估计方法进行对比，进而分析单人方法和多人方法各自的优势与缺陷。 ### 6.1 单人方法：全监督、半监督到无监督方法 现有的大多数单人三维姿态估计方法都采用以下流程：根据对应RGB图像确定每个视角下的二维姿态；利用几何关系关联这些二维姿态，之后回归得到三维姿态 [^1] [^3] [^9] [^35] [^41] [^43] [^60] [^64] [^74] [^82] [^89]. 大多数方法使用成熟的2D姿态估计器（如ResNets、PS或OpenPose）来确定2D姿态 [^64] [^1] [^74]，随后通过三角测量或对极几何对2D姿态进行匹配。然而，这些匹配方法高度依赖视角数量、相机参数、设备布置与校准过程。为解决这一问题，有研究提出使用概率三角测量来确定相机姿态分布和参数，但该方法仍需要使用经校准的相机姿态参数的数据进行训练 [^41]。Bartol等人 [^3] 采用的随机三角测量方法已被证明可摆脱对相机布置和视角数量的依赖：该方法选择不同视角得到的多个2D姿态子组，对其进行组合后为每个生成的假设打分，再根据得分选择最优假设。另一种摆脱对相机参数依赖的方法是FusionFormer，它融合了来自多个帧以及多个视角的特征 [^9]。该方法还通过以统一方式为模型提供更多空间和时间信息，缓解了深度不确定性问题。此外，这使得研究者取得了当前最优的结果（见表5和表8），具体而言，在Human3.6M数据集中（见表3），其性能比第二优的结果高出1.9 mm，而排名第二的方法 [^89] 依赖于相机参数校准。不仅如此，若使用性能更好的2D姿态估计器，FusionFormer的性能还可进一步提升：正如作者所示，当使用2D真值姿态时，该模型的MPJPE可达到7.90 mm，相比原结果提升了7.20 mm，提升幅度约为47.7%。这表明，对于以2D姿态作为获取3D姿态中间步骤的方法而言，2D姿态估计的质量是最大的限制因素之一。为了得到鲁棒性更强的2D姿态估计，Xia和Zhang [^89] 利用关节间的长距离依赖关系，取得了17.00 mm的性能，在Human3.6M数据集上排名第二。作者还发现，融合过程通常会受低精度预测的影响，因此他们采用了一种避免使用这类预测的方法。 为了让模型更轻量、运算速度更快，研究者提出使用DLT和移位逆迭代法来提升三角测量的匹配速度 [^64]，并通过多个边缘设备分配计算任务，仅传输2D姿态估计结果而非原始RGB图像 [^35]。 关于弱监督程度更高的方法，Rhodin等人 [^66] 的方法在本文梳理的单人姿态估计方法中性能迄今为止最差，与最优方法的性能差距达到116.6 mm。但需要注意的是，该方法不依赖任何2D或3D标签来获得人体的几何感知表示，仅依赖极少的标注数据就能从中间表示得到3D姿态。Kundu等人 [^47] 的方法不依赖任何标注数据，但在Human3.6M数据集上取得了56.10 mm的性能，比Rhodin等人 [^66] 的结果好57.4%。这一差异主要源于该方法加入了运动学约束，避免模型生成不符合实际的姿态输出。尽管如此，该方法与当前最优结果仍存在41 mm的差距。 其他低监督程度的方法利用了多视图信息与一致性[^55] [^95] [^99] [^67]提供帮助，例如将相机视角与3D姿态分离[^55]，或是在其他场景下省去对相机标定参数的需求[^95]。此外，为了避免依赖相机参数，部分研究人员利用了不同视图间的同步性[^39]或是新视图合成技术[^52] [^66]。Liu等人的研究[^52]通过生成新的虚拟视角，能够更好地理解人体的空间结构，最终在Human3.6M数据集上取得了22.50毫米的性能结果，是非全监督方法中的最优性能。 主动学习是一种探索较少的方法，它能够以经济高效的方式解决标注数据集不足的问题[^30]。 因此，可以得出结论：一般而言，全监督方法通常比低监督程度的方法更能获得更优的结果。这一结果符合预期，因为全监督方法使用完全标注的数据集进行训练。然而，在没有标注数据可用的场景中，半监督、弱监督、无监督或自监督方法的性能优于全监督方法，因为它们具备更强的泛化能力，能够更轻松地适应未见过的场景。此外，如前文所述，性能最优的自监督方法在Human3.6M数据集上的表现仅比当前最优方法差7.4毫米，参见表3，这意味着通过进一步研究，或许可以开发出无需标注训练数据就能提供可靠3D姿态估计的方法，从而推动其在不同真实场景中的应用。 --- #### 6.2 多人姿态：基于几何约束的方法 vs. 基于体素的方法 vs. 基于平面扫描立体的方法 与单人姿态方法类似，大多数归类为基于几何约束和基于平面扫描立体的方法都依赖2D姿态估计来获取3D姿态。因此，无论采用何种3D姿态估计方法，这类模型的全部潜力始终会受到2D姿态估计不准确性的限制。 基于几何的方法中，一种常用方案是将CRF作为图对人体建模 [^5] [^6] [^4] [^14] [^27] [^70]。Belagiannis等人[^5]提出了3D PS，这是一种基于CRF、带有多视图势函数的方法，能够让模型考虑重投影误差、2D身体部位检测的置信度、不同身体部位在各视图中的可见性、身体部位长度，以及人体先验信息——该方法采用对称身体部位约束来避免三维空间中的碰撞。这种方法允许作者既可以在单人场景（见表6和表7）也可以在多人场景（见表4）中确定3D姿态，在Campus数据集上取得了75.6%的性能，在Shelf数据集上取得了71.3%的性能。随后，为了进一步提升3D姿态预测效果、惩罚错误检测，有研究提出引入时间一致性[^6] [^14] [^70]，事实证明该方法能够提升性能：对比Belagiannis等人的两种方法[^5] [^6]，Campus数据集性能提升了2.4个百分点（pp），Shelf数据集提升了4.7pp。之后在文献[^4]中，加入SVM对势函数加权进一步带来了性能提升，Campus数据集达到84.49%，Shelf数据集达到77.51%，相比[^6]中的结果分别高出6.49pp和1.51pp。 限制模型性能的最关键步骤之一是匹配过程。Dong等人[^24]提出利用对极几何、外观相似度和循环一致性来缩减状态空间、消除错误检测。这让作者在Campus数据集上获得了96.3%的性能，在Shelf数据集上获得了96.9%的性能，相比此前基于先验的最优方法（Campus数据集对应[^27]，Shelf数据集对应[^70]）分别高出5.74 pp和7.98 pp。该方法后来在文献[^25]中得到扩展，通过引入时间信息和黎曼扩展卡尔曼滤波实现人物跟踪，但在PCP指标上没有得到进一步提升。还有其他方法提出利用几何关系更好地匹配不同视图间的姿态[^93] [^28] [^21] [^34]。Dehaeck等人[^21]得出结论：要让模型准确估计3D姿态，需要三个视图，且其中至少两个视图必须无遮挡。Xu和Kitani[^93]通过施加三项约束：每个个体必须至少出现在两个视图中、每个人的匹配数量不能超过可用视图数量、同一视图中的个体不能互相匹配，成功缩减了求解搜索空间，在Campus数据集上取得了当前最优性能，PCP达到97.80%；同时在Shelf数据集上，也取得了几何约束类模型中的最好结果，PCP同样达到97.80%。此外，时间一致性、冗余筛选、部位感知测量和人体运动学也是研究人员提出的、用于改进姿态匹配的其他技术[^14] [^17]。 尽管如此，实际应用不仅要求三维姿态算法精度足够，还要求其运算速度快，正如Dong等人[^25]的研究所示：他们的方法效果出色，但无法适配快速运动场景。Bridgeman等人[^8]通过采用快速贪心搜索算法匹配二维姿态，再通过三角测量恢复三维姿态，提升了跨视图匹配速度。然而，尽管三角测量能更快地推断三维姿态，基于先验信息的方法通常精度更高，这一点在相机数量较少的场景中体现得更为明显。因此，现有方法在实际应用中不得不在性能和速度之间做权衡。另有研究人员专注于降低计算成本，他们通过使用轻量网络提升了训练速度[^84]。在[^29] [^83]的研究中，作者重点研究了可选择最优相机视角的方法，这些视角受遮挡影响最小，从而能够准确估计三维姿态。所提方法要么调整相机位置以扩大每个相机的视野、获得更清晰的不同视角[^29]，要么选择能更好显示关节、人体拉伸程度更低、且视角与模型匹配度更高的观测点。 基于体素的方法同样需要在计算复杂度和性能之间进行权衡。尽管这类方法能取得非常出色的性能，但这是以高计算复杂度为代价的。基于体素的方法直接在三维空间中处理，因此能够克服二维姿态的匹配错误问题。然而，要从三维体中提取特征，需要使用三维CNN，这类网络计算效率低，因此无论在复杂度还是速度上都带来了高昂的计算成本[^80] [^22] [^94]。为了解决这个问题，提升原始VoxelPose模型[^80]的效率，Ye等人[^94]提出将三维特征体重投影到三个二维坐标平面上，这样就可以使用二维CNN估计部分三维姿态，再将这些部分融合得到最终的三维姿态。该方法将VoxelPose的速度提升了10倍，同时没有明显影响整体性能：如表4所示，Campus数据集上的性能仅下降了0.5个百分点，而在Shelf数据集上，Faster VoxelPose [^94]取得的PCP结果比原始VoxelPose [^80]高出0.6个百分点。此外，VoxelTrack [^98]提出使用稀疏三维CNN来提升推理速度。尽管这两种方法都能提升VoxelPose网- --- 在工作过程中，如果视角数量减少，模型性能会大幅下降。因此，庄和周[^104]提出引入深度信息并融合多尺度信息，缓解了视角数量减少带来的性能下降。另一方面，TesseTrack [^63]提出将时间信息整合到VoxelPose架构中，使模型受遮挡、视角数量减少和外观歧义的影响更小，最终得到更优的三维姿态估计结果。该方法在所有基于体素的方法中取得了最佳性能，在Campus数据集和Shelf数据集上的PCP结果分别为97.40%和98.20%，相比原始VoxelPose模型[^80]分别提升了0.7个百分点和1.2个百分点。尽管如此，TesseTrack的计算量非常大，作者需要8块显存32GB的V100 GPU才能训练该模型。为了降低计算成本，陈等人[^16]专注于解决应用于体积表示的自注意力机制带来的高计算成本问题，证明使用SSA可以将自注意力应用于体积表示，且不需要占用过大的内存。 在基于体素的方法中，王等人[^86]提出的方法是唯一一个仅利用输入图像特征和关节信息直接预测三维姿态的方法。但该方法训练需要大量数据，且难以泛化到新视角。在性能方面，该方法在Campus数据集上的性能比VoxelPose [^80]低0.1个百分点，在Shelf数据集上则高出0.4个百分点。 最后，对于基于平面扫描立体的方法，现有研究都基于Lin和Lee [^49]的开创性工作，该工作将关节层面和人物层面的深度信息添加到二维姿态中，得到了比VoxelPose方法[^80]更准确、速度更快且计算成本更低的方法。从表4中可以看出，Lin和Lee [^49]在Campus数据集和Shelf数据集上的性能分别比VoxelPose [^80]高出0.3个百分点和0.9个百分点。为了进一步优化关节检测以及关节之间的长依赖关系，周等人[^101]提出使用通道注意力机制和利用关节-人物关系的最优校准方法。相比原始方法[^49]，该方法的性能分别提升了0.3个百分点和0.4个百分点，在Shelf数据集上取得了当前最优性能，结果为98.30%。 de França Silva等人[^19] [^20]证明，可以通过无监督方式训练该方法：修改损失函数，比较从三维姿态重投影得到的二维姿态与该视角估计得到的二维姿态之间的重投影误差。该初始方法在Campus数据集上取得了91.2%的性能。随后，作者改进了匹配方法，实现了目标视角点与参考视角点的关联，使模型性能提升了5.6个百分点，与使用全标注数据训练的Lin和Lee [^49]的性能仅相差0.2个百分点。 综上所述，大多数方法利用不同视图之间的几何关系，同时施加与人体结构相关的约束。与单人姿态估计方法类似，最常用的流程将2D姿态估计作为中间步骤，因此这些模型的3D姿态估计性能取决于匹配过程的质量。为了提升模型对姿态关联的鲁棒性，现有研究提出通过施加几何约束或可见性约束等方式缩小搜索空间。此外，加入时间一致性与深度信息也在提升模型匹配性能方面展现出了可观的效果。 基于体素的方法被提出用以完全解决匹配错误问题，但这类方法是以更高的计算时间和复杂度为代价的，这也极大限制了它们在实际场景中的应用。正如[^8] [^24]所证明的，模型要想适用于众多实际应用，必须同时兼顾高精度、轻量级网络与快速推理时间。 在精度方面，Campus数据集和Shelf数据集上（见表4）各分类中最优模型的平均性能相当。因此仅从PCP结果来看，没有哪一类方法具有明显优势。但若同时考虑计算需求和速度，基于几何约束的方法和基于平面扫描立体匹配的方法比基于体素的方法更优。尽管如此，要找到一种可应用于多种实际场景的高效且有效的算法，仍需开展更多研究工作。 ### 6.3 改进方向 大多数单人或多人姿态估计方法都基于几何约束，这类约束高度依赖2D姿态估计的正确匹配。因此，3D姿态预测的精度始终受到2D姿态估计器精度的限制。此外，尽管近年来已有研究人员探索了克服对相机设置和参数依赖的解决方案，但这仍然是现有诸多方法的局限，尤其对于单人姿态估计方案而言更是如此。 因此，未来研究应侧重于进一步提升2D姿态估计器的精度，同时探索融入时间一致性或深度信息的方法——已有研究表明这些因素是提升单人 [^9] [^60] [^95] 和多人方法 [^19] [^20] [^49] [^101] [^63] [^17] [^103] 性能的重要因素。此外，多模态方法有助于解决部分与姿态错配或遮挡相关的问题，因为多模态可以提供更多输入信息：例如比估计值精确得多的深度信息，或是不受光照条件或遮挡影响的Wi-Fi、RF等信号信息。 --- 此外，对低监督程度方法的探索已在仅需少量甚至无需标注数据的三维姿态预测任务中取得了颇具前景的结果 [^19] [^52]。因此，未来研究可针对单人或多人方法体系探索这类思路，例如通过引入更有效的损失函数或新视角合成来开发性能更优的模型，这将使模型无论在有无标注数据的各类真实场景中都能得到应用。另外，主动学习是一种成本效益高、但几乎尚未得到探索的方法，这类思路的全部潜力仍有待评估。 最后，部分研究人员也已证实，选择最优视角而非利用所有可用视角进行预测具备潜在优势 [^89] [^29]。不使用所有视角的信息意味着需要处理的信息量更少，由此得到的模型速度更快、结构更轻量，而这两点是开发可部署于真实场景的模型时需要考虑的关键因素。 ## 7 结论 综上，现有大多数方法采用三步法流程：首先从输入图像回归得到二维姿态，接着关联不同视角预测得到的二维姿态，最后构建出三维姿态。但这类策略会因匹配错误和二维姿态预测误差得到不可靠的三维姿态结果。因此，部分方法通过完全跳过该步骤、直接在三维空间中处理解决了这一问题 [^80]。不过，体积空间中的运算计算成本更高，这可能会限制这类方法在真实场景中的应用。另一方面，解决该问题的另一类方法是视角选择：模型仅利用能更好观察人体目标的视角来预测姿态。因此，仅使用部分可用视角也能降低计算负担。 现有大多数方法仍需面对的另一项局限是对相机装置和相机标定参数的依赖，这导致多数现有模型无法泛化到新视角。为解决这一问题，研究人员已经采用了几何多视图一致性、基于随机性的三角测量、对抗学习和自监督学习等方法。 针对三维标注数据集稀缺的问题，学界已提出采用低监督程度的学习方法来应对这一挑战。但这类方法中仍有部分依赖二维标注数据。另一方面，也有研究提出采用主动学习来解决该问题。该策略可以动态为未标注样本获取标注，在提升模型精度的同时将标注工作量降至最低。但目前仅发现一项工作采用了该策略，因此仍需更多研究来明确该技术在本任务中的全部潜力。 尽管已有诸多研究致力于解决该问题，但遮挡情况的出现仍在许多场景下限制了模型的性能。时间一致性已被广泛用于随时间跟踪姿态，同时也用于解决遮挡问题。尽管如此，正如[^60]所指出的，这种方法的使用可能会抑制突发的微小运动，进而对模型性能产生负面影响，还会导致其不适用于检测这类运动至关重要的应用场景，例如监控系统。除时间一致性外，研究者还提出利用关节与人之间的长程依赖关系以及深度信息，来提高模型应对遮挡的鲁棒性。 最后，已有研究表明，使用更先进的、可获取RGB图像之外额外信息的相机，能够提供可靠的三维姿态估计结果。这类相机目前尚未得到广泛探索，但它们的应用具备优势：根据已有的研究成果，RGB-D相机、ToF相机和360°相机均可直接提供深度信息。通过直接将深度信息作为输入，使用深度信息的模型对应的计算成本可以大幅降低，因为不再需要额外进行深度计算。针对其他类型的信号，部分研究者已经探索了利用无线信号估计三维姿态的方法。但目前尚未有研究探究无线传感器获取的信息与相机提供的视觉信息的结合方案，这为结合两个领域的创新性多模态方法留下了研究空间。 因此可以得出结论：尽管研究者已经提出了多种技术来尝试攻克三维姿态估计固有的大多数挑战，但现有方法均无法同时兼顾高精度、快速推理和低计算成本。由于性能与复杂度之间存在权衡，最优模型取决于具体的目标应用。因此，该领域仍需开展更多研究，以找到适配不同应用场景的合适方法。多模态方法与主动学习相结合，有望成为未来实现高效、准确解决方案的发展方向。 ## 致谢 本工作由以下项目共同资助：隶属于下一代欧盟框架下、欧盟复苏与韧性机制（MRR）范围内复苏与韧性计划韧性维度、编号为21、2021–2026年期的技术与创新中心（CTI）核心资助第五部分——资本化与商业创新，以及葡萄牙资助机构葡萄牙科学技术基金会（FCT）通过国家基金提供的博士基金，编号为2023.02851.BD。 --- ## A 数据集——基准测试 本节对所综述文献中报告的结果进行了总结。 ### A.1 单人三维姿态估计 表5、表6、表7和表8分别展示了MPI-INF-3DHP、KTH Multiview Football II、HumanEva和Total Capture数据集的结果。
Table 5: Performance of the revised methods in the MPI-INF-3DHP dataset
PapersYearPCK (%) $\uparrow$AUC (%) $\uparrow$MPJPE (mm) $\downarrow$
Kundu et al. [^47]202081.9052.6089.80
Wang et al. [^84]2022——112.36
Wang and Sun [^83]2022——94.70
Ma et al. [^55]202374.6040.40—
Cai et al. [^9]2024——5.40
Table 6: Performance of the revised methods in the KTH Multiview Football II dataset
PapersYear# CamerasPCP (%) $\uparrow$
Upper armsLower armsUpper LegsLower LegsAll parts (average)
Belagiannis et al. [^5]2014264.0050.0075.0066.0063.80
368.0056.0078.0070.0068.00
Belagiannis et al. [^4]2016296.0068.0098.0088.0087.50
398.0072.0099.0092.0090.30
Ershadi-Nasab et al. [^27]2018397.4794.89100.0099.0098.14
Ershadi Nasab et al. [^28]20213100.0099.60100.0099.6099.80
Table 7: 3D error (mm) $\downarrow$ of the revised methods in the HumanEva dataset
PapersYearSequence 1Sequence 2Sequence 3
WalkJogBalanceBoxWalkJogBalanceWalkJogCombo
Sigal et al. [^73]201076.085.086.0—60.093.080.0———
Amin et al. [^1]201354.5——47.750.2——54.754.051.8
Belagiannis et al. [^5]201468.3——62.7——————
Belagiannis et al. [^4]201668.3——62.7——————
Mehrizi et al. [^57]201840.443.0——23.545.1—33.430.9—
Table 8: MPJPE (mm) ↓ of the revised methods in the Total Capture dataset (Avg. - Average).
PapersYearSeen Cameras (1, 3, 5, 7)Unseen Cameras (2, 4, 6, 8)
Seen Subject 1, 2, 3Unseen Subject 4, 5Avg.Seen Subject 1, 2, 3Unseen Subject 4, 5Avg.
W2FS3A3W2FS3A3W2FS3A3W2FS3A3
Remelli et al. [^64]202010.6030.4016.3027.0065.0034.2027.5022.4047.1027.8039.1043.10
Wan et al. [^82]202313.0024.0017.0023.0041.0029.0023.00
Cai et al. [^9]20245.5015.005.6818.1037.6020.6015.0022.1035.4023.4023.2028.40
Avg. —— 平均值 测试序列：W2 —— Walking2，FS3 —— Freestyle3，A3 —— Acting3。 训练序列：使用1号、2号、3号受试者的ROM1、2、3；Walking1、3；Freestyle1、2；Acting1、2以及Running1。 --- ### A.2 多人三维姿态估计 表9和表10分别给出了数据集UMPM和CMU Panoptic的实验结果。
Table 9: Performance of the revised methods in the UMPM dataset
PapersYearPCP (%) $\uparrow$
HeadTorsoUpper armsLower armsUpper LegsLower LegsAverage
Ershadi-Nasab et al. [^27]201895.8798.5392.4284.9294.2386.3691.02
Ershadi Nasab et al. [^28]202199.4099.7095.3089.8096.6090.4094.30
PapersYearActorsUMPM sequence: p3-chair-11 — PCP (%) $\uparrow$
HeadTorsoUpper armsLower armsUpper LegsLower LegsAverage
Ershadi-Nasab et al. [^27]2018A194.7696.8291.2483.7892.4585.5689.76
A295.8797.2895.1283.8993.7685.1289.89
Ershadi Nasab et al. [^28]2021A199.4299.3498.8991.5697.1196.3296.65
A298.3199.2099.1090.2296.4594.6595.83
Table 10: Performance of the revised methods in the CMU Panoptic dataset
#ViewsPaperYearMPJPE (mm) $\downarrow$AP $_{25}$ $\uparrow$AP $_{50}$ $\uparrow$AP $_{75}$ $\uparrow$AP $_{100}$ $\uparrow$AP $_{125}$ $\uparrow$AP $_{150}$ $\uparrow$mAP $\uparrow$
2Wang et al. [^86]202134.8037.70——93.00———
Zhu et al. [^103]202347.4225.5162.0377.8986.1490.1692.3972.35
Zhuang and Zhou [^104]202342.5331.2565.63—93.51—96.12—
3Tu et al. [^80]202024.2958.9493.88—98.45—99.32—
Wang et al. [^86]202121.1071.80——95.10———
Zhang et al. [^98]202124.9349.0992.44—97.62———
Ye et al. [^94]202226.1353.6891.89—97.40—98.30—
Zhu et al. [^103]202333.0334.9876.7289.3793.8796.0697.2481.37
Zhang and Zhou [^104]202324.9857.2392.21—97.83—98.32—
4Fan et al. [^29]2021113.60———————
Wang et al. [^86]202119.3084.10——96.70———
Zhang et al. [^98]202120.3566.2096.34—99.47———
Ye et al. [^94]202221.1273.9597.02—99.21—99.35—
Zhu et al. [^103]202323.8952.8490.8096.6397.8598.4698.8889.24
Zhang and Zhou [^104]202320.9575.9297.86—99.32—99.40—
5Tu et al. [^80]202017.6883.5998.33—99.76—99.91—
Fan et al. [^29]202194.21———————
Lin and Lee [^49]202116.7592.1298.96—99.81—99.84—
Reddy et al. [^63]20217.30———————
Wang et al. [^86]202115.8092.3096.60—97.50—97.70—
Zhang et al. [^98]202116.9785.8898.31—99.54———
Ye et al. [^94]202218.2685.2298.08—99.32—99.48—
Chen et al. [^16]202317.6283.7997.14—98.15—98.40—
Zhu et al. [^103]202318.8861.2895.1098.7099.3999.7699.8792.35
Zhang and Zhou [^104]202317.4286.2598.45—99.77—99.82—
6Fan et al. [^29]202187.53———————
7Fan et al. [^29]202184.02———————
8Fan et al. [^29]202180.81———————
由Tu等人[^80]、Reddy等人[^63]、Ye等人[^94]、Zhang等人[^98]、Chen等人[^16]、Lin与Lee [^49]、Zhuang与Zhou [^104] 使用的序列 训练集："160422_ultimatum1"、"160224_haggling1"、"160226_haggling1"、"161202_haggling1"、"160906_ian1"、"160906_ian2"、"160906_ian3"、"160906_band1"、"160906_band2"和"160906_band3"。 测试集："160906_pizza1"、"160422_haggling1"、"160906_ian5"和"160906_band4"。 Wang等人[^86] —— 训练集包含上文列出的全部序列，仅不包含"160906_band3"，测试集序列与上文一致。 --- ## 参考文献 [^1]: S. Amin, Mykhaylo Andriluka, Marcus Rohrbach, and Bernt Schiele. Multi-view pictorial structures for 3d human pose estimation. In British Machine Vision Conference, pages 45.1–45.11, 2013. ISBN 1-901725-49-9. doi: 10.5244/C.27.45. [^2]: Mykhaylo Andriluka, Leonid Pishchulin, Peter Gehler, and Bernt Schiele. 2d human pose estimation: New benchmark and state of the art analysis. In IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 2014. [^3]: Kristijan Bartol, David Bojanić, Tomislav Petković, and Tomislav Pribanić. Generalizable human pose triangulation. In Proceedings of IEEE/CVF Conf. on Computer Vision and Pattern Recognition (CVPR), June 2022. [^4]: V. Belagiannis, S. Amin, M. Andriluka, B. Schiele, N. Navab, and S. Ilic. 3d pictorial structures revisited: Multiple human pose estimation. IEEE Transactions on Pattern Analysis and Machine Intelligence, 38(10):1929–1942, Oct 2016. ISSN 0162-8828. doi: 10.1109/TPAMI.2015.2509986. [^5]: Vasileios Belagiannis, Sikandar Amin, Mykhaylo Andriluka, Bernt Schiele, Nassir Navab, and Slobodan Ilic. 3d pictorial structures for multiple human pose estimation. In 2014 IEEE Conference on Computer Vision and Pattern Recognition, pages 1669–1676, 2014. doi: 10.1109/CVPR.2014.216. [^6]: Vasileios Belagiannis, Xinchao Wang, Bernt Schiele, Pascal Fua, Slobodan Ilic, and Nassir Navab. Multiple human pose estimation with temporally consistent 3d pictorial structures. In Computer Vision - ECCV 2014 Workshops, pages 742–754, Cham, 2015. Springer International Publishing. ISBN 978-3-319-16178-5. [^7]: Miniar Ben Gamra and Moulay A. Akhloufi. A review of deep learning techniques for 2d and 3d human pose estimation. Image and Vision Computing, 114:104282, 2021. ISSN 0262-8856. doi: . URL . [^8]: Lewis Bridgeman, Marco Volino, Jean-Yves Guillemaut, and Adrian Hilton. Multi-person 3d pose estimation and tracking in sports. In 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), pages 2487–2496, 2019. doi: 10.1109/CVPRW.2019.00304. [^9]: Yanlu Cai, Weizhong Zhang, Yuan Wu, and Cheng Jin. Fusionformer: A concise unified feature fusion transformer for 3d pose estimation. Proceedings of the AAAI Conference on Artificial Intelligence, 38(2):900–908, Mar. 2024. doi: 10.1609/aaai.v38i2.27849. URL . [^10]: Zhe Cao, Tomas Simon, Shih-En Wei, and Yaser Sheikh. Realtime multi-person 2d pose estimation using part affinity fields. In CVPR, 2017. [^11]: Marco Carraro, Matteo Munaro, Jeff Burke, and Emanuele Menegatti. Real-time marker-less multiperson 3d pose estimation in rgb-depth camera networks. In Intelligent Autonomous Systems 15, pages 534–545, Cham, 2019. Springer International Publishing. ISBN 978-3-030-01370-7. [^12]: Tatjana Chavdarova, Pierre Baqué, Stéphane Bouquet, Andrii Maksai, Cijo Jose, Timur Bagatdinov, Louis Lettry, Pascal Fua, Luc Van Gool, and François Fleuret. Wildtrack: A multi-camera HD dataset for dense unscripted pedestrian detection. In 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 5030–5039, 2018. doi: 10.1109/CVPR.2018.00528. [^13]: He Chen, Pengfei Guo, Pengfei Li, Gim Hee Lee, and Gregory Chirikjian. Multi-person 3d pose estimation in crowded scenes based on multi-view geometry. In Computer Vision – ECCV 2020, pages 541–557, Cham, 2020. Springer International Publishing. ISBN 978-3-030-58580-8. [^14]: Lingling Chen, Tong Liu, Zhuo Gong, and Ding Wang. Movement function assessment based on human pose estimation from multi-view. Computer Systems Science and Engineering, 48(2):321 – 339, 2024. doi: 10.32604/csse.2023.037865. URL . [^15]: Yucheng Chen, Yingli Tian, and Mingyi He. Monocular human pose estimation: A survey of deep learning-based methods. Computer Vision and Image Understanding, 192:102897, 2020. ISSN 1077-3142. doi: . URL . [^16]: Yuxing Chen, Renshu Gu, Ouhan Huang, and Gangyong Jia. Vtp: Volumetric transformer for multi-view multi-person 3d pose estimation. Applied Intelligence, 53:26568–26579, 11 2023. doi:10.1007/s10489-023-04805-z. [^17]: Hau Chu, Jia-Hong Lee, Yao-Chih Lee, Ching-Hsien Hsu, Jia-Da Li, and Chu-Song Chen. Part-aware measurement for robust multi-view multi-human 3d pose estimation and tracking. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) Workshops, pages 1472–1481, June 2021. ## [^18]: Liu Chunhui, Hu Yueyu, Li Yanghao, Song Sijie, and Liu Jiaying. Pku-mmd: A large scale benchmark for continuous multi-modal human action understanding. ACM Multimedia workshop, 2017. --- [^19]: Diógenes Wallis de França Silva, João Paulo Silva do Monte Lima, David Macêdo, Cleber Zanchettin, Diego Gabriel Francis Thomas, Hideaki Uchiyama, and Veronica Teichrieb. Unsupervised multi-view multi-person 3d pose estimation using reprojection error. In Artificial Neural Networks and Machine Learning – ICANN 2022, pages 482–494, Cham, 2022. Springer Nature Switzerland. ISBN 978-3-031-15934-3. [^20]: Diógenes Wallis de França Silva, João Paulo Silva Do Monte Lima, Diego Gabriel Francis Thomas, Hideaki Uchiyama, and Veronica Teichrieb. Umpose++: Unsupervised multi-view multi-person 3d pose estimation using ground point matching. volume 4, page 607 – 614, 2023. doi: 10.5220/0011668800003417. URL . [^21]: Sam Dehaeck, Corentin Domken, Abdellatif Bey-Temsamani, and Gabriel Abedrabbo. A strong geometric baseline for cross-view matching of multiperson 3d pose estimation from multi-view images. In Image Analysis and Processing – ICIAP 2022, pages 77–88, Cham, 2022. Springer International Publishing. ISBN 978-3-031-06430-2. [^22]: Junli Deng, Haoyuan Yao, and Ping Shi. Enhanced 3d pose estimation in multi-person, multi-view scenarios through unsupervised domain adaptation with dropout discriminator. Sensors (Basel, Switzerland), 23(20), 2023. doi: 10.3390/s23208406. URL . [^23]: Yann Desmarais, Denis Mottet, Pierre Slangen, and Philippe Montesinos. A review of 3d human pose estimation algorithms for markerless motion capture. Computer Vision and Image Understanding, 212:103275, 2021. ISSN 1077-3142. doi: . URL . [^24]: Junting Dong, Wen Jiang, Qixing Huang, Hujun Bao, and Xiaowei Zhou. Fast and robust multi-person 3d pose estimation from multiple views. 2019. [^25]: Junting Dong, Qi Fang, Wen Jiang, Yurou Yang, Qixing Huang, Hujun Bao, and Xiaowei Zhou. Fast and robust multi-person 3d pose estimation and tracking from multiple views. IEEE Transactions on Pattern Analysis and Machine Intelligence, 44(10):6981–6992, 2022. doi: 10.1109/TPAMI.2021.3098052. [^26]: Amanda Duarte, Shruti Palaskar, Lucas Ventura, Deepti Ghadiyaram, Kenneth DeHaan, Florian Metze、Jordi Torres和Xavier Giro-i Nieto。How2Sign：面向连续美式手语的大规模多模态数据集。载《计算机视觉与模式识别会议》（CVPR），2021年。 [^27]: Sara Ershadi-Nasab, Erfan Noury, Shohreh Kasaei, and Esmaeil Sanaei. Multiple human 3d pose estimation from multiview images. Multimedia Tools and Applications, 77:15573–15601, 2018. doi: 10.1007/s11042-017-5133-8. URL . [^28]: Sara Ershadi Nasab, Shohreh Kasaei, and Esmaeil Sanaei. Uncalibrated multi-view multiple humans association and 3d pose estimation by adversarial learning. Multimedia Tools and Applications, 80:1–28, 01 2021. doi: 10.1007/s11042-020-09733-5. [^29]: Zhen Fan, Xiu Li, and Yipeng Li. Multi-agent deep reinforcement learning for online 3d human poses estimation. Remote Sensing, 13(19), 2021. ISSN 2072-4292. doi: 10.3390/rs13193995. URL . [^30]: Qi Feng, Kun He, He Wen, Cem Keskin, and Yuting Ye. Rethinking the data annotation process for multiview 3d pose estimation with active learning and self-training. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision (WACV), pages 5695–5704, January 2023. [^31]: John C. Gower. Generalized procrustes analysis. Psychometrika, 40:33–51, 1975. doi: 10.1007/BF02291478. URL . [^32]: Muneeb Hassan, Jörg Eberhardt, Stanislav Malorodov, and Matthias Jäger. Robust multiview 3d pose estimation using time of flight cameras. IEEE Sensors Journal, 22(3):2672–2684, 2022. doi:10.1109/JSEN.2021.3133108. [^33]: Michael B. Holte, Cuong Tran, Mohan M. Trivedi, and Thomas B. Moeslund. Human pose estimation and activity recognition from multi-view videos: Comparative explorations of recent developments. IEEE Journal of Selected Topics in Signal Processing, 6(5):538–552, 2012. doi: 10.1109/JSTSP.2012.2196975. [^34]: Congzhentao Huang, Shuai Jiang, Yang Li, Ziyue Zhang, Jason Traish, Chen Deng, Sam Ferguson, and Richard Yi Da Xu. End-to-end dynamic matching network for multi-view multi-person 3d pose estimation. In Computer Vision – ECCV 2020, pages 477–493, Cham, 2020. Springer International Publishing. ISBN 978-3-030-58604-1. ## [^35]: Taemin Hwang, Jieun Kim, and Minjoon Kim. A distributed real-time 3d pose estimation framework based on asynchronous multiviews. KSII Transactions on Internet and Information Systems, 17(2): 559–575, February 2023. doi: 10.3837/tiis.2023.02.015. --- [^36]: Taemin Hwang, Jieun Kim, Myoungjin Kim, and Minjoon Kim. A real-time multi-person 3D pose estimation system from multiple RGB-D views for live streaming of 3D animation. In Companion Proceedings of the 28th International Conference on Intelligent User Interfaces, IUI '23 Companion, page 105–107, New York, NY, USA, 2023. Association for Computing Machinery. ISBN . doi: 10.1145/3581754.3584144. URL . [^37]: Eldar Insafutdinov, Leonid Pishchulin, Bjoern Andres, Mykhaylo Andriluka, and Bernt Schiele. Deepercut: A deeper, stronger, and faster multi-person pose estimation model. In Computer Vision – ECCV 2016, pages 34–50, Cham, 2016. Springer International Publishing. ISBN 978-3-319-46466-4. [^38]: Catalin Ionescu, Dragos Papava, Vlad Olaru, and Cristian Sminchisescu. Human3.6m: Large scale datasets and predictive methods for 3d human sensing in natural environments. IEEE Transactions on Pattern Analysis and Machine Intelligence, 36(7): 1325–1339, jul 2014. [^39]: Simon Jenni and Paolo Favaro. Self-supervised multi-view synchronization learning for 3d pose estimation. In Computer Vision – ACCV 2020, pages 170–187, Cham, 2021. Springer International Publishing. ISBN 978-3-030-69541-5. [^40]: Xiaopeng Ji, Qi Fang, Junting Dong, Qing Shuai, Wen Jiang, and Xiaowei Zhou. A survey on monocular 3d human pose estimation. Virtual Reality and Intelligent Hardware, 2(6):471–500, 2020. ISSN 2096-5796. doi: . URL . [^41]: Boyuan Jiang, Lei Hu, and Shihong Xia. Probabilistic triangulation for uncalibrated multi-view 3d human pose estimation. In 2023 IEEE/CVF International Conference on Computer Vision (ICCV), pages 14804–14814, 2023. doi: 10.1109/ICCV51070.2023.01364. [^42]: Hanbyul Joo, Tomas Simon, Xulong Li, Hao Liu, Lei Tan, Lin Gui, Sean Banerjee, Timothy Scott Godisart, Bart Nabbe, Iain Matthews, Takeo Kanade, Shohei Nobuhara, and Yaser Sheikh. Panoptic studio: A massively multiview system for social interaction capture. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017. [^43]: Abdolrahim Kadkhodamohammadi and Nicolas Padoy. A generalizable approach for multi-view 3d human pose regression. Machine Vision and Applications, 32(1):6, Oct 2020. ISSN 1432-1769. doi: 10.1007/s00138-020-01120-2. URL . [^44]: Vahid Kazemi and Josephine Sullivan. Using richer models for articulated pose estimation of footballers. In BMVC, 2012. [^45]: Vahid Kazemi, Magnus Burenius, Hossein Azizpour, and Josephine Sullivan. Multi-view body part recognition with random forests. 09 2013. doi:10.5244/C.27.48. [^46]: Pranjal Kumar, Siddhartha Chauhan, and Lalit Kumar Awasthi. Human pose estimation using deep learning: review, methodologies, progress and future research directions. International Journal of Multimedia Information Retrieval, 11:1–33, 112022. doi: 10.1007/s13735-022-00261-6. [^47]: Jogendra Kundu, Siddharth Seth, Rahul M V, Mugalodi Rakesh, R. Babu, and Anirban Chakraborty. Kinematic-structure-preserved representation for unsupervised 3d human pose estimation. Proceedings of the AAAI Conference on Artificial Intelligence, 34:11312–11319, 04 2020. doi: 10.1609/aaai.v34i07.6792. [^48]: Gongjin Lan, Yu Wu, Fei Hu, and Qi Hao. Vision-based human pose estimation via deep learning: A survey. IEEE Transactions on Human-Machine Systems, 53(1):253–268, 2023. doi: 10.1109/THMS.2022.3219242. [^49]: Jiahao Lin and Gim Hee Lee. Multi-view multi-person 3d pose estimation with plane sweep stereo. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 11886–11895, June 2021. [^50]: Jianchu Lin, Shuang Li, Hong Qin, Hongchang Wang, Ning Cui, Qian Jiang, Haifang Jian, and Gongming Wang. Overview of 3d human pose estimation. CMES - Computer Modeling in Engineering and Sciences, 134(3):1621 – 1651, 2023. doi: 10.32604/cmes.2022.020857. URL . Cited by: 1; All Open Access, Gold Open Access. [^51]: Jun Liu, Amir Shahroudy, Mauricio Perez, Gang Wang, Ling-Yu Duan, and Alex C. Kot. Ntu rgb+d 120: A large-scale benchmark for 3d human activity understanding. IEEE Transactions on Pattern Analysis and Machine Intelligence, 42(10):2684–2701, 2020. doi: 10.1109/TPAMI.2019.2916873. [^52]: Long Liu, Le Yang, Wanjun Chen, and Xin Gao. Dual-view 3d human pose estimation without camera parameters for action recognition. IET Image Processing, 15(14):3433–3440, 2021. doi: . URL . ## [^53]: Wu Liu, Qian Bao, Yu Sun, and Tao Mei. Recent advances of monocular 2d and 3d human pose estimation: A deep learning perspective. 55(4), 2022. ISSN 0360-0300. doi: 10.1145/3524497. URL . --- [^54]: Zhao Liu, Jianke Zhu, Jiajun Bu, and Chun Chen. A survey of human pose estimation: The body parts parsing based methods. Journal of Visual Communication and Image Representation, 32:10–19, 2015. ISSN 1047-3203. doi: . URL . [^55]: Zhichao Ma, Kan Li, and Yang Li. Self-supervised method for 3d human pose estimation with consistent shape and viewpoint factorization. Applied Intelligence, 53:3864–3876, 02 2023. doi:10.1007/s10489-022-03714-x. [^56]: João Renato Ribeiro Manesco and Aparecido Nilceu Marana. A survey of recent advances on two-step 3d human pose estimation. In João Carlos Xavier-Junior and Ricardo Araújo Rios, editors, Intelligent Systems, pages 266–281, Cham, 2022. Springer International Publishing. ISBN 978-3-031-21689-3. [^57]: Rahil Mehrizi, Xi Peng, Zhiqiang Tang, Xu Xu, Dimitris Metaxas, and Kang Li. Toward marker-free 3d pose estimation in lifting: A deep multiview solution. In 2018 13th IEEE International Conference on Automatic Face and Gesture Recognition (FG 2018), pages 485–491, 2018. doi:10.1109/FG.2018.00078. [^58]: Dushyant Mehta, Helge Rhodin, Dan Casas, Pascal Fua, Oleksandr Sotnychenko, Weipeng Xu, and Christian Theobalt. Monocular 3d human pose estimation in the wild using improved cnn supervision. In 3D Vision (3DV), 2017 Fifth International Conference on. IEEE, 2017. doi: 10.1109/3DV.2017.00064. URL . [^59]: Armin Mustafa, Chris Russell, and Adrian Hilton. 4d temporally coherent multi-person semantic reconstruction and segmentation. International Journal of Computer Vision, 130:1–24, 06 2022. doi:10.1007/s11263-022-01599-4. [^60]: Chihiro Nakatsuka and Satoshi Komorita. Stable 3d human pose estimation in low-resolution videos with a few views. pages 427–433, 05 2022. doi:10.1109/ICRA46639.2022.9812382. [^61]: Takehiko Ohkawa, Ryosuke Furuta, and Yoichi Sato. Efficient annotation and learning for 3d hand pose estimation: A survey. International Journal of Computer Vision, pages 1–14, 08 2023. doi:10.1007/s11263-023-01856-0. [^62]: Matthew J. Page, Joanne E. McKenzie, Patrick M. M. Bossuyt, Isabelle Boutron, Tammy C. Hoffmann, Cynthia D. Mulrow, Larissa Shamseer, Jennifer Marie Tetzlaff, and David Moher. Updating guidance for reporting systematic reviews: development of the prisma 2020 statement. Journal of clinical epidemiology, 2021. [^63]: N. Reddy, L. Guigues, L. Pishchulin, J. Eledath, and S. G. Narasimhan. Tesetrack: End-to-end learnable multi-person articulated 3d pose tracking. In 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 15185–15195, Los Alamitos, CA, USA, jun 2021. IEEE Computer Society. doi: 10.1109/CVPR46437.2021.01494. URL . [^64]: E. Remelli, S. Han, S. Honari, P. Fua, and R. Wang. Lightweight multi-view 3d pose estimation through camera-disentangled representation. In 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 6039–6048, Los Alamitos, CA, USA, jun 2020. IEEE Computer Society. doi: 10.1109/CVPR42600.2020.00608. URL . [^65]: Yili Ren, Zi Wang, Yichao Wang, Sheng Tan, Yingying Chen, and Jie Yang. Gopose: 3d human pose estimation using wifi. Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies, 6:1–25, 07 2022. doi: 10.1145/3534605. [^66]: Helge Rhodin, Mathieu Salzmann, and Pascal Fua. Unsupervised geometry-aware representation for 3d human pose estimation. In Vittorio Ferrari, Martial Hebert, Cristian Sminchisescu, and Yair Weiss, editors, Computer Vision – ECCV 2018, pages 765–782, Cham, 2018. Springer International Publishing. ISBN 978-3-030-01249-6. [^67]: Guillaume Rochette, Chris Russell 0001, and Richard Bowden. Weakly-supervised 3d pose estimation from a single image using multi-view consistency. In 30th British Machine Vision Conference 2019, BMVC 2019, Cardiff, UK, September 9-12, 2019, page 175. BMVA Press, 2019. URL . [^68]: Marcus Rohrbach, Anna Rohrbach, Michaela Regneri, Sikandar Amin, Mykhaylo Andriluka, Manfred Pinkal, and Bernt Schiele. Recognizing fine-grained and composite activities using hand-centric features and script data. International Journal of Computer Vision, pages 1–28, 2015. ISSN 0920-5691. doi: 10.1007/s11263-015-0851-8. URL . [^69]: Nikolaos Sarafianos, Bogdan Boteanu, Bogdan Ionescu, and Ioannis A. Kakadiaris. 3d human pose estimation: A review of the literature and analysis of covariates. Computer Vision and Image Understanding, 152:1–20, 2016. ISSN 1077-3142. doi: . URL . ## [^70]: Steven Schwarcz and Thomas Pollard. 3d human pose estimation from deep multi-view 2d --- 姿态分析。发表于2018年第24届国际模式识别会议（ICPR）。IEEE，2018年8月。doi: 10.1109/icpr.2018.8545631。链接：。 [^71]: Amir Shahroudy, Jun Liu, Tian-Tsong Ng, and Gang Wang. Ntu rgb+d: A large scale dataset for 3d human activity analysis. In 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 1010–1019, 2016. doi: 10.1109/CVPR.2016.115. [^72]: Matthew Shere, Hansung Kim, and Adrian Hilton. Temporally consistent 3d human pose estimation using dual $360^{\circ}$ cameras. In 2021 IEEE Winter Conference on Applications of Computer Vision (WACV), pages 81–90, 11 2021. doi: 10.1109/WACV48630.2021.00013. [^73]: Leonid Sigal, Alexandru Balan, and Michael Black. Humaneva: Synchronized video and motion capture dataset and baseline algorithm for evaluation of articulated human motion. International Journal of Computer Vision, 87:4–27, 03 2010. doi:10.1007/s11263-009-0273-6. [^74]: Uti Solichah, Mauridhi Hery Purnomo, and Eko Mulyanto Yuniarno. Marker-less motion capture based on openpose model using triangulation. In 2020 International Seminar on Intelligent Technology and Its Applications (ISITIA), pages 217–222, 2020. doi: 10.1109/ISITIA49792.2020.9163662. [^75]: Liangchen Song, Gang Yu, Junsong Yuan, and Zicheng Liu. Human pose estimation and its application to action recognition: A survey. Journal of Visual Communication and Image Representation, 76:103055, 2021. ISSN 1047-3203. doi: . URL . [^76]: Ruiyuan Song, Dongheng Zhang, Zhi Wu, Cong Yu, Chunyang Xie, Shuai Yang, Yang Hu, and Yan Chen. Rf-url: unsupervised representation learning for rf sensing. In Proceedings of the 28th Annual International Conference on Mobile Computing And Networking, MobiCom '22, page 282–295, New York, NY, USA, 2022. Association for Computing Machinery. ISBN . doi: 10.1145/3495243.3560529. URL . [^77]: Vinkle Srivastav, Thibaut Issenhuth, Kadkhodamo-hammadi Abdolrahim, Michel de Mathelin, Afshin Gangi, and Nicolas Padoy. Mvor: A multi-view rgb-d operating room dataset for 2d and 3d human pose estimation. 2018. [^78]: Zheng Tang, Renshu Gu, and Jenq-Neng Hwang. Joint multi-view people tracking and pose estimation for 3d scene reconstruction. In 2018 IEEE International Conference on Multimedia and Expo （ICME），第1–6页，2018年。doi: 10.1109/ICME.2018.8486576。 [^79]: Matt Trumble, Andrew Gilbert, Charles Malleson, Adrian Hilton, and John Collomosse. Total capture: 3d human pose estimation fusing video and inertial sensors. In 2017 British Machine Vision Conference (BMVC), 2017. [^80]: Hanyue Tu, Chunyu Wang, and Wenjun Zeng. Voxelpose: Towards multi-camera 3d human pose estimation in wild environment. In European Conference on Computer Vision (ECCV), 2020. [^81]: N.P. van der Aa, X. Luo, G.J. Giezeman, R.T. Tan, and R.C. Veltkamp. Umpm benchmark: A multiperson dataset with synchronized video and motion capture data for evaluation of articulated human motion and interaction. In 2011 IEEE International Conference on Computer Vision Workshops (ICCV Workshops), pages 1264–1269, 2011. doi: 10.1109/ICCVW.2011.6130396. [^82]: Xiaoyue Wan, Zhuo Chen, and Xu Zhao. View consistency aware holistic triangulation for 3d human pose estimation. Computer Vision and Image Understanding, 236:103830, 2023. ISSN 1077-3142. doi: . URL . [^83]: Hao Wang and Minghui Sun. Smart-vposenet: 3d human pose estimation models and methods based on multi-view discriminant network. Knowledge-Based Systems, 239:107992, 2022. ISSN 0950-7051. doi: . URL . [^84]: Hao Wang, Ming hui Sun, Hao Zhang, and Li yan Dong. Lhpe-nets: A lightweight 2d and 3d human pose estimation model with well-structural deep networks and multi-view pose sample simplification method. PLoS ONE, 17, 2022. URL . [^85]: Jinbao Wang, Shujie Tan, Xiantong Zhen, Shuo Xu, Feng Zheng, Zhenyu He, and Ling Shao. Deep 3d human pose estimation: A review. Computer Vision and Image Understanding, 210:103225, 2021. ISSN 1077-3142. doi: . URL . [^86]: Tao Wang, Jianfeng Zhang, Yujun Cai, Shuicheng Yan, and Jiashi Feng. Direct multi-view multi-person 3d pose estimation. Advances in Neural Information Processing Systems, 2021. ## [^87]: Yiming Wang, Lingchao Guo, Zhaoming Lu, Xiangming Wen, Shuang Zhou, and Wanyu Meng. From point to space: 3d moving human pose estimation using commodity wifi. IEEE Communications Letters, 25(7):2235–2239, 2021. doi:10.1109/LCOMM.2021.3073271. --- [^88]: Zibin Wang and Ronald Chung. Integrating multiple uncalibrated views for human 3d pose estimation. In Advances in Visual Computing, pages 280–290, Berlin, Heidelberg, 2010. Springer Berlin Heidelberg. ISBN 978-3-642-17277-9. [^89]: Hailun Xia and Qiang Zhang. Vitpose: Multiview 3d human pose estimation with vision transformer. In 2022 IEEE 8th International Conference on Computer and Communications (ICCC), pages 1922–1927, 2022. doi: 10.1109/ICCC56324.2022.10065997. [^90]: Chunyang Xie, Dongheng Zhang, Zhi Wu, Cong Yu, Yang Hu, Qibin Sun, and Yan Chen. Rf-based multi-view pose machine for multi-person 3d pose estimation. In 2023 IEEE International Conference on Multimedia and Expo (ICME), pages 2669–2674, 2023. doi: 10.1109/ICME55011.2023.00454. [^91]: Chunyang Xie, Dongheng Zhang, Zhi Wu, Cong Yu, Yang Hu, and Yan Chen. Rpm 2.0: Rf-based pose machines for multi-person 3d pose estimation. IEEE Transactions on Circuits and Systems for Video Technology, 34(1):490–503, 2024. doi:10.1109/TCSVT.2023.3287329. [^92]: Chengjun Xu, Xinyi Yu, Zhengan Wang, and Linlin Ou. Multi-view human pose estimation in human-robot interaction. In IECON 2020 The 46th Annual Conference of the IEEE Industrial Electronics Society, pages 4769–4775, 2020. doi:10.1109/IECON43393.2020.9255211. [^93]: Yan Xu and Kris Kitani. Multi-view multi-person 3d pose estimation with uncalibrated camera networks. In 33rd British Machine Vision Conference 2022, BMVC 2022, London, UK, November 21-24, 2022. BMVA Press, 2022. URL . [^94]: Hang Ye, Wentao Zhu, Chunyu Wang, Rujie Wu, and Yizhou Wang. Faster voxelpose: Real-time 3d human pose estimation by orthographic projection. In European Conference on Computer Vision (ECCV), 2022. [^95]: Wang Yin, Linxi Chen, Xinrui Huang, Chunling Huang, Zhaohong Wang, Yang Bian, You Wan, Yuan Zhou, Tongyan Han, and Ming Yi. A self-supervised spatio-temporal attention network for video-based 3d infant pose estimation. Medical Image Analysis, 96:103208, 2024. ISSN 1361-8415. doi: . URL . [^96]: Dejun Zhang, Yiqi Wu, Mingyue Guo, and Yilin Chen. Deep learning methods for 3d human pose estimation under different supervision paradigms: A survey. Electronics, 10(18), 2021. ISSN 2079-9292. doi: 10.3390/electronics10182267. URL . [^97]: Xiong Zhang, Minghui Wang, Ming Zeng, Wenxiong Kang, and Feiqi Deng. Humomm: A multimodal dataset and benchmark for human motion analysis. In Huchuan Lu, Wanli Ouyang, Hui Huang, Jiwen Lu, Risheng Liu, Jing Dong, and Min Xu, editors, Image and Graphics, pages 204–215, Cham, 2023. Springer Nature Switzerland. ISBN 978-3-031-46305-1. doi: 10.1007/978-3-031-46305-1_17. [^98]: Yifu Zhang, Chunyu Wang, Xinggang Wang, Wenyu Liu, and Wenjun Zeng. Voxeltrack: Multi-person 3d human pose estimation and tracking in the wild. IEEE Transactions on Pattern Analysis and Machine Intelligence, 45(2):2613–2626, 2023. doi: 10.1109/TPAMI.2022.3163709. [^99]: Jiachen Zhao, Tao Yu, Liang An, Yipeng Huang, Fang Deng, and Qionghai Dai. Triangulation residual loss for data-efficient 3d pose estimation. In Proceedings of the 37th International Conference on Neural Information Processing Systems, NIPS '23, Red Hook, NY, USA, 2024. Curran Associates Inc. [^100]: Ce Zheng, Wenhan Wu, Chen Chen, Taojiannan Yang, Sijie Zhu, Ju Shen, Nasser Kehtarnavaz, and Mubarak Shah. Deep learning-based human pose estimation: A survey. ACM Comput. Surv., jun 2023. ISSN 0360-0300. doi: 10.1145/3603618. URL . Just Accepted. [^101]: Mi Zhou, Rui Liu, Pengfei Yi, Dongsheng Zhou, Qiang Zhang, and Xiaopeng Wei. Er-net: Efficient recalibration network for multi-view multi-person 3d pose estimation. In 2022 8th International Conference on Virtual Reality (ICVR), pages 298–305, 2022. doi: 10.1109/ICVR55215.2022.9847965. [^102]: Aichun Zhu, Hichem Snoussi, and Abel Cherouat. Articulated human motion tracking with foreground learning. In 2014 22nd European Signal Processing Conference (EUSIPCO), pages 366–370, 2014. [^103]: Zhiyi Zhu, Sheng Liu, Jianghai Shuai, Sidan Du, and Yang Li. 3d associative embedding: Multiview 3d human pose estimation in crowded scenes. In Proceedings of the 2023 4th International Conference on Computing, Networks and Internet of Things, CNIOT '23, page 131–139, New York, NY, USA, 2023. Association for Computing Machinery. ISBN . doi: 10.1145/3603781.3603804. URL . [^104] Zonghuang Zhuang和Yue Zhou。Fastervoxel-pose+：基于深度方向投影衰减的快速准确体素化三维人体姿态估计。第222卷，页码1763–1778，2023年。链接：。