# HUM3DIL：面向自动驾驶的半监督多模态三维人体姿态估计
安德烈·赞菲尔 $^{\dagger}$ 米哈伊·赞菲尔 $^{\dagger}$ 亚历山大·戈尔班 $^{\ddagger}$ 纪景伟 $^{\ddagger}$ 周寅 $^{\ddagger}$
Dragomir Anguelov $^{\dagger}$
Cristian Sminchisescu†
$^{\dagger}$Google Research
{andreiz, mahaiz, sminchisescu}@google.com
$^{\ddagger}$ Waymo Research
{gorban, jingweij, yinzhou, dragomir}@waymo.com
摘要：自动驾驶是一个令人振奋的新兴产业，提出了诸多重要的研究问题。在感知模块中，三维人体姿态估计是一项新兴技术，能够帮助自动驾驶车辆感知并理解行人微妙复杂的行为。尽管数十年来硬件系统与传感器已有了极大发展——汽车现已可配备复杂的激光雷达与视觉系统，针对这类新型信息的专用数据集规模也在不断扩大，但针对三维人体姿态估计这一核心问题，鲜有研究工作充分利用这些新信号。我们将本文提出的方法命名为HUM3DIL（即结合图像与激光雷达的三维人体，HUMAN 3D from Images and LiDAR），该方法以半监督方式高效利用了这些互补信号，性能大幅领先现有方法。它是一种快速紧凑的模型，适合车载部署。具体而言，我们将激光雷达点嵌入像素对齐的多模态特征，再将其输入一系列Transformer细化阶段。在Waymo开放数据集上开展的定量实验验证了我们的结论，我们在三维姿态估计任务上取得了当前最优的结果。
关键词：自动驾驶、感知、人体姿态、关键点、骨骼表示
## 1 引言
在有人活动的环境中运行的机器人系统需要避免碰撞行人，还可通过分析行人动作、预测未来行为获得性能增益。人体姿态理解是计算机视觉中发展成熟的研究方向，拥有大量工业应用[^1] [^2] [^3] [^4]。本文聚焦面向自动驾驶（AV）行业及通用机器人应用的三维人体姿态理解研究。
安全是自动驾驶行业的首要优先级。许多机器人平台使用多种模态的传感器（例如相机、激光雷达、雷达、音频等），通过分析更多环境信号提升安全性。对于大多数机器人平台而言，RGB相机搭配激光雷达传感器可被视为标准传感器套件。尽管已有大量研究表明，使用RGB图像估计人体姿态能取得出色的结果，但能够有效利用这两种模态的方法仍然十分稀缺[^5]。
近年研究在受控环境下的三维人体姿态估计方向已取得巨大进展[^1]，但许多真实场景、对安全要求极高的机器人应用需要在非受控环境下估计人体姿态，在这类场景中目标可能处于不同程度的遮挡下，从不同视角、不同距离被采集。目前已有若干方法可在机器人系统的管控下估计三维人体姿态。
---
非受控环境下的人体姿态[^5]，但这些方法精度不足，无法释放其全部潜力，尤其在自动驾驶应用中。
现有三维姿态检测方法在机器人应用中的另一个限制因素是其计算复杂度。目前已有可快速检测出包含单个个体的三维包围框的方法[^6] [^7]。因此大多数机器人应用都使用三维包围框来表示人体。这种粗糙的人体表示虽然能让相关应用满足基础安全要求、避免碰撞，但不足以支撑对复杂人体手势的理解。现有部分方法可以输出特征丰富的表示，并估计全身网格的参数[^8]，但这类方法运行速度相对较慢。将三维人体姿态表示为身体内部三维关键点的位置序列，可以看作是计算快速的包围框方法和速度较慢的全身模型之间的一种平衡折衷方案。本工作的核心目标是提出一种适用于非受控环境的快速人体姿态估计方法，该方法能高效利用自动驾驶行业常用的传感器模态，输出足够丰富的表示，以实现对复杂人类行为的分析。
支撑人体姿态理解方法研发的关键因素之一，是能否获取包含人体姿态和传感器数据的高质量真值三维数据。这类数据的收集方式主要有三种：基于有标记或无标记相机的动作捕捉系统（适用于受控室内环境）；基于IMU的动作捕捉系统（适用于室内外场景，但同样需要受控环境）[^1]；以及人工标注（适用于所有环境，但成本高且容易出错）。据我们所知，目前还不存在面向全监督训练模式的大规模室外数据集，能够满足在非受控环境采集、同时包含带真值标注的2D和3D关键点、配套RGB与LiDAR数据的要求。Waymo近期发布了Waymo开放数据集（WOD v1.3.2）的新版本，其中包含大量相机（2D）关键点和少量激光（3D）关键点（数量足以满足微调与评估需求），适用于弱监督和/或半监督训练模式。在本工作中，我们利用WOD v1.3.2数据集证明了我们的方法能够在非受控、具有挑战性的自动驾驶场景中可靠预测三维人体姿态，并且我们将几种现有最优方法适配到多模态应用后，与我们的方法进行了对比[^9] [^10] [^11]。
我们提出了HUM3DIL，这是一种轻量级三维人体关节预测网络，它以新颖的方式结合RGB信息与LiDAR点云，利用LiDAR信号的三维位置计算像素对齐[^12]的多模态特征。这些特征随后会送入后续基于Transformer的优化阶段，最终输出所需的三维关节结果。我们采用半监督方式训练模型，以最大化发挥两类标注的价值：2D标注采集成本更低，可获取的体量更大；3D标签采集成本高，精度更高但覆盖范围有限。在Waymo开放数据集上的定量结果表明，我们的方法达到了当前最优性能。HUM3DIL兼具精度高、速度快、轻量的特点，可部署在车载自动驾驶系统中，提供道路行人的实时人体感知信号。我们相信这些细粒度信号能够为下游任务带来显著增益。
相关工作：3D人体姿态重建领域已有大量前期研究，大多聚焦于仅从RGB图像进行姿态估计的方向。现有方法主要分为两大类，第一类是基于模型的方法[^13] [^14] [^15] [^16] [^17] [^18] [^19] [^20] [^21] [^22] [^23]，依赖SMPL [^24]或GHUM [^25]这类统计人体模型。这类方法不会直接估计3D姿态，而是回归统计人体模型的参数，该模型本身内置了解剖学和运动学约束。这能得到更自然的预测结果，通常还可以同时估计人体形状，即使是训练过程中未见过的姿态也能处理。第二类是基于骨架的方法[^26] [^27] [^28] [^22]，这类方法将3D姿态表示为3D关节坐标，直接从输入回归或检测这些坐标。这类方法的优势是通常精度更高、速度更快，但无法保证输出解剖学正确的人体骨架（例如左臂重建得到的长度可能与右臂不同）。本文提出的模型属于后者，因为我们的目标是实时、尽可能准确地估计行人姿态。近年来已经开始出现混合方法，例如[^9]中的工作，这类方法直接推断3D位置，但通过统计模型添加解剖学正则化。
也有研究使用深度信息重建3D姿态，这类方法会单独使用深度信息或将其与RGB图像结合[^29] [^30] [^31]。利用LiDAR信息的方法十分少见，主要原因是缺乏与LiDAR数据配对的真实3D人体姿态标注。仅有少数数据集在不同程度上提供了3D标注。PedX数据集[^32]提供了14000个通过对不同模态数据进行模型拟合得到的自动3D行人标注，
---
这些数据采集自三个不同的真实场景。Waymo Open Dataset [^33]拥有与[^32]相近的3D标注量，但它涵盖了更多样的环境（2030个真实场景，7650个不同行人），并提供了高质量的手工2D和3D标注。即使有这些数据集，该领域已发表的少量3D姿态重建工作也大多依赖弱监督，通过将2D姿态信息提升到3D空间来完成训练。[^34]使用2D真实姿态标注训练，并在3D姿态回归任务中使用重投影损失。[^11]通过考虑投影空间中的相邻LiDAR点，从标注好的2D关节投影生成伪真实3D关节坐标，在训练过程中直接将预测的3D位置与该伪真实值进行比较。
## 2 研究方法
### 2.1 问题建模
我们聚焦于关键点定位任务，将该问题建模为：给定人体的真实或预测边界框，以及来自相机和LiDAR传感器的多模态输入：一张RGB相机图像$\mathbf{Y} \in \mathbb{R}^{N_j \times 3}$和一个由单次扫描得到的$\mathbf{I} \in [0,1]^{H \times W \times 3}$个LiDAR点组成的点云$\mathbf{P} \in \mathbb{R}^{N_p \times 3}$，估计人体内部一组关键点$N_p$的3D位置。
相机模型。为实现激光雷达点到相机图像的正确投影，我们采用Waymo开放数据集[^33]相机模型的差分实现，并补偿了卷帘快门效应。我们将内参信息（例如镜头畸变、快门速度、焦距、像点等）记为向量 $\mathbf{K}_i$，将外参（例如车辆位姿、相机位姿、线速度和旋转速度）记为 $\mathbf{K}_e$。完整相机信息记为 $\mathbf{K} = [\mathbf{K}_e | \mathbf{K}_i] \in \mathbb{R}^{1 \times N_k}$，对应的相机图像投影算子记为 $\Pi(*, \mathbf{K})$，三维输入可通过该算子正确投影到图像空间。
### 2.2 HUM3DIL
我们的网络命名为HUM3DIL（参见图1），输入为RGB相机图像I、激光雷达点云P、相机内参K、配对的二维和三维 bounding box，输出预测得到的三维人体关键点Y。我们的目标是利用图像输入更好地提取并消歧三维点云中的结构信息，同时利用三维点锚定图像证据。由于我们可获取真实相机内参，因此能够通过投影在三维空间和二维图像空间之间互相转换，也可通过反投影实现反向转换。受近期三维姿态估计和点云处理领域研究进展的启发 [^36] [^37] [^9]，我们采用基于Transformer的架构 [^38] 同时处理三维和基于图像的结构信息，区别于典型方法中使用相互独立的PointNet 3D [^39] [^40] 嵌入和/或图像特征的方案。
用图像证据丰富激光雷达点 我们构造深度图像投影 $\mathbf{D} \in \mathbb{R}^{H \times W \times 1}$ 到激光雷达点云空间 $\mathbf{P}$，将其与原始RGB图像 $[\mathbf{I};\mathbf{D}]$ 拼接后，将得到的张量输入卷积架构。这样，我们从网络初始阶段就同时让卷积层获知图像中的感兴趣区域（即人体轮廓上的稀疏位置），并提供深度信息。添加深度图通道有助于在严重遮挡或帧内存在多个人物的拥挤场景中消除关键点预测的歧义——深度图通道仅在感兴趣人物处存在非零值。卷积架构我们采用轻量级U-Net网络 [^41]，它输出稠密特征图表示 $\mathbf{F} \in \mathbb{R}^{H \times W \times D_f}$，基于激光雷达点的投影，通过双线性插值从该特征图中查询对应特征：
$$ \mathbf{F}_{i}=\mathbf{F}[\Pi(\mathbf{P}_{i},\mathbf{K})]\in\mathbb{R}^{1\times D_{f}} $$
对每个点 $\mathbf{P}_i \in \mathbf{P}$，我们最终得到与像素对齐的激光雷达点图像特征。
激光雷达点嵌入 除了每个点的深度融合图像特征外，我们还对初始三维激光雷达点进行处理。我们使用随机傅里叶特征（Random Fourier Features, RFF）[^42] 将 $\mathbf{P}$ 嵌入到更高维空间，捕捉信号的高频特性。我们使用随机高斯矩阵 $\mathbf{B} \in \mathbb{R}^{3 \times D_p/2}$，每个元素都独立从正态分布 $\mathcal{N}(0, \sigma^2)$ 中采样，变换后的点形式为 $\widetilde{\mathbf{P}} = [cos(2\pi\mathbf{PB}); sin(2\pi\mathbf{PB})] \in \mathbb{R}^{N_p \times D_p}$。
---
Figure 1: Overview of our proposed HUM3DIL architecture. It estimates the 3D joint positions of a single person from a multi-modal input representation. We encode LiDAR points P through a Random Fourier embedding [^35], to produce representations $\tilde{P}$. The LiDAR points are also used to compute a depth-map representation D, which are concatenated with input RGB image I. We first use an image feature extractor (U-Net) that will act on the concatenation of D and I. The projected LiDAR points will further read features from the produced map F. We construct a token sequence of size equal to the number of points. Each token, in the beginning, will have information relating to the image features, camera intrinsics and Random Fourier Embeddings. L sequences of Transformer Encoder will act on the tokens. We read the final $N_j$ tokens and regress the 3D joints through an MLP.
变换激光雷达点 为了回归得到Y，我们采用Transformer架构 [^43]。我们将第i个输入token定义为 $\mathbf{M}_i \in \mathbb{R}^{1 \times D}$（满足 $D = D_f + D_p + N_k$），形式如下：
$$ \mathbf{M}_{i}=[\mathbf{K},\mathbf{F}_{i},\widetilde{\mathbf{P}}_{i}], $$
由相机内参、逐点图像特征和逐点傅里叶表示拼接而成。我们将Transformer应用在长度固定的$N_p$ token序列上。为了处理数量可变的token，我们为token序列设定了固定的最大长度$N_p^{max}$。我们会对多余的点进行打乱和裁剪，如果点数量不足则补零。完整的输入序列为$\mathbf{M} \in \mathbb{R}^{N_p^{max} \times D}$。该序列首先通过可学习矩阵$\mathbf{E} \in \mathbb{R}^{D \times D_0}$进行线性嵌入。其中，$D_0$是Transformer架构的运算维度。我们额外拼接了可学习的$\text{joints}$ token，即$\mathbf{M}^J \in \mathbb{R}^{N_j \times D_0}$。与[^9]类似，我们使用由L个Transformer编码器层组成的级联块，并从作用于变换后$\tilde{\mathbf{Y}}$ token的MLP中提取预测得到的3D关键点$\text{joints}$：
$$ \mathbf{M}^{0}=\begin{bmatrix}\mathbf{M}^{J}\\ \mathbf{M}\mathbf{E}\end{bmatrix} $$
$$ \mathbf{M}^{l}=TL_{l}(\mathbf{M}^{l-1}) $$
$$ \mathbf{\tilde{Y}}=M L P(\mathbf{M}_{0...N_{j}}^{L-1}) $$
损失函数 在不受控的真实环境中，标注3D关键点的成本和时间消耗都远高于2D关键点。因此，我们收集的数据集通常包含远多于3D标签的2D标注。为了最大化利用所有可用标签（2D和3D）、提升模型性能，我们采用弱监督损失与全监督损失结合的方式训练模型。我们将真值2D关节关键点记为$\mathbf{y} \in \mathbb{R}^{N_j \times 2}$，并定义2D重投影损失与3D
---
| subset | # subjects | # samples |
| total | w \ 2D keypoints | w \ 3D keypoints | w \ both |
| training | 6999 | 149683 | 144866 | 9472 | 4655 |
| validation | 1651 | 28614 | 27382 | 2137 | 905 |
Table 1: Human Key Points in WOD v1.3.2
重建损失如下：
$$ \mathcal{L}_{2D}=\frac{1}{N_{j}}\sum_{i=1}^{N_{j}}\|\mathbf{y}_{i}-\Pi(\mathbf{\tilde{Y}}_{i},\mathbf{K})\|_{2}. $$
$$ \mathcal{L}_{3D}=\frac{1}{N_{j}}\sum_{i=1}^{N_{j}}\|\mathbf{Y}_{i}-\mathbf{\tilde{Y}}_{i}\|_{2}. $$
其中$\| * \|_2$是$\ell^2$向量范数，即预测结果之间更具鲁棒性的欧氏距离。由于该函数在0点不可导，我们在训练过程中加入一个小量$\epsilon$。我们的最终损失如下：
$$ \mathcal{L}=\mathcal{L}_{3D}+\lambda\mathcal{L}_{2D} $$
其中$\lambda$是用于权衡两种损失的标量系数。
半监督支持 为了使用混合2D和3D标签进行高效训练，我们还设置每个训练批次包含预定义比例的2D和3D标注。当数据集严重偏向2D标注时，这种方法可以避免网络遗忘3D相关的学习。我们在图4的左半部分展示了3D标注占比和损失平衡因子的影响研究。
## 3 实验结果
数据集 Waymo Open Dataset v1.3.2（WOD）[^33]包含捕捉各类道路使用者的RGB图像和LiDAR距离图像。最近，WOD中一部分人体目标（行人和骑行者）的相机（2D）和激光（3D）关键点标注已发布，即Waymo Human Key Points dataset v1.3.2（WHKP）。我们在WHKP上对HUM3DIL和其他基准方法进行了性能测试。由于WOD/WHKP的官方测试子集不对公众开放，我们从WOD验证集中随机选取50%的目标作为我们的验证划分，剩余50%作为基准测试的测试划分。在我们的实验中，我们在训练和评估阶段都使用真值相机参数和LiDAR bounding box，原因有二：a）将关键点定位的评估与目标检测任务解耦；b）为未来的研究工作设置易于复现的基线。
指标 在适用情况下，我们报告两个指标：预测3D关节与真值3D关节之间的平均每关节位置误差（即MPJPE），以及2D场景下的类似指标。由于并非每一帧、甚至并非每个关节都有真值标注，我们使用可见性指示器$\mathbf{v}_i^j \in \{0,1\}$。该指示器表示特定测试样本j的特定关节i是否存在真值标注。特定数据集上的MPJPE计算如下：
$$ \frac{1}{\sum_{i,j}\mathbf{v}_{i}^{j}}\sum_{i,j}\mathbf{v}_{i}^{j}\|\mathbf{Y}_{i}^{j}-\tilde{\mathbf{Y}}_{i}^{j}\|_{2} $$
WHKP数据集上的评估 我们在WHKP训练子集上训练了多种不同方法：我们的方法（即HUM3DIL）、按照原始论文复现的THUNDR [^9]、额外增加深度图像作为输入的THUNDR、使用公开代码实现的ContextPose [^10]，以及[^11]的多模态方法，我们引用了该方法在相似版本数据集上的结果。这些方法均是基于单张RGB图像的单人三维姿态估计领域的当前最优方法。我们尽可能公平地与纯RGB图像方法开展比较，但仍然存在无法弥合的建模差异——我们的架构本身就能轻松利用LiDAR信号。还需要说明的是，我们模型的参数量仅为对比方法的$1/5 - 1/14$。我们在表2中报告了测试集划分上的结果。
---
实现细节 在所有实验中，我们使用随机初始化权重的U-Net骨干网络[^41]。编码器/解码器的卷积滤波器序列分别为[^32] [^64] [^128] [^256]和[^256] [^128] [^64] [^32]。该骨干网络共有2095392个参数。对于Transformer架构，我们使用$L = 4$个阶段，嵌入维度为256，多头注意力（MultiHeadAttention）层设置为8头。我们将网络训练50个轮次，批次大小为16，基础学习率为$1e-4$，指数衰减率为0.99。我们将LiDAR点的最大数量设置为1024。我们的Transformer架构共有3229696个参数，最终的MLP包含771个神经元。我们在$\sigma = 10$和$\lambda = 1e-2$上进行验证。完整架构共有5325859个参数。我们所有网络均在一块配备16GB显存的V100 GPU上训练完成，代码基于TensorFlow实现。我们在Nvidia RTX 2080 GPU上以推理模式测试网络，每个批次仅包含一个样本，单次前向传播耗时8毫秒。性能和显存占用的主要瓶颈在于Transformer架构中的注意力矩阵计算（该矩阵为$\approx 1000 \times 1000$）。
| Method | MPJPE (cm) $\downarrow$ | MPJPE 2D (pixels) $\downarrow$ |
| ContextPose [^10] | 10.82 | 12.95 |
| Multi-modal [^11]* | 10.32 | N/A |
| THUNDR [^9] | 9.62 | 14.81 |
| THUNDR [^9] w/ depth | 9.20 | 13.53 |
| HUM3DIL (Ours) | 6.72 | 8.33 |
Table 2: Performances of different 3D joint predictors on the WHKP [^33] test split. Our full multi-modal approach is the best performer. (*) Note that [^11] was evaluated on a different subset of WOD.
Figure 2: Qualitative predictions on the WHKP test subset. In each image, from left to right, we have: the input RGB image, the overlayed LiDAR points, and our 3D joints predictions. Our method achieves plausible reconstructions even in challenging settings: low lighting conditions, cluttered environments, extreme occlusions or partial views and non-trivial poses. Note that in the case of partial views (e.g. second row from top, second column from left), our method outputs an anatomically plausible human prediction, even with an incomplete RGB signal.
---
Figure 3: Failure cases on the WHKP test subset. In each image, from left to right, we have: the input RGB image, the overlayed LiDAR points, and our 3D joints predictions. Most points of failure relate to: unusual person appearances or poor capture conditions, limited image support and extreme occlusions.
Figure 4: Visualizing network performance on the WHKP validation subset, with respect to semi-supervised choices, distance to LiDAR and keypoint occlusions. Left. We plot a 3D error surface, where on the X-axis we have the 2D loss weight $\lambda$, and on the Y-axis we have the percentage of 3D samples in a mixed-supervision training batch. The plot shows the importance of 2D samples, as the performance gradually drops when we under-utilize them. Bottom-right. We plot a 3D error curve, where on the X-axis we have the distance to the LiDAR point-cloud. Errors were computed for 20 equally concentrated bins, w.r.t. distance. The dotted points represent the centers of those bins. Note how the error gracefully decays when the target subject is either too near or too far away. Top-right. We plot a 3D error curve with respect to the number of visible joints. As expected, the method degrades when more parts of the target human are not visible (due to partial views or self-occlusions).
---
### 3.1 消融实验
在表3中，我们对所提架构中不同的高层方法设计选择进行了消融研究，并报告了在WHKP验证集上的结果。首先，我们通过设置$\lambda = 0$关闭弱监督损失。正如预期，我们观察到误差在2D MPJPE和3D MPJPE指标上均大幅上升。这证明了即使是推断三维关节，利用现有二维训练信号也十分重要。接下来，我们关闭三维LiDAR点的随机傅里叶嵌入，将其替换为恒等嵌入，这对性能的影响相当小。我们还关闭了深度输入，仅保留RGB图像输入U-Net骨干网络。这种情况下性能下降并不剧烈，因为LiDAR点的位置已经以令牌（token）形式提供。不过，性能仍然存在差距，这说明骨干网络进行的特征处理并不是冗余的。当我们关闭RGB输入时，性能下降了$\approx 1.3$厘米。我们还使用PointNet[^40]和PointNet++[^39]架构替代Transformer进行消融实验，结果性能更差。性能最优的模型开启了所有组件，证明了各组件之间具有互补作用。
| Method | MPJPE (cm) $\downarrow$ | MPJPE 2D (pixels) |
| HUM3DIL w/ $\lambda = 0.$ | 8.62 | 15.61 |
| HUM3DIL w PointNet | 8.16 | 9.96 |
| HUM3DIL w/o RGB | 8.06 | 11.41 |
| HUM3DIL w/o depth | 7.63 | 9.13 |
| HUM3DIL w PointNet++ | 7.71 | 9.36 |
| HUM3DIL w/o RFF | 7.01 | 8.79 |
| HUM3DIL full | 6.72 | 8.33 |
Table 3: Performance of our method with different architectural choices. The model with full features – including multi-modality, semi-supervised training and Transformer architecture – is the best performer.
## 4 局限性
失败案例。在图3中，我们随机选取并展示了误差超过15厘米的六个结果示例。极端遮挡和局部视图是最难处理的情况。需要注意的是，所得结果总体上仍然符合解剖学合理性。性能衰减。我们还展示了性能相对于到LiDAR人体点云距离的衰减情况（该距离也决定了LiDAR信号的稀疏性）。从图4的右下角可以看出，当目标距离过近或过远时，我们的方法性能会下降，但仍然能输出合理的结果。我们观察到，在数据集记录的最优和最差工况之间，存在约3厘米的误差差距。当目标受试者因局部视图或自遮挡出现严重遮挡时，性能也会发生退化（见图4右上角）。从全视图到严重遮挡的情况，误差几乎增长了一倍。通用性。目前，我们的网络只能通过单独裁剪处理每个人类实例，因此无法同时利用多个人类的信息（例如 [^17] [^44] [^45]）来降低误差、提升处理速度。此外，我们也没有利用时间信息（例如 [^46]），而时间信息可以进一步稳定预测结果、改善遮挡情况下的误差。
## 5 结论
本文提出了一种全新的深度神经网络架构，专为现代自动驾驶车辆的需求定制：针对从彩色和3D信号中进行3D人体姿态估计的任务，该架构兼具快速、轻量与高精度的特点。我们将这个全新架构命名为HUM3DIL，它可同时利用RGB和LiDAR数据，提取像素对齐的多模态特征，随后将这些特征输入一系列Transformer阶段。网络因此得以接收多模态信号，这些信号相互补充，使网络实现了当前最优的性能。我们还采用半监督机制训练网络，仅使用有限的带标注3D数据，但拥有海量的2D标签，数量几乎比3D数据高出两个数量级。这简化了数据收集和标注工作，因为要对3D信号进行精确标注十分困难且繁琐。通过对现有文献中规模最大的相关数据集之一开展定量评估与系统化的消融实验，验证了网络的性能。未来工作中，我们将探索预测结果之间的时间一致性，并将其融入运动预测与分析中。
---
## 参考文献
[^1]: J. Wang, S. Tan, X. Zhen, S. Xu, F. Zheng, Z. He, and L. Shao. Deep 3D human pose estimation: A review. Comput. Vis. Image Underst., 210:103225, 2021.
[^2]: C. Zheng, W. Wu, C. Chen, T. Yang, S. Zhu, J. Shen, N. Kehtarnavaz, and M. Shah. Deep Learning-Based human pose estimation: A survey. Dec. 2020.
[^3]: Y. Chen, Y. Tian, and M. He. Monocular human pose estimation: A survey of deep learning-based methods. Computer Vision and Image Understanding, 192:102897, 2020. ISSN 1077-3142. doi:. URL .
[^4]: B. I. I. A. K. Nikolaos Sarafianos, Bogdan Boteanu. 3D human pose estimation: A review of the literature and analysis of covariates. Comput. Vis. Image Underst., 152:1–20, Nov. 2016.
[^5]: M. Fürst, S. T. P. Gupta, R. Schuster, O. Wasenmüller, and D. Stricker. HPERL: 3D human pose estimation from RGB and LiDAR. In 2020 25th International Conference on Pattern Recognition (ICPR), pages 7321–7327, 2021.
[^6]: K. Huang, B. Shi, X. Li, X. Li, S. Huang, and Y. Li. Multi-modal sensor fusion for auto driving perception: A survey. Feb. 2022.
[^7]: D. Fernandes, A. Silva, R. Névoa, C. Simões, D. Gonzalez, M. Guevara, P. Novais, J. Monteiro, and P. Melo-Pinto. Point-cloud based 3D object detection and classification methods for self-driving applications: A survey and taxonomy. Inf. Fusion, 68:161–191, 2021.
[^8]: Y. Tian, H. Zhang, Y. Liu, and L. Wang. Recovering 3D human mesh from monocular images: A survey. Mar. 2022.
[^9]: M. Zanfir, A. Zanfir, E. G. Bazavan, W. T. Freeman, R. Sukthankar, and C. Sminchisescu. Thundr: Transformer-based 3d human reconstruction with markers. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 12971–12980, 2021.
[^10]: X. Ma, J. Su, C. Wang, H. Ci, and Y. Wang. Context modeling in 3d human pose estimation: A unified perspective. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 6238–6247, 2021.
[^11]: J. Zheng, X. Shi, A. Gorban, J. Mao, Y. Song, C. R. Qi, T. Liu, V. Chari, A. Cornman, Y. Zhou, et al. Multi-modal 3d human pose estimation with 2d weak supervision in autonomous driving. arXiv preprint arXiv:2112.12141, 2021.
[^12]: S. Saito, Z. Huang, R. Natsume, S. Morishima, A. Kanazawa, and H. Li. Pifu: Pixel-aligned implicit function for high-resolution clothed human digitization. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 2304–2314, 2019.
[^13]: A. Zanfir, E. Marinoiu, and C. Sminchisescu. Monocular 3d pose and shape estimation of multiple people in natural scenes—the importance of multiple scene constraints. In CVPR, 2018.
[^14]: N. Kolotouros, G. Pavlakos, M. J. Black, and K. Daniilidis. Learning to reconstruct 3d human pose and shape via model-fitting in the loop. In Proceedings of the IEEE International Conference on Computer Vision, pages 2252–2261, 2019.
[^15]: R. A. Guler and I. Kokkinos. Holopose: Holistic 3d human reconstruction in-the-wild. In CVPR, pages 10884–10894, 2019.
[^16]: G. Moon and K. M. Lee. I2l-meshnet: Image-to-pixel prediction network for accurate 3d human pose and mesh estimation from a single RGB image. In European Conference on Computer Vision (ECCV), 2020.
## [^17]: W. Jiang, N. Kolotouros, G. Pavlakos, X. Zhou, and K. Daniilidis. Coherent reconstruction of multiple humans from a single image. In CVPR, pages 5579–5588, 2020.
---
[^18]: B. Biggs, S. Ehradt, H. Joo, B. Graham, A. Vedaldi, and D. Novotny. 3d multi-bodies: Fitting sets of plausible 3d human models to ambiguous image data. arXiv preprint arXiv:2011.00980, 2020.
[^19]: Y. Xu, S.-C. Zhu, and T. Tung. Denserac: Joint 3d pose and shape estimation by dense render-and-compare. In Proceedings of the IEEE International Conference on Computer Vision, pages 7760–7770, 2019.
[^20]: T. Zhang, B. Huang, and Y. Wang. Object-occluded human shape and pose estimation from a single color image. In CVPR, pages 7376–7385, 2020.
[^21]: A. Arnab, C. Doersch, and A. Zisserman. Exploiting temporal context for 3d human pose estimation in the wild. In CVPR, pages 3395–3404, 2019.
[^22]: W. Zeng, W. Ouyang, P. Luo, W. Liu, and X. Wang. 3d human mesh regression with dense correspondence. In CVPR, pages 7054–7063, 2020.
[^23]: G. Georgakis, R. Li, S. Karanam, T. Chen, J. Košeká, and Z. Wu. Hierarchical kinematic human mesh recovery. In ECCV, pages 768–784. Springer, 2020.
[^24]: M. Loper, N. Mahmood, J. Romero, G. Pons-Moll, and M. J. Black. SMPL: A skinned multi-person linear model. SIGGRAPH, 2015.
[^25]: H. Xu, E. G. Bazavan, A. Zanfir, B. Freeman, R. Sukthankar, and C. Sminchisescu. GHUM & GHUML: Generative 3D human shape and articulated pose models. CVPR, 2020.
[^26]: G. Varol, D. Ceylan, B. Russell, J. Yang, E. Yumer, I. Laptev, and C. Schmid. BodyNet: Volumetric inference of 3D human body shapes. In ECCV, 2018.
[^27]: X. Sun, B. Xiao, F. Wei, S. Liang, and Y. Wei. Integral human pose regression. In Proceedings of the European Conference on Computer Vision (ECCV), pages 529–545, 2018.
[^28]: U. Iqbal, P. Molchanov, and J. Kautz. Weakly-supervised 3d human pose learning via multi-view images in the wild. In CVPR, pages 5243–5252, 2020.
[^29]: J. Shotton, T. Sharp, A. Kipman, A. Fitzgibbon, M. Finocchio, A. Blake, M. Cook, and R. Moore. Real-time human pose recognition in parts from single depth images. Communications of the ACM, 56(1):116–124, 2013.
[^30]: G. Moon, J. Y. Chang, and K. M. Lee. V2v-posenet: Voxel-to-voxel prediction network for accurate 3d hand and human pose estimation from a single depth map. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 5079–5088, 2018.
[^31]: C. Zimmermann, T. Welschehold, C. Dornhege, W. Burgard, and T. Brox. 3d human pose estimation in rgbd images for robotic task learning. In 2018 IEEE International Conference on Robotics and Automation (ICRA), pages 1986–1992. IEEE, 2018.
[^32]: W. Kim, M. S. Ramanagopal, C. Barto, M.-Y. Yu, K. Rosaen, N. Goumas, R. Vasudevan, and M. Johnson-Roberson. PedX: Benchmark dataset for metric 3D pose estimation of pedestrians in complex urban intersections. Sept. 2018.
[^33]: P. Sun, H. Kretzschmar, X. Dotiwalla, A. Chouard, V. Patnaik, P. Tsui, J. Guo, Y. Zhou, Y. Chai, B. Caine, et al. Scalability in perception for autonomous driving: Waymo open dataset. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 2446–2454, 2020.
[^34]: M. Fürst, S. T. Gupta, R. Schuster, O. Wasenmüller, and D. Stricker. Hperl: 3d human pose estimation from rgb and lidar. In 2020 25th International Conference on Pattern Recognition (ICPR), pages 7321–7327. IEEE, 2021.
## [^35]: A. Rahimi and B. Recht. Random features for large-scale kernel machines. In J. Platt, D. Koller, Y. Singer, and S. Roweis, editors, Advances in Neural Information Processing Systems, volume 20. Curran Associates, Inc., 2007. URL .
---
[^36]: K. Lin, L. Wang, and Z. Liu. End-to-end human pose and mesh reconstruction with transformers. In CVPR, pages 1954–1963, 2021.
[^37]: M.-H. Guo, J.-X. Cai, Z.-N. Liu, T.-J. Mu, R. R. Martin, and S.-M. Hu. Pct: Point cloud transformer. Computational Visual Media, 7(2):187–199, 2021.
[^38]: A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. N. Gomez, L. Kaiser, and I. Polosukhin. Attention is all you need. Advances in neural information processing systems, 30, 2017.
[^39]: P. Ni, W. Zhang, X. Zhu, and Q. Cao. Pointnet++ grasping: Learning an end-to-end spatial grasp generation algorithm from sparse point clouds. In 2020 IEEE International Conference on Robotics and Automation (ICRA), pages 3619–3625. IEEE, 2020.
[^40]: C. R. Qi, H. Su, K. Mo, and L. J. Guibas. Pointnet: Deep learning on point sets for 3d classification and segmentation. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 652–660, 2017.
[^41]: O. Ronneberger, P. Fischer, and T. Brox. U-net: Convolutional networks for biomedical image segmentation. In International Conference on Medical image computing and computer-assisted intervention, pages 234–241. Springer, 2015.
[^42]: M. Tancik, P. P. Srinivasan, B. Mildenhall, S. Fridovich-Keil, N. Raghavan, U. Singhal, R. Ramamoorthi, J. T. Barron, and R. Ng. Fourier features let networks learn high frequency functions in low dimensional domains. NeurIPS, 2020.
[^43]: A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. N. Gomez, L. Kaiser, and I. Polosukhin. Attention is all you need. In NIPS, 2017. URL .
[^44]: M. Fieraru, M. Zanfir, T. Szente, E. Bazavan, V. Olaru, and C. Sminchisescu. Remips: Physically consistent 3d reconstruction of multiple interacting people under weak supervision. Advances in Neural Information Processing Systems, 34:19385–19397, 2021.
[^45]: G. Moon, J. Y. Chang, and K. M. Lee. Camera distance-aware top-down approach for 3d multi-person pose estimation from a single rgb image. In Proceedings of the IEEE/CVF international conference on computer vision, pages 10133–10142, 2019.
[^46]: M. Kocabas, N. Athanasiou, and M. J. Black. Vibe: Video inference for human body pose and shape estimation. CVPR, 2020.