# 自动驾驶场景下基于二维弱监督的多模态三维人体姿态估计 郑靖晓 $^{1}$ 石新伟 $^{1}$ 亚历山大·戈尔班 $^{1}$ 毛俊华 $^{1}$ 宋杨 $^{1}$ 查尔斯·R·齐 $^{1}$ 刘婷 $^{2}$ 维塞什·查里 $^{1}$ 安德烈·科恩曼 $^{1}$ 周寅 $^{1}$ 李聪聪 $^{1}$ 德拉戈米尔·安古洛夫 $^{1}$ $^{1}$Waymo LLC $^{2}$Google 研究院 {jingxiaozheng, xinweis, gorban, junhuamao, yangsong, rqi}@waymo.com, , {visesh, cornman, yinzhou, congcongli, dragomir}@waymo.com ## 摘要 自动驾驶汽车（AV）中的三维人体姿态估计（HPE）在诸多方面都与其他应用场景不同，包括数据的三维分辨率、数据范围、缺少密集深度图、激光雷达的故障模式、相机与激光雷达的相对位置，以及对估计精度的极高要求。因此，为其他场景（如虚拟现实、游戏和动画）采集的数据往往无法用于自动驾驶应用。这就需要为自动驾驶场景下的人体姿态估计采集并标注大量三维数据，该过程耗时久、成本高。 本文针对自动驾驶场景下的该问题提出了一种早期的缓解方案。具体来说，我们提出了一种多模态方法，使用RGB图像上的二维标注作为弱监督来完成三维人体姿态估计。本文提出的多模态架构融合了激光雷达和相机的输入，并增设了一个辅助分割分支。在Waymo开放数据集 [^27] 上，我们的方法相比仅使用相机的二维人体姿态估计基线取得了 $\sim 22\%$ 的相对提升，相比仅使用激光雷达的模型提升了 $\sim 6\%$。最后，我们通过细致的消融实验和分部件分析验证了各个贡献模块的优势。 ### 1. 引言 尽管三维人体姿态估计（3D HPE）对自动驾驶汽车（AV）至关重要，但相比于动画、游戏、虚拟现实（VR）或监控等其他应用，自动驾驶场景下的三维人体姿态估计在学术界受到的关注很少 [^43]。不难发现，这一情况的原因在于自动驾驶场景下的三维人体姿态估计与其他场景的人体姿态估计差异巨大。首先，自动驾驶需要在户外环境下完成三维人体姿态估计，而动画和游戏的应用场景并非户外 [^17] [^35]，监控场景也不一定需要在 ![Image](images/c39fcf2e7ebaa5f6f3f5ae2bdd87348dfb19b42074440289d005bd7807d38a18.jpg)
Figure 1. Different characteristics of RGB-D and Camera+LiDAR sensors. Top row examples are from dataset [^48]; bottom row examples are from the Waymo Open Dataset [^27].
三维空间完成估计 [^6]。其次，激光雷达的传感器特性和布置逻辑与游戏或虚拟现实等场景使用的其他深度传感器不同 [^34] [^40]。第三，自动驾驶对精度、实时预测和跨多样场景泛化能力的要求也与其他场景不同。动画、监控、游戏和虚拟现实对精度的要求相对较低，而在自动驾驶中，人体姿态估计是感知模块的关键组成部分，对精度要求远高于其他场景。 深入来看，激光雷达与其他深度传感器存在多方面的差异。图1总结了这些差异并给出了可视化示例。首先，相比RGB-D传感器，激光雷达的探测距离更远、视场（FOV）更大，更适合户外场景。激光雷达获得的点云更稀疏，覆盖的环境范围也更广。其次，激光雷达和相机可能未共同 --- 位于AV平台上。点云与图像纹理之间的对应关系需要精准配准。最后，由于传感物理原理以及环境因素存在差异，由反射材料、天气条件和传感器表面灰尘导致的LiDAR失效情况与其他传感器故障不同。 鉴于上述差异，以及由于数据集偏差，3D HPE模型无法在不同数据集间泛化的已有证据 [^32] [^37] [^43] [^44]，我们认为亟需开发专门针对AV的方法来解决3D HPE问题。解决该问题的一种直接方式是为AV场景下（如Waymo Open Dataset）大规模、多样化的LiDAR点云数据集收集3D人体姿态标注 [^27]。然而，AV场景下3D HPE的「野外」设置给该规模的训练数据标注带来了时间、成本以及长尾场景覆盖层面的严峻挑战。 本文提出了一种方法，利用获取容易、应用广泛的2D人体姿态标注，在弱监督设置下开展3D HPE。尽管弱监督设置在3D HPE领域并不罕见 [^44]，但出于前文提到的原因，AV场景下使用LiDAR需要单独考量。图2展示了所提方法的核心思路。虽然我们采用受PointNet [^22]启发的架构作为主要的点云处理网络，但由于LiDAR点云的稀疏性，我们无法像在其他设置中那样在底层融合相机与LiDAR图像 [^38]。我们提出了一种级联架构，其中基于CNN的相机网络用于2D姿态估计。此外，我们在点网络中添加了一个辅助分割分支，通过多任务学习为每个点引入更强的监督。这让我们在「野外」设置中具备优势，Waymo Open Dataset上的结果也证明了这一点（表1和表3）。在本文后续内容中，我们将证明所有这些设计都能提升姿态估计的性能。 本文的主要贡献如下： - 我们提出了一种多模态框架，融合RGB相机图像与LiDAR点云，分别利用纹理信息和几何信息，实现复杂AV场景下的3D姿态估计。 - 我们通过纯2D标签的弱监督训练3D姿态估计模型，大幅降低了标注阶段的成本。 我们在点网络中引入了一个辅助分割分支，通过多任务学习提升3D姿态估计的性能。 分析（更多结果见补充材料）。最后，我们在第5节给出结论，探讨了可改进的方向以及未来研究方向。 我们在第2节回顾相关工作，随后在第3节介绍我们方法的细节。第4节讨论了在两个大型数据集上的详细实验与结果，之后是消融实验和性能 ### 2. 相关工作 近年来，针对3D HPE已经提出了诸多方法 [^43]，但几乎没有工作研究AV场景下的该问题。大多数方法以RGB或RGB-D图像作为输入，在单目、多目或视频设置下运行。 单目3D HPE方法，例如Tome等人的工作[^30]，仅需最简单的输入（单目RGB图像），即可通过多阶段方法预测3D关键点。这种从2D图像中“升维提取”3D关键点的经典思路，近年来已通过深度学习实现[^18]，早期研究则借助3D骨架数据库完成该任务[^1] [^24] [^33]。近期针对该方法的批评主要集中在其对底层2D估计器的过度依赖，以及存在泛化性问题[^2] [^43]。也有研究尝试对该方法进行时间维度扩展[^2] [^5] [^44] [^45]，但其性能仍然不及使用深度信息的方法（参见[^42]，[^43]表11）。 基于深度的方法也分为多种不同类型。例如Zimmermann等人的方法[^48]，在带有3D标注的RGB-D图像上使用基于VoxelNet的方法。另一些方法可能仅使用点云[^29]，引入时间一致性约束[^12]，采用拆分再合并的方案[^39]，或是生成大量合成数据后采用监督学习策略[^15]。近年来也有研究尝试半监督方法[^19] [^20] [^25] [^26]，来解决长尾分布和“野生”场景的问题。 弱监督3D人体姿态估计：上述全监督和半监督方法都依赖至少一定数量的3D标注，除此之外，还有仅使用纯2D标注的弱监督方法。Tripathi等人[^31]提出了一种在RGB序列上采用师生策略的自监督方法。Chen等人[^4]提出了一种基于纯2D标注、带有循环GAN [^47]类结构的弱监督方法。其他弱监督方法还包括[^3] [^14]。上述所有方法都是基于RGB的，不涉及点云的使用，而本文方法利用点云帮助提升预测精度。 Fürst等人[^8]针对AV场景中的RGB和LiDAR数据，提出了一个使用纯2D关键点标注的端到端3D检测与HPE系统。但他们的工作仅包含对2D HPE和投影3D HPE的评估，而本文方法使用真实3D标注进行评估。 基于点云的方法：与传统深度传感器上的HPE方法不同，基于点云的方法具备处理稀疏3D数据的能力[^11]。PointNet [^22]是一款热门的网络，适用于基于点云的分类和 --- ![Image](images/73637afafc297611d10efe16ce357965d8474bd3f6ef1d986196a1a6b6ae7338.jpg)
Figure 2. Model overview: the model is a cascade of camera network and point network. The camera network takes the 2D camera image as input and predicts the 2D keypoint heatmap. This 2D heatmap is augmented with the point cloud using modality fusion (Figure 3) and is fed into the point network. The regression branch of the point network predicts 3D keypoint coordinates as output. The auxiliary segmentation branch generates pointwise predictions which are only used for training. The model is trained on pseudo 3D labels and pointwise labels generated from 2D keypoint labels (Figure 4).
分割，该网络在[^23]中通过分层结构得到改进，被用于RGB-D上的3D目标检测[^21]以及手势姿态估计[^9] [^10]。最后，Zhang等人[^41]提出了一种基于点云的弱监督3D人体姿态估计方法。但他们的方法需要3D标注，且仅在室内RGB-D数据集上完成评估，而本文方法可在非受控的AV场景下使用纯2D标注运行。 ### 3. 方法 #### 3.1. 问题建模 三维姿态估计问题可以描述如下。对于我们研究的每个人体对象，有两种可用的数据模态：点云和该人体的相机图像。点云$\mathbf{P} = [\mathbf{p}_1, \cdots, \mathbf{p}_i, \cdots, \mathbf{p}_N] \in \mathbb{R}^{N \times d}$由单次扫描得到的N个激光雷达点组成，每个点带有d维特征。在本研究中，$d = 3$。相机图像是一张$H \times W \times 3$的RGB图像。假设我们已经获得了激光雷达和相机的内参数和外参数，对于每个点$\mathbf{p}_i$，其在点云坐标系下的三维世界坐标$\mathbf{x}_i^{(3)}$以及图像坐标系下的二维坐标$\mathbf{x}_i^{(2)}$都是已知的。给定这些输入，我们的目标是预测对应人物的K个姿态关键点的三维坐标$\{\mathbf{y}_k^{(3)}\}_{k=1}^K \in \mathbb{R}^{K \times 3}$。需要注意的是，激光雷达点云通常较为稀疏，且仅分布在物体表面，而真值关键点定义在人体内部。因此，我们无法选取$\mathbf{P}$的子集作为人体的三维姿态，也不能将自动驾驶（AV）场景下的三维人体姿态估计（3D HPE）作为分类问题处理。 本文所提方法的整体框架如图2所示。我们的模型由相机网络和点网络级联构成。相机网络以二维图像作为输入，预测得到二维关键点热图[^36]。通过模态融合，该热图被用于增强点云信息，之后输入到点网络中。最终，点网络的回归分支预测得到K个关键点的三维坐标。一个辅助分割分支生成逐点预测结果，该分支仅在训练阶段使用。模型由伪三维标签和从二维标签生成的逐点标签训练得到。 #### 3.2. 激光雷达与相机的模态融合 我们提出了一种结合模态融合的二维相机网络，用于将RGB图像的纹理信息迁移到点云。我们的相机网络遵循[^36]中提出的架构，由一个下采样模块和一个上采样模块组成。下采样模块是ResNet-50网络，上采样模块由三个反卷积层构成。上采样模块后接一个带有sigmoid激活函数的$1 \times 1$卷积层，生成输出热图。该网络以尺寸为$H \times W \times 3$的RGB图像作为输入，生成尺寸为$\mathbf{H} = \{\mathbf{h}_{m,n}\}_{m=1,n=1}^{H',W'}$的关键点热图$H' \times W' \times K$，其中K为关键点的数量。热图中的每个像素$h_{m,n}$是一个K维向量，表示对应图像像素属于K个关键点中每个的概率。 随后，我们在热图H上对三维激光雷达点投影到相机图像得到的二维对应位置进行采样，生成相机特征$\mathbf{p}_i^{\text{cam}}$，如图3所示。点i的相机特征计算为$\mathbf{p}_i^{\text{cam}} = \mathbf{h}_{m(i),n(i)}$，即H在位置$(m(i), n(i))$处的切片。此处$m(i) = \text{round}(\frac{W'}{W}x_{1i})$和 --- ![Image](images/c39da136d543c6e1fb066c3f20777e2cb20252ecc9951e3c8973f0a3024ad9f5.jpg)
Figure 3. Modality fusion: the 2D heatmap from the camera network is first smoothed by Gaussian kernel, then sampled by 2D point cloud projections on the camera image. The sampled heatmap slices are considered as camera features and are concatenated with point coordinates of the point cloud as augmented input to the point network. See Sec 3.2 for details.
$n(i) = \text{round}(\frac{H'}{H}x_{2i})$，其中$\mathbf{x}_i^{(2)} = (x_{1i}, x_{2i})$是点i的二维图像坐标。实践中我们观察到，相机网络输出的热图通常峰值非常突出，在远离任何关键点的位置几乎不包含信息。因此，我们应用高斯平滑来扩大这些位置的感受野[^7]，从而使对应点可以利用图像上更大邻域的信息。 最终，相机特征$\mathbf{p}_i^{\text{cam}}$与原始点特征$\mathbf{p}_i$拼接，生成增强点云$\mathbf{P}^{\text{aug}} \in \mathbb{R}^{N \times (d+K)}$，作为后续点网络的输入。这种增强直接将RGB图像中的纹理信息融入点云，为基于LiDAR的点网络提供有助于更准确关键点预测的信息。类似的拼接方式可见于[^48]，该研究在将特征输入VoxelNet[^46]之前，将体素表示与热图进行了拼接。 本文提出的级联模态融合架构取得了性能提升，因为相机网络预测得到的热图携带了LiDAR点特征不具备的、与纹理相关的互补语义线索。因此，用高层相机特征增强低层LiDAR点特征，可为点网络同时提供低层和高层的点云信息。通过引入模态融合，我们在Waymo Open Dataset上相比仅使用LiDAR的基线模型取得了$\sim 6\%$的相对提升（第4节表3）。 #### 3.3 辅助逐点分割分支 我们的点网络是所提方法的核心组件，它直接从增强点云生成3D关键点预测结果。回归分支预测一个3K维的输出向量，对应K个关键点的3D坐标。 尽管通过模态融合，点网络已经获得了来自相机网络的丰富相机信息，但模型的指定输出仍是一组固定的关键点。全局回归损失很难引导点网络为每个点有效利用相机信息。因此，为了给每个单独的点提供更直接的监督，我们受分割PointNet[^22]架构的启发，在点网络的特征编码器后提出了一个辅助分割分支。对于每个LiDAR点，分割分支预测它距离最近的姿态关键点。换句话说，分割分支生成$N \times K$个置信度分数，用于将N个LiDAR点分配给K个姿态关键点（高分表示该点距离对应关键点更近）。此处，每个点的关键点类型对应其最近邻关键点的类型。 这个额外的逐点损失有助于点网络消化更多来自相机网络的信息。通过添加辅助分割分支和损失，我们在Waymo Open Dataset上相比不含分割分支的模态融合架构取得了$\sim 1.8\%$的相对提升（第4节表3）。 #### 3.4 弱监督模型训练 训练本文提出的双分支点网络需要两组标签：主回归分支需要真实3D关键点坐标；分割分支需要逐点关键点类型标签。在所提方法中，我们引入了一种标签生成方法，使得两个任务都可以仅使用纯2D标签完成模型训练。 #### 3.4.1 标签生成 如3.1节所述，我们已知输入点的3D坐标$\{\mathbf{x}_i^{(3)}\}_{i=1}^N$、其对应的2D图像坐标$\{\mathbf{x}_i^{(2)}\}_{i=1}^N$以及2D真实关键点$\{\mathbf{y}_k^{(2)}\}_{k=1}^K$。这种对应关系是根据相机模型将3D点投影到相机图像坐标提前计算得到的。由于该投影不是一一映射，因此无法将2D标签直接反向投影到3D空间。 为了从2D标签和点云生成3D关键点标签，我们做出如下假设： 1. 点云足够密集，每个2D关键点的邻域内至少存在一个点 --- ![Image](images/dfce5dc8c3ce66cb4abca98776b6aa753af96ea1f3472ee4f8c8f4d123dacba6.jpg)
Figure 4. Pseudo label generation: a pseudo 3D keypoint label (red triangle) is computed as the weighed average of 3D coordinates of neighboring points (blue triangles and dots) to the keypoint label in 2D space (red dot). Similarly, to generate pointwise labels, positive labels are assigned to neighboring points (blue dots) of a ground truth keypoint (red dot) in 2D space (best viewed in color). See Sec 3.4.1 for details.
## 空间 2. 人体表面足够平滑，因此深度在关键点邻域内不会发生快速变化； ### 3. 点云到相机的配准是可靠的 尽管点云在输入点网络之前会被下采样到固定大小，但伪3D标签是基于下采样前的点云生成的。因此，上述假设在大多数情况下都成立。此外，由于激光雷达和相机通常固定在同一个刚性物体（车辆）上，且会定期校准，所以假设配准可靠是合理的。 3D关键点坐标标签生成：根据我们的假设，点云中每个点在相机图像上的精确2D投影都是已知的。因此，对于一个2D坐标的真值关键点，我们可以先在2D空间中找到它的邻域点。接着，根据我们的假设，这些点的深度会足够接近该关键点的真实深度。如图4所示，我们使用这些邻域点的平均3D坐标来近似得到该关键点的坐标， $$ \tilde{\mathbf{y}}_{k}^{(3)}=\sum_{i=1}^{N}\alpha_{i k}\mathbf{x}_{i}^{(3)},\alpha_{i k}=\frac{\exp\left(-T\|\mathbf{x}_{i}^{(2)}-\mathbf{y}_{k}^{(2)}\|_{2}^{2}\right)}{\sum_{j=1}^{N}\exp\left(-T\|\mathbf{x}_{j}^{(2)}-\mathbf{y}_{k}^{(2)}\|_{2}^{2}\right)} $$ 在此处，$\alpha_{ik}$ 根据各点到2D空间中真值关键点 $\hat{\mathbf{y}}_k^{(3)}$ 的距离，对第i个点对伪关键点 $\mathbf{y}_k^{(2)}$ 的贡献进行加权，T是控制softmax操作的温度参数。 如果伪3D标签不够准确，我们还会为每个关键点计算其3D近似结果的置信度，为 $r_k = \exp\left(-T_r \min_i \|\mathbf{x}_i^{(2)} - \mathbf{y}_k^{(2)}\|_2^2\right)$，其中 $T_r$ 是温度因子，用于在训练过程中对不同关键点的损失进行加权。 逐点关键点类型标签生成：为了给分割任务生成逐点类型标签，我们只需将2D空间中某个关键点的所有邻域点分配为对应关键点的类型，如图4所示。针对关键点k的第i个点的类型标签 $l_{ik}$ 的生成方式为 $$ l_{i k}=\begin{cases}{1}&{\mathrm{i f~}\|\mathbf{x}_{i}^{(2)}-\mathbf{y}_{k}^{(2)}\|_{2}\leq r,}\\ {0}&{\mathrm{o t h e r w i s e}}\\ \end{cases} $$ 式中r为正样本的邻域半径。 使用生成的伪3D标签训练3D关键点模型后，我们在Waymo Open Dataset上相比基线方法（即用2D标签预测2D关键点再提升到3D）取得了$\sim 22\%$的相对提升（见第4节表3）。 #### 3.5. 训练损失 点网络：回归分支的训练损失是应用在生成伪3D标签上的Huber损失 $L_{reg}$，由置信度 $r_{k}$ 加权。分割分支的损失是应用在伪逐点标签上的交叉熵损失 $L_{seg}$，由不同正负样本权重加权。点网络的整体损失为 $$ L=L_{\mathrm{r e g}}+\lambda L_{\mathrm{s e g}} $$ 式中 $\lambda$ 用于对辅助分割损失进行加权。 相机网络：与[^36]类似，相机网络使用带真值2D热图的均方误差损失训练。我们独立训练相机网络，之后在点网络训练阶段将其冻结。 需要注意的是，我们仅在可见关键点上进行训练和评估。训练过程中，仅对可见关键点计算关键点损失，这意味着我们不会为被遮挡的关键点生成伪标签。在第4节中我们会说明，即使仅在可见关键点上训练，模型仍然能够为被遮挡的身体部分预测出合理的关键点。关于训练损失的更多细节，请参考补充材料。 ### 4. 实验 #### 4.1. 数据与评估指标 训练数据：我们收集了一个内部数据集，其中包含RGB图像和LiDAR点云，与Waymo Open Dataset格式类似 [^27]。该数据集总共包含197381个行人实例。这些行人标注了13种关键点类型的2D关键点标签（鼻子、左肩/右肩、 ---
MethodsWaymo Open DatasetInternal Dataset
OKS@3D $\uparrow$MPJPE $\downarrow$OKS@2D $\uparrow$
camera-only [^36]51.74%13.90cm78.19%
LiDAR-only59.58%10.80cm77.53%
multi-modal63.14%10.32cm82.94%
Table 1. Comparison of camera-only, LiDAR-only, and multi-modal models. As described in Section 4.1, OKS@3D stands for OKS/ACC in 3D evaluation, OKS@2D stands for OKS/ACC in 2D evaluation, and MPJPE is another evaluation metric in 3D. These metrics are used throughout the experiments. The proposed multi-modal model achieves the best results on both datasets.
左肘/右肘、左腕/右腕、左髋/右髋、左膝/右膝以及左踝/右踝），标注都在相机图像中完成。这些样本被划分为包含155182个行人的训练集和包含42199个行人的测试集。仅带有纯2D标签的训练集被用于训练本文提出的模型。 3D评估数据与指标：我们使用Waymo Open Dataset作为3D评估集。该数据集由Waymo测试车在多种不同条件下采集的传感器数据构成，包含1950个时长20秒的片段，传感器数据包括LiDAR点云和相机拍摄的RGB图像。为了进行3D评估，我们在LiDAR点云上为986个行人标注了13种关键点类型的3D关键点坐标（与我们的内部数据集一致）。我们计划在获得相关批准后发布这些评估标注。 我们使用OKS（Object Keypoint Similarity）准确率（OKS/ACC）指标，以及3D坐标下的MPJPE（Mean Per Joint Position Error）指标 [^16] 来报告评估结果，其中OKS/ACC指标与COCO关键点挑战赛中提出的OKS/AP指标类似 [^13]，更多细节请参考补充材料。 2D评估数据与指标：我们使用内部数据集的测试集作为2D评估集。将3D预测结果通过对应的LiDAR到相机投影变换投影到2D空间后，我们使用2D坐标下的OKS/ACC指标报告评估结果。 标注说明：对于Waymo Open Dataset和内部数据集的2D/3D关键点标注，我们采用了与COCO挑战赛类似的关键点定义。每个关键点由多名标注人员标注，汇总他们的结果得到最终标注。2D标注中，我们仅对相机图像中可见的关键点标注2D坐标，被遮挡的关键点标注为不可见。3D标注规则类似，我们仅对点云中可见的关键点进行标注。由于我们将每个LiDAR与位置最近的相机配对，因此关键点的遮挡状态在2D和3D中基本一致。 ![Image](images/13933eb92a14fbed288a35050fd1ac182c1de1be021a6a3e0ad6aaa3a09ab5a6.jpg) ![Image](images/426d224f557a2c6cbec7944d19b0389f875b4ef56f0a12af142481535003210b.jpg) ![Image](images/17ce6fc72b3fcb7a5c1d2931873134578a2392d5e4dde3172d58a78617db33fd.jpg)
(c) Inception 64x64
![Image](images/56187888fbb345fdec44db202e98972821fad125609902af8116672acb5cbeb4.jpg)
(d) ResNet50 256x256
Figure 5. 3D predictions with different camera image sizes and camera network backbones from the Waymo Open Dataset (best viewed in color). ResNet50 with 256x256 image size predicts the most accurate keypoints.
实现细节：对于Waymo Open Dataset和我们的内部数据集，我们将所有相机图像调整为 $256 \times 256$，并将输入点云随机下采样到固定大小256个点（我们并未观察到使用更多点能带来明显性能提升）。更多训练细节请参考补充材料。 #### 4.2. 性能分析 为了验证本文提出方法的有效性，我们将其与以下模型进行对比。 纯相机模型：我们使用与所提方法相同的相机网络 [^36] 来预测二维关键点，随后通过第3.4.1节介绍的二维转三维伪标签生成方法实现二维关键点升维到三维，流程与我们生成训练标签的方式一致。 纯激光雷达模型：我们使用所提的点网络预测三维关键点，不进行模态融合，即仅将点云的三维坐标作为输入特征。 两个数据集的实验结果如表1所示，表2进一步给出了逐关键点的结果。这些结果表明，本文方法在对应数据集上的性能优于所有基线方法，我们还得到了以下观察结论。 基于伪标签训练是有效的。在Waymo开放数据集的三维指标上，纯激光雷达基线和本文所提方法的性能均优于纯相机基线。由于纯相机基线同样基于二维标签训练，且利用点云将预测结果升维到三维空间，该结果表明，直接在由二维生成的伪标签上训练三维人体姿态模型更加有效。 ---
partscamera-onlyLiDAR-onlymulti-modal
OKS@3DOKS@2DOKS@3DOKS@2DOKS@3DOKS@2D
nose24.50%75.10%23.83%56.27%29.74%72.17%
shoulder65.41%83.38%77.04%85.68%76.93%87.89%
elbow65.61%82.63%66.61%78.72%72.49%84.82%
wrist45.99%79.03%30.37%64.10%46.97%79.17%
hip57.69%87.97%79.42%90.33%74.76%92.37%
knee65.40%85.91%77.48%86.82%78.04%90.05%
ankle62.68%84.17%69.06%85.63%72.30%88.72%
overall51.74%78.19%59.58%77.53%63.14%82.94%
Table 2. Per-keypoint comparison of camera-only, LiDAR-only, and multi-modal models. OKS@3D is on the Waymo Open Dataset and OKS@2D is on the Internal Dataset. Note that the per-keypoint OKS is computed on each keypoint separately (please refer to supplementary for details). The proposed multi-modal model achieves the best results on most of the keypoint types.
ConfigurationsWaymo Open DatasetInternal Dataset
Reg. LossSeg. LossCameraOKS@3D $\uparrow$MPJPE $\downarrow$OKS@2D $\uparrow$
✓59.10%10.93cm77.52%
✓✓59.58%10.80cm77.53%
✓✓62.03%10.53cm82.51%
✓✓✓63.14%10.32cm82.94%
Table 3. Ablation studies on different model architectures. The best performance is achieved by using multi-modal architecture with auxiliary segmentation loss.
真值。 相机图像可提升三维预测效果。所提方法在三维指标上的性能优于纯激光雷达基线，这说明来自二维相机图像的信息有助于三维姿态估计。表2显示，所提方法在几乎所有身体部位上的性能都优于基线方法。与纯激光雷达基线相比，肘部、手腕等难检测身体部位的性能差距更大，这说明来自相机图像的纹理信息对难以定位的关键点尤其有帮助。 点云可提升二维预测效果。在内部数据集的二维指标上，纯激光雷达基线的二维姿态估计性能与纯相机基线相当。即便所提模型没有直接针对二维姿态估计训练，其性能依然超过了纯相机基线。这说明来自三维激光雷达点云的深度信息同样可以提升二维姿态估计的性能。 模态融合可同时受益于两种模态。所提方法在两个数据集的所有指标上都取得了最优性能，这证明相机图像和激光雷达点云提供了互补信息，模态融合结合这些信息源提升了整体性能。 图6展示了所提方法在Waymo开放数据集上的部分定性结果。在这些示例中，行人要么被遮挡（6a），要么处于非常规姿态（6c、6i），要么携带大型物体（6g、6e）。所提方法可以准确预测可见的人体关键点，并
Camera Network
Per-keypoint MPJPEsNo cameraInception 48x48Inception 64x64ResNet50 256x256
all0.10800.10260.10280.1032
elbow0.10060.09400.09310.0891
wrist0.16520.15010.14730.1320
hip0.10810.11130.11130.1205
knee0.09440.08960.09100.0925
ankle0.11630.11000.11020.1107
nose0.08140.07620.07600.0837
shoulder0.08500.08140.08300.0872
Table 4. Per-keypoint performance with different camera networks and image sizes on the Waymo Open Dataset. ResNet50 with 256x256 image size performs the best on challenging keypoints like elbow and wrist with large margins, but slightly worse than smaller image sizes on other keypoint types.
对被遮挡的关键点给出合理推测。图6k是一个失败案例：传感器运动导致相机图像模糊，最终造成左手腕预测不准确。更多定性结果可在补充材料中查看。 #### 4.3. 消融研究 #### 4.3.1 模型架构消融研究 我们开展消融实验，进一步验证本文核心设计的有效性：辅助分割分支与结合相机网络的模态融合。实验结果如表3所示，其中Reg. Loss表示使用回归损失（主损失）训练点网络，Seg. Loss表示添加了辅助分割分支（参见第3.5节），Camera表示使用融合相机特征的模态融合。结果表明，为模型添加这些核心设计后，模型在所有数据集上的性能均得到持续提升。我们还观察到，分割分支与模态融合能够带来互补的性能提升。 #### 4.3.2 相机图像尺寸与相机网络骨干的消融实验 为验证模态融合的有效性，我们针对不同相机图像尺寸和相机 --- ![Image](images/bf1892588329fd36b19429a32be685db3d5d2da2cf54a2fafee7a8ebaf552699.jpg)
Figure 6. Results on the Waymo Open Dataset. 6b, 6d, 6h, 6l are 3D predictions. 6a, 6c, 6g, 6k show the corresponding 2D projections overlaid on camera images (3D predictions may not be shown under the same viewpoint as the camera images. Best viewed in color). More results can be found in supplementary.
Camera NetworkConfigWaymo Open DatasetInternal Dataset
Reg.Seg.OKS@3D $\uparrow$MPJPE $\downarrow$OKS@2D $\uparrow$
No Camera✓59.10%10.93cm77.52%
✓✓59.58%10.80cm77.53%
Inception 48x48✓61.12%10.51cm78.72%
✓✓62.22%10.26cm79.55%
Inception 64x64✓61.05%10.46cm78.95%
✓✓62.52%10.28cm79.44%
ResNet50 256x256✓62.03%10.53cm82.51%
✓✓63.14%10.32cm82.94%
Table 5. Ablation studies on the different camera image sizes and camera network backbones. ResNet50 with 256x256 image size achieves the best performance in general.
网络骨干开展实验，结果如表5所示。其中Inception 48×48使用受Inception [^28]启发的卷积网络骨干，输入图像尺寸为48×48；Inception 64×64与Inception 48×48结构类似，仅将图像尺寸改为64×64；ResNet50 256×256是本文方法使用的ResNet50骨干，输入图像尺寸为256×256。从表5的结果可以看出，即使使用更小的相机块尺寸和更浅的网络骨干，模型仍然能从额外的相机模态中获益。这一结论无论是否添加辅助分割分支都成立。使用更大的相机块尺寸和更深的骨干网络时，模型整体性能更优。 我们进一步在表4中研究了不同图像尺寸和网络骨干对单关键点预测误差的影响。所有这些实验均使用了本文提出的辅助分割分支。结果表明：1）无论选择何种图像尺寸和骨干，额外的相机图像通常都会给肘部、腕部、膝盖和脚踝关键点带来显著提升。这是因为仅基于稀疏含噪的LiDAR点云，很难精准定位这些肢体关键点，而来自相机图像的额外纹理信息让定位变得相对容易。2）更大的图像尺寸在肘部、腕部这类最难定位的关键点上表现更好，但令人惊讶的是，它在其他关键点上的表现略差于更小尺寸的块。 图5展示了Waymo Open Dataset中一名骑踏板车的行人的3D关键点预测可视化结果。这是一个具有挑战性的案例，因为行人身上附着了其他物体（背包、踏板车），且姿势不规则。仅使用LiDAR的模型在图5a中未能预测出准确的关键点。通过引入模态融合，从稀疏点云中难以定位的肢体关键点（肘部、腕部、膝盖和脚踝）的预测效果得到了明显提升。本文方法使用的相机网络（处理256×256图像的ResNet50）预测出的关键点最为准确（图5d）。 ### 5. 结论 自动驾驶（AV）中基于LiDAR的3D HPE与其他应用存在诸多差异，原因包括三维分辨率、测距范围不同，缺少稠密深度图，且测试条件多变。本文针对自动驾驶提出了一种配备二维弱监督的多模态3D HPE模型。该模型同时利用RGB相机图像和LiDAR点云，解决无约束场景下三维人体姿态估计面临的挑战。该模型无需成本高昂的三维标注，仅使用纯二维标注完成训练。我们添加了一个辅助分割分支，为点网络引入更强的监督信号。在Waymo开放数据集（其评估标注将后续发布）和我们内部数据集上的结果，以及额外开展的消融实验均验证了所提方法的有效性。 --- ## 参考文献 [^1]: Ijaz Akhter and Michael J. Black. Pose-conditioned joint angle limits for 3d human pose reconstruction. In IEEE Conf. Comput. Vis. Pattern Recog. (CVPR), pages 1446–1455, 2015. [^2]: Anurag Arnab, Carl Doersch, and Andrew Zisserman. Exploiting temporal context for 3d human pose estimation in the wild. IEEE Conf. Comput. Vis. Pattern Recog. (CVPR), 2019. 2 [^3]: C. Chen and D. Ramanan. 3d human pose estimation = 2d pose estimation + matching. In IEEE Conf. Comput. Vis. Pattern Recog. (CVPR), pages 5759–5767, 2017. 2 [^4]: Ching-Hang Chen, Ambrish Tyagi, Amit Agrawal, Dylan Drover, M. V. Rohith, Stefan Stojanov, and James M. Rehg. Unsupervised 3d pose estimation with geometric self-supervision. IEEE Conf. Comput. Vis. Pattern Recog. (CVPR), pages 5707–5717, 2019. 2 [^5]: Yu Cheng, Bo Yang, Bo Wang, and Robby T. Tan. 3d human pose estimation using spatio-temporal networks with explicit occlusion training. In AAAI, 2020. 2 [^6]: Srijan Das, Saurav Sharma, Rui Dai, Francois Bremond, and Monique Thonnat. Vpn: Learning video-pose embedding for activities of daily living, 2020. 1 [^7]: Yang Feiyu, Song Zhan, Xiao Zhenzhong, Mo Yaoyang, Chen Yu, Pan Zhe, Zhang Min, Zhang Yao, Qian Beibei, and Jin Wu. Error compensation heatmap decoding for human pose estimation. IEEE Access, 9:114514–114522, 2021. 4 [^8]: Michael Fürst, Shriya T. P. Gupta, René Schuster, Oliver Wasenmüller, and Didier Stricker. HPERL: 3d human pose estimation from RGB and lidar. Computing Research Repository, abs/2010.08221, 2020. 2 [^9]: Liuhao Ge, Yujun Cai, Junwu Weng, and Junsong Yuan. Hand pointnet: 3d hand pose estimation using point sets. In IEEE Conf. Comput. Vis. Pattern Recog. (CVPR), 2018. 3 [^10]: Liuhao Ge, Zhou Ren, and Junsong Yuan. Point-to-point regression pointnet for 3d hand pose estimation. In Eur. Conf. Comput. Vis. (ECCV), 2018. 3 [^11]: Yulan Guo, Hanyun Wang, Qingyong Hu, Hao Liu, Li Liu, and Mohammed Bennamoun. Deep learning for 3d point clouds: A survey. IEEE Transactions on Pattern Analysis and Machine Intelligence, 43(12):4338–4364, 2021. 2 [^12]: Mir Rayat Imtiaz Hossain and J. Little. Exploiting temporal information for 3d human pose estimation. In Eur. Conf. Comput. Vis. (ECCV), 2018. 2 [^13]: Catalin Ionescu, Dragos Papava, Vlad Olaru, and Cristian Sminchisescu. Human3.6m: Large scale datasets and predictive methods for 3d human sensing in natural environments. IEEE Transactions on Pattern Analysis and Machine Intelligence, 36(7):1325–1339, jul 2014. 6 [^14]: Muhammed Kocabas, Salih Karagoz, and Emre Akbas. Self-supervised learning of 3d human pose using multi-view geometry. IEEE Conf. Comput. Vis. Pattern Recog. (CVPR), pages 1077–1086, 2019. 2 [^15]: Shichao Li, Lei Ke, Kevin Pratama, Yu-Wing Tai, Chi-Keung Tang, and Kwang-Ting Cheng. Cascaded deep monocular 3d human pose estimation with evolutionary training data. In IEEE Conf. Comput. Vis. Pattern Recog. (CVPR), June 2020. 2 [^16]: Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, and C. Lawrence Zitnick. Microsoft coco: Common objects in context. In Eur. Conf. Comput. Vis. (ECCV), pages 740–755, 2014. 6 [^17]: Jingyuan Liu, Hongbo Fu, and Chiew-Lan Tai. Posetween: Pose-driven tween animation. In Proceedings of the 33rd Annual ACM Symposium on User Interface Software and Technology, UIST '20, page 791–804, New York, NY, USA, 2020. Association for Computing Machinery. 1 [^18]: Julieta Martinez, Rayat Hossain, Javier Romero, and James J. Little. A simple yet effective baseline for 3d human pose estimation. In Int. Conf. Comput. Vis. (ICCV), 2017. 2 [^19]: Georgios Pavlakos, Xiaowei Zhou, and Kostas Daniilidis. Ordinal depth supervision for 3D human pose estimation. In IEEE Conf. Comput. Vis. Pattern Recog. (CVPR), 2018. 2 [^20]: Dario Pavllo, Christoph Feichtenhofer, David Grangier, and Michael Auli. 3d human pose estimation in video with temporal convolutions and semi-supervised training. In IEEE Conf. Comput. Vis. Pattern Recog. (CVPR), 2019. 2 [^21]: Charles R. Qi, Wei Liu, Chenxia Wu, Hao Su, and Leonidas J. Guibas. Frustum pointnets for 3d object detection from rgb-d data. In IEEE Conf. Comput. Vis. Pattern Recog. (CVPR), June 2018. 3 [^22]: Charles R Qi, Hao Su, Kaichun Mo, and Leonidas J Guibas. Pointnet: Deep learning on point sets for 3d classification and segmentation. arXiv preprint arXiv:1612.00593, 2016. 2, 4 [^23]: Charles R Qi, Li Yi, Hao Su, and Leonidas J Guibas. Point-net++: Deep hierarchical feature learning on point sets in a metric space. arXiv preprint arXiv:1706.02413, 2017. 3 [^24]: Varun Ramakrishna, Takeo Kanade, and Yaser Sheikh. Reconstructing 3d human pose from 2d image landmarks. In Andrew Fitzgibbon, Svetlana Lazebnik, Pietro Perona, Yoichi Sato, and Cordelia Schmid, editors, Eur. Conf. Comput. Vis. (ECCV), pages 573–586, Berlin, Heidelberg, 2012. Springer Berlin Heidelberg. 2 [^25]: Helge Rhodin, Mathieu Salzmann, and Pascal Fua. Unsupervised geometry-aware representation learning for 3d human pose estimation. In Eur. Conf. Comput. Vis. (ECCV), 2018. 2 [^26]: H. Rhodin, Jörg Spörri, Isinsu Katircioglu, V. Constantin, F. Meyer, E. Müller, M. Salzmann, and P. Fua. Learning monocular 3d human pose estimation from multi-view images. IEEE Conf. Comput. Vis. Pattern Recog. (CVPR), pages 8437–8446, 2018. 2 [^27]: Pei Sun, Henrik Kretzschmar, Xerxes Dotiwalla, Aurelien Chouard, Vijaysai Patnaik, Paul Tsui, James Guo, Yin Zhou, Yuning Chai, Benjamin Caine, Vijay Vasudevan, Wei Han, Jiquan Ngiam, Hang Zhao, Aleksei Timofeev, Scott Ettinger, Maxim Krivokon, Amy Gao, Aditya Joshi, Yu Zhang, Jonathon Shlens, Zhifeng Chen, and Dragomir Anguelov. Scalability in perception for autonomous driving: Waymo open dataset. In IEEE Conf. Comput. Vis. Pattern Recog. (CVPR), June 2020. 1, 2, 5 ## [^28]: C. Szegedy, Wei Liu, Yangqing Jia, P. Sermanet, S. Reed, D. Anguelov, D. Erhan, V. Vanhoucke, and A. Rabinovich. --- Going deeper with convolutions. In IEEE Conf. Comput. Vis. Pattern Recog. (CVPR), pages 1–9, 2015. 8 [^29]: Bugra Tekin, Pablo Marquez-Neila, Mathieu Salzmann, and Pascal Fua. Learning to fuse 2d and 3d image cues for monocular body pose estimation. In Int. Conf. Comput. Vis. (ICCV), pages 3961–3970, 10 2017. 2 [^30]: Denis Tome, Chris Russell, and Lourdes Agapito. Lifting from the deep: Convolutional 3d pose estimation from a single image. In IEEE Conf. Comput. Vis. Pattern Recog. (CVPR), July 2017. 2 [^31]: Shashank Tripathi, Siddhant Ranade, Ambrish Tyagi, and Amit Agrawal. Posenet3d: Unsupervised 3d human shape and pose estimation. 2020. 2 [^32]: Bastian Wandt and Bodo Rosenhahn. Repnet: Weakly supervised training of an adversarial reprojection network for 3d human pose estimation. In IEEE Conf. Comput. Vis. Pattern Recog. (CVPR), June 2019. 2 [^33]: Chunyu Wang, Yizhou Wang, Zhouchen Lin, Alan L. Yuille, and Wen Gao. Robust estimation of 3d human poses from a single image. In IEEE Conf. Comput. Vis. Pattern Recog. (CVPR), pages 2369–2376, 2014. 2 [^34]: Chung-Yi Weng, Brian Curless, and Ira Kemelmacher-Shlizerman. Photo wake-up: 3d character animation from a single photo, 2018. 1 [^35]: Nora S. Willett, Hijung Valentina Shin, Zeyu Jin, Wilmot Li, and Adam Finkelstein. Pose2Pose: Pose selection and transfer for 2D character animation. In 25th International Conference on Intelligent User Interfaces (IUI 2020), page 12, Mar. 2020. 1 [^36]: Bin Xiao, Haiping Wu, and Yichen Wei. Simple baselines for human pose estimation and tracking. In Eur. Conf. Comput. Vis. (ECCV), 2018. 3, 5, 6 [^37]: Wei Yang, Wanli Ouyang, Xiaolong Wang, Jimmy S. J. Ren, Hongsheng Li, and Xiaogang Wang. 3d human pose estimation in the wild by adversarial learning. IEEE Conf. Comput. Vis. Pattern Recog. (CVPR), pages 5255–5264, 2018. 2 [^38]: Jiaming Ying and Xu Zhao. Rgb-d fusion for point-cloud-based 3d human pose estimation. In IEEE Int. Conf. Image Process. (ICIP), pages 3108–3112, 2021. 2 [^39]: Ailing Zeng, X. Sun, F. Huang, Minhao Liu, Qiang Xu, and Stephen Lin. Snet: Improving generalization in 3d human pose estimation with a split-and-recombine approach. Eur. Conf. Comput. Vis. (ECCV), abs/2007.09389, 2020. 2 [^40]: Haotian Zhang, Cristobal Sciutto, Maneesh Agrawala, and Kayvon Fatahalian. Vid2player: Controllable video sprites that behave and appear like professional tennis players. ACM Trans. Graph., 40(3), may 2021. 1 [^41]: Z. Zhang, L. Hu, X. Deng, and S. Xia. Weakly supervised adversarial learning for 3d human pose estimation from point clouds. IEEE Transactions on Visualization and Computer Graphics, 26(5):1851–1859, 2020. 3 [^42]: Zhe Zhang, Chunyu Wang, Weichao Qiu, Wenhu Qin, and Wenjun Zeng. Adafuse: Adaptive multiview fusion for accurate human pose estimation in the wild. Int. J. Comput. Vis. (IJCV), pages 1–16, 2020. 2 [^43]: Ce Zheng, Wenhan Wu, Taojiannan Yang, Sijie Zhu, Chen Chen, Ruixu Liu, Ju Shen, Nasser Kehtarnavaz, and 穆巴拉克·沙阿。基于深度学习的人体姿态估计：综述。计算研究知识库，abs/2012.13392，2020年。1，2 [^44]: Xingyi Zhou, Qixing Huang, Xiao Sun, Xiangyang Xue, and Yichen Wei. Towards 3d human pose estimation in the wild: A weakly-supervised approach. In Int. Conf. Comput. Vis. (ICCV), Oct 2017. 2 [^45]: Xiaowei Zhou, Menglong Zhu, Spyridon Leonardos, Konstantinos G. Derpanis, and Kostas Daniilidis. Sparseness meets deepness: 3d human pose estimation from monocular video. In 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 4966–4975, 2016. 2 [^46]: Yin Zhou and Oncel Tuzel. Voxelnet: End-to-end learning for point cloud based 3d object detection, 2017. 4 [^47]: Jun-Yan Zhu, Taesung Park, Phillip Isola, and Alexei A. Efros. Unpaired image-to-image translation using cycle-consistent adversarial networks. In Int. Conf. Comput. Vis. (ICCV), 2017. 2 [^48]: Christian Zimmermann, Tim Welschehold, Christian Dornhege, Wolfram Burgard, and Thomas Brox. 3d human pose estimation in rgbd images for robotic task learning. In IEEE International Conference on Robotics and Automation (ICRA), 2018. 1, 2, 4