# HPERL: 基于RGB和LiDAR的三维人体姿态估计 Michael Fürst $^{*}\dagger$, Shriya T. P. Gupta $^{*}\dagger$, René Schuster $^{\dagger}$, Oliver Wasenmüller $^{\dagger\S}$ 和 Didier Stricker $^{\dagger\P}$ $^{*}$ 共同贡献 $^{\dagger}$ DFKI - 德国人工智能研究中心, firstname.名称 $^{\ddagger}$皮拉尼贝拉技术与科学学院（BITS）， $^{\S}$曼海姆应用科学大学， $^{\P}$ University of Kaiserslautern - TUK 摘要：在野外环境中进行人体姿态估计具有巨大的潜力，可应用于各种领域，包括动画、动作识别、意图识别以及自动驾驶中的预测。目前的先进技术主要集中在RGB和RGB-D方法，用于预测三维人体姿态。然而，不使用精确的LiDAR深度信息会限制性能，并导致非常不准确的绝对姿态估计。随着LiDAR传感器的成本降低和在机器人和自动驾驶系统中变得越来越普遍，我们提出了一种端到端架构，该架构使用RGB和LiDAR来以前所未有的精度预测绝对三维人体姿态。此外，我们提出了一种弱监督方法，使用PedX [^1]中提供的二维姿态注释来生成三维预测。这为三维人体姿态估计领域带来了许多新的机会。关键词：传感器融合、三维人体姿态估计、LiDAR、RGB、自动驾驶、感知 ## I. 引言人体姿态估计和理解是意图识别和动作识别的基础。在完全自动或高度自动化的车辆中，识别和理解交通参与者（如警察）的手势至关重要。整体人体姿态还可以用于估计行人是否面向车辆并等待或在未看清车辆的情况下横穿道路。这使得自动驾驶汽车能够在行人上路之前做出反应。此外，它还可以帮助解决行人的旋转歧义问题。尽管可以争论是脚、臀部还是躯干是行人的正面，但通过人体姿态估计，无需做出决定，因为可以提供所有关节，从而实现更详细的理解。然而，目前缺乏适用于行人的人体姿态估计方法。目前，大多数人体姿态估计方法都集中在受控环境中，而少数处理野外环境的方法并没有关注自动驾驶中行人检测的具体情况。自动驾驶车辆需要良好的检测率。此外，算法应侧重于减少误报，而不是漏报，因为后者会对行人造成极大的危险。与大多数专注于人体姿态估计的数据集和算法不同，行人检测的距离是一个挑战。相关的行人通常距离车辆 5-50 米。 ![Image](images/1033c66e3204f625ad4a18e93dc10d43cef1a4e57634ba34230452931f012a15.jpg)

Fig. 1. Depth ambiguity is solved by incorporating LiDAR information. The visualization of the predicted 3D poses and the ground truth 3D bounding boxes shows a poor performance for the RGB only case due to the depth ambiguity. But our HPERL can precisely predict the poses and their absolute position, using LiDAR information. In 2D image space, the depth ambiguity leads to visually appealing results for both approaches.

检测距离是行人此外，随着激光雷达传感器的成本越来越低，并且被用作该领域其他任务的主要传感器，存在一种机会，不仅可以像当前最先进的技术那样依赖 RGB，还可以将激光雷达用作额外的输入模态。在 3D 目标检测中，研究表明，添加激光雷达可以带来显著的精度提升。我们是第一个展示类似见解的团队，使用我们的 HPERL（图 1）对人体姿态估计进行研究。为了使 3D 人体姿态估计的精度足以满足自动驾驶的需求，我们提出了： - 一种用于多人 3D 姿态估计的新型端到端架构，该架构融合 RGB 图像和激光雷达点云，以获得更高的精度， - 一种弱监督的训练程序，用于同时进行 2D 和 3D 姿态估计，仅使用 2D 姿态标签， - 用于评估我们方法的 3D 性能的指标，无需昂贵的 3D 姿态注释。 --- ![Image](images/25de1cc64e4d8f9c99d31df719cc7d12c3151bceaafbf8464b0a39028f5e0a52.jpg)

Fig. 2. The two pedestrians (yellow, green) appear to be of the same size in the RGB image, even though they have different distances from the camera. A slight change in height can have an impact on the estimated distance. A network can still partially reconstruct the depth from other cues, but this is more difficult than with the correct LiDAR depth information.

### II. 相关工作 Faster R-CNN [^2] 是最具影响力的目标检测器之一。它激发了许多方法，也是我们工作的核心。它具有区域提议网络，该网络预测图像中的感兴趣区域，然后使用第二个阶段对这些预测进行细化。在与我们工作相关的许多领域，都可以观察到遵循此方案的方法。在以下部分，我们简要介绍了所有相关的领域。 ### A. 3D 检测证明了激光雷达的重要性在自动驾驶领域，对于 3D 目标检测，根据用于检测的传感器模态，方法分为 RGB 仅方法、激光雷达仅方法和 RGB+激光雷达方法。RGB 仅方法正在积极研究 [^3]，但无法达到激光雷达方法的性能 [^4]、[^5]。大多数方法 [^6] [^7] [^8] [^9] 属于 RGB+激光雷达类别，但对我们的 HPERL 具有主要影响的是 AVOD [^10] 和 LRPD [^11]。LRPD [^11] 表明，对于精确检测远处的行人，RGB 图像的细节和激光雷达的精度都至关重要。这表明 RGB+激光雷达融合可以带来显著的性能改进，从而实现精确的人体姿态估计。 AVOD [^10] 遵循类似于 Faster R-CNN 的两阶段方法。在第一阶段，它们从 RGB 和激光雷达输入生成区域提议，并使用 RoI 裁剪进行融合。第二阶段在 RoI 特征裁剪上运行，就像 Faster R-CNN 的细化阶段一样，主要的概念区别是回归的是 3D 框而不是 2D 框。这种结构使其可以适应遵循 Faster R-CNN [^2] 架构的人体姿态估计方法。 ### B. 2D 人体姿态估计在过去，2D 人体姿态估计已通过各种基于 RGB 图像的方法成功解决。DeepPose [^12] 在 2D 人体姿态估计中使用级联回归器，而 Tompson 等人 [^13] 预测关节的热图，而不是直接回归。在 [^14] 和 [^15] 中，对热图的想法进行了进一步改进。随着多个人体姿态估计的出现，出现了两种主要的人体姿态估计器类别。 1) 自下而上方法：这些方法首先预测关节位置的热图，然后将关节组合成人体姿势，称为自下而上方法 [^16] [^17] [^18]。 2) 自上而下方法：这些方法采用相反的方法，首先预测围绕人物的边界框，然后回归该人物的关节 [^19] [^20] [^21] [^22]。作为 Faster R-CNN [^2] 的直接衍生，Mask R-CNN [^23] 是该类别中最具适应性的方法，证明了其架构在边界框回归、分割和人体姿势估计方面的优势。 DensePose [^24] 是 Mask R-CNN 的一个衍生，它将 3D 模型的 UV 坐标映射到图像中的人物，展示了自上而下估计器的多功能性。我们的方法受到 Faster R-CNN [^2] 的启发，属于自上而下类别。这种方法是根据 3D 对象检测器，特别是那些使用融合方法的，通常依赖于 Faster R-CNN 样方法的。 ### C. 3D 人体姿势估计 Li 等人 [^25] 通过直接回归关节位置来解决 3D 姿势估计问题，然后检测实际的 3D 关节。相比之下，Chen 等人 [^26] 预测 2D 姿势，将它们与 3D 姿势库进行匹配，并使用最佳匹配作为 3D 姿势。同样，Martinez 等人 [^27] 使用一个简单的神经网络来预测从 2D 姿势到 3D 姿势。但是，Zhou 等人 [^28] 观察到，分离的顺序方法的序列性质 [^26]、[^27] 会降低性能。因此，他们通过在一个批次中包含来自 2D 野外图像和 3D 室内数据集的图像，将学习过程集成在一起。 2D 模块使用 2D 图像进行训练，而 3D 模块使用 2D 约束和 3D 回归数据进行训练。此外，还有 RGB-D 方法，例如 [^29]、[^30]。但是，正如 VNect [^31] 所显示的，RGB-D 方法受限于应用领域，主要限制在室内。此外，精度不如仅使用 RGB 的方法。 LCR-Net [^32]、[^33] 是 3D 姿势估计类别中一个简单而有效的代表。它的总体架构类似于 Faster R-CNN [^2]。然而，它不是仅仅预测感兴趣区域，而是添加姿势建议，然后在第二个阶段进行优化。优化具有多个并行回归头，每个姿势建议一个，从而允许姿势的高度专业化。虽然 3D 对象检测表明激光雷达的重要性，主要是为了解决由于比例不确定性而产生的误差，如 Fig. 2 所示，但没有一种提出的姿势估计方法使用 RGB 和激光雷达的融合。从目前的研究来看，3D 对象检测 (AVOD) 和 3D 人体姿势估计 (LCR-Net) 中的 Faster R-CNN [^2] 风格方法共享一种常见的结构，这种结构可以被利用。尽我们所知，尚未有关于 RGB 和激光雷达在 3D 人体姿势估计中的融合的实验。 ### III. 方法在这里，我们概述了我们的端到端可训练姿势估计网络的各个主要组件，第一阶段是 --- ![Image](images/84e7a98bd3356905d26c919cd0b03f8fb64ba04f9c8548b5a8ec4299c0d1515c.jpg)

Fig. 3. Our HPERL architecture processes the RGB images and LiDAR point clouds as input modalities, using an RPN based on AVOD [^10] as the Feature Extraction Stage. Inspired by LCR-Net [^32], our Pose Estimation Stage predicts scores and deltas for the K anchor poses. In contrast to other approaches, the anchor poses are generated from the 3D boxes of the first stage. By adding the deltas to these anchors and selecting based on the classification scores, the poses are predicted. These poses are then in a last step combined and filtered, whereas there may be multiple proposals per pedestrian.

Region Proposal Network (RPN) 以及由分类和回归分支组成的第二阶段（图 3）。我们使用受 AVOD [^10] 启发的第一阶段进行 HPERL，并使用受 Faster R-CNN [^2] 启发的第一阶段进行 RGB 基线。至于第二阶段，我们在两种情况下都使用受 LCRNet [^32] 启发的模块。因此，我们采用自上而下的方法进行姿态估计，首先生成区域提议，然后在定义的区域中估计人体姿态。 ### A. 网络架构 1) 多模态特征提取：对于同时使用 RGB 和 LiDAR 数据作为输入模态的情况，我们首先按照 MV3D [^7] 中的方法处理 LiDAR 点云，以创建六通道的鸟瞰图 (BEV) 表示。 AVOD [^10] 的第一阶段有两个并行 VGG-16 模块，用于从 RGB 和 BEV 输入中提取特征。我们修改了这些 VGG-16 模块，使其使用组归一化和 256 个输出通道的特征图。使用 Section III-B 中定义的锚点网格，我们将 3D 锚点投影到各自的视图中，并应用 RoI 对齐来裁剪特征图。通过一个全连接层减少通道维度，然后对 RGB 和 LiDAR 视图进行平均。然后，预测区域提议的对象性得分和回归偏移量。与 AVOD [^10] 不同，我们使用 RoI 对齐操作来提取区域提议的特征。 RoI 对齐避免了四舍五入操作，并保留了空间信息，从而有助于网络的整体性能 [^34]。但是，与 AVOD [^10] 不同，将裁剪的 RGB 和 LiDAR 特征连接起来而不是平均，以防止信息丢失。然后，这些特征传递到 HPERL 的第二阶段。 2) 单模态特征提取：对于仅使用 RGB 数据作为输入模态的基线模型，我们使用 Faster R-CNN [^2] 的第一阶段，该阶段具有 Resnet50 [^35] 特征提取器和 Feature Pyramid Network (FPN) [^36] 后端。权重从 COCO [^37] 预训练版本初始化，该版本提供在 TorchVision 库中。对于 ![Image](images/3ac59c44642a8b88447426bbfea98bd9504d1f24e11f2c091c29c754a1217df6.jpg)

Fig. 4. The pose proposals are generated by fitting the anchor poses into the predicted RoIs during inference. This is done by offsetting the anchor poses by an amount equal to the lowermost coordinates of the bounding box and then scaling them by the width and height of the RoI.

该网络，使用 RoI 对齐操作来裁剪和调整特征的大小，以便在多模态和单模态方法之间进行公平比较。 3) 分类和回归：基于第一阶段的 RoI 特征，我们模型的第二阶段对提议进行分类并预测回归偏差。使用一个全连接层将每个区域提议分类为 K 个锚定姿势之一或背景。另一个并行全连接层预测一组 $5 \times J \times (K+1)$ 姿态偏差。在这里，$J = 13$ 是关节的数量，$5$ 表示 2D 回归的两个值和 3D 回归的三个值。然后，将这些姿态偏差添加到锚定姿势提议中，以回归实际的 2D 和 3D 姿态。 ### B. 锚点生成 1) 锚点框：对于 HPERL 的第一阶段，我们传递一个预定义的 3D 锚点框网格，该网格由地面平面和面积范围定义。我们使用点法形式的平面 $n \cdot (r - r_0) = 0$ 表示我们任务的地面平面，其中包含法向量 $n = (a, b, c)$ 和点 $r_0 = (x_0, y_0, z_0)$。我们定义 $n = (0, -1, 0)$ 以匹配我们已知的相机方向。偏移点 $r_0$ 是使用 RANSAC [^38] 算法和一个额外的 1.8m 偏移量估算的，以覆盖地面。我们通过取 3D 行人位置的最小值和最大值来计算区域范围的 x 和 z。 --- 锚点在这些区域范围内以 0.2m 的步长分布，相应的 y 坐标使用平面方程计算。 2) 锚定姿态：为了选择一组具有代表性的行人姿态，我们定义了八个锚定姿态，这些姿态是 LCRNet [^32] 中使用的锚定姿态的子集。其中，我们排除了所有半身锚定姿态，因为行人姿态估计任务仅使用全身姿态。在剩余的姿态中，我们选择在 PedX [^1] 数据集中具有非零出现次数的姿态。为了将锚定姿态对齐到世界坐标系，我们使用 LCRNet [^32] 中描述的重新对齐过程。此外，我们对 y 坐标取负，因为在我们的系统中，负 y 方向是向上方向。在训练阶段，由于没有可用的 3D ground truth 来直接分配目标偏差，我们使用 ground truth 边界框作为预处理步骤来创建姿态建议。我们将预测的偏差添加到这些姿态建议中，并仅使用 2D 姿态注释和投影的 3D 预测来训练我们的模型。对于推理，姿态建议是通过将锚定姿态拟合到预测的 RoI 中实现的，如图 4 所示。 ### C. 损失计算由于我们的模型旨在同时预测 2D 和 3D 姿态，因此我们使用一个加权的多任务损失函数，该函数由 RPN 损失、分类损失、2D 损失和投影 3D 损失组成，如下所示： $$ L_{total}=L_{RPN}+L_{cls}+L_{2D}+L_{3D} $$ 1) RPN 损失：$L_{RPN}$ 由两个组件组成 - 对象性损失 $L_{obj}$ 和边界框回归损失 $L_{reg}$。对于 HPERL，我们使用 3D ground truth 框作为目标来计算这些值，方法与 AVOD [^10] 的第一阶段中的方法相同。对于 RGB 基线，我们使用 Faster R-CNN $L_{RPN}$ 中的方法，将目标设置为 2D ground truth 框来计算 [^2]。锚定姿态 ground truth 的分配是一个两步过程。首先，通过与 ground truth 的 IoU 匹配来进行前景和背景的分类，然后，对于前景对象，使用相似度分数来分配最佳的锚定姿态。 ground truth 和预测的 RoI 之间的 IoU 计算因输入模态而异。对于 HPERL 的 3D RoI，我们将它们投影到 2D BEV 空间，然后计算 2D IoU。但是，对于 RGB 基线，我们直接使用预测的 2D RoI 来计算 IoU。如果与所有 ground truth 框的 IoU 都低于 0.3，则将 RoI 分配给背景类。否则，它将分配具有最高 IoU 的框。给定 ground truth 对 RoI 的分配，计算 ground truth 和锚定姿态之间的相似度，用于非背景 RoI。使用具有最高欧几里得相似度的锚定姿态作为分类目标： $$ k_{t a r g e t}=\operatorname{a r g}\operatorname*{m a x}_{k\in K}\sum_{j=1}^{J}||a_{k,j}-g_{j}||, $$ 其中 $a_{k,j}$ 是 k 个锚定姿态的关节 j 的位置，$g_j$ 表示 ground truth 的关节 j，J 是关节的数量，K 是锚定姿态的数量。对于计算损失，我们使用目标索引 $k_{target}$ 的稀疏交叉熵函数。 3) 2D 姿势细化损失：对于 $L_{2D}$，我们将预测的 2D 回归增量添加到锚定姿势中，以获得一组最终的 2D 预测 $P_{2D}$。使用上述 IoU 比较方法，我们将每个 $T_{2D}$ 前景 RoI 的目标值 $N_{fg}$ 分别指定为相应的 2D 真实姿势。2D 回归损失计算的是目标姿势 $T_{2D}$ 和预测姿势建议 $P_{2D}$ 之间的平滑 L1 损失。回归损失仅针对前景类别计算： $$ L_{2D}(P_{2D},T_{2D})=\frac{1}{N_{fg}}\sum_{i=1}^{N_{fg}}l_{i}\cdot smooth_{-11}(p_{i},t_{i}) $$ 其中 $l_{i}=1$ 如果 $y_{i}>0$ 否则 $l_{i}=0$。 4) 3D 姿势细化损失：对于 $L_{3D}$，我们将回归的增量添加到 3D 锚定姿势中，以获得绝对 3D 姿势 $P_{3D}$。由于没有 3D 真实值，我们将 3D 姿势投影到 2D 图像空间中，并使用投影函数 $\operatorname{Pr}(\cdot)$ 和 2D 真实姿势 $T_{2D}$ 计算平滑 L1 损失。与 2D 损失类似，这仅针对前景类别计算： $$ L_{3D}(P_{3D},T_{2D})=\frac{1}{N_{fg}}\sum_{i=1}^{N_{fg}}l_{i}\cdot smooth_{-11}(Pr(p_{i}),t_{i}) $$ ### D. 实现细节对于 HPERL，我们使用 Adam 优化器和初始学习率 $5e^{-5}$，总共训练模型 50 个 epoch，批次大小为 1。由于网络是从头开始训练的，因此需要较高的学习率，而输入和输出都如此。对于 RGB 基线，我们使用预训练的 COCO 主干网络，批次大小为 4，初始学习率 $1e^{-3}$，总共训练 170 个 epoch。我们每 50 个 epoch 将学习率衰减 0.8。我们使用来自 PyTorch 库的 RMSProp 优化器。为了使网络具有方向不变性，我们通过将训练集从左到右翻转，扩展现有的数据集，然后翻转 RGB 图像从左到右，再翻转 LiDAR 点云沿 x 轴。请注意，在我们的工作中，x 轴表示右方向，原点位于相机中心。对于姿势标注，我们表示 2D 姿势在图像宽度 w 中的翻转 x 坐标为 $f(x) = w - x$。此外，在数据加载阶段，我们过滤掉缺失关节或缺失分割点云的样本。在后处理中，我们遵循 LCRNet 中描述的姿势建议集成方法 [^32]。总而言之，我们提出了一种用于多人 3D 人体姿势估计的新架构，该架构使用 RGB 和 LiDAR 数据，适用于自动驾驶的野外场景。 ---

TABLE I

COMPARISON OF RGB BASELINE VS HPERL ON PEDX. LiDAR SIGNIFICANTLY IMPROVES THE PRECISION OF 3D LOCATION (1/5 CDE, 1/3 XYE). 2D RESULTS IMPROVE SLIGHTLY (MPJPE AND PCKH@0.5).

Model	Type	2D MPJPE	PCKh	CDE	XYE
RGB Base. [ours]	2D	87.76px	65.02%	-	-
(RGB only)	3D	87.66px	65.92%	4.88m	1.44m
HPERL [ours]	2D	45.66px	70.08%	-	-
(RGB + LiDAR)	3D	45.65px	70.22%	0.95m	0.39m

### IV. 评估我们在 PedX [^1] 数据集上评估了我们的 HPERL 网络架构，并通过 MPII [^39] 数据集上的 RGB 基线验证了我们在该数据集上的性能。与 MPII 不同，PedX 数据集是新的，尚未被广泛使用。该数据集包含 9380 张图像，这些图像具有点云上的实例分割和 2D 姿势标注。3D 边界框标注是通过使用对异常值进行清理的 3D 实例分割的外边界生成的。该数据集不提供 3D 姿势标注，这导致我们通过新引入的指标进行间接的性能评估。我们使用常见的评估指标，例如正确关键点的百分比 (PCKh@0.5)、2D 均值关节位置误差 (MPJPE)，并添加了用于间接 3D 评估的新指标。中心点深度误差 (CDE) 计算预测姿势周围的轴对齐边界框，并计算其与正确 3D 边界框之间的深度误差。中心点 X-Y 误差 (XYE) 使用相同的对齐边界框，并计算与深度方向正交的误差，从而可以区分误差来源。因此，这些指标可以捕获预测的绝对位置误差。由于PedX数据集没有基线，我们实现了一个RGB基线（我们模型的仅RGB版本），其结构类似于LCR-Net++ [^32]，并在MPII [^39]和PedX [^1]上进行了测试。表II和表III证明，我们的RGB基线性能与原始LCR-Net++相近。RGB基线与HPERL的唯一区别在于LiDAR扩展模块。这使得我们可以将所有相较于基线的性能提升都归因于LiDAR的加入。为了展示加入LiDAR带来的性能提升，我们在参数尽可能一致的前提下，将我们的RGB基线与HPERL进行对比。两个网络都使用相似的参数、相同的训练流程和相同的数据训练至最优精度。当前领域的主流方法通常评估根关节相对的3D性能。借助LiDAR，我们可以评估绝对3D性能。大多数方法仅提供根相对结果，但我们的RGB基线和HPERL都可以输出绝对3D预测。在我们的评估中，我们通过上文介绍的CDE和XYE指标来捕捉根关节的误差。 ### A. RGB基线 vs HPERL 2D MPJPE和PCKh@0.5指标可捕捉姿态预测方面的性能提升。我们的HPERL将2D MPJPE降低了1.9倍，并将2D和投影3D的PCKh提升了+4.3%（表I）。CDE方面的提升

TABLE II

RGB BASELINE (INSPIRED BY LCRNET++) VERIFICATION ON MPII

Model	Category	Type	2D MPJPE	PCKh@0.5
LCRNet++ [^32]	single	2D	-	74.61%
RGB Baseline (ours)	single	2D	58.30px	81.95%
RGB Baseline (ours)	multi	2D	61.53px	79.82%

TABLE III

RGB BASELINE (INSPIRED BY LCRNET++) VERIFICATION ON PEDX.

Model	Type	Trained On	2D MPJPE	PCKh@0.5
LCRNet++ [^32]	2D	non PedX	246.98px	52.35%
LCRNet++ [^32]	3D	non PedX	250.60px	47.44%
RGB Base. (ours)	2D	non PedX	151.73px	36.53%
RGB Base. (ours)	2D	PedX	87.76px	65.02%
RGB Base. (ours)	3D	PedX	87.66px	65.92%

CDE和XYE展示了我们模型在姿态绝对定位方面的性能。本文的HPERL将CDE和XYE分别降低了5.1倍和3.7倍（见表I）。目前，在竞争激烈的KITTI [^40]基准测试上，经专门训练评估的最优3D目标检测器在行人检测上的误差为0.11 – 0.22米 [^11]。我们的HPERL显著优于仅使用RGB的姿态估计器，获得的3D精度（XYE为0.39米）几乎与KITTI上行人检测领域的现有最高水平相当。此外，我们对所提算法的性能进行了可视化检验。图5展示了一个示例：尽管行人被一辆银色SUV严重遮挡，我们的HPERL仍能准确定位到该行人。在图6中，我们对仅使用RGB的基线方法与HPERL进行了定性比较。 ### B. 消融实验为了验证我们方法中所有组件的有效性，我们进行了消融研究。我们更改了特征提取器、预训练、内部网络参数，并记录了指标（表 IV）。我们观察到，对于 3D 性能（CDE 和 XYE），添加 LiDAR 信息对性能影响最大。即使是配置不佳的 HPERL 版本也优于 RGB 基线。分析消融研究的结果后我们发现，参数更少、 ![Image](images/20d6ff8091d3cf0a34d730e9cd5b0135e82f2738c42dbfd4b22bf649d3c35176.jpg)

Fig. 5. Heavily occluded pedestrians can be located precisely with limited pose quality using the LiDAR pointcloud. The pedestrians occluded by the silver SUV (manually marked blue) are precisely located. 2D predictions are shown in yellow, 3D predictions in red, 3D ground truth in orange and the occluding car in blue.

--- ![Image](images/2f574270c6e18cb9bd412b0013028a747debc3ae1973e8e9dd6f4b0f28c2ac78.jpg)

Fig. 6. Qualitative comparison of performance between the RGB baseline and HPERL. The poses are depicted in yellow. In common scenarios shown on the left, both algorithms detect the pedestrians, but the baseline struggles with false positives at multiple depths. Albeit a rare case, the cyclist on the bicycle is well detected by both methods. Pushing a bicycle however causes false positives for RGB baseline and an imprecise detection for HPERL. Partial occlusions are difficult for both approaches, however HPERL is able to detect the pedestrian but at the cost of a false positive.

泛化差距更小的定制化模型，性能优于使用Imagenet [^41]预训练权重初始化的模型。对于融合策略，我们观察到拼接操作比均值操作更适配。但对于数据增强，我们仅观察到微小的性能提升，这可以用姿态本身的自然方差，以及姿态沿LR轴大致呈对称分布来解释。 ### V. 结论在本文中，我们提出了 HPERL，它融合了 RGB 图像和 LiDAR 点云，以精确地定位行人并预测其姿势。该方法经过训练，可以在不使用任何 3D 姿势注释的情况下检测 3D 人体姿势。我们的方法通过投影和 3D 边界框应用隐式学习目标，以学习 3D 预测。因此，我们引入了 CDE 和 XYE 指标，以捕捉预测的 3D 精度。这为在野外部署人体姿势估计开辟了新的机会。我们的研究展示了3D检测器融合框架的通用性。本文工作使用AVOD [^10]作为主干网络，所有遵循Faster R-CNN [^2]提出的两阶段方法的主干网络都与我们提出的架构兼容。与发展。我们希望我们的工作能够推动数据集的构建和进一步研究，让人体姿态估计得以应用于自动驾驶汽车以及其他要求高绝对精度的应用场景中。我们的实证分析结果表明，本文方法取得了可观的性能表现，这得益于将LiDAR作为额外输入模态。不过，真实野外场景数据集的匮乏阻碍了大规模评估工作的开展。 ## 致谢该研究成果由德国联邦经济部在“KI-Absicherung”项目中资助（项目编号：19A19005U）。 ## 参考文献 [^1]: W. Kim, M. S. Ramanagopal, C. Barto, M.-Y. Yu, K. Rosaen, N. Goumas, R. Vasudevan, and M. Johnson-Roberson, "Pedx: Benchmark dataset for metric 3-d pose estimation of pedestrians in complex urban intersections," IEEE Robotics and Automation Letters, vol. 4, no. 2, pp. 1940–1947, 2019. [^2]: S. Ren, K. He, R. Girshick, and J. Sun, "Faster r-cnn: Towards real-time object detection with region proposal networks," in Advances in Neural Information Processing Systems (NeurIPS), 2015. [^3]: M. Weber, M. Fürst, and J. M. Zöllner, “Direct 3d detection of vehicles in monocular images with a cnn based 3d decoder,” in IEEE Intelligent Vehicles Symposium (IV), 2019. [^4]: A. H. Lang, S. Vora, H. Caesar, L. Zhou, J. Yang, and O. Beijbom, “Pointpillars: Fast encoders for object detection from point clouds,” in IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2019. [^5]: S. Shi, X. Wang, and H. Li, "Pointrcnn: 3d object proposal generation and detection from point cloud," in IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2019. ## [^6]: Z. Yang, Y. Sun, S. Liu, X. Shen, and J. Jia, "Ipod: Intensive point-based object detector for point cloud," Computing Research Repository (CoRR), abs/1812.05276, 2018. ---

TABLE IV

ABLATION STUDIES OF HPERL ON THE PEDX DATASET. FEATURE EXTRACTOR, PRE-TRAINING, FUSION, ROI OPERATION AND DATA AUGMENTATION WERE VARIED TO DETERMINE THE IMPACTS ON THE 3D POSE ESTIMATION ON PEDX. THE BIGGEST IMPACT IS DUE TO ADDING LiDAR.

Feature Extractor	Input	Pretrained	#Features	Fusion	RoI Op.	Data Aug.	2D MPJPE	PCKh@0.5	CDE	XYE
Resnet-50	RGB	COCO	256	-	RoI Align	LR-Flip	87.66px	65.92%	4.88m	1.44m
VGG-16	RGB + LiDAR	Imagenet	512	Concat	RoI Pool	No	131.25px	56.13%	2.38m	1.10m
VGG-16	RGB + LiDAR	Imagenet	512	Concat	RoI Align	No	74.62px	58.67%	1.50m	0.64m
Resnet-50	RGB + LiDAR	Imagenet	1024	Concat	RoI Align	No	64.87px	61.41%	1.27m	0.56m
VGG-16	RGB + LiDAR	No	256	Mean	RoI Pool	No	80.39px	63.07%	1.57m	0.73m
VGG-16	RGB + LiDAR	No	256	Concat	RoI Pool	No	70.03px	65.04%	1.02m	0.58m
VGG-16	RGB + LiDAR	No	256	Concat	RoI Align	No	60.28px	65.87%	0.85m	0.49m
VGG-16	RGB + LiDAR	No	256	Concat	RoI Align	LR-Flip	59.52px	68.56%	0.99m	0.49m

[^7]: X. Chen, H. Ma, J. Wan, B. Li, and T. Xia, "Multi-view 3d object detection network for autonomous driving," in IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017. [^8]: J. Ku, A. D. Pon, S. Walsh, and S. L. Waslander, “Improving 3d object detection for pedestrians with virtual multi-view synthesis orientation estimation,” in IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 2019. [^9]: C. R. Qi, W. Liu, C. Wu, H. Su, and L. J. Guibas, "Frustum pointnets for 3d object detection from rgb-d data," in IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2018. [^10]: J. Ku, M. Mozifian, J. Lee, A. Harakeh, and S. L. Waslander, “Joint 3d proposal generation and object detection from view aggregation,” in IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 2018. [^11]: M. Fuerst, O. Wasenmueller, and D. Stricker, “Lrpd: Long range 3d pedestrian detection leveraging specific strengths of lidar and rgb,” in IEEE International Conference on Intelligent Transportation Systems (ITSC), 2020. [^12]: A. Toshev and C. Szegedy, “Deeppose: Human pose estimation via deep neural networks,” in IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2014. [^13]: J. Tompson, R. Goroshin, A. Jain, Y. LeCun, and C. Bregler, “Efficient object localization using convolutional networks,” in IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2015. [^14]: S.-E. Wei, V. Ramakrishna, T. Kanade, and Y. Sheikh, “Convolutional pose machines,” in IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016. [^15]: A. Newell, K. Yang, and J. Deng, “Stacked hourglass networks for human pose estimation,” in European Conference on Computer Vision (ECCV), Springer, 2016. [^16]: L. Pishchulin, E. Insafutdinov, S. Tang, B. Andres, M. Andriluka, P. V. Gehler, and B. Schiele, “Deepcut: Joint subset partition and labeling for multi person pose estimation,” in IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016. [^17]: Z. Cao, T. Simon, S.-E. Wei, and Y. Sheikh, “Realtime multi-person 2d pose estimation using part affinity fields,” in IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017. [^18]: K. Sun, B. Xiao, D. Liu, and J. Wang, “Deep high-resolution representation learning for human pose estimation,” in IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2019. [^19]: H.-S. Fang, S. Xie, Y.-W. Tai, and C. Lu, "Rmpe: Regional multi-person pose estimation," in IEEE International Conference on Computer Vision (ICCV), 2017. [^20]: G. Papandreou, T. Zhu, N. Kanazawa, A. Toshev, J. Tompson, C. Bregler, and K. Murphy, "Towards accurate multi-person pose estimation in the wild," in IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017. [^21]: S. Huang, M. Gong, and D. Tao, “A coarse-fine network for keypoint localization,” in IEEE International Conference on Computer Vision (ICCV), 2017. [^22]: Y. Chen, Z. Wang, Y. Peng, Z. Zhang, G. Yu, and J. Sun, "Cascaded pyramid network for multi-person pose estimation," in IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2018. [^23]: K. He, G. Gkioxari, P. Dollár, and R. Girshick, “Mask r-cnn,” in IEEE International Conference on Computer Vision (ICCV), 2017. [^24]: R. Alp Güler, N. Neverova, and I. Kokkinos, “Densepose: Dense human pose estimation in the wild," in IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2018. [^25]: S. Li and A. B. Chan, “3d human pose estimation from monocular images with deep convolutional neural network,” in Asian Conference on Computer Vision (ACCV), Springer, 2014. [^26]: C.-H. Chen and D. Ramanan, "3d human pose estimation=2d pose estimation+ matching," in IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017. [^27]: J. Martinez, R. Hossain, J. Romero, and J. J. Little, “A simple yet effective baseline for 3d human pose estimation,” in IEEE International Conference on Computer Vision (ICCV), 2017. [^28]: X. Zhou, Q. Huang, X. Sun, X. Xue, and Y. Wei, “Towards 3d human pose estimation in the wild: a weakly-supervised approach,” in IEEE International Conference on Computer Vision (ICCV), 2017. [^29]: C. Zimmermann, T. Welschehold, C. Dornhege, W. Burgard, and T. Brox, "3d human pose estimation in rgbd images for robotic task learning," in IEEE International Conference on Robotics and Automation (ICRA), 2018. [^30]: R. Girshick, J. Shotton, P. Kohli, A. Criminisi, and A. Fitzgibbon, "Efficient regression of general-activity human poses from depth images," in IEEE International Conference on Computer Vision (ICCV), 2011. [^31]: D. Mehta, S. Sridhar, O. Sotnychenko, H. Rhodin, M. Shafiei, H.P. Seidel, W. Xu, D. Casas, and C. Theobalt, “Vnect: Real-time 3d human pose estimation with a single rgb camera,” ACM Transactions on Graphics (TOG), 2017. [^32]: G. Rogez, P. Weinzaepfel, and C. Schmid, "Lcr-net: Localization-classification-regression for human pose," in IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017. [^33]: G. Rogez, P. Weinzaepfel, and C. Schmid, “Lcr-net++: Multi-person 2d and 3d pose detection in natural images,” IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI), vol. 42, no. 5, pp. 1146–1161, 2019. [^34]: K. He, G. Gkioxari, P. Dollár, and R. Girshick, “Mask r-cnn,” in IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017. [^35]: K. He, X. Zhang, S. Ren, and J. Sun, “Deep residual learning for image recognition,” in IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016. [^36]: T.-Y. Lin, P. Dollár, R. Girshick, K. He, B. Hariharan, and S. Belongie, "Feature pyramid networks for object detection," in IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017. [^37]: T.-Y. Lin, M. Maire, S. Belongie, J. Hays, P. Perona, D. Ramanan, P. Dollár, and C. L. Zitnick, "Microsoft coco: Common objects in context," in European Conference on Computer Vision (ECCV), Springer, 2014. [^38]: M. A. Fischler and R. C. Bolles, “Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography,” Communications of the ACM, vol. 24, no. 6, pp. 381–395, 1981. [^39]: M. Andriluka, L. Pishchulin, P. Gehler, and B. Schiele, “2d human pose estimation: New benchmark and state of the art analysis,” in IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2014. [^40]: A. Geiger, P. Lenz, and R. Urtasun, "Are we ready for autonomous driving? the kitti vision benchmark suite," in IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2012. [^41]: J. Deng, W. Dong, R. Socher, L.-J. Li, K. Li, and L. Fei-Fei, "Imagenet: A large-scale hierarchical image database," in IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2009.