# 基于新型YOLO的RGB-D融合方法与合成训练数据的人体精确检测与三维定位
蒂姆·林德 $^{1,2}$ 基利安·Y. 法伊弗 $^{3*}$ 纳鲁纳斯·瓦斯克维丘斯 $^{1*}$ 罗伯特·席尔默 $^{1}$ 凯·O. 阿拉斯 $^{1}$
摘要：尽管二维目标检测已取得重大进展，但在存在遮挡的情况下对三维空间中的物体进行稳健定位仍然是一个尚未解决的问题。本文的研究重点是RGB-D数据中人体三维质心的实时检测。我们提出了一种基于图像的检测方法，该方法在YOLO v3架构的基础上增加了三维质心损失函数和中层特征融合，以利用两种模态的互补信息。我们采用了一种迁移学习方案，该方案可以借助现有大规模二维目标检测数据集，同时还能从我们具有精确三维真值、高度随机化的多样化合成RGB-D数据集中端到端学习三维定位。我们进一步提出了一种几何精度更高的深度感知裁剪增强方法，用于RGB-D数据训练，有助于提高三维定位精度。在我们具有挑战性的内部物流数据集上开展的实验表明，即使仅从合成数据学习三维定位，我们的方法也能达到最先进的性能。
## 一、引言
三维空间中人物与物体的检测是与环境交互的服务机器人、家用机器人和工业机器人的一项核心能力。在室内场景中，人们通常使用Kinect v2这类RGB-D传感器来实现这一目的。然而，尽管近年来计算机视觉的进步已基本解决了RGB图像上的单模态二维检测问题，人们目前仍未完全明确处理三维检测任务的最优表示和策略，尤其是在多模态RGB-D数据场景下：这类场景不仅大规模数据集稀缺，还需要尽可能从现有的二维检测研究成果中获益。
本文以端到端的方式解决了RGB-D数据中三维质心的检测与精确定位学习问题，实验重点关注具有挑战性的内部物流场景下的人体检测。我们证明，三维定位在很大程度上可以从具有完美三维真值、多样化且高度随机化的合成RGB-D数据集中学习得到，并且要在真实世界数据上实现成功微调，不需要人工三维标注。我们提出的实时方法以强大的基于图像的YOLO v3单阶段检测器为起点，通过中层融合为RGB特征提取器扩展了独立的深度流，并采用了硬连接迁移学习策略，可以重复使用大规模二维目标检测数据集上得到的现有预训练权重。因此，加入深度通道不需要从头训练，也不会导致二维检测性能下降。针对三维
Fig. 1: Our method (green) localizes 3D person centroids much more robustly than a baseline (red) on our intralogistics dataset.
定位，我们对得到的RGB-D YOLO v3检测器进行了扩展，增加了质心回归输出。最后，我们提出了一种深度感知、尺度保留的放大/缩小训练时增强变体[^1]，用于实现精确的深度回归。
与我们对比的现有方法[^2] [^3] [^4] [^5]不同，我们的端到端三维回归可以通过在特征提取阶段融合模态来利用互补的RGB和深度信息，并且不依赖任何三维点云表示。因此，该方法对缺失深度数据具有鲁棒性，在部分遮挡条件下也能良好运行。
本文的核心贡献如下：
1）我们证明，部分遮挡条件下的精准三维定位仍是一个未解决的问题，这是机器人领域人体检测任务的一个重要研究方向。
2）据我们所知，我们首次为快速的YOLO v3单阶段检测器提出了RGB-D融合策略，同时配套提出了一种可利用现有大规模二维数据集的迁移学习策略。
3）通过大量域随机化，我们能够从合成渲染的多人RGB-D数据集中端到端学习三维人体质心回归。
4）我们发现标准的二维裁剪/扩充数据增广不适用于深度数据，因此提出了一个几何精度更高的变体，该变体可以处理由此产生的焦距偏移问题。
5）在我们来自内部物流领域、具有挑战性的真实RGB-D数据集上，我们的方法在三维人体检测任务中的表现优于现有基线，且训练不需要额外的人工标注三维真值。
我们的方法在GPU上可达到25Hz的实时运行速度。
---
| Method | Modalities | Detector | Fusion strategy | Output | Dataset |
| Munaro et al., 2014 [^6] | RGB+D | PCL+HOG-SVM | 3D proposals $\rightarrow$ 2D classifier | 3D boxes | KTP |
| Mees et al., 2016 [^7] | RGB+D+Flow | Fast R-CNN | 2D late (adaptive gating) | 2D boxes | InOutDoor (IO) |
| Vasquez et al., 2017 [^2] | RGB+D | Fast R-CNN | 3D proposals $\rightarrow$ 2D detector | 2.5D centroids | MobilityAids, IO |
| Guerry et al., 2017 [^8] | RGB+D | Faster R-CNN | 2D early/mid/late | 2D boxes | Onera, Mensa, IO |
| Ali et al., 2018 [^9] | Projected LiDAR | YOLOv2 | - | 3D boxes + orient. | KITTI |
| Simon et al., 2018 [^10] | Projected LiDAR | YOLOv2 | - | 3D boxes + orient. | KITTI |
| Qi et al., 2018 [^11] | RGB+D/LiDAR | FPN+Fast R-CNN | 2D boxes $\rightarrow$ 3D frustums | 3D boxes + orient. | KITTI, SUN |
| Zimmermann et al., 2018 [^4] | RGB+D | OpenPose | 2D joints $\rightarrow$ 3D voxel grid | 3D body joints | MKV-t, CAP-t |
| Lewandowski et al., 2019 [^12] | D | FPFH-SVM | - | 3D boxes | Supermarket |
| Kollmitz et al., 2019 [^3] | RGB or D | Faster R-CNN | - | 3D centroids | MobilityAids |
| Ophoff et al., 2019 [^13] | RGB+D | YOLOv2 | 2D mid-level features | 2D boxes | KITTI, EPFL |
| Our approach | RGB+D | YOLOv3 | 2D mid-level features | 3D centroids | Intralogistics |
TABLE I: Qualitative comparison of related work on person detection in 3D and RGB-D
### 二、相关工作
### A. RGB-D中的三维人体检测
目前已有大量关于多模态[^14]和基于RGB-D[^15]的目标识别研究。我们在表I中列出了近期在人体检测任务上完成评估的工作。部分研究融合了颜色与深度信息，但仅输出二维边界框，并未解决三维定位问题[^7]，[^8]，[^13]。若干方法采用几何三维点云表示[^2]，[^4]，[^6]，[^11]，[^12]，这种表示存在一定缺陷。例如，Qi等人提出的方法[^11]存在三个弱点，我们提出的方法在这些方面鲁棒性更强：1. 他们的三维模块无法在局部稀疏点云中精准定位目标。而我们的方法不依赖点云表示，因此可以利用互补的RGB数据。2. 当同一类别的多个实例共享同一个三维视锥时，仅能检测出一个实例。这种场景在我们的室内环境中十分常见，人与人经常在此发生相互部分遮挡。3. 他们基于RGB的二维检测器在复杂光照条件下会失效，而我们采用中层融合策略，因此可以利用互补的深度数据。我们在实验中作为基线纳入的Munaro等人的方法[^6]和Vasquez等人的方法[^2]，也存在类似的概念层面局限性。
因此，近期的研究大多采用基于二维图像的表示[^3]，[^7] [^8] [^9] [^10]，[^13]，以利用二维目标检测领域的技术进展。这些方法基于YOLOv2这类单阶段检测器[^16]，或是计算成本更高的两阶段R-CNN框架[^17]，[^18]。
与我们研究最密切相关的是Ophoff等人[^13]和Kollmitz等人[^3]提出的方法。[^13]仅聚焦于二维检测，将RGB+D融合引入了早期的YOLO v2架构。与本研究基于的YOLO v3[^19]架构相比，该网络深度更浅，未使用shortcut连接，也不包含特征金字塔结构，这为我们可融合特征的位置带来了额外约束。与我们的方法类似，且不同于他们此前的工作[^2]，Kollmitz等人[^3]没有采用三维点云表示，而是使用可输出三维质心的端到端二维检测器。他们的两阶段方法在包含使用助行器行人的多类别医院场景中完成了评估，并且提供了分别用于RGB数据和深度数据检测的独立模型。相比之下，我们的方法采用高效的单阶段架构，对RGB+D模态进行合理融合以利用互补信息，使用合成训练数据学习三维定位，并且引入了可提升三维定位性能的深度感知裁剪增强方案。我们在一个全新的、具有挑战性的内部物流数据集上对我们的方法和多个基线方法进行了评估。
### B. 基于合成RGB-D数据的学习
从仿真中学习并迁移到真实世界是当前计算机视觉和机器人领域快速发展的研究方向。目前绝大多数工作都聚焦于刚性物体。[^20]探索了机器人操纵任务中的域随机化方法。他们使用带有随机相机、物体位置、光照和纹理的合成RGB图像，无需在真实图像上预训练，就学习得到了针对几何基元的精确三维检测器。[^21]基于CAD模型生成的带域随机化的合成RGB图像，学习估计物体的三维朝向。[^22]则聚焦于利用同样来自CAD的合成深度数据，开展类别无关的二维实例分割研究。
人体的形状和外观差异极大，因此对其进行仿真模拟的难度尤其高。Shotton等人[^23]在人体关节姿态估计方向的工作仅聚焦于单人场景，使用合成深度图像，不对任何三维背景进行模拟。这一特点也适用于SURREAL数据集[^24]，不过该数据集额外包含了RGB等模态。[^25]通过使用商用电脑游戏生成的合成RGB图像和真值掩码进行训练，在KITTI数据集[^26]上完成语义分割任务。与这些工作不同，我们的合成数据集[^27]聚焦于杂乱环境和遮挡条件下的多人体检测。该数据集每帧最多包含数十个行人实例，拥有多样的三维背景和大量前景遮挡物，并且采用了强域随机化（这一点不同于[^28] [^29] [^30]）。数据集由同步的RGB-D图像对构成，我们还在其中对Kinect v2飞行时间传感器的噪声特性进行了建模。
### 三、研究方法
我们在此介绍针对RGB-D数据中行人鲁棒检测与三维定位的解决方案。按照数据处理流程，我们首先介绍用于学习三维行人检测与定位的合成RGB-D数据集。随后我们提出了一种深度感知且保持尺度不变的增强方案，用于在RGB-D数据上训练三维检测器。最后，我们介绍我们对YOLO v3检测器[^19]
---
Fig. 2: 3D groundtruth joint locations on our synthetic RGB-D and our real-world RGB-D datasets. The latter ones are derived from offline 3D human pose estimation [^4], and only used for fine-tuning on real-world data if desired. Our video shows further examples.
进行的改进：实现RGB与深度信息的融合，以端到端方式回归三维质心，同时我们还提出了一套训练方案，能够让我们充分利用现有二维检测数据集的优势。
### A. 用于学习三维定位的合成RGB-D数据
在现实世界中，获取带有准确三维真值且足够多样化的RGB-D数据集难度大、耗时长。因此我们提出从合成RGB-D数据集学习三维人体定位，该数据集由半真实感游戏引擎（Unreal Engine 4）渲染得到。我们在该方向的初步工作[^27]聚焦于二维检测。现在我们扩展了模拟框架，能够输出以传感器为中心的23个人体关节的三维真值坐标与可见性标记（图2左侧）。我们将绑定完成的三维人体模型数量增加了4倍，并将动作捕捉动画总量翻倍，达到每种约100组，如今数据集还包含了坐姿、跪姿与躺姿。受二维合成遮挡增强工作[^31]取得成功的启发，我们将三维遮挡物体的数量大幅增加至700个以上，以提升前景多样性（部分遮挡物体可见于图3左侧）。
对于[^27]中的6个场景，我们每个场景初始生成5000帧RGB-D数据。在[^27]中我们已经指出，对真值边界框进行适当过滤对训练成功至关重要：因此我们对所有满足以下任一条件的二维真值人体框设置忽略标记：对比度极低、真值实例掩码覆盖面积小于300平方像素，或是超过80%的关键人体关节投影到二维实例掩码后被截断或遮挡。随后我们遍历每个场景的5000帧，移除所有剩余（非忽略）框少于两个的帧，再进行随机子采样，最终每个场景得到2500帧密度达标的帧。合并全部六个场景后，该RGB-D数据集总共包含15000个训练样本。
### B. 来自三维人体姿态估计的真实世界弱标签
[^3]: propose a relatively robust clustering-based heuristic to derive groundtruth 3D centroid coordinates for their training set, without requiring manual 3D annotation. This approach can fail if persons are truncated, for example when only the head or an arm are visible. Unless such persons are skipped, which can prevent difficult examples from ending up in the training set, the centroid would be offset to the top or to the side. We therefore propose 1.) to use a more informed approach, by leveraging offline 3D human pose estimation [^4] to derive weak groundtruth from predicted 3D body joints, 2.) to select a fixed, central body joint as the 'centroid' regression target, which is more stably attached to the human body under truncation or unusual poses (e.g. stretching out a single arm) and thus more suitable for 3D human tracking [^32] or 3D articulated pose estimation applications. For the latter, top-down methods such as [^33] often require the pelvis joint, localized between the hip joints, as body-centric root joint for input, which we adapt as 3D regression target. However, in principle, our method can be trained on any (derived) body joint, as shown in Fig. 2 (right).
### C. 深度感知增强
我们所采用的基础YOLO v3实现的二维数据增强流程[^34]包含对图像进行随机裁剪和扩展，并相应调整边界框，该操作最初被称为“放大”和“缩小”[^1]。在此之后会将图像调整为固定大小的正方形，作为训练阶段输入网络的输入图像。
直接对RGB-D图像应用裁剪、扩展增强与缩放操作会扭曲对感知环境中物体度量尺度的认知，而度量尺度正是实现准确三维感知的关键。因此我们提出该增强方法的深度感知变体，在训练阶段将真值深度标签和输入深度适配到当前的“缩放级别”，同时保留原始图像的度量尺度和长宽比，从而得到物理基础更扎实的表示。
我们的网络在训练阶段的输入分辨率为正方形，边长为$d_n \times d_n$像素。因此，为了保留长宽比，我们将随机裁剪限制为尺寸$d_c \times d_c$不同的正方形区域。在传感器单一且相机矩阵$\mathbf{K}$已知的假设下，将裁剪区域调整到输入尺寸$d_n \times d_n$可以表示为缩放因子为[^35]的缩放操作$s = d_n / d_c$。缩放通常被认为对应焦距的改变。但为了保持内参完整不变，我们将缩放操作应用于深度值：
$$ \begin{pmatrix}u\\v\\1\end{pmatrix}=\mathbf{K}\begin{pmatrix}s&&\\&s&\\&&1\end{pmatrix}\begin{pmatrix}x\\y\\z\end{pmatrix}\frac{1}{z}=\mathbf{K}\begin{pmatrix}x\\y\\\frac{z}{s}\end{pmatrix}\frac{1}{\frac{z}{s}} $$
其中$(x, y, z)$是RGB-D传感器坐标系下解析得到的三维点，z/s是输入像素$(u, v)$处缩放后的新深度。对于未以RGB-D传感器主点为中心的任意裁剪，该操作在物理层面并不严谨，但这种近似已经能带来显著的性能提升，这一点我们会在后续的消融实验中展示。除了训练过程中使用的深度缩放，我们还在推理阶段根据应用于RGB-D图像的resize变换对输入深度测量值进行缩放。
---
Fig. 3: Overview of our proposed approach, which extends the YOLO v3 [^19] detector with mid-level RGB+D feature fusion, depth-aware augmentation, and 3D centroid regression. We show that the latter can be learned from synthetic RGB-D images.
### D. 网络架构
我们的方法基于YOLO v3网络，我们对其进行修改，使其能够同时预测三维质心。首先，为了利用深度信息，我们扩展了Darknet-53骨干网络，以容纳额外的单通道深度数据。因此，我们对融合点之前的所有层进行复制，得到分别处理RGB数据和深度数据的专属骨干网络（图3中蓝色部分所示）。
我们测试了两种不同的中层融合点，它们都设置在Darknet-53架构残差阶段的末尾，在本文中分别对应第9层之后和第26层之后。已有研究表明中层融合能够取得出色的效果[^13]，[^36]。此外，我们在网络金字塔结构开始之前就进行多模态融合（见图3）。融合方式为：将两个骨干网络的输出特征沿通道维度拼接，然后使用$1 \times 1$卷积将通道数减半，恢复到原始的通道维度。
三个输出阶段的最终$1 \times 1$卷积层被扩展，为每个锚框预测一个质心$(c_x, c_y, c_z)$。$c_z$直接以米制尺度进行回归。$c_x$和$c_y$坐标首先在图像坐标系$(c_u, c_v)$下预测，然后借助$c_z$和相机矩阵反投影得到实际坐标。这与我们输入的单位系统保持一致。此外，我们以约束化的方式构建回归目标$t_{c_u}, t_{c_v}$，使其相对于边界框坐标定义：其中$(b_u, b_v)$是边界框的左上角坐标，$b_h$是边界框的高度，$b_w$是边界框的宽度，单位均为像素坐标：
$$ \begin{aligned}&c_{u}=b_{u}+b_{w}\sigma(t_{c_{u}})\\&c_{v}=b_{v}+b_{h}\sigma(t_{c_{v}})\\&c_{z}=t_{c_{z}}\\ \end{aligned} $$
这一约束将质心限制在预测出的边界框范围内。随后，我们为每个锚框对应的二维YOLO损失扩展了一个额外项
$$ \mathcal{L}_{\mathrm{c e n t r o i d}}=|t_{c_{z}}-\hat{t}_{c_{z}}|+\sum_{i\in\{u,v\}}\mathrm{B C E}(\sigma(t_{c_{i}}),\sigma(\hat{t}_{c_{i}})) $$
其中$\hat{t}_{c_i}$表示真实标签。在我们的YOLO v3实现中，对于$c_u, c_v$我们保留了用于二维边界框中心预测的sigmoid二元交叉熵损失，而我们发现$\ell_1$损失对于质心深度$c_z$的预测效果最佳。
### E. 迁移学习策略
我们的迁移学习策略受Ophoff等人的工作启发 [^13]，但省去了预先单独训练仅深度检测器的额外步骤。为了利用现有的大规模二维目标检测数据集，我们首先使用在ImageNet和MS COCO上预训练得到的现有YOLOv3 RGB检测器权重对所有层进行初始化 [^37]，[^38]。虽然也可以采用其他迁移学习策略，例如[^13]、[^39]中提出的方法，但我们使用该方法已经取得了良好的结果。对于深度骨干网络，我们复制了RGB权重，但对接收单通道深度图像的第一层进行随机初始化。如图3中的着色所示，融合块采用硬连线融合方案初始化，使得训练开始时，现有RGB特征会保持原样直接前向传播。在我们扩展了三维质心回归的三个输出层中，我们对新增输出的权重进行随机初始化，同时保留原二维检测的权重不变。该初始化策略在我们的视频中有进一步展示，尽管网络架构发生了改动，它仍能让网络保持预训练得到的二维检测性能。
### 四、实验设置
我们的实现基于MxNet，使用了GluonCV中的YOLO v3 [^34]。我们采用随机梯度下降法总共训练80个epoch。在20个epoch的热身阶段，我们将学习率逐步提升至6e-4，随后采用余弦衰减在50个epoch内将学习率降至1e-6 [^40]，[^41]。最后，模型以1e-6的恒定学习率再训练10个epoch。训练阶段我们使用Volta V100 GPU，测试阶段使用Titan RTX。
### A. 真实场景场内物流RGB-D数据集
我们的应用场景是场内物流领域的人员检测，目标是使自动导引车（AGV）具备人类感知能力。这类专业环境中的人员检测面临诸多挑战：人员穿着特殊工装；叉车操作人员站在车辆的脚踏板上；机器人以自我中心视角观测到的空间狭窄拥挤、存在大量遮挡；并且缺乏公开可用的数据集，对于RGB-D这类包含敏感信息的传感器模态来说更是如此。因此，为了训练和评估我们的方法，我们使用
---
两种不同的AGV平台，分别在约1.50米和1.80米的高度安装了Kinect v2传感器。数据在四个不同地点耗时数周采集完成，包括两个仓库、一家小型食品工厂，以及一个配备叉车和仓储货架的机器人实验室。数据集既包含人员稀少的场景，也包含最多约20人的高度拥挤场景，这些场景中人员频繁相互遮挡，且由于都穿着防护服，外观非常相似。
我们从这些采集数据中挑选了约3.1k个差异丰富的帧，将其划分为1.5k帧的训练集、0.5k帧的验证集和包含1.1k个真实场景帧的二维测试集，每个划分的数据集都采集自不同的地点或日期。每一帧都包含一组配准完成的RGB-D图像对，我们在其中手动标注了二维人体边界框。对于训练集，我们按照第三节B部分所述得到了弱标注三维真值。为了开展三维评估，我们使用基于轨迹的标注工具[^32]对其中一个场景下的一段连续60秒测试序列标注了三维形心，我们对该工具进行了扩展，使其支持标注地面上方的形心高度。在该测试序列中，人员运动性强，呈现不同姿势，还有部分人员在周边推行推车。为了评估，我们给所有满足以下条件的形心标记了忽略标记：在点云中遮挡过于严重，或者超出Kinect v2深度相机的视野范围（量程限制为8米），这样做是为了不对依赖深度数据可用性的基线方法施加不公平惩罚。
### B. 基线方法
我们将本文方法与5种不同的RGB-D基线方法进行了对比。除了[^2] [^3] [^4]、[^6]（参见表I）之外，我们还加入了一个仅使用RGB的YOLO v3基线，该方法通过计算深度中值直接将二维形心提升到三维空间[^5]。该方法的二维检测器在MS COCO上训练得到；在这种直接提升到三维的方案下，我们发现在我们的数据集上微调后，三维性能并没有提升。对于[^6]，其HOG-SVM模型是在机场环境采集的人体数据集上训练得到的[^32]。我们在我们的真实场景训练集上对[^3]进行了微调，因为它的RGB变体最初在我们的场景中表现不佳。对于[^2]和[^3]，我们展示了RGB或深度变体中表现更好的结果，并且仅考虑人体类别的检测时我们得到了最佳结果；我们不使用跟踪。对于其他方法，我们使用公开实现提供的原始预训练模型。[^4]的速度无法满足我们的用例需求（仅1-2 Hz），但我们仍然决定将其纳入对比，因为我们希望了解一种完全不同的自下而上三维姿态估计方法在三维人体检测任务上的表现。评估时，我们按照第三节B部分的描述从髋关节位置得到三维形心；如果没有检测到髋关节，我们则使用关键身体关节（不含眼睛）的中值作为替代。
### C. 评估指标
在我们的真实场景测试序列上进行三维评估时，我们使用修改后的COCO指标版本[^38]，我们没有使用边界框交并比（IoU），而是采用距离阈值作为指标，计算三维平均精度（AP）以及峰值F1分数。对于无法输出可靠形心高度估计的方法[^2]、[^3]，我们采用更宽松的规则，仅在地面平面坐标上进行检测结果与真值的匹配。
| Variant | Modality | 2D AP | 3D AP $\uparrow$ | RMSE |
| VOC | 0.25m | $\downarrow$ |
| COCO model | RGB | 71.0 | - | - |
| After finetuning | RGB | 74.9 | - | - |
| +Centroid regression | RGB | 72.5 | 17.5 | 48.2 |
| +Depth-aware augm. | RGB | 75.4 | 46.5 | 73.4 |
| After finetuning | RGB+D | 75.4 | - | - |
| +Centroid regression | RGB+D | 73.4 | 47.6 | 74.5 |
| +Depth-aware augm. | RGB+D | 76.6 | 60.6 | 81.5 |
| / Fusion after stage I | RGB+D | 76.5 | 58.9 | 80.4 |
| +More synth_data | RGB+D | 77.0 | 66.4 | 83.0 |
TABLE II: Ablation studies on our synthetic validation set with perfect 3D groundtruth. RGB+D fusion after stage II unless noted.
同时不考虑高度信息。针对我们精确的合成三维真值开展消融研究时，我们还报告了均方根误差（RMSE），以及交并比阈值为0.5时符合PASCAL VOC标准的二维边界框平均精度AP[^42]。
### V. 实验结果
### A. 定量评估
表II展示了我们在带有精准真值的合成验证集（2个额外场景、5000个不同帧）上的消融研究结果。我们使用一半的合成训练集（7500帧）进行训练。可以看出，与未对真值标签和输入深度进行恰当缩放的标准矩形裁剪增强及尺寸调整方法相比，我们的深度感知增强方案显著提升了2D和3D任务的准确率。使用完整合成训练集后，尤其是小距离阈值下的3D定位效果得到了提升。引入RGB+D融合能大幅提高3D准确率，同时小幅提升2D准确率。
在表III和对应的精确率/召回率曲线中，我们将本文方法的不同变体与其他基线方法在来自真实世界场内物流测试集的一段60秒手动标注序列（1800帧）上进行了对比。可以看出，仅在我们的真实世界数据上微调得到的RGB-D方法（■），在$d=0.5m$对应的3D指标下，取得的峰值F1分数并不优于在MS COCO上训练得到的简单YOLO v3基线方法（■），且在$d=0.25m$上表现尤其不佳。这可能说明我们的真实世界训练集规模过小。仅在合成图像上训练（■）时，我们可以通过域随机化生成无限数量的帧，因此拥有10倍更多带有精准3D真值的数据，两个阈值下的性能都得到了大幅提升。在合成训练数据中加入真实数据（■）进一步提升了性能。对应的仅RGB模型（■）在$d=0.5m$上表现同样出色。但在$d=0.25m$上，两种模态结合后的峰值F1高出约9%，这表明我们的网络可以利用深度信息实现更准确的3D定位。此外，正如我们定性观察到的，当仅能获得RGB数据时，我们的方法只会发生平缓的性能退化。
通过将基于3D聚类的区域候选与现代基于深度学习的2D检测器结合，Vasquez等人（☐）取得了出色的定位精度，在$d=0.25$m处的峰值F1优于我们的方法。在这里，我们的方法可能处于略微不利的位置，因为我们是针对骨盆
---
| Method | 3D AP $\uparrow$ | Peak-F1 $\uparrow$ |
| 0.25m | 0.5m | 0.25m | 0.5m |
| Munaro $^{etal}$ [^6] (RGB+D) | 56.0 | 77.9 | 62.7 | 76.1 |
| Vasquez $^{et al}$ [^2] (RGB+D, RGB) | 66.3 | 73.1 | 79.7 | 84.2 |
| Kollmitz $^{et al}$ [^3] (RGB, VGG-M) | 37.9 | 72.5 | 56.8 | 79.3 |
| Zimmermann $^{et al}$ [^4] (RGB+D) | 55.8 | 67.3 | 69.1 | 79.9 |
| Naïve YOLO v3 (RGB+D) | 58.1 | 79.8 | 72.8 | 86.6 |
| Ours (RGB, S+R) | 57.5 | 95.2 | 69.8 | 93.8 |
| Ours (RGB+D, R) | 39.0 | 82.1 | 56.7 | 87.3 |
| Ours (RGB+D, S) | 59.9 | 93.7 | 72.5 | 93.5 |
| Ours (RGB+D, S+R) | 68.7 | 96.5 | 78.6 | 95.3 |
TABLE III: Precision-recall curves for 3D centroids on a 60-sec sequence of our real-world test set. Solid lines correspond to an evaluation radius of 0.5m, dashed 0.25m. Crosses are at peak-F1. For our method, S stands for synthetic, R for real training data.
关节进行训练，而为了对基线方法公平，我们的测试序列使用3D质心进行标注。
采用几何3D点云表示的方法[^2]、[^4]、[^6]（$\blacksquare$、$\blacksquare$、$\blacksquare$），与本文提出的采用基于图像的表示、通过特征融合利用互补RGB+D信息的方法相比，召回率受到更大限制。如果我们将评估扩展到（更宽的）RGB传感器视场，我们的方法能最大程度利用可用数据，在$d = 0.5$m处，我们的方法相对于简单基线的峰值F1优势提升到了约+13%。
### B. 定性结果
在初始的2D检测实验中我们观察到，尽管本文场景中人体的外观非常规，使用预训练的仅输入RGB的COCO模型几乎不会发生误检测。但有时当前景遮挡物（比如我们机器人平台的把手握柄或者人体手臂）伸入相机视场时，2D边界框会被拆分为两个。这说明利用深度信息十分重要，它可以帮助分割前景和背景。这也说明2D边界框并非最优的表示方式，这就是我们不依赖这类中间表示、端到端回归3D质心的动机。
定性3D检测结果如图1、图4和图5所示。与2D检测情况类似，许多基准方法在定位部分遮挡的人物时存在问题，有时
Fig. 4: Qualitative 3D detection results at peak-F1 from a scene of our RGB-D dataset. Colors from Table III; grey is groundtruth.
Fig. 5: Results on two further, more cluttered scenes.
甚至会将质心放置在场景背景（例如货架、托盘或墙壁）上。此外，除了[^3]的RGB变体之外，所有基准方法都深受图像边界或远距离处深度数据缺失的影响。我们提出的RGB+D方法在这两方面都具备更强的鲁棒性。
### 六、结论
本文针对3D人体检测任务提出了一种实时方法，该方法基于YOLO v3架构，我们对其进行扩展，新增了高效的RGB+D融合方案、3D质心回归和深度感知增强。我们的学习策略同时受益于合成训练数据和真实场景训练数据。我们证明了可以从我们多样化的合成数据集中学习到精度极高的3D定位能力，并且在我们具有挑战性的真实场内物流数据集的子集上验证了，我们的方法比现有最优基准方法获得了更高的检测精度。
我们的方法可以轻松扩展到其他带有不同内参的RGB(-D)传感器，因为使用不同传感器设置重新生成整个合成数据集仅需约5分钟的手动工作量，而获取用于微调的真实场景3D训练标签不需要任何手动3D标注工作。
## 致谢
本研究得到了欧盟Horizon 2020研究与创新计划资助（资助协议编号：732737，项目ILIAD）。我们感谢Dennis Grießer、Michael Hernandez和Sarah Aghaie在初始实验和3D模型方面提供的帮助，也感谢ILIAD联盟在真实场景数据集录制工作中提供的帮助。
---
## 参考文献
[^1]: W. Liu, D. Anguelov, D. Erhan, C. Szegedy, S. Reed, C.-Y. Fu, and A. C. Berg, "SSD: Single shot multibox detector," in Proc. European Conference on Computer Vision (ECCV), 2016.
[^2]: A. Vasquez, M. Kollmitz, A. Eitel, and W. Burgard, “Deep detection of people and their mobility aids for a hospital robot,” in Proc. European Conference on Mobile Robotics (ECMR), 2017.
[^3]: M. Kollmitz, A. Eitel, A. Vasquez, and W. Burgard, “Deep 3D perception of people and their mobility aids,” Robotics and Autonomous Systems, vol. 114, pp. 29–40, 2019.
[^4]: C. Zimmermann, T. Welschehold, C. Dornhege, W. Burgard, and T. Brox, "3D human pose estimation in RGBD images for robotic task learning," in Proc. IEEE International Conference on Robotics and Automation (ICRA), 2018.
[^5]: T. Linder, D. Griesser, N. Vaskevicius, and K. Arras, “Towards accurate 3D person detection and localization from RGB-D in cluttered environments,” in IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS'18) – Workshop on Robotics for Logistics in Warehouses and Environments Shared with Humans, 2018.
[^6]: M. Munaro and E. Menegatti, “Fast RGB-D people tracking for service robots,” Autonomous Robots (AURO), vol. 37, no. 3, pp. 227–242, 2014.
[^7]: O. Mees, A. Eitel, and W. Burgard, “Choosing smartly: Adaptive multimodal fusion for object detection in changing environments,” in Proc. IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 2016, pp. 151–156.
[^8]: J. Guerry, B. L. Saux, and D. Filliat, “‘Look at this one’: Detection sharing between modality-independent classifiers for robotic discovery of people,” in Proc. European Conference on Mobile Robotics (ECMR), 2017, pp. 1–6.
[^9]: W. Ali, S. Abdelkarim, M. Zidan, M. Zahran, and A. E. Sallab, “YOLO3D: End-to-end real-time 3D oriented object bounding box detection from LiDAR point cloud.” in European Conference on Computer Vision (ECCV) Workshops, 2018.
[^10]: M. Simon, S. Milz, K. Amende, and H. Gross. (2018) Complex-YOLO: Real-time 3D object detection on point clouds.
[^11]: C. R. Qi, W. Liu, C. Wu, H. Su, and L. J. Guibas, “Frustum PointNets for 3D object detection from RGB-D data,” in Proc. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2018.
[^12]: B. Lewandowski, J. Liebner, T. Wengefeld, S. Müller, and H. Gross, "Fast and robust 3D person detector and posture estimator for mobile robotic applications," in Proc. IEEE International Conference on Robotics and Automation (ICRA), 2019, pp. 4869–4875.
[^13]: T. Ophoff, K. Van Beeck, and T. Goedem, “Exploring RGB+Depth fusion for real-time object detection,” Sensors, vol. 19, no. 4, 2019.
[^14]: D. Feng, C. Haase-Schuetz, L. Rosenbaum, H. Hertlein, F. Duffhaus, C. Glaser, W. Wiesbeck, and K. Dietmayer, “Deep multi-modal object detection and semantic segmentation for autonomous driving: Datasets, methods, and challenges,” arXiv:1902.07830, 2019.
[^15]: M. Gao, J. Jiang, G. Zou, V. John, and Z. Liu, “RGB-D-based object recognition using multimodal convolutional neural networks: A survey,” IEEE Access, vol. 7, pp. 43110–43136, 2019.
[^16]: J. Redmon and A. Farhadi, “YOLO9000: better, faster, stronger,” in Proc. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017, pp. 6517–6525.
[^17]: R. Girshick, “Fast R-CNN,” in Proc. IEEE International Conference on Computer Vision (ICCV), 2015.
[^18]: S. Ren, K. He, R. Girshick, and J. Sun, “Faster R-CNN: Towards real-time object detection with region proposal networks,” IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI), vol. 39, no. 6, pp. 1137–1149, 2017.
[^19]: J. Redmon and A. Farhadi, “YOLOv3: An incremental improvement,” 2018, arXiv:1804.02767.
[^20]: J. Tobin, R. Fong, A. Ray, J. Schneider, W. Zaremba, and P. Abbeel, “Domain randomization for transferring deep neural networks from simulation to the real world,” in Proc. IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 2017, pp. 23–30.
[^21]: M. Sundermeyer, Z.-C. Marton, M. Durner, M. Brucker, and R. Triebel, "Implicit 3D orientation learning for 6D object detection from RGB images," in Proc. European Conference on Computer Vision (ECCV), 2018.
[^22]: M. Danielczuk, M. Matl, S. Gupta, A. Li, A. Lee, J. Mahler, and K. Goldberg, “Segmenting unknown 3D objects from real depth images using Mask R-CNN trained on synthetic data,” in Proc. IEEE International Conference on Robotics and Automation (ICRA), 2019.
[^23]: J. Shotton, A. Fitzgibbon, A. Blake, A. Kipman, M. Finocchio, B. Moore, and T. Sharp, "Real-time human pose recognition in parts from a single depth image," in Proc. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2011.
[^24]: G. Varol, J. Romero, X. Martin, N. Mahmood, M. J. Black, I. Laptev, and C. Schmid, “Learning from synthetic humans,” in Proc. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017.
[^25]: S. R. Richter, V. Vineet, S. Roth, and V. Koltun, “Playing for data: Ground truth from computer games,” in Proc. European Conference on Computer Vision (ECCV), ser. LNCS, vol. 9906. Springer International Publishing, 2016, pp. 102–118.
[^26]: A. Geiger, P. Lenz, and R. Urtasun, "Are we ready for autonomous driving? The KITTI vision benchmark suite," in Proc. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2012.
[^27]: T. Linder, M. J. Hernandez Leon, N. Vaskevicius, and K. O. Arras, "Towards training person detectors for mobile robots using synthetically generated RGB-D data," in Computer Vision and Pattern Recognition (CVPR) 2019 Workshop on 3D Scene Generation, 2019.
[^28]: A. Gaidon, Q. Wang, Y. Cabon, and E. Vig, “Virtual worlds as proxy for multi-object tracking analysis,” in Proc. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016.
[^29]: G. Ros, L. Sellart, J. Materzynska, D. Vazquez, and A. Lopez, “The SYNTHIA dataset: A large collection of synthetic images for semantic segmentation of urban scenes,” in Proc. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016.
[^30]: M. Fabbri, F. Lanzi, S. Calderara, A. Palazzi, R. Vezzani, and R. Cucchiara, “Learning to detect and track visible and occluded body joints in a virtual world,” in Proc. European Conference on Computer Vision (ECCV), 2018.
[^31]: I. Sárándi, T. Linder, K. O. Arras, and B. Leibe, “Synthetic occlusion augmentation for 3D human pose estimation with volumetric heatmaps,” in European Conference on Computer Vision (ECCV) Workshops, 2018.
[^32]: T. Linder, S. Breuers, B. Leibe, and K. O. Arras, “On multi-modal people tracking from mobile platforms in very crowded and dynamic environments,” in Proc. IEEE International Conference on Robotics and Automation (ICRA), 2016, pp. 5512–5519.
[^33]: I. Sárándi, T. Linder, K. O. Arras, and B. Leibe, “Metric-scale truncation-robust heatmaps for 3D human pose estimation,” in Proc. IEEE International Conference on Automatic Face and Gesture Recognition (FG), 2020.
[^34]: J. Guo, H. He, T. He, L. Lausen, M. Li, H. Lin, X. Shi, C. Wang, J. Xie, S. Zha, A. Zhang, H. Zhang, Z. Zhang, Z. Zhang, S. Zheng, and Y. Zhu, "GluonCV and GluonNLP: Deep learning in computer vision and natural language processing," Journal of Machine Learning Research, vol. 21, no. 23, pp. 1–7, 2020.
[^35]: R. Hartley and A. Zisserman, Multiple View Geometry in Computer Vision, 2nd ed. Cambridge University Press, 2003.
[^36]: C. Hazirbas, L. Ma, C. Domokos, and D. Cremers, “FuseNet: Incorporating depth into semantic segmentation via fusion-based CNN architecture,” in Asian Conference on Computer Vision (ACCV). Springer, 2016, pp. 213–228.
[^37]: O. Russakovsky, J. Deng, H. Su, J. Krause, S. Satheesh, S. Ma, Z. Huang, A. Karpathy, A. Khosla, M. Bernstein, A. C. Berg, and L. Fei-Fei, "ImageNet Large Scale Visual Recognition Challenge," International Journal of Computer Vision (IJCV), vol. 115, no. 3, pp. 211–252, 2015.
[^38]: T.-Y. Lin, M. Maire, S. Belongie, J. Hays, P. Perona, D. Ramanan, P. Dollár, and C. L. Zitnick, “Microsoft COCO: Common Objects in Context,” in Proc. European Conference on Computer Vision (ECCV), 2014, pp. 740–755.
[^39]: S. Gupta, J. Hoffman, and J. Malik, “Cross modal distillation for supervision transfer,” in Proc. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016.
[^40]: I. Loshchilov and F. Hutter, “SGDR: Stochastic gradient descent with warm restarts,” in Proc. International Conference on Learning Representations (ICLR), 2017.
[^41]: Z. Zhang, T. He, H. Zhang, Z. Zhang, J. Xie, and M. Li, “Bag of freebies for training object detection neural networks,” arXiv:1902.04103, 2019.
[^42]: M. Everingham, L. Van Gool, C. K. Williams, J. Winn, and A. Zisserman, “The PASCAL visual object classes (VOC) challenge,” Int. Journal of Computer Vision, vol. 88, no. 2, 2010.