# 面向机器人领域的人体检测跨模态分析：一项工业案例研究
Timm Linder、Narunas Vaskevicius、Robert Schirmer 与 Kai O. Arras
摘要——传感技术与学习算法的进步让机器人人体检测解决方案愈发成熟，尤其是在特定用例中，例如自动驾驶汽车的行人检测、消费场景下的近距离人员检测。尽管取得了这些进展，“哪种传感器-算法组合最适合当前的人员检测任务？”这个简单问题仍然难以回答。本文针对这一问题，对机器人领域常用的传感器-算法组合开展了系统性跨模态分析。我们在一个具有挑战性的工业用例中，对比了面向2D距离数据、3D激光雷达、RGB-D数据的多种顶尖人员检测器，以及上述传感器组合对应检测器的性能。
我们进一步解决了两个相关问题：工业目标领域的数据稀缺问题，以及当前3D点云人体检测研究大多聚焦于自动驾驶场景的现状。为了将这些方法学进展应用于机器人领域，我们采用了一种简单高效的多传感器迁移学习策略：对一个性能优异的基于图像的RGB-D检测器进行扩展，使其以弱3D包围框标注的形式为激光雷达检测器提供跨模态监督。
我们的结果表明，不同方法在检测性能、泛化能力、帧率和计算需求方面存在巨大差异。由于我们的用例包含了广泛服务机器人应用都具有的代表性难点，我们认为这些结果指出了后续研究需要解决的相关开放性挑战，并能为从业者设计机器人系统提供有价值的支持。
## 一、引言
机器人检测周边人员的能力在消费、工业和汽车应用领域都至关重要。相关用例涵盖无人驾驶汽车的行人预测、消费级机器人的用户识别，以及协作机械臂的安全关键型操作人员检测。不同用例的需求和约束各不相同——例如最低精度要求、误报成本、计算预算、隐私约束或最大系统成本等——因此解决方案在不同应用领域和研究群落之间差异巨大，这并不令人意外。这种多样性意味着：
1. 由于领域鸿沟问题，一个领域的研究进展无法直接迁移到另一个领域（例如室内/室外场景差异、不同的传感器分辨率或安装位置）。
2. 标注数据的可获得性具有极强的领域和传感器特异性，分布极不均匀（例如自动驾驶领域拥有大量图像数据集，而典型服务机器人场景中的3D数据集却十分稀缺）。这使得检测器重训练以及跨模态、跨领域的方法对比成为一项十分困难的工作。
Fig. 1: Which sensor-algorithm combination is best suited for a person detection task at hand? Example scene from our data set seen by an RGB-D sensor (RGB and color-encoded depth image in first row + colored point cloud), a 2D safety laser (blue points) and a 3D lidar (points in rainbow colors). Boxes are detections in different modalities (see Figure 6), grey crosses visualize groundtruth centroids.
3. 对于当前一项具备上述特定需求与约束的人员检测任务，很难在庞大的传感器-算法组合空间中梳理筛选，找出最具潜力的方案。
后一点具有重大的实际意义。举例来说，对于一台没有GPU、对成本敏感的消费级机器人，适用于低成本测距相机和二维激光雷达的先进检测器在满足精度要求方面表现如何？传统基于CPU的机器学习方法能否满足需求？又如医院配送机器人，使用三维激光雷达相比RGB-D相机带来的隐私提升，是否足以抵消传感器更高的成本和检测性能的下降？
为在机器人领域解决上述问题，本文做出了以下贡献：
我们对机器人领域常用的传感器-算法组合开展了跨模态分析。我们对比了适用于常用二维激光雷达、三维激光雷达和RGB-D传感器，以及上述传感器组合的先进人体检测器的性能。针对每一种模态，我们还考虑了一个无需GPU的传统学习基线。尽管已有大量关于人体检测多模态传感器融合的研究，但据我们所知，如此广度的对比研究此前尚未开展。
我们的第二项贡献针对第1点和第2点：我们
---
将我们原本可在RGB-D数据中实时检测人体三维质心的RGB-D YOLO [^1]方法进行扩展，使其能够回归带方向的三维包围框。我们仅使用合成数据训练RGB-D YOLO的三维包围框估计模块，得到了一个精准的三维人体检测器。随后我们证明，这种无需人工三维标注训练的检测器可用于跨传感器知识迁移，并能通过弱监督提升目标域检测器的性能。
为开展评估，我们使用搭载了上述传感器的移动平台，在仓库中采集了数据。该场景包含服务机器人用例中的典型难点：不同密度、不同姿态的人员，所处空间既有狭窄区域也有开阔区域，人员靠近物体和墙体、与物体墙体互动，服装颜色统一，还存在前景物体和其他人员带来的遮挡，详见图5和图6。
### 二、相关工作
机器人及相关领域已有大量关于人体检测的研究，对这些研究的讨论超出了本文的范围，相关综述参见例如[^2]、[^3]。我们在第三节中讨论了属于本文评估范围的方法。多模态方法例如[^4]、[^5]、[^6]、[^7]、[^8]通常融合两个或更多传感器，研究重点为传感器/检测器融合、性能最大化或域自适应。而本文致力于开展无偏的跨模态对比，系统覆盖机器人领域相关的模态和基线方法。
现有基准和数据集仅能部分支撑我们的研究目标：要么它们是单传感器数据集[^9]、[^10]、[^11]，要么存在第一节提到的域差距问题。大规模自动驾驶基准数据集例如KITTI [^12]、Waymo Open [^13]和NuScenes [^14]所用的传感器配置和运行条件都与典型的服务机器人用例不同。一个例外是JackRabbit [^15]，这是一个在大学校园室内外采集的多模态机器人基准数据集，但由于本文聚焦工业用例，我们未纳入这个有价值的数据集，将其留到并行研究[^16]和未来工作中开展。
为监督学习创建带有手动3D标注的特定领域数据集需要消耗大量资源。迁移学习是减少这项工作量、解决域自适应挑战的方法之一。虽然它可以采取多种形式（例如仿真到真实迁移），但在本文中我们聚焦于跨传感器迁移真实世界知识。即使是同一模态的不同传感器型号之间也存在域鸿沟，已有先前工作[^17]、[^18]对该问题进行了研究，这些工作将3D激光雷达到激光雷达的监督用于目标检测和语义分割任务。与这些方法不同，我们研究跨不同模态的迁移学习。[^19]和[^20]实现了从RGB到3D激光雷达的跨模态迁移，但针对的是语义分割和实例分割任务，而非本文研究的3D人体检测。我们的策略受先前多传感器迁移学习工作[^21]的启发。但在我们的方案中，我们使用一个性能极强、基于深度学习的RGB-D检测器作为教师网络，使得整个流程简单得多，因为不需要复杂的跟踪和离群点剔除。
### III. 评估模态与方法
下文我们将按传感器模态分类，概述本文参与对比的各类人体检测方法。
### A. 2D激光探测器
许多服务机器人在地面高度配备了2D安全激光扫描仪，用于定位、避障和安全防护。Beyer等人[^11]最近提出了一种针对2D距离数据的行人检测方法，该工作引入了名为DROW3x的新型基于CNN的方法，能够融合时间连续帧的信息来识别典型的人腿运动。在来自老年护理机构的数据集上，该方法的表现明显优于多个依赖手工设计几何特征和经典机器学习技术（随机森林或AdaBoost）的现有方法。但后一类方法在硬件要求上更具优势，因为它们可以在CPU上高效运行。因此，除了DROW3x之外，我们还在对比中纳入了Arras等人[^22]和Leigh等人[^23]的经典方法。Leigh等人的方法遵循与[^22]类似的思路，但会检测单根腿，并使用简单的基于卡尔曼滤波的跟踪器随时间对腿部检测结果进行关联。虽然它严格来说不是纯检测方法，但我们在此将其按检测方法处理，并依赖它的数据关联阶段得到人体质心用于评估（参见第五节B小节）。
就在最近，DROW3x的更高效率版本DR-SPAAM [^24]被提出，我们也将它纳入本次评估。通过用非极大值抑制步骤替换高计算开销的投票网格，并且使用循环更新方案替代基于里程计的显式多扫描对齐来进行时间融合，该方法实现了高得多的帧率，也适合部署在嵌入式平台上（例如Nvidia Jetson）。
### B. 基于3D激光雷达的方法
对于基于3D激光雷达的人体检测，我们采用Yan等人[^21]的方法作为经典机器学习基线，该方法不需要加速器硬件即可实现实时性能。它先通过欧氏聚类生成候选区域，再使用带有手工设计几何特征的SVM分类器完成分类。
本次对比中，基于深度学习的三维方法目前大多仅在自动驾驶场景下得到评估。我们结合不同方法在KITTI基准测试中的行人检测性能[^12]以及计算需求，选出了适合本文研究场景的方法。为了便于集成、避免严重的实现偏差，我们在实验中选用了MMDetection3D框架[^25]中当时性能最优的方法：SECOND [^26]、动态体素化SECOND [^27]、PointPillars [^28] 和 PartA2-Net [^29]。
和VoxelNet [^30]一样，SECOND先进行体素级特征提取，再将中间表征输入稀疏卷积中间提取器，把稀疏三维数据转换为二维鸟瞰图。最终，
---
类SSD检测头[^31]输出带方向的三维 bounding box。动态体素化SECOND克服了固定体素化中随机点丢弃可能导致的信息损失，能够得到确定性的体素嵌入和更稳定的检测结果。在自动驾驶（AD）场景中，该方法能在与[^26]相近的运行耗时下取得更高的准确率。PointPillars是SECOND的一个更快变种，GPU内存占用相对较小。它通过学习点柱（pillar）的表征，将三维卷积层替换为密集二维卷积。PartA2-Net由两个阶段组成：第一部分感知阶段生成三维候选框，同时得到对应的逐点特征，以及预测出的物体点相对于带方向三维 bounding box的位置。这些信息会在第二部分聚合阶段进行融合，得到最终的物体检测结果和优化后的三维 bounding box。
### C. RGB-D 方法
我们近期的工作[^1]研究了机器人应用场景下，利用飞行时间（time-of-flight）RGB-D相机数据开展三维人体检测的任务。该工作全面梳理了当前最优的相关方法，并在一个场内物流数据集上对这些方法进行了对比，该数据集是本次评估所用数据的一个子集。在同一工作中，我们提出了一种基于图像的检测方法RGB-D YOLO，该方法扩展了YOLO v3架构，新增了三维质心损失和中层特征融合，以利用RGB和深度模态的互补信息。我们还提出了一种高效的迁移学习策略，可同时受益于在MS COCO这类大规模二维图像数据集上的预训练[^32]，以及带有准确三维真值的高度随机化合成RGB-D数据[^33]。实验结果表明，所提方法在三维空间中的检测准确率高于现有最优基线方法。
本研究中，除RGB-D YOLO之外，我们还纳入了来自[^1]的其他性能最优基准方法。一种朴素的基于图像的方法[^34]通过从已配准深度图像中提取 bounding box 内的深度值，将检测得到的二维 bounding box 投影到三维空间。尽管这种方法在简单场景下能取得不错的结果，但仍存在异常情况：例如，二维 bounding box 内的大多数有效深度像素实际上属于完全不同的前景或背景物体，进而导致错误的深度估计。我们选用了Munaro等人提出的纯CPU方法[^35]，该方法在点云完成基于头部的子聚类后，将HOG特征与SVM分类器相结合。它在[^1]的基准测试中，与深度学习方法相比表现良好。Mobility Aids[^36]在三维点云上应用欧几里得聚类生成候选框，随后在RGB图像或深度图像上使用基于CNN的分类器。RGB-D Pose 3D[^37]使用OpenPose[^38]以自下而上的方式预测二维人体关键点，接着通过获取预定义身体关节位置（例如颈部）的深度值将人体投影到三维空间，之后将三维体素占用网格居中对齐到人体，最终预测三维关节位置。这两种基于深度学习的方法[^36]和[^37]都采用了几何化三维点云表示，这种表示
Fig. 2: Multi-sensor transfer learning by using the RGB-D YOLO detector, extended to provide oriented 3D bounding boxes, for learning lidar-based human detection in the target domain without extensive need for manual 3D labeling.
存在一定缺陷，例如三维处理阶段可能无法检测局部稀疏点云中的物体。
### IV. 多传感器迁移学习
我们的初始实验表明，基于三维激光雷达的检测器在汽车数据集[^12]上训练后，在部分场景下的性能明显低于基于二维激光的方法，考虑到三维激光雷达在垂直维度的分辨率远高于二维激光，这一结果出人意料。造成该结果最可能的原因是不同传感器分辨率、安装高度以及我们聚焦于室内环境所带来的域差距，我们计划通过在目标域上重新训练检测器来解决这一问题。然而，手动为三维点云标注三维定向包围框（3D OBB）非常耗时。由于我们可以从Kinect v2这类飞行时间相机获取近似时间同步的RGB-D帧，因此我们提出利用性能优异的RGB-D检测器以弱真值框标签的形式提供跨模态监督，如图2所示。与其他方法[^21]、[^39]不同，我们不依赖任何额外的跟踪或显式离群点去除阶段，也不使用会带来信息损失的二维 bounding box 作为中间表示。
### A. 面向3D OBB监督的RGB-D YOLO扩展
为此，如图3所示，我们扩展了所提出的RGB-D YOLO v3方法，使其不仅可以回归人体质心（骨盆关节），还可以回归带有质心$(x, y, z, d, w, h, \theta)$、尺寸$(x, y, z)$和偏航角$(d, w, h)$的定向三维包围框$\theta$。对于三维框质心，我们沿用[^1]中相同的2.5D关键点损失，使用归一化像素坐标u、v和公制深度z，除了常规的二维框中心、尺度和目标性损失之外，我们使用$l_1$损失直接回归公制三维尺寸。对于偏航角，我们沿用$(\cos \theta, \sin \theta)$、[^40]中的bitemion表示[^41]，搭配余弦相似度损失。最终得到的训练组合损失项为
$$ \mathcal{L}=\mathcal{L}_{\mathrm{c e n t r o i d s}}+\mathcal{L}_{\mathrm{a n g l e}}+\mathcal{L}_{\mathrm{e x t e n t s}}+\mathcal{L}_{\mathrm{2D}}. $$
为了得到RGB-D中的真值3D框标注，我们依托我们的合成训练数据生成流程[^33]，仅从合成数据中学习这一部分内容。
---
Fig. 3: Extended RGB-D YOLO architecture with regression of 3D body keypoints including pelvis joints, orientation angles and 3D bounding boxes.
Fig. 4: Pipeline for weakly supervised 3D lidar detector training without need for manual annotations by using oriented 3D bounding boxes from the extended RGB-D YOLO detector (trained with synthetic data) as supervision signal.
### B. 迁移学习方法
随后我们通过已有的传感器外参标定，将扩展后RGB-D YOLO检测器的3D框标注直接迁移到激光雷达点云上。我们没有额外增加跟踪阶段，避免因跟踪删除延迟导致假阳性结果。在激光雷达检测器训练过程中，我们先将训练范围限制在Kinect v2的视场内，之后再通过旋转增广将其扩展回完整360度视场；不含任何激光雷达点的真值框会被从正样本中剔除，因此教师网络偶尔产生的少量定位错误3D框通常不会对训练过程造成负面影响。图4概述了本文提出的训练流程。
### V. 实验
### A. 场内物流仓库的工业数据集
为了评估工业环境下的人体检测器，我们在数周时间内利用移动机器人在不同场内物流场景中采集了超过55小时的数据。为开展本次对比，我们人工挑选并手动标注了两段具有挑战性的多模态序列，它们能够代表常见场景，标注包含三维人体质心轨迹。两段序列总时长为三分钟，采集自食品工厂仓库环境中的移动机器人。两个场景均采用图5所示的传感器设置录制。序列(a) NCFM Dynamic，人物密度更高，存在大量临时遮挡，例如人员推行推车和托盘车导致的遮挡，由固定传感器平台在开阔空间录制，场景中存在大量高动态运动，还包含非站立姿态。
Fig. 5: Multimodal sensor setup used in our evaluation
而序列(b) NCFM Storage Room则由移动机器人在狭窄储藏室内采集，场景中仅存在1–2名始终保持直立姿态的人员，且人员通常靠近货架、墙壁或机器人。
### B. 实验设置
我们评估了前述所有方法（这些方法分别代表对应传感器模态下的不同类型方案）在三维空间中的检测性能。我们报告了平均精度（AP），即不同检测阈值下精确率-召回率曲线下的面积，以及单一置信度阈值下的峰值F1分数，该分数体现了检测器精确率和召回率之间的合理平衡。为计算这些指标，我们利用地平面上的估计质心进行真值匹配，这是所有方法和模态最通用的表示方式。为保证比较公平，我们忽略质心离地高度$^{1}$。如果检测结果与最近的真值质心距离不超过0.5米，我们就判定该检测为正确的人体检测；我们将三维激光雷达点云中严重遮挡（包含少于7个激光回波）的真值标注排除出评估，并且仅在Kinect v2 RGB-D传感器（范围最有限的）视场内评估检测结果；由于不同传感器模态的水平视场存在本质差异，这对公平比较而言是必要的。
对于每种方法，我们使用在图6中方法名称后括号内标注的数据集训练得到的模型。对于在KITTI数据集上训练的3D激光雷达检测器模型，我们对输入点云进行变换，以补偿不同传感器安装高度的差异并归一化激光雷达强度，从而减小域差距。针对我们ILIAD场内物流数据集上的多传感器迁移学习，我们添加了来自两个评估序列所处相同环境的未标注、时间不重叠数据。为此，我们按照类KITTI格式采样了约27k个额外帧。训练时我们将最大测距调整为15米，因为我们的点云在该距离之外不存在有用数据。
为了验证通过（朴素）融合不同传感器模态下性能最优检测器的检测结果能否提升检测效果，我们在欧氏空间中对不同检测器得到的邻近检测结果执行最近邻关联，门控距离设为0.5米。
$^{1}$需要注意的是，基于2D激光的方法不会输出3D bounding boxes，也无法提供质心距地面高度的估计。
---
### 六、结果与讨论
我们跨模态检测器对比的定量结果如图6所示。对于两个场景中的每一个，我们除了给出前文提到的检测指标外，还展示了所有检测器的精确率-召回率曲线。
### A. 2D激光检测器
由于2D激光数据本身的稀疏性，基于2D激光数据的方法在我们的评估中整体表现最差，这并不令人意外。出于2D安全激光的使用要求，我们的传感器安装高度贴近地面，这经常导致检测被物体（例如手推车、扫帚）或其他车辆的货叉严重遮挡，这也部分解释了动态场景下结果不佳的原因，该场景还存在处于难检测坐姿、跪姿的人员。但即使不对目标域重新训练，性能最强的2D激光方法在行人较少的存储序列上也能优于除最新一代3D激光雷达和RGB-D检测器之外的所有方法。这一结果十分值得关注，原因可能是该场景更适合2D激光检测：目标大多处于直立姿态，且没有其他叉车遮挡传感器。
我们还注意到，当前最先进的深度学习方法[^11], [^24] 性能明显优于仅考虑单帧2D激光扫描的早期经典方法 [^22]，这与Beyer等人在老年护理场景中得到的结果一致 [^11]。但Leigh等人提出的方法 [^23] 是一种非深度学习方法，它和DR-SPAAM [^24] 一样会考虑时间信息 $^{2}$，在不重新训练的情况下，其性能出人意料地接近两种深度学习方法（在组合序列上的峰值F1仅低2%和4%）；对于搭载2D安全激光且资源受限的机器人来说，如果只需要中等检测精度，该方法相比占用大量资源的深度学习检测器是一个合理选择。尽管基于深度学习的方法在GPU加速下可以达到近50 Hz的检测频率，我们的2D安全激光仅能提供12.5 Hz的原始数据，因此限制了有效最大检测率。
### B. 基于3D激光雷达的方法
与二维激光雷达相比，三维激光雷达检测器SECOND及其采用动态体素化的变体PointPillars、Part A2-Net和Object3D检测器受其他车辆遮挡的影响更小，且仅需单个传感器和一个检测器实例就能覆盖机器人周围360度的范围$^{3}$。然而，基于深度学习的三维方法实现实时性能时的帧率（7–11 Hz）低于二维激光方法，同时还需要性能更强的GPU，而Object3D检测器仅需CPU就能达到相近的帧率。在所有深度学习方法中，PointPillars的GPU内存占用最低，这对于通常需要并行部署多个网络的机器人应用而言十分具有吸引力。
除Object3D和PartA2-Net检测器外，其余三维激光雷达检测器的性能在两个测试序列中基本保持一致。这两种方法在图6(a)的开阔空间动态场景中表现良好，但在图6(b)狭窄的储藏室场景中性能大幅下降。Object3D检测器在后一序列中的召回率极低，原因在于：当行人靠近墙壁或自车操控把手时，基于欧氏聚类生成候选框的机制会失效。与之相反，PartA2-Net保留了较高的召回率，但由于假阳性数量增加，精度出现下降。这说明该方法无法很好地从开阔的室外场景泛化到拥挤的室内环境中。
SECOND在两个序列中的检测结果都优于PointPillars，表明其在KITTI上训练后具备更好的泛化能力。这是一个有趣的发现，因为PointPillars原本在KITTI和nuScenes [^14]基准测试中的性能都优于SECOND。加入动态体素化得到的SECOND-DV进一步提升了SECOND的检测结果，该改进有助于从相对稀疏的VLP-16扫描中保留更多信息。在未对目标域进行额外训练的情况下，这种组合的性能在所有模态中排名第二，仅逊色于RGB-D YOLO方法的结果（在组合序列上AP低7.5%，峰值F1分数低6%）。我们在目标域的多传感器迁移学习中将RGB-D YOLO用作教师模型，进一步提升了SECOND-DV的检测性能，相关结果将在第VI-D小节讨论。
### C. RGB-D方法
RGB-D方法的视场受到很大限制，这是因为Kinect v2相机水平方向仅能覆盖约$86^{\circ}$的范围。不过从另一方面来说，理论上它们可以在最高30 Hz的传感器高帧率下输出检测结果。对于公开实现的RGB-D Pose 3D [^37]而言，这一点在实际中并不成立，该方法的公开版本即使在GPU上运行也只能达到个位数FPS。
与其他模态和方法相比，RGB-D Pose 3D、结合朴素深度的YOLO v3以及RGB-D YOLO在储物间场景中取得了非常高的精度。然而，只有RGB-D YOLO能够在Dynamic序列中也达到相近的性能水平，该序列存在严重遮挡，且人员频繁进出传感器视野。朴素YOLO v3检测器在部分遮挡下的3D定位不准确，因为它无法在检测得到的2D bounding box内区分前景和背景深度值。RGB-D Pose 3D、PCL+HOG-SVM和Mobility Aids依赖点云数据，因此难以处理图像边界处缺失的深度测量，这会导致召回率降低。RGB-D YOLO在图像空间隐式融合了两种模态，受任一模态损坏的影响更小。它在所有模态和测试序列中都展现出最佳性能，证明了语义丰富的RGB信息与几何精确方法二者的重要性。
---
Precision/Recall for Person Class
(a) NCFM Dynamic scene
Precision/Recall for Person Class
(b) NCFM Storage scene
| Modality | Method and training data (if not specified: proprietary training set) | Horiz. FOV $^{\circ}$ | FPS (Hz) | VRAM (MiB) | AP[0.5m] $\uparrow$ in % | Peak-F1 $\uparrow$ |
| (a) | (b) | (a)+(b) | (a) | (b) | (a)+(b) |
| 2D laser | Arras [^22] as in [^11] (DROW) | 180 | 25 | - | 56.0 | 47.4 | 50.7 | 0.58 | 0.60 | 0.59 |
| Leigh [^23] as in [^11] (DROW) | 22 | - | 67.4 | 84.6 | 72.2 | 0.71 | 0.87 | 0.75 |
| DROW3x, T=1 (DROW) [^11] + NMS [^24] | 49 | 827 | 72.7 | 91.3 | 78.4 | 0.72 | 0.88 | 0.77 |
| DR-SPAAM (DROW) [^24] | 48 | 829 | 74.4 | 91.2 | 79.8 | 0.75 | 0.88 | 0.79 |
| 3D lidar | Object3D SVM Detector [^21] | 360 | 8 | - | 77.1 | 12.6 | 52.6 | 0.83 | 0.24 | 0.63 |
| PartA2-Net (KITTI) [^29] | 7 | 5183 | 87.8 | 67.0 | 83.5 | 0.89 | 0.64 | 0.79 |
| PointPillars (KITTI) [^28] | 11 | 1217 | 77.5 | 72.8 | 76.3 | 0.83 | 0.75 | 0.80 |
| SECOND (KITTI) [^26] | 9 | 4999 | 82.3 | 87.5 | 84.1 | 0.86 | 0.82 | 0.85 |
| SECOND-DV (KITTI) [^27] | 9 | 4979 | 82.9 | 90.4 | 86.0 | 0.88 | 0.87 | 0.88 |
| SECOND-DV (ILIAD), transfer learning | 9 | 5025 | 94.4 | 97.9 | 93.9 | 0.88 | 0.94 | 0.87 |
| RGB-D (Kinect v2) | PCL + HOG-SVM [^35] | 86 | 21 | - | 70.7 | 67.9 | 69.6 | 0.73 | 0.71 | 0.72 |
| Mobility Aids [^36] | 23 | 1576 | 54.4 | 52.6 | 54.4 | 0.71 | 0.68 | 0.70 |
| RGB-D Pose 3D [^37] | 1 | 4055 | 60.3 | 92.8 | 71.4 | 0.75 | 0.95 | 0.82 |
| YOLO v3, naïve depth (COCO) [^34] | 28 | 1081 | 68.7 | 93.1 | 74.7 | 0.80 | 0.92 | 0.84 |
| RGB-D YOLO (COCO + synthetic 3D) [^1] | 24 | 3269 | 91.1 | 99.0 | 93.5 | 0.92 | 0.99 | 0.94 |
| 2D, 3D, RGB-D | Detection fusion DR-SPAAM + SECOND-DV (ILIAD) + RGB-D YOLO | 360 | 9 | 9123 | - | - | - | 0.87 | 0.92 | 0.89 |
| 3D, RGB-D | Detection fusion SECOND-DV (ILIAD) + RGB-D YOLO | 360 | 9 | 8294 | - | - | - | 0.91 | 0.96 | 0.93 |
| 3D, RGB-D | Detection fusion Same, but fuse 3D lidar only outside RGB-D FOV | 360 | 9 | 8294 | - | - | - | 0.92 | 0.99 | 0.94 |
Fig. 6: Cross-modal comparison of different human detectors on two distinct sequences from our data set in an industrial environment. Evaluation using 3D centroid annotations with a distance threshold of 0.5m is restricted to the Kinect v2 FOV for a fair comparison and performed on a 3.5 GHz Intel Quad-Core CPU with GTX 1080 GPU. "ILIAD" denotes our own intralogistics training data from the same environment.
---
深度数据。在泛化能力方面，值得注意的是，该模型所有3D相关特性（质心、定向bounding box）都仅从合成训练数据中学习得到[^33]，未使用我们目标域的真实世界数据进行任何微调。
从定性角度来看，RGB-D方法似乎是唯一能够稳健检测任意身体姿态（例如坐姿、跪姿、躺卧在地板上）下人体的方法。尽管可以通过组合多个传感器来扩展其有限的视野，但仅多个Kinect v2驱动实例就会带来极高的GPU和CPU负载，导致功耗非常高，可能不适用于移动用例。由于额外获得了视觉外观线索，机载配备至少一个RGB(-D)传感器对于需要行人重识别能力的服务机器人用例而言很有价值，例如人员引导或跟随场景[^5]。同时，需要考虑隐私问题，而2D激光和3D激光雷达在这方面的问题更小。
### D. 多传感器迁移学习结果
我们现在将采用多传感器迁移学习方法、完全从零开始在目标域数据上训练得到的领域自适应SECOND-DV 3D激光雷达检测器，与前文讨论的在KITTI数据集上训练得到的变体进行对比。从图6中可以看出，即使我们采用了不包含跟踪的相当简单的方法，由于使用性能强大的RGB-D检测器作为教师网络，我们得到的SECOND-DV结果非常可观：在两个场景的AP指标上均超过了手工标注KITTI数据训练得到的原始模型（最高提升+11.5%，整体提升+6.9%），在第二个场景的峰值F1分数上提升了+7%，且全程没有手工标注任何一个激光雷达点云。弱监督由于带来了更高的最大召回率，使得AP显著提升，仅在Dynamic场景中出现精度的小幅下降。在该场景中，适配后的激光雷达模型甚至取得了比教师网络更高的召回率。储物间序列上峰值F1分数的提升表明该模型对拥挤室内场景的适应性更好。
### E. 最优性能检测器的检测融合
从图6的最后三行可以看出，简单融合多个传感器的检测结果能够提升召回率，但代价是精度下降，因为性能较弱的传感器/检测器组合会引入额外的假阳性。因此，应当采用更复杂的投票方案，或是在校准检测器得分后进行检测到轨迹的融合。在当前设置下，当将性能优异的检测器与飞行时间RGB-D相机配合使用时，仅在RGB-D相机的视场范围之外融合3D激光雷达的数据，以此实现360度覆盖，这一方案是合理的。
### 七、结论
本文针对人体检测方法开展了跨模态分析，实验重点聚焦工业环境——这是机器人领域一个重要的应用场景，在现有基准测试中却缺乏足够的代表性。我们还证明，即便是相对简单的多传感器迁移学习方法，也能有效解决我们目标领域的训练数据稀缺问题，并提升检测器的性能。
我们从实验中得到的主要结论如下：近期在其他领域（例如汽车行业、养老护理机构）开发测试的最先进检测器，通常在我们的工业目标领域也同样表现最佳。具体而言，性能优异的RGB-D方法即便仅从合成数据中学习3D定位也能取得良好效果，而且如果在MS COCO这类大规模真实世界2D图像数据集上预训练，这类方法检测穿着特殊防护服的人员也不存在问题。与之相对，基于3D激光雷达的方法存在更大的域差距，但可以通过在目标域数据上重新训练来缓解，例如采用本文提出的迁移学习方法。值得注意的是，如果我们通过合成数据在RGB-D YOLO中学习3D定位和边界框估计，经过多传感器迁移学习后得到的3D激光雷达检测器模型，在真实世界数据上的表现优于其他来自不同域的模型。未进行域适应时存在的域差距表明，目前公开可用的3D激光雷达数据集规模太小或多样性不足，无法让深度学习方法很好地泛化到我们这类机器人场景中。
最后，我们从实用角度重新探讨第一节中的两个机器人示例：对于中等复杂度应用场景中不配备GPU、对成本敏感的消费级机器人，（低成本）2D激光雷达搭配Leigh等人提出的经典机器学习方法[^23]是一种非常有前景的组合方案。在我们的实验中，该方案的性能接近该模态下最优的深度学习方法，和其他传感器配置更丰富的方案相比，表现也出人意料地不错。对于医院配送机器人，我们的实验并未证实从RGB-D切换到3D激光雷达会导致性能大幅下降。RGB-D相机搭配本文提出的方法[^1]整体表现最佳，但如果采用本文提出的迁移学习策略在目标域上重新训练，3D激光雷达搭配SECOND-DV的表现也与之相差不大。因此，如果该应用场景存在隐私顾虑，3D激光雷达会是更合适的选择。
这些研究结果为未来工作指明了多个方向。我们观察到3D激光雷达检测器存在泛化问题，和RGB-D方法相比，它显然受部署域差距的影响更大，这一点凸显了机器人应用领域专用数据集的重要性。沿着这一方向，当Azure Kinect这类新一代传感器的数据可用后，我们将基于JackRabbit数据集[^15]开展重新评估。对检测融合进行更深入的探索也是一个很有前景的研究方向。
## 致谢
我们感谢Manuel Fernandez Carmona、Kevin Li Sun、Martin Magnusson以及整个ILIAD团队在数据记录工作中提供的帮助。
## 参考文献
## [^1]: T. Linder, K. Y. Pfeiffer, N. Vaskevicius, R. Schirmer, and K. O. Arras, “Accurate detection and 3D localization of humans using a novel YOLO-based RGB-D fusion approach and synthetic training data,” in IEEE Int. Conf. on Robotics and Automation (ICRA), 2020.
---
[^2]: N. Bellotto, S. Cosar, and Z. Yan, “Human detection and tracking,” Encyclopedia of Robotics, 2018.
[^3]: G. Ciaparrone, F. L. Snchez, S. Tabik, L. Troiano, R. Tagliaferri, and F. Herrera, "Deep learning in video multi-object tracking: A survey," Neurocomputing, 2019.
[^4]: N. Bellotto and H. Hu, “Multisensor-based human detection and tracking for mobile service robots,” IEEE Transactions on Systems, Man, and Cybernetics, Part B (Cybernetics), 2009.
[^5]: T. Linder, S. Breuers, B. Leibe, and K. O. Arras, “On multi-modal people tracking from mobile platforms in very crowded and dynamic environments,” in IEEE Int. Conf. on Robotics and Automation (ICRA), 2016.
[^6]: M. Volkhardt, C. Weinrich, and H. M. Gross, “Multi-modal people tracking on a mobile companion robot,” in European Conference on Mobile Robotics (ECMR), 2013.
[^7]: C. R. Qi, W. Liu, C. Wu, H. Su, and L. J. Guibas, "Frustum PointNets for 3D object detection from RGB-D data," in IEEE Conf. on Computer Vision and Pattern Recognition (CVPR), 2018.
[^8]: J. Ku, M. Mozifian, J. Lee, A. Harakeh, and S. Waslander, “Joint 3D proposal generation and object detection from view aggregation,” in IEEE/RSJ Int. Conf. on Intelligent Robots and Systems (IROS), 2018.
[^9]: M. Luber, G. D. Tipaldi, and K. O. Arras, "Place-dependent people tracking," Int. Journal of Robotics Research (IJRR), 2011.
[^10]: C. Weinrich, T. Wengefeld, C. Schröter, and H. Gross, “People detection and distinction of their walking aids in 2D laser range data based on generic distance-invariant features,” in IEEE Int. Symposium on Robot and Human Interactive Communication (RO-MAN), 2014.
[^11]: L. Beyer, A. Hermans, T. Linder, K. O. Arras, and B. Leibe, “Deep person detection in two-dimensional range data,” IEEE Robotics and Automation Letters, 2018.
[^12]: A. Geiger, P. Lenz, and R. Urtasun, "Are we ready for autonomous driving? The KITTI vision benchmark suite," in IEEE Conf. on Computer Vision and Pattern Recognition (CVPR), 2012.
[^13]: P. Sun, H. Kretzschmar, X. Dotiwalla, A. Chouard, V. Patnaik, P. Tsui, J. Guo, Y. Zhou, Y. Chai, B. Caine, V. Vasudevan, W. Han, J. Ngiam, H. Zhao, A. Timofeev, S. Ettinger, M. Krivokon, A. Gao, A. Joshi, Y. Zhang, J. Shlens, Z. Chen, and D. Anguelov, "Scalability in perception for autonomous driving: Waymo open dataset," in IEEE Conf. on Computer Vision and Pattern Recognition (CVPR), 2020.
[^14]: H. Caesar, V. Bankiti, A. H. Lang, S. Vora, V. E. Liong, Q. Xu, A. Krishnan, Y. Pan, G. Baldan, and O. Beijbom, "nuScenes: A multimodal dataset for autonomous driving," in IEEE Conf. on Computer Vision and Pattern Recognition (CVPR), 2020.
[^15]: R. Martn-Martn, H. Rezatofighi, A. Shenoi, M. Patel, J. Gwak, N. Dass, A. Federman, P. Goebel, and S. Savarese, "JRDB: A dataset and benchmark for visual perception for navigation in human environments," arXiv preprint, 2019.
[^16]: D. Jia, A. Hermans, and B. Leibe, “Domain and modality gaps for LiDAR-based person detection on mobile robots,” arXiv preprint, 2021.
[^17]: C. B. Rist, M. Enzweiler, and D. M. Gavrila, “Cross-sensor deep domain adaptation for LiDAR detection and segmentation,” in IEEE Intelligent Vehicles Symposium (IV), 2019.
[^18]: F. Piewak, P. Pinggera, and M. Zllner, “Analyzing the cross-sensor portability of neural network architectures for LiDAR-based semantic labeling,” in IEEE Intelligent Transportation Systems Conference (ITSC), 2019.
[^19]: F. Piewak, P. Pinggera, M. Schäfer, D. Peter, B. Schwarz, N. Schneider, M. Enzweiler, D. Pfeiffer, and M. Zöllner, “Boosting LiDAR-based semantic labeling by cross-modal training data generation,” in Computer Vision – ECCV 2018 Workshops, 2018.
[^20]: B. H. Wang, W. Chao, Y. Wang, B. Hariharan, K. Q. Weinberger, and M. Campbell, "LDLS: 3-D object segmentation through label diffusion from 2-D images," IEEE Robotics and Automation Letters, 2019.
[^21]: Z. Yan, L. Sun, T. Duckett, and N. Bellotto, “Multisensor online transfer learning for 3d lidar-based human detection with a mobile robot,” in IEEE/RSJ Int. Conf. on Intelligent Robots and Systems (IROS), 2018.
[^22]: K. O. Arras, O. M. Mozos, and W. Burgard, “Using boosted features for the detection of people in 2D range data,” in IEEE Int. Conf. on Robotics and Automation (ICRA), 2007.
[^23]: A. Leigh, J. Pineau, N. Olmedo, and H. Zhang, “Person tracking and following with 2d laser scanners,” in IEEE Int. Conf. on Robotics and Automation (ICRA), 2015.
[^24]: D. Jia, A. Hermans, and B. Leibe, "DR-SPAAM: A spatial-attention and auto-regressive model for person detection in 2D range data," in IEEE/RSJ Int. Conf. on Intelligent Robots and Systems (IROS), 2020.
[^25]: MMDetection3D, "Open-source 3D object detection toolbox by OpenMMLab," Multimedia Lab at the Chinese University of Hong Kong, 2020. [Online]. Available:
[^26]: Y. Yan, Y. Mao, and B. Li, "SECOND: Sparsely Embedded Convolutional Detection," Sensors, 2018.
[^27]: Y. Zhou, P. Sun, Y. Zhang, D. Anguelov, J. Gao, T. Ouyang, J. Guo, J. Ngiam, and V. Vasudevan, “End-to-end multi-view fusion for 3d object detection in LiDAR point clouds,” in Conference on Robot Learning (CoRL), 2020.
[^28]: A. H. Lang, S. Vora, H. Caesar, L. Zhou, J. Yang, and O. Beijbom, "PointPillars: Fast Encoders for Object Detection from Point Clouds," in IEEE Conf. on Computer Vision and Pattern Recognition (CVPR), 2019.
[^29]: S. Shi, Z. Wang, J. Shi, X. Wang, and H. Li, “From Points to Parts: 3D Object Detection from Point Cloud with Part-aware and Part-aggregation Network,” IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI), 2020.
[^30]: Y. Zhou and O. Tuzel, "VoxelNet: End-to-end learning for point cloud based 3D object detection," in IEEE Conf. on Computer Vision and Pattern Recognition (CVPR), 2018.
[^31]: W. Liu, D. Anguelov, D. Erhan, C. Szegedy, S. Reed, C.-Y. Fu, and A. C. Berg, “SSD: Single shot multibox detector,” in European Conference on Computer Vision (ECCV), 2016.
[^32]: T.-Y. Lin, M. Maire, S. Belongie, J. Hays, P. Perona, D. Ramanan, P. Dollár, and C. L. Zitnick, "Microsoft COCO: Common Objects in Context," in European Conference on Computer Vision (ECCV), 2014.
[^33]: T. Linder, M. J. Hernandez Leon, N. Vaskevicius, and K. O. Arras, “Towards training person detectors for mobile robots using synthetically generated RGB-D data,” in Computer Vision and Pattern Recognition (CVPR) 2019 Workshop on 3D Scene Generation, 2019.
[^34]: T. Linder, D. Griesser, N. Vaskevicius, and K. O. Arras, “Towards accurate 3D person detection and localization from RGB-D in cluttered environments,” in IROS 2018 Workshop on Robotics for Logistics in Warehouses and Environments Shared with Humans, 2018.
[^35]: M. Munaro and E. Menegatti, “Fast RGB-D people tracking for service robots,” Autonomous Robots (AURO), 2014.
[^36]: A. Vasquez, M. Kollmitz, A. Eitel, and W. Burgard, “Deep detection of people and their mobility aids for a hospital robot,” in European Conference on Mobile Robotics (ECMR), 2017.
[^37]: C. Zimmermann, T. Welschehold, C. Dornhege, W. Burgard, and T. Brox, "3D human pose estimation in RGBD images for robotic task learning," in Proc. IEEE Int. Conf. on Robotics and Automation (ICRA), 2018.
[^38]: Z. Cao, T. Simon, S.-E. Wei, and Y. Sheikh, "Realtime multi-person 2D pose estimation using part affinity fields," in IEEE Conf. on Computer Vision and Pattern Recognition (CVPR), 2017.
[^39]: D. Jia, M. Steinweg, A. Hermans, and B. Leibe, “Self-Supervised Person Detection in 2D Range Data using a Calibrated Camera,” in IEEE Int. Conf. on Robotics and Automation (ICRA), 2021.
[^40]: L. Beyer, A. Hermans, and B. Leibe, “Biternion nets: Continuous head pose regression from discrete training labels,” Pattern Recognition: 37th German Conference, (GCPR), 2015.
[^41]: B. Lewandowski, D. Seichter, T. Wengefeld, L. Pfennig, H. Drumm, and H.-M. Gross, “Deep Orientation: Fast and Robust Upper Body Orientation Estimation for Mobile Robotic Applications,” in IEEE/RSJ Int. Conf. on Intelligent Robots and Systems (IROS), 2019.