# 基于搭载3D LiDAR的多移动机器人的人类特征识别
牧田浩树¹、德拉任·布尔希奇¹、神田隆行¹
摘要—移动机器人正逐步进入人类生活空间。除了能够实现自身精准定位，在人员密集环境中，机器人还需要检测行人并识别其特征。本工作聚焦于使用3D LiDAR进行传感，重点研究能否利用它对机器人周边人员进行特征分类。此外，由于使用多台机器人的传感器有望获得更准确的识别结果，我们对比了多种组合多台3D LiDAR数据的方案。我们通过仿真数据和实际场景数据对这些方法进行了评估。针对真实场景实验，我们构建了一个全新数据集，由多台搭载3D LiDAR的机器人在购物中心采集完成，其中包含了检测到的行人特征的手动标注。实验结果表明，融合多台3D LiDAR的数据能够提升识别准确率，但我们在真实场景数据中仍未达到令人满意的准确率。
## 一、引言
在不久的将来，大量不同类型的移动机器人将与我们共享日常环境与公共空间。机器人将承担各类服务工作，例如物品配送、路径引导、巡逻以及提供个人移动支持。随着越来越多机器人在同一空间开展工作，多机器人之间的协作将带来更优质的服务。
要在人类周边移动并工作，机器人需要具备先进的能力。它们不仅需要理解周边环境、确定自身位置，还需要检测人类、识别其状态与行为。机器人可通过多种不同的车载传感器实现该目标，其中3D LiDAR是极具发展前景的一种。3D LiDAR目前广受关注，常被用作自动驾驶的主传感器。当前业内正大力研发性能更优、成本更低的3D LiDAR，这将推动其应用范围从自动驾驶汽车进一步拓展，尤其将在移动机器人领域得到更广泛的应用。尽管激光测距仪（即2D LiDAR）目前仍被广泛应用于机器人，尤其是用于机器人定位，3D LiDAR能够提供精准的三维测量，因此可以采集到周边人员更详细的信息。此外，和移动机器人上用于观测人员的其他传感器（如RGB相机）相比，3D LiDAR拥有诸多优势，例如对光照条件鲁棒性强。而对于隐私问题受到重点关注的公共空间而言，3D LiDAR是比相机更优的选择，因为它无法轻易识别出周边人员的身份。不过，目前常用的3D LiDAR传感器的一个缺点是测量结果较为稀疏，这给传感任务带来了挑战。
对于与人类共享空间的机器人而言，识别周边人员的特征能够让机器人与人类的交互更加顺畅。例如，如果机器人得知某个人携带了包袋，就可以主动提供搬运帮助，或是调整向该人员递送物品的方式；另一方面，在商场为顾客推荐游玩场所时，顾客的性别和年龄信息也十分有用。由于3D LiDAR可以测量周边人员的三维形状，因此可用于识别会对交互产生影响的人员特征，例如性别、年龄、身高或是携带物品。然而，尽管3D LiDAR目前已被应用于人类检测与跟踪领域，针对人类特征识别的相关研究至今仍十分少见。
此外，由于未来同一空间内将部署多台机器人，我们认为融合多台机器人所搭载3D激光雷达的信息能够进一步提升识别准确率。但如何融合测量数据，实际能取得多大的性能提升，目前仍是一个开放性问题。
本文针对上述问题的研究做出了两项主要贡献。首先，我们对多种基于多台3D激光雷达数据估算行人特征的方法进行了评估，这些方法在模拟数据和真实行人数据上都完成了测试。其次，我们利用三台搭载3D激光雷达的移动机器人，构建了一个独一无二的公共场所行人测量数据集。据我们所知，在本研究开展之前，尚无此类数据集。
### 二、相关工作
### A. 3D激光雷达在移动机器人中的应用
在移动机器人领域，3D激光雷达的研究大多聚焦于自定位和环境地图构建任务 [^1] [^2] [^3]。在这类研究中，研究人员利用3D激光雷达结合各类SLAM（同步定位与地图构建）算法构建环境地图。3D地图构建完成后，便可通过将地图与3D激光雷达测量结果比对，实现机器人自定位。尽管定位并非本文的核心研究内容，我们仍利用3D激光雷达实现的定位结果简化了人体检测和特征提取流程。
---
### B. 基于深度数据的人体感知
深度信息也可用于识别机器人周围的人体或物体。例如，3D激光雷达可用于检测和跟踪机器人周围的人体及其他物体。尤其是在自动驾驶领域，已有大量针对车辆和行人检测的研究，这项能力对自动驾驶汽车至关重要，是规避碰撞所必需的。例如，在 [^4] 和 [^5] 中，研究人员利用3D激光雷达检测自动驾驶车辆周围的行人。针对机器人周围行人的跟踪也已有诸多研究 [^6] [^7] [^8]。但利用3D激光雷达获取行人特征的研究仍然十分稀少。我们近期发表于 [^9] 的工作是一个例外，该工作研究了利用单台机器人机载3D激光雷达估计行人的性别和身体朝向。本文将该研究拓展到多台3D激光雷达的场景。
另一类同样可输出深度信息的常用传感器是深度相机。深度相机通常比3D激光雷达分辨率更高，但测量范围更小。深度相机常与RGB相机结合使用，这种组合传感器被称为RGB-D相机（微软Kinect传感器就是典型例子）。已有许多研究利用深度相机或RGB-D相机进行行人检测 [^10] 或跟踪 [^11] [^12] [^13]，同时也有不少研究利用这类传感器识别行人特征。例如，Linder等人在 [^14] 中研究了利用RGB-D数据识别性别，在 [^15] 中研究了识别其他人体特征。在 [^14] 的部分实验结果中，研究人员仅使用了深度信息（即不使用RGB信息），这一点与本研究类似。
### C. 多传感器识别
利用多个传感器进行感知已得到广泛研究。一般而言，当使用多传感器完成分类任务时，如何融合多个传感器的测量结果是一个核心问题。大致来说，融合主要有三种主流方法（参见例如[^16]）：
- 输入融合（测量融合）：直接组合传感器的原始测量值，随后对组合后的数据进行分类（需要注意的是，对于3D LiDAR（即深度）数据，可以通过拼接点云轻松完成该操作，但对于RGB等其他传感模态，如何实现这一步并不明确）
- 深度融合（早期融合，特征级融合）：对每个传感器的数据进行部分处理，融合得到的特征，再使用融合后的特征完成最终分类
- 分数融合（晚期融合，输出融合，决策级融合）：分别对每个传感器的数据进行分类，再对识别分数进行融合
目前已有一些研究使用了多个3D LiDAR。其中一个例子是[^17]，该研究提出了一个包含两台Velodyne HDL-32E激光雷达以及若干其他传感器的数据集。但在该研究中，所有传感器都安装在同一辆汽车上。这意味着它们相互之间始终保持固定的空间关系，因此直观的
Fig. 1. Point cloud observed from Velodyne HDL-32E mounted on a robot.
使用方式就是组合它们的测量结果，也就是采用输入融合。相比之下，本研究关注的场景是每台3D LiDAR分别安装在不同的机器人上，这种情况下这种直接组合的方法难以适用（参见第四节）。
深度融合的实现方法已得到广泛研究。如今，分类任务最常用的方法是使用神经网络，在神经网络中深度融合对应于在网络的中间层对数据（特征）进行融合。这类研究的一个例子是[^18]，该研究提出了一种融合卷积神经网络中卷积层类图像输出的方法。这种融合方法称为视点池化，并且在[^18]中它被用于融合多个RGB相机的数据。本研究正是采用了这种方法。
已有多项研究对深度融合和分数融合进行了比较[^16]，[^19]。它们的结果大多表明，在神经网络中间进行融合比分数融合能获得更高的识别准确率。
除了使用相同传感模态的传感器外，也可以组合不同模态的传感器，并采用类似的融合方法。例如，已有多项研究研究了如何使用3D LiDAR和RGB相机的数据，并使用深度融合的变体对二者进行融合[^20]，[^21]。
### III. 作为输入的3D LiDAR数据
本研究采用3D LiDAR测量机器人的周边环境。3D LiDAR输出的数据包含大量代表目标物体表面的三维点（即“3D点云”）。图1展示了一个3D LiDAR输出的示例。
本研究使用的3D LiDAR传感器为Velodyne HDL-32E $^{1}$。它是一种旋转多层扫描仪，依靠32个激光单元测量到物体的距离。激光单元垂直排列，并且绕中心轴以每秒10次的速度旋转。因此我们可以得到如图1所示的环境扫描结果。由于该传感器只有32个传感单元，其垂直角分辨率相当低，约为1.33°。另一方面，
---
Fig. 2. Example conversion of 3D point cloud (left) into 2D depth image (right)
水平角分辨率高得多（ $\approx0.16^{\circ}$）。较低的垂直分辨率是测量数据相对稀疏的原因。
我们关注的是每个人的三维点云。然而，由于三维点云数据较为稀疏，我们遵循 [^9] 中的方法，首先将其转换为二维深度图像，再将深度图像作为神经网络的输入进行识别。
图2展示了一个示例点云以及对应的转换后深度图像。转换得到的图像宽度为40像素，高度为30像素。该尺寸经实验确定是合适的：它使得神经网络输入层的参数量相对较少，同时不会在转换过程中造成过多的数据损失。
### 四、分类方法
正如第II-C节所述，多传感器数据融合有三种基本方式：输入融合、深度融合和分数融合。
需要注意的是，机器人和行人都在环境中移动，因此检测到特定行人的激光雷达数量会发生变化，即在某一特定时刻，一个行人可被1台、2台或多台激光雷达观测到。因此，所有数据融合方法都必须能够在传感器数量变化的情况下工作。这是我们研究问题的显著特征，现有其他研究通常未考虑这一点，它们都假设需要融合的传感器数量是固定的——例如 [^19] 就预设了恰好有2个相机视角。
在实际应用中，融合不同机器人搭载的三维激光雷达的原始数据（即输入融合）难度很大，因为该方法要求每个机器人的自定位精度非常高。即使机器人位姿估计的误差很小，也会导致点云配准严重错位。融合这类数据会得到失真的点云，进而严重影响识别性能。
因此我们测试了另外两种方法：在神经网络中间层融合多台三维激光雷达的数据（深度融合），或是在网络输出层融合（分数融合）。此外，我们还测试了仅使用单个传感器数据的识别方法作为基线，下文将介绍这些方法的具体细节。
### A. 使用单个三维激光雷达
为了得到可用于比较多传感器融合方法效果的基线，我们采用了仅使用单个三维激光雷达数据的简单方法。
我们使用卷积神经网络完成分类任务，图3a展示了网络结构。网络输入为前文所述的30×40像素深度图像。网络包含三层卷积层和最大池化层，之后依次连接全连接层、批量归一化层，最后是softmax输出层。该网络的所有卷积层都使用零填充，以保证输入和输出尺寸相同。如图3所示，从最靠近输入的一层开始，各卷积层的滤波器尺寸分别为5×5像素、3×3和3×3，滤波器数量分别为8、16和16。
### B. 分数融合
融合多台3D LiDAR数据的一种直接方法是对每个传感器分别执行识别，再融合得到的分数。这类融合方式的神经网络结构如图3b所示。每台3D LiDAR的数据首先会经过一个神经网络，计算得到该传感器的识别分数。所有传感器对应的网络拥有相同的权重和结构（与单传感器识别网络的结构和权重完全一致）。
预测阶段，首先计算每个3D LiDAR的得分，生成二维向量。对于同一个人，这类向量的数量等于能够观测到该人的3D LiDAR数量。最终融合得分通过对所有得分向量取逐元素最大值计算得到。（我们也测试了取平均值的方法，但结果非常接近，因此未对其进行汇报。）
### C. 深度融合
为了在神经网络的中间层融合数据，我们使用了[^18]中提出的名为"view pooling"（视图池化）的层。带有视图池化层的网络结构如图3c所示。视图池化层融合来自多个池化层的输出，将各输入的逐元素最大值作为自身输出。该层之前所有卷积层的参数在各个输入分支间共享。（需要注意的是，视图池化除最大值外也可以采用值平均，但[^18]中的结果表明，最大值法获得的识别精度略高于平均值法，因此我们在视图池化层中使用最大值操作。）
该方法有多个优良特性：首先，由于权重共享，参数量不会随着输入数量的增加而增长。实际上，由于我们使用的层与单传感器网络和分数融合网络中的层完全相同，因此参数量保持不变（视图池化本身不包含参数）。其次，池化层的最大值操作保证了输入的缺失不会导致输出发生突变。因此，随着传感器数量减少，精度会平缓下降，并且识别
---
a
b
C
Fig. 3. The networks structures compared in this study: a) using single sensor (baseline method); b) fusion of the per sensor recognition scores ("score fusion"); c) fusion in a network middle layer ("deep fusion").
Fig. 4. Example of two simulated robots and a person (left), and the resulting point clouds from the two 3D LiDARs (right).
性能即使在传感器数量持续变化的情况下也能保持稳定。
### D. 网络训练与评估
训练深度融合网络时，输入是某一时刻所有检测到特定目标的3D LiDAR的数据。与之相对，单传感器识别神经网络（与分数融合中输入分支的网络结构相同）仅用单个3D LiDAR的数据训练。为了让结果具备可比性，我们对每个传感器的数据分别进行训练和评估，再对得到的精度值取平均。
三种方法的神经网络训练均收敛迅速，因此我们将最大训练轮数设置为20。此外我们使用早停法，当误差函数的值不再改善时就停止训练。
所有结果的识别精度均采用10折交叉验证进行评估。在交叉验证的每一步中，划分样本时会保证训练数据和验证数据不包含相同的模型。
### V. 仿真数据评估
### A. 数据采集
我们首先基于行人的仿真3D LiDAR测量结果对比了不同融合方法。所有仿真是通过MORSE仿真器完成的 [^22]。我们使用了MORSE仿真器的定制扩展版本，该版本支持对多个动画人物进行仿真，还提供了精度更优的3D LiDAR测量仿真 [^23]。
在仿真中，1名行人与6台搭载Velodyne LiDAR的机器人被放置在仿真场景中。每
TABLE I
THE RECOGNITION ACCURACY ON DATA FROM SIMULATION
| Network type | Bag task | Gender task |
| Single sensor | 73.5 % | 75.1 % |
| Score fusion | 97.1 % | 97.8 % |
| Deep fusion | 89.7 % | 95.7 % |
次仿真运行4至5秒，之后更换不同的人体模型重启仿真。本次仿真总共使用了98个不同的3D人体模型（52个男性，46个女性）。每次仿真运行时，6台机器人的位置和朝向都会在行人附近随机生成。图4展示了一个仿真实例场景（为简化示意仅使用两台机器人）。
我们设置仿真时保证传感器仅能观测到行人，此外所有机器人的绝对位置都是已知的，这简化了点云预处理与多传感器融合的过程。生成的仿真数据集总共包含71300帧数据，每一帧包含同一时刻所有传感器的全部测量结果，也就是来自全部6个传感器的点云。
### B. 评估结果
我们利用仿真数据完成了模型学习与预测，并测试了识别准确率。我们在两项任务上测试准确率：判断行人是否携带包、对行人进行性别分类。仿真人体模型仅包含双肩包这一种包类型，和图4中的示例一致。
表I展示了两项任务得到的识别准确率。可见，正如预期，使用多台3D LiDAR的识别准确率高于单台3D LiDAR。结果还表明，分数融合的识别准确率高于深度融合，这一差异在包识别任务中尤为明显。
### C. 讨论
分数融合性能优于深度融合的结果似乎与此前已有研究（例如[^19]）报告的结论相矛盾。这可能源于3D LiDAR获取的深度数据与[^19]中使用的RGB数据之间的差异。此外，由于视图池化层对每个
---
Fig. 5. Scene during data collection.
像素输出最大值，因此仅从多个输入中选择一个，在模型学习过程中每个像素的误差只会反向传播给多个输入中的一个。我们推测这可能会导致深度融合网络的学习效率低于分数融合，因此需要更多数据才能训练得到良好的模型。不过，要证实这一观点还需要进一步的研究。
### VI. 实际激光雷达数据评估
上文介绍的仿真数据中，人体模型数量有限、运动简单，场景中始终只有一个行人、所有传感器的视野都不存在遮挡，且仿真测量结果是理想化的。显然，这不足以总结融合方法在实际传感器上的性能表现。
尽管已有不少数据集提供了真实场景采集的3D LiDAR测量结果，尤其是[^17]和[^24]这类自动驾驶数据集，但目前不存在符合我们研究需求的数据集，也就是包含多台机器人（或多辆汽车）在同一区域移动采集的激光雷达测量数据的数据集。因此我们自行完成了本次数据采集工作。
### A. 数据采集
我们使用四台机器人采集数据：三台安装在全向移动平台上的Robovie R3²，以及一台Robovie II。但由于其中一台在数据采集过程中出现技术故障，我们仅使用了三台机器人采集的数据。每台机器人的背部都安装了一台3D LiDAR，安装位置约距离地面1.5米，见图5。本次数据采集在日本大阪的ATC购物中心内完成。数据采集期间，由人类操作员通过操纵杆手动操控机器人，操控方式模拟安保人员或咨询工作人员的移动模式：机器人会停止或原地转向，并不时移动到附近位置。本研究共使用了三轮采集的数据，总时长约25分钟。
### B. 人体点云提取
与仿真得到的数据不同，从实际测量结果中提取每个人的点云并没有那么简单，因为环境中的所有物体都会被LiDAR测量记录下来。我们采用了[^9]中的相同方法，在此做简要总结。
我们利用预先构建的环境3D地图完成机器人定位，所有机器人都使用同一份地图。LiDAR测量结果中与3D地图不匹配的部分被判定为对应运动物体，也就是周围的行人，因此我们将这些部分聚类为分属于不同行人的独立点簇。点数过少的聚类会被丢弃。最终，我们利用提取出的聚类结果跟踪每个行人的位置：通过持续记录所有已跟踪行人的信息，应用卡尔曼滤波，结合所有传感器提取的聚类结果更新行人位置。
### C. 标注
数据采集期间，我们还通过布置在场地内的固定摄像头记录了机器人周边行人的视频。结合视频与跟踪结果，我们可以对被跟踪行人的特征进行手动标注。
我们标注的特征包括性别（男性或女性）、年龄（幼儿、成人或老年人）以及行人是否携带包（未携带包、包在身前、包在背后、包在右侧、包在左侧、包同时在左右两侧）。这些特征都可以从摄像头画面中轻松判断。经过多名标注人员的初始检查，我们确认这些特征几乎不会产生标注混淆，因此所有标注工作由一人完成。
最终得到的数据集共包含53510帧标注数据。其中约64.8%为男性，36.2%为女性。携带包的行人占比为42.2%（包在身前、背后、左侧、右侧、同时在两侧的占比分别为7.5%、16.3%、12.1%、17.7%和4.0%）。年龄分布为：儿童4.7%，成人89.0%，老年人6.3%。
包含行人点云和对应标注的数据集已免费公开 $^{3}$。
### D. 评估结果
部分标注特征的类别分布并不均衡——例如与成人样本量相比，儿童和老年人的样本数量很少。处理高度不均衡的类别对模型学习来说颇具挑战性，且这并非本研究的核心关注点，因此在评估中我们仅针对类别相对均衡的特征进行识别。我们最终在两项任务上开展了训练和预测：行人是否携带包分类（未携带包 vs 携带任意类型包）以及行人性别分类。
表II展示了所得结果。与模拟数据的情况类似，结果表明，融合多个LiDAR的数据可以实现比使用单个3D LiDAR更高的精度。然而，与模拟数据不同，对比两种数据融合方式并未发现识别精度存在显著差异。此外，本文得到的识别精度要低得多。
---
TABLE II
RECOGNITION ACCURACY ON DATA FROM ACTUAL PEDESTRIANS
| Network type | Bag task | Gender task |
| Single sensor | 57.1% | 58.9% |
| Score fusion | 60.4% | 61.2% |
| Deep fusion | 61.7% | 61.1% |
低于使用模拟行人得到的结果，并且可能不足以满足任何实际应用的需求。
### E. 讨论
模拟数据和真实世界数据得到的识别精度存在较大差异，这可能有几个原因。一个合理的原因是模拟器中的人体模型没有反映真实行人的实际特征。模拟模型的数量有限，且它们的外形（衣物、发型）都是固定的。此外，模拟器中模型的特征可能更容易识别；例如，模拟器中的所有包都是背包，而在真实世界数据集中识别一个人是否携带任何类型的包是一项更困难的任务。
另一个原因可能是实际LiDAR数据中的样本数量问题。由于真实行人的外形存在更多变化，数据集的规模可能本就不足。
最后，一个重要的差异是：在模拟实验中，机器人围绕在目标人员周围，且距离都相当近。这在真实世界中很难实现，因为会干扰行人的正常活动。大多数情况下，所有LiDAR都位于行人的同一侧，只有一两个LiDAR靠近行人，正如图5所示的情况。
构建更大的数据集可以提高识别精度。此外，本研究仅尝试基于单次测量估计行人特征，但我们也可以融合多个时刻的识别结果。正如[^9]的结果所示，这可以显著提高识别精度。
### VII. 结论
本研究聚焦于使用多个3D LiDAR估计行人特征。为此，我们使用三台搭载了3D LiDAR的机器人构建了一个独特的真实行人数据集，并同时在该数据集和模拟数据集上评估了多种数据融合方法。结果表明，使用多个3D LiDAR确实能够提高识别精度。此外，在模拟数据上，分数融合比深度融合获得了更高的精度，使用六个3D LiDAR时得到的精度已经相当高。然而，在真实世界数据上得到的精度较低。这一问题目前尚无明确结论，因此我们未来的研究将聚焦于提高识别精度的方法。
## 参考文献
[^1]: J. Zhang and S. Singh, "Loam: Lidar odometry and mapping in real-time." in Robotics: Science and Systems, vol. 2, no. 9, 2014.
[^2]: F. Moosmann and C. Stiller, "Velodyne slam," in 2011 IEEE Intelligent Vehicles Symposium, 2011, pp. 393–398.
[^3]: A. Nüchter, K. Lingemann, J. Hertzberg, and H. Surmann, “6d slam—3d mapping outdoor environments,” Journal of Field Robotics, vol. 24, no. 8-9, pp. 699–722, 2007.
[^4]: K. Kidono, T. Miyasaka, A. Watanabe, T. Naito, and J. Miura, “Pedestrian recognition using high-definition lidar,” in 2011 IEEE Intelligent Vehicles Symposium, 2011, pp. 405–410.
[^5]: K. Li, X. Wang, Y. Xu, and J. Wang, “Density enhancement-based long-range pedestrian detection using 3-d range data,” IEEE Transactions on Intelligent Transportation Systems, vol. 17, no. 5, pp. 1368–1380, 2015.
[^6]: L. Spinello, M. Luber, and K. O. Arras, “Tracking people in 3d using a bottom-up top-down detector,” in 2011 IEEE International Conference on Robotics and Automation, 2011, pp. 1304–1310.
[^7]: M. Häselich, B. Jöbgen, N. Wojke, J. Hedrich, and D. Paulus, “Confidence-based pedestrian tracking in unstructured environments using 3d laser distance measurements,” in 2014 IEEE/RSJ International Conference on Intelligent Robots and Systems, 2014, pp. 4118–4123.
[^8]: Z. Yan, T. Duckett, and N. Bellotto, “Online learning for human classification in 3d lidar-based tracking,” in 2017 IEEE/RSJ International Conference on Intelligent Robots and Systems, 2017, pp. 864–871.
[^9]: D. Bršičić, R. W. Evans, M. Rehm, and T. Kanda, “Using a rotating 3d lidar on a mobile robot for estimation of person’s body angle and gender,” Sensors, vol. 20, no. 14, p. 3964, 2020.
[^10]: L. Spinello and K. O. Arras, “People detection in rgb-d data,” in 2011 IEEE/RSJ International Conference on Intelligent Robots and Systems, 2011, pp. 3838–3843.
[^11]: M. Luber, L. Spinello, and K. O. Arras, “People tracking in rgb-d data with on-line boosted target models,” in 2011 IEEE/RSJ International Conference on Intelligent Robots and Systems, 2011, pp. 3844–3849.
[^12]: D. Bršić, T. Kanda, T. Ikeda, and T. Miyashita, “Person tracking in large public spaces using 3-d range sensors,” IEEE Transactions on Human-Machine Systems, vol. 43, no. 6, pp. 522–534, 2013.
[^13]: M. Munaro and E. Menegatti, “Fast rgb-d people tracking for service robots,” Autonomous Robots, vol. 37, no. 3, pp. 227–242, 2014.
[^14]: T. Linder, S. Wehner, and K. O. Arras, “Real-time full-body human gender recognition in (rgb)-d data,” in 2015 IEEE International Conference on Robotics and Automation, 2015, pp. 3039–3045.
[^15]: T. Linder and K. O. Arras, “Real-time full-body human attribute classification in rgb-d using a tessellation boosting approach,” in 2015 IEEE/RSJ International Conference on Intelligent Robots and Systems, 2015, pp. 1335–1341.
[^16]: J. Sanchez-Riera, K.-L. Hua, Y.-S. Hsiao, T. Lim, S. C. Hidayati, and W.-H. Cheng, "A comparative study of data fusion for rgb-d based visual recognition," Pattern Recognition Letters, vol. 73, pp. 1–6, 2016.
[^17]: Z. Yan, L. Sun, T. Krajnik, and Y. Ruichek, “EU long-term dataset with multiple sensors for autonomous driving,” CoRR, vol. abs/1909.03330, 2019. [Online]. Available:
[^18]: H. Su, S. Maji, E. Kalogerakis, and E. Learned-Miller, “Multi-view convolutional neural networks for 3d shape recognition,” in IEEE international conference on computer vision, 2015, pp. 945–953.
[^19]: C. Feichtenhofer, A. Pinz, and A. Zisserman, “Convolutional two-stream network fusion for video action recognition,” in IEEE conference on computer vision and pattern recognition, 2016, pp. 1933–1941.
[^20]: X. Chen, H. Ma, J. Wan, B. Li, and T. Xia, “Multi-view 3d object detection network for autonomous driving,” in IEEE Conference on Computer Vision and Pattern Recognition, 2017, pp. 1907–1915.
[^21]: Z. Wang, W. Zhan, and M. Tomizuka, “Fusing bird’s eye view lidar point cloud and front view camera image for 3d object detection,” in 2018 IEEE Intelligent Vehicles Symposium, 2018, pp. 1–6.
[^22]: G. Echeverria, N. Lassabe, A. Degroote, and S. Lemaignan, “Modular open robots simulation engine: Morse,” in 2011 IEEE International Conference on Robotics and Automation, 2011, pp. 46–51.
[^23]: S. Satake, T. Kaczmarek, D. Bršić, and T. Kanda, “Facilitating software development for mobile social robots by simulating interactions between a robot and pedestrians,” in 14th ACM/IEEE International Conference on Human-Robot Interaction, 2019, pp. 626–627.
[^24]: A. Geiger, P. Lenz, C. Stiller, and R. Urtasun, “Vision meets robotics: The kitti dataset,” The International Journal of Robotics Research, vol. 32, no. 11, pp. 1231–1237, 2013.