收稿日期 2019年3月28日，录用日期 2019年4月18日，当前版本日期 2019年5月6日。数字对象标识符 10.1109/ACCESS.2019.2913433 # 面向人体分割的自动标注LiDAR数据生成与基于距离的集成学习 WONJIK KIM $^{1,2}$，（IEEE会员），MASAYUKI TANAKA $^{1,2}$，（IEEE会员），MASATOSHI OKUTOMI $^{1}$，（IEEE会员），及 YOKO SASAKI $^{2}$，（IEEE会员） $^{1}$日本东京工业大学工学部系统与控制工程系，东京 152-8550，日本 $^{2}$日本产业技术综合研究所人工智能研究中心，东京 135-0064，日本 通讯作者：Wonjik Kim（） ## 摘要 随着深度神经网络的发展，目前已有多种前沿网络基于激光雷达采集的点云开展人体分割研究。然而，这些网络的性能极大依赖于训练数据，收集训练数据过程中的一大难题是标注工作。要得到真值标签必须依靠人工标注，成本很高。因此，本文提出一种可任意调整参数或数据生成环境的自动标注数据生成流程。我们的方法利用名为Dhaiba的人体模型和Miraikan背景生成逼真的人工数据，本文给出通过该流程生成的100万条数据。此外，我们为利用该数据生成流程提出了一种基于生成数据的集成学习方法。本文介绍了该生成流程的参数规范、数据细节，阐述了集成学习方法，并对多种方法进行了评估。 关键词 人工智能，机器学习，计算机视觉，LiDAR ### 一、引言 深度神经网络对计算机视觉、机器人应用等诸多领域产生了深远影响。例如，目前已经提出了多种高性能深度神经网络，用于RGB图像的像素级分割 [^1] [^2] [^3]。在RGB图像分割取得成功后，针对深度图和点云数据的分割网络得到了大量研究 [^4] [^5] [^6] [^7]。人体分割在各类机器人应用中都十分重要。近年来，激光探测与测距（LiDAR）已成为机器人导航的强大工具。因此，本研究聚焦于利用LiDAR采集的三维点云数据开展人体分割研究。 深度神经网络通常需要数量相当庞大的人工标注训练数据才能实现高性能。收集足够数量的标注数据可能会在时间和金钱两方面产生巨大成本。本研究中，我们开发了一种可降低人工标注成本的数据生成流水线。所提出的数据生成流水线包含三个步骤：1）背景数据采集，2）人体模型构建，3）带人体标注的激光雷达（LiDAR）数据生成。该数据生成流水线可提供深度图、带xyz坐标的点云数据以及人体标注。生成的数据本身已经包含人体标注，因此无需额外的人工标注流程。此外，所提出的数据生成流水线可通过更改若干参数，生成任意人体尺寸、适配不同类型激光雷达、不同激光雷达与人体距离的点云数据。 我们利用所提出的流水线生成的激光雷达数据构建并训练了人体分割网络[^8]。随后我们观察到，人体分割性能取决于人体与传感器之间的距离。通常来说，远距离目标比近距离目标更难分割。我们认为有两点原因：第一，远距离目标对应的激光雷达数据量少于近距离目标。 --- 其次，远距离目标对应的训练样本数量通常较少，因为其他物体和/或墙体会遮挡远距离目标。 在此基础上，我们开发了一种面向人体分割的新型基于距离的集成学习方法。首先，我们合成了不同距离区间的激光雷达训练数据。随后，使用不同距离区间的激光雷达训练数据分别训练多个网络。在推理阶段，将这些训练完成网络的输出基于距离进行集成。我们将这种训练方法称为基于距离的集成训练。 我们的目标是通过构建良好的训练数据提升基于学习的人体分割性能。从实验结果中我们发现，使用全部数据的简单训练方法往往表现不佳。据此，我们提出了一种使用经不同数据集调优的网络的集成方法。针对该集成方法，我们利用所提出的数据生成流水线生成了按人体模型距离划分的五类数据，并用生成的训练数据训练了分割网络。训练得到的网络已通过生成的测试数据以及真实激光雷达传感器采集的实际数据完成评估。 本文结构安排如下：我们在第二节中简要综述相关工作；第三节将结合每个步骤的说明详细介绍完整的数据生成流程；第四节介绍集成学习的概念和实现方法；第五节A小节简要说明我们使用的分割方法和网络模型；第五节介绍训练和评估的具体方案；第六节给出结论。 本研究是发表于2019年国际机器人与自动化会议的先前研究的扩展工作[^8]。本研究中，我们可在任意距离区间布置人体来生成数据，这一改动让我们能够分析网络在深度方向上的性能。基于深度方向的性能评估结果，我们提出了一种使用按距离划分的生成数据的集成学习方法。所有生成数据以及标注后的真实数据都发布在以下网址，同时也包含训练好的网络权重和测试样例代码。 ### II. 相关工作 自2010年微软Kinect发布以来，已有多个RGB-D数据集正式公开。面向人体识别的RGB-D数据集被推出，用于实现RGB-D传感器下的行人重识别 [^9]，代表性数据集包括BIWI RGBD-ID数据集 [^10] 和UPCV步态数据集 [^11]。由于Kinect无法测量深度超过10米的目标，LiDAR激光雷达传感器被用于处理10米以上的深度任务。此外，LiDAR传感器还被应用于自动驾驶技术领域，该领域中KITTI数据集 [^12] 被众多研究者广泛使用 [^13], [^14]。但KITTI仅提供了9.3万+无标注深度数据，收集带标注深度图仍然充满挑战。三维（3D）深度数据的像素或点级标注通常难度很大，需要耗费极高成本。因此，有研究借助电子游戏《侠盗猎车手》（Grand Theft Auto）采集数据 [^4], [^15], [^16]。这种方法确实可以降低数据构建成本，但仍然存在局限性：《侠盗猎车手》并非为科研目的设计，我们无法控制模拟环境中各类场景的特定属性，例如人体体型、模型放置位置等。 因此，我们构建了一个可调整任意参数和环境的数据生成流水线。此外，本文提出的生成器会在生成过程中自动生成人体标注，从而将人力成本转化为计算成本。只要拥有充足的计算资源，我们就可以持续不断地生成数据。 ### III. 所提出的数据生成流水线 本研究的一项核心贡献是无需人工标注即可自动生成带标注深度图。带标注深度图的生成共包含三个步骤：1）背景数据采集，2）人体模型构建，3）结合自动标注的深度图合成。我们提前采集了不含人体的背景深度图：我们使用Velodyne HDL-32E LiDAR传感器，在位于日本东京的日本科学未来馆（Miraikan）三层共采集到6281张背景深度图 [^17] [^18]。我们基于名为Dhaiba的数字人体模型合成了精准逼真的三维人体模型 [^19]。深度图由采集到的背景深度图和三维人体模型合成得到，由于三维人体模型的位置已知，我们可以轻松获取标注数据。这意味着我们无需人工输入即可自动生成带标注深度图，这是本文所提方法的一大优势。具体细节将在后续小节介绍，该流水线的整体框架如图1所示。 ### A. 人体模型 所提出的数据生成流水线的核心组件是精准的三维人体模型。我们采用DhibaWorks的“Dhaiba”数字人体模型 [^19] 来构建精准三维人体模型。其中Dhaiba是人体功能模型，DhaibaWorks是基于Dhaiba开发的数字人体模型构建平台。DhaibaWorks支持对三维网格、骨骼结构等基础模型进行编辑和可视化，也支持处理带动作的人体模型 [^20]。使用DhaibaWorks，我们可以通过设置身高、体重、动作状态等人体参数，轻松生成特定的人体模型 [^21]。 在真实环境中，可能存在处于任意姿态的人体，包括站立、行走和跑步。但在本研究的深度图生成过程中，我们假设人体模型处于行走状态。构建人工行走人体模型需要行走运动数据，我们使用了[^22]中采集的一个周期行走数据。该行走 --- ![Image](images/83dfb371eb22c92c8575eed6bc65c4db1a32e3b4d6fb71ad2a1683a663d30ff3.jpg)
FIGURE 1. Overview of the pipeline. Red words represent controllable parameters. (Green boxes: Human model building) Human models are built by weight and height; subsequently, they are combined with a human walking motion. (Blue boxes: Background data processing) Floor pointcloud was estimated from precollected background point cloud. (Yellow boxes: LiDAR data generation) Walking human models are chosen and deployed into the estimated floor based on deployment range. Subsequently, the depth map with human models is synthesized with a randomly chosen background depth map. The depth map is labeled based on the information from the human model deployed location.
TABLE 1. Human model specifications.
Height (mm)12001400160017001800
Weight (kg)15 20 3020 30 4040 50 7050 60 8050 70 90
![Image](images/46cac9165c85def1a5552304700bad23d14d69727ee042285c65dde8aaf2ce49.jpg)
(a)
![Image](images/92f76a43359ef3d146dedda91231c34592d2c1a918d95e17c5e5277864a221ed.jpg)
(b)
FIGURE 2. Example of built human mesh based on Dhaiba. (a) Human mesh. (b) Walking human mesh.
运动数据包含单组行走动作的230帧数据。在此基础上，可以很容易地构建出用于深度图生成的人工行走人体网格模型。 本研究共使用了15组典型的身高体重组合，如表1所示。我们认为这些组合覆盖了多样的场景。因此，结合230帧行走运动数据和15组身高体重组合，一共可以生成3450种不同的行走模型。图2展示了一个构建完成的人体模型示例。 ### B. 背景三维数据 背景数据是在Miraikan三层使用HDL-32E LiDAR采集得到的。采集得到的数据仅包含xyz坐标，因此需要先进行地面估计，才能从背景三维数据中提取出地面。为此，我们基于二维可通行地图估计了地面[^23]。设定人体模型布置区域不仅需要地面数据，还需要激光雷达的位置信息。轮式里程计计算得到的位置与背景点云一同被记录。但如果仅使用轮式里程计估计位置，由于车轮与地面之间的打滑，得到的结果可能不可靠。因此我们采用了“实时6DoF蒙特卡洛定位”方法[^24]来获取准确的激光雷达位置。估计得到的激光雷达位置如图4-(b)所示。 ### C. 激光雷达数据生成 在激光雷达数据生成步骤中，我们首先合成已构建人体模型的深度图。之后，将合成得到的人体模型深度图与随机选取的背景深度图相结合，生成用于人体分割的训练深度图。 为了合成人体模型深度图，我们将激光雷达传感器虚拟放置在$(0, 0, z_{s})$处，其中$z_{s}$与采集背景数据时传感器的高度一致。我们假设激光雷达传感器为水平安装。随后，通过将人体模型虚拟插入$(x_{s}, y_{s}, 0)$（其中$(x_{s}, y_{s})$为从地面点云中采样得到的位置），为给定人体模型合成了人体模型深度图。人体模型的方向也为随机采样得到。一旦确定了激光雷达传感器和人体模型的几何位置，就可以很容易地合成对应的深度图。 合成人体模型深度图后，我们通过逐像素最小深度选择将其与背景深度图合并。在这一步中，深度大于背景的人体模型部分会被最小深度选择规则剔除。激光雷达传感器采集得到的深度图通常 --- ![Image](images/874f1de57987a15c91bb55a04ad3f8ebc723f0bc1a589403cac442bd62618d21.jpg)
(b)
(c)
FIGURE 3. Example of data. Blue points denote background and red points denote human. Figures (a) and (b) show examples of generated data in different human model deployment ranges. Figure (c) shows an example of real data labeled manually. (a) Deployment range 1000 to 10000 [mm]. (b) Deployment range 5000 to 15000 [mm]. (c) Real data.
TABLE 2. Data generation properties.
DescriptionSpecification
Number of detector pairs32
Limitation in horizontal scanning1024
Vertical scanning range+10.67 to -30.67°
Angular resolution in vertical1.33°
Angular resolution in horizontal0.2°
Human number in one image0 to 10
Rotation angle of Dhaiba0 to 360 degrees
Output depth image size32 × 1024 × 1
Output xyz map size32 × 1024 × 3
Output label data size32 × 1024 × 1
LiDAR position(0, 0, 800) [mm]
会存在无法测量深度的孔洞或缺失像素。这些孔洞在真实感知过程中也同样会出现，因此我们在合成过程中保留了这类孔洞。此外，由于我们清楚哪些像素对应人体模型深度图，因此可以同步完成人体标注工作。 激光雷达（LiDAR）数据生成的参数总结于表2。表2中的参数是根据Velodyne HDL-32E的特性[^18]以及背景数据采集的实验环境选定的。图3展示了生成点云数据与真实点云数据的示例，点云数据由深度图转换而来。 ### D. 数据提供 我们使用所提出的流程生成了1M份数据，数据以HDF5格式存储，包含深度、xyz坐标和人体标签。此外，我们以xml文件的形式提供了每份深度数据的具体信息，xml文件包含深度场景中的人数，每个Dhaiba的位置、体重和身高。在这1M份数据中，有500K份数据与[^8]中的数据相同。剩余500K份数据分为第五节（V）介绍的五个不同组，每组包含100K份数据。此外，我们还生成了第五节所述的0.5K份数据集，以及0.1K份手动标注的真实数据。 ### IV. 基于距离的集成学习 人体模型点云数据的特性极大程度取决于LiDAR ![Image](images/ce27d099298df30aa59248ed9c04ad15d56b5c2088d62c5069f68610b789b3a5.jpg)
(a)
![Image](images/77ccb7a4e2c6aaafeea86700f384e620a7045e85d4ff1afaecc9624c6b44e62a.jpg)
(b)
FIGURE 4. Background and LiDAR location. Green and blue points represent background, where green points denote floor and blue points denote other objects. Red points denote LiDAR location. (a) Background point cloud. (b) Floor point cloud and LiDAR location.
传感器与人体之间的距离。单个网络无法覆盖全部距离范围，因此让单个网络专注于特定距离范围是更合理的方案。据此，我们提出了基于距离的集成学习方法。在训练阶段，我们训练多个分别专注于不同距离范围的网络，之后多个网络的推理结果会根据测得的距离信息进行融合。 如果通过真实实验构建LiDAR数据集，获取覆盖不同距离范围的充足数据成本很高。因此，真实场景获取的数据通常存在不平衡问题，这意味着用不平衡数据训练出的网络在数据量不足的数据类别上效果较差。同时，我们可以生成包含人体 --- ![Image](images/ce716a0195670e0526a20060ded03e947898b353341abb3aeb32f4ccee3b9937.jpg)
(a)
(b)
FIGURE 5. Training and Ensemble phase. Figure (a) describes the method to train networks. Data generation pipeline creates data divided in distance range and each network is tuned by different data. Figure (b) illustrates the method to ensemble trained networks. In this work, we employed depth map as input data. The networks optimized in the training phase provide their own predictions. Thereafter, the ensemble layer extracts the overall prediction based on each result and input data. (a) Training phase. (b) Ensemble phase.
特定距离样本的数据，通过第三节提出的数据生成流程实现。据此，我们提出了一种利用生成数据的新方法，该方法包含两个步骤：1）构建针对不同距离范围的专用网络，2）由集成网络输出决策结果。 网络可以通过多种方式组合，本文在此介绍三种为整体预测分配权重的方案。基于距离的高斯权重法需要深度信息，但LiDAR数据本身存在缺陷；因此在第四节-.1中使用LiDAR数据作为输入计算权重时，我们使用低通滤波器对缺陷进行了插值处理。 ## 1 ) 基于距离的高斯权重 基于距离的高斯权重法会考虑所有网络的输出。根据输入深度图，我们可以计算像素值与网络专精距离之间的高斯核，利用计算结果得到每个网络的权重。该方法需要用到像素值，但LiDAR深度图通常存在缺陷，因此我们仅在计算权重时使用低通滤波器对缺陷进行插值处理。 ## 2 ) 简单平均 简单平均的思路是平等对待每个网络，最终整体输出为所有网络预测值的平均值。 ## 3 ) 可训练权重 我们尝试训练了另一个专门用于权重计算的网络。在该设定下，除权重计算网络外，整个网络的其余部分都将不可训练。因此，该权重网络将以深度图作为输入、各网络的权重作为输出进行优化。 ### V. 评估 在评估环节，我们采用五种距离范围生成数据：01 [m] 至 10 [m]、05 [m] 至 15 [m]、10 [m] 至 20 [m]、15 [m] 至 25 [m] 以及 20 [m] 至 30 [m]。我们为每个距离范围生成了总计55136（10.1K）数据；之后，每个范围取10K数据用于训练，0.1K数据用于验证和估计。因此，总共有50K数据用于训练，0.5K数据用于评估。我们统计了每张图像中人工标注的人体像素平均数量：对于01 [m] 至 10 [m] 距离范围，每张深度图像平均有1402个像素被标注为人体；相比之下，05 [m] 至 15 [m] 范围每张深度图平均标注295个人体像素，15 [m] 至 25 [m] 范围平均48个，20 [m] 至 30 [m] 范围平均仅27个。因此，20 [m] 至 30 [m] 距离范围的深度图像平均仅包含27个人工标注的人体像素，仅相当于01 [m] 至 10 [m] 范围样本量的2%，占单张图像总像素数的0.08%。由此可见，人体与传感器之间的距离会影响人工标注像素的数量，进而影响人体识别的难度。 本节内容安排如下：V-A节介绍四种不同网络，V-B节说明训练方法；V-C节包含V-C.1（训练数据量的影响）和V-C.2（不同网络的基准测试）两部分；V-D节给出基于距离的集成学习的评估结果。关于生成数据的更具体分析，包括人体模型精度的有效性以及不同身高体重组合的验证，已在[^8]中阐述。 ### A. 分割神经网络 语义分割已通过多种方法开展应用研究，应用范围涵盖场景理解、深度分析和自动驾驶等多个领域。随着深度学习技术的发展，语义像素级标注吸引了大量关注 [^2], [^25] [^26] [^27]。本研究选取了三种不同网络，评估分割网络在生成的人体深度图中的应用效果。 ## 1 ) 全卷积网络 用于分割任务的全卷积网络（FCN）由Long等人提出 [^1]。分类网络通常在网络末端使用全连接层计算类别得分，与之不同，FCN将全 --- 连接层替换为卷积层，网络输出也从预测得分改为热图。因此，借助FCN的设计思想，可以轻松将分类网络改造为分割网络。 ## 2 ) 全卷积密集网络 全卷积密集网络（Fully convolutional DenseNets）由Jégou等人提出 [^28]，其设计灵感来自密集连接卷积网络（DenseNets） [^29]。DenseNets在图像分类任务中表现优异，其核心思想基于以下观察：如果在前馈结构中每一层都直接连接到其他所有层，那么网络的精度会更高，也更容易训练。Jégou将DenseNets的概念进行扩展，用于解决语义分割问题，本文中将该网络简称为FCDN。 ## 3 ) POINTNET Pointnet由Charles [^5]提出，设计用于处理三维空间中的无序点集，不受旋转和平移的影响。此外，通过在Pointnet中引入变换网络，该网络能够捕捉点与点之间的相互作用，并从邻点中提取局部结构。Pointnet共有两个可用版本：分类版本和分割版本。两个版本的架构在后半部分存在差异。本研究中，我们选用Pointnet作为分割网络。 ### B. 训练策略 我们将所有网络训练了500个epoch。每个epoch中，我们从训练数据集中随机选取500个场景。我们通过实验为每个网络设置了不同的批大小：FCN为25，PointNet为16，FCDN为5。随后，除PointNet外，我们根据批大小调整每个epoch的步数，满足$\times$ 每epoch步数 = 500。由于PointNet使用一维向量，我们将一个场景划分为16个向量。因此，PointNet每个epoch使用500个场景训练，批大小为16。此外，我们采用Adam优化器[^30]，学习率设置为0.001，权重衰减为0.001，目标函数使用分类交叉熵。根据表2，输入图像的尺寸为$32 \times 1024$。因此，我们修改了FCN和FCDN的池化层结构。由于输入图像的高度仅为32，我们仅对输入数据沿宽度方向进行池化。对于PointNet，我们将输入图像垂直划分为16块，选取2048个像素作为输入点数据进行处理。对于FCDN，我们将池化层修改为宽度池化层，每个密集块的层数设置为3，增长率设置为8。 ### C. 生成激光雷达数据评估 我们分析了生成数据的有效性，并通过多种方法对其进行验证。在本节中，Avg. Acc表示背景准确率和人体准确率的平均值。此外，我们计算了avg. acc.、精确率、召回率和威胁分数[^31]，计算规则设定为人体为正样本，背景为 VOLUME 7, 2019
TABLE 3. Real data for evaluation.
![Image](images/f12b7b9755f6eae9e5edf0db2ac8121eb99ed43fcffd102b56eebd5d9e03ade5.jpg)
FIGURE 6. Effect of training data number.
结果为负。我们将每个得分按真阴性（TN）、假阴性（FN）、真阳性（TP）和假阳性（FP）进行计算，规则如下： $$ Avg.Acc=\frac{\frac{TN}{TN+FP}+\frac{TP}{TP+FN}}{2} $$ $$ Precision=\frac{TP}{TP+FP} $$ $$ Recall=\frac{TP}{TP+FN} $$ $$ Threat~score=\frac{TP}{TP+FP+FN} $$ 此外，我们采集并标注了真实数据，用于对比和评估模型性能。真实数据的详细信息参见表3。 ## 1 ) 训练数据量的影响 一般而言，增加训练数据量可以提升基于学习的方法的性能，这一点在深度神经网络中尤为明显。但在实际应用中，由于标注成本高昂，很难收集大规模的训练数据。本文提出的深度图生成流水线的优势在于可自动完成标注，因此该方案的标注成本远低于手动标注。本文在此探究训练样本数量对模型性能的影响。我们构建了四个不同规模的训练数据集，每个数据集均均匀包含五个不同距离范围的数据，规模分别为0.1K、1K、10K和50K。随后，我们使用这四个数据集分别训练FCN网络，并用标注好的真实数据对训练得到的网络进行评估。 图6展示了评估结果。如图所示，当训练数据量从0.1K增加到 ---
TABLE 4. Results of the networks for human segmentation.
Network InputFCN [^1]FCDN [^28]Pointnet [^5]
depthxyzdepth+xyzdepthxyzdepth+xyzxyz
Avg. Acc0.68950.63170.69630.52920.67890.54490.5058
Generalized dataRecall0.15550.12910.18480.18580.23610.0703
Threat score0.32050.21490.28820.02450.02980.02990.0116
Avg. Acc0.67800.51430.51630.51370.57870.51750.4997
Real dataRecall0.28240.03470.03570.40220.08300.0008
Threat score0.34900.03150.03320.04340.12090.05210.0001
TABLE 5. Performance of FCN trained by depth toward different distance range datasets.
Dataset01to1005to1510to2015to2520to30
Avg.Acc0.72710.60230.54190.51900.5056
Recall0.38320.19070.08730.04490.0097
Threat score0.42930.16970.05280.01420.0045
![Image](images/c83f20695bae874a100ae4d53659e2871ddd275eb32f44037599f92d8543ee9b.jpg)
Dataset 01to10Dataset 05to15Dataset 10to20Dataset 15to25Dataset 20to30
FIGURE 7. Average accuracy of each specialized network toward each dataset.
10K训练。但精确率呈现出不同的变化趋势。当使用0.1K数据训练时，网络只有在输出高置信度时才能被判定为人体，因此0.1K训练数据的平均准确率、召回率和威胁评分均低于其他所有情况，但精确率高于0.7。使用50K数据训练的网络在平均准确率、召回率和威胁评分方面，表现出与10K训练情况几乎相同的性能，但精确率相比10K训练有所提升。因此我们得出结论：大规模数据有助于提升模型性能。 ## 2）现有网络基准测试 我们使用本文所提流程生成的训练数据，评估了三种不同类型的网络学习。与[^8]一致，我们采用U-net [^26]进行评估；但U-net无法在我们的训练策略下完成训练，因此我们省略了U-net的结果。对于FCN和FCDN网络，我们准备了三种不同类型的输入：仅深度数据、仅xyz数据、深度+xyz数据。由于Pointnet的网络结构特性，我们使用xyz数据作为Pointnet的输入。我们采用人工标注的0.1K真实数据，以及所提流程生成的0.5K测试数据进行评估，需要注意的是，训练数据不包含测试数据。 表4展示了评估结果。从这些对比中可以看出，带深度信息的FCN网络通常 55138 ![Image](images/39f61d90bb720b5d2d434b745a165ef1b9ff678edc171c8622c8ec455b86f977.jpg)
(a)
![Image](images/ce145c33fa8ce45689fa0f251d79254cd432c5d651674461145ee95dc5a425a4.jpg)
(b)
![Image](images/941e8051e68ded51dbcfd00febc628484d59c85333562bcd3e75547d5c39220e.jpg)
(c)
![Image](images/349ad099b50f379a2f9d6ed7e58719c8becb41995b1e85ea0d64b30136492ea5.jpg)
(d)
![Image](images/8ea2e26e897a61863712904a95ccb01b9cb027b3aba82f160935cc93a128196a.jpg) ![Image](images/5827b6ac41d66f0704939e7cfbffbfcf6cf9e9b045f75eed80a0b180f242a7b4.jpg)
(f)
FIGURE 8. Example of segmentation with generated data. In (b), red area denotes human label. From (c) to (g), red and black areas denote true positive and true negative respectively, while pink and white areas denote false positive and false negative, respectively. (a) Example of generated data. (b) Ground truth. (c) Prediction with single FCN. (d) Prediction with gaussian weight. (e) Prediction with simple average. (f) Prediction with trained weight.
取得了较高的性能，仅在生成数据的平均准确率和召回率上表现例外。在召回率方面，结合深度和xyz信息的FCDN网络在生成数据上取得了最佳性能。如表中所示：如果在所提流程生成的测试数据中，某网络除精确率外的任一指标超过0.3，那么该网络在真实数据上的对应指标也会超过0.3。同理，如果生成测试数据上除精确率外的某指标低于0.3，那么真实数据上的该指标也会低于0.3。因此我们可以得出结论：使用生成的测试数据进行评估，有助于预测网络在真实数据上的效果。 ### D. 基于距离的集成学习评估 如表4所示，由于FCN表现出了足够优异的性能，因此我们采用FCN对基于距离的集成学习进行评估。此外，我们在人体部署范围内生成了五个不同的数据集。“Dataset $D_{A}$-to- $D_{B}$”表示人体模型 ---
TABLE 6. Result of ensemble networks for human segmentation with whole test data.
Single FCN [^1]Ensemble Gaussian weightSimple average
Generated dataAvg. Acc0.68950.78130.6419
Recall0.15550.23830.1606
Threat score0.32050.42070.2486
Real dataAvg. Acc0.67800.69120.5619
Recall0.28240.32630.1336
Threat score0.34900.36560.1234
TABLE 7. Average accuracy of ensemble networks for human segmentation with each test dataset.
DatasetSingle FCN [^1]Ensemble Gaussian weightSimple average
Training weightSimple average
01to100.72710.83510.65850.5035
05to150.60230.66540.62300.5150
10to200.54190.55290.54220.5093
15to250.51900.52830.53890.5043
20to300.50560.51820.53060.5013
部署在距离LiDAR $D_{A}$ [m] 和 $D_{B}$ [m] 之间的范围内。我们准备了01-10、05-15、10-20、15-25、20-30共五个数据集，每个数据集包含10K训练数据和0.1K测试数据。我们将最小部署距离设置为1 [m]，以防止人体与LiDAR发生碰撞。 首先，我们针对每个数据集测试了表4中由深度数据训练得到的FCN的性能。根据表5的结果，性能从01-10数据集到20-30数据集出现了显著下降。显然，简单使用全部数据训练的方案可能对部分数据无效。因此，我们的方法基于平等提升每个数据集上网络性能的理念。 此外，我们研究了面向距离的专用网络的性能。随后，我们制备了五个网络，均采用各数据集训练得到的FCN算法。从图7中可以观察到，由数据集01to10训练得到的网络在数据集01to10上表现最佳，在其他数据集上性能有所下降。这一趋势在其他网络中也同样存在。因此我们得出结论：网络在其专用的数据范围内会表现出峰值性能，当数据范围超出专用区域时，性能就会下降。 验证完各个网络的有效性后，我们对集成学习方法进行了评估。为进行对比，我们使用了经过深度训练的FCN，与表4所示结构类似。评估结果包含平均准确率、召回率和威胁分数，如表6所示。表6中“生成数据”行的计算值使用了全部生成测试数据（0.5K）。表6中的“单个FCN”指该网络由距离范围内的所有数据集（50K）训练得到。我们根据经验将高斯权重中高斯分布的$\sigma$值设为2.5，$\mu$为转换为米单位的输入像素值。此外，我们采用FCN作为训练权重的权重训练网络。在调优用于权重训练的FCN时，我们将深度图设为输入，把具有五个通道的网络输出作为权重。随后，我们将输出的每个通道与每个专用网络的输出相乘，将相乘结果作为整体输出。因此，我们基于真实标签与整体输出之间的分类交叉熵，通过反向传播优化了权重训练网络。此外，我们针对每个场景，将人类标签的权重设置为背景像素数/人类像素数。我们还研究了集成网络在不同数据集上的性能。如表7所示，采用高斯权重的集成在数据集01to10、05to15和10to20上表现最佳，且性能优于单个FCN。在数据集15to25和20to30上，采用训练权重的集成取得了最佳分数。根据结果可知，除生成数据的威胁分数外，二值权重通常表现出较高性能。高斯权重并未取得最佳性能，但分数高于单个FCN。对于简单平均而言，由于每个专用网络对未知数据都不具备良好效果，因此大多数像素都会被判定为背景。我们原本预期训练权重的性能会优于单个FCN，但除生成数据的召回率外，单个FCN的结果均优于训练权重。不过，训练权重在数据集15to25和20to30上取得了最佳结果。因此我们得出结论：训练权重会尝试提升整个数据集的性能，因此权重网络会被调优以实现均衡性能。从这些结果我们可以判断，基于按距离划分的生成数据集的集成学习是否比仅使用全部数据训练更有效。生成数据的预测示例如图8所示，其点云如图9所示。 --- ![Image](images/032900301f3cfd173c2a6594742836e5def67832d7de6b4b5d1058ef8fcd7b4f.jpg)
(a)
(b)
(c)
![Image](images/3770cf4e178e50ec4021a8bec83d7052f20c59a2b70a2552e55ccbf1d3394b9d.jpg)
(d)
![Image](images/13af2453e1ce32d32ad1f30550af3c2e5c48a2183f80d4d1cbf9b76caaabee78.jpg)
(e)
FIGURE 9. Example of segmentation in point cloud. In (a), blue points denote background and red points denote human. In figures (b) to (e), points are colored as network output: blue for background and red for human. (a) Ground truth. (b) Prediction with single FCN. (c) Prediction with gaussian weight. (d) Prediction with simple average. (e) Prediction with trained weight.
### 六、结论 本文最初提出了一种用于基于LiDAR的人体检测的全自动数据生成流水线。借助该流程，我们可以轻松生成任意属性的LiDAR标注数据。根据研究结果，我们得出结论：我们生成的数据提升了人体检测模型的训练效果。本文公开了0.1K带标注的真实数据集，以及1M带人工标注的生成数据集。在生成数据集中，500K数据由分布在1 [m]至25 [m]范围内的人员生成，其余500K数据则在细化的距离区间内生成。我们希望该数据集能够为机器人学、计算机视觉等其他领域的研究提供支持。除数据生成流水线外，我们还提出了一种基于按距离划分生成数据的集成学习方法。该方法的性能优于使用全部数据进行简单训练的方法。 我们从四个方面规划了本工作的后续改进方向。第一点与人形模型相关：尽管我们采用了经过验证的方法构建人形模型，但该模型仍无法完全代表真实世界的实际情况。后续我们将尝试把衣物、背包等各类实际情况纳入模拟，以提升模拟的准确度。第二点与背景相关。本研究目前仅使用了Miraikan的背景数据；未来我们将引入其他背景，提升生成数据的多样性。第三点与人形像素数量相关。当LiDAR与人体的距离增加时，单张深度图中人工标注像素的数量会大幅下降。例如，01to10数据集中人工标注像素的平均数量为1401，而20to30数据集的该数值仅为26。因此，我们将尝试提升模型在仅存在极少人工标注点时的性能。第四点是补充与真实数据的对比实验。本研究目前仅使用生成数据训练网络，对比网络在人工标注训练集和生成训练集上的性能对本研究很有意义，但这项工作会产生极高的成本。 ## 参考文献 [^1]: J. Long, E. Shelhamer, and T. Darrell, “Fully convolutional networks for semantic segmentation,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2015, pp. 3431–3440. [^2]: C. Farabet, C. Couprie, L. Najman, and Y. LeCun, “Learning hierarchical features for scene labeling,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 35, no. 8, pp. 1915–1929, Aug. 2013. [^3]: L.-C. Chen, G. Papandreou, F. Schroff, and H. Adam, “Rethinking atrous convolution for semantic image segmentation,” CoRR, Jun. 2017. [Online]. Available: [^4]: B. Wu, A. Wan, X. Yue, and K. Keutzer, “SqueezeSeg: Convolutional neural nets with recurrent CRF for real-time road-object segmentation from 3D LiDAR point cloud,” CoRR, Oct. 2017. [Online]. Available: [^5]: C. R. Qi, H. Su, K. Mo, and L. J. Guibas, “PointNet: Deep learning on point sets for 3D classification and segmentation,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit. (CVPR), Jul. 2017, pp. 77–85. ## [^6]: I. Laina, C. Rupprecht, V. Belagiannis, F. Tombari, and N. Navab, “Deeper depth prediction with fully convolutional residual networks,” in Proc. IEEE 4th Int. Conf. 3D Vis. (3DV). Oct. 2016, pp. 239–248. --- [^7]: F. Liu, C. Shen, and G. Lin, "Deep convolutional neural fields for depth estimation from a single image," in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., Jun. 2015, pp. 5162–5170. [^8]: W. Kim, M. Tanaka, M. Okutomi, and Y. Sasaki, “Automatic labeled LiDAR data generation based on precise human model,” in Proc. Int. Conf. Robot. Autom., 2019. [^9]: I. B. Barbosa, M. Cristani, A. D. Bue, L. Bazzani, and V. Murino, "Re-identification with RGB-D sensors," in Proc. Eur. Conf. Comput. Vision, Springer, Oct. 2012, pp. 433–442. [^10]: M. Munaro, A. Basso, A. Fossati, L. Van Gool, and E. Menegatti, "3D reconstruction of freely moving persons for re-identification with a depth sensor," in Proc. IEEE Int. Conf. Robot. Automat. (ICRA), May 2014, pp. 4512–4519. [^11]: D. Kastaniotis, I. Theodorakopoulos, C. Theoharatos, G. Economou, and S. Fotopoulos, “A framework for gait-based recognition using Kinect,” Pattern Recognit. Lett., vol. 68, pp. 327–335, Dec. 2015. [^12]: A. Geiger, P. Lenz, and R. Urtasun, “Are we ready for autonomous driving? The KITTI vision benchmark suite,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., Jun. 2012, pp. 3354–3361. [^13]: C. Premebida, J. Carreira, J. Batista, and U. Nunes, “Pedestrian detection combining RGB and dense LIDAR data,” in Proc. IEEE/RSJ Int. Conf. Intell. Robots Syst., Sep. 2014, pp. 4112–4117. [^14]: D. Levi, N. Garnett, E. Fetaya, and I. Herzlyia, “Stixelnet: A deep convolutional network for obstacle detection and road segmentation,” in Proc. BMVC, Sep. 2015, pp. 1–109. [^15]: M. Johnson-Roberson, C. Barto, R. Mehta, S. N. Sridhar, K. Rosaen, and R. Vasudevan, “Driving in the matrix: Can virtual worlds replace human-generated annotations for real world tasks,” in Proc. IEEE Int. Conf. Robot. Autom. (ICRA), May 2017, pp. 746–753. [^16]: S. R. Richter, V. Vineet, S. Roth, and V. Koltun, “Playing for data: Ground truth from computer games,” in Proc. Eur. Conf. Comput. Vis., Springer, Oct. 2016, pp. 102–118. [^17]: Miraikan. Accessed: May 27, 2018. [Online]. Available: [^18]: V. LiDAR. Accessed: May 25, 2018. [Online]. Available: [^19]: M. Mochimaru et al., “Dhaiba: Functional human models to represent variation of shape, motion and subjective assessment,” SAE, Warrendale, PA, USA, Tech. Rep., 2006. [^20]: Y. Endo, M. Tada, and M. Mochimaru, “Hand modeling and motion reconstruction for individuals,” Int. J. Autom. Technol., vol. 8, no. 3, pp. 1–12, 2014. [^21]: Y. Endo, M. Tada, and M. Mochimaru, “Estimation of arbitrary human models from anthropometric dimensions,” in Proc. Int. Conf. Digit. Hum. Modeling Appl. Health, Safety, Ergonom. Risk Manage., Springer, Aug. 2015, pp. 3–14. [^22]: Y. Kobayashi, H. Hobara, T. A. Heldoorn, M. Kouchi, and M. Mochimaru, “Age-independent and age-dependent sex differences in gait pattern determined by principal component analysis,” Gait Posture, vol. 46, pp. 11–17, May 2016. [^23]: S. Niijima, Y. Sasaki, and H. Mizoguchi, “Autonomous navigation of electric wheelchairs in urban areas on the basis of self-generated 2D drivable maps,” in Proc. IEEE/ASME Int. Conf. Adv. Intell. Mechatronics (AIM), Jul. 2018, pp. 1081–1086. [^24]: A. Ohsato, Y. Sasaki, and H. Mizoguchi, “Real-time 6DoF localization for a mobile robot using pre-computed 3D laser likelihood field,” in Proc. IEEE Int. Conf. Robot. Biomimetics (ROBIO), Dec. 2015, pp. 2359–2364. [^25]: S. Hong, H. Noh, and B. Han, “Decoupled deep neural network for semi-supervised semantic segmentation,” in Proc. Adv. Neural Inf. Process. Syst., 2015, pp. 1495–1503. [^26]: O. Ronneberger, P. Fischer, and T. Brox, "U-Net: Convolutional networks for biomedical image segmentation," in Proc. Int. Conf. Med. Image Comput. Comput.-Assist. Intervent., Oct. 2015, pp. 234–241. [^27]: D. Eigen and R. Fergus, “Predicting depth, surface normals and semantic labels with a common multi-scale convolutional architecture,” in Proc. IEEE Int. Conf. Comput. Vis. (ICCV), Dec. 2015, pp. 2650–2658. [^28]: S. Jégou, M. Drozdzal, D. Vazquez, A. Romero, and Y. Bengio, “The one hundred layers Tiramisu: Fully convolutional DenseNets for semantic segmentation,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit. Workshops (CVPRW), Jul. 2017, pp. 1175–1183. [^29]: F. Iandola, M. Moskewicz, S. Karayev, R. Girshick, T. Darrell, and K. Keutzer. (2014). “DenseNet: Implementing efficient Convnet descriptor pyramids.” [Online]. Avabilable: [^30]: D. P. Kingma and J. Ba, “Adam: A method for stochastic optimization,” CoRR, Dec. 2014. [Online]. Available: [^31]: I. T. Jolliffe and D. B. Stephenson, Forecast Verification: A Practitioner's Guide in Atmospheric Science. Hoboken, NJ, USA: Wiley, 2003. ![Image](images/c33216f8ad1dbe965fff0116ad9501b6b897f0eed773c8c7741527ba58a161bc.jpg) WONJIK KIM于2018年获得东京工业大学控制与系统工程系工学学士学位，目前正在东京工业大学系统与控制工程系攻读硕士学位。自2018年起，他担任日本国立产业技术综合研究所人工智能研究中心研究助理。他的研究兴趣包括人工智能、机器学习、机器人学与优化。 ![Image](images/51f3fed979c43ece6787bcdeac40b25bcacd488f5368e06b7a64fc19e43ef225.jpg) MASAYUKI TANAKA分别于1998年、2000年和2003年在东京工业大学获得控制工程学士、硕士学位和博士学位。2003年至2004年，他担任安捷伦科技软件工程师。2004年至2008年，他担任东京工业大学研究员。2008年至2016年，他担任东京工业大学理工学研究科准教授。2013年至2014年，他作为访问学者任职于斯坦福大学心理学系。2016年至2017年，他担任东京工业大学工学部准教授。自2017年起，他担任日本国立产业技术综合研究所高级研究员。 奥富雅俊（MASATOSHI OKUTOMI）1981年于日本东京东京大学数学工程与信息物理系获得B.Eng.学位，1983年于日本东京东京工业大学控制工程系获得M.Eng.学位，后于东京工业大学凭借立体视觉方向研究获得D.Eng.学位。他于1983年加入日本东京佳能株式会社佳能研究中心。1987年至1990年，他以访问研究科学家身份任职于美国卡内基梅隆大学计算机学院。自1994年起任职于东京工业大学，现任该校工程学院系统与控制工程系教授。 佐佐木洋子（YOKO SASAKI）于2009年凭借移动机器人听觉系统相关研究，获得东京理科大学机械工程Ph.D.学位。她加入了国立先进工业科学技术研究所（AIST）数字人类研究中心。自2015年起，她担任AIST人工智能研究中心高级研究员，从事自主移动机器人及其传感与导航技术的开发工作。 ![Image](images/ac06af47a56573cfa948d34456ea0e51c8f09992d850a24562a9f9119999979a.jpg) ![Image](images/a0339e7cd712bd701bc1f14fdf6a858284cf265c26b03291ad8046958fb377aa.jpg) 术领域，尤其专注于人类生活环境领域。