收稿日期：2020年4月21日，录用日期：2020年5月5日，出版日期：2020年5月8日，当前版本日期：2020年5月21日。数字对象标识符 10.1109/ACCESS.2020.2993299 # 基于学习的利用自动标注激光雷达训练序列的人体分割与速度估计 金元植 $^{1,2}$，（IEEE会员），田中雅之 $^{1,2}$，（IEEE会员），大富敏俊 $^{1}$，（IEEE会员），佐佐木洋子 $^{2}$，（IEEE会员） $^{1}$东京工业大学工学部系统控制工程系，日本东京 152-8550 $^{2}$日本产业技术综合研究所人工智能研究中心，日本东京 135-0064 通讯作者：金元植 () 通讯作者：金元植 () ## 摘要 本文提出了一套用于人体分割与速度估计任务的自动标注点云序列数据生成流水线。随着深度神经网络的发展，目前已有多种基于最先进网络架构、利用激光探测与测距（LiDAR）采集的点云实现人体识别的方案。然而，几乎所有传统数据集要么是带标注的单次激光雷达扫描数据集合，要么是无标注的连续激光雷达扫描序列，这一限制迄今为止阻碍了该领域研究的进展。因此，本文开发了一套自动标注序列数据生成流水线，可在任意参数或数据生成环境下，得到带像素级、逐帧真值分割标注以及像素级速度信息的人体识别训练数据。我们的方法利用高精度人体模型重现精准运动，生成逼近真实的人工数据。通过该流水线，我们生成了超过7000条序列，每条序列包含32帧数据。实验结果证实，与使用单次激光雷达扫描数据相比，使用本文生成的连续序列数据可有效提升人体分割性能。我们还通过对比不同条件下生成的数据完成了验证。此外，我们仅使用本文提出的流水线生成的数据，实现了基于激光雷达的行人速度估计。 关键词 人工智能、机器学习、计算机视觉、LiDAR。 ### I. 引言 机器人导航依赖于实时、精准、鲁棒的感知能力。机器人需要识别周边环境以及行人、其他机器人等各类目标，同时需要在多种不同场景下保持性能鲁棒性。因此，激光雷达常被用于获取高采样频率的高精度三维信息。例如，激光雷达已被广泛应用于制图流程 [^1] 以及包括机器人导航 [^2] 在内的各类机器人任务中。基于激光雷达的人体识别是机器人导航领域一项非常重要的任务。 深度神经网络对计算机视觉产生了深远影响。尽管这类网络主要应用于单图像处理[^3] [^4] [^5]，面向序列图像处理的神经网络目前正得到活跃研究[^6] [^7] [^8]。一项重要任务是语义分割，该任务聚焦于利用带有预定义类别标签的序列图像分割类目标区域。由于深度神经网络在图像分割领域已经取得了优异性能，学界也提出了多种网络架构来处理序列数据[^9]，[^10]。然而，基于学习的方法的性能高度依赖训练数据集，几乎所有序列图像数据集都未在全帧范围实现像素级标注。因此，许多基于学习的语义序列图像分割方法采用弱监督学习来克服真值数据不足的问题[^9]，[^10]。另一方面，本研究通过生成序列数据解决数据采集问题，我们还聚焦于利用激光雷达（LiDAR）采集的序列数据开展人体分割研究。本文中，我们将「帧」定义为单次LiDAR扫描得到的数据，将「序列」定义为LiDAR持续扫描得到的序列数据。 --- 利用LiDAR数据进行人体识别一直是学界的热门研究方向[^5], [^11], [^12]。根据[^12]的研究，随着人体与LiDAR的距离增加，人体识别性能会大幅下降。由于点云数量与人体和LiDAR之间距离的平方成反比，仅依靠非常稀疏的LiDAR数据很难识别远处的人体。而序列数据除形状信息外还能提供运动信息，利用该运动信息可以提升远处人体的识别准确率。我们已经证实，与基于单帧的方法相比，基于序列的方法能够提高人体检测的准确率。 采集足够数量的标注数据需要耗费大量的时间和金钱成本。本研究开发了一套用于人体检测与速度估计的自动三维LiDAR数据序列生成管线。与单帧数据生成相比，序列数据生成的难度更高，因为我们需要考虑序列的时间一致性：例如，所有目标都需要在时间维度保持连续。此外，生成的数据序列需要在空间和时间上都符合真实场景特性，才能保证网络得到准确训练。 在[^11]中，已有研究提出了一种生成用于人体检测的单帧逼真三维LiDAR数据的方法。该方法使用统计人体形状模型[^13]构建不同类型的精确人体形状，该模型对于生成单帧LiDAR数据非常实用，但这些信息不足以生成逼真的LiDAR数据序列。生成序列需要考虑三个要素：1）人体行走模型，2）人体轨迹，3）传感器位置与位姿。本研究融入了行走模型和观测得到的行走轨迹，结合这些信息并考虑LiDAR的运动轨迹，最终生成了带有人体标注的三维LiDAR数据序列。 我们的目标之一是推动基于点云数据的学习式人体序列分割研究。为此，我们通过所提出的数据生成流程生成了大量带标注的序列数据（超过7K个序列）。我们使用不同的训练策略训练了多个神经网络，并将训练得到的网络与真实LiDAR传感器采集的实际数据进行了对比评估。所有生成数据和带标注真实数据都已发布在下方链接，同时我们也提供了训练好的网络权重和测试示例代码。 本文工作的主要贡献如下： - 我们提出了一套可公开数据的全自动带标注LiDAR序列生成流程。 • 我们通过实验证实，使用序列LiDAR数据能够提升人体分割性能，还可实现速度估计。本文详细介绍了数据生成流程的每一步，用于序列训练的网络架构在第四节中描述，训练的具体策略和实验结果在第五节展开讨论，最后我们在第六节总结研究工作，并概述了未来的改进方向和潜在应用场景。 本文剩余部分结构安排如下：我们在第二节简要回顾相关工作，在第三节， ### 二、相关工作 ### A. 深度图数据集 2010年微软Kinect发布后[^14]，多个RGB-D数据集相继发布。也已经出现了面向人体识别的RGB-D数据集，例如基于RGB-D传感器的行人重识别数据集[^15]、BIWI RGBD-ID数据集[^16]和UPCV步态数据集[^17]。由于Kinect无法测量10米以上的深度，LiDAR传感器被用于处理10米以上的深度场景。此外，LiDAR传感器也应用于自动驾驶技术领域，在该领域中，KITTI数据集[^18]被大量研究者广泛使用[^19]，[^20]。但KITTI仅提供了93K+未标注的深度数据，收集带标注深度图仍然是一项挑战。三维深度数据的像素或点级标注通常成本高昂，难度很大。在这种背景下，有研究利用电子游戏《Grand Theft Auto》收集数据[^5]，[^21]，[^22]。这种方法可以降低数据构建的成本，但仍然存在局限性：Grand Theft Auto并非为研究目的设计，因此我们无法控制模拟场景的特定属性，例如人体体型、模型放置位置等。自动标注LiDAR数据已经发布，包含1M+数据，涵盖深度、xyz坐标和像素级人体标注[^11]，[^12]。自动标注LiDAR数据可以满足单帧领域的需求，但无法满足序列领域的应用要求。SementicKITTI数据集[^23]提供了整个KITTI数据集[^18]的人工标注分割信息。但KITTI的数据量有限，且标注工作需要投入大量精力。此外，深度图数据集无法处理速度信息，因为它们仅包含单帧数据，不包含时间轴上的序列信息。 ### B. RGB序列图像分割数据集 随着时序图像数据集需求的增长，目前已有多个数据集被公开。例如，弗赖堡-伯克利运动分割数据集[^24]是针对运动分割任务提出的。此外，面向适配快速运动和复杂形变的时序图像分割任务，也已发布了SegTrack v1 [^25]和v2 [^26]。针对时序图像目标分割任务，DAVIS挑战赛[^27]自2016年起就不断推出更新。由此可见，RGB时序图像数据集一直在被大量提出和更新。另一方面，据我们所知，用于 --- ![Image](images/96e6f42ea8f7b7b038d040ee08f2d3ed8af38ab54777efb632dd257b2c221f1b.jpg)
FIGURE 1. Overview of our data generation pipeline. Bold words represent controllable parameters. (Green boxes: Human walking model) Human models are built by weight and height, then they are combined with a human walking motion. Thereafter, they are deployed following the sampled trajectory. (Blue boxes: Background sequence) Sensor trajectory and background LiDAR data are refined with a frame length of sequence generation. (Yellow boxes: LiDAR data generation) Human walking models are synthesized with depth map sequentially. The synthesized pixel-wise depth maps are labeled based on the information from the human model deployed location. Then, pixel-wise velocity information of sensor origin is generated according to human velocity, velocity command, and labeled information.
大规模LiDAR的完整标注时序图像分割数据集尚未被提出。我们的研究重点就是填补这一缺口。 为了解决这些问题，我们构建了一套可任意调整参数和环境的时序数据生成流水线。此外，所提出的生成器在生成过程中会自动生成人工标注和速度信息，从而将这项原本依赖人工的任务转化为计算成本开销。因此，只要拥有充足的计算资源，我们就可以持续生成时序数据。 ### III. 时序数据生成流水线 本文的主要贡献之一是，无需人工标注即可自动生成考虑了精确人体模型与运动的带标注LiDAR时序数据。与单帧生成不同，生成序列时所有目标数据都需要在时间上保持连贯。时序生成流水线包含三个步骤：1）背景序列采集，2）行人行走模型生成，3）LiDAR时序数据生成。具体细节将在后续小节介绍，该流水线的整体框架如图1所示。 ### A. 传感器轨迹与背景序列提取 我们从给定的传感器轨迹和背景序列中提取指定长度的数据。首先随机选择起始时间，随后从该起始时间点切割出指定时长的传感器轨迹和对应的背景序列。这些数据将用于第三节C小节描述的LiDAR时序数据生成过程。提取出的传感器轨迹还会用于第三节C小节详细说明的速度计算和人体深度图生成过程。标准化后的传感器轨迹同样用于第三节C小节详述的速度计算和人体深度图生成过程。我们可以采用任意LiDAR数据作为背景LiDAR数据，包括模拟生成的[^5], [^28], 实时采集的[^29], [^30], 以及我们自行采集的数据。确定LiDAR数据后，传感器轨迹也会自动确定。 ### B. 行人行走模型 构建行人行走模型时，我们首先基于人体数据库[^13]建立人体模型，同时观测行走序列。通过结合观测到的行走序列，以及按身高、体重构建的人体模型，我们可以生成行人行走模式。我们独立观测行人轨迹。假设人体模型、行走模型和行人轨迹均可独立采样，我们就可以构建出多种多样的、带有对应行人轨迹的行人行走模型。但由于我们对各部分进行了独立处理，为了构建精确的行人行走模型，必须考虑行人速度与步长之间的关系。 针对人体模型数据库，我们采用‘DhaibaWorks’ [^13]构建精确、可用的3D人体模型。DhaibaWorks支持编辑和可视化3D网格、骨骼结构等基础模型，其中也包含带运动的人体模型[^31]。借助DhaibaWorks，我们可以通过设置身高、体重、动作状态等人体参数，轻松生成特定的人体模型[^32]。 ### C. 序列LiDAR数据生成 在序列LiDAR数据生成步骤中，我们对随机人体模型、行走轨迹和LiDAR轨迹进行采样，随后合成构建完成的人体模型的深度图。之后，将合成得到的人体模型深度图与LiDAR轨迹对应的背景深度图相结合，生成用于人体分割的训练深度图。生成深度图后，人体模型将根据...之间的关系进行重采样 --- ![Image](images/881e8cfe2fba5eb71a0158b4e0f1693706f1373e825bafd2174c41f04f226242.jpg)
(a) Example 01
![Image](images/414a4915008c38f8904bd77f70dbf818437e213e0b868a7a495e9780707b5532.jpg)
(b) Example 02
FIGURE 2. Examples of human models built by DhaibaWorks. Figure (b) is at the moment of maximum distance between the left and right heels.
![Image](images/6693bd11e0886a15009e5d7dd2be469023ed012efb2ea8f036651bc553b1af94.jpg)
FIGURE 3. Coordinate systems. An uppercase character indicates that its origin is the ground and a lowercase character indicates that its origin is the sensor.
步长与轨迹信息中的观测速度。之后，我们会根据轨迹信息重新定位更新后的人体模型和LiDAR位置。通过这一循环流程，我们可以生成LiDAR序列。 本研究的完整坐标系如图3所示。为合成人体模型深度图，我们将LiDAR传感器虚拟放置在地面原点的$(X_{s}, Y_{s}, Z_{s}, Q_{s})$处，其中$Q_{s}$为传感器四元数。随后合成人体模型深度图，将人体模型虚拟放置在地面原点的$(X_{h}, Y_{h}, 0)$处，其中$(X_{h}, Y_{h})$是人体轨迹中的采样位置。人体模型的朝向也由采样得到的人体轨迹确定。只要确定了LiDAR传感器和人体模型的几何位置，就可以轻松合成对应的深度图。 合成人体模型深度图后，只需通过逐像素最小深度选择将其与背景深度图结合即可。LiDAR传感器采集的深度图通常存在孔洞或深度无法测量的缺失像素。我们在合成过程中保留了这些孔洞的原有状态，因为这类孔洞在实际传感过程中也同样会出现。此外，由于我们明确知道哪些像素对应人体模型深度图，因此可以同步完成人体标注工作。 在速度计算过程中，会生成传感器原点的逐像素速度信息。地面原点下的人体速度$V_{h}$和地面原点下的传感器速度$V_{s}$均可通过传感器轨迹计算得到。此外，从地面原点到传感器原点的变换函数也可以通过传感器轨迹计算得到。因此，每个像素的速度信息可按下述方式生成，其中p为帧中的一个像素： $$ \begin{aligned}\boldsymbol{v}_{p}=\begin{cases}\boldsymbol{V}_{h}-\boldsymbol{V}_{s}&if~human~pixel\\-\boldsymbol{V}_{s}&if~background~pixel\end{cases}\end{aligned} $$ 图4展示了生成序列的示例。生成图4的详细信息参见第V-A节。 IV. 序列训练的网络架构 为了将生成的序列用作训练数据，我们设计了一种结合深度序列的人体分割与速度估计网络架构，如图5所示。图5-(b)和(c)中所示的特征提取网络与解码网络架构灵感来源于全卷积网络（Fully Convolutional Network, FCN）[^3]。FCN已被证实在图像分割任务中效果显著[^3]，且已知其也适用于LiDAR数据[^11], [^12]。但由于FCN仅将单帧作为输入，我们对FCN架构进行扩展，得到了可高效处理多帧数据的特征提取网络和解码网络。 图5中黑色部分标注的是分割任务的网络架构。首先，我们从序列中采样深度帧，之后每个输入都通过权值共享卷积层计算得到特征。接着，我们将所有特征在通道维度上进行拼接，随后再使用一个额外卷积层作为解码器整合拼接后的特征。激活函数方面，我们在分割任务中使用softmax激活。通过该架构，我们可以通过输入采样得到的深度序列以及采样序列中最后一帧的标注来对网络进行调优。我们使用分类交叉熵作为分割任务的损失函数。 图5中红色部分标注的是速度估计任务的网络架构。我们将分割结果和拼接后的特征在通道维度上拼接，之后使用额外卷积层作为解码器再次整合特征。激活函数方面，我们在速度估计任务中使用线性激活。我们使用均方误差（Mean Square Error, MSE）作为速度估计任务的损失函数。此外，在计算MSE时，我们不纳入输入场景中的缺陷像素。 进行序列数据学习时，我们每一步都从训练数据集中随机选取一段序列数据，随后即可从选中的序列中生成特定帧长的顺序采样训练数据。 ### 五、实验评估 本次评估中，我们按照表1所述生成了1108条序列，其中1000条序列用于训练，108条序列用于验证和估测。最终共有32000帧数据用于训练，我们仅使用每条序列的最后一帧（共108帧）用于估测。我们还准备了0.1K人工标注的真实数据用于评估。 --- ![Image](images/e55c640ee59bd26413eebc59eb282b614b9b31bafa6b50ba8c75d4b7d6fe71c8.jpg)
(b) Point cloud of frame #16/32
(c) Point cloud of frame #32/32
FIGURE 4. Example frames of a generated sequence in point cloud. Blue points denote the background and red points denote a human. Notice that human models are walking following their individual trajectory and the background scene is also changing following the LiDAR trajectory.
![Image](images/424991271c3bc03d1cea07f313b2d9f51d32fc0245752a19b1d6820544621b2d.jpg)
(a) Entire network
(b) Feature extraction network architecture
(c) Decoding network architecture
FIGURE 5. Network architecture for learning sequence. This architecture can be trained with different numbers of input frames. The convolutional layer parameters are denoted as "Conv-{number of channels} {kernel size}". All convolutional layers are activated with a ReLU function except "Conv-2 (1,1)" in decoding network.
TABLE 1. Data generation properties.
DescriptionSpecification
Number of detector pairs32
Limitation in horizontal scanning1024
Vertical scanning range+10.67 to -30.67°
Angular resolution in vertical1.33°
Angular resolution in horizontal0.2°
Human number in one frame1 to 30
Output velocity unitmm/s
Frame number in one sequence32
Data sampling rate10 [Hz]
在本节中，我们在实验中采用交并比（Intersection over Union, IoU）作为评价指标。IoU以人体区域为正样本进行计算，我们基于真阳性（True Positive, TP）、假阳性（False Positive, FP）和假阴性（False Negative, FN）计算IoU，如下所示： $$ IoU=\frac{TP}{TP+FP+FN} $$ 由于本研究聚焦于人体分割任务，仅评估人体检测性能的IoU是合适的评价指标。若要评估特定距离范围内的模型性能，我们会在生成的测试数据上仅考虑目标评估距离范围来计算IoU。 ### A. 数据生成设置 背景序列在Miraikan三楼使用HDL-32E LiDAR采集得到。在背景序列采集阶段，我们还记录了搭载LiDAR的机器人的速度指令，以及从地面原点到LiDAR原点的坐标变换矩阵。 --- ![Image](images/20aad5ff99a5a1853123897f6c7a846bc472337cf8a2fb44148facdcd99a8b23.jpg)
FIGURE 6. LiDAR and human trajectories. The green points denote the floor, red points denote LiDAR trajectory, and blue points denote human trajectory. X marks denote the sensor installation position, and 10 random human trajectories are illustrated for example. The xy coordinate for ground origin is also shown. The entire length of the figure in the X-axis is approximately 50 [m].
TABLE 2. Real data for evaluation.
DescriptionSpecification
LocationMiraikan [^33]
Date2017.Aug.04
LiDAR modelVelodyne HDL32E
LiDAR height from ground800 [mm]
Sequence number100
Labeling methodManual
TABLE 3. Human model specification.
Height (mm)12001400160017001800
Weight (kg)15 20 3020 30 4040 50 7050 60 8050 70 90
LiDAR轨迹通过“Real-Time 6DoF Monte-Carlo Localization”方法估计得到 [^34]。估计得到的LiDAR轨迹如图6所示。 在现实环境中，人类可呈现多种姿态，包括站立、行走和跑步。但在本研究的序列生成过程中，我们假设研究对象始终处于行走状态。构建人工人类行走模型需要行走运动数据，我们采用了一组包含230帧的单周期行走数据，该数据采集于[^35]。我们基于人类模型左右脚后跟之间的最大距离，估算了第III-C节所述行走人类模型采样所需的步长。为构建人类模型，我们选取了如表3总结的15种典型身高体重组合，我们认为这些组合覆盖了各类相关场景。为采集人类轨迹，我们按照图6所示将HOKUYO UTM-30LX传感器[^36]安装在固定的激光传感器位置。借助HOKUYO UTM-30LX，我们可以获取连续的人类位置、方向和速度数据。因此，我们使用了2018年9月21日、22日和12月6日、7日采集的访客轨迹[^37]。最终共有70300种不同的行走轨迹被用于序列生成，图6展示了一条采集到的行走轨迹示例。通过观察真实行走轨迹，我们还可以避免将人类模型部署到无法到达的区域。结合上述信息，我们共得到230帧行走运动数据、15种人类模型组合和70300种轨迹，因此总共可以生成242535000种不同类型的人类行走模型。 为生成速度信息，我们使用了与搭载激光雷达的机器人关联的人类速度指令，以及从地面原点到传感器原点的坐标变换矩阵。人类速度以地面原点的xy坐标记录，因此我们通过坐标变换矩阵将人类速度表示为传感器原点坐标系下的xy坐标。之后，我们将每个人类速度代入对应人类标签的所有像素，即可得到逐像素人类速度。对于背景速度，我们假设地面原点速度指令的反方向等同于传感器原点的背景速度，因此可以结合速度指令计算得到逐像素背景速度。最终，我们通过融合传感器原点坐标系下的人类速度和背景速度，得到了xy坐标系下的逐像素速度图。我们规定传感器原点的x轴指向激光雷达的前进方向。 激光雷达数据生成的参数总结如表1所示，这些参数包含深度、xyz坐标、人类标签和HDF5格式的速度图。我们还以xml文件的形式提供了更多详细信息，xml文件记录了深度场景中的人类数量，以及每个人类模型的位置、体重和身高。人类轨迹和激光雷达轨迹的采样率均为10 [Hz]。 ### B. 训练参数 本研究仅使用生成数据作为训练数据。根据表1，输入帧的尺寸为$32 \times 1024$。优化器我们采用Adam [^38]，设置学习率为0.001，衰减率为0.001。我们还将每个场景训练数据中人类标签的权重设置为背景像素数/人类像素数。此外，我们将分割任务的分类交叉熵损失权重设置为10000，背景速度估计的均方误差（MSE）设置为1，人类速度估计的均方误差（MSE）设置为1001。 ### C. 实验结果 我们评估了1种用于帧学习的网络，以及4种用于序列学习的网络。针对这些网络，我们设置参数如下：epoch为1000，batch size为1，每轮epoch的步数为150。首先，我们训练了单帧网络，它是帧域学习的参考，采用与Fig. 5相同的架构。因此，我们为序列学习设置采样帧长度为2、4、8和16。本次评估使用人工标注的0.1K真实数据，以及所提流水线生成的108条序列。真实数据的具体信息为 ---
TABLE 4. Comparison of the networks for human segmentation. Criteria range denotes the evaluation distance range. For example, '0 to 4 [m]' means that the distance range between 0 [m] and 4 [m] from LiDAR was only considered for metric calculation. We would also like to point out that defect pixels in the depth map are not considered for evaluation.
Criteria rangeSingle frameSequence
2-frame4-frame8-frame16-frame
Generated data0 to $\infty$ [m]0.43580.58690.54610.55230.6443
0 to 4 [m]0.63010.77740.72780.72500.8141
4 to 8 [m]0.23460.40540.37400.38310.4695
8 to $\infty$ [m]0.07250.13230.12220.12720.1622
Real data0 to $\infty$ [m]0.50970.55880.55310.55500.5883
0 to 4 [m]0.64020.68010.68370.68860.7041
4 to 8 [m]0.40670.45430.45210.43200.4668
8 to $\infty$ [m]0.18830.22340.19710.19650.2309
![Image](images/38439c9055539a00d2fce874d0c95e638e4107ada4891a76485ec279f734bd74.jpg)
(a) Ground truth of generated data in point cloud
![Image](images/4d77368c5622f2fa2efb81b26b0cccc3130ee8705ec26052977db8967be7a673.jpg)
(b) Prediction with 16-frame in point cloud
FIGURE 7. An example of segmentation with 16-frame. In (a), blue points denote the background and red points denote a human label. In (b), blue points denote that the estimated result is the background and red points denote that the estimated result is a human.
见表2。请注意，速度单位统一为[m/s]，且训练数据不包含测试数据。 ## 1）人体分割 表4展示了评估结果。从结果可以看出，“Sequence”在所有指标区间的性能均优于“Frame”。单帧网络在“0 至 4 [m]”区间表现出相当的性能，但随着指标区间距离增加，单帧网络的性能会急剧下降。使用多帧可以解决这一性能下降问题。例如，在16帧设置下，“4 至 8 [m]”区间性能提升超过23.4%，“8 至 ∞ [m]”区间提升8.9%。此外我们可以观察到，利用序列数据还能提升“0 至 4 [m]”区间的人体分割性能，进而提升网络的整体性能。根据这些实验结果我们得出结论：在采用LiDAR传感的人体分割任务中，使用多帧相比单帧能够提升远距离人体的识别性能。需要说明的是，由于16帧在表4中取得了最优得分，因此Fig. 7和Fig. 8中的示例均采用16帧的结果。
TABLE 5. Comparison of networks trained with different data.
human modeltrajectorywalking modelIoU
✓0.2276
✓✓0.3318
✓✓0.3395
✓✓✓0.3814
为了验证序列特征的作用，我们如表5所示对比了四种不同的数据集。在同时排除轨迹和行走模型的数据中，所有人行走模型都固定在特定位置和状态；在不含行走模型的数据中，所有人行走模型保持固定状态，沿自身轨迹滑动；在不含轨迹的数据中，所有人行走模型在固定位置完成行走动作。我们在每个数据集上用100条序列训练16帧网络，并用真实数据评估其IoU，结果如表5所示。根据表5，包含全部信息的数据训练得到的网络得分最高。我们还观察到，仅排除行走模型或仅排除轨迹的数据训练的网络，得分高于同时排除轨迹和行走模型的数据训练出的网络。因此我们推测，考虑轨迹和行走模型有助于性能提升。
TABLE 6. Effect of velocity estimation in 16-frame.
NetworkVelocity estimation
w/ow/
Generated data0.57090.6443
Real data0.52260.5883
我们还验证了速度估计对所提网络架构的影响。表6展示了16帧设置下使用所提架构的IoU对比结果。从表6的结果可以看出，同时使用人体标签和速度信息进行训练，得到的性能高于 --- ![Image](images/64a5493f3562df114b193892afe9c549974da1dc2cf3331439d41b274f63f536.jpg)
(a) Color board
(b) Depth frame #01
![Image](images/17fc545263e0e17d3f0f2198c23f4ad2755f2f50fcf54791cc85a4e569d7074a.jpg)
(c) Human velocity #01
![Image](images/ad828bb0965811f960f376dbc153bfcd36f30ea302a393d2a45bdffa6074a43b.jpg) ![Image](images/5249bde355cb1ff8ac25d5d698b858a130bac7cf342eb4befdc552ed670eda97.jpg)
(d) 16-frame estimation #01
(e) Depth frame #02
![Image](images/96f94f997e9965d31b956ef42e18ec31d81499dfbb03973d1265cf0d27bb4ac2.jpg) ![Image](images/2a1510783a3f95de3b9fb63bab9ee26b0b60a4802ed98674e20cc0f7103e2a1f.jpg) ![Image](images/90a93268d096fd60f7ac19fa973a1a0d79f12c392ac242deb4e71ac135689def.jpg)
(f) Human velocity #02
(h) Depth frame #03
(g) 16-frame estimation #02
![Image](images/4cf6b43c72d37463fb57797aec303d8820a8aeb08211dc24bcb522c41845ea64.jpg)
(i) Human velocity #03
![Image](images/bfd04babb37d517d6e513f7c02bdaddf477eafadb3f338a88a63e1b5559f65ca.jpg)
(j) 16-frame estimation #03
FIGURE 8. Estimation of human velocity. Figures (d), (g), and (j) show the estimation results of human velocity for depth frames (b), (e), and (h), respectively, while (c), (f), and (i) show the corresponding ground truth human velocity. The meaning of color is shown in Fig. (a).
TABLE 7. Comparison of networks in real data.
NetworkIoU
Single network [^12]0.3490
Ensemble network [^12]0.3656
Proposed in 16-frame0.5883
仅使用人体标签训练得到的性能。这表明，相比仅简单输入序列数据，直接考虑速度信息更能提升人体分割的性能。 从人体分割结果中我们发现，该网络能够从时序数据中提取时间轴上的差异特征，这些特征可以提升远距离场景下的分割任务效果。此外我们还假设，帧域内的网络仅能学习人体形状特征，而序列域网络则能够同时学习人体形状和运动信息。据此我们得出结论：通过纳入时序信息，可以解决分割性能随距离下降的问题。人体分割示例如图7所示。 在近期研究[^12]中，集成网络被提出并使用相同真实数据开展了评估。因此，本文将所提出的网络与[^12]中报告的结果进行对比如表7所示。可以确认，本文提出的网络得分显著优于其他网络。 ## 2 ) 人体速度估计 如图5所示，该网络可以估计人体分割结果和像素级速度图，进而我们可以得到分割区域的速度图。人体速度估计示例如图8所示。从图8可知，估计得到的速度与真值趋势一致。因此我们得出结论：仅使用LiDAR进行速度估计是一项可行的任务。 ### VI. 结论 本文针对使用LiDAR的人体检测与速度估计任务，提出了一种采用精确人体模型和运动信息的全自动化序列生成流水线。通过该流程，我们可以轻松为LiDAR生成任意属性的标注数据。基于研究结果我们得出结论：与仅从帧域采集的数据相比，时序数据可以提升人体分割的性能。此外，我们还验证了仅使用LiDAR进行速度估计的可行性。本文提供了0.1K标注真实数据，以及超过7K带有人类标注和速度图的生成序列。通过这些序列，我们证实了时序数据相对帧域数据的有效性。 我们已经考虑了未来工作改进的两个主要方向。第一点与流水线改进相关：尽管我们采用了经过验证的方法构建人体模型，但该模型仍无法完全代表真实世界的情况。因此，未来我们将考虑姿态、穿搭风格等多种条件，以实现更准确的仿真。当前我们仅让人体模型完成行走动作，未来我们还将尝试应用不同行走姿态、步长等多种条件。此外需要说明的是，本研究中的网络仅使用生成数据训练。对比手动标注训练数据和生成训练数据的网络性能对本研究而言很有价值，但根据我们的调研，该实验预计会产生高昂的成本。第二点改进方向与序列利用相关：由于生成数据是时序的，因此可以应用于人体跟踪、轨迹预测等诸多任务。未来工作包括如同[^39]、[^40]所述调整网络结构和开展多模态扩展。未来工作将详细阐述这些改进方向的实现方法。 ## 参考文献 ## [^1]: B. Schwarz, “LIDAR: Mapping the world in 3D,” Nature Photon., vol. 4, no. 7, p. 429, 2010. --- [^2]: S. Niijima, Y. Sasaki, and H. Mizoguchi, “Autonomous navigation of electric wheelchairs in urban areas on the basis of self-generated 2D drivable maps,” in Proc. IEEE/ASME Int. Conf. Adv. Intell. Mechatronics (AIM), Jul. 2018, pp. 1081–1086. [^3]: J. Long, E. Shelhamer, and T. Darrell, “Fully convolutional networks for semantic segmentation,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2015, pp. 3431–3440. [^4]: C. Farabet, C. Couprie, L. Najman, and Y. LeCun, “Learning hierarchical features for scene labeling,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 35, no. 8, pp. 1915–1929, Aug. 2013. [^5]: B. Wu, A. Wan, X. Yue, and K. Keutzer, “SqueezeSeg: Convolutional neural nets with recurrent CRF for real-time road-object segmentation from 3D LiDAR point cloud,” 2017, arXiv:1710.07368. [Online]. Available: [^6]: C. Feichtenhofer, H. Fan, J. Malik, and K. He, “SlowFast networks for video recognition,” 2018, arXiv:1812.03982. [Online]. Available: [^7]: D. Tran, L. Bourdev, R. Fergus, L. Torresani, and M. Paluri, “Learning spatiotemporal features with 3D convolutional networks,” in Proc. IEEE Int. Conf. Comput. Vis. (ICCV), Dec. 2015, pp. 4489–4497. [^8]: C. Gu, C. Sun, D. A. Ross, C. Vondrick, C. Pantofaru, Y. Li, S. Vijayanarasimhan, G. Toderici, S. Ricco, R. Sukthankar, C. Schmid, and J. Malik, "AVA: A video dataset of spatio-temporally localized atomic visual actions," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., Jun. 2018, pp. 6047–6056. [^9]: S. Hong, D. Yeo, S. Kwak, H. Lee, and B. Han, “Weakly supervised semantic segmentation using Web-crawled videos,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit. (CVPR), Jul. 2017, pp. 7322–7330. [^10]: G. Seguin, P. Bojanowski, R. Lajugie, and I. Laptev, “Instance-level video segmentation from object tracks,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2016, pp. 3678–3687. [^11]: W. Kim, M. Tanaka, M. Okutomi, and Y. Sasaki, “Automatic labeled LiDAR data generation based on precise human model,” in Proc. Int. Conf. Robot. Autom. (ICRA), May 2019, pp. 43–49. [^12]: W. Kim, M. Tanaka, M. Okutomi, and Y. Sasaki, “Automatic labeled LiDAR data generation and distance-based ensemble learning for human segmentation,” IEEE Access, vol. 7, pp. 55132–55141, 2019. [^13]: M. Mochimaru, M. Kouchi, N. Miyata, M. Tada, Y. Yoshida, K. Aoki, K. Kawachi, and Y. Motomura, “Dhaiba: Functional human models to represent variation of shape, motion and subjective assessment,” SAE Tech. Paper 2006-01-2345, 2006. [^14]: Microsoft. Accessed: Jul. 17, 2019. [Online]. Available: [^15]: I. B. Barbosa, M. Cristani, A. Del Bue, L. Bazzani, and V. Murino, “Re-identification with RGB-D sensors,” in Proc. Eur. Conf. Comput. Vis. Springer, 2012, pp. 433–442. [^16]: M. Munaro, A. Basso, A. Fossati, L. Van Gool, and E. Menegatti, “3D reconstruction of freely moving persons for re-identification with a depth sensor,” in Proc. IEEE Int. Conf. Robot. Autom. (ICRA), May 2014, pp. 4512–4519. [^17]: D. Kastaniotis, I. Theodorakopoulos, C. Theoharatos, G. Economou, and S. Fotopoulos, “A framework for gait-based recognition using Kinect,” Pattern Recognit. Lett., vol. 68, pp. 327–335, Dec. 2015. [^18]: A. Geiger, P. Lenz, and R. Urtasun, “Are we ready for autonomous driving? The KITTI vision benchmark suite,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2012, pp. 3354–3361. [^19]: C. Premebida, J. Carreira, J. Batista, and U. Nunes, “Pedestrian detection combining RGB and dense LIDAR data,” in Proc. IEEE/RSJ Int. Conf. Intell. Robots Syst., Sep. 2014, pp. 4112–4117. [^20]: D. Levi, N. Garnett, and E. Fetaya, “StixelNet: A deep convolutional network for obstacle detection and road segmentation,” in Proc. Brit. Mach. Vis. Conf., 2015, pp. 1–109. [^21]: M. Johnson-Roberson, C. Barto, R. Mehta, S. N. Sridhar, K. Rosaen, and R. Vasudevan, “Driving in the matrix: Can virtual worlds replace human-generated annotations for real world tasks?” in Proc. IEEE Int. Conf. Robot. Autom. (ICRA), May 2017, pp. 746–753. [^22]: S. R. Richter, V. Vineet, S. Roth, and V. Koltun, “Playing for data: Ground truth from computer games,” in Proc. Eur. Conf. Comput. Vis. Springer, 2016, pp. 102–118. [^23]: J. Behley, M. Garbade, A. Milioto, J. Quenzel, S. Behnke, C. Stachniss, and J. Gall, “SemanticKITTI: A dataset for semantic scene understanding of LiDAR sequences,” in Proc. IEEE/CVF Int. Conf. Comput. Vis. (ICCV), Oct. 2019, pp. 9297–9307. [^24]: T. Brox and J. Malik, “Object segmentation by long term analysis of point trajectories,” in Proc. Eur. Conf. Comput. Vis. Springer, 2010, pp. 282–295. [^25]: D. Tsai, M. Flagg, and J. Rehg, “Motion coherent tracking using multi-label MRF optimization,” in Proc. Brit. Mach. Vis. Conf., 2010, pp. 190–202. [^26]: F. Li, T. Kim, A. Humayun, D. Tsai, and J. M. Rehg, “Video segmentation by tracking many figure-ground segments,” in Proc. IEEE Int. Conf. Comput. Vis., Dec. 2013, pp. 2192–2199. [^27]: S. Caelles, A. Montes, K.-K. Maninis, Y. Chen, L. Van Gool, F. Perazzi, and J. Pont-Tuset, “The 2018 DAVIS challenge on video object segmentation,” 2018, arXiv:1803.00557. [Online]. Available: [^28]: APOLLO. Accessed: Jul. 27, 2019. [Online]. Available: [^29]: A. Geiger, P. Lenz, C. Stiller, and R. Urtasun, “Vision meets robotics: The KITTI dataset,” Int. J. Robot. Res., vol. 32, no. 11, pp. 1231–1237, Sep. 2013. [^30]: M. Cordts, M. Omran, S. Ramos, T. Rehfeld, M. Enzweiler, R. Benenson, U. Franke, S. Roth, and B. Schiele, “The cityscapes dataset for semantic urban scene understanding,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2016, pp. 3213–3223. [^31]: Y. Endo, M. Tada, and M. Mochimaru, “Hand modeling and motion reconstruction for individuals,” Int. J. Autom. Technol., vol. 8, no. 3, pp. 376–387, May 2014. [^32]: Y. Endo, M. Tada, and M. Mochimaru, “Estimation of arbitrary human models from anthropometric dimensions,” in Proc. Int. Conf. Digit. Hum. Modeling Appl. Health, Saf., Ergonom. Risk Manage. Springer, 2015, pp. 3–14. [^33]: Miraikan. Accessed: May 27, 2018. [Online]. Available: [^34]: A. Ohsato, Y. Sasaki, and H. Mizoguchi, “Real-time 6DoF localization for a mobile robot using pre-computed 3D laser likelihood field,” in Proc. IEEE Int. Conf. Robot. Biomimetics (ROBIO), Dec. 2015, pp. 2359–2364. [^35]: Y. Kobayashi, H. Hobara, T. A. Heldoorn, M. Kouchi, and M. Mochimaru, “Age-independent and age-dependent sex differences in gait pattern determined by principal component analysis,” Gait Posture, vol. 46, pp. 11–17, May 2016. [^36]: HOKUYO. Accessed: Feb. 19, 2019. [Online]. Available: [^37]: Y. Sasaki and J. Nitta, “Long-term demonstration experiment of autonomous mobile robot in a science museum,” in Proc. IEEE Int. Symp. Robot. Intell. Sensors (IRIS), Oct. 2017, pp. 304–310. [^38]: D. P. Kingma and J. Ba, “Adam: A method for stochastic optimization,” 2014, arXiv:1412.6980. [Online]. Available: [^39]: O. Erkent, C. Wolf, C. Laugier, D. S. Gonzalez, and V. R. Cano, “Semantic grid estimation with a hybrid Bayesian and deep neural network approach,” in Proc. IEEE/RSJ Int. Conf. Intell. Robots Syst. (IROS), Oct. 2018, pp. 888–895. [^40]: D. Feng, C. Haase-Schutz, L. Rosenbaum, H. Hertlein, C. Glaser, F. Timm, W. Wiesbeck, and K. Dietmayer, “Deep multi-modal object detection and semantic segmentation for autonomous driving: Datasets, methods, and challenges,” IEEE Trans. Intell. Transp. Syst., to be published. ![Image](images/c69f1939355a29300cc7b298ab140664a45f2ee8b13ae6b46af7f6f94d827768.jpg) 金完植（IEEE会员）于2018年获得东京工业大学控制与系统工程系工学学士学位，2020年获得东京工业大学系统与控制工程系工学硕士学位，目前正在该校攻读博士学位。他曾担任国立高级工业技术研究所（NIAI）人工智能研究中心研究助理。 （国立高级工业科学技术研究所），2018年入职。他的研究兴趣包括人工智能、机器学习、机器人学与优化。 --- ![Image](images/ab81cc545e6b0546a9c0ef5513c2e7b6647917071373f04dac0bbe766c98384e.jpg) 田中正幸（IEEE会员）分别于1998年、2000年和2003年在东京工业大学获得控制工程学士、硕士学位与博士学位。2003年至2004年，他担任安捷伦科技软件工程师。2004年至2008年，任东京工业大学研究员。2008年至2016年，任东京工业大学理工学研究科副教授。2013年至2014年，他担任斯坦福大学心理学系访问学者。2016年至2017年，任东京工业大学工程学院副教授。自2017年起，担任国立高级工业科学技术研究所高级研究员。 奥富正敏（IEEE会员）于1981年获得日本东京大学数学工程与信息物理学系工学学士学位，1983年获得东京工业大学控制工程系工学硕士学位，后因立体视觉方向的研究获得东京工业大学工学博士学位。他于1983年加入东京佳能公司佳能研究中心工作。1987年至1990年，担任美国卡内基梅隆大学计算机学院访问研究员。自1994年起任职于东京工业大学，目前担任该校工程学院系统与控制工程系教授。 ![Image](images/d76b41921756ae23aec465002801abd59196afb59d7820541bce8ae81dca6d62.jpg) ![Image](images/c4314ed98012cf55c5b55514cc4b29aee0115248a558338d46b8dd9ffea169e3.jpg) 佐佐木洋子（IEEE会员）于2009年因移动机器人听觉系统方向的研究获得东京理科大学机械工程博士学位，随后加入国立高级工业科学技术研究所（AIST）数字人研究中心。自2015年起，担任AIST人工智能研究中心高级研究员。她的研究工作涉及自主移动机器人及其传感技术的开发。 以及导航技术，尤其是面向人类生活环境的相关技术。