# 基于动态LiDAR数据的人体分割钟涛*，金元直†，田中雅之‡，奥富正敏§ 工学部系统控制工程系日本东京都目黑区东京工业大学，邮编152-8550 邮箱：*, †, †, $ 摘要——连续LiDAR扫描组成动态三维序列，相比单帧包含更丰富的信息。与图像和视频感知的发展历程类似，在静态三维数据感知研究取得进展之后，动态三维序列感知开始受到关注。本文针对动态LiDAR点云的人体分割任务提出了一种时空神经网络。该网络以深度图像序列为输入，采用双分支结构，即空间分割分支和时间速度估计分支。速度估计分支用于从输入序列中捕捉运动线索，再将运动信息传播到分割分支，从而让分割分支结合空间和时间特征完成人体分割。两个分支在一个用于人体识别的生成动态点云数据集上联合训练。本文工作填补了采用球面点云表示的动态点云感知领域的空白，取得了较高的准确率。实验表明，引入时间特征有利于动态点云的分割任务。 ## 一、引言精准快速的三维环境感知在机器人领域至关重要，因为行人的实时几何信息是后续运动规划必不可少的。激光探测与测距（LiDAR）凭借探测范围大、多场景下鲁棒性强、价格持续下降等优势，格外受到学术界和工业界的关注。早期研究[^1]在点云处理中使用手工特征，如今基于学习的方法也已经能够提取特征了。 ![Image](images/a2914d28e0f0b35239c7c218580eed813843b4e069206cd260d96a184bb504b5.jpg) 在目前大多数数据集中，一次扫描生成的点云被整理为单帧数据。因此，当逐帧进行检测或分割时，每一帧都被当作独立的静态三维数据处理。许多研究者已经成功将深度学习方法应用到静态点云感知中。他们[^2], [^3], [^4], [^5], [^6]基于点云的不同表示方式提取空间局部与全局特征，比如逐点法、基于体素的方法和球面表示法等。之后这些特征被用于分类、目标检测和语义分割任务。在现实场景中，LiDAR持续旋转，生成连续的点云帧序列。这些三维视频是动态的，因此蕴含丰富的空间与时间线索。然而，和静态点云相比，目前针对动态点云的研究还很少。原因之一是缺乏带标注的训练数据，因为给序列中的数百万个点标注无疑需要耗费大量的时间和资源。近年来，

Fig. 1: An example of segmentation results on generated data. Blue points are classified as background, and red points are classified as human.

面向动态点云的多个合成数据集和真实数据集[^7]、[^8]、[^9]的发布，正在推动相关领域研究的快速发展。已被证实在静态点云领域有效的逐点方法[^10]和基于体素的方法[^11]，现已被拓展到动态点云领域。这些方法展现出优于以往的性能，也体现了时空特征的优势。本文提出的架构受用于无监督视频目标分割的双流网络[^12]启发，该网络实现了空间特征与时间特征的交互。借助一个同时为合成激光雷达数据提供逐点分类标注和速度标注的数据集，我们训练得到了一个能够在动态点云中联合预测人体分割结果和速度图的网络。因此，与以往隐式利用时间信息的工作不同，我们能够显式提取时间信息，并将其应用到分割任务中。此外，本文提出的模型基于球面表示方法，以点云序列的一系列二维距离图像作为输入。据我们所知，本文工作是首个采用该表示方法研究动态点云分割的工作。实验表明，在人体分割数据集上，本文提出的模型取得了比现有最优方法更高的准确率。对时间线索的利用有效提升了人体检测的性能。我们还研究了用于人体检测的帧长度对检测效果的影响。 --- 所有数据和示例代码均可在线获取$^{1}$。 ### 二、相关工作 ### A. 静态点云感知根据处理无序点云的方式，近年基于学习的方法可分为两类：基于点的网络[^3]、[^13]、[^14]和基于投影的网络[^2]、[^4]、[^15]、[^6]。基于点的方法旨在直接处理原始点。作为开创性工作，PointNet [^3]将点的坐标作为输入，通过对称函数从逐点特征中得到全局特征。PointNet++ [^13]进一步通过对空间邻近点分组，将局部结构纳入考虑。基于点的方法擅长提取置换不变特征，但它也带来了相对更高的计算和内存需求。基于投影的方法首先将点云转换为中间表示。将点云投影到多视图平面[^4]后，即可在每个视图上实现二维卷积，之后将各视图特征聚合得到全局特征。对点云进行体素化[^16]会生成三维张量，进而可以在其上应用三维卷积。另一种被广泛使用的方法是球面表示[^15]、[^17]、[^18]、[^6]，该方法将点云投影到球面平面，得到的深度图像可输入常规卷积网络。SqueezeSeg [^15]就是这类方法中一个典型且高效的模型。遗憾的是，单独处理各帧时，帧之间的时间关系会被忽略。本文工作基于球面表示，捕获了深度图像序列中的时空线索。 ### B. 动态点云感知由于标注难度较高，大多数动态点云数据集都是通过仿真生成的。Kim等人开发了用于单帧[^19] [^20]和序列点云数据生成的流程[^7]。SYNTHIA数据集[^8]提供了大量由游戏引擎生成的道路场景视频。Behley等人[^9]标注了KITTI里程计数据集[^21]的所有帧，并发布了SemanticKITTI数据集。静态点云感知中的方法经过一定调整后也可应用于动态场景。Meteornet[^10]是一种基于PointNet的逐点方法，该方法在提取点的局部特征时，将空间邻域扩展为时空邻域，得到的特征随后用于下游任务：动作识别、分割和场景流估计。PointRNN[^22]使用循环模型聚合不同时间步的局部特征。对于基于体素的方法，Luo等人[^5]通过沿时间轴拼接点云的占据网格构建了4D张量，随后在时间维度上进行3D卷积以捕获运动特征，这对检测、跟踪和运动预测任务均有帮助。Choy等人[^11]将UNet[^23]的2D卷积层替换为稀疏4D卷积层，降低了高维卷积的计算成本。然而，在行人分割的准确率方面，该方法相对于静态方法的提升并不显著，这说明以这种隐式方式提取时间特征可能并不奏效。与上述方法相比，我们更明确地利用了时间信息。 ### C. 视频目标分割在无监督视频目标分割任务中，没有参考掩码作为引导，因此搜索前景目标时运动线索是必不可少的。光流$^{[24]}$作为一种代表性的运动场表示方法被广泛使用。部分研究人员$^{[25]}$、$^{[26]}$通过将前一帧的扭曲特征图拼接至当前帧的特征图来增强特征。Segflow$^{[12]}$构建了一个双路网络，同时预测分割结果和光流，证明了两个分支之间特征图的双向交互可以提升两项任务的性能。我们的方法受这项工作启发，迫使网络从速度估计任务中学习运动线索。 ### III. 提出的方法为了借助运动信息对动态点云中的人体进行分割，我们构建了一个双分支网络，其中一个是分割分支，另一个是速度估计分支。该网络以深度图像序列为输入，可在一个阶段内预测最后一帧中每个点的类别和速度。下文首先介绍每个分支的结构，以及两个分支之间时空特征的交互方式，随后简要说明我们如何生成带有分割和速度标注的连续LiDAR数据。所提模型的整体架构如图2所示。 ### A. 分割分支分割分支的输入是序列的最后一帧，因此它仅提取空间特征，输入张量的尺寸为$h \times w \times 1$，其中h和w分别是距离图像的高度和宽度。输出为该帧中每个像素对应各类别的预测概率分布。分割分支为沙漏型结构，由压缩段、扩张段和跳跃连接组成。考虑到垂直方向的分辨率远低于水平方向，因此在压缩段仅对输入帧在水平方向进行下采样。在我们的设置中，每两个卷积层后接一个池化大小为[^1] [^2]的最大池化层，卷积的核大小为$3 \times 3$。经过三次下采样操作后，尺寸为$h \times \frac{1}{8}w \times C$的空间特征图会在扩张段中上采样回原始图像分辨率。C表示特征通道的数量。为了优化分割结果，尺寸为$h \times w \times$ --- ![Image](images/f45f640f74581e7937d57fbd327afda28e2bb86eec208e222dbb10585004c234.jpg)

Fig. 2: The proposed network architecture which consists of the segmentation branch and the velocity estimation branch. They communicate spatial and temporal features in the expansion section. Frame t denotes the current scan, while frame $t-1$ to $t-n+1$ denote the last $n-1$ scans.

$\frac{1}{8}C, h \times \frac{1}{2}w \times \frac{1}{4}C, h \times \frac{1}{4}w \times C$ 压缩段池化层之前的特征图会通过跳跃连接与扩张段中尺寸相同的特征图相加。通道数C等于512。最后一层的激活函数是softmax。 ### B. 速度估计分支速度估计分支以多个连续帧作为输入，提取时序特征。输入张量的尺寸为$n \times h \times w \times 1$，其中n表示输入帧的数量。输出为最后一帧中每个像素的预测速度。每个输入帧首先经过权值共享的特征提取网络，其主干为全卷积网络 [^27]。输出为n张对应输入帧的特征图，尺寸为$h \times \frac{1}{16}w \times \frac{1}{8}C$。由于速度属于一种运动信息，该分支的特征图应当编码运动线索。因此我们将它们沿通道轴拼接，将生成的张量作为时序特征图。为了在分割过程中利用这些特征，我们将时序特征图传播到分割分支。具体来说，它们会被上采样到与扩张段中空间特征相同的尺寸后进行拼接，如图2中绿色箭头所示。反过来，分割分支输出的预测标签图也会拼接到时序特征图中作为引导。最终，经过数个卷积层后，采用线性激活的最后一层将其解码为$h \times w \times m$速度图。m表示速度向量的维度数，在我们的设置中m为2，用于表示水平面。 ### C. 损失函数对于分割分支的损失函数，我们使用逐像素分类交叉熵。对于速度估计分支的损失函数，我们使用均方误差（Mean Square Error, MSE）。因此，优化过程中使用的总损失是背景和人体的分割损失与速度估计损失的组合。背景和人体的速度估计损失分别计算，缺陷像素不参与计算。给定n张输入深度图 $d_t$、$d_{t-1}$、……，第t帧的估计标签图和速度图可以表示为 $$ [\hat{l}_{t}|\hat{v}_{t}]\quad=\quad f(d_{t},\cdots,d_{t-n+1};\theta), $$ 其中$\hat{l}_t$是第t帧的估计标签图，$\hat{v}_t$是第t帧的估计速度图，$f(\cdots; \theta)$代表权重为$\theta$的网络。总损失定义如下： $$ \begin{align*}L_{t}=&\frac{\lambda_{c}}{N_{c}}\sum_{i}\mathrm{CE}(\hat{l}_{t,i},l_{t,i})+\frac{\lambda_{h}}{N_{h}}\sum_{j=\{i|l_{t,i}=h\}}||\hat{\boldsymbol{v}}_{t,j}-\boldsymbol{v}_{t,j}||_{2}^{2}\\&+\frac{\lambda_{b}}{N_{b}}\sum_{j=\{i|l_{t,i}=b\}}||\hat{\boldsymbol{v}}_{t,j}-\boldsymbol{v}_{t,j}||_{2}^{2},\tag{2}\end{align*} $$ 其中CE代表交叉熵，$l_{t,i}$是第t帧第i个像素的真实标签，$\|\cdot\|_{2}^{2}$代表L2范数，$v_{t,j}$是第t帧第i个像素的真实速度，h和b代表人体和背景标签，$N_{c}$、$N_{h}$和$N_{b}$是以下对象的数量： --- 所有像素、人体标签像素和背景标签像素的数量，$\lambda_{c}$、$\lambda_{h}$和$\lambda_{b}$是超参数。 ### D. 数据生成作为二维光流的扩展，场景流[^28]表示三维空间中点的平移向量。遗憾的是，据我们所知，由于标注难度较大，目前尚无同时提供分割和场景流标注的点云数据集。因此我们采用[^7]中提出的流程，生成了带有像素级分割信息和像素级速度信息的连续激光雷达数据，用于训练和评估。这些数据通过融合真实背景数据的深度图与合成人体行走模型的深度图生成[^29]。同时，我们记录了激光雷达和人体模型的运动速度。因此，每个点都会自动获得类别和速度标注。点被分为背景和人体两类。人体点的速度表示其所属人体模型相对于激光雷达原点在x轴、y轴方向的相对行走速度；背景点的速度是背景的相对速度，即$-v_{LiDAR}$。激光雷达的前进方向被指定为x轴。 ### IV. 实验我们在大规模人体分割数据集上评估了本文提出的网络，将其性能与多帧方法和单帧方法进行对比。我们还针对速度估计分支和输入序列长度的影响进行了消融实验。 ### A. 数据集与训练细节自动标注激光雷达序列数据集由1108个生成数据序列和100个真实数据序列组成。生成数据的背景数据使用HDL-32E激光雷达采集自Miraikan三层[^30]，真实数据采集于同一地点，场景中有行人走动。每个序列包含32帧，每帧的尺寸为$32 \times 1024$。数据可从获取。我们的数据集中共有1108个生成序列和100个真实序列。我们使用900个生成序列进行训练，100个生成序列进行验证，随后使用剩余的108个生成序列和100个真实序列测试网络性能。我们使用Adam优化器训练网络，初始学习率为3e-5，衰减率为$3 \times 10^{-5}$。批大小设置为1，250步构成一个epoch，网络共训练1000个epoch。式(2)中的超参数$\lambda_c$、$\lambda_h$、$\lambda_b$被设置为$1 \times 10^5$、1和1001，从而为人体点分配比背景点更大的权重。 ### B. 评估指标考虑到背景点数量极大，我们使用人类类别的交并比（intersection-over-union, IoU）分数评估性能，其中被预测

TABLE I: Ablation study on components of velocity estimation branch. The performance is evaluated with IoU(%) score of human class in different ranges.

Method			Proposed
Number of frames			4
Velocity estimation				✓	✓
Temporal feature propagation			✓		✓
Generated data	Criteria range(m)	0 to ∞	81.16	77.11	86.08
		0 to 4	92.21	90.98	94.06
		4 to 8	63.25	59.07	72.79
		8 to ∞	33.65	25.75	41.44
Real data	Criteria range(m)	0 to ∞	64.23	64.87	67.29
		0 to 4	74.59	75.73	76.93
		4 to 8	49.84	51.83	53.79
		8 to ∞	23.43	25.06	24.76

为人类的点被视为正样本。因此，IoU由真正例（TP）、假正例（FP）和假负例（FN）的总数按如下方式计算： $$ IoU=\frac{TP}{TP+FP+FN} $$ 请注意，缺陷像素不纳入评估考量。 ### C. 消融实验我们开展消融实验，验证速度估计分支各组件的作用。此外，我们在多个距离区间内计算IoU分数，以验证模型在不同距离下的性能。例如，“0 至 4 [m]”表示计算时仅考虑距离LiDAR在0 [m]到4 [m]范围内的点。研究速度估计的作用时，我们移除了用于解码速度图的最后几层，即此时模型仅预测分割结果。研究时间特征传播的作用时，我们切断了从速度估计分支到分割分支的跳跃连接。如表I所示，在“0 至 $\infty$ [m]”区间内，时间特征传播分别在生成数据和真实数据上带来了约9%和2.4%的提升。尤其在生成数据的“8 至 $\infty$ [m]”区间中，速度估计和时间特征传播分别将IoU分数提升了7.9%和15.7%，这表明运动线索有助于点云非常稀疏的远距离场景下的检测。如图5所示，该网络可以估计人体分割结果和像素级速度图，随后我们可以得到分割区域的速度图。人体速度估计的示例如图8所示。根据图8，估计得到的速度与真值趋势一致。因此我们得出结论：仅使用LiDAR进行速度估计是一项可行的任务。 --- ![Image](images/07d4239325f300ff5381012c6c0918f47c2d3c822d490278eab7250535565b12.jpg) ![Image](images/6ed53f12b9c265cc60ee577de462be41e0600653368770ed35984c35cd96c90c.jpg)

(a) Generated data

![Image](images/e45f0c00a6606209b727121a7067b757815c490a399b8c17b7ea507bd557998f.jpg) ![Image](images/f929106515ae8e1d4c0b9c61fb3b2713074a25b1ee8e335f749cfb0b680b8a47.jpg)

(b) Real data

Fig. 3: Comparison of segmentation result on generated data and real data. In 2D plots, white area denotes True Positive and black area denotes True Negative, while red area denotes False Positive and yellow area denotes False Negative.

---

TABLE II: Experiments on the effect of the number of input frames.

Method			Proposed
Number of frames			1	2	4	8	16
Generated data	Criteria range (m)	0 to ∞	82.01	83.00	86.08	88.89	80.73
		0 to 4	91.75	93.17	94.06	95.10	90.61
		4 to 8	64.02	67.51	72.79	78.96	78.96
		8 to ∞	38.05	34.52	41.44	46.52	31.96
Real data	Criteria range (m)	0 to ∞	65.74	66.22	67.29	67.31	63.60
		0 to 4	75.85	77.20	76.93	77.43	74.28
		4 to 8	52.50	52.77	53.79	51.53	46.01
		8 to ∞	23.39	23.57	24.76	22.35	23.61

TABLE III: Comparison of networks on the automatic labeled LiDAR sequence dataset for human segmentation. The performance is evaluated with IoU [%] score of human class in the range of '0 to ∞ [m]'.

Method	SqueezeSeg (w/o CRF) [^15]	Kim [^7]	Meteornet [^10]	Proposed
Input	depth	depth	xyz	depth
# of frames	1	4	4	4
Generated Real	58.87	68.88	73.87	86.08
Generated Real	11.35	58.69	52.20	67.29
Run time (ms)	6	46	840	51

### D. 输入帧数量的影响输入帧数量与模型性能的关系如表II所示。我们分别以1帧、2帧、4帧、8帧、16帧序列作为输入评估本文提出的模型。需要注意的是，当输入为单帧时，模型不设置速度估计分支。当输入序列长度不超过8帧时，整体准确率随帧数量的增加而提升。在生成数据上，所有距离区间的性能都得到了提升，8帧输入在“0 至 ∞ [m]”区间的IoU分数比单帧输入高6.8%。这得益于4[m]以上距离区间预测准确率的显著提升，进一步证明了时间信息在动态点云感知中的优势。这种趋势在真实数据上并不明显，这可能是由生成数据与真实数据之间的域差距，或是真实数据标注不准确导致的。然而，帧数量的增加也会导致推理时间增加，且当序列长度达到16帧时，准确率会显著下降。因此，我们认为4帧是合适的长度。 ### E. 对比实验本文将所提网络的性能与运行时间，同Kim提出的模型、输入为4帧序列的Meteornet，以及输入为单帧的SqueezeSeg进行了对比。参考SqueezeSeg原论文结论，我们实现的SqueezeSeg未添加CRF层，因为该设置在人体分割任务中性能更优。实验结果如表III所示。与Kim提出的模型相比，本文所提网络在生成数据上将人体类别的IoU得分提升了近17%，在真实数据上提升了近6%，精度也优于Meteornet与SqueezeSeg。该结果证明了本文模型的有效性。需要注意的是，和SqueezeSeg使用的KITTI数据集、Meteornet使用的SYNTHIA数据集不同，本文所用数据既不包含强度信息也不包含颜色信息。实验使用单块GTX 2080 Ti GPU与Intel Core i9 CPU。基于投影的方法运行时间短于基于点的方法Meteornet。对于4帧输入序列，本文所提模型的运行速度为51 ms/序列。图3为分割结果的二维与三维可视化结果。生成数据预测结果的三维图可参见图1。可以看出，本文所提模型能够识别出生成数据中几乎所有的人体点云，仅存在少量假阳性预测。在难度更高的真实数据上，本文模型抑制假阴性的能力表现得更为突出，这一点在实际机器人应用中十分重要。 ![Image](images/daafcb94cd2c7924053d66aa211a64db27725c536a6d40b4ac0d361cadaad979.jpg)

(a) Ground truth

![Image](images/fadce15b3b4e9ebe8014797aa97ab33755eef95a4bd71a52951c35955b71e1b2.jpg)

(b) Predicted

![Image](images/f883dca4cdf76464f5fd08faeb8312a86938de42c0c764ed0d5259b02ac2fce4.jpg)

Fig. 4: Velocity map of human area.

--- ### F. 速度估计本文的核心目标是人体分割，速度图是模型得到的副产品。图4展示了人体区域速度图的真值与预测结果，可见估计得到的速度变化趋势与真值相近。这说明速度估计分支能够捕捉运动信息，这些信息会被用作分割的线索。 ### V. 结论本文针对动态点云分割提出了一种双分支网络，在人体分割数据集上取得了较高的精度。该网络能够通过分割分支与速度估计分支之间的特征传播提取并利用时序信息。根据实验结果，我们首先得出结论：序列数据中包含的时序信息对分割任务有利，因为运动线索能够弥补输入点云的稀疏性，因此对检测远处的小目标尤其有帮助。其次，适当增加序列长度能够提供更多运动线索从而提升性能，但精度与计算成本之间存在权衡关系。未来的改进方向包括：研究如何提升模型的泛化能力，使其能够应用于更多数据集；此外我们还将尝试降低帧数增加带来的计算负载。 ## 参考文献 [^1]: Y. Guo, M. Bennamoun, F. Sohel, M. Lu, and J. Wan, "3d object recognition in cluttered scenes with local surface features: a survey," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 36, no. 11, pp. 2270–2287, 2014. [^2]: Y. Guo, H. Wang, Q. Hu, H. Liu, L. Liu, and M. Bennamoun, “Deep learning for 3d point clouds: A survey,” ArXiv, vol. abs/1912.12033, 2019. [^3]: C. R. Qi, H. Su, K. Mo, and L. J. Guibas, “Pointnet: Deep learning on point sets for 3d classification and segmentation,” in Proceedings of the IEEE conference on computer vision and pattern recognition, 2017, pp. 652–660. [^4]: X. Chen, H. Ma, J. Wan, B. Li, and T. Xia, “Multi-view 3d object detection network for autonomous driving,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2017, pp. 1907–1915. [^5]: W. Luo, B. Yang, and R. Urtasun, “Fast and furious: Real time end-to-end 3d detection, tracking and motion forecasting with a single convolutional net,” in Proceedings of the IEEE conference on Computer Vision and Pattern Recognition, 2018, pp. 3569–3577. [^6]: A. Milioto, I. Vizzo, J. Behley, and C. Stachniss, “Rangenet++: Fast and accurate lidar semantic segmentation,” in Proc. of the IEEE/RSJ Intl. Conf. on Intelligent Robots and Systems (IROS), 2019. [^7]: W. Kim, M. Tanaka, M. Okutomi, and Y. Sasaki, “Learning-based human segmentation and velocity estimation using automatic labeled lidar sequence for training,” IEEE Access, vol. 8, pp. 88443–88452, 2020. [^8]: G. Ros, L. Sellart, J. Materzynska, D. Vazquez, and A. M. Lopez, “The synthia dataset: A large collection of synthetic images for semantic segmentation of urban scenes,” in Proceedings of the IEEE conference on computer vision and pattern recognition, 2016, pp. 3234–3243. [^9]: J. Behley, M. Garbade, A. Milioto, J. Quenzel, S. Behnke, C. Stachniss, and J. Gall, “Semantickitti: A dataset for semantic scene understanding of lidar sequences,” in Proceedings of the IEEE International Conference on Computer Vision, 2019, pp. 9297–9307. [^10]: X. Liu, M. Yan, and J. Bohg, “Meteornet: Deep learning on dynamic 3d point cloud sequences,” in Proceedings of the IEEE International Conference on Computer Vision, 2019, pp. 9246–9255. [^11]: C. Choy, J. Gwak, and S. Savarese, “4d spatio-temporal convnets: Minkowski convolutional neural networks,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2019, pp. 3075–3084. [^12]: J. Cheng, Y.-H. Tsai, S. Wang, and M.-H. Yang, “Segflow: Joint learning for video object segmentation and optical flow,” in Proceedings of the IEEE international conference on computer vision, 2017, pp. 686–695. [^13]: C. R. Qi, L. Yi, H. Su, and L. J. Guibas, “Pointnet++: Deep hierarchical feature learning on point sets in a metric space,” in Advances in neural information processing systems, 2017, pp. 5099–5108. [^14]: Q. Hu, B. Yang, L. Xie, S. Rosa, Y. Guo, Z. Wang, N. Trigoni, and A. Markham, “Randla-net: Efficient semantic segmentation of large-scale point clouds,” arXiv preprint arXiv:1911.11236, 2019. [^15]: B. Wu, A. Wan, X. Yue, and K. Keutzer, “Squeezeseg: Convolutional neural nets with recurrent crf for real-time road-object segmentation from 3d lidar point cloud,” in 2018 IEEE International Conference on Robotics and Automation (ICRA). IEEE, 2018, pp. 1887–1893. [^16]: D. Maturana and S. Scherer, “Voxnet: A 3d convolutional neural network for real-time object recognition,” in 2015 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 2015, pp. 922–928. [^17]: B. Wu, X. Zhou, S. Zhao, X. Yue, and K. Keutzer, “Squeezesegv2: Improved model structure and unsupervised domain adaptation for road-object segmentation from a lidar point cloud,” in 2019 International Conference on Robotics and Automation (ICRA). IEEE, 2019, pp. 4376–4382. [^18]: Y. Wang, T. Shi, P. Yun, L. Tai, and M. Liu, “Pointseg: Real-time semantic segmentation based on 3d lidar point cloud,” arXiv preprint arXiv:1807.06288, 2018. [^19]: W. Kim, M. Tanaka, M. Okutomi, and Y. Sasaki, “Automatic labeled lidar data generation based on precise human model,” in 2019 International Conference on Robotics and Automation (ICRA). IEEE, 2019, pp. 43–49. [^20]: —, “Automatic labeled lidar data generation and distance-based ensemble learning for human segmentation,” IEEE Access, vol. 7, pp. 55 132–55 141, 2019. [^21]: A. Geiger, P. Lenz, C. Stiller, and R. Urtasun, “Vision meets robotics: The kitti dataset,” The International Journal of Robotics Research, vol. 32, no. 11, pp. 1231–1237, 2013. [^22]: H. Fan and Y. Yang, "Pointrnn: Point recurrent neural network for moving point cloud processing," arXiv preprint arXiv:1910.08287, 2019. [^23]: O. Ronneberger, P. Fischer, and T. Brox, "U-net: Convolutional networks for biomedical image segmentation," in International Conference on Medical image computing and computer-assisted intervention. Springer, 2015, pp. 234–241. [^24]: B. K. Horn and B. G. Schunck, “Determining optical flow,” in Techniques and Applications of Image Understanding, vol. 281. International Society for Optics and Photonics, 1981, pp. 319–331. [^25]: D. Nilsson and C. Sminchisescu, “Semantic video segmentation by gated recurrent flow propagation,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018, pp. 6819–6828. [^26]: X. Zhu, Y. Xiong, J. Dai, L. Yuan, and Y. Wei, “Deep feature flow for video recognition,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2017, pp. 2349–2358. [^27]: J. Long, E. Shelhamer, and T. Darrell, “Fully convolutional networks for semantic segmentation,” in Proceedings of the IEEE conference on computer vision and pattern recognition, 2015, pp. 3431–3440. [^28]: S. Vedula, S. Baker, P. Rander, R. Collins, and T. Kanade, “Three-dimensional scene flow,” in Proceedings of the Seventh IEEE International Conference on Computer Vision, vol. 2. IEEE, 1999, pp. 722–729. [^29]: M. Mochimaru, M. Kouchi, N. Miyata, M. Tada, Y. Yoshida, K. Aoki, K. Kawachi, and Y. Motomura, “Dhaiba: Functional human models to represent variation of shape, motion and subjective assessment,” SAE Technical Paper, Tech. Rep., 2006. [^30] Miraikan, , 访问时间：2020年3月17日。