Fig. 1. Performance of the LiDAR-only person-following (LoPF) framework in an outdoor environment. The right figure indicates the sparse point cloud during the person-following.
一个专门设计的特征，并将这些特征输入到开发的神经网络中进行行人检测。此外，我们提出了一个重识别模块，以通过在线更新的 SVM 来实现连续的人体跟踪。我们的主要贡献总结如下。
1) 提出了一种体素特征，用于表示点云簇的 3-D 信息，该特征对激光雷达点的稀疏性不敏感。
2) 我们采用了一种特殊的 U 型深度神经网络来检测稀疏点簇中的行人，这提高了行人的检测精度，并且可以应用于实际应用。
3) 我们设计了一种在线学习机制，以持续增强机器人在检测和重新识别目标时的能力，即使目标丢失。
该框架及其子模块的有效性已在实际环境中得到验证。所开发的框架的代码可以在 上找到。
本文的其余部分组织如下。第二节回顾了该领域的相关工作。然后，第三节展示了我们的框架，并详细介绍了我们的系统。此外，在第四节中，我们设计了一些实验，并展示结果以验证我们系统的鲁棒性。最后，在第五节中，我们总结了这项研究，并列出了未来的研究方向。
### II. 相关工作
Person-following 已经成为过去几年中一个活跃的研究趋势。 在许多应用中，通过使用定位设备来实现此任务。 例如，Bastida-Castillo 等人 [^10] 使用超宽带 (UWB) 设备在室内环境中实现精确的 person-following 任务。 Tian 等人 [^11] 将 UWB 与低成本的惯性导航系统 (INS) 相结合，以提高长期 person-following 性能。 Wu 等人 [^12] 选择将超高频射频识别 (RFID) 设备固定在目标上作为标签，并将基站安装在机器人平台上。 他们成功地将跟踪模块集成到运动员训练任务中。 存在使用特殊材料（例如，反射材料）进行 person-following 的方法。 Perdoch 等人 [^13] 使用红外摄像头检测士兵背部的反光条，以实现 person-following。 Zhang 等人 [^14] 使用激光雷达检测高反射标志以识别目标。 这些方法在某些受限的应用中是有效的。 但是，它们需要额外的附件，这限制了在复杂场景中的应用。
为了减少对额外标记的依赖，许多方法试图通过传感器方面的努力来完成 person-following 任务。 一些研究人员使用具有学习算法的基于视觉的方法进行人员检测。 Pang 等人 [^15] 提出了一种 leader-following 框架，该框架使用单次检测多框检测器 (SSD) [^16] 网络，并将图像流作为输入数据，用于四足机器人。 Liu 等人 [^17] 将基于 SVM 的方法与 SSD 集成，以稳健地检测候选对象。 他们的方法的有效性通过四旋翼机器人的目标跟踪性能得到验证。 Naseer 等人 [^18] 从 RGB-D 摄像头提取图像和深度信息，以获得目标人员的位置，用于跟踪。 但是，基于视觉的方法容易受到光照变化的影响。 因此，在室外非静态环境中，研究人员更倾向于使用基于激光雷达的方法。
激光雷达在面对变化的环境时比摄像头更稳健，并且在距离测量方面更精确。 Navarro-Serment 等人 [^3] 使用 3-D 激光雷达数据来检测行人。 开发的流程首先将点云分割成簇。 然后，使用 SVM 分类器提取代表行人的簇。 Häselich 等人 [^1] 通过 SVM 丰富用于分类的特征数量，从而提高检测性能。 此外，Spinello 等人 [^19] 提出了一种基于 AdaBoost 的检测方法，称为自下而上的自上而下的检测器，以进一步提高检测精度。 随着深度学习理论的发展，Álvarez-Aparicio 等人 [^20] 使用一种称为 PeTra 的卷积神经网络 (CNN) 网络来检测激光雷达数据中人员的腿部。 Yan 等人 [^2] 将在线学习算法集成到其系统的检测模块中。 这种结合使跟踪系统能够动态调整其分类器。 然而，这些检测方法在实现复杂户外环境中的 person-following 任务时缺乏令人满意的鲁棒性。
基本上，一个跟踪程序在目标被捕获后，会继续跟踪该目标。对于目标跟踪模块，基于滤波的方法越来越受欢迎。卡尔曼滤波器（KF）及其变体以及粒子滤波器（PF）是实现跟踪任务的典型算法。Patel 和 Thakore [^21] 使用 KF 来跟踪移动物体。在这些作品 [^1]、[^2]、[^22] 中，使用无香子卡尔曼滤波器（UKF）来跟踪大型环境中多个行人。此外，Okuma 等人 [^23] 提出了一种增强的粒子滤波器，用于实现多目标跟踪。Yuan 等人 [^24] 将粒子滤波器集成到移动机器人中，使机器人能够跟踪目标人物。但是，传统的跟踪方法在目标物体消失后无法实现持续跟踪。它们缺乏用于重新识别目标的模块。
为实现长期跟踪任务，我们采用基于在线学习的方法进行目标重识别。基于在线学习的方法在过去数十年间得到了发展。Hao等人 [^25] 首次提出将在线SVM学习用于
---
Fig. 2. Framework of the online LoPF framework. The framework has two parts: 1) pedestrian detection and 2) pedestrian tracking. The pedestrian detection module consists of ground removal and segmentation, feature extraction, and CNN for classification. The pedestrian tracking module consists of UKF, a position filter, and an online SVM classifier.
分类问题。他们的算法可高效处理按时间顺序排列的数据。Yan等人 [^2] 设计了用于行人检测的在线学习框架。该框架可自动对实时数据流进行标注，从而使用最新训练数据更新分类器。Dilmen和Beyhan [^26] 提出了一种在线更新的SVM分类器。当接收到新样本时，其预测模型的参数会通过UKF进行更新。
该行人跟随框架如图 2 所示，它由两个模块化组件组成：行人检测和行人跟踪。前一部分将原始点云激光雷达数据作为输入，并输出潜在的行人簇。然后，后一部分继续跟踪行人簇，并跟随在任务开始时从提取的行人簇中标记的目标人员。这两个组件的关键功能分别在第 III-A 节和第 III-B 节中介绍。
### A. 行人检测
### A. 行人检测
行人检测模块接收来自激光雷达的原始点云 $\mathcal{P}$，并对数据进行预处理以获得过滤后的点云 $\mathcal{P}^{-}$。$\mathcal{P}^{-}$ 随后被分割成多个簇 $\{C_1, C_2, \ldots, C_n\}$。对于每个簇 $C_i$，提取五个设计的特征 $\{f_1, f_2, f_3, f_4, f_5\}$。这些特征被输入到我们提出的 CNN 模型中，以确定 $C_i$ 是否为行人簇。详细的步骤如下。
1) 预处理：原始点云 $\mathcal{P}$ 很容易受到地面点云的干扰，如图 3(a) 所示，这会严重影响检测性能。为了缓解这个问题，我们采用 RANSAC 算法 [^27] 从原始点云中拟合一个地面平面，并移除位于提取出的地面平面上的点。此外，还使用统计异常值移除算法 [^28] 来移除异常值。 $V_i$ 表示 $p_i \in \mathcal{P}$ 与其 m 个邻近点 $p_j \in \mathcal{P} \setminus \{p_i\}$ 之间的平均距离。我们假设点集 $\mathcal{V} = \{V_1, V_2, \ldots, V_n\}$ 拟合高斯分布 $N(\mu, \sigma^2)$。如果某个点 $p_i$ 的 $V_i$ 超出生成的分布的标准差 $\sigma$，则将其视为异常值。移除地面点和异常点后，可以获得一个低噪声点云 $\mathcal{P}^-$，如图 3(b) 所示。
2) 簇检测：$\mathcal{P}^{-}$ 通过使用点云库 (PCL) [^29] 的欧氏距离聚类 (ECE) 和 dp-means [^30] 被分割成子簇。
Fig. 3. Ground LiDAR point cloud removal for better person-following performance. (a) Before removal. (b) After removal.
TABLE I FEATURES OF A CLUSTER
| Feature | Description | Dimension |
| $f_{1}$ | Number of points in the cluster [^31] | 1 |
| $f_{2}$ | Minimum cluster's distance from the sensor [^31] | 1 |
| $f_{3}$ | The normalized 2D histogram for the main plane [^32] | 14\times7 |
| $f_{4}$ | The normalized 2D histogram for the secondary plane [^32] | 9\times5 |
| $f_{5}$ | The voxel feature for the cluster | 8\times8\times4 |
Fig. 4. Cluster voxelization. The point cluster is scattered into a spatial partitioning cube.
ECE 算法通过欧氏距离将点云分割成散布的聚类。为了进一步细化点聚类，dp-means 算法将每个聚类划分为子聚类，直到分离的聚类之间的距离超出给定的阈值。此过程有效地将点集 $\mathcal{P}^{-}$ 分割成小聚类 $\{C_{1}, C_{2}, \ldots, C_{n}\}$。
3) 特征提取：对于每个聚类 $C_i$，提取其特征以确定其是否为行人聚类。所选特征如表 I 所示。具体来说，对于给定的聚类 $C_i$，$f_1$ 表示该聚类中的点数。$f_2$ 是聚类 $C_i$ 中点到传感器的最小距离，即 $f_2 = \min||\mathbf{x}_* - p_j||$，$p_j \in C_i$，其中
---
Fig. 5. Developed network for pedestrian detection. The network consists of two kinds of inputs: the 2-D features $(f_{1}, f_{2}, f_{3}, f_{4})$ and the 3-D feature $(f_{5})$.
$x_s$ 是激光雷达坐标系的原点。通过进行主成分分析 (PCA)，我们使用 $C_i$ 中的点获得两个主要平面。$f_3$ 和 $f_4$ 分别是关于这两个平面的二维直方图（参见 [^3]），可以分别被认为是簇 $C_i$ 的正面图和侧面图。通常，现成的算法使用在某个方向上对簇 $C_i$ 进行切片作为特征来提取 3D 信息 [^2]。簇中的点数不足会降低这些特征的描述能力。
考虑到这些限制，我们设计了一个名为体素特征的特征 $f_5$，用于描述一个点簇的 3D 信息。这个体素特征灵感来自 Minecraft 和乐高。$^2$ 生成 $f_5$ 的过程称为簇体素化。我们创建一个体素化的立方体 $C_i$，其中 $\Delta_x$、$\Delta_y$ 和 $\Delta_z$ 分别表示 x、y 和 z 方向上的体素数量，如图 4 所示。为了将簇 $C_i$ 中的所有点映射到这个立方体中，我们搜索 $C_i$ 中的所有点，以获得当前 LiDAR 帧中 x、y 和 z 方向的最大和最小坐标。这些坐标被标记为 $\{x_{\min}, x_{\max}, y_{\min}, y_{\max}, z_{\min}, z_{\max}\}$。然后，我们在立方体上定义一个局部坐标系。一个点 $p_i \in C_i$ 在 LiDAR 帧中的坐标是 $[x, y, z]$。其在局部坐标系中的坐标表示为 $[x, y, z]$，通过以下变换方程计算得出：
$$ \begin{aligned}\begin{bmatrix}\hat{x}\\\hat{y}\\\hat{z}\end{bmatrix}=\begin{bmatrix}\gamma_{1}&&\\\gamma_{2}&&\\\gamma_{3}&&\end{bmatrix}\begin{bmatrix}x\\y\\z\end{bmatrix}-\begin{bmatrix}\gamma_{1}\cdot x_{\min}\\\gamma_{2}\cdot y_{\min}\\\gamma_{3}\cdot z_{\min}\end{bmatrix}\end{aligned} $$
其中
$$ \left\{\begin{aligned}\gamma_{1}&=\frac{\Delta_{x}}{x_{\max}-x_{\min}+1}\\ \gamma_{2}&=\frac{\Delta_{y}}{y_{\max}-y_{\min}+1}\\ \gamma_{3}&=\frac{\Delta_{z}}{z_{\max}-z_{\min}+1}.\end{aligned}\right. $$
使用米莉，李，可以确定点 $p_i$ 所属的体素。我们搜索 $C_i$ 中的所有点，以获得它们在局部特征帧中的位置。$c_j$ 中的每个体素 $C_i$ 统计位于其中的来自 $C_i$ 的点数，并获得数量 $N_{c_j}$。为了避免处理不同簇时，簇中点的数量的影响，我们对 $N_{c_j}$ 进行归一化。因此，我们计算 $C_i$ 中的点数，并获得 $N_{\text{tot}}$。与体素 $c_j$ 相关的量在立方体 $C_i$ 中通过 $\tilde{N}_{c_j} = N_{c_j}/N_{\text{tot}}$ 计算得出。图 4 显示了生成的特征，其中彩色体素表示体素化的簇。颜色表示相应体素中的点数。特征 $f_5$ 简要突出了簇中点的 3D 分布，并将其添加到我们的框架中，以更好地对潜在的人进行分类。
4) CNN 用于行人分类：我们设计了一个 CNN 模型来选择行人簇 $\hat{P}_i$、$\hat{P}_i \in \mathcal{P}^-$。网络结构如图 5 所示。它将 2D 信息 $(f_1, f_2, f_3, f_4)$ 和 3D 信息 $(f_5)$ 作为输入。网络的骨干由两个主要模块组成。
CNN 模型中用于处理 2D 信息的第一个模块是一个轻量级神经网络。$f_3$ 和 $f_4$ 通过 flatten 层进行展平，然后使用一个连接层来合并 $f_1$、$f_2$ 和展平后的 $f_3$、$f_4$。最后，我们使用两个全连接层来获得输出。该网络模块主要使用几个层密集地组合这四种特征，以获得有关所有四种特征的信息。
第二条流水线处理体素化的特征以提取三维信息。因此，我们构建了一个基于 U-Net [^33] 结构的子网络，该结构适用于数据支持较少的图像处理。U 型网络是一种通用结构，已被广泛应用于计算机视觉领域的许多研究中 [^34]、[^35]、[^36]。U 型网络有利于减少卷积操作中的信息损失，并获得轮廓信息，这在区分行人和其他物体方面表现出明显的差异。因此，U 型网络更适合处理我们提出的 $f_{5}$ 用于检测行人。我们遵循该结构并重新设计配置，例如层组合和每层的尺寸，以适应我们提出的 $f_{5}$。为了结合二维和三维信息，这两个流水线的输出被连接起来。
---
其中
$$ [t_{1},t_{2}]=S(D(f_{2\text{-D}}\oplus f_{3\text{-D}})) $$
其中，$S(\cdot)$ 表示“softmax”激活函数，$D(\cdot)$ 表示密集层中的操作，$f_{2\text{-D}}$ 表示第一条流水线的输出，$f_{3\text{-D}}$ 表示第二条流水线的输出，$\oplus$ 表示深度学习中的连接操作。最终结果是一个 $2 \times 1$ 维的向量，表示 $[t_1, t_2]$，其中 $t_1 + t_2 = 1$。$t_1$ 表示为人的概率。一旦 $t_1 > t_2$，该簇就被认为是行人。为了使网络在未来能够扩展到多目标检测和跟踪，我们采用 $[t_1, t_2]$ 而不是单个值作为输出。
我们通过处理点簇的二维和三维特征，而不是整个点云数据，来获得我们提出的网络的检测结果。因此，该系统结合了传统方法和基于深度学习方法的优点，从而提高了检测的准确性，同时确保了实时性能。
### B. 行人跟踪
从检测到的行人簇中，指定代表目标人员的簇，该簇是后续任务的起始。考虑到环境中存在多个人员，我们为每个检测到的人员分配一个唯一的 ID。采用 UKF 结合全局最近邻数据关联算法 [^37]、[^38] 来跟踪多个人员的位置。该滤波器使用观察到的行人的位置作为输入，并假设它们以恒定速度移动。对于人员跟随任务，我们假设目标在相邻观察之间只有短距离的移动，这是一种强约束，可以形成一个目标位置滤波器，从而进一步提高目标跟踪的准确性。位置滤波器在目标上一次位置的预设范围内搜索潜在的候选者，然后选择最近的一个作为目标。
使用 LiDAR 进行可持续的人体跟踪对于野外机器人来说是一项艰巨的任务。 由于遮挡等干扰，可能导致跟踪的目标丢失。 因此，我们开发了一种分类方法，该方法在线逐步学习集群的特征，以清楚地区分目标和其他物体。 具体来说，SVM 使用在以下过程中收集的集群特征进行在线训练。 开发的框架如图 6 所示，由两个主要模块组成：数据收集和 SVM 分类器的训练。 用于分类器训练的数据集来自上述滤波器的跟踪结果以及分类器自身的输出。 当稳健地跟踪目标时，UKF 和目标位置滤波器可以帮助确定被跟踪的人。 因此，这些结果用于标记选定的集群，以丰富训练数据。 此外，在线 SVM 的输出也以类似的方式用于增强和更新训练数据集。 具体来说，考虑到可能出现的错误行人分类，该分类错误会将物体集群识别为人，我们进一步通过添加从周围物体（如汽车、卡车和树木）提取的特征数据来丰富数据集。 代表环境物体的数据是离线收集的，作为部分训练数据。 值得注意的是，训练数据集的大小有限，这意味着除了物体数据之外，仅存储最新的在线数据。
Fig. 6. Online classifier for improving the person-following robustness and recapturing the target when the target is lost.
汽车、卡车和树木。表征环境对象的数据被离线收集，作为部分训练数据。值得注意的是，训练数据集的规模有限，这意味着除了上述对象数据外，该容器仅存储最新的在线数据。
使用训练数据集，在线 SVM 分类器通过馈送最新的训练数据进行更新。我们使用高斯径向基函数核 [^39] 作为我们的在线 SVM 分类器内核。为了节省计算资源，我们开发了一种事件触发的工作机制。我们根据我们的配置将触发间隔设置为 30 秒，但实际上，它可以设置为更广泛的范围。当机器人进入新的场景时，理想情况下应触发分类器训练。这通过所用传感器的检测范围之间的重叠来评估。传感器的检测直径为 44.36 米。通常，行人的步行速度约为 1.1–1.5 米/秒。因此，大约每 29–40.3 秒出现一个新的场景。为了简化问题，我们将触发间隔设置为 30 秒。此外，SVM 以事件触发的方式运行，以减少计算负担。如果目标丢失，则激活 SVM 分类器，以从当前场景中的所有检测到的行人中找到目标人物。如果检测到目标，则 SVM 分类器将处于休眠状态，但将在给定的时间间隔内进行更新。通过开发的框架，预计可以在更复杂的场景中保证人员跟随的鲁棒性。
如图 6 所示，在我们的工作中，我们使用一种在线学习方法来处理从传感器数据中提取的实时输入，以重新识别目标。我们的重新识别模块与其他在线学习方法之间的差异在于三个方面。首先，在线 SVM 分类器的训练数据根据来自位置过滤器和 CNN 模型的输出结果，自动地对目标和其他人员进行标注。其次，我们更新分类器
---
Fig. 7. Robot platforms for the experiments. They are utilized for evaluating the developed person-following framework.
由于希望在环境发生变化时更新分类器，因此采用固定的时间间隔。该固定时间间隔由步行速度和检测范围近似确定。第三，重识别模块仅在事件触发时工作。为了节省计算资源，该模块仅在目标丢失时才运行。因此，我们的方法将在跟踪不同目标人物时自动更改其分类器模型。
### IV. 实验结果
我们进行了一系列实验以验证子模块和整个框架。 我们使用四足机器人和差速驱动轮式移动机器人作为我们的实验平台，如图 7 所示。 Velodyne 生产的 VLP-16 被用作激光雷达传感器，它提供 16 个扫描通道，每个通道包含 1800 个点，具有 $360^{\circ}$ 的水平和 $30^{\circ}$ 的垂直视场 [^40]。 数据流由笔记本电脑预处理。 笔记本电脑使用 Intel i7-10875 作为 CPU，以及 GTX 2060 (6 GB 内存) 作为 GPU。 在这项工作中使用的软件是 Ubuntu 18.04 64 位版本，带有 ROS Melodic。 计算机处理传感器数据并生成控制命令。 我们使用视觉伺服方法作为控制驱动程序，该方法将目标人物和机器人之间的相对位置关系转换为速度指令。 机器人接收这些指令并执行相应的操作。
### A. 准备工作
为了评估开发的框架，我们收集了一组用于训练所提出的 CNN 的数据集。 此外，我们需要通过实验评估选择合适的开发的特征 $f_{5}$ 的大小，这对于网络实现更好的性能至关重要。
1) 收集训练数据： 训练数据包括许多带有两个标签的点簇，即“人”和“物体”。 这些点簇通过使用注释工具 [^41] 从 PCD 文件中分割和标记。 这些 PCD 文件是从现有的数据集 [^19]、[^41] 以及我们收集的数据集中提取的。 详细而言，从已发布的 3610 个数据集点簇被分割和标记，而 2491 个点簇来自我们自己。 所有点簇都格式化为 PCD 文件，包括 4447 个行人点簇和 1654 个物体点簇。 最后，这些标记的点簇是
TABLE II
TRAINING SETTINGS
| Config | Value |
| Optimizer | Adam [^42] |
| Learning Rate | $10^{-3}$ |
| $\beta_{1}$ | 0.9 |
| $\beta_{2}$ | 0.99 |
| $\epsilon$ | $10^{-8}$ |
| Epochs | 1000 |
| Training Set Proportion | 0.9 |
TABLE III
COMPARISON RESULTS WITH DIFFERENT SHAPES OF THE FEATURE $f_{5}$
| $8 \times 8 \times 16$ | $8 \times 8 \times 8$ | $8 \times 8 \times 4$ | $4 \times 4 \times 8$ | $4 \times 4 \times 4$ |
| Accuracy | 88.7% | 93.0% | 92.75% | 92.5% | 91.25% |
| Time Cost | 151 $\mu s$ | 93 $\mu s$ | 71 $\mu s$ | 51 $\mu s$ | 41 $\mu s$ |
| Convergence Epoch | 414 | 804 | 628 | 623 | 707 |
| Time Delay | 30.2 ms | 18.6 ms | 14.2 ms | 10.2 ms | 8.2 ms |
用于训练所提出的 CNN 的训练样本。 在以下过程中，我们使用表 II 中显示的训练集来训练设计的网络。 我们使用 Adam [^42] 作为训练优化器。 $\beta_{1}$ 和 $\beta_{2}$ 是 Adam 的参数。 数据集根据表 II 中显示的训练集比例值分为训练集和测试集。 前者用于训练网络，而后者用于在完成训练过程后评估训练性能。
2) 选择 $f_5$ 的大小：理想的 $f_5$ 大小应在时间成本和检测精度之间取得合理的平衡，以适应实际应用。 我们选择了一组具有不同大小的 $f_5$ 特征进行评估。 特征 $f_5$ 的候选大小为 $\{8 \times 8 \times 16, 8 \times 8 \times 8, 8 \times 8 \times 4, 4 \times 4 \times 8, 4 \times 4 \times 4\}$。 这些数字表示相应 $f_5$ 中的立方体排列。 例如，具有 $f_5$ 的 $8 \times 8 \times 4$ 具有四层，每层有 64 个立方体，这些立方体排列成八行八列。 在我们设计的网络中，有两个 3D 池化层处理 $f_5$。 池化层内核的大小通常设置为 $2 \times 2 \times 2$ [^43]。 具有此大小的池化层可以将输入在所有三个维度上的大小减半。 两个池化层将输入的大小在两个维度上减半。 因此，为了确保每个体素被平等处理，$f_5$ 的每个维度的大小必须是 4 的倍数。 因此，特征的最小尺寸为 $4 \times 4 \times 4$。 基于行人配置文件，我们将第一维的数量设置为与第二维的数量相等。 我们不允许设计比 $8 \times 8 \times 8$ 更复杂的输入结构，因为它们会消耗太多的计算资源，从而导致较高的时间成本，具体情况如表 III 所示。
在 1) 中收集的数据集包含大量数据，包括大多数正常物体和不同姿势和大小的人。因此，具有所选最佳尺寸的 $f_{5}$ 网络可以在各种情况下获得更好的性能。准确率、每个样本的时间成本、收敛 epoch 数量和每秒延迟时间是用于选择最佳 $f_{5}$ 尺寸的评估指标。准确率代表了
---
使用从数据集提取的测试集对网络进行检测性能的评估。它通过
$$ Accuracy=\frac{N_{t}}{N_{test}} $$
其中，$N_{t}$ 是正确预测的数量，$N_{test}$ 是测试数据中总的聚类数量。每个样本的时间成本表示检测速度，收敛 epoch 指示网络的收敛性能。当训练过程中的准确率超过阈值时，网络达到收敛。更多的训练迭代不会对模型的性能产生显著提升。类似于 [^44]，我们记录了设计网络达到 99.9% 准确率的 epoch 为“收敛 epoch”。为了评估实时性能，我们计算每秒的时间延迟。LiDAR 数据中一帧中分割的聚类数量表示为 $N_{cluster}$，LiDAR 数据的速率表示为 $r_{L}$。然后，我们计算每秒的时间延迟 $T_{d}$ 为：
$$ T_{\mathrm{d}}=N_{\mathrm{c l u s t e r}}\times r_{\mathrm{L}}\times T_{\mathrm{c}} $$
其中，$T_{c}$ 是每个样本的时间成本。在我们的实验中，$N_{c}$ 是 20，$r_{L} = 10$ Hz。网络的训练结果见表 III。总体而言，所有这些尺寸 $f_{5}$ 都可以使所提出的网络收敛，这根据收敛 epoch 指标的结果。所有方法的准确率都可以接受，但 $8 \times 8 \times 16$ 的准确率低于 90%，低于其他方法。观察到，每秒 20 毫秒的时间延迟对于实时性能至关重要。因此，尺寸 $8 \times 8 \times 16$ 不可用，因为它具有较大的时间延迟。
根据图 8 所示的训练结果，尺寸 $8 \times 8 \times 8$ 和 $4 \times 4 \times 8$ 存在一些显著波动。波动是指准确率曲线上的突然下降或损失曲线上的突然上升。网络训练过程中的波动很容易导致网络不稳定。这些波动通常是由参数选择和网络结构引起的。所有设计的比较实验都具有相同的参数，除了 $f_5$ 的大小。因此，$f_5$ 的这两个大小不适合开发的框架。根据这些分析，尺寸 $4 \times 4 \times 4$ 和尺寸 $8 \times 8 \times 4$ 的性能优于其他尺寸。最后，我们使用具有较高准确率的 $8 \times 8 \times 4$ 特征作为我们最终的 $f_5$ 大小，因为在我们的测试中可以容忍时间成本或延迟。
3) 消融研究：我们对所有特征进行了消融研究。我们提供一个实验，评估使用四个和五个特征的检测准确性。为了使实验更具包容性，我们进一步添加了仅使用特征 $f_{5}$ 的检测结果。我们在实验中记录检测准确性，结果见表 IV。
如表所示，仅使用四个特征时，检测准确率与其他组相比最低。仅使用特征 $f_{5}$ 时，检测模块可以实现更高的准确性。使用所有五个特征的检测模块可以实现最高的检测准确性，这进一步证明了特征 $f_{5}$ 的有效性。因此，我们使用所有这五个特征以获得更好的检测准确性。
TABLE IV
ABLATION STUDY OF THE SELECTED FEATURES
| $f_{1}$, $f_{2}$, $f_{3}$, $f_{4}$ | $f_{5}$ | $f_{1}$, $f_{2}$, $f_{3}$, $f_{4}$, $f_{5}$ |
| Accuracy | 85.5% | 88.25% | 92.75% |
TABLE V
STATISTICS OF EXPERIMENTAL RESULTS OF SINGLE-PERSON TRACKING
| Ground Truth | Koide's Method | Yan's Method | Ours |
| Candidate Clusters | 1 | 2.72 | 5.40 | 1.34 |
| Number of People | 1 | 2.67 | 3.78 | 1.23 |
### B. 使用离线数据流的实验
为了展示所开发方法的优点，我们将我们的方法与两种最先进的人工智能跟踪算法进行比较：Koide 在 2019 年提出的方法 [^22] 和 Yan 在 2020 年提出的方法 [^2]。我们的算法与其他两种算法之间的主要差异可以描述为两部分。第一种差异是行人检测器，包括检测器结构和所选特征的差异。他们使用 SVM 作为检测器，并使用他们选择的特征。我们提出了一种特征的 novel 组合作为输入，并提出了一种 U 型神经网络作为行人检测器。第二种差异是在线更新重识别模块。该模块通过检测结果自主生成数据集，以训练一个在线分类器，用于从检测到的行人中识别目标。实验使用收集的数据流进行，该数据流包括我们收集的数据流以及 L-CAS [^41] 发布的公开数据流。
1) 使用我们数据流的性能：室内环境约为 $30 \, m^2$，我们记录了一个场景，其中一个人在杂乱的环境中随机行走，如图 9 所示。我们使用此单人场景评估所有三种算法。采用两种指标作为进一步定量评估的标准。候选聚类是指在所有帧中使用不同的方法提取的合理聚类的平均数量。人数表示所用方法在所有帧中检测到的平均人数。在单人场景中，这些三种方法的检测性能如图 5 所示，具体结果见表 V 和图 10。
在这个表格中，该数字是所有帧的平均值。结果表明，我们的算法在单人场景中具有最佳的检测结果，因为使用我们的方法检测的人数最接近真实场景中的实际人数。图 10 显示了使用这三种方法进行的实验快照。我们的方法可以可靠地检测到单个人物，而其他两种方法显示了许多错误的识别。我们的方法还具有较少的错误检测，例如墙壁、盒子和架子。这直观地表明了我们的方法在处理仅有一个人的情况下的有效性和准确性。我们使用四个指标来评估使用此数据流的性能。这些指标如下。
---
(a)
Fig. 8. Training results with different sizes of the developed voxel feature. (a) Training accuracy with different voxel feature sizes. (b) Training loss with different voxel feature sizes.
(b)
(a)
(b)
(c)
Fig. 9. Environment for collecting the offline data and the corresponding point cloud. (a) and (c) Real-world environment configurations. (b) and (d) Generated point cloud.
(d)
1) 跟踪时间 (TT)：该指标是归一化的 CT [^45] 指标，以便更好地进行比较。该指标的值由以下公式计算：
$$ TT=\frac{CT}{T_{total}} $$
其中 CT 是持续跟踪目标的持续时间，用于评估基于视觉的人跟踪性能，$T_{total}$ 表示数据流的总时间。该指标越接近 1，表示该方法具有越好的跟踪性能。
2) ID 切换 (IDSs) [^9]: 为目标分配一个 ID，该指标记录 ID 切换的次数，指示目标跟踪的性能。使用这些方法，每个检测到的行人都会分配一个特定的 ID。我们通过指定分配的 ID 来使机器人跟踪目标行人。如果 ID 发生变化，则跟踪目标对象的跟踪将失败。
TABLE VI
EXPERIMENTAL STATISTICAL RESULTS OF THE DATA FLOW
| Koide's Method | Yan's Method | Ours |
| TT [^45] | 0.893 | 0.337 | 0.882 |
| IDS [^9] | 2 | 5 | 0 |
| PPV [^46] | 0.291 | 0.223 | 0.988 |
| ACC [^46] | 0.297 | 0.319 | 0.891 |
(a)
(c)
(b)
(d)
Fig. 10. Experimental results using the collected indoor data flow. (a) Actual position of people shown in the LiDAR point cloud. (b)–(d) Results of these three methods. The detected person clusters are represented by the cube box frame, cube box, and sphere box, respectively. (a) Ground truth. (b) Yan's method. (c) Koide's method. (d) Ours.
3) 阳性预测值 (PPV) [^46]: 该指标由以下公式计算：
$$ \mathrm{PPV}=\frac{N_{\mathrm{r}}}{N_{\mathrm{p}}} $$
---
(a)
(b)
(c)
(d)
Fig. 11. Person detection using different methods with L-CAS data flow. (b)-(d) Detection results are marked by the blue cube box frame, cyan cube box frame, and sphere box, respectively. (a) Ground truth. (b) Koide's method. (c) Yan's method. (d) Ours.
其中 $N_{r}$ 是正确检测的数量，$N_{p}$ 是所有行人的总检测数量。PPV 值可以反映对所有行人的检测性能。
4) 准确率 (ACC) [^46]: 该指标由以下公式计算：
$$ ACC=\frac{N_{c}}{N_{total}} $$
其中 $N_{c}$ 是正确聚类检测的结果数量，$N_{total}$ 是总聚类数量。该值可以反映聚类检测的性能。
结果如表 VI 所示。我们的方法在后三个指标方面实现了最佳性能。在 TT 方面，与 Koide 的方法相比，我们的方法的表现略差，为 0.882，而 Koide 的方法为 0.893。我们的方法的更好性能得益于更好的行人分类器和开发的行人重识别机制。对于单人跟踪，表 VI 中的 IDS 结果表明，Yan 的方法和 Koide 的方法在数据流中多次更改目标 ID。这些两种方法的行人检测模块的准确性较低，并且没有专门设计用于单个目标。它们无法识别相同的目标，并且经常将目标误识别为其他行人。因此，这两种方法无法持续跟踪目标行人，而我们的方法可以可靠且持续地检测并使机器人跟踪目标。根据第一个指标，我们算法的弱点是由于使用开发的网络进行目标检测时存在较长的延迟，这在实际应用中是可以接受的。结果表明，开发的算法具有更好的性能。
具体来说，我们标记检测到的目标，并在目标被所开发的方法捕获时记录目标轨迹，如图 9(b) 和 (d) 所示。图 9(d) 中的绿色线展示了使用所开发方法的连续跟踪性能。使用其他方法进行跟踪时，目标容易丢失，这进一步证明了我们方法的优势。
2) 使用 L-CAS 数据流：L-CAS 数据集是通过在大型、拥挤的学术建筑中，使用移动机器人采集的，包括移动和静态场景。我们使用激光雷达数据，采用了 Yan 的方法、Koide 的方法以及我们自己的方法。图 11 描绘了使用数据流中一个实例的典型结果。在这个实例中，有一个人，如图 11(a) 中红色矩形所示。图 11(b) 和 (c) 展示了
TABLE VII
使用 L-CAS 数据集的定量实验结果
| $P_{LCAS}$ | e/m |
| Koide's Method | 0.098 | 0.133 |
| Yan's Method | 0.154 | 0.127 |
| Ours | 0.459 | 0.102 |
性能的 Koide 方法和 Yan 方法。这两种方法都可以预测目标人物。但是，存在许多将物体（如沙发、墙壁和椅子）误判为行人的不准确预测。这些不准确的预测在避障应用中可能可以接受，因为安全始终是优先考虑的。但是，在人跟随应用中，这些不准确的预测可能会增加目标丢失的概率，从而导致跟踪模块失败。相比之下，我们开发的算法在可靠地检测目标方面表现更好。
为了展示这三种方法在L-CAS数据集上的性能，我们进行了定量实验。该数据集提供了标记每个图像帧中人物位置的边界框，而这些方法也提供了它们的预测边界框。如果预测边界框与数据集中标注的边界框之间存在重叠，我们认为该人物的预测是正确的，并计算预测边界框和标注边界框的中心点之间的距离d。我们计算正确的预测数量为$N_{rp}$，以及这些方法所做的预测数量为$N_{p}$。因此，预测精度$P_{LCAS}$定义为
$$ P_{LCAS}=\frac{N_{rp}}{N_{p}} $$
以及位置误差e，它是所有正确预测的平均d，计算公式为
$$ e=\frac{\sum d_{i}}{N_{\mathrm{r p}}}. $$
我们在表VII中使用这两个指标报告了各方法的性能。如表所示，我们的方法拥有最高的$P_{LCAS}$和最小的位置误差e。结果表明，我们的方法能够精确预测行人并对其定位。因此，在本次定量实验中，我们的方法表现优于另外两种方法。
---
(a)
(b)
Fig. 12. Detection range evaluation in a long corridor with a fixed-base LiDAR. (a) Experimental configuration. (b) Corresponding LiDAR point cloud.
TABLE VIII
RESULTS OF DETECTION RANGE EVALUATION
| Koide's Method | Yan's Method | Ours |
| Maximum Distance / m | 22.26 | 17.98 | 22.18 |
| Successful Rounds | 46 | 7 | 49 |
### C. Experiment in Real-World Scenarios
1) 行人识别：我们进行了广泛的实验，以评估所开发的行人检测和跟踪方法在室内环境中的性能。首先，我们将所开发方法的检测范围与其他方法进行比较。VLP-16 安装在离地面 1 米的固定底座上，位于长走廊中。我们分别运行三种方法，当一个人从传感器附近移动到较远的地方时，如第 12 图所示。值得注意的是，这些方法以轮次进行。我们计算每个方法能够预测目标的轮次，并将总成功轮次记录在表 VIII 中。此外，我们还记录了使用不同方法检测目标的最大范围。如表 VIII 所示，所开发方法的最大检测范围为 22.18 米，略低于 Koide 的方法，但远高于 Yan 的方法。所开发方法的成功预测轮次高于其他方法。这些实验主要证明了所开发方法在室内真实环境中的有效性。
为了在更真实的场景中实现人员跟随任务，所开发的算法预计可以在人口密集的环境中识别目标。为了评估我们在这些环境中的方法性能，我们在杂乱环境中进行了实验，这些环境中存在大量物品和多个人员随机行走。LiDAR 固定在地面上方的底座上，前方有多人。环境配置和检测结果直观地显示在图 13 和 14 中。在这些环境中存在多个人员时，所开发的方法可以从 LiDAR 点云中检测到所有人。我们还使用其他两种方法在这些场景中检测人员。从图 13 和 14 所示的检测结果来看，显而易见的是，我们的方法优于其他两种方法。Yan 的方法和 Koide 的
(a)
(b)
(c)
(d)
Fig. 13. Detection of three people in cluttered environments. (a) Real scenario of three people (ground truth). Colorful cubes or boxes are the detection results of (b) ours, (c) Yan's method, and (d) Koide's method.
(c)
(b)
(d)
Fig. 14. Detection of four people in clustered environments. (a) Real scenario of four people (ground truth). Colorful cubes or boxes are the detection results of (b) ours, (c) Yan's method, and (d) Koide's method.
TABLE IX
TRACKING DURATION TIME OF THE WHEELED MOBILE ROBOT
| Koide's Method | Yan's Method | Ours |
| Outdoor Case / s | 50.77 | 18.67 | 64.74 |
| Indoor Case / s | 23.60 | 19.45 | 68.25 |
方法有一些不正确的检测结果，这直接削弱了所有三种算法中的跟踪模块的多人跟踪性能，因为所有算法的跟踪模块都基于它们的检测结果。这些实验进一步证明了所开发方法在杂乱和人口稠密的中的优势，为在这些场景中使用机器人进行人员跟随铺平了道路。
2) 案例研究 1：为了验证所开发的框架的有效性，我们将其部署在一个轮式移动机器人平台上。实验在室内和室外环境中进行。目标人员从起点移动到终点。机器人的目标是
---
(a)
(b)
(c)
(d)
Fig. 15. Person-following experiments using a mobile robot. (a) and (b) Real scene of person-following and the point cloud in an indoor environment. (c) and (d) Real scene of person-following and the point cloud in an outdoor environment.
可靠地通过 LiDAR 传感器跟踪指定的目标。图 15 直观地显示了我们方法的性能。如图所示，所开发的框架可以在不同环境中可靠且持久地跟踪目标人员。详细信息请参见附件中的视频，$^{3}$，该视频展示了所开发的框架的有效性。为了展示我们框架在应用案例中的优势，我们将我们的方法与 Yan 的方法和 Koide 的方法进行比较。记录了使用不同方法跟踪目标的持续时间，如表 IX 所示。当目标从起点移动到终点时，我们的方法可以持久地跟踪目标。相比之下，Yan 的方法和 Koide 的方法在这些场景中无法完全实现人员跟随任务。
3) 案例研究 2：我们评估了所开发方法在户外环境中进行长期人员跟踪任务的性能。相关的实验已在附加视频中记录。$^{3}$ 一个激光雷达传感器安装在四足机器人平台上，该机器人旨在跟随目标人员，穿过校园。图 16 显示了我们校园的快照以及跟踪性能。目标被设置为沿着预定义的路径行走。我们记录了以下函数在这个过程中的性能。如图 16(b) 所示，机器人可以可靠地跟随目标，即使四足机器人平台不稳定，会产生振动，这可能会为点云数据引入大量噪声。更直观地，我们描绘了机器人跟踪目标时在校园中的轨迹，如图 16(c) 中的青色线所示。可以看出，跟踪轨迹密集且没有中断，这表明我们的方法具有持久的跟踪性能。我们还使用他们的跟踪模块，在相同的户外场景中实现了 Koide 和 Yan 的方法，但这两种方法都无法始终如一地跟踪目标人员，这证明了我们开发方法的优势。
(a)
(b)
(c)
Fig. 16. Experiments in indoor environments using a quadruped robot. (a) Outdoor tracking scene. (b) Point cloud in the tracking procedure, where the red sphere box indicates the target and the blue cube indicates the photographer. (c) Corresponding point cloud map and the robot trajectory of the long-term person-following.
Fig. 17. Performance of our algorithm with and without the reidentification module. (a) Point cloud before the target is lost. (b) Point cloud when our algorithm fails to detect the target. (c) and (d) Performance of our algorithm with and without the proposed reidentification module.
我们还在户外实验中测试了重识别模块。图 17 显示了在目标丢失时，带有和不带有重识别模块的性能。很明显，在没有提出的重识别模块的情况下，目标立方体的颜色会发生变化，而使用该模块时，则没有颜色变化。立方体的颜色与检测模块中给定的 ID 相关。当使用重识别模块时，在再次捕获目标时，目标立方体的颜色仍然是橙色，如图 17(a) 和 (c) 所示。但是，如果不使用重识别模块，颜色会从橙色变为淡黄色，这意味着机器人将目标视为新的人。因此，当目标丢失时，我们的重识别模块是有效的。
---
### 结论与未来工作
本文介绍了一个仅使用 3D 激光雷达作为输入传感器的人员跟踪系统。整个系统由两个组件组成：行人检测和行人跟踪。行人检测模块采用了新颖的 U 型 CNN 框架，该框架专门输入了专门设计的体素特征。该提出的检测模块仅使用稀疏的激光雷达点云作为输入，在复杂的环境中非常有效，并且比最先进的方法更准确。跟踪模块用于跟踪所有行人，并成功提高了人员跟踪的鲁棒性。基于 SVM 的目标重新捕获机制会定期触发，以在复杂的场景中找到目标。该框架已在真实的户外环境中进行评估。结果表明，与其它方法相比，我们的方法在引导机器人可靠地穿过大范围环境方面更有效。
基于真实的实验结果，我们发现该框架可能存在一些局限性。当环境中存在大量人群时，我们的系统无法精确地确定人数。此外，频繁且密集的遮挡会极大地影响检测结果。在未来，我们将把摄像头传感器集成到我们的人员跟踪框架中。视觉信息有望提高我们框架的检测精度和重识别效果。
## 参考文献
[^1]: M. Häselich, B. Jöbgen, N. Wojke, J. Hedrich, and D. Paulus, “Confidence-based pedestrian tracking in unstructured environments using 3D laser distance measurements,” in Proc. IEEE/RSJ Int. Conf. Intell. Robots Syst., Sep. 2014, pp. 4118–4123.
[^2]: Z. Yan, T. Duckett, and N. Bellotto, “Online learning for 3D LiDAR-based human detection: Experimental analysis of point cloud clustering and classification methods,” Auton. Robots, vol. 44, no. 2, pp. 147–164, 2020.
[^3]: L. E. Navarro-Serment, C. Mertz, and M. Hebert, “Pedestrian detection and tracking using three-dimensional LADAR data,” Int. J. Robot. Res., vol. 29, no. 12, pp. 1516–1528, 2010.
[^4]: C. R. Qi, H. Su, K. Mo, and L. J. Guibas, “PointNet: Deep learning on point sets for 3D classification and segmentation,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., Jul. 2017, pp. 652–660.
[^5]: C. R. Qi, L. Yi, H. Su, and L. J. Guibas, “PointNet++: Deep hierarchical feature learning on point sets in a metric space,” in Proc. 31st Int. Conf. Neural Inf. Process. Syst. (NIPS). Red Hook, NY, USA: Curran Associates, 2017, pp. 5105–5114.
[^6]: Y. Zhou and O. Tuzel, "VoxelNet: End-to-end learning for point cloud based 3D object detection," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., Jun. 2018, pp. 4490–4499.
[^7]: A. Geiger, P. Lenz, and R. Urtasun, “Are we ready for autonomous driving? The KITTI vision benchmark suite,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., Jun. 2012, pp. 3354–3361.
[^8]: D. Schulz, W. Burgard, D. Fox, and A. B. Cremers, "Tracking multiple moving targets with a mobile robot using particle filters and statistical data association," in Proc. IEEE Int. Conf. Robot. Automat. (ICRA), May 2001, pp. 1665–1670.
[^9]: A. Leigh, J. Pineau, N. Olmedo, and H. Zhang, “Person tracking and following with 2D laser scanners,” in Proc. IEEE Int. Conf. Robot. Autom. (ICRA), May 2015, pp. 726–733.
[^10]: A. Bastida-Castillo, C. Gómez-Carmona, E. De la Cruz-Sánchez, X. Reche-Royo, S. Ibáñez, and J. Pino Ortega, “Accuracy and inter-unit reliability of ultra-wide-band tracking system in indoor exercise,” Appl. Sci., vol. 9, no. 5, p. 939, Mar. 2019. [Online]. Available:
[^11]: Q. Tian, K. I.-K. Wang, and Z. Salcic, “A low-cost INS and UWB fusion pedestrian tracking system,” IEEE Sensors J., vol. 19, no. 10, pp. 3733–3740, May 15, 2019.
[^12]: C. Wu, B. Tao, H. Wu, Z. Gong, and Z. Yin, "A UHF RFID-based dynamic object following method for a mobile robot using phase difference information," IEEE Trans. Instrum. Meas., vol. 70, pp. 1–11, 2021.
[^13]: M. Perdoch, D. M. Bradley, J. K. Chang, H. Herman, P. Rander, and A. Stentz, “Leader tracking for a walking logistics robot,” in Proc. IEEE/RSJ Int. Conf. Intell. Robots Syst. (IROS), Sep. 2015, pp. 2994–3001.
[^14]: H. Zhang et al., “Leader recognition and tracking for quadruped robots,” in Proc. IEEE Int. Conf. Inf. Autom. (ICIA), Aug. 2018, pp. 1438–1443.
[^15]: L. Pang, Z. Cao, J. Yu, P. Guan, X. Rong, and H. Chai, "A visual leader-following approach with a T-D-R framework for quadruped robots," IEEE Trans. Syst., Man, Cybern. Syst., vol. 51, no. 4, pp. 2342–2354, Apr. 2021.
[^16]: W. Liu et al., “SSD: Single shot multibox detector,” in Computer Vision, B. Leibe, J. Matas, N. Sebe, and M. Welling, Eds. Cham, Switzerland: Springer, 2016, pp. 21–37.
[^17]: Y. Liu, Q. Wang, H. Hu, and Y. He, “A novel real-time moving target tracking and path planning system for a quadrotor UAV in unknown unstructured outdoor scenes,” IEEE Trans. Syst., Man, Cybern. Syst., vol. 49, no. 11, pp. 2362–2372, Nov. 2019.
[^18]: T. Naseer, J. Sturm, and D. Cremers, “FollowMe: Person following and gesture recognition with a quadrocopter,” in Proc. IEEE/RSJ Int. Conf. Intell. Robots Syst., Nov. 2013, pp. 624–630.
[^19]: L. Spinello, M. Luber, and K. O. Arras, "Tracking people in 3D using a bottom-up top-down detector," in Proc. IEEE Int. Conf. Robot. Autom., May 2011, pp. 1304–1310.
[^20]: C. Álvarez-Aparicio, Á. M. Guerrero-Higueras, F. J. Rodríguez-Lera, J. G. Clavero, F. M. Rico, and V. Matellán, “People detection and tracking using LiDAR sensors,” Robotics, vol. 8, no. 3, p. 75, Aug. 2019.
[^21]: H. A. Patel and D. G. Thakore, "Moving object tracking using Kalman filter," Int. J. Comput. Sci. Mobile Comput., vol. 2, no. 4, pp. 326–332, 2013.
[^22]: K. Koide, J. Miura, and E. Menegatti, “A portable three-dimensional LiDAR-based system for long-term and wide-area people behavior measurement,” Int. J. Adv. Robotic Syst., vol. 16, no. 2, Mar. 2019, Art. no. 172988141984153.
[^23]: K. Okuma, A. Taleghani, N. D. Freitas, J. J. Little, and D. G. Lowe, "A boosted particle filter: Multitarget detection and tracking," in Proc. Eur. Conf. Comput. Vis. Berlin, Germany: Springer, 2004, pp. 28–39.
[^24]: J. Yuan, H. Chen, F. Sun, and Y. Huang, “Multisensor information fusion for people tracking with a mobile robot: A particle filtering approach,” IEEE Trans. Instrum. Meas., vol. 64, no. 9, pp. 2427–2442, Sep. 2015.
[^25]: Z. Hao, S. Yu, X. Yang, F. Zhao, R. Hu, and Y. Liang, “Online LS-SVM learning for classification problems based on incremental chunk,” in Proc. Int. Symp. Neural Netw. Berlin, Germany: Springer, 2004, pp. 558–564.
[^26]: E. Dilmen and S. Beyhan, “An enhanced online LS-SVM approach for classification problems,” Soft Comput., vol. 22, no. 13, pp. 4457–4475, Jul. 2018.
[^27]: J. Gai, L. Tang, and B. Steward, “Plant recognition through the fusion of 2D and 3D images for robotic weeding,” in Proc. ASABE Annu. Int. Meeting, 2015, p. 1.
[^28]: R. B. Rusu, Z. C. Marton, N. Blodow, M. Dolha, and M. Beetz, “Towards 3D point cloud based object maps for household environments,” Robot. Auton. Syst., vol. 56, no. 11, pp. 927–941, Nov. 2008.
[^29]: B. Kulis and M. I. Jordan, “Revisiting k-means: New algorithms via Bayesian nonparametrics,” in Proc. 29th Int. Conf. Mach. Learn. (ICML). Madison, WI, USA: Omnipress, 2012, pp. 1131–1138.
[^30]: R. B. Rusu and S. Cousins, "3D is here: Point cloud library (PCL)," in Proc. IEEE Int. Conf. Robot. Autom., May 2011, pp. 1–4.
[^31]: C. Premebida, O. Ludwig, and U. Nunes, “Exploiting LiDAR-based features on pedestrian detection in urban scenarios,” in Proc. 12th Int. IEEE Conf. Intell. Transp. Syst., Oct. 2009, pp. 1–6.
[^32]: K. Kidono, T. Miyasaka, A. Watanabe, T. Naito, and J. Miura, “Pedestrian recognition using high-definition LiDAR,” in Proc. IEEE Intell. Vehicles Symp. (IV), Jun. 2011, pp. 405–410.
## [^33]: O. Ronneberger, P. Fischer, and T. Brox, "U-Net: Convolutional networks for biomedical image segmentation," in Medical Image Computing and Computer-Assisted Intervention—MICCAI (Lecture Notes in Computer Science), vol. 9351, N. Navab, J. Hornegger, W. Wells, and A. Frangi, Eds. Cham, Switzerland: Springer, 2015.
---
[^34]: Y. Zhou, W. Huang, P. Dong, Y. Xia, and S. Wang, "D-UNet: A dimension-fusion u shape network for chronic stroke lesion segmentation," IEEE/ACM Trans. Comput. Biol. Bioinf., vol. 18, no. 3, pp. 940–950, May 2021.
[^35]: J. Li, Z. Pan, Q. Liu, and Z. Wang, “Stacked U-shape network with channel-wise attention for salient object detection,” IEEE Trans. Multimedia, vol. 23, pp. 1397–1409, May 2020.
[^36]: Z. Huang, J. Wu, and F. Xie, “Automatic surface defect segmentation for hot-rolled steel strip using depth-wise separable U-shape network,” Mater. Lett., vol. 301, Oct. 2021, Art. no. 130271.
[^37]: P. Konstantinova, A. Udvarev, and T. Semerdjiev, “A study of a target tracking algorithm using global nearest neighbor approach,” in Proc. 4th Int. Conf. Conf. Comput. Syst. Technol. e-Learn. (CompSysTech), 2003, pp. 290–295.
[^38]: S. S. Blackman, “Multiple-target tracking with radar applications,” Electron. Power, Dedham, MA, USA, Tech. Rep., 1986, p. 407, vol. 33, no. 6.
[^39]: S. S. Keerthi and C.-J. Lin, “Asymptotic behaviors of support vector machines with Gaussian kernel,” Neural Comput., vol. 15, no. 7, pp. 1667–1689, Mar. 2003.
[^40]: C. L. Glennie, A. Kusari, and A. Facchin, “Calibration and stability analysis of the VLP-16 laser scanner,” Int. Arch. Photogramm., Remote Sens. Spatial Inf. Sci., vol. 40, pp. 55–60, Mar. 2016.
[^41]: Z. Yan, T. Duckett, and N. Bellotto, “Online learning for human classification in 3D LiDAR-based tracking,” in Proc. IEEE/RSJ Int. Conf. Intell. Robots Syst. (IROS), Vancouver, BC, Canada, Sep. 2017, pp. 864–871.
[^42]: D. P. Kingma and J. Ba, “ADAM: A method for stochastic optimization,” in Proc. 3rd Int. Conf. Learn. Represent. (ICLR), Y. Bengio and Y. LeCun, Eds. San Diego, CA, USA, 2015, pp. 1–15.
[^43]: R. Hou, C. Chen, and M. Shah, “Tube convolutional neural network (T-CNN) for action detection in videos,” in Proc. IEEE Int. Conf. Comput. Vis. (ICCV), Oct. 2017, pp. 5822–5831.
[^44]: N. Messina, G. Amato, F. Carrara, C. Gennaro, and F. Falchi, “Solving the same-different task with convolutional neural networks,” Pattern Recognit. Lett., vol. 143, pp. 75–80, Mar. 2021.
[^45]: K. Koide, J. Miura, and E. Menegatti, “Monocular person tracking and identification with on-line deep feature selection for person following robots,” Robot. Auto. Syst., vol. 124, Feb. 2020, Art. no. 103348. [Online]. Available:
[^46]: T. Fawcett, “An introduction to ROC analysis,” Pattern Recognit. Lett., vol. 27, no. 8, pp. 861–874, Jun. 2006.
Xiangyu Chen 获得了自动化工程学士学位，毕业于中国济南的济南大学，毕业时间为2020年。他目前正在山东西大学控制科学与工程学院攻读硕士学位。
他的研究兴趣包括自主导航、同步定位与地图构建以及动态环境下的感知。
Jinhao Liu 获得了自动化工程学士学位，毕业于中国青岛的山东科技大学，毕业时间为2020年。他目前正在山东西大学控制科学与工程学院攻读硕士学位。
他的研究兴趣包括智能机器人、环境认知和计算机视觉。
Jin Wu (IEEE 成员) 出生于中国江苏省镇江市，出生日期为1994年5月。他于2016年获得电子科技大学（成都）的学士学位。他目前正在香港科技大学（HKUST）机器人与多感官实验室（RAMLAB）攻读博士学位，导师是刘明教授。
他于2013年在比利时鲁汶大学（KU Leuven）的Groep T进行了访学。自2018年起，他一直作为研究助理在香港科技大学电子与计算机工程系工作。他的研究兴趣包括机器人、姿态估计、运动分析和控制。
Chaoqun Wang 获得了自动化工程学士学位，毕业于中国济南的山东大学，毕业时间为2014年，并于2019年在香港中文大学电子工程系获得了博士学位。
在博士期间，他作为访问学者在加拿大不列颠哥伦比亚大学温哥华分校学习了六个月。他于2019年至2020年在香港中文大学电子工程系担任博士后研究员。目前，他是山东大学机器人研究所的研究教授。他的研究兴趣包括自动驾驶汽车、主动和自主探索以及路径规划。
Rui Song 获得了工业自动化工程学士学位和控制理论与控制工程硕士学位，分别毕业于中国青岛的山东科技大学，毕业时间分别为1998年和2001年，以及控制理论与控制工程博士学位，毕业于中国济南的山东大学，毕业时间为2011年。
他目前是山东大学控制科学与工程学院的教授，也是中国教育部“长江学者”特聘教授。他是山东大学机器人中心的负责人之一，也是教育部智能无人系统工程中心的副主任。他一直从事智能传感器网络、智能机器人技术和智能控制系统的研究。他的研究兴趣包括医疗机器人、工业机器人和四足机器人。