# ELPTNet：一种用于自主导航社交机器人的高效基于激光雷达的三维行人跟踪网络 Jinzheng Guang, Zhenzhong Cao, Yinuo Song, and Jingtai Liu $^{*}$, 资深会员，IEEE 摘要：自主导航社交机器人需要实时、高精度地跟踪行人的运动，以优化路径规划并避免碰撞。然而，行人跟踪的主要挑战在于人体姿势的显著变化，这与车辆等刚性结构的差异很大。在本文中，我们提出了一种高效的基于激光雷达的三维行人跟踪网络 (ELPTNet)。首先，我们的 ELPTNet 使用一个三维目标检测器从激光雷达点云中提取定向的三维行人边界框。然后，我们的 ELPTNet 使用一个恒定加速度 (CA) 模型和预测置信度来进行目标轨迹预测。在数据关联过程中，它集成了几何、外观和运动特征，以提高在目标暂时被遮挡时的三维多目标跟踪 (3D MOT) 的鲁棒性和实时性。实验结果表明，我们的 ELPTNet 在大型 JRDB 数据集上的 3D 跟踪任务中排名第一，优于之前的最先进 (SOTA) 方法，MOTA 提高了 8.4%，HOTA 提高了 6.6%。此外，我们的 ELPTNet 在单个 CPU 上实现了 61 帧每秒 (FPS) 的推理速度。因此，我们的方法能够实现对多个行人的准确和实时跟踪。代码可公开获取，网址为 。 ## 1. 引言 随着人工智能技术的飞速发展 [^1]，[^2]，[^3]，行人跟踪已成为各个领域的重要任务，例如自动驾驶 [^4]，[^5] 和移动机器人 [^6]，[^7]。在自主导航社交机器人系统中，准确的行人定位和跟踪是实现自主导航和提供舒适服务的关键 [^8]。然而，传统的基于图像的行人跟踪方法 [^9] 容易受到光照条件的影响，在低光和强光环境下稳定性较差，并且缺乏深度感知能力。相比之下，基于激光雷达的行人跟踪方法 [^10]，[^11]，[^12] 可以有效地克服这些限制。激光雷达通过发射激光脉冲并接收反射信号来生成高密度的三维点云数据，从而提供精确的空间信息，从而能够实现动态环境中精确的行人定位和跟踪，具有显著的优势。 然而，基于激光雷达的行人跟踪方法仍然面临诸多挑战。如图 1 所示，主要的挑战之一是行人姿势随时间的变化。这种变化不仅体现在不同行人之间的姿势差异，也体现在同一行人随时间的变化。另一个挑战是激光雷达点云数据的稀疏性，尤其是在小型行人目标的情况下。因此，使用激光雷达的行人跟踪精度仍然较低。 关于上述问题，我们提出了一种名为高效 LiDAR 驱动的三维行人跟踪网络 (ELPTNet)，用于自主导航社交机器人。 我们的 ELPTNet 是一种在线方法，主要由四个关键组件组成：三维行人检测、状态预测、数据关联以及状态更新模块。 实验结果表明，我们的 ELPTNet 在准确性和效率方面均优于现有的最先进 (SOTA) 方法。 本文的三个贡献如下： 1）我们提出了ELPTNet，这是一种实时在线3D MOT方法，利用LiDAR 3D点云数据进行行人跟踪，有效降低了光照变化造成的干扰。 2）我们的ELPTNet采用恒定加速度（Constant Acceleration, CA）模型和预测置信度进行目标轨迹预测。在数据关联过程中，该网络融合几何特征、外观特征和运动特征，提升了目标临时被遮挡时3D MOT的鲁棒性和实时性能。 3）实验结果表明，我们的ELPTNet在面向3D跟踪任务的大规模JRDB数据集上取得了SOTA性能。与次优方法相比，我们的ELPTNet将MOTA和HOTA性能分别提升了8.4%和6.6%。 ### 二、相关工作 近年来，3D多目标跟踪（3D Multi-Object Tracking, MOT）根据所用传感器的不同被分为两类：基于相机的2D MOT方法和基于LiDAR的3D MOT方法。 ### A. 基于相机的2D多目标跟踪方法 目前大多数现有二维多目标跟踪（2D Multiple Object Tracking, MOT）方法都遵循基于检测的跟踪框架，其中数据关联通常通过全局优化或在线二部图匹配方法解决[^13]。全局优化方法，例如网络流[^14]、[^15]和贝叶斯滤波[^16]，会利用所有帧的信息进行优化。相比之下，在线二部图匹配方法仅依靠当前帧的信息跟踪目标，采用匈牙利算法[^17]、[^18]或贪心分配算法[^19]。尽管许多二维MOT方法已经取得成功，但它们对 --- ![Image](images/4b7d001db0b14c478b3d8462222d3bfc39a86909df727145fbe12ea9b152f3a8.jpg)
Fig. 1. The main challenge in pedestrian tracking is the significant variation in pedestrian postures. First, unlike rigid bodies (e.g., vehicles), the same individual (e.g., Ped 1) may exhibit different postures or states at different times, such as standing, bending, or sitting. Second, at the same time instant, different pedestrians may be in different postures, such as standing, walking, or bending over. Additionally, pedestrians vary in size, such as adults (e.g., Ped 2) and children (e.g., Ped 3). Here, “tressider-2019-03-16_2_000030” represents the 30th frame (000030) of the tressider-2019-03-16_2_scene.
三维场景动态的表征能力仍然有限，导致实际应用中的三维布局估计结果不够理想。 ### B. 基于激光雷达的三维多目标跟踪方法 大多数 3D 多目标跟踪 (MOT) 方法 [^20]，[^21]，[^22] 遵循与 2D MOT 类似的工作流程，遵循“检测-关联-状态估计”的范例。 主要区别在于将边界框从图像平面扩展到三维空间，这需要更精确地建模和管理对象的 3D 尺寸、方向和运动状态。 例如，SimpleTrack [^23] 强调对关联、运动模型和生命周期管理的统一分析和改进。 另一方面，Polymot [^24] 针对数据关联和状态估计中的不同对象类别采用了不同的运动模型和相似性度量，通过“多面体”策略减少了遗漏的关联。 此外，SMAT [^25] 提出了一种自强化框架，该框架将动态对象检测与大型开放环境中的静态地图深度耦合，以实现同时定位、地图构建和跟踪。 总而言之，虽然 3D MOT 和 2D MOT 共享相同的基本组件，但三维场景中更丰富的几何和运动信息为数据关联和轨迹管理带来了新的挑战和机遇。 此外，有多种融合摄像头和 LiDAR 数据进行多目标跟踪的方法 [^26] 也取得了令人鼓舞的性能，例如 CAMO-MOT [^27]，JRMOT [^8] 和 DeepFusionMOT [^28]。 ### III. 方法 我们的行人跟踪方法是一种在线方法，主要由四个组件组成：一个 3D 行人检测模块、一个状态预测模块、一个数据关联模块和一个状态更新模块。 ### A. 3D 检测 如图 2 所示，为了获得更好的跟踪性能，我们采用了一个高质量的预训练 DCCLA 网络 [^29] 作为我们的 3D 检测模块，DCCLA 方法在 JRDB 数据集上的 3D 对象检测任务中表现出最先进的性能。 在时间 t，3D 检测模块输出一组检测结果 $P = \{P^1, P^2, \cdots, P^n\}$，其中 n 表示检测到的行人数量。 由于检测到的行人数量在不同时间会有所变化，因此 n 的值也会相应变化。 在帧 t，每个行人检测结果可以表示为一个元组 $P_t^i = (x, y, z, l, w, h, \theta, s)$，其中 $(x, y, z)$ 表示行人的 3D 坐标，$(l, w, h)$ 表示行人的尺寸，$\theta$ 表示方向角度，s 表示检测置信度。 ### B. 状态预测 我们的方法采用恒定加速度 (CA) 模型和预测置信度来增强 3D MOT 的鲁棒性和准确性。 与仅考虑速度的传统恒定速度 (CV) 模型不同，CA 模型进一步考虑了加速度，从而可以在对象加速或减速时实现更精确的轨迹预测。 相比之下，CV 模型在对象突然改变速度或短暂遮挡时，往往会产生更大的预测误差。 CA 模型通过使用以下方程预测运动，更好地适应动态变化： $$ \begin{aligned}\boldsymbol{p}_{t}&=\boldsymbol{p}_{t-1}+\boldsymbol{v}_{t-1}\cdot\boldsymbol{\delta}+\frac{1}{2}\boldsymbol{a}_{t-1}\cdot\boldsymbol{\delta}^{2},\\\boldsymbol{v}_{t}&=\boldsymbol{v}_{t-1}+\boldsymbol{a}_{t-1}\cdot\boldsymbol{\delta},\end{aligned} $$ 其中，$p_t$、$v_t$、$a_t$和$\delta$分别表示物体在时间 t 时的位置、速度、加速度，以及连续帧之间的间隔。此外，为了提高预测的可靠性，我们提出了预测置信度，用于评估预测结果的不确定性。置信度随时间衰减，其公式如下：$\gamma_t = \gamma_{t-1} - \eta\gamma_{t-1}$，其中$\gamma_t$表示当前帧的预测置信度，$\eta$是衰减因子，用于控制置信度降低的速率。 --- ![Image](images/68a293cdf49b46036fbb9782f6f250ef8588fe1dccf24dbfdf9d8cd4e9521fb7.jpg)
Fig. 2. Our ELPTNet pipeline. Our ELPTNet is composed of four key components: the 3D detection module, which extracts 3D bounding boxes from the LiDAR point cloud; the state prediction module, utilizing a a Constant Acceleration (CA) model and prediction confidence to estimate object states in the current frame; the data association module, responsible for linking detections with predicted trajectories; and the state update module, which refines trajectories while handling newly emerging and vanishing objects.
### C. 数据关联 在 3D 多目标跟踪任务中，由于遮挡或距离过远，物体可能会暂时不可见，从而导致跟踪失败。传统的恒定速度 (CV) 模型难以应对运动的突然变化，而基于深度学习的模型（例如 LSTM），虽然具有较高的预测精度，但在计算上成本高昂，不适用于实时应用。为了解决这些问题，本文提出了一种基于预测置信度的引导数据关联方法，该方法引入了一种预测置信度指标 $\gamma$，用于量化预测状态的可靠性，并动态调整数据关联的搜索范围。具体来说，我们的方法使用恒定加速度 (CA) 运动模型进行状态预测： $$ \hat{Z}_{t}^{j}=A Z_{t-1}^{j};\hat{S}_{t}^{j}=A S_{t-1}^{j}A^{T}+Q, $$ 其中，A 是状态转移矩阵，$\tilde{S}_{t}$ 表示预测误差协方差，Q 是过程噪声协方差。位置和速度的预测计算如下： $$ \begin{align*}\hat{p}^{j}_{t}&=p^{j}_{t-1}+\delta v^{j}_{t-1}+\frac{\delta^{2}a^{j}_{t-1}}{2},\\\hat{v}^{j}_{t}&=v^{j}_{t-1}+\delta a^{j}_{t-1}.\end{align*} $$ 为了确保鲁棒的数据关联，在没有检测到的情况下，预测置信度 $\gamma$ 随时间衰减，并使用以下公式进行更新： $$ \gamma_{t}^{j}=\gamma_{t-1}^{j}-\eta\gamma_{t-1}^{j};\gamma_{t}^{j}=\gamma_{t}^{j}+\eta c_{t}^{j}, $$ 其中，$c_{t}^{j}$ 表示检测置信度，$\eta$ 是一个参数，用于控制置信度衰减的速率。数据关联过程通过计算一个聚合的成对成本 (C)，该成本整合了几何 (G)、外观 (A) 和运动 (M) 特征： $$ C^{i},j_{t}=G^{i},j_{t}+A^{i},j_{t}+M^{i},j_{t}. $$ 几何成本 (G) 评估边界框的尺寸、中心点和方向的差异，外观成本 (A) 是由检测器提取的深度特征，并使用欧几里得距离计算。此外，运动成本 (M) 测量速度向量之间的角度和欧几里得距离。最终，数据关联通过使用预测置信度进行加权，对成本矩阵 $\psi_{t}$ 进行处理。 ### D. 状态更新 在目标状态更新过程中，我们采用卡尔曼滤波来优化匹配目标的的状态。首先，计算卡尔曼增益以平衡预测误差和检测误差，从而更新目标的状态及其误差协方差矩阵，以提高跟踪的稳定性。同时，引入了一种预测置信度机制，用于自适应地调整数据关联的搜索范围，以基于检测置信度，从而实现对暂时丢失目标的合理跟踪。对于未匹配的检测目标，采用零初始化策略，将它们添加到跟踪状态集，并将初始速度和加速度设置为零，从而使新的目标能够迅速地被纳入跟踪序列。最终，更新后的目标状态包括匹配的目标和新初始化的目标，为下一帧的跟踪奠定基础。通过平滑目标轨迹、优化数据关联以及增强 ---
TABLE I
COMPARISON OF TRACKING PERFORMANCE BETWEEN OUR ELPTNET AND OTHER STATE-OF-THE-ART (SOTA) METHODS ON THE JRDB TEST SET. OUR ELPTNET ACHIEVES A NEW SOTA PERFORMANCE, IMPROVING HOTA BY 6.6% COMPARED TO THE PREVIOUS SOTA METHOD [^25]. $\triangle$ REPRESENTS THE ABSOLUTE VALUE OF THE DIFFERENCE BETWEEN OUR ELPTNET AND SMAT.
MethodHOTA $\uparrow$ (%)DeTA $\uparrow$ (%)DetRe $\uparrow$ (%)DetPr $\uparrow$ (%)AssA $\uparrow$ (%)AssRe $\uparrow$ (%)AssPr $\uparrow$ (%)IDFI $\uparrow$ (%)IDR $\uparrow$ (%)IDP $\uparrow$ (%)OSPA $\downarrow$OSPACARD $\downarrow$OSPACLOC $\downarrow$
AB3DMOT [^12]11.81212.06912.55755.23412.05312.79168.36910.6706.54828.8030.9710.7340.237
JRMOT [^8]13.05312.60013.19853.73513.95614.94063.94012.3197.67231.2350.9560.6270.329
PC-DAN [^30]15.56923.68725.86370.01310.37610.77470.62913.8899.51025.7430.9760.8980.079
SS3D-MOT [^31]15.80023.22425.19670.96610.88911.18484.51914.4809.81127.6320.9820.9110.071
SMAT [^25]18.93017.05518.41755.31021.13222.34271.84221.34214.22442.7190.9750.6930.282
ELPTNet (Ours)25.53825.99128.58364.58925.42930.56053.02328.68620.69046.7530.7830.2300.553
$\triangle$6.6088.93610.1669.2794.2978.21818.8197.3446.4664.0340.1920.4630.271
TABLE II
COMPARISON OF TRACKING PERFORMANCE BETWEEN OUR ELPTNET AND OTHER SOTA METHODS ON THE JRDB TEST SET. OUR ELPTNET ACHIEVES THE TOP RANKING, IMPROVING MOTA BY 8.4% COMPARED TO THE SECOND-BEST METHOD [^25].
MethodMOTA $\uparrow$ (%)MODA $\uparrow$ (%)CLR_Re $\uparrow$ (%)CLR_Pr $\uparrow$ (%)CLR_TP $\uparrow$CLR_FN $\downarrow$CLR_FP $\downarrow$MTR $\uparrow$ (%)PTR $\downarrow$IDSW $\downarrow$MT $\uparrow$PT $\downarrow$ML $\downarrow$
AB3DMOT [^12]19.34219.96721.35093.914211186777968136864.82930.2646179865391156
JRMOT [^8]20.15220.57822.57091.890223253765901197056.06431.05042161085531120
PC-DAN [^30]22.56525.19631.06884.104307308681846580844.71745.9292602284818879
SS3D-MOT [^31]22.96324.98230.24385.182299153690001520414.21145.5361997375811895
SMAT [^25]24.21024.68928.99387.073286790702364425774.88543.627473987777917
ELPTNet (Ours)32.65333.49438.87487.8443845246046305321216.84437.2268320300663818
$\triangle$8.4438.8059.8810.77197734977341063511.9596.401358121311499
跟踪的鲁棒性，该方法显著提高了 3D 多目标跟踪的准确性和效率。 ### IV. 实验 首先介绍 JRDB 数据集 [^32]、[^8] 及其评估指标。 接下来，将 ELPTNet 的性能与其他最先进的方法进行比较。 然后，进行消融研究以评估方法在各种条件下的性能。 最后，我们进行视觉分析，并讨论该方法的鲁棒性和局限性。 ### A. 数据集和评估指标 1) 数据集：JRDB [^32]、[^8] 数据集由移动机器人手臂 JackRabbit 在复杂的人类环境中导航和交互时收集的。 JackRabbit 配备了五台摄像头和两个 16 通道 LiDAR 传感器，生成 3D 点云数据，模拟 32 通道 LiDAR。 该数据集提供了 64 分钟的传感器数据，并包含超过 420 万个行人 3D 边界框。 总共有 54 个室内和室外场景，其中 27 个未标记的场景用于测试集，其余 27 个用于训练和验证。 遵循官方的分区方案，我们选择 7 个场景作为我们的验证集。 2) 指标：我们使用了以下评估指标：HOTA (Higher Order Tracking Accuracy)、DetA (Detection Accuracy)、DetRe (Detection Recall)、DetPr (Detection Precision)、AssA (Association Accuracy)、AssRe (Association Recall)、AssPr (Association Precision)、IDF1、IDR (ID Recall)、IDP (ID Precision)、OSPA (Optimal Sub-Pattern Assignment)、OSPA_CARD (Cardinality)、OSPA_LOC (Localization)、MOTA (Multi-Object Tracking Accuracy)、MODA (Multi-Object Detection Accuracy)、CLR_Re (Clear Recall)、CLR_Pr (Clear Precision)、CLR_TP (Clear True Positives)、CLR_FN (Clear False Negatives)、CLR_FP (Clear False Positives)、MTR (Mostly Tracked)、PTR (Partially Tracked)、MT (Mostly Tracked Targets)、PT (Partially Tracked Targets)、ML (Missed Targets)、IDSW (ID Switches)。 ### B. 在 JRDB 测试集上与最先进方法的比较 如表 I 所示，我们的 ELPTNet 在 JRDB 测试集 $^{1}$ 上实现了 3D 行人跟踪任务的最高排名，在多个跟踪指标上优于其他方法。 尤其值得注意的是，我们的 ELPTNet 获得了最高的 HOTA 分数 (25.538%)，比之前的最佳方法 SMAT 高出 6.608%。 它在检测和关联指标方面也取得了显著的提升：DetA、DetRe 和 DetPr 分别提高了高达 8.936%、10.166% 和 9.279%，而 AssA、AssRe 和 AssPr 提高了高达 4.297%、8.218% 和 18.819%。 此外，我们的 ELPTNet 具有最佳的 IDF1、IDR 和 IDP 值，这表明它在一致地识别跟踪对象方面非常有效。 在 OSPA 衡量整体跟踪质量方面，我们的 ELPTNet 将误差降低到 0.783，比 SMAT 提高了 0.192。 在 OSPA $_{CARD}$ 和 OSPA $_{LOC}$ 上也观察到类似的优势，这表明我们的 ELPTNet 不仅 $^{1}$JRDB 3D 跟踪： ---
TABLE III
THE TRACKING PERFORMANCE OF OUR ELPTNET AND SMAT [^25] ON THE JRDB TEST SET IS COMPARED ACROSS DIFFERENT SCENARIOS. OUR ELPTNET OUTPERFORMS THE SMAT METHOD IN MOST SCENARIOS.
SequenceELPTNet (Ours)SMAT [^25]
HOTA $\uparrow$ (%)DetA $\uparrow$ (%)AssA $\uparrow$ (%)IDF1 $\uparrow$ (%)OSPA $\downarrow$ (%)MOTA $\uparrow$ (%)MODA $\uparrow$ (%)HOTA $\uparrow$ (%)DetA $\uparrow$ (%)AssA $\uparrow$ (%)IDF1 $\uparrow$ (%)OSPA $\downarrow$ (%)MOTA $\uparrow$ (%)MODA $\uparrow$ (%)
cubberly-auditorium-2019-04-22_140.0641.4539.7047.440.6958.5959.1323.1820.8026.0625.410.9835.5535.98
discovery-walk-2019-02-28_036.1437.9534.8043.230.8449.7650.2821.1215.8330.8325.700.9626.2726.59
discovery-walk-2019-02-28_137.2836.6738.1548.560.8150.0750.3620.4918.6222.6423.560.9932.0232.36
food-trucks-2019-02-12_027.3838.8319.5529.990.9051.8252.6217.7420.5315.4521.520.9833.3033.68
gates-ai-lab-2019-04-17_025.5534.4419.0626.620.9337.0837.7823.9623.2024.7529.760.9921.6421.97
gates-basement-elevators-2019-01-17_038.5846.7831.9947.010.6858.8559.9326.3324.0730.4427.030.9640.0440.49
gates-foyer-2019-01-17_044.3649.2939.9855.900.7363.1763.3725.6231.1021.1735.370.9944.8845.27
gates-to-clark-2019-02-28_051.0246.3956.1864.550.5957.5757.6931.3627.1836.3648.970.9642.7143.06
hewlett-class-2019-01-23_034.3144.8326.6339.340.7655.4657.3927.3728.5826.5931.690.9749.0149.56
hewlett-class-2019-01-23_156.4057.1855.6973.990.4874.0674.2535.2133.9736.7638.440.9764.7365.10
huang-2-2019-01-25_143.8339.0649.6254.090.7354.1254.3723.3518.1929.9824.780.9822.8723.24
huang-intersection-2019-01-22_030.7127.2334.7240.710.8336.3936.7318.2112.9727.0618.770.9823.1523.43
indoor-coupa-cafe-2019-02-06_018.1222.8614.4519.910.9225.6626.1911.7914.429.6415.370.9915.8016.28
lomita-serra-intersection-2019-01-30_038.9533.4945.9751.440.7647.8247.8628.5818.4446.4333.480.9725.5325.86
meyer-green-2019-03-16_129.8119.2446.5631.160.8722.6422.8517.7912.1326.1912.670.9917.0617.52
nvidia-aud-2019-01-25_025.1625.2625.5830.980.8130.9731.5219.5515.5624.5720.690.9919.4619.93
nvidia-aud-2019-04-18_143.4939.2748.4850.980.7149.8650.1123.3516.8532.4026.690.9326.9127.09
nvidia-aud-2019-04-18_238.7735.2642.9048.890.7645.5945.9828.2819.9142.7830.220.9727.2627.71
outdoor-coupa-cafe-2019-02-06_017.3917.3517.7119.150.9320.2820.6113.2212.2914.3014.370.9916.5416.98
quarry-road-2019-02-28_039.5330.9950.6350.730.7637.2737.4121.8814.1333.9723.420.9820.0020.28
serra-street-2019-01-30_029.9120.4143.9134.390.8227.8528.0317.0010.0329.1415.920.9916.7117.12
stlc-111-2019-04-19_154.2557.0451.7567.320.5770.5770.9832.7432.1433.5546.200.9554.1354.57
stlc-111-2019-04-19_245.0652.1439.0557.660.6864.3464.8130.7130.6131.0145.220.9452.3952.86
tressider-2019-03-16_225.2723.4927.7931.810.8630.2230.4018.7912.8228.4021.290.9520.1720.38
tressider-2019-04-26_016.5317.2616.0920.240.9120.0021.2214.2014.8913.5519.630.9919.9520.60
tressider-2019-04-26_117.8322.5114.7519.710.9129.5830.8918.8218.3919.2821.050.9925.0025.48
tressider-2019-04-26_317.7721.3715.1519.020.8926.3627.6716.9717.4516.6419.380.9924.2424.92
COMBINED25.5425.9925.4328.690.7832.6533.4918.9317.0621.1321.340.9824.2124.69
可以更准确地跟踪对象，而且还可以实现更精确的定位和更稳健的对象数量估计。 如表 II 所示，我们的 ELPTNet 在各项指标上均显著优于现有方法，实现了最高的多元物体跟踪准确度 (MOTA)，为 32.653%，比第二名方法 SMAT [^25] 高出 8.4%。此外，我们的 ELPTNet 实现了最高的多元物体检测准确度 (MODA)，为 33.494%，比 SMAT 提高了 8.8%。在跟踪准确度方面，我们的 ELPTNet 实现了最高的正确定位召回率 (CLR_Re)，为 38.874%，超过了 SMAT 的 9.88%，同时保持了较高的正确定位精度 (CLR_Pr)，为 87.844%。我们的 ELPTNet 还报告了最高的 CLR_TP (384,524) 和最低的 CLR_FN (604,630)，这表明其在准确检测和跟踪物体方面的卓越能力，同时最大限度地减少了漏检。在轨迹一致性指标方面，我们的 ELPTNet 显著提高了“大部分跟踪” (MTR) 百分比，达到 16.844%，优于所有其他方法。它还实现了较低的“部分跟踪” (PTR) 百分比，为 37.226%，以及最少的“大部分丢失” (ML) 轨迹，为 818，表明具有很强的跟踪稳定性。但是，我们的 ELPTNet 的 ID 切换 (IDSW) 计数稍高，为 8,320，表明身份一致性仍有改进的空间。总体而言，我们的 ELPTNet 显著提升了多元物体跟踪的性能。 如表 III 所示，我们的 ELPTNet 在各种 JRDB 测试序列中，在关键跟踪指标（包括 HOTA、DetA、AssA、IDF1、MOTA 和 MODA）上始终优于 SMAT，同时保持了良好的 OSPA 值。值得注意的是，“hewlett-class-2019-01-23_1”和“stlc-111-2019-04-19_1”序列在检测准确度 (DetA) 和关联准确度 (AssA) 方面均显示出显著的提升，这突出了我们的 ELPTNet 在各种具有挑战性的场景中的鲁棒性。总体而言，这些结果强调了我们 ELPTNet 的有效性，在各种环境中实现了出色的跟踪性能。 ### C. 消融研究 我们验证了我们的方法中各种组件对 JRDB 验证集的影响。 1) 新物体数量的影响：如表 IV 所示，增加新物体的数量通常会导致 HOTA 和 MOTA 均有所提高。引入 15 个新物体可获得最高的 HOTA 21.894% 和 MOTA 23.690%，以及最低的 IDSW 4341，表明整体跟踪准确性和稳定性更好。虽然 MODA 25.525% 和 IDF1 23.107% 分别在引入 13 个和 11 个新物体时达到峰值，但总体性能的最佳优化是在 15 个新物体下。因此，选择 15 个新物体是 ---
TABLE IV
THE EFFECT OF THE NUMBER OF NEW OBJECTS. WHEN THE NUMBER OF NEW OBJECTS IS 15, HOTA, MOTA, AND IDSW ACHIEVE OPTIMAL PERFORMANCE.
New objectHOTA $\uparrow$ (%)MOTA $\uparrow$ (%)MODA $\uparrow$ (%)IDF1 $\uparrow$ (%)IDSW $\downarrow$
321.63523.64625.52222.8064442
521.68423.67625.52022.7444365
721.84923.64325.52322.9824451
921.61523.64525.51422.6724426
1121.75523.65625.51623.1074405
1321.86723.67525.52522.8344380
1521.89423.69025.52323.0314341
TABLE V
THE EFFECT OF THE MAXIMUM PREDICTED NEW OBJECTS COUNT. WHEN SET TO 25, IT ACHIEVES A BALANCED PERFORMANCE ACROSS MULTIPLE EVALUATION METRICS.
Max predHOTA $\uparrow$ (%)MOTA $\uparrow$ (%)MODA $\uparrow$ (%)IDF1 $\uparrow$ (%)IDSW $\downarrow$
521.70823.62325.52922.6544514
1021.76023.68625.51923.1074340
1521.64423.64025.52622.8624466
2522.03023.65825.51823.4324404
5021.95723.64925.52523.2304442
7521.94623.64525.51523.0274429
10021.97523.67325.52123.0404376
的推荐选择，以在多个评估指标上实现更好的性能。 2) 预测的新物体最大数量的影响：如表 V 所示，可以观察到，对预测的新物体最大数量 (Max pred) 的不同设置会对每个指标产生不同的影响。当 Max pred 设置为 25 时，HOTA 达到 22.030% 且 IDF1 达到 23.432%，均处于最高水平。MOTA 在 Max pred = 10 时达到峰值，为 23.686。当 Max pred 设置为 5 时，MODA 达到 25.529%，而 IDSW 最小，为 4340，当 Max pred = 10 时。这些发现表明，选择预测的新物体最大数量需要在 HOTA、MOTA、MODA、IDF1 和 IDSW 之间进行平衡。如果 HOTA 和 IDF1 是重点，建议将 Max pred 设置为 25。如果侧重于 MOTA 或 MODA，则减小 Max pred 到 10 或 5 可能会更合适。此外，跟踪 IDSW 的变化对于最大限度地减少跟踪过程中的身份切换至关重要。 3) 后验分数的影响：如图 3 所示，调整后验分数阈值从 0.1 到 0.9 会显著影响跟踪性能。当阈值为 0.1 时，HOTA 为 17.880%，IDF1 为 16.696%，表明存在大量的误检。将阈值提高到 0.5 时，HOTA 提高到 20.949%，IDF1 提高到 21.310%。当阈值为 0.7 时，HOTA 达到 21.635%，IDF1 达到 22.806%，表示整体性能最佳。但是，将阈值设置得过高（0.9），HOTA 会下降到 14.080%，IDF1 会下降到 15.692%，这意味着许多有效的检测被遗漏。因此，当后验分数为 0.7 时，HOTA 和 IDF1 达到最佳值。 ![Image](images/b2263bdbdd69751c613247ffe33c5d5d6a347544e0cbd168c4f91cdf1caa82eb.jpg)
Fig. 3. The effect of the post score. When the post score is 0.7, both HOTA and IDF1 reach their highest values.
TABLE VI
THE EFFECT OF TRACKING DELAY TIME. WHEN THE LATENCY IS 0, IT INDICATES REAL-TIME ONLINE TRACKING. WHEN THE LATENCY IS 1, MEANING ONLINE TRACKING WITH A 1-SECOND DELAY, THE OVERALL TRACKING PERFORMANCE IS BETTER. THE FPS WAS TESTED ON THE INTEL CORE I9 10900K CPU.
LatencyHOTA\n $\uparrow$ (%)MOTA\n $\uparrow$ (%)MODA\n $\uparrow$ (%)IDF1\n $\uparrow$ (%)IDSW\n $\downarrow$FPS\n $\uparrow$
021.63523.64625.52222.806444261.132
122.11427.32428.18723.926204562.378
222.06726.66327.50024.035198263.681
321.96125.70226.55824.008202864.842
4) 跟踪延迟时间的影响：如图 VI 所示，当延迟为 0（实时在线跟踪）时，HOTA、MOTA、MODA 和 IDF1 分别达到 21.635%、23.646%、25.522% 和 22.806%。更重要的是，帧速率达到 61.132 FPS。随着延迟的增加，整体性能逐渐提高。值得注意的是，在 1 秒延迟下，MOTA 和 MODA 表现出最显著的改善，而 IDSW 计数明显减少，FPS 略微增加到 62.378，从而实现最佳的整体跟踪性能。进一步增加延迟会导致某些指标（如 IDF1 和 FPS）继续提高，但也导致准确性指标（如 MOTA 和 MODA）略有下降，表明额外的延迟并不能带来整体的益处。总而言之，我们的方法在计算需求和跟踪精度之间实现了最平衡的折衷，使其特别适用于实时应用，包括自主社交导航机器人。 5) 鲁棒性分析：如图 VII 所示，我们评估了多目标跟踪方法在各种场景下的鲁棒性。尽管场景在环境布局、人群密度和视角方面存在显着差异，但我们的 ELPTNet 在 HOTA、DetA、AssA、MOTA、MODA 和 IDF1 等指标方面表现出令人满意的性能。值得注意的是，如图 4 所示，在 meyer-green-2019-03-16.0 场景中，由于个体分散、遮挡较少和光照条件稳定，该算法实现了最佳的整体性能，HOTA 为 34.224%，IDF1 为 40.607%，IDSW 仅为 65。其他场景也显示出稳定的跟踪性能。这些结果充分证明了该方法在各种复杂环境中的适应性和鲁棒性。 ---
TABLE VII
TRACKING PERFORMANCE UNDER DIFFERENT SCENARIOS. NOTE THAT OUR APPROACH DEMONSTRATES STABLE TRACKING PERFORMANCE ACROSS DIVERSE ENVIRONMENTS.
SequenceHOTA $\uparrow$ (%)DetA $\uparrow$ (%)AssA $\uparrow$ (%)MOTA $\uparrow$ (%)CLR_Re $\uparrow$ (%)CLR_Pr $\uparrow$ (%)MODA $\uparrow$ (%)PTR $\downarrow$MTR $\uparrow$ (%)IDSW $\downarrow$IDFI $\uparrow$ (%)OSPA $\downarrow$
clark-center-2019-02-28_120.29924.00817.43317.74140.46966.59620.17067.4806.504145322.0010.979
gates-ai-lab-2019-02-08_027.76727.30629.2512.31859.24351.5183.49156.00028.00012326.8150.968
huang-2-2019-01-25_030.35931.90629.02030.73353.33371.25331.81663.41519.51210737.3520.952
meyer-green-2019-03-16_034.22429.52740.01325.50852.99966.77526.62973.33313.3336540.6070.982
nvidia-aud-2019-04-18_030.33533.51027.52538.76156.12277.39139.72662.50022.50018738.2000.959
tressider-2019-03-16_125.72418.31337.02018.89327.87177.15519.61936.8427.89511624.6640.926
tressider-2019-04-26_216.75527.04910.70426.06546.20271.88828.13562.80210.145239117.5110.966
COMBINED21.63526.53518.05623.64645.36969.56725.52261.96311.861444222.8060.962
![Image](images/51aa97cdd37517cd70bf14b484e392bacc3782b8b3909ad29f340b875051b944.jpg)
Fig. 4. Visualization of meyer-green-2019-03-16_0 scene. Our ELPTNet can effectively track pedestrians. The green and red 3D bounding boxes represent the ground truth and our predicted results, respectively.
![Image](images/158487b2903ce48311fd55f6a07ed030f25834141cd27d12a7e23cce44c83453.jpg)
Fig. 5. Visualization of the tressider-2019-04-26_2 scenario. This indoor scene features high crowd density along with frequent mutual occlusions and interactions, which result in reduced tracking performance.
在场景方面存在显着差异，但我们的 ELPTNet 在 HOTA、DetA、AssA、MOTA、MODA 和 IDF1 等指标方面表现出令人满意的性能。值得注意的是，如图 4 所示，在 meyer-green-2019-03-16.0 场景中，由于个体分散、遮挡较少和光照条件稳定，该算法实现了最佳的整体性能，HOTA 为 34.224%，IDF1 为 40.607%，IDSW 仅为 65。其他场景也显示出稳定的跟踪性能。这些结果充分证明了该方法在各种复杂环境中的适应性和鲁棒性。 ### D. 局限性 如图 5 所示，室内场景（如 tressider-2019-04-26.2）通常具有高人群密度，并且经常出现遮挡和交互，这会显著增加跟踪的难度。因此，该场景具有最高的 ID 切换次数（2391）（如表 VII 所示），而整体 HOTA 仅为 16.755%。这些结果表明，尽管所提出的方法在各种室内和室外场景中表现出一定的鲁棒性，但在存在大量遮挡和密集人群的情况下，仍然会遇到大量的身份切换和跟踪中断。因此，为了应对这些挑战，在复杂的室内环境中，需要进行进一步的改进和优化。 ### V. 结论 本文面向自主导航社交机器人提出了一种简洁高效的基于激光雷达的三维行人跟踪网络（ELPTNet）。我们的ELPTNet首先利用三维目标检测器从激光雷达点云中获取行人的三维包围框。此外，我们的ELPTNet采用恒加速度（CA）模型和预测置信度进行目标轨迹预测。在数据关联过程中，该网络融合几何特征、外观特征和运动特征，提升了目标临时被遮挡时三维MOT的鲁棒性和实时性能。在大规模JRDB行人数据集上的实验结果 --- 实验表明，我们的方法在JRDB 3D行人跟踪任务中排名第一，相比以往现有最优（SOTA）方法，MOTA提升了8.4%，HOTA提升了6.6%。此外，我们的ELPTNet在单块CPU上可达到61帧每秒（FPS）的推理速度，能够实现准确的实时多行人跟踪。由于LiDAR点云数据稀疏，对远距离小目标的跟踪精度较低，而相机图像擅长捕捉色彩与精细细节，未来工作将聚焦于融合LiDAR与相机传感器数据，以提升智能机器人在复杂环境下的跟踪精度与鲁棒性。 ## 参考文献 [^1]: S. M. Marvasti-Zadeh, L. Cheng, H. Ghanei-Yakhdan, and S. Kasaei, “Deep learning for visual tracking: A comprehensive survey,” IEEE Transactions on Intelligent Transportation Systems, vol. 23, no. 5, pp. 3943–3968, 2021. [^2]: Z. Cao, Q. Zhang, J. Guang, S. Wu, Z. Hu, and J. Liu, “Semantictopoloop: Semantic loop closure with 3d topological graph based on quadric-level object map,” IEEE Robotics and Automation Letters, vol. 9, no. 5, pp. 4257–4264, 2024. [^3]: J. Guang and J. Liang, “Cmsea: Compound model scaling with efficient attention for fine-grained image classification,” IEEE Access, vol. 10, pp. 18222–18232, 2022. [^4]: M. Lyssenko, C. Gladisch, C. Heinzemann, M. Woehrle, and R. Triebel, “Towards safety-aware pedestrian detection in autonomous systems,” in 2022 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 2022, pp. 293–300. [^5]: Y. Zeng, C. Ma, M. Zhu, Z. Fan, and X. Yang, “Cross-modal 3d object detection and tracking for auto-driving,” in 2021 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 2021, pp. 3850–3857. [^6]: J. Guang, Z. Hu, S. Wu, Q. Zhang, and J. Liu, "Rpea: A residual path network with efficient attention for 3d pedestrian detection from lidar point clouds," Expert Systems with Applications, vol. 249, p. 123497, 2024. [^7]: D. Jia, A. Hermans, and B. Leibe, “2d vs. 3d lidar-based person detection on mobile robots,” in 2022 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 2022, pp. 3604–3611. [^8]: A. Shenoi, M. Patel, J. Gwak, P. Goebel, A. Sadeghian, H. Rezatofighi, R. Martin-Martin, and S. Savarese, "Jrmot: A real-time 3d multi-object tracker and a new large-scale dataset," in 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 2020, pp. 10335–10342. [^9]: Z. Wang, Z. Li, J. Leng, M. Li, and L. Bai, “Multiple pedestrian tracking with graph attention map on urban road scene,” IEEE Transactions on Intelligent Transportation Systems, vol. 24, no. 8, pp. 8567–8579, 2022. [^10]: Y. Yang, B. Fan, Y. Jiang, W. Zhou, D. Chen, and H. Xu, “Enhancing 3d single object tracking with efficient point cloud segmentation,” in 2024 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 2024, pp. 11631–11638. [^11]: J. Shan, S. Zhou, Z. Fang, and Y. Cui, “Ptt: Point-track-transformer module for 3d single object tracking in point clouds,” in 2021 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 2021, pp. 1310–1316. [^12]: X. Weng, J. Wang, D. Held, and K. Kitani, "3d multi-object tracking: A baseline and new evaluation metrics," in 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 2020, pp. 10359–10366. [^13]: J. Wu, J. Cao, L. Song, Y. Wang, M. Yang, and J. Yuan, "Track to detect and segment: An online multi-object tracker," in Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2021, pp. 12352–12361. [^14]: P. Lenz, A. Ge: nowme: Efficient online min-cost and computation," in Computer [^15]: V. Chari, S. Lacoste-Julien, I. Laptev, and J. Sivic, “On pairwise costs for network flow multi-object tracking,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2015, pp. 5537–5545. [^16]: B. Lee, E. Erdenee, S. Jin, M. Y. Nam, Y. G. Jung, and P. K. Rhee, “Multi-class multi-object tracking using changing point detection,” in Computer Vision–ECCV 2016 Workshops: Amsterdam, The Netherlands, October 8-10 and 15-16, 2016, Proceedings, Part II 14. Springer, 2016, pp. 68–83. [^17]: S. Sharma, J. A. Ansari, J. K. Murthy, and K. M. Krishna, “Beyond pixels: Leveraging geometry and shape cues for online multi-object tracking,” in 2018 IEEE International Conference on Robotics and Automation (ICRA). IEEE, 2018, pp. 3508–3515. [^18]: H. Karunasekera, H. Wang, and H. Zhang, “Multiple object tracking with attention to appearance, structure, motion and size,” IEEE Access, vol. 7, pp. 104423–104434, 2019. [^19]: K. Fang, Y. Xiang, X. Li, and S. Savarese, “Recurrent autoregressive networks for online multi-object tracking,” in 2018 IEEE Winter Conference on Applications of Computer Vision (WACV). IEEE, 2018, pp. 466–475. [^20]: J. Jin, J. Zhang, K. Zhang, Y. Wang, Y. Ma, and D. Pan, "3d multi-object tracking with boosting data association and improved trajectory management mechanism," Signal Processing, vol. 218, p. 109367, 2024. [^21]: H. Wu, W. Han, C. Wen, X. Li, and C. Wang, “3d multi-object tracking in point clouds based on prediction confidence-guided data association,” IEEE Transactions on Intelligent Transportation Systems, vol. 23, no. 6, pp. 5668–5677, 2021. [^22]: Y. Ma, J. Zhang, G. Qin, J. Jin, K. Zhang, D. Pan, and M. Chen, "3d multi-object tracking based on dual-tracker and ds evidence theory," IEEE Transactions on Intelligent Vehicles, vol. 8, no. 3, pp. 2426–2436, 2022. [^23]: Z. Pang, Z. Li, and N. Wang, “Simpletrack: Understanding and rethinking 3d multi-object tracking,” in European Conference on Computer Vision. Springer, 2022, pp. 680–696. [^24]: X. Li, T. Xie, D. Liu, J. Gao, K. Dai, Z. Jiang, L. Zhao, and K. Wang, "Poly-mot: A polyhedral framework for 3d multi-object tracking," in 2023 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 2023, pp. 9391–9398. [^25]: T. Fan, B. Shen, Y. Zhang, C. Zhang, L. Yang, H. Chen, W. Zhang, and J. Pan, “S2mat: Simultaneous and self-reinforced mapping and tracking in dynamic urban scenarios oring framework for simultaneous mapping and tracking in unbounded urban environments,” arXiv preprint arXiv:2304.14356, 2023. [^26]: S. Xin, Z. Zhang, L. Liu, X. Hou, D. Zhu, M. Wang, and Y. Liu, "A robotic-centric paradigm for 3d human tracking under complex environments using multi-modal adaptation," in 2024 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 2024, pp. 4934–4940. [^27]: L. Wang, X. Zhang, W. Qin, X. Li, J. Gao, L. Yang, Z. Li, J. Li, L. Zhu, H. Wang et al., “Camo-mot: Combined appearance-motion optimization for 3d multi-object tracking with camera-lidar fusion,” IEEE Transactions on Intelligent Transportation Systems, vol. 24, no. 11, pp. 11981–11996, 2023. [^28]: X. Wang, C. Fu, Z. Li, Y. Lai, and J. He, “Deepfusionmot: A 3d multi-object tracking framework based on camera-lidar fusion with deep association,” IEEE Robotics and Automation Letters, vol. 7, no. 3, pp. 8260–8267, 2022. [^29]: J. Guang, S. Wu, Z. Hu, Q. Zhang, P. Wu, and J. Liu, “Dccla: Dense cross connections with linear attention for lidar-based 3d pedestrian detection,” IEEE Transactions on Circuits and Systems for Video Technology, vol. 35, no. 5, pp. 4535–4548, 2025. [^30]: A. Kumar, J. Kini, M. Shah, and A. Mian, "Pc-dan: Point cloud based deep affinity network for 3d multi-object tracking," arXiv preprint arXiv:2106.07552, 2021. [^31]: C. Liu, C. Gao, F. Liu, J. Liu, D. Meng, and X. Gao, “Ss3d: Sparsely-supervised 3d object detection from point cloud,” in Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2022, pp. 8428–8437. [^32]: R. Martin-Martin, M. Patel, H. Rezatofighi, A. Shenoi, J. Gwak, E. Frankel, A. Sadeghian, and S. Savarese, "Jrdb: A dataset and benchmark of egocentric robot visual perception of humans in built environments," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 45, no. 6, pp. 6748–6765, 2023.