# Li2Former：面向二维测距数据中行人检测的全维度聚合Transformer 杨浩东 $^{®}$，杨亚东 $^{®}$，姚辰鹏，刘成菊 $^{®}$，陈启军 $^{®}$，IEEE高级会员摘要——平面点云的稀疏性使得基于二维LiDAR的行人检测一直是一项具有挑战性的任务。近年来基于深度学习的方法已经取得了显著进展，但这类方法的一维特征建模阻碍了信息在不同维度（即时间、空间和批次维度）之间的流动。此外，卷积算子限制了模型的有效感受野（ERF）。为了促进多维度交互，我们提出了一种全维度聚合（ODA）模块，由主聚合流和辅助特征流组成，可辅助时空联合编码，同时对样本间的潜在关联进行隐式建模。通过级联多个ODA块，不同特征之间的语义鸿沟被逐步弥合。此外，为了提升网络的收敛性和泛化能力，本文设计了一种自适应聚焦机制（AFM），引导模型更多地对难样本进行优化，而非简单样本或低质量样本。大量实验证明了所提流程的有效性，该方法在DROW和JRDB基准数据集上分别达到了76.4%和81.4%的AP，超越了现有最优（SOTA）结果。本文方法在推理速度上也取得了具有竞争力的结果。此外，我们还通过真实环境成功验证了所提模型的有效性。我们的代码已发布于。关键词——二维LiDAR、深度学习、行人检测与跟踪。 ## 一、引言在人机交互场景中（例如医疗护理和安防监控），对行人的精准检测能够帮助机器人获取与人类意图、偏好等相关的信息，进而提升机器人的服务水平[^1]，[^2]。由于RGB(-D)相机存在视野有限、测距不准确的问题[^3]，而三维LiDAR的计算和存储成本较高[^4]，因此二维LiDAR成为了性能与成本之间的均衡选择。然而，二维LiDAR单条水平扫描线带来的稀疏性给特征提取带来了困难，使得可靠的行人检测仍然是一项具有挑战性的任务。从稀疏测距数据中挖掘行人相关信息是实现行人检测的关键。传统方法依赖于精心设计的手工特征进行模板匹配[^5]，[^6]，[^7]，[^8]，[^9]，但现实世界中的复杂情况，例如人类社交互动造成的遮挡、自运动引发的数值波动，通常会使得这些预先设计的方法失效。随着深度学习的发展，从稀疏点云中隐式提取最优行人特征能够获得比传统方法更高的准确率和鲁棒性。然而，现有工作存在以下不足。 1）一维聚合算子：仅聚焦空间[^10]、[^11]或时间特征[^12]、[^13]会导致信息融合不充分，同时忽略了对批次维度的显式利用。近期研究[^14]、[^15]表明，样本间的相关性对于改善数据不平衡、提升模型泛化能力同样至关重要。 2）局部卷积算子：平面点云本质上是包含目标轮廓、形状描述等全局表征的一维深度序列[^16]。局部特征建模带来的有效感受野（ERF）限制，使得模型难以高效捕获长距离依赖关系。本文提出了一种基于激光雷达的二维行人检测Transformer方法，命名为Li2Former。为克服上述缺陷1），如图1所示，本文设计了全维度聚合（ODA）模块，将一维聚合算子扩展至覆盖时间、空间和批次维度的全轴范围。不同于拼接了多维度编码器的单流流水线，本文设计了一种新型双流训练策略，逐步消除全轴之间的语义鸿沟：其中主聚合流对点云的时间特征进行建模，辅助特征流完成空间结构学习和内部样本数据增强。此外，辅助特征流可在推理阶段移除，这避免了[^17]训练与测试不一致的问题，也不会带来额外的计算负担。为解决上述缺陷2），本文引入基于Transformer的编码器对 --- ![Image](images/53d86ea49a6525e13b9ba04feb6b664323cbda87e2e5e182ca24ce6100afa12a.jpg)

Fig. 1. ODA module promotes the fusion of features along the spatial, temporal, and batch axes, providing more comprehensive information interaction than unidimensional aggregation operators. (a) Spatial information from a single-frame point cloud. (b) Temporal information from consecutive frame point clouds. (c) Fusion of features along the spatial, temporal and batch axes, which provides more comprehensive information interaction than unidimensional aggregation operators.

ODA进行建模，通过全局注意力计算扩大ERF。此外，考虑到基于Transformer的模型收敛速度较慢，本文基于预测与真实质心高斯距离的几何度量，提出了一种自适应聚焦机制（AFM）。与传统IoU回归对所有样本施加相同收敛速度的策略不同，AFM对困难样本给予更大的梯度增益，同时降低简单样本或低质量无效样本的学习权重，引导网络更高效地学习内部数据模式。综上，本文的主要贡献有三点。 1）提出了一种基于Transformer的ODA模块，将辅助特征流提供的点云空间特征和样本相关性注入主聚合流中连续扫描的时间信息，实现全轴特征融合与编码。 2）设计了基于高斯的AFM，为困难样本的学习梯度提供增益，引导模型学习高质量特征。实验结果表明，本文所提方法的检测精度超过了现有最优（SOTA）水平。 3）公开了基于PyTorch的行人检测模型代码，并提供了易用的ROS节点，方便机器人应用方向的后续研究开展。本文的后续内容结构安排如下：第二节概述相关工作；第三节首先给出二维行人检测的问题建模，随后介绍整体系统框架，接着阐述本文提出的Li2Former流水线的细节；第四节通过仿真和物理实验验证所提方法，第五节给出结论。 ### 二、相关工作 ### A. 基于二维距离数据的人体检测三维激光雷达能够提供密集点云，因此主要应用于自动驾驶领域，可得到可靠的人体检测结果 [^18], [^19], [^20], [^21]。然而，三维激光雷达采购成本高昂，数据处理与存储难度大，使其在服务机器人中的应用颇具挑战。相比之下，价格相对低廉的二维激光雷达成为更可行的部署方案。尽管如此，二维距离数据的稀疏性给人体特征提取带来了困难 [^22]。基于二维距离数据的人体检测方法主要可分为两类。一类是传统的基于手工设计的模板匹配技术。这类方法采用预先设计的启发式规则，例如人体腿部 [^5], [^6] 与膝盖形状 [^7], 数值测量 [^8] 与聚类 [^9] 特征等，从二维点云中提取特征集合，再通过训练完成的分类器实现人体检测、定位或跟踪等任务。尽管如此，真实场景人群中复杂的社交行为很容易使这类方法发生误判混淆，甚至引发人机冲突。另一类是数据驱动方法，这类方法通过大量标注样本学习人体的最优特征，在检测性能上展现出巨大优势，因此被选为本文的核心算法框架。DROW检测器 $^{[10]}$, $^{[11]}$ 是首个基于深度学习的、从二维距离数据中定位人体的模型。该模型设计了一维卷积网络，从对应人体的距离测量值中提取空间特征。为了更好地融合历史扫描帧，DR-SPAAM $^{[12]}$ 引入了基于点积注意力的时间门控机制。考虑到点云数据标注难度大，研究者提出了一种基于伪标签的自监督算法 $^{[14]}$，其性能可与监督学习相媲美。但这类方法的缺点是仅关注时间、空间和批次维度中的少数几个方面，导致特征融合不充分。为提升检测性能，我们提出了用于全轴特征交互的ODA模块。 ### B. 点云分析中的Transformer 在点云分析领域，Transformer被认为是一种基于图的建模结构，其核心自注意力机制对变长点云序列中不同激光点之间的关系进行建模，从而捕获目标物体的相关特征。已有研究成功将Transformer应用于点云处理任务，展现出出色的灵活性与发展潜力。在三维表示学习方向，MSPCT [^23] 和 PointFormer [^24] 等模型已经取得了显著进展，在目标扫描和室内应用中表现出突出效用。在三维目标检测领域，VoTr [^25]采用稀疏体素捕获长距离上下文信息，同时保持了与卷积操作相近的计算效率。SWFormer [^26]通过窗口移位操作实现多尺度特征融合。在自动驾驶领域，基于Transformer的模型在端到端环境感知中展现出极具竞争力的性能。Li3DeTr [^27]利用交叉注意力模块将三维激光雷达全局特征与目标预测相关联。此外，DeepFusion [^28] 和 TransFusion [^29] 采用了一种 --- ![Image](images/5a0c75cbef594584797197573a76f85baaa5c3a6d34b0159240e8d5e66e907af.jpg)

$\oplus$ Element-wise Add $\circledR$ Sine Position Encoding $\textcircled{C}$ Concat $\textcircled{M}$ Max Pooling $\textcircled{D}$ Decouple $\longrightarrow$ Main Stream $\longrightarrow$ Auxiliary Stream (Trainin:

Fig. 2. Overall architecture of Li2Former. First, the preprocessed cutouts are fed into the backbone based on 1-D convolutional network. Next, the cascading ODA blocks further facilitate the information interaction across temporal, spatial, and batched dimensions, while the self-attention mechanism enhances the capability of global features modeling. Each ODA module consists of a main aggregation stream and a training only auxiliary feature stream. The data from the auxiliary stream are injected into the main stream to accomplish feature fusion. The time pooling module adaptively projects historical temporal features onto the current frame. Finally, classification and regression heads are applied to pedestrian detection.

针对三维点云中的目标查询融合激光雷达与相机传感器的方案。受Transformer在三维点云分析中优异效果的启发，我们将Transformer架构迁移到二维距离数据处理任务中。考虑到行人运动同时依赖历史序列和空间中其他个体的影响，人体定位模型需要同时兼顾帧间时序特征和帧内空间特征。同时，样本间相似或共享部分的潜在约束对稀疏距离测量增广至关重要。因此，我们设计了时序Transformer和批空间Transformer用于全轴编码，并采用多种对齐操作生成性能更优的特征表示。 ### 三、研究方法 ### A. 问题建模二维行人定位任务可理解为：利用历史帧，从当前平面点云中估计所有潜在的行人位置。假设二维激光雷达返回N个按角度序列排列的点，其索引为 $\mathcal{I} = \{1, 2, \ldots, N\}$，该激光扫描记为 $\mathcal{S} = \{s_i^t | (\rho_i^t, \theta_i^t), i \in \mathcal{T}\}(t = 1, 2, \ldots, T)$，其中 $\rho_i^t$ 和 $\theta_i^t$ 分别是时刻t的距离测量值和对应角度，T为历史序列长度。任务目标是预测当前时刻 $\mathcal{P} = \{p_i^t | (\rho_i^t, + \Delta\rho_i, \theta_i^t, + \Delta\theta_i, \psi_i^t), i \in \mathcal{I}\}$ 的行人位置和置信度得分 $t_c = T + 1$。其中，$\Delta\rho_i$ 和 $\Delta\theta_i$ 表示人体中心相对于激光点 $s_i^t$ 的偏移量。若 $\psi_i^t$ 超过阈值，则表明该位置存在行人。针对二维激光雷达点云扫描$\mathcal{S}$存在稀疏性、感知分辨率不足的问题，在二维测距过程中利用不同维度的信息有助于挖掘更高质量的特征模式。这促使我们设计了一个可跨时间、空间和批次轴整合特征的ODA模块。如图2所示，我们首先采用裁剪算法[^10]、[^11]、[^12]将原始扫描数据预处理为逐点感知窗口。随后将这些裁剪块输入由一维卷积块构成的骨干网络，提取细粒度结构。接着，级联多个ODA块促进不同维度之间的特征交互，逐步填补语义缺口。同时，自注意力机制扩大了有效感受野ERF。基于AFM的损失函数对难样本和简单样本赋予不同权重，加速模型收敛。最后，使用分类和定位头对特征进行编码，实现前景行人和背景噪声的分离。 ### B. 平面点云骨干网络由于平面点云本质上是一维距离测量信号，因此选择一维卷积网络作为骨干网络，避免了应用二维卷积核时因维度变换产生的不必要计算开销[^30]。原始二维测距数据不适合直接作为网络输入，原因是点云密度 --- 随距离变化差异极大：靠近激光雷达的目标会覆盖大量点，而远处的目标仅包含少量激光线束。前景与背景数据之间的不平衡会使模型容易在训练场景中发生过拟合。裁剪算法[^10]、[^11]、[^12]用于激光数据的预处理。对于时刻t包含N个点的二维激光雷达扫描$\{s_i^t\}_{i=1}^N$，每$N_0$个点选取一个作为中心，在欧氏空间中生成C个称为裁剪块的局部感知窗口，其中每个裁剪块$\alpha_i^t$的角度开度$c_i^t$为 $$ \alpha_{i}^{t}=2\arctan\frac{W}{2\rho_{i}^{t}} $$ 其中W表示窗口宽度超参数。窗口内的所有点会被裁剪到$\rho_i^t \pm H$的深度范围内。为确保每个裁剪块包含数量相当的激光点，我们会通过线性插值将$\alpha_i^t$范围内的测量数据重采样为固定数量M。每个裁剪块会基于$[-1, 1]$进行均值中心化并归一化到$\rho_i^t$，这意味着$\rho_i^t$的值不会影响卷积网络感受野的覆盖范围。这使得不同距离的目标能够呈现出大致相同的信息特征。一维卷积骨干网络以连续帧的裁剪块为输入，提取局部特征并将距离测量映射为高维特征空间中的嵌入向量 $$ \mathcal{B}_{1}=\operatorname{E m b e d d i n g}(\operatorname{C o n v}(\mathcal{B}_{0})). $$ 其中，$\mathcal{B}_0 \in \mathbb{R}^{B \times T \times C \times M}$对应批次大小为B、时间帧长度为T，$\mathcal{B}_1 \in \mathbb{R}^{B \times T \times C \times P}$对应嵌入向量的维度为P。 ### C. 全维度聚合针对一维聚合算子导致的信息交换不足的局限，我们开发了级联ODA模块来支持特征融合与对齐，最终得到更优的特征表示。 1) 双流训练：受[^15]启发，ODA模块主要分为两个数据流：1) 主聚合流，接收来自另一数据流的提取特征，以增强多维信息交互；2) 辅助特征流，仅在自身维度内进行特征编码。本文提出的Li2Former在融合编码中使用时间编码器（T-Encoders），并使用批量空间编码器（BS-Encoders）提取帧内空间关系。如图2所示，骨干网络输出的批量$\mathcal{B}_1$在进入第一个ODA模块之前被复制为$\mathcal{B}_{t,1}$和$\mathcal{B}_{\text{bs},1}$，以分配到不同的流，最终得到$\mathcal{B}_{t,1}^{\prime}$和$\mathcal{B}_{\text{bs},1}^{\prime}$。对于第i个（$i > 1$）ODA模块，主聚合流的输入由前一模块的输出拼接得到，即$\mathcal{B}_{\text{bs},i} = [\mathcal{B}_{t,i-1}^{\prime}, \mathcal{B}_{\text{bs},i-1}^{\prime}]$，而辅助特征流的输入直接来自前序模块的批量空间关系。双流训练流程可以看作一种内部隐式数据增强，例如为样本间相似或共享的结构建立潜在连接，这对稀疏特征二维距离测量至关重要。通过张量拼接，样本间关联和点云空间特性会在迭代过程中注入到两个数据流共享的主聚合流中，促进多维信息的交互与对齐。得益于主聚合流增强了全轴间的语义相似性，Li2Former可以在测试阶段移除辅助特征流，从而加快推理速度、降低计算量，同时不会造成明显的性能下降。 2) 时间特征提取器：环境中行人状态的动态变化对人体识别与检测发挥着重要作用[^31]。为提取连续二维扫描帧之间的时间依赖关系，本文设计了全局T-Encoder。对于第一个时间编码块，计算过程如下： $$ \mathcal{B}_{t,1}^{P^{\prime}}=\mathrm{M S A}_{t}\big(\mathrm{L N}\big(\mathcal{B}_{t,1}^{P}\big)\big)+\mathcal{B}_{t,1}^{P} $$ $$ \mathcal{B}_{t,i}^{\prime}=\mathrm{F F N}\big(\mathrm{L N}\big(\mathcal{B}_{t,i}^{p\prime}\big)\big)+\mathcal{B}_{t,i}^{p\prime} $$ 其中$\mathcal{B}^p = \mathcal{B} + \mathrm{PE}(\mathcal{B})$表示余弦位置编码，因为多个点云帧之间存在明确的时间顺序。本文使用多头自注意力MSA $_t$对长度为T的序列进行时间序列建模。残差连接和预层归一化（pre-LN）被广泛应用于模块内部，以辅助模型训练[^32]。本文采用带ReLU激活函数的两层前馈网络（FFN），将特征进一步映射到更高维特征空间进行时间编码。对于第i个（$i > 1$）时间编码块，计算过程如下： $$ \mathcal{B}_{t b s,i}^{p^{\prime}}=\mathrm{M S A}_{t}\big(\mathrm{L N}\big(\mathcal{B}_{t b s,i}^{p}\big)\big)+\mathcal{B}_{t b s,i}^{p} $$ $$ \mathcal{B}_{t b s,i}^{\prime}=\mathrm{F F N}\big(\mathrm{L N}\big(\mathcal{B}_{t b s,i}^{p\prime}\big)\big)+\mathcal{B}_{t b s,i}^{p\prime} $$ $$ \mathcal{B}_{t(\mathrm{b s}),i}^{\prime},\mathcal{B}_{(t)\mathrm{b s},i}^{\prime}=\operatorname{d e c o u p l e}\big(\mathcal{B}_{t\mathrm{b s},i}^{\prime}\big). $$ 区别在于$\mathcal{B}_{t\mathrm{bs},i}^{\prime}$需要进行时空解耦以维持自身维度，同时保留时间信息$\mathcal{B}_{t,i}^{\prime} = \mathcal{B}_{t(\mathrm{bs}),i}^{\prime}$。批量空间特征$\mathcal{B}_{(t)\mathrm{bs},i}^{\prime}$会被来自辅助特征流的数据$\mathcal{B}_{\mathrm{bs},i}^{\prime}$替换，并拼接为输入$\mathcal{B}_{\mathrm{bs},i+1} = [\mathcal{B}_{t,i}^{\prime}; \mathcal{B}_{\mathrm{bs},i}]$送入下一个ODA模块的T-Encoder中。 3) 批量空间特征提取器：BS-Encoder可同时提取点云的空间结构以及同一时间步不同样本之间的相似性，计算过程如下： $$ \mathcal{B}_{\mathrm{b s},i}^{\prime\prime}=\mathrm{M S A}_{\mathrm{b s}}\big(\mathrm{L N}\big(\mathcal{B}_{\mathrm{b s},i}\big)\big)+\mathcal{B}_{\mathrm{b s},i} $$ $$ \mathcal{B}_{\mathrm{b s},i}^{\prime}=\mathrm{F F N}\big(\mathrm{L N}\big(\mathcal{B}_{\mathrm{b s},i}^{\prime\prime}\big)\big)+\mathcal{B}_{\mathrm{b s},i}^{\prime\prime}. $$ 多头自注意力$MSA_{bs}$用于批次-空间序列建模，序列长度为$B \cdot C$。与T-编码器不同，本文移除了位置编码，以实现样本关系的位置不变性学习。由于BS-编码器中存在注意力机制，因此支持可变长度序列输入；因此Li2Former不受不同传感器配置的影响。从优化的角度来看[^15]，批次维度与空间维度的结合改变了梯度流的方向，使得任意给定点云的空间特征 --- 能够为所有其他样本的损失计算做出贡献。具体而言，假设每个小批量中的样本$\{\mathcal{B}^k\}_{k=1}^B$对应一个网络损失函数值$\{\mathcal{L}^k\}_{k=1}^B$。在BS-编码器的协同学习过程中，我们有 $$ \frac{\partial\mathcal{L}^{k}}{\partial\mathcal{B}}=\frac{\partial\mathcal{L}^{k}}{\partial\mathcal{B}^{k}}+\sum_{j\neq k}^{B}\frac{\partial\mathcal{L}^{k}}{\partial\mathcal{B}^{j}}. $$ 这表明网络隐式纳入了来自小批量内虚拟样本的梯度$\partial \mathcal{L}^k / \partial \mathcal{B}^l$，在处理数据[^33]时完成这一过程，这与在单个批次上优化的模型存在显著差异。对于数据不平衡任务，例如基于二维距离数据的人体定位（即目标类别与背景类别的比例不均衡），虚拟样本可以增强数据相关性，缓解特征稀疏问题。此外，为了减轻批次训练与单例推理之间的偏差，BS-编码器被设置在辅助特征流中，可在测试阶段将其移除。 4) 时间池化与预测：经过ODA块的特征对齐与融合后，生成输出复合语义批次$\mathcal{B}_f \in \mathbb{R}^{B \times T \times C \times P}$。考虑到行人预测仅涉及当前帧，因此需要一种高效方法将过去$T - 1$帧压缩到$\mathcal{B}_f' \in \mathbb{R}^{B \times 1 \times C \times P}$对应的较低维度。本文设计了一种双分支结构的时间池化模块，将历史序列自适应投影到当前扫描帧上。最大池化分支聚焦于局部时间特征（例如清晰的人体轮廓），而平均池化分支则侧重于全局时间特征（例如人体运动轨迹）。我们引入可学习参数$w_m$和$w_a$，以智能整合来自不同分支特征提取器的信息 $$ \mathcal{B}_{f}^{\prime}=\frac{e^{w_{m}}}{e^{w_{m}}+e^{w_{a}}}\cdot\mathrm{a v g}\big(\mathcal{B}_{f}\big)+\frac{e^{w_{a}}}{e^{w_{m}}+e^{w_{a}}}\cdot\mathrm{m a x}\big(\mathcal{B}_{f}\big). $$ 接下来，本文采用带有两层MLP和ReLU激活函数的分类头与定位头，生成行人检测结果 $$ \mathcal{C}=\phi_{c}\big(\mathcal{B}_{f}^{\prime};W_{c}\big) $$ $$ \mathcal{P}=\phi_{p}\big(\mathcal{B}_{f}^{\prime};W_{p}\big) $$ 其中$\mathcal{P} \in \mathbb{R}^{B \times C \times 2}$和$\mathcal{C} \in \mathbb{R}^{B \times C \times 1}$。在二维距离数据中，待检测的行人可分为以下几类。 ### D. 自适应聚焦机制 1) 简单样本：轮廓清晰的稠密点云。 2) 困难样本：存在遮挡、特征模糊的样本。 3) 无效样本：标注错误或过于稀疏的样本。如果无差别地追求检测器对整个数据集的拟合，会引入无效样本带来的负增益，同时无法充分挖掘困难样本的内在模式，从而降低模型的收敛能力与泛化能力。受Tong等人工作的启发[^34]，本文设计了一种基于高斯分布的AFM，用以缓解低质量标注样本带来的问题。 ![Image](images/6038c4dabcf154bc41a13fa85e3b7671c10529c5143f3f87bf05916f7d97512a.jpg)

Fig. 3. Focusing weight curve demonstration. $\alpha$ is the focusing coefficient, and $\delta$ is the distances coefficient. During the training process, the focusing interval adaptively changes, enabling the loss function to guide the model to dynamically explore data patterns. The bias weight version provides higher attention to difficult samples, accelerating model convergence.

设$\mathcal{L}_{\text{reg},t} \in \mathbb{R}^{BC \times 1}$为第t次迭代的回归损失向量，定义为预测人体位置与真值之间的均方误差，其中B为批次大小，C为裁剪块数量。$\tilde{\mathcal{L}}_{\text{reg},t}^*$表示历史平均回归损失，定义为当前批次平均损失$\tilde{\mathcal{L}}_{\text{reg},t}^*$的指数移动平均值。 $$ \bar{\mathcal{L}}_{\mathrm{r e g},t}^{*}=\beta\cdot\bar{\mathcal{L}}_{\mathrm{r e g},t-1}^{*}+(1-\beta)\cdot\bar{\mathcal{L}}_{\mathrm{r e g},t} $$ 其中$\beta$为滑动因子，能够缓解模型早期性能较差导致的迭代震荡。$\tilde{\mathcal{L}}_{reg,t}^{*}$表明训练过程出现了记忆效应，反映出模型预测更加真实。将$\tilde{\mathcal{L}}_{reg,t}^{*}$逐元素减去$\mathcal{L}_{reg,t}$，得到度量向量$\boldsymbol{x}_{t}$，其分量$x_{t,i}$衡量了第t次训练迭代中，样本i上的模型精度相较于历史表现的相对提升。$x_{t,i}$的注意力通过非单调高斯函数计算得到 $$ w_{t,i}=\alpha\exp\Biggl(\ln\delta\cdot\frac{\left(x_{t,i}-\mu_{t}\right)^{2}}{\sigma_{t}^{2}}\Biggr). $$ 在此处，$\mu_t = \widetilde{\mathcal{L}}_{\text{reg},t}$，而$\sigma_t$表示$\mathcal{L}_{\text{reg},t}$中回归损失的标准差。$\alpha$为聚焦系数，$\delta \in (0, 1)$为折扣系数。提高比值$\alpha/\delta$有助于增强对不同类型样本的聚焦区分度，但也可能引入额外的数据不平衡问题。如图3所示，聚焦曲线表明，在原始权重中，当$x_{t,i} < \mu_t$时表示预测性能提升，反之则表示性能下降。根据3 $\sigma$原则，AFM提供了一种更智能的梯度增益分配策略，它优先分配给$[\mu_t - \sigma_t, \mu_t + \sigma_t]$范围内难样本的有效梯度，而非简单样本$(x_{t,i} < \mu_t - \sigma_t)$的次优梯度以及离群点$(x_{t,i} > \mu_t - \sigma_t)$的有害梯度。同时，聚焦区间会随着训练过程动态变化，使得损失函数能够引导模型自适应地挖掘数据模式。最终损失函数是分类损失与基于行人的AFM加权回归损失之和 ---

TABLE I

QUANTITATIVE COMPARISON RESULTS OF THE Li2Former AND THE SOTA BASELINE ALGORITHMS ON THE DROW AND JRDB DATASETS. WE USE BOLD TO INDICATE THE BEST RESULTS FOR EACH EVALUATION METRIC

Method	DROW [^10]						JRDB [^35]
Method	$AP_{{0.3}}\uparrow$	$AP_{{0.5}}\uparrow$	Peak-F1 $\uparrow$	EER $\uparrow$	GFLOPs $\downarrow$	FPS $\uparrow$	$AP_{{0.3}}\uparrow$	$AP_{{0.5}}\uparrow$	Peak-F1 $\uparrow$	EER $\uparrow$	GFLOPs $\downarrow$	FPS $\uparrow$
ROS leg detector [^36]	0.239	0.273	0.367	0.335	-	18.7	0.285	0.363	0.453	0.450	-	5.8
Arras (re-trained) [^5]	0.413	0.437	0.476	0.460	-	24.5	0.376	0.445	0.487	0.484	-	7.6
Leigh (re-trained) [^6]	0.480	0.552	0.563	0.557	-	25.4	0.337	0.521	0.553	0.552	-	12.0
DROW(T = 1) [^11]	0.677	0.685	0.658	0.652	11.37	83.7	0.696	0.732	0.682	0.676	13.80	78.3
DROW(T = 5) [^11]	0.679	0.698	0.656	0.651	27.09	72.0	0.723	0.765	0.714	0.709	32.87	58.5
+pseudo labels [^14]	0.711	0.726	0.691	0.685	27.09	72.0	0.753	0.786	0.732	0.728	32.87	58.5
DR-SPAAM [^12]	0.676	0.699	0.677	0.671	11.38	81.4	0.721	0.768	0.718	0.713	14.91	75.2
+pseudo labels [^14]	0.698	0.711	0.710	0.708	11.38	81.4	0.744	0.787	0.728	0.728	14.91	75.2
$Li_{{2}}Former(T = 5)$	0.704	0.748	0.700	0.696	10.55	66.9	0.740	0.796	0.744	0.742	19.25	57.0
$Li_{{2}}Former-A(T = 5)$	0.725	0.764	0.720	0.718	10.55	66.9	0.749	0.814	0.750	0.746	19.25	57.0

标签集Y和位置真值集G $$ \mathcal{L}=\mathcal{L}_{\mathrm{c l s}}+\tilde{\mathcal{L}}_{\mathrm{r e g}} $$ 其中 $$ \mathcal{L}_{\mathrm{cls}}=-\frac{1}{|\mathcal{Y}|}\sum_{\substack{y_{i}\in\mathcal{Y}\\ c_{i}\in\mathcal{C}}}[y_{i}\log c_{i}+(1-y_{i})\log(1-c_{i})] $$ $$ \tilde{\mathcal{L}}_{\mathrm{r e g}}=\frac{1}{|\mathcal{G}|}\sum_{\substack{\mathbf{g}_{i}\in\mathcal{G}\\ \mathbf{p}_{i}\in\mathcal{P}}}w_{i}\left\|\mathbf{g}_{i}-\mathbf{p}_{i}\right\|_{2}. $$ ### 四、实验本节首先介绍了用于模型训练和测试的两个基准数据集，随后明确了评估指标并给出实现细节，接着设计了定性与定量实验，将本文提出的模型与SOTA方法进行对比，以形成全面的认识，同时开展了深度消融实验，分析所设计核心模块的有效性，最后我们展示了该模型在实际场景行人检测中的应用。 ### A. 实验设置 1) 数据集：DROW [^10] 是为数不多的基于二维激光雷达的人体检测数据集之一，每一帧包含SICK S300生成的450个距离测量值。所有超参数选择均在DROW验证集上确定，并用于其他数据集的训练过程。为了更全面地评估模型性能，我们加入了更复杂的JRDB数据集 [^35]，该数据集包含多个人群密集的室内结构化场景，并标注了行人三维点云数据。我们在人体膝盖位置周围提取10厘米厚的水平切片，合成类似二维激光雷达的信号。由于三维点云数据可以合理映射为平面信号，Li2Former不会受到不同数据类型的影响。数据集中所有激光点数量少于四个的行人标注都会被视为“忽略”，排除在评估过程之外。 2) 评估指标：为全面评估模型性能，我们根据前人研究 [^10]、[^11]、[^12] 选择了以下评估指标：AP_d反映人体检测的平均精度，只有当未匹配的真实位置与预测位置的距离小于关联距离d时，该检测才被判定为正样本。Peak-F1和等错误率（EER）用于衡量模型在召回率和精确率上的综合性能。此外，计算吞吐量和推理速度通过浮点运算量（FLOPs）和每秒帧数（FPS）量化。 3) 实现细节：所有模型均在Python中使用PyTorch实现。训练使用GeForce RTX 4090 GPU和AMD EPYC 7V13 CPU，测试在GeForce RTX 2060 GPU和Intel Core i7-10875H CPU上完成。训练过程中，选择Adam作为优化器，批次大小为16，训练40个轮次。学习率初始化为 $10^{-4}$，每次迭代后指数衰减至 $10^{-6}$。为区分AFM的影响，我们开发了Li2Former和Li2Former-A两个版本：Li2Former-A集成了焦点权重，而Li2Former和其他基线模型采用二元交叉熵分类损失和 $L_{2}$-范数回归损失。 ### B. 定量结果表I给出了Li2Former与各基线方法在两个基准数据集上的定量结果。为保证比较的公平性，DROW [^11]、DR-SPAAM [^12]与我们的模型均采用相同的cutout参数。增强版本DROW [^14]和DR-SPAAM $^{p}$使用伪标签进行预训练和微调 $^{p}$，代表基于CNN的最优性能结果。表I中还包含了使用官方参数的ROS腿部检测器 [^36]，以及重新训练后的Arras [^5]检测器和Leigh [^6]检测器的实验结果。在准确率方面，本文提出的方法在DROW数据集上取得了最高结果，AP$_{0.5}$达到76.4%，AP$_{0.3}$达到72.5%，均高于所有基线方法。具体而言，相较于DROW$^{p}$和DR-SPAAM$^{p}$，Li2Former获得了显著提升：AP$_{0.5}$分别高出3.8%和5.3%，AP$_{0.3}$分别高出1.4%和2.7%。在JRDB数据集上，Li2Former的AP$^{p}$比DROW$^{p}$和DR-SPAAM$_{0.5}$分别高出2.7%和2.6%。然而，由于缺乏局部归纳偏置，且 --- ![Image](images/9a904edc567cd6e8268ed397ae46fdf22358dca74ae9939efa4158bf81cc9a0b.jpg)

(a)

![Image](images/3330bec6577810ef6bdf2c912febcce5d4bc133359be4bd5690452ddaad331bb.jpg)

(b)

Fig. 4. (a) Precision–recall curves for several baselines and our Li2Former-A detector. (b) Trade-off between computation cost (GFLOPs) and model performance ( $AP_{0.5}$). Superscript “p” denotes the usage of pseudo-labels, and “-Ti” represents the utilization of continuous i-frame scans. All models are evaluated on DROW test set with association distance 0.5 m, and our model outperforms the baseline within a reasonable computational complexity.

由于直接将CNN骨干网络提取的高层特征输入Transformer会损失详细的上下文信息，Li2Former的细粒度AP$_{0.3}$相比DROW$^{p}$小幅下降了0.4%，但仍比DR-SPAAM$^{p}$保持0.5%的优势。尽管Li2Former的全局注意力在细节建模方面存在不足，但与基于CNN的方法相比，其更广的ERF在行人召回率上更具优势，因此peak-F1和EER均有所提升。在DROW数据集上，Li2Former的peak-F1和EER均比最优结果（DR-SPAAM$^{p}$）高出1%；而在JRDB数据集上，其peak-F1和EER比最优结果（DROW$^{p}$）分别高出1.7%和1.6%。图4(a)展示了所有不同模型的精度-召回曲线，可以观察到Li2Former整体表现良好，仅在高召回区间的一小块区域内，DROW$^{p}$-T5的得分更高。在计算成本方面，传统方法需要枚举多个分类器输出的人体模板匹配结果并进行加权投票，这类方法无法利用GPU加速计算，因此在处理大规模点云时效率受到严重限制。与之相对，端到端方法得益于其并行结构，计算效率更高。Transformer中注意力计算的并行度高于窗口卷积，因此在相同序列长度扫描的条件下，Li2Former的复杂度相比DROW显著降低。尽管DR-SPAAM基于RNN的方法通过在连续时间帧上顺序处理距离数据，缓解了推理过程中延迟增加的问题，但较高的计算负担和更长的训练时间仍然不可避免。基于CNN的模型擅长通过卷积核的参数共享减小模型体积。与之相反，Li2Former中的多头自注意力模块和多层MLP会导致参数量增加，因此推理速度比DROW和DR-SPAAM更慢。图4(b)对比了不同规模下Li2Former与基线方法的检测性能。值得注意的是，等价于忽略时序编码的Li2Former-T1精度更低，而在其他设置下Li2Former均优于基线方法，凸显了该模型的有效性和可扩展性。

TABLE II

ABLATION STUDIES FOR ODA MODULE WITH DIFFERENT STRUCTURES ON DROW TEST SET. "M" REPRESENTS THE MAIN AGGREGATION STREAM, WHILE "A" STANDS FOR THE AUXILIARY FEATURE STREAM

Model	Structure	$AP_{0.3}$	$AP_{0.5}$	Peak-F1	EER	GFLOPs
1	Serial encoders	0.583	0.608	0.650	0.649	11.43
2	Parallel encoders	0.511	0.562	0.626	0.624	15.21
3	BS-Encoder(M)+T-Encoder(A)	0.621	0.662	0.698	0.688	10.67
4	BT-Encoder(M)+S-Encoder(A)	0.463	0.499	0.551	0.547	10.55
5	S-Encoder(M)+BT-Encoder(A)	0.471	0.509	0.565	0.561	10.67
6	T-Encoder(M)+BS-Encoder(A)	0.725	0.764	0.720	0.718	10.55

### C. 定性分析我们在一致的设置下，对不同检测器在二维距离数据上的处理机制进行了公平可视化。图5展示的测试室内场景分为三类：单个行人（第1列和第2列）、人群（第3列和第4列）以及受噪声干扰的行人（第5列）。卷积核的重复利用可以通过信号传播逐步扩大ERF。尽管邻域特性有利于提取详细特征，但卷积操作限制了高效并行化和长程依赖的捕获。DROW检测器使用一维CNN对人体特征进行模板匹配，能够在各个行人位置生成高响应，但难以抑制背景点的响应。因此，DROW检测器能够在简单场景中获得较高的检测分数，但在复杂环境中容易发生混淆，产生多个错误激活。相比之下，Li2Former的自注意力机制可自然对长程数据建模，提供更大的ERF以引入更多空间信息，提升了特征提取的完整性，体现在该检测器在区分背景噪声与前景行人方面更具优势。特别是当场景中存在噪声（包括静态杂波或类人障碍物）时，Li2Former会更关注目标区域的细节，忽略不准确的关联，从而获得更强的识别能力和鲁棒性。 ### D. 消融研究 Li2Former的核心通过级联ODA块实现了时间、空间和批次维度上的渐进式特征对齐与交互，凸显了选择合适ODA结构对提升模型性能的重要意义。此外，我们分别在保留和移除AFM的条件下训练Li2Former，以直观证明AFM在提升学习效率方面的有效性。 1) ODA结构：为了验证ODA结构的合理性，我们对比了模型在不同特征融合策略下的检测性能。如表II所示，Model-1的串行结构指将T-Encoder的输出作为BS-Encoder的输入。Model-2的并行结构则是使用$1 \times 1$ 卷积直接融合T-Encoder和BS-Encoder的输出。其余 --- ![Image](images/b4d09b6cb59591124ec97e89e737de31747dd0c14eaeaae44622565302b07baf.jpg)

Fig. 5. Grad CAM [^37] visualization of CNN-based baseline and our Li2Former in test point clouds. The first row contains the raw scans and annotated pedestrians, while the second and third rows depict the attention visualization of DROW and Li2Former, respectively, for different spatial laser scans. The different colors of the point cloud represent the varying degrees of attention paid by the detector, where colors tending toward red indicate stronger focus. Li2Former achieves better background and foreground separation performance compared with the baseline in different scenarios.

模型采用了双路训练流程，分别对应不同的主聚合流和辅助特征流。与双路训练流程相比，Model-1的串行结构缺乏内部数据增强，仅对时间和空间特征进行简单融合。Model-2的并行方法忽略了不同维度之间的特征对齐，导致模型精度下降。相反，Model-3和Model-6的性能提升更突出。在Model-6中，将BS-Encoder用于辅助特征流并将其整合到主聚合流的T-Encoder中是更合理的设计，这是因为批次训练与单样本推理之间存在固有不一致性，将BS-Encoder作为主聚合流会在测试阶段引入偏差。同样基于双路流程，Model-4和Model-5的性能出现了显著下降，这可归因于有序时间维度与无序批次维度的结合破坏了序列学习的有效性，影响了检测结果的可解释性。我们在DROW验证集上测试了不同数量级联ODA块对模型精度的影响，结果如表III所示。与测试集相比，检测分数存在明显差异的主要原因是验证集中远距离行人样本占比更高，二维距离数据的稀疏性让模型推理更具挑战性。结果表明，增加ODA层的深度后，Li2Former模型的

TABLE III

VALIDATION SET SCORES OF DROW FOR Li2Former DETECTOR WITH DIFFERENT CASCADING LEVELS OF ODA

Number of Layers	$AP_{0.3}$	$AP_{0.5}$	Peak-F1	EER	GFLOPs
1	0.485	0.524	0.564	0.562	7.71
2	0.499	0.544	0.588	0.588	9.13
3	0.504	0.553	0.592	0.587	10.55
4	0.496	0.550	0.596	0.588	11.97
5	0.486	0.534	0.566	0.560	13.39
6	0.463	0.504	0.551	0.547	14.81

容量得到提升，从而带来更好的整体性能。但考虑到Transformer对数据需求量大的特性，过多的ODA级联会导致模型过拟合。为了在性能和计算复杂度之间取得平衡，我们在Li2Former中采用了三层ODA模块的配置。 2）双流训练：为了验证双流训练框架中主聚合流与辅助特征流之间的特征融合与对齐效果，我们依次提取每个ODA模块中T-Encoder和BS-Encoder的输出，计算语义间隙，即 $d_i = \|B'_{t,i} - B'_{bs,i}\|_2^2$。图6(a)展示了随着迭代次数推进，$d_i$的变化趋势，我们忽略了输入端的第一个ODA块，因为它仅涉及样本复制，不涉及特征融合。整体来看，ODA模块中的流间特征间隙逐渐减小。ODA块（块2）越靠近输出端，就越早 --- ![Image](images/81495593f20f734c9b1ec819fdf7abbc4d18a2d982f73571fbf9d9e61c494757.jpg)

(a)

![Image](images/b9c5094fa65d6443d8f28ad889ccf26889a041a1e088822487f8c32e11212f61.jpg)

(b)

Fig. 6. Illustration of the effectiveness of the two-stream training pipeline. (a) Variation of feature differences between the encoder outputs located at different positions of ODA as the iteration number increases. (b) Comparison of computational complexity and accuracy between models that retain the main aggregation stream, auxiliary feature stream, and both.

TABLE IV

ABLATION STUDIES FOR TEMPORAL POOLING BLOCK WITH DIFFERENT POOLING METHODS ON DROW TEST SET

Method	$AP_{{0.3}}$	$AP_{{0.5}}$	Peak-F1	EER
Naive summation	0.680	0.732	0.691	0.689
Average pooling	0.703	0.751	0.695	0.688
$1 \times 1$ convolution	0.669	0.727	0.686	0.682
Maximum pooling	0.657	0.710	0.665	0.663
Time pooling	0.725	0.764	0.720	0.718

$d_i$开始衰减，因为越靠近输出端梯度传播越有效。$d_i$最终收敛到常数而非降至零，这是因为$\mathcal{B}_{t,i}^{\prime}$包含了$\mathcal{B}_{bs,i}^{\prime}$不具备的时序编码信息。图6(b)对比了推理阶段是否引入辅助特征流时模型的计算成本与精度。直观来看，保留两个数据流不会提升模型精度，反而会显著增加模型复杂度和参数量。 3）时间池化：行人预测仅考虑当前激光帧，因此需要设计时序融合方法来压缩过去 $T-1$ 帧的点云。表IV研究了不同时序聚合策略对模型性能的影响。朴素求和、平均池化与 $1 \times 1$ 卷积方法等价于对T个时间步的距离数据进行加权平均，性能明显优于最大池化方法。此外，在时间池化策略中结合最大池化与平均池化可取得最优结果。这是因为最大池化会过滤掉未检测到行人的时间帧，让平均池化能够更多聚焦于关键的行人时序信息，从而提升模型的泛化能力。 4）AFM引导：AFM由聚焦系数 $\alpha$ 和折扣系数 $\delta$ 参数化。尽管这两个参数的含义直观清晰，更高的 $\alpha/\delta$ 表示模型对难样本和简单样本的区分度更大，但选择合适的超参数组合仍然十分必要。表V展示了在DROW验证集上，不同 $\alpha$ 和 $\delta$ 组合训练的Li2Former的性能。结果表明，增大 $\alpha/\delta$ 通常有

TABLE V

VALIDATION SET SCORES OF DROW FOR Li2Former DETECTOR WITH DIFFERENT AFM PARAMETERS

$\alpha$	$\delta$	$AP_{0.3}$	$AP_{0.5}$	Peak-F1	EER
1.5	0.50	0.499	0.541	0.585	0.580
1.5	0.33	0.504	0.553	0.592	0.587
1.5	0.25	0.494	0.541	0.589	0.585
1.0	0.50	0.495	0.537	0.589	0.587
1.0	0.33	0.495	0.538	0.583	0.582
1.0	0.25	0.492	0.533	0.582	0.581

![Image](images/8ad19ccf83acf62593f20b7013f331a7052c68fd0ba4aa03fbf51b37ae911a60.jpg)

(a)

![Image](images/0812c64b9391c41a3105e4a42af912871b3b21529c980706913b44b3cfc8b2e3.jpg)

(b)

Fig. 7. Convergence and accuracy visualization of Li2Former with and without AFM on the DROW dataset. (a) Training and testing loss curves. (b) Average precision with association distance 0.3 and 0.5 m.

![Image](images/dab17f1b81fb433e9c7897b18596614bee7edc41e0672dc0bf3550727e2fd6d6.jpg)

Fig. 8. Autonomous mobile robot for real-world experiments.

益于提升模型精度。然而，进一步增大会对性能产生不利影响，因为损失函数会过度聚焦于难样本，忽略对普通样本的优化。另一方面，更高的 $\alpha$ 有助于引导网络学习难样本的特征模式。最终，我们选择 $\alpha = 1.5$ 以及 $\delta = 0.33$ 作为超参数。图7展示了使用与不使用AFM时Li2Former的训练和推理迭代过程，能够全面评估AFM的有效性。使用AFF可以让模型损失更快下降，收敛到更低水平，同时保持相对更高的精度。 ### E. 真实场景除了上述仿真实验之外，我们还将训练好的检测器部署到一台差分轮机器人上，以开展全面的 --- ![Image](images/ab288f32a4c1772eed2054c4fb14dbe851fdf8d4b65dc3c68b1336945a72a029.jpg)

(b)

Fig. 9. Real-world experiments validate the proposed method for pedestrians detection. Here, green points represent the raw laser scans, red/purple circles indicate detected human positions, and blue circle denotes the location of the robot. In contrast to the baseline model DROW, which tends to produce frequent false detections at humanoid laser positions, our approach is able to provide reliable results in most cases. (a) Detection results of DROW. (b) Detection results of our Li2Former.

在更真实的环境中开展验证。自主移动机器人如图8所示，它配备了一台名为PEPPERL FUCHS R2000的二维激光雷达，扫描范围为$360^{\circ}$，测量半径超过15米。这类二维激光雷达能够提供精准的测距数据、较高的扫描点密度，且价格相对低廉，因此被 ---

TABLE VI

QUANTITATIVE COMPARISON OF THE Li2Former AND BASELINE ALGORITHMS IN THE ACTUAL EXPERIMENTAL SYSTEM

Method	Memory(GB)	GFLOPs	FPS
DROW $T = 1$ [^11]	1.45	14.81	50.7
DROW $T = 5$ [^11]	1.76	35.27	35.8
DR-SPAAM [^12]	1.95	15.05	49.3
Li2Former-A $T = 5$	4.18	20.53	28.6

广泛应用于室内服务机器人场景中。双轮编码器可提供里程计反馈，急停装置保障了人机交互的安全性。搭载Intel i7-8700U处理器、16GB内存的Intel NUC IPC负责执行包括定位和运动控制在内的底层指令。为了利用GPU加速推理以满足实际应用需求，我们使用搭载GeForce RTX 2060 GPU的笔记本电脑来完成传感器数据处理和人体检测工作。表VI给出了不同方法的内存占用与检测延迟。由于Li2Former架构中的MSA和FFN带来了较大的参数量，该方法在实际设备上的帧率低于基线方法，但仍基本满足实际需求。采用所提方法与传统方法基于二维测距数据的真实场景人体检测快照如图9所示。实验过程中，所有行人均以正常步行速度前往任意目的地。结果表明，Li2Former检测器可有效识别单个行人，在存在背景噪声的情况下避免误检，相比DROW实现了更低的误检率。但受训练样本仅包含正常步行行人的限制，可观察到当行人高速运动（如奔跑）时，该模型可能会检测失效。此外，特殊扫描角度造成的人体特征丢失会使得行人和环境特征相似度较高，导致检测器难以完成前景与背景的分离。硬件演示视频可查看：。 ### 五、结论本文提出了一种全新的基于Transformer的全维度聚合模块，以及双流训练框架，可促进时序、空间和批量特征的对齐与交互，解决了二维测距人体检测中一维特征编码存在局限、全局感知不足的问题。此外，本文在损失函数中引入自适应聚焦机制，引导模型训练更多关注难样本的优化，提升了模型的泛化能力与收敛速度。消融实验验证了所提ODA和AFM的有效性，本文方法在两个基准数据集上取得了与SOTA方法相当的结果。此外，我们通过在实际环境的实体机器人上部署基于ROS的功能包，完成了模型的真实场景验证。然而，尽管本文方法相比基线方法取得了更优异的性能，我们仍需承认所提模型存在潜在局限。首先，相比基于CNN的模型，基于Transformer的架构会带来模型参数量的增加和推理帧率的下降，这可能会给资源受限场景带来挑战。此外，Li2Former难以跟踪高速运动的行人，因为人体运动状态的快速变化使得模型难以捕获紧密的时序相关性。尽管存在这些不足，Li2Former在二维点云行人检测任务中的性能提升仍带来了有价值的研究进展，这些缺陷将在未来工作中进一步完善。 ## 参考文献 [^1]: N. Robinson, B. Tidd, D. Campbell, D. Kulić, and P. Corke, “Robotic vision for human–robot interaction and collaboration: A survey and systematic review,” ACM Trans. Hum.-Robot Interact., vol. 12, no. 1, pp. 1–66, Mar. 2023. [^2]: A. Bonci, P. D. C. Cheng, M. Indri, G. Nabissi, and F. Sibona, “Human-robot perception in industrial environments: A survey,” Sensors, vol. 21, no. 5, p. 1571, Feb. 2021. [^3]: G. Chen et al., “Pseudo-image and sparse points: Vehicle detection with 2D LiDAR revisited by deep learning-based methods,” IEEE Trans. Intell. Transp. Syst., vol. 22, no. 12, pp. 7699–7711, Dec. 2021. [^4]: F. Bu, T. Le, X. Du, R. Vasudevan, and M. Johnson-Roberson, “Pedestrian planar LiDAR pose (PPLP) network for oriented pedestrian detection based on planar LiDAR and monocular images,” IEEE Robot. Autom. Lett., vol. 5, no. 2, pp. 1626–1633, Apr. 2020. [^5]: K. O. Arras, O. M. Mozos, and W. Burgard, “Using boosted features for the detection of people in 2D range data,” in Proc. IEEE Int. Conf. Robot. Autom., Apr. 2007, pp. 3402–3407. [^6]: A. Leigh, J. Pineau, N. Olmedo, and H. Zhang, “Person tracking and following with 2D laser scanners,” in Proc. IEEE Int. Conf. Robot. Autom. (ICRA), May 2015, pp. 726–733. [^7]: T. Taipalus and J. Ahtiainen, “Human detection and tracking with knee-high mobile 2D LiDAR,” in Proc. IEEE Int. Conf. Robot. Biomimetics, Dec. 2011, pp. 1672–1677. [^8]: C. Weinrich, T. Wengefeld, C. Schroeter, and H.-M. Gross, “People detection and distinction of their walking aids in 2D laser range data based on generic distance-invariant features,” in Proc. 23rd IEEE Int. Symp. Robot Human Interact. Commun., Aug. 2014, pp. 767–773. [^9]: X. Chen, J. Liu, J. Wu, C. Wang, and R. Song, "LoPF: An online LiDAR-only person-following framework," IEEE Trans. Instrum. Meas., vol. 71, pp. 1–13, 2022. [^10]: L. Beyer, A. Hermans, and B. Leibe, "DROW: Real-time deep learning-based wheelchair detection in 2-D range data," IEEE Robot. Autom. Lett., vol. 2, no. 2, pp. 585–592, Apr. 2017. [^11]: L. Beyer, A. Hermans, T. Linder, K. O. Arras, and B. Leibe, "Deep person detection in two-dimensional range data," IEEE Robot. Autom. Lett., vol. 3, no. 3, pp. 2726–2733, Jul. 2018. [^12]: D. Jia, A. Hermans, and B. Leibe, "DR-SPAAM: A spatial-attention and auto-regressive model for person detection in 2D range data," in Proc. IEEE/RSJ Int. Conf. Intell. Robots Syst. (IROS), Oct. 2020, pp. 10270–10277. [^13]: M. Bouazizi, C. Ye, and T. Ohtsuki, “2-D LiDAR-based approach for activity identification and fall detection,” IEEE Internet Things J., vol. 9, no. 13, pp. 10872–10890, Jul. 2022. [^14]: D. Jia, M. Steinweg, A. Hermans, and B. Leibe, “Self-supervised person detection in 2D range data using a calibrated camera,” in Proc. IEEE Int. Conf. Robot. Autom. (ICRA), May 2021, pp. 13301–13307. [^15]: Z. Hou, B. Yu, and D. Tao, “BatchFormer: Learning to explore sample relationships for robust representation learning,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2022, pp. 7256–7266. ## [^16]: Z. Peng et al., “Conformer: Local features coupling global representations for visual recognition,” in Proc. IEEE/CVF Int. Conf. Comput. Vis. (ICCV), Oct. 2021, pp. 367–376. --- [^17]: J. Kossen, N. Band, C. Lyle, A. N. Gomez, T. Rainforth, and Y. Gal, “Self-attention between datapoints: Going beyond individual input-output pairs in deep learning,” in Proc. Adv. Neural Inf. Process. Syst., vol. 34, 2021, pp. 28742–28756. [^18]: J. Ku, M. Mozifian, J. Lee, A. Harakeh, and S. L. Waslander, “Joint 3D proposal generation and object detection from view aggregation,” in Proc. IEEE/RSJ Int. Conf. Intell. Robots Syst. (IROS), Oct. 2018, pp. 1–8. [^19]: C. R. Qi, W. Liu, C. Wu, H. Su, and L. J. Guibas, “Frustum pointnets for 3D object detection from RGB-D data,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., Jun. 2018, pp. 918–927. [^20]: A. H. Lang, S. Vora, H. Caesar, L. Zhou, J. Yang, and O. Beijbom, "PointPillars: Fast encoders for object detection from point clouds," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2019, pp. 12697–12705. [^21]: X. Zhang et al., "RI-fusion: 3D object detection using enhanced point features with range-image fusion for autonomous driving," IEEE Trans. Instrum. Meas., vol. 72, pp. 1–13, 2023. [^22]: W. Wang, X. Chang, J. Yang, and G. Xu, "LiDAR-based dense pedestrian detection and tracking," Appl. Sci., vol. 12, no. 4, p. 1799, Feb. 2022. [^23]: G. Zhou, D. Wang, Y. Yan, C. Liu, and Q. Chen, “6-D object pose estimation using multiscale point cloud transformer,” IEEE Trans. Instrum. Meas., vol. 72, pp. 1–11, 2023. [^24]: X. Pan, Z. Xia, S. Song, L. E. Li, and G. Huang, "3D object detection with pointformer," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2021, pp. 7463–7472. [^25]: J. Mao et al., “Voxel transformer for 3D object detection,” in Proc. IEEE/CVF Int. Conf. Comput. Vis. (ICCV), Oct. 2021, pp. 3164–3173. [^26]: P. Sun et al., “SWFormer: Sparse window transformer for 3D object detection in point clouds,” in Proc. Eur. Conf. Comput. Vis. (ECCV), Oct. 2022, pp. 426–442. [^27]: G. K. Erabati and H. Araujo, “Li3DeTr: A LiDAR based 3D detection transformer,” in Proc. IEEE/CVF Winter Conf. Appl. Comput. Vis. (WACV), Jan. 2023, pp. 4239–4248. [^28]: Y. Li et al., “DeepFusion: LiDAR-camera deep fusion for multi-modal 3D object detection,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognition., Jul. 2022, pp. 17182–17191. [^29]: X. Bai et al., “TransFusion: Robust LiDAR-camera fusion for 3D object detection with transformers,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., Jun. 2022, pp. 1090–1099. [^30]: S. Kiranyaz, O. Avci, O. Abdeljaber, T. Ince, M. Gabbouj, and D. J. Inman, "1D convolutional neural networks and applications: A survey," Mech. Syst. Signal Process., vol. 151, Apr. 2021, Art. no. 107398. [^31]: Y. Huang, H. Bi, Z. Li, T. Mao, and Z. Wang, “STGAT: Modeling spatial-temporal interactions for human trajectory prediction,” in Proc. IEEE/CVF Int. Conf. Comput. Vis., Oct. 2019, pp. 6272–6281. [^32]: H. Xie, W. Song, and W. Kang, “MSBA-Net: Multiscale behavior analysis network for random hand gesture authentication,” IEEE Trans. Instrum. Meas., vol. 72, pp. 1–13, 2023. [^33]: Y.-Y. He, J. Wu, and X.-S. Wei, "Distilling virtual examples for long-tailed recognition," in Proc. IEEE/CVF Int. Conf. Comput. Vis. (ICCV), Oct. 2021, pp. 235–244. [^34]: Z. Tong, Y. Chen, Z. Xu, and R. Yu, “Wise-IoU: Bounding box regression loss with dynamic focusing mechanism,” 2023, arXiv:2301.10051. [^35]: R. Martín-Martín et al., “JRDB: A dataset and benchmark of egocentric robot visual perception of humans in built environments,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 45, no. 6, pp. 6748–6765, Jun. 2023. [^36]: C. Pantofaru. (2010). Ros Leg Detector Package. Accessed: Feb. 22, 2018. [Online]. Available: [^37]: R. R. Selvaraju, M. Cogswell, A. Das, R. Vedantam, D. Parikh, and D. Batra, "Grad-CAM: Visual explanations from deep networks via gradient-based localization," in Proc. IEEE Int. Conf. Comput. Vis. (ICCV), Oct. 2017, pp. 618–626. ![Image](images/f9f63278cba2d5bc4f19d5547a1d1e6378633d3460c4c5e158faa9df6582c077.jpg) 杨浩东于2022年在中国上海同济大学获得控制科学与工程学士学位，目前正在该校攻读控制科学与工程硕士学位。他的研究兴趣包括激光雷达（LiDAR）同步定位、移动机器人导航以及深度强化学习。 ![Image](images/e374efcf79107b265027706e89279c112b285e7bbce073a4c506df5f0f10b2af.jpg) 杨亚东于2022年在中国上海同济大学获得学士学位，目前正在该校电子与信息工程学院攻读硕士学位。他的主要研究兴趣包括计算机视觉和图像处理。 ![Image](images/b5fb37e4b903eee30ada722dd224a24f76557a0d97228f6238ae644d8f20b5a8.jpg) 姚辰鹏于2022年在中国上海同济大学获得控制理论与控制工程博士学位。他目前是同济大学汽车学院机械工程博士后流动站的博士后研究员，同时在同济大学人工智能（苏州）研究院联合培养。他的研究兴趣包括双足机器人运动、移动机器人导航以及强化学习。 ![Image](images/6d2dc902f6a77af6a493ef7527716a3b5d479939f063126b6fad4ec4f52b8194.jpg) 刘成菊于2011年在中国上海同济大学获得控制理论与控制工程博士学位。 2011年10月至2012年7月，她以副研究员身份在美国密歇根州东兰辛市密歇根州立大学BEACON中心工作。2011年3月至2013年6月，她在同济大学电气与信息工程学院从事博士后研究，现任同济大学教授。她的研究兴趣包括智能控制、足式机器人运动控制以及进化计算。 ![Image](images/c41e7e592c8243d86762b4dfae6cec2db45f222953d03510fbd21c7cebbc7ff6.jpg) 陈启军（IEEE高级会员）于1987年在中国武汉华中科技大学获得自动控制学士学位，1990年在中国西安西安交通大学获得控制工程硕士学位，1999年在中国上海同济大学获得控制理论与控制工程博士学位。他于2008年在美国加利福尼亚州伯克利市加州大学伯克利分校担任访问教授，现任同济大学电子与信息工程学院教授。他目前的研究兴趣包括基于网络的控制系统和机器人学。