# 基于高效注意力柱网络的精准实时三维行人检测
Duy Tho Le $^{®}$，IEEE研究生会员，Hengcan Shi $^{®}$，Hamid Rezatofighi $^{®}$，Jianfei Cai $^{®}$，IEEE会士
摘要—在众多机器人与自动驾驶应用中，高效精准地从三维点云数据中检测行人至关重要。这一基础感知任务目前仍极具挑战性，原因在于：(i) 人体姿态与动作会随时间发生大幅形变；(ii) 行人目标对应的点云稀疏且数量稀少。近期的高效三维目标检测方法大多依赖柱特征。然而，这类柱特征无法携带足够的表达能力来应对行人检测中的上述所有挑战。为解决这一缺陷，我们首先提出可堆叠的柱感知注意力（Pillar Aware Attention, PAA）模块，在增强柱特征提取能力的同时抑制点云噪声。通过将多点通道池化、点级、通道级以及任务感知注意力整合到一个简单模块中，仅需极少额外计算资源即可提升柱特征的表达能力。我们还提出了Mini-BiFPN，这是一种小型却高效的特征网络，可构建双向信息流与多级跨尺度特征融合，更好地整合多分辨率特征。我们提出的框架名为PiFeNet，已在三个常用的大规模三维行人检测数据集（即KITTI、JRDB和nuScenes）上完成评估。该框架在KITTI鸟瞰图（BEV）以及JRDB数据集上达到了当前最优性能，在nuScenes数据集上取得了有竞争力的结果。我们的方法是实时检测器，帧率可达26帧每秒（FPS）。
关键词—面向视觉感知的深度学习、识别、三维目标检测、激光雷达、实时。
## 一、引言
三维世界中快速可靠的行人检测是感知系统的基础环节，可应用于众多机器人与自动驾驶场景，例如人机交互、服务机器人以及拥挤人员环境中的自主导航。近期基于柱结构的三维目标检测器（例如 [^27]、[^30]、[^55]）将柱特征（点云的一种下采样表示）整合到检测框架中完成目标检测。这些方法在车辆这类刚性大目标检测中已经取得了可观的成果，但受两大挑战影响，它们在行人检测中的效果十分有限。
挑战1：柱特征对行人的表达能力较弱。行人并非刚体，因此他们会呈现出
Fig. 1. The performance of our PiFeNet on KITTI [^11] official test split on both pedestrian Birds-eye-view and 3D detection versus inference speed in FPS. Our approach achieved SOTA performance in detecting pedestrians. The comparison details are presented in Table I.
多种姿态（奔跑、鞠躬、坐姿、躺卧等），如图2 A所示。包括Pointpillars [^21]在内的现有方法，由于量化过程中存在三维空间信息损失，难以区分行人和电线杆与树木（图7）。这类方法需要更具代表性的柱特征，才能将行人与其他外观相似的目标正确区分开。为解决这一局限，TANet [^27]引入了三重注意力模块来增强柱特征提取。但该方法仅使用最大池化来捕获上下文特征，会压制柱内点包含的大量信息，而这些信息对提升行人检测与定位的精度十分重要。
为了在适配不同行人表征的同时保留重要信息，检测器需要在柱体特征中采用全面的注意力机制。为此，我们提出了柱体感知注意力（Pillar Aware Attention，PAA）模块，该模块利用改进的注意力机制对柱体执行注意力计算。
---
Fig. 2. Point cloud density of pedestrian instances with challenging postures (A), and at increasing distances to the LiDAR sensor (B) captured in the JRDB [^29] dataset (point clouds are zoomed and coloured for better visibility). Blue bounding boxes are instances of interest.
机制。PAA模块包含多点通道池化、点方向、通道方向以及任务感知注意力技术，用于增强柱体表征。多点通道池化采用多种池化策略，从单个柱体内的所有点中提取上下文信息。点方向注意力和通道方向注意力通过抑制冗余信息，在特征提取过程中保留有效信息。任务感知注意力会根据通道对下游任务的贡献开启或关闭对应通道，筛选出最具代表性的通道。本文将证明PAA模块是提升行人检测性能的关键。
挑战二：由于行人在三维点云中占据体积小、点云稀疏，量化后包围行人的柱体数量更少。与车辆相比，人体尺寸相对更小，因此量化后占据的柱体数量更少。如图2 B所示，受自身尺寸和传感器激光束稀疏性的影响，远距离行人尺寸极小，难以检测。这一问题在拥挤和/或杂乱场景中更具挑战性，因为这类场景中行人往往以密集群体站立或移动（参见图6）。因此，行人检测仅提取基础柱体特征是不够的，例如还需要丰富低分辨率和高分辨率点云中的特征表征。
因此，本文引入Mini-BiFPN，这是一个受[^39]启发的轻量特征网络，可对多分辨率特征进行双向连接与融合。Mini-BiFPN融合门中的可学习权重可以根据不同分辨率特征的贡献自适应调整。此外，该模块由三个仅含少量层级的卷积块构成，兼具轻量性与高效性。
结合上述模块，本文提出PiFeNet，这是一种新型端到端可训练的三维目标检测器，能够实时提取重要特征，兼具单阶段方法推理延迟低的优势，以及注意力机制改进特征提取的优势。本文的贡献如下：
1) 本文提出可堆叠的柱体感知注意力模块，为柱体建模多种注意力机制，以实现更优的特征学习。
2) 本文提出Mini-BiFPN，这是一种轻量网络，可高效完成加权多尺度特征融合，并提供双向信息流。
3) 本文在三个大规模三维检测基准数据集上对所提框架的性能和泛化性进行了全面评估，包括KITTI [^11]、JRDB [^29]和Nuscenes [^4]。与已发表的同类方法相比，PiFeNet在KITTI（BEV）和JRDB数据集上取得了SOTA性能，在nuScenes数据集上也取得了有竞争力的性能。
### 二、相关工作
基于激光雷达点云的三维目标检测：总体而言，面向激光雷达点云的三维检测器可分为两类：单阶段检测器和两阶段检测器。两阶段检测器[^6]、[^24]、[^33]、[^34]、[^45]、[^51]首先通过区域候选网络（RPN）生成一系列锚框，再基于这些锚框预测候选框。许多两阶段研究[^6]、[^33]、[^34]对RPN的输出进行增强，而另一些研究[^24]、[^45]、[^51]则通过融合RGB图像与三维点云的多模态特征来优化点云表示。近年来，基于Transformer的两阶段方法EQ-PVRCNN [^47]和CasA [^44]利用查询-键（Query-Key）机制优化中间表示/候选框，将其作为后一阶段的输入。
尽管两阶段方法比单阶段检测器的预测精度更高，但由于计算开销大，其运行速度明显慢于单阶段检测器。单阶段方法在检测速度和精度之间做了权衡。近年来单阶段检测器[^12]、[^48]、[^53]的研究进展表明，其性能与两阶段方法相比极具竞争力。这类方法在经过处理的点云表示（如柱体[^21]和体素[^46]、[^54]）上应用全卷积网络，直接回归得到候选框。SA-SSD [^12]进一步将卷积特征图转换为点级表示，以捕捉更多结构感知特征。3D-SSD [^48]通过移除上采样层和优化阶段提出了一种实时网络。CIA-SSD [^1]使用一个融合门连接多尺度特征，而本文提出的Mini-BiFBN模块使用四个融合门。近期，SE-SSD [^53]提出了一种形状感知增强方法来训练一对师生SSD模型，引导模型推理完整的目标形态。
这些三维检测器在检测通用目标类别上取得了出色的性能。但受前文所述难点的影响，它们在行人检测任务上表现不佳。TANet [^27]提出了三重注意力模块，可通过注意力机制更好地提取行人的判别特征。然而该方法仅将柱体通道的最大值作为编码表示，这些最大值无法反映柱体内所有点的丰富信息，而这些信息对精准的目标检测与定位至关重要。本文针对这一不足提出了配备多注意力机制与改进池化策略的PAA模块。
目标检测中的注意力机制：研究表明，注意力机制对多种计算机视觉应用都有增益，包括图像分类[^2]、[^12]、[^14]、分割[^10]和目标检测[^38]。尤其是在小目标检测中，该技术可在不会产生大量计算开销的前提下，引导模型关注极小的细节。在卷积层生成特征图后，会计算注意力掩码来捕捉空间（Non-local Net [^41]）和
---
Fig. 3. The PiFeNet's architecture. Input point clouds are first converted to pillars, and then passed through stacked PAA modules for feature extraction. The most expressive features are chosen and converted into a pseudo image, which serves as the input of Mini-BiFPN for generating 3D bounding boxes.
十字交叉网络[^17])与通道相关信息（SE [^14]和AiA [^8]）。此外，CBAM [^43]、CA [^13]等方法将二者结合，提升了信息融合效果。在三维视觉任务中，Point-attention [^9]提出了一种自注意力结构和跳跃连接，用于捕获点的长程依赖关系，实现点云分割。Point-Transformer [^52]利用中心点与邻域点之间的局部几何关系，学习邻域点的注意力权重。
继基于柱体的方法[^21]、[^27]取得成功后，PiFeNet是一种新型端到端可训练三维目标检测器，得益于单阶段方法更低的推理延迟，以及注意力机制改进的特征提取机制，它能够实时提取小目标的重要特征。
### III. 我们的方法
本节介绍用于三维目标检测的基于柱体的PiFeNet，随后介绍多点感知池化的公式、PAA模块中的通道注意力、点注意力和任务感知注意力机制，以及Mini-BiFPN的结构。
### A. 柱体特征网络（Pillar-Feature Network, PiFeNet）
如图3所示，PiFeNet首先将点云作为输入，通过与[^21]类似的柱体生成器模块将其量化为柱体。接下来，我们堆叠多个PAA模块提取柱体特征，减少信息损失。之后，经过注意力加权的柱体特征被映射到伪图像上，再输入我们的Mini-BiFPN融合不同分辨率的特征。最后，我们使用包含分类分支和框回归分支的简单检测头输出检测结果。
### B. 三维目标检测
三维目标检测的任务是为每个目标预测一个三维边界框$(c_x, c_y, c_z, w, l, h, \theta)$。$c_x, c_y, c_z$分别表示边界框中心的x、y、z坐标，w、l、h为边界框的尺寸，$\theta$为航向角。模型的输入是一组点（点云），定义为$T = \{p_i = [x_i, y_i, z_i, r_i]^\top \in \mathbb{R}\}_{i=1,2,3,\ldots,M, x_i, y_i, z_i}$分别为点的x、y、z坐标，$r_i$为点的反射强度，M是点的总数。假设点云T的尺寸定义为长度$L^*$、宽度$(x, \theta)$、高度$(y, \theta)$、$H^*$，尺寸大小为$(z, \theta)$。随后沿x轴和y轴将T等分为多个柱体[^21]，即沿$(z$轴堆叠的体素）。由于点云具有稀疏性和分布不均匀性，
Fig. 4. Detailed architecture of the Pillar Aware Attention module.
每个柱体包含的点数量各不相同。设N为单个柱体允许的最大点数，C为每个点的通道数，P为柱体网格G中的柱体总数，满足$G = \{p_1, p_2, \ldots, p_j\}_{j \leq P}$。每个柱体的尺寸为$[p_W^*, p_L^*, p_H^*]$，其中$p_H^* = H^*$，这是因为我们不对z轴方向的点云进行划分。设输出类别数为$N_c$，$N_a$为每个柱体对应的锚框数量。我们的PiFeNet直接将原始点云作为输入，输出$P \times N_a \times N_c$个预测框及其分类结果。
### C. 柱体感知注意力（Pillar Aware Attention, PAA）模块
如图4所示，我们的PAA模块首先进行多点通道池化，随后分为点注意力和通道注意力两个分支。两个分支的输出经过逐元素乘法融合后，再输入任务感知注意力子模块。
多点通道池化：为了捕获柱体中所有点和通道的上下文信息，本文提出一种多点通道池化方法，该方法对点云中的点维度和通道维度同时应用最大池化和平均池化。假设有一个柱体网格$G \in \mathbb{R}^{P \times N \times C}$，其中N为单根柱体包含的最大点数，C为单根柱体的通道数，P为网格中柱体的最大数量$\{p_1, p_2, \ldots, p_j\}_{j \leq P}$。我们对柱体网格G执行通道维度的平均池化和最大池化，以聚合通道信息。输出得到两个不同的通道上下文表示$F_c^{mean}$和$F_c^{max}$，其中$F_c^{max}$，$F_c^{mean} \in \mathbb{R}^{P \times 1 \times C}$。相同策略也应用于点维度，以聚合点信息$F_p^{mean}$和$F_p^{max}$，其中$F_p^{max}$，$F_p^{mean} \in \mathbb{R}^{P \times N \times 1}$。
---
通道与点维度注意力：为了封装全局信息，$F_c^{mean}$和$F_c^{max}$会被送入一个共享的多层感知机（MLP），该感知机包含两个全连接层、一个激活函数$\delta$和压缩率r（点维度分支的$F_p^{mean}$和$F_p^{max}$也采用相同处理）。将多层感知机的输出按元素相加，得到最终的注意力得分向量$A_c \in \mathbb{R}^{P \times 1 \times C}$和$A_p \in \mathbb{R}^{P \times N \times 1}$：
$$ A_{c/p}=\sigma\left(w_{1}\left(w_{0}\delta\left(F_{c/p}^{mean}\right)\right)+w_{1}\left(w_{0}\delta\left(F_{c/p}^{max}\right)\right)\right) $$
其中$\sigma$为Sigmoid函数。对于点维度注意力，两个全连接层的权重为$w_0 \in \mathbb{R}^{N/r \times N}$和$w_1 \in \mathbb{R}^{N \times N/r}$；对于通道维度注意力，权重则为$w_0 \in \mathbb{R}^{C/r \times C}$和$w_1 \in \mathbb{R}^{C \times C/r}$。之后通过元素乘法融合通道维度注意力$A_c$和点维度注意力$A_p$，得到完整的注意力矩阵$M_j = A_p \times A_c$，其中$M_j \in \mathbb{R}^{N \times P \times C}$。将$M_j$与原始柱体$P_j$相乘，即可得到同时在通道维度和点维度经过注意力加权的特征。
经过点维度和通道维度注意力子模块处理后，柱体特征的表达能力更强，对点云中所有点及其通道特征（x、y、z坐标，中心点坐标）也更具敏感性。
任务感知注意力：任务感知注意力子模块串联在网络末尾，用于动态控制每个通道的激活程度。输出的柱体特征会根据不同下游任务（即目标检测和分类）的需求，被重新组织为不同的激活结果。与[^7]类似，给定柱体$F_c \in R^{1 \times N}$的特征图$p_j$以及通道$C_k$，激活值计算方式如下：
$$ A_{T}^{k}(F_{c})=\max\left(\alpha_{k}^{1}\cdot F_{c}+\beta_{k}^{1},\alpha_{k}^{2}\cdot F_{c}+\beta_{k}^{2}\right) $$
其中$A_T^k(F_c)$为通道$C_k$经过任务感知加权后的柱体特征图。$[\alpha_k^1, \beta_k^1, \alpha_k^2, \beta_k^2] = \theta(\cdot)$是用于控制通道激活阈值的超函数，它由一个全局池化层、两个全连接层和一个平移sigmoid层$f(x) = 2\sigma(x) - 1$构成，用于将输出归一化到$[-1,1]$后再与原始特征相乘。注意，$\theta(\cdot)$初始化为$[1,0,0,0]$，这说明式(2)最初是一个ReLU函数$\max\{F_c,0\}$。最后，经过任务感知加权的特征会被拼接或加回到输入特征中。
可堆叠PAA模块：我们的方法将两个PAA模块堆叠，以更好地利用多级特征注意力。第一个模块将9个任务感知加权特征与原始特征融合，得到的18个通道作为第二个PAA模块的输入。PAA模块的输出结果逐元素加到全连接层的输入中，全连接层将特征维度提升至64，以获得更强的特征表达能力。最终，通过逐点最大池化提取最显著的特征，作为Mini-BiFPN模块的输入，如图3所示。
### D. Mini-Bifpn
由于行人在点云中的占比很小，特征网络需要更全面的连接，才能让不同分辨率的特征相互补充、彼此弥补。因此，我们提出了Mini-BiFPN检测头，它是BiFPN的快速变体[^39]，能够以极小的效率损耗大幅提升3D目标检测的性能。Mini-BiFPN首先将伪图像输入卷积块$B_1$、$B_2$、$B_3$，生成特征列表$\bar{F}_{in} = (F_in^1, F_in^2, F_in^3)$，各特征对应输入伪图像的分辨率为$1/2^{i-1}$，满足$i \in (1, 2, 3)$。接下来，通过重复应用自顶向下和自底向上的双向特征融合来聚合多尺度特征，如图3所示。网络引入可训练权重，以此对融合权重进行调整。我们的Mini-BiFPN可以形式化表示如下：
$$ F_{u p}^{2}=\mathrm{c o n v}\left(\delta\left(\frac{\left(w_{1}^{\prime}\cdot F_{i n}^{2}+w_{2}^{\prime}\cdot u p s a m p l e\left(F_{i n}^{3}\right)\right.}{w_{1}^{\prime}+w_{2}^{\prime}+\varepsilon}\right)\right) $$
$$ F_{o u t}^{2}=\mathrm{c o n v}\left(\delta\Biggl(\frac{\left(w_{1}^{\prime \prime}\cdot F_{i n}^{2}+w_{2}^{\prime \prime}\cdot F_{u p}^{2}+w_{3}^{\prime \prime}.d o w n s a m p l e\left(F_{o u t}^{1}\right)\right)}{w_{1}^{\prime \prime}+w_{2}^{\prime \prime}+w_{3}^{\prime \prime}+\varepsilon}\Biggr)\right) $$
其中$\delta$是引自[^39]的Swish激活函数，$F_{up}^{2}$是$F_{in}^{2}$和$F_{in}^{3}$的融合结果。随后$F_{out}^{2}$由$F_{up}^{2}$、$F_{out}^{1}$和$F_{in}^{2}$计算得到。$w_{1,..,i}^{\prime}$和$w_{1,..,i}^{\prime\prime}$是可训练参数，其中i为nu [^32]。$F_{out}^{1}$和$F_{out}^{3}$的计算方式与$F_{out}^{2}$类似。最终的特征表示由$F_{out}^{1}$、$F_{out}^{2}$和$F_{out}^{3}$拼接得到，随后被输入包含分类分支和边界框回归分支的简单SSD [^26]检测头，得到最终预测结果。
损失函数：与SECOND [^46]类似，本文分别使用Focal损失[^25]和L1损失完成边界框的分类和回归任务。
### IV. 实验
我们提出的PiFeNet在KITTI [^11]、JRDB [^29]和Nuscenes [^4]基准数据集上进行评估。对于Nuscenes数据集，我们选择CBGS-PP（Pointpillars骨干网络）作为基线，对于KITTI和JRDB数据集则选择PointPillars作为基线。我们尝试过使用JRDB上的预训练权重在KITTI上训练PiFeNet，结果发现，考虑到不同数据集之间存在域偏移、传感器配置和激光雷达分辨率的差异，预训练-微调策略并不是必要的，这一结果与[^18]中的观测一致。因此，本文所有模型均从头开始训练（随机初始化权重）。
KITTI数据集分别包含7481个训练样本和7518个测试样本，训练集进一步按照85:15的比例拆分为训练子集和验证子集。我们在“行人”类别上开展实验，采用交并比（IoU）阈值为0.5的平均精度（AP）作为评估指标。检测范围在X、Y、Z坐标下分别为[0, 47.36]米、[-19.84, 19.84]米、[-2.5, 0.5]米。柱体尺寸在宽、长、高维度分别为[0.16, 0.16, 4]米。此外，真值会与来自其他点云的采样对象混合，同时添加随机全局旋转、缩放和平移数据增强。
JRDB是一个新颖的以人为中心的数据集，包含超过180万个包围室内外场景中所有行人的3D长方体标注。该数据集共包含54个序列，27个用于训练，27个用于测试。训练过程中，我们按照[^29]中的建议，从27个训练序列中选取5个作为验证集，采用IoU为0.5时的AP指标监控训练流程。在LiDAR坐标系下，检测范围X轴和Y轴为[-39.68, 39.68]，Z轴为[-2, 2]。我们将随机行人剪切粘贴到场景中，保证每个输入点云至少包含30个行人，同时还应用随机旋转、翻转和缩放增强。非极大值抑制（NMS）后保留IoU为0.5条件下得分前300的候选框作为最终预测结果。
Nuscenes数据集：我们采用CBGS [^55]提出的增强策略（全局平移、缩放和旋转）以及多任务检测头。X轴和Y轴的检测范围为$[-51.2, 51.2]$米，Z轴为
---
TABLEI
COMPARISON WITH PREVIOUS APPROACHES FOR 3D OBJECT DETECTION TASK ON THE KITTI OFFICIAL TEST SPLIT FOR PEDESTRIAN ON BIRDS-EYE-VIEW (BEV) AND 3D DETECTION TASKS. THE AP IS CALCULATED USING 40 RECALL POSITIONS, AND 3D MAP REPRESENTS THE MEAN AVERAGE PRECISION OF THE THREE DIFFICULTIES. ** DENOTES RUN-TIME IS CITED FROM KITTI OFFICIAL WEBSITE
| Stage | Method | Venue | Performance (mAP) | Speed & Computation |
| Birds-eye-view | 3D Detection | fps | GPU |
| Easy | Mod. | Hard | Overall | Easy | Mod. | Hard | Overall |
| Two | PointPainting [^40] | CVPR'20 | 58.7 | 49.93 | 46.29 | 51.64 | 50.32 | 40.97 | 37.87 | 43.05 | $3^{{*}}$ | Unknown |
| AVOD-FPN [^19] | IROS'18 | 58.49 | 50.32 | 46.98 | 51.93 | 50.46 | 42.27 | 39.04 | 43.92 | $10^{{*}}$ | Titan X |
| STD [^49] | ICCV'19 | 60.02 | 48.72 | 44.55 | 51.10 | 53.29 | 42.47 | 38.35 | 44.70 | $13^{{*}}$ | Titan V |
| F-PointPillars [^30] | ICCV'21 | 60.98 | 52.23 | 48.3 | 53.84 | 51.22 | 42.89 | 39.28 | 44.46 | $17^{{*}}$ | 1080 |
| VMVS [^20] | IROS'19 | 60.34 | 50.34 | 46.45 | 52.38 | 53.44 | 43.27 | 39.51 | 45.41 | $4^{{*}}$ | Titan X |
| VoxelToPoint [^23] | ACMMM'21 | 56.54 | 48.15 | 45.63 | 50.11 | 51.8 | 43.28 | 40.71 | 45.26 | 10 | V100 |
| PV-RCNN [^33] | CVPR'20 | 59.86 | 50.57 | 46.74 | 52.39 | 52.17 | 43.29 | 40.29 | 45.25 | $13^{{*}}$ | 1080 |
| PartA2 [^35] | TPAMI'20 | 59.04 | 49.81 | 45.92 | 51.59 | 53.1 | 43.35 | 40.06 | 45.50 | 13 | V100 |
| F-ConvNet [^42] | IROS'19 | 57.04 | 48.96 | 44.33 | 50.11 | 52.16 | 43.38 | 38.8 | 44.78 | $2^{{*}}$ | Unknown |
| EQ-PVRCNN [^47] | CVPR'22 | 61.73 | 52.81 | 49.87 | 54.80 | 55.84 | 47.02 | 42.94 | 48.60 | 5 | 3090 |
| One | VoxelNet [^54] | CVPR'18 | 57.73 | 39.48 | 33.69 | 43.63 | 39.48 | 33.69 | 31.51 | 34.89 | $4^{{*}}$ | Unknown |
| SECOND [^46] | Sensors'18 | 55.1 | 46.27 | 44.76 | 48.71 | 51.07 | 42.56 | 37.29 | 43.64 | $20^{{*}}$ | 1080 |
| PointPillars [^21] | CVPR'19 | 57.6 | 48.64 | 45.78 | 50.67 | 51.45 | 41.92 | 38.89 | 44.09 | 63 | V100 |
| MGAFSSD [^22] | ACMMM'21 | 56.09 | 48.46 | 44.9 | 49.82 | 50.65 | 43.09 | 39.65 | 44.46 | 10 | V100 |
| Point-GNN [^36] | CVPR'20 | 55.36 | 47.07 | 44.61 | 49.01 | 51.92 | 43.77 | 40.14 | 45.28 | 2 | V100 |
| 3DSSD [^48] | CVPR'20 | 60.54 | 49.94 | 45.73 | 52.07 | 54.64 | 44.27 | 40.23 | 46.38 | $25^{{*}}$ | Titan V |
| TANet [^27] | AAAI'20 | 60.85 | 51.38 | 47.54 | 53.26 | 53.72 | 44.34 | 40.49 | 46.18 | $29^{{*}}$ | Titan V |
| HotSpotNet [^5] | ECCV'20 | 57.39 | 50.53 | 46.65 | 51.52 | 53.1 | 45.37 | 41.47 | 46.65 | 25 | V100 |
| PiFeNet (ours) | | 63.25 | 53.92 | 50.53 | 55.90 | 56.39 | 46.71 | 42.71 | 48.60 | 26 | V100 |
[-5, 3]，柱体尺寸在宽、长、高维度分别设置为[0.2, 0.2, 8]米。我们以批次大小为2训练模型20个轮次。测试阶段，保留置信度分数大于0.1的前83个预测结果，并应用IoU阈值为0.02的旋转非极大值抑制。
所有实验均使用AdamW [^28]优化器和最大学习率为0.003的单周期策略[^37]。
### A. 与现有先进方法的对比
KITTI：如表I所示，PiFeNet在鸟瞰图（BEV）检测任务上性能优于所有现有先进方法。我们的模型在BEV检测上比TANet [^27]高出2.64 mAP，在3D检测上高出2.22 mAP。在BEV行人检测任务上，它也比当前性能最强的基于柱体的BEV检测器Frustum-PointPillars [^30]高出2.06 mAP。$^{1}$ 这些显著提升来自柱体表达能力的增强，以及多尺度柱体之间更高效的信息交互。在取得SOTA性能的同时，PiFeNet的推理速度达到了26 FPS（参见表VI），使其成为KITTI上效率最高的检测器之一。
JRDB和nuScenes：我们进一步在JRDB-3D检测基准上评估我们的模型。与其他已发表方法相比，我们的模型在JRDB 2019 $^{2}$的多个AP阈值（即0.3、0.5和0.7）下排名第一。我们的模型在最新发布的JRDB 2022 $^{3}$ 3D检测排行榜上也取得了最优性能。我们还在表II中展示了我们方法在nuScenes上的性能。与我们的
TABLE II
PIFENET PERFORMANCE ON OFFICIAL NUSCENES TEST SET COMPARED TO OTHER APPROACHES. BOLD VALUES ARE THE BEST PERFORMANCE
| Method | AP (pedestrian) | mAP (all classes) | NDS |
| PointPillars+ [^21] | 0.640 | 0.401 | 0.550 |
| WYSIWYG [^15] | 0.650 | 0.350 | 0.419 |
| SARPNET [^50] | 0.694 | 0.324 | 0.484 |
| SA-Det3D [^3] | 0.733 | 0.470 | 0.592 |
| PiFeNet (ours) | 0.745 | 0.478 | 0.606 |
TABLE III
PIFENET PERFORMANCE ON OFFICIAL THE JRDB 2019 AND NEWLY LAUNCHED JRDB 2022 TEST SETS COMPARED TO OTHER APPROACHES. *REPRODUCED RESULT
| Method | AP@0.3 | AP@0.5 | AP@0.7 |
| JRDB 2019 | F-Pointnet [^31] | 38.205 | 6.378 | 0.081 |
| EPNet [^16] | 59.252 | 16.845 | 0.418 |
| TANet++ [^27] | 63.922 | 27.991 | 1.842 |
| PiFeNet (ours) | 74.284 | 42.617 | 4.886 |
| JRDB 2022 | PointPillars $^{*}$ [^21] | 69.209 | 33.677 | 2.209 |
| PiFeNet (ours) | 70.724 | 39.838 | 4.59 |
基线Pointpillars++[^21]相比，行人检测AP提升了0.11，提升效果十分显著。
在图5中，我们展示了定性分析结果，包括检测结果（图5 A和图5 C）以及一些典型的失败案例（图5 B和图5 D）。图5 C展示了
---
Fig. 5. Visualization on KITTI val set (A, B) and test set (C, D). Each visualization includes BEV (right), 3D point clouds (top), and 2D image (bottom). The ground truth boxes are green, the predicted boxes are red with yellow confident scores. B and D are typical val and test set failures.
Fig. 6. Qualitative results on JRDB 2022 official test set. Very crowded indoor (A) and outdoor (B) settings are visualised (2D panorama image at the top, 3D point cloud at the bottom). Prediction bounding boxes (with red cross showing heading direction) are shown in red. Best viewed in color.
我们模型的鲁棒性体现在，即使处于极远距离，它也能准确检测出图像中的所有行人。与Pointpillars [^21]相比，我们成功解决了提取柱特征表达能力不足的问题，该问题通常会导致模型混淆树木/电线杆的窄垂直特征与行人特征。尽管我们的模型极少将树木/电线杆误分类为行人（见图7），但我们确实发现一例：如图5 D所示，模型在遇到一堆苏打箱时出现了混淆。第二个难点出现在行人间距过近时（图5 B），这会导致模型无法准确定位所有目标。然而，如图6 A所示，得益于改进的特征表示以及柱之间的多尺度信息交互，PiFeNet能够在极度拥挤的室内场景中出色地将行人与背景物体区分开。
### 五、消融实验
我们开展了大量消融实验来评估PiFeNet中每个组件的有效性和贡献。所有实验均在KITTI官方验证集划分上进行。我们以Pointpillars [^21]作为基线。未添加任何注意力机制的基线模型整体mAP达到61.43，在简单、中等、困难三个难度级别上的AP分别为66.73、61.06和56.5。
注意力模块分析：我们默认同时使用平均池化和最大池化，随后依次测试PAA模块的各个组件及其组合。根据表IV的结果，单独使用通道注意力或任务感知注意力都无法显著提升性能。但将二者结合后，mAP得到了2.2%的显著提升。
---
TABLE IV ABLATION STUDY ON PAA MODULE'S COMPONENTS
| Pooling | Modules | Pedestrian |
| Avg | Max | Point- | Channel- | Task- | Easy | Moderate | Hard | mAP | FPS | |
| | | | | | | | | | |
| ↙ | ↙ | ↙ | | | 66.7 | 61.1 | 56.5 | 61.4 | 41.5 | |
| ↙ | ↙ | ↙ | ↙ | | 69.6 | 63.4 | 58.1 | 63.7 | 36.3 | |
| ↙ | ↙ | ↙ | ↙ | ↙ | 67.3 | 62.1 | 56.4 | 61.9 | 35.0 | |
| ↙ | ↙ | ↙ | ↙ | ↙ | 68.2 | 61.4 | 55.9 | 61.8 | 31.2 | |
| ↙ | ↙ | ↙ | ↙ | ↙ | 67.3 | 61.4 | 56.5 | 61.8 | 32.3 | |
| ↙ | ↙ | ↙ | ↙ | ↙ | 69.3 | 63.3 | 58.1 | 63.6 | 28.1 | |
| ↙ | ↙ | ↙ | ↙ | ↙ | 68.3 | 62.4 | 56.6 | 62.4 | 28.8 | |
| ↙ | | ↙ | ↙ | ↙ | 68.2 | 62.2 | 57.3 | 62.6 | 28.8 | |
| ↙ | ↙ | ↙ | ↙ | ↙ | 69.6 | 61.9 | 55.4 | 62.3 | 27.9 | |
| ↙ | ↙ | ↙ | ↙ | ↙ | 69.7 | 64.0 | 58.7 | 64.2 | 27.4 | |
Fig. 7. Qualitative improvement of the model with PAA modules (without Mini-BiFPN) over the baseline PointPillars. The figure shows that, without PAA modules, the trees on the right are wrongly classified as pedestrians, while the model with the PAA modules correctly classifies them as background. Best viewed in color.
TABLE V
ABLATION STUDY ON THE NUMBER OF STACKED PAA MODULES
| Modules | Pedestrian |
| Easy | Moderate | Hard | mAP | FPS |
| Baseline | 66.7 | 61.1 | 56.5 | 61.4 | 41.5 |
| + 1 PAA | 68.29 | 62.36 | 56.64 | 62.43 | 34.2 |
| + 2 PAA | 69.70 | 64.02 | 58.74 | 64.2 | 27.4 |
| + 3 PAA | 70.37 | 64.35 | 58.92 | 64.55 | 19.3 |
此外，将点级注意力与通道注意力或任务感知注意力结合也能小幅提升性能。因此，尽管单独使用点级注意力就能带来2.3%的mAP提升，显著提高模型性能，但要获得更好的准确率，必须同时结合通道子模块和任务感知子模块。此外，图7展示了添加和未添加PAA模块的模型的定性对比结果。
PAA模块堆叠数量：表V展示了PAA模块数量对模型性能的影响。首先，增加PAA模块数量能够提升准确率，这证明了我们提出的PAA模块的有效性。但当堆叠三个及以上PAA模块时，性能提升速度会略有放缓，且模型需要更长的运行时间。为了平衡准确率和速度，我们在其余实验中均使用两个PAA模块。
池化机制分析：在表IV的最后三行，我们展示了每种池化方法都能提升模型性能（默认已包含点级、通道级和任务感知子模块）。与z轴相关的通道可用于提取
TABLE VI CONTRIBUTION OF MODULES TO PIFENET
| Pedestrian | FPS |
| Easy | Moderate | Hard | mAP |
| Baseline | 66.73 | 61.06 | 56.5 | 61.43 | 41.5 |
| + PAA | 69.70 | 64.02 | 58.74 | 64.2 | 27.4 |
| + Mini-BiFPN | 68.52 | 62.30 | 57.19 | 62.67 | 36.2 |
| + PAA + Mini-BiFPN | 73.78 | 67.69 | 61.51 | 67.66 | 25.7 |
柱内点的最大高度，而与x轴和y轴相关的通道可用于提取柱内点的平均位置。平均池化在检测中等和困难目标时性能优于最大池化，而最大池化更擅长检测简单目标。同时使用这两种池化方法可将mAP提升至64.2，证明两种池化机制都是必不可少的。
Mini-BiFPN模块分析：表VI同样给出了Mini-BiFPN模块的实验结果。通过从特征网络的其他阶段收集更多信息，本文Mini-BiFPN的门控跨尺度连接和双向信息流能够提供更准确的预测。如表VI所示，将基线特征网络替换为Mini-BiFPN模块后，相较于基线模型所有AP指标均获得了显著提升（简单、中等、困难难度的AP分别提升7.05、6.63和5.01），mAP提升了6.23。因此，PAA模块和Mini-BiFPN模块均是本文模型的重要组成部分。
运行时间分析：在推理阶段，PiFeNet可达到平均26 FPS的速度（延迟为39.16 ms），各部分耗时分解如下：数据预处理5.84 ms，PAA模块18.12 ms，特征散射至伪图像0.60 ms，Mini-BiFPN 13.26 ms，预测后处理1.34 ms。本实验在KITTI数据集和单块NVIDIA V100 GPU上开展。遵循已有研究的设置，本文同样对比了PiFeNet与其他已发表方法的推理速度（单位为FPS）。尽管由于硬件和计算条件的差异，该对比难以实现统一基准测试，但结果仍证明本文检测器具备高效实时运行的能力。
### 六、结论
本文提出了PiFeNet，面向三维行人检测中的两大核心问题展开研究。首先，本文介绍了柱感知注意力模块（Pillar Aware Attention Module），该模块结合了多点通道池化、点方向、通道方向以及任务感知注意力，能够更好地提取柱特征。其次是Mini-BiFPN模块，这是一个轻量级特征网络，利用跨尺度特征融合和双向连接丰富了特征网络中的信息流。本文方法在两个大规模基准数据集KITTI [^11]和JRDB [^29]上取得了SOTA性能，在Nuscenes [^4]上也取得了具有竞争力的结果。
## 参考文献
[^1]: W. Zheng et al., "CIA-SSD: Confident iou-aware single-stage object detector from point cloud," in Proc. AAAI Conf. Artif. Intell., 2021, pp. 3555–3562.
## [^2]: I. Bello, B. Zoph, A. Vaswani, and J. Shlens, “Attention augmented convolutional networks,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., 2019, pp. 3286–3295.
---
[^3]: P. Bhattacharyya, C. Huang, and K. Czarnecki, “SA-Det3D: Self-attention based context-aware 3D object detection,” in Proc. IEEE/CVF Int. Conf. Comput. Vis., 2021, pp. 3022–3031.
[^4]: H. Caesar et al., “nuScenes: A multimodal dataset for autonomous driving,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., 2020, pp. 11621–11631.
[^5]: Q. Chen, L. Sun, Z. Wang, K. Jia, and A. Yuille, "Object as hotspots: An anchor-free 3D object detection approach via firing of hotspots," in Proc. IEEE Eur. Conf. Comput. Vis., 2020, pp. 68–84.
[^6]: Y. Chen, S. Liu, X. Shen, and J. Jia, “Fast point R-CNN,” in Proc. IEEE/CVF Int. Conf. Comput. Vis. Pattern Recognit., 2019, pp. 9775–9784.
[^7]: Y. Chen, X. Dai, M. Liu, D. Chen, L. Yuan, and Z. Liu, "Dynamic relu," in Proc. IEEE Eur. Conf. Comput. Vis., 2020, pp. 351–367.
[^8]: P. Fang, J. Zhou, S. K. Roy, P. Ji, L. Petersson, and M. Harandi, “Attention in attention networks for person retrieval,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 44, no. 9, pp. 4626–4641, Sep. 2022.
[^9]: M. Feng, L. Zhang, X. Lin, S.Z. Gilani, and A. Mian, “Point attention network for semantic segmentation of 3D point clouds,” Pattern Recognit. vol. 107, 2020, Art. no. 107446.
[^10]: J. Fu et al., “Dual attention network for scene segmentation,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., 2019, pp. 3146–3154.
[^11]: A. Geiger, P. Lenz, C. Stiller, and R. Urtasun, "Vision meets robotics: The kitti dataset," Int. J. Robot. Res., vol. 32, no. 11, pp. 1231–1237, 2013.
[^13]: Q. Hou, D. Zhou, and J. Feng, “Coordinate attention for efficient mobile network design,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., 2021, pp. 13713–13722.
[^12]: C. He, H. Zeng, J. Huang, X.S. Hua, and L. Zhang, "Structure aware single-stage 3d object detection from point cloud," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., 2020, pp. 11873–11882.
[^14]: J. Hu, L. Shen, and G. Sun, “Squeeze-and-excitation networks,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2018, pp. 7132–7141.
[^16]: T. Huang, Z. Liu, X. Chen, and X. Bai, "EPNet: Enhancing point features with image semantics for 3D object detection," in Proc. IEEE Eur. Conf. Comput. Vis., 2020, pp. 35–52.
[^15]: P. Hu, J. Ziglar, D. Held, and D. Ramanan, "What you see is what you get: Exploiting visibility for 3D object detection," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., 2020, pp. 11001–11009.
[^17]: Z. Huang, X. Wang, L. Huang, C. Huang, Y. Wei, and W. Liu, "CCNet: Criss-cross attention for semantic segmentation," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., 2019, pp. 603–612.
[^18]: D. Jia, A. Hermans, and B. Leibe, “2D vs. 3D LiDAR-based person detection on mobile robots,” in Proc. IEEE/RSJ Int. Conf. Intell. Robots Syst., 2022, pp. 3604–3611.
[^19]: J. Ku, M. Mozifian, J. Lee, A. Harakeh, and S. L. Waslander, “Joint 3D proposal generation and object detection from view aggregation,” in Proc. IEEE/RSJ Int. Conf. Intell. Robots Syst., 2018, pp. 1–8.
[^20]: J. Ku, A. D. Pon, S. Walsh, and S. L. Waslander, “Improving 3D object detection for pedestrians with virtual multi-view synthesis orientation estimation,” in Proc. IEEE/RSJ Int. Conf. Intell. Robots Syst., 2019, pp. 3459–3466.
[^21]: A.H. Lang, S. Vora, H. Caesar, L. Zhou, J. Yang, and O. Beijbom, “Point-Pillars: Fast encoders for object detection from point clouds,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., 2019, pp. 12697–12705.
[^22]: J. Li, H. Dai, L. Shao, and Y. Ding, “Anchor-free 3D single stage detector with mask-guided attention for point cloud,” in Proc. 29th ACM Int. Conf. Multimedia, 2021, pp. 553–562.
[^23]: J. Li, H. Dai, L. Shao, and Y. Ding, “From voxel to point: IoU-guided 3D object detection for point cloud with voxel-to-point decoder,” in Proc. 29th ACM Int. Conf. Multimedia, 2021, pp. 4622–4631.
[^24]: M. Liang, B. Yang, Y. Chen, R. Hu, and R. Urtasun, “Multi-task multi-sensor fusion for 3D object detection,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., 2019, pp. 7345–7353.
[^25]: T.Y. Lin, P. Goyal, R. Girshick, K. He, and P. Dollár, “Focal loss for dense object detection,” in Proc. IEEE Int. Conf. Comput. Vis., 2017, pp. 2980–2988.
[^26]: W. Liu et al., “SSD: Single shot multibox detector,” in Proc. IEEE Eur. Conf. Comput. Vis., 2016, pp. 21–37.
[^27]: Z. Liu, X. Zhao, T. Huang, R. Hu, Y. Zhou, and X. Bai, “TANet: Robust 3D object detection from point clouds with triple attention,” in Proc. AAAI Conf. Artif. Intell., 2020, pp. 11677–11684.
[^28]: I. Loshchilov and F. Hutter, "Decoupled weight decay regularization," 2017, arXiv:1711.05101.
[^29]: R. Martin-Martin et al., “JRDB: A dataset and benchmark of egocentric robot visual perception of humans in built environments,” IEEE Trans. Pattern Anal. Mach. Intell., early access, Apr. 2, 2021, doi: 10.1109/TPAMI.2021.3070543.
[^30]: A. Paigwar, D. Sierra-Gonzalez, O. Erkent, and C. Laugier, “Frustum-PointPillars: A multi-stage approach for 3D object detection using rgb camera and lidar,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recog-nit., 2021, pp. 2926–2933.
[^31]: C.R. Qi, W. Liu, C. Wu, H. Su, and L. J. Guibas, “Frustum pointNets for 3D object detection from RGB-D data,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2018, pp. 918–927.
[^32]: P. Ramachandran, B. Zoph, and Q. V. Le, “Searching for activation functions,” 2017, arXiv:1710.05941.
[^33]: S. Shi et al., “PV-RCNN: Point-voxel feature set abstraction for 3D object detection,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., 2020, pp. 10529–10538.
[^34]: S. Shi, X. Wang, and H. Li, “PointRCNN: 3D object proposal generation and detection from point cloud,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., 2019, pp. 770–779.
[^35]: S. Shi, Z. Wang, J. Shi, X. Wang, and H. Li, “From points to parts: 3D object detection from point cloud with part-aware and part-aggregation network,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 43, no. 8, pp. 2647–2664, Aug. 2021.
[^36]: W. Shi and R. Rajkumar, “Point-GNN: Graph neural network for 3D object detection in a point cloud,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., 2020, pp. 1711–1719.
[^37]: L.N. Smith and N. Topin, “Super-convergence: Very fast training of neural networks using large learning rates,” Proc. Artif. Intell. Mach. Learn. Multi-Domain Oper. Appl., 2019, vol. 11006, Art. no. 1100612.
[^38]: A. Srinivas, T. Y. Lin, N. Parmar, J. Shlens, P. Abbeel, and A. Vaswani, "Bottleneck transformers for visual recognition," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., 2021, pp. 16519–16529.
[^39]: M. Tan, R. Pang, and Q. V. Le, “EfficientDet: Scalable and efficient object detection,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., 2020, pp. 10781–10790.
[^40]: S. Vora, A.H. Lang, B. Helou, and O. Beijbom, “PointPainting: Sequential fusion for 3D object detection,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., 2020, pp. 4604–4612.
[^41]: X. Wang, R. Girshick, A. Gupta, and K. He, "Non-local neural networks," in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2018, pp. 7794–7803.
[^42]: Z. Wang and K. Jia, “Frustum convNet: Sliding frustums to aggregate local point-wise features for amodal 3D object detection,” in Proc. IEEE/RSJ Int. Conf. Intell. Robots Syst., 2019, pp. 1742–1749.
[^43]: S. Woo, J. Park, J. Y. Lee, and I. S. Kweon, "CBAM: Convolutional block attention module," in Proc. IEEE Eur. Conf. Comput. Vis., 2018, pp. 3–19.
[^44]: H. Wu, J. Deng, C. Wen, X. Li, C. Wang, and J. Li, “CasA: A cascade attention network for 3-D object detection from LiDAR point clouds,” IEEE Trans. Geosci. Remote Sens., vol. 60, pp. 1–11, 2022.
[^45]: L. Xie et al., “PI-RCNN: An efficient multi-sensor 3D object detector with point-based attentive cont-conv fusion module,” in Proc. AAAI Conf. Artif. Intell., 2020, pp. 12460–12467.
[^46]: Y. Yan, Y. Mao, and B. Li, “SECOND: Sparsely embedded convolutional detection,” Sensors, vol. 18, no. 10, 2018, Art. no. 3347.
[^47]: Z. Yang, L. Jiang, Y. Sun, B. Schiele, and J. Jia, "A unified query-based paradigm for point cloud understanding," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., 2020, pp. 8541–8551.
[^48]: Z. Yang, Y. Sun, S. Liu, and J. Jia, "3DSSD: Point-based 3D single stage object detector," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., 2020, pp. 11040–11048.
[^49]: Z. Yang, Y. Sun, S. Liu, X. Shen, and J. Jia, "STD: Sparse-to-dense 3D object detector for point cloud," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., 2019, pp. 1951–1960.
[^50]: Y. Ye, H. Chen, C. Zhang, X. Hao, and Z. Zhang, "SARPNET: Shape attention regional proposal network for LiDAR-based 3D object detection," Neurocomputing, vol. 379, pp. 53–63, 2020.
[^51]: J.H. Yoo, Y. Kim, J. Kim, and J. W. Choi, "3D-CVF: Generating joint camera and LiDAR features using cross-view spatial feature fusion for 3D object detection," in Proc. IEEE Eur. Conf. Comput. Vis., 2020, pp. 720–736.
[^52]: H. Zhao, L. Jiang, J. Jia, P. Torr, and V. Koltun, “Point transformer,” in Proc. IEEE/CVF Int. Conf. Comput. Vis., 2021, pp. 16259–16268.
[^53]: W. Zheng, W. Tang, L. Jiang, and C. W. Fu, “SE-SSD: Self-ensembling single-stage object detector from point cloud,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., 2021, pp. 14494–14503.
[^54]: Y. Zhou and O. Tuzel, "VoxelNet: End-to-end learning for point cloud based 3d object detection," in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2018, pp. 4490–4499.
[^55]: B. Zhu, Z. Jiang, X. Zhou, Z. Li, and G. Yu, “Class-balanced grouping and sampling for point cloud 3D object detection,” 2019, arXiv:1908.09492.