2023年12月9日收到，2024年1月4日接受，2024年1月9日发表，2024年1月22日当前版本。数字对象标识符 10.1109/ACCESS.2024.3351868 ![Image](images/87779bf471217f2828d915afa73a0f99763105476e4c6bcc364a47dc161e0587.jpg) 研究文章 # 利用改进的PIXOR骨干和高斯热图回归，提升室内机器人行人检测技术，针对3D LiDAR点云 DUY ANH NGUYEN $^{1}$、KHANG NGUYEN HOANG $^{2}$、NGUYEN TRUNG NGUYEN $^{2}$、DUY ANH NGUYEN $^{1}$ 和 HOANG NGOC TRAN $^{2}$ $^{1}$越南胡志明市科技大学机械工程学院，越南国家胡志明市大学 $^{2}$富浦大学软件工程系，越南芹川94000 通讯作者：Hoang Ngoc Tran () ## 摘要 准确且鲁棒的行人检测对于室内机器人系统在受限且不可预测的室内环境中安全地与人类一起导航至关重要。本文提出了一种新颖的方法，即IRBGHR-PIXOR，这是一种专为室内移动机器人的行人感知而设计的检测框架。这种新方法采用PIXOR模型的先进版本，并集成了两个关键的改进：利用倒置残差块（IRB）改造的卷积骨干，以及高斯热图回归（GHR），以及一种修改后的焦点损失（MFL）函数，以解决数据不平衡问题。IRB组件显著提高了网络处理来自稀疏3D LiDAR扫描的复杂空间表示的能力。同时，集成GHR通过模拟概率分布并预测点云数据中个人的中心位置，进一步提高了准确性。该系统在包含来自16光束Velodyne LiDAR传感器的密集扫描的大规模JRDB数据集上进行了广泛评估，IRBGHR-PIXOR取得了卓越的成果，在0.5 IOU阈值下实现了97.17%的平均精度（AP）。值得注意的是，在没有显著增加模型复杂度的前提下，可以实现这种级别的准确性。通过改进算法以克服室内环境中的挑战，这项研究为自主技术的安全有效部署铺平了道路，这些技术过去受到人类中心环境中感知局限性的阻碍。然而，评估在各种边缘情况下的性能以及与互补感官线索的集成有望实现持续的进步。这些进展有助于实现可靠的动态感知能力，这对于下一代与人类中心环境共存的机器人系统至关重要。 关键词：机器人导航，行人检测，行人跟踪，PIXOR，高斯热图，点云，深度学习。 ### I. 引言 近年来，移动机器人在人类居住的室内空间中的应用越来越受到关注，应用范围广泛，从仓库中的自动化库存和监控操作，到零售环境中的服务机器人，以及为老年人在养老院提供的辅助技术[^1]。这种广泛的应用取决于将高度精确和可靠的人行检测系统集成到这些机器人中。然而，室内移动机器人的行人检测面临着许多在室外导航中很少遇到的独特挑战。这主要是因为狭小空间会加剧行人的不可预测性，再加上光线不足、传感器噪声干扰、基础设施遮挡和人群拥挤等问题。因此，实现近乎完美的行人跟踪至关重要，这需要一种精度和可靠性，而目前的检测方法难以提供。因此，需要专门的解决方案。 --- 目前，现有的检测方法难以提供所需的功能。因此，专门的解决方案至关重要。 随着技术的进步，行人检测方法也在不断发展。传统的基于摄像头的系统，尽管取得了显著的进步 [^2]，仍然面临着挑战，尤其是在光照条件变化和固有深度感知复杂性方面。相比之下，LiDAR技术通过提供详细的3D点云数据，为检测能力带来了新的维度，从而对物体空间提供了更深入的理解 [^3]，[^4]。 随着深度学习的引入，利用点云数据的开创性 3D 目标检测技术不断涌现，其中 VoxelNet [^5]、[^6] 和 PointPillars [^7] 处于领先地位。 在这些技术中，PIXOR [^8] 是一种值得关注的单阶段检测器，它在处理原始点云数据方面表现出卓越的性能，但当应用于复杂的 JRDB 数据集 [^1] 时，会遇到一些挑战。 这些深度学习方法，特别是那些集成 CNN 的方法 [^9]，已经改变了 2D 图像处理，并且现在正在 3D LiDAR 数据解释领域取得重大进展 [^10]、[^11]。 例如，VoxelNet 在将点云转换为结构化体素网格方面发挥了重要作用，从而在精度和计算效率之间取得了平衡 [^5]。 然而，仍然存在一些挑战，例如，需要调整专为跳过预处理步骤而设计的模型（如 PIXOR），以便在室内环境中应用，因为室内环境存在独特的挑战，例如空间限制、多变的照明条件、复杂的人体运动模式以及传感器噪声，这些都可能使检测变得困难 [^12]。 JRDB 数据集的发布 [^13]、[^14]，该数据集捕捉了室内环境的复杂性，突出了改进针对此类挑战性环境中的行人检测算法的迫切需求。 PIXOR 是一种先进的 3D 目标检测系统，它直接处理 LiDAR 点云数据，利用鸟瞰图进行高效表示，并结合针对精确、基于密度的边界框预测进行优化的 CNN [^8]。 这种方法将 3D 点云数据简化为 2D 网格，同时保留重要的高度信息，并减少了通常与 3D 体素网格相关的复杂性。 通过这种技术，PIXOR 的架构提取多尺度特征，其头部组件准确地预测目标类别和几何边界框形状。 该系统的创新功能，包括其无锚方法以及省略单独的区域提议机制，使其成为该领域的领先者，正如其在 KITTI 基准测试中的出色表现所证明的，该基准测试的实时速率超过 28 FPS [^15]。 JRDB数据集提供了一种独特的以自身为中心的视角，记录了名为JackRabbit的社交机器人在大学校园室内和室外环境中导航的体验。该数据集包含各种各样的人类活动，并且由于场景设置、人口密度以及遮挡的存在而面临复杂的挑战。其全面的注释和大量数据是开发对以人为中心的机器人感知更深入理解的宝贵资源。 面对JRDB数据集丰富且错综复杂的细节——这些细节反映出室内环境中人类活动的多面性——即便是PIXOR这样强大的系统也遭遇了新的挑战。该数据集提供了一系列极具挑战性的场景，需要创造性的创新解决方案。我们的研究正是针对解决这些挑战开展。我们致力于优化并适配PIXOR，使其能够更高效地应对室内行人检测的特殊性与不可预测性，确保它可以梳理并解读这类环境中人类活动的复杂动态。我们的目标是调整PIXOR的能力以满足这些需求，从而推动行人检测领域的发展，为在人类周边运行的自主系统提升安全性与效率贡献力量。 在我们的研究中，我们对PIXOR模型进行了扩展，以解决室内行人检测面临的特定挑战。图1展示了所提方法的框架以及IRBGHR-PIXOR的结构。以下是我们研究贡献的总结： 1) 我们开发了一种针对室内 LiDAR 数据的增强型 PIXOR 骨干网络，该网络通过结合反向残差块技术以及在目标检测头中使用高斯热图回归 [^16] (IRBGHR-PIXOR)，从而优化了模型，显著提高了其在检测各种尺寸物体时的准确性。 2) 引入了一种修改后的焦点损失 [^17] 函数，以处理类别不平衡问题，强调了精确行人定位的重要性。 3) 在实验结果中，IRBGHR-PIXOR 在 JRDB 验证集上可以实现比以前的单阶段检测器更高的准确性。总的来说，这些进步为解决室内行人检测难题开辟了道路。 本文的其余部分组织如下。第二节回顾了有关使用 LiDAR 点云和其他模态进行 3D 对象检测的 相关工作。第三节详细描述了所提出的方法，包括增强的 PIXOR 架构、高斯热图回归和修改后的焦点损失。第四节在 JRDB 数据集上进行了广泛的实验，分析了结果，并将 IRBGHR-PIXOR 的性能与最先进的方法进行了基准测试。最后，第五节总结了本文，并讨论了未来工作的方向。 ### II. 相关工作 ### A. 基于 CNN 的目标检测 在计算机视觉领域，物体检测取得了令人瞩目的进展，这主要得益于卷积神经网络 (CNN) 的出现。最初，CNN 因其图像分类能力而备受赞誉 [^18]，但随后，CNN 已被巧妙地修改用于物体检测任务。 --- ![Image](images/2b34d41dd04eabe2d658cd060901d8798509c6d9df8948de4fb62768f3753612.jpg)
FIGURE 1. Overview of the proposed 3D pedestrian detection framework utilizing LiDAR point cloud data.
修改通常包括对特定图像区域进行分析，以确定是否存在对象，这种做法由 Overfeat [^19] 所展示，该系统使用 CNN 在不同的区域和尺度上进行遍历，以确定对象边界。独立于类别的对象建议的创新 [^20] 进一步完善了这一过程，从而产生了关键的发展，例如 RegionCNN (RCNN) [^21] 及其更快的后续版本 [^22]。值得注意的是，Faster-RCNN [^23] 在整合 CNN 以提取特征和生成对象建议方面发挥了关键作用，从而提高了检测过程的效率，并树立了令人印象深刻的新标准 [^24]。然而，这些双阶段方法的固有复杂性有时会限制其在实时场景中的应用。同时，2D 对象检测因 CNN 方法而得到显着改进，并且 3D 检测技术也得到了同步的快速发展，特别是 LiDAR 系统在行人检测中的应用，这标志着从 2D 到复杂 3D 空间数据的分析和理解的重要转变。 ### B. 基于 LiDAR 的行人 3D 检测 LiDAR 传感器是自动驾驶系统中关键的组件，它们捕获环境的三维结构数据，产生稀疏的 3D 点云，这些点云精确地描述几何形状 [^9]、[^25]、[^26]。最初，LiDAR 检测器使用手动设计的特征，并使用滑动窗口技术系统地扫描区域以检测对象 [^27]。然而，深度学习的集成已导致 3D 对象检测系统的性能取得重大飞跃。深度学习框架，如 PointNet [^28] 和 PointNet++ [^29]，在处理非结构化点云方面处于领先地位，通过学习感知器和池化层中的点空间分布，对点云进行分类和分割。 此外，基于体素的架构，如VoxelNet [^5] 和 SECOND [^30]，通过将点云转换为结构化的体素网格，从而提高了该领域的发展水平。这种结构化的网格更适合卷积操作，从而促进更有效和高效的3D目标检测。PointPillars [^7] 和 PointRCNN [^10] 等创新方法引入了将点云压缩成密集表示的方法，以便优化其2D卷积网络处理。单阶段检测模型，如PIXOR [^8] 和 Point-GNN [^31]，通过省略区域提议阶段，简化了检测流程，从而提高了速度，而不会牺牲精度。诸如PV-RCNN [^32]，[^33] 之类的先进方法，将基于体素的CNN的强大特征与PointNet架构的灵活性相结合，而PointPainting [^34] 通过从其他传感器获取语义信息来增强点云数据，从而克服了基于体素技术的固有粒度限制。这些深度学习的进步不仅提高了LiDAR 3D检测器的精度，还使其能够应用于实时场景。尽管如此，在这些详细的3D环境中解释人类活动仍然是一个复杂的挑战，这继续推动该领域的研究 [^35]。 ### C. 使用相机的3D行人检测 与LiDAR不同，相机系统通过RGB图像捕捉世界，提供丰富的视觉数据，例如颜色、纹理和语义细节，这些细节可以补充LiDAR提供的深度信息 [^36]。从这些本质上是扁平的图像中推导三维数据的挑战是一个重大的障碍。早期的单目3D检测技术，如3DOP [^36]，利用几何约束来推断深度信息。深度学习的兴起见证了基于CNN的模型，如Mono3D [^37]，[^38]，[^39] 和 Deep3DBox [^40]，采用 --- 复杂的算法来推断第三维，从2D检测中推断出三维信息。 立体相机设置和深度传感器提供了直接的深度感知，这有助于准确地定位3D空间中的对象，其中值得注意的方法包括FQNet [^41] 和 DSGN [^42]，它们利用这些数据。此外，自监督学习方法，如MonoDIS [^43]，无需大量的3D标注，即可通过从图像数据本身学习深度线索。然而，这些基于相机的系统在准确估计深度方面仍然达不到LiDAR的水平，尤其是在单目设置中。融合相机和LiDAR数据的协同研究是一个研究的重点领域，旨在融合两种模态的优势，以实现更强大的3D检测能力 [^44]。尽管在融合方面取得了进展，但由于相机的本质是无源的，因此无法像LiDAR和雷达等主动系统那样提供深度感应的精度 [^45]。改进被动相机检测以达到主动传感技术的有效性仍然是计算机视觉领域一个动态和不断发展的领域。 ### III. 提出的方法 我们的开发系统利用 LiDAR 数据，在室内环境中对行人进行精确的 3D 检测，重点是准确的定位和姿态角预测。它使用更高效的 2D 表示方法来处理 LiDAR 点云数据，以实现实时处理。后续章节将讨论系统架构的改进以及优化损失函数的实现，以提高准确性。 ### A. 数据表示 本文采用鸟瞰图 (BEV) 作为其选择的输入表示。BEV 是一种表示 LiDAR 点云数据的方法。选择 BEV 而不是 3D 体素网格的原因是，传统的神经网络假设输入数据是基于网格的。使用 3D 体素网格会引入不必要的计算开销，尤其考虑到 LiDAR 点云数据的稀疏性。BEV 表示将输入数据的维度从三维降低到二维，同时保留高度信息，从而可以使用高效的 2D 卷积。这种方法简化了目标检测，保持了度量空间，并使网络能够利用有关物体物理尺寸的先验知识。 对于 $n^{th}$ 实例中的 3D 行人，我们指定了一组 3D 真实边界框属性，如 $(x^{(n)}, y^{(n)}, z^{(n)}, w^{(n)}, l^{(n)}, h^{(n)}, \theta^{(n)})$。这里，$x^{(n)}, y^{(n)}$ 和 $z^{(n)}$ 表示在 LiDAR 坐标系中的中心位置，而 $w^{(n)}, l^{(n)}$ 和 $h^{(n)}$ 描述边界框的宽度、长度和高度。此外，$\theta^{(n)}$ 表示绕 z 轴的偏航旋转，该轴垂直于地面。我们为感兴趣区域建立 3D 空间维度 $(x_{min}, x_{max}) \times (y_{min}, y_{max}) \times (z_{min}, z_{max})$，我们希望在该区域检测物体。 对于 BEV 图像系统中每个行人的中心，我们获得的关键点如下： $$ p=\left(p_{x^{(n)}},p_{y^{(n)}}\right)=\left(\frac{x^{(n)}-x_{min}}{r_{x}.R_{down}},\frac{y^{(n)}-y_{min}}{r_{y}.R_{down}}\right) $$ 其中，$r_x$、$r_y$ 是每个单元格的分辨率，$R_{down}$ 是模型的输出步长（下采样比率）。为了在 BEV 中表示 2D 边界框，我们可以将其表示为 $(p_{x^{(n)}}, p_{y^{(n)}}, \frac{w^{(n)}}{r_x R_{down}}, \frac{l^{(n)}}{r_y R_{down}}, \theta^{(n)})$。我们将为各种组件提供相应的头部，包括关键点高斯热图头部、局部偏移头部、物体大小头部和方向头部。使用提出的高斯热图头部，每个坐标的值将在以下部分进行说明。 ### B. 网络架构 在本研究中，我们为提升行人检测系统的性能，对PIXOR模型的骨干网络和检测头进行了多项重大修改 [^8]。我们利用PIXOR专为高密度三维目标检测设计的全卷积架构，让网络以单阶段方式生成像素级预测，每个预测对应一个三维目标估计结果。这些预测的计算过程高效直接，无需预先定义锚对象。该设计省去了预定义锚对象的要求，也无需调整从第一阶段传递到第二阶段的候选框数量，以及对应的非极大值抑制阈值，该方法已在实际场景中被证明性能良好。然而，原研究 [^8] 是将PIXOR应用于开阔三维激光雷达空间中的大型车辆检测，而本研究聚焦于室内机器人应用场景下的行人检测任务。由于人体在二维x-y平面中的尺度更小，且复杂背景带来的干扰更多，该任务的挑战更大。为解决这一挑战，我们对PIXOR的骨干网络进行了结构修改，以提升其运行效率。此外，我们考虑到行人目标与周边环境的内在关联，放弃传统硬标签方法，采用二维高斯分布策略表示真值，我们在方法中将小目标视为对应上下文中的关键点。另外，我们修改了对应的焦点损失函数，实现了更高的小目标检测精度，性能优于多个现有先进方法。本文提出的网络结构如图2所示。 ## 1) 修改后的骨干结构 我们的工作基于 PIXOR 的架构，我们对模型的骨干进行了改进。首先，我们将 --- ![Image](images/08c6c9994ad726d0cf5e8f40dce6e4ccad1c18ca50a6c3a1a3cd95e86ba18c37.jpg)
FIGURE 2. The proposed network architecture (IRBGHR-PIXOR) for detecting pedestrians using the BEV of LiDAR 3D point cloud.
瓶颈块替换为反向残差块。在传统的网络中，瓶颈块通常由卷积层组成。这些卷积层用于提取输入特征的全面表示，而池化层有助于减小特征图的大小，从而降低计算需求并提高表示的鲁棒性。然而，这些块仍然具有相当大的计算复杂性，如前几项研究 [^46] 和 [^47] 中所述。 使用反向残差块可以将计算量减少十倍。如需视觉比较，请参阅图 3，该图说明了瓶颈残差块和反向残差块之间的结构差异。 尽管如此，当处理小型物体时，挑战会更加突出，例如在本例中的行人。使用分辨率为$8 \times 12$像素的离散分辨率时，行人的尺寸约为$0.05m$像素。经过$16\times$下采样过程后，它占用的像素小于 1 个像素，因此在空间域中精确识别行人是一项非常困难的任务。为了克服这一问题，我们设计了一种策略，通过跳跃连接合并来自高分辨率特征图的信息，并将这些数据与低分辨率特征图相结合。后者的上采样使用步长为 2 的 Transpose Conv2d 层进行，最终得到最终的采样表示。此外，我们还采用了高斯热图回归来应对处理小型物体的问题。 ![Image](images/c8b0f06ace36f5ab0f04345ac92179f98abf95627c9517a82feb827f79d2d315.jpg)
FIGURE 3. The structure of the two main blocks used in PIXOR and the proposed method (IRBGHR-PIXOR): (a) Bottleneck residual block, (b) Inverted residual block.
我们提出的骨干网络架构 (IRBGHR-PIXOR) 如图 2 所示，总共包含十八层。前两个块由 32 个通道的 Conv3 × 3 卷积组成。随后，我们引入了 11 个反向残差块，其结构旨在以特定方式促进特征提取和数据压缩，数量分别为 (1, 3, 4, 3)。每个残差块中的初始卷积采用步长为 2，以实现 --- 特征图下采样。最终结果是下采样因子为 16。我们无缝地将三个 Conv1 × 1 块的输出通过跳跃连接进行集成，并通过使用两个转置卷积块进一步进行细化，从而生成最终的特征采样图。这最终产生最终的特征图，与输入大小相比，下采样因子为 4（从 $240 \times 240$ 转换为 $60 \times 60$）。 ## 2 ) HEAD NETWORK STRUCTURE head 网络具有对象识别和定位的双重功能。但是，由于本研究的重点主要在于检测行人，因此 head 网络的对象识别输出采用热图，表示行人出现的可能性。在该 head 中使用 sigmoid 激活函数。将预测的热图与 ground truth 热图进行比较，训练期间 ground truth 热图使用高斯核进行转换。定位 head 进一步划分为三个较小的 head，包括局部偏移 head、对象大小 head 和方向 head，将在以下子部分中详细讨论。 ## a: 高斯热图识别头 recognition head 使用每个对象的高斯核，其中每个对象都与一个关键点相关联。所有 ground truth 像素都转换为热图，记为 $K_{x,y} \in R^{\left(\frac{x_{max}-x_{min}}{rx-R_{down}}, \frac{y_{max}-y_{min}}{ry-R_{down}}\right)}$。对象 ground truth 由非标准的两维高斯函数定义，如下所示： $$ K_{x,y}=exp\left(-\frac{\left(x-p_{x}\right)^{2}+\left(y-p_{y}\right)^{2}}{2\sigma_{p}^{2}}\right) $$ 其中，$(x - p_x)$ 和 $(y - p_y)$ 分别是到物体的中心距离，$\sigma_p$ 是用于适应物体大小的标准偏差 [^48]。 如果在转换过程中，两个高斯函数重叠，则选择强度更大的函数。图 4(a) 描绘了从 3D LiDAR 点云数据转换为地面真实热图的过程，采用高斯核。图 4(b) 显示了物体 1 和 2 的重叠区域，我们选择具有更高强度级别的物体。$\hat{K}_{x,y}$ 表示来自模型（使用高斯热图头的）的预测热图值。$\hat{K}_{x,y} = 1$ 表示物体的中心，而 $\hat{K}_{x,y} = 0$ 表示该柱被归类为背景。 ## b: 定位头 在定位头中，我们将它分为三个单独的组件，以确定物体的偏移、大小和方向。 每个物体都表示为一个带参数的定向边界框 $\{x_{c}, y_{c}, w, l, \theta\}$。 在这里，$(x_{c}, y_{c})$ 表示物体的中心位置，而 $(w, l)$ 表示物体在 x-y 平面上的宽度和长度，以及 ![Image](images/d009c1b1522648d9adaf404b04ca8e64b34043e1a174ac7d546b3c2d58393383.jpg)
(a)
![Image](images/0493ea3e0cdf9d754764bb6431dd610a481f02ba8d0c994eeb674c904f9b95c3.jpg)
FIGURE 4. Prepare training data: (a) the process of transforming data from a 3D LiDAR point cloud into the ground truth heatmap, (b) the areas where objects 1 and 2 intersect, and the object with the higher intensity level is selected.
![Image](images/62e4f08db6be7ce7dfa7b4db36824f82b0ffa131d6d9978164caa081b2548034.jpg)
FIGURE 5. The parameterization for a pixel in the geometry output.
$\theta$ 表示物体的方向角（$-\pi$ 到 $\pi$）。 我们不考虑 z 轴，因为我们感兴趣的人行物体被限制在单个平面上。 在图 5 中，网络回归头的输出表示为 $\{dx, dy, w, l, \cos(\theta), \sin(\theta)\}$，其中每个组件表示每个像素位置的特定物体属性 $(p_x, p_y)$。 为了确保方向角落在 --- 期望范围内，它被分解为两个相关的值。 在推理过程中，使用 $\theta$ 解码 $atan2\left(\sin\left(\theta\right),\cos\left(\theta\right)\right)$。 重要的是，与物体位置和大小相关的值以实际的度量单位表示。 通过使用对数函数对训练数据集进行预缩放，我们获得了学习目标的零均值和单位方差 $\left\{\log\left(dx\right),\log\left(dy\right),\log\left(w\right),\log\left(l\right),\cos\left(\theta\right)\sin\left(\theta\right)\right\}$。 ## c: 损失函数 在本节中，我们将介绍用于 3D 空间中行人检测器的提出的损失函数。 在物体识别中，令 $\hat{K}_{x,y}$ 表示预测热图中 $(x,y)$ 处的热图值，而 $K_{x,y}$ 是地面真实热图中 $(x,y)$ 处的热图值。 在之前的 PIXOR 模型研究中 [^8]，使用了一个传统的交叉熵 (CE) 损失函数，如 (3) 所示： $$ \begin{aligned}{L_{h e a t-C E}}&{{}=-\frac{1}{N}\sum_{x,y}L_{C r o s s~e n t r o p y}\left(\mathbf{K}_{x,y},\hat{\mathbf{K}}_{x,y}\right)}\\ {}&{{}=-\frac{1}{N}\left\{\begin{aligned}{}&{{}l o g\left(\hat{K}_{x,y}\right)}&{}&{{}{i f}K_{x,y}=1}\\ {}&{{}l o g\left(1-\hat{K}_{x,y}\right)}&{}&{{}{e l s e}}\\ \end{aligned}\right.}\\ \end{aligned} $$ 其中 N 是检测范围内物体总数。 然而，当存在显着的类别不平衡或嘈杂的训练数据时，它可能不太有效。 为了减少对分类良好的样本的损失并增加对分类不佳的样本的损失，已经开发了 Focal Loss (FL) 函数 [^49]，如下所示 (4)： $$ \begin{aligned}&L_{heat-FL}\\&=-\frac{1}{N}\sum_{x,y}L_{Focal~loss}\left(K_{x,y},\hat{K}_{x,y}\right)\\&=-\frac{1}{N}\sum_{x,y}\left\{\begin{aligned}&\alpha\left(1-\hat{K}_{x,y}\right)^{\beta}log\left(\hat{K}_{x,y}\right),&&if K_{x,y}=1\\&\left(1-\alpha\right)\left(\hat{K}_{x,y}\right)^{\beta}log\left(1-\hat{K}_{x,y}\right),&&else\end{aligned}\right.\\ \end{aligned} $$ 其中 $\alpha$ 和 $\beta$ 是超参数。 在 (4) 中，$\alpha$ 是一个常数。 但是，在本文中，当地面真实热图值偏离 1 时，需要对距离中心较远的物体进行更显著的惩罚。 因此，建议使用修改后的 Focal Loss (MFL) 函数，如 (5) 所示： $$ \begin{aligned}{}&{{}L_{h e a t-M F L}}\\ {}&{{}=-\frac{1}{N}\sum_{x,y}L_{M o d i f i e d F o c a l l o s s}\left(\mathbb{K}_{x,y},\hat{\mathbb{K}}_{x,y}\right)}\\ {}&{{}=-\frac{1}{N}\sum_{x,y}\left\{\begin{matrix}{\left(1-\hat{\mathbb{K}}_{x,y}\right)^{\alpha}l o g\left(\hat{\mathbb{K}}_{x,y}\right),}&{{i f}\mathbb{K}_{x,y}{=}1}\\ {\left(1-\mathbb{K}_{x,y}\right)^{\beta}\left(\hat{\mathbb{K}}_{x,y}\right)^{\alpha}l o g\left(1-\hat{\mathbb{K}}_{x,y}\right),}&{}\\ \end{matrix}\right.}\\ \end{aligned} $$ 系数 $\alpha$ 和 $\beta$ 将通过我们的实验结果进行选择。 我们将评估这些损失方程的影响，以确定最适合准确检测行人的方程。 在定位头部，Smooth L1 损失被用作传统 L1 损失的替代方案，以提高稳定性，并防止可能导致过早收敛或不稳定训练过程的突然梯度峰值。在实验部分，我们将比较和评估 L1、L2 和 Smooth L1 损失。这三种损失函数如下所示： $$ \begin{aligned}\Delta\mathbf{y}&=\mathbf{y}_{pred}-\mathbf{y}_{true}\\L_{1}\big(\Delta\mathbf{y}\big)&=\Delta\mathbf{y}\\L_{2}\big(\Delta\mathbf{y}\big)&=\left(\Delta\mathbf{y}\right)^{2}\\Smooth L_{1}\left(\Delta\mathbf{y}\right)&=\left\{\begin{array}{ll}0.5\left(\Delta\mathbf{y}\right)^{2}&if\left|\Delta\mathbf{y}\right|<1\\\left|\Delta\mathbf{y}\right|-0.5,&else\end{array}\right.\end{aligned} $$ 总识别损失和所有定位损失，包括偏移损失、大小损失和方向损失，由以下公式 (5) 表示： $$ \begin{aligned}{L_{t o t a l}}&{{}=L_{h e a t-M F L}+\frac{1}{N}\sum_{k=1}^{N}S m o o t h L_{1_{o f f}}(\hat{O}_{k}-O_{k})}\\ {}&{{}\quad+\frac{1}{N}\sum_{k=1}^{N}S m o o t h L_{1_{s i z e}}(\hat{S}_{k}-S_{k})}\\ {}&{{}\quad+\frac{1}{N}\sum_{k=1}^{N}S m o o t h L_{1_{o r i}}(\hat{\theta}_{k}-\theta_{k})}\\ \end{aligned} $$ 其中 $\hat{O}_{k}$、$\hat{S}_{k}$ 和 $\hat{\theta}_{k}$ 分别是预测的偏移、大小和方向，而 $O_{k}$、$S_{k}$ 和 $\theta_{k}$ 分别是对象 k 的偏移、大小和方向的真实值。所提出的方法将在实验部分进行评估，并与以前的 3D 行人检测方法进行比较。 ![Image](images/b4d1d1bb53a64f8183386bd8f9fac91a0210b6f11dab0418e29a1159b91f7dc2.jpg)
FIGURE 6. Data collection from various locations and data distribution.
### IV. 实验 我们的方法利用了 PIXOR 算法，这是一种基于 CNN 的 3D 对象检测器，专门用于通过俯视 (BEV) 表示处理 LiDAR 点云数据。我们的实验设置的核心是 JRDB 行人检测数据集。最初，我们对 JRDB 数据集应用了数据增强技术，例如旋转、缩放和平移。这种增强对于提高数据集的多样性和可变性至关重要，有助于开发更强大和更具适应性的模型。随后，增强后的数据被转换为 BEV 表示，然后进行体素化。BEV 表示提供了场景的俯视视图，这对于 LiDAR 扫描中的有效行人检测至关重要，而体素化将这些数据转换为 3D 网格，从而简化了处理。最后，处理后的数据用于训练 IRBGHR-PIXOR 模型。该模型是 PIXOR 算法的增强版本，专为使用 3D LiDAR 点云数据进行高效准确的行人检测而设计。 --- ### 我们的实验设置 我们的实验设置利用了 JRDB 行人检测数据集。最初，我们对 JRDB 数据集应用了数据增强技术，例如旋转、缩放和翻译，以提高数据集的多样性和可变性，从而促进更强大和更具适应性的模型的开发。随后，增强后的数据被转换为俯视 (BEV) 表示，然后进行体素化。俯视表示提供了场景的俯视视图，这对于 LiDAR 扫描中的有效行人检测至关重要，而体素化将这些数据转换为 3D 网格，从而简化了处理。最后，处理后的数据用于训练 IRBGHR-PIXOR 模型，该模型是 PIXOR 算法的增强版本，专为使用 3D LiDAR 点云数据进行高效准确的行人检测而设计。 ### A. 数据集 JRDB 行人检测数据集 [^14] 用于评估我们的模型。该数据集包含 15,000 个样本，分为训练集 (80%)、验证集 (10%) 和测试集 (10%)。数据收集于各种地点，包括咖啡馆、购物中心、礼堂、路口、大门、地下室、小巷、大厅和纪念广场，如图 6 所示。这些地点的数据分布不同，将人群密度分为三个级别：容易、中等和困难，具体取决于每个区域的人口密度。 ### B. 数据增强 数据增强被用作扩展点云数据多样性和适应性的关键组成部分。 为了确保多样性，使用了三种基本的数据增强技术，即“旋转”、“缩放”和“平移”。 在“旋转”过程中，数据会旋转指定的角度，在 20 度的角度范围内引入变化。 这种方法使数据能够涵盖广泛的角度变化。 对于“缩放”，目标是涵盖物体大小和距离的变化。 数据始终在原始大小的 0.95 到 1.05 倍范围内进行缩放，以适应各种物体的大小。 “平移”操作的重点是将数据移动以模拟不同的物体位置。 这通过对数据应用随机偏移并使用 0.4 的缩放因子调整空间位置来实现。 值得注意的是，增强过程会随机选择数据，并且有效地将样本总数翻倍，从而使数据集的总大小达到 30,000 个样本。 图 7 显示了数据的归一化和增强。 ### C. 实验设置 感兴趣的点云区域在两个x轴和y轴方向上设置为$[-6.0, 6.0] \times [-6, 6]$米，并以$0.05m$的离散分辨率进行鸟瞰投影。高度范围在激光雷达坐标系中设置为$[-1.5, 1.5]$米，以对应于典型的人体高度，所有数据点被划分为30个段，每个段的宽度为$0.1m$。此外，计算出一个反射率通道，因此我们的输入表示具有$240 \times 240 \times 30$的维度。与一些其他检测器[^50]不同，它们从预训练模型初始化网络权重，我们选择从头开始训练我们的网络，避免对预训练模型的任何依赖。 IRBGHR-PIXOR 模型在 PyTorch [^51] 中实现。 训练时使用批次大小为 10，共 20 个 epoch。 该模型的训练在具有 Ubuntu 20.04、Intel i7 3.4 GHz CPU、Nvidia GTX 3060 GPU 和 32 GB RAM 的系统上进行。 在训练过程中，网络使用学习率为 $3 \times 10^{-4}$ 进行优化。 优化使用 AdamW [^52] 优化器，并采用单周期策略 [^53]。 施加动量为 0.9，并使用固定的权重衰减为 0.0005 以确保收敛。 ### D. 评估指标 为了评估我们的行人检测模型的性能，我们使用两个关键的评估指标：交并比（IoU）和平均精度（AP）。IoU定义为预测区域和实际对象区域之间的交集与并集的比率。这里，“AoO”对应于重叠面积，即预测边界框和地面真实边界框之间的交叠面积，“AoU”包括预测边界框和地面真实边界框的并集。IoU值在$(0,1)$范围内，每个检测都有一个唯一的IoU分数。为了确定检测是否正确或错误，我们采用预定义的阈值。这个定义引入了真阳性（TP）的概念，当IoU高于阈值时，表示正确的检测；假阳性（FP），当IoU低于阈值时，表示错误的检测；以及假阴性（FN），当地面真实对象缺乏相应的预测边界框时发生。此外，为了计算AP，定义了精度和召回率，其中精度衡量预测的准确性，召回率评估模型识别正确检测的能力。这些指标为模型在行人检测方面的性能提供了全面的评估。这些定义在以下公式中表示： $$ IoU=\frac{Area~of~Overlap~(AoO)}{Area~of~Union~(AoU)} $$ $$ Precision=\frac{TP}{TP+FP}=\frac{TP}{All~of~Predicted~box}\atop TP $$ $$ Recall=\frac{TP}{TP+FN}=\frac{TP}{All~of~ground~truth~box} $$ $$ AP=\int_{0}^{1}Precision\ (Recall)d(Recall) $$ --- ![Image](images/4b3f12e1318d5e3312e04f9e2470b4aa1e90d2cf6622295a1ce899a181b29c96.jpg)
FIGURE 7. Normalization and augmentation of data throughout the training process.
TABLE 1. Comparative evaluation and accuracy assessment of 3D pedestrian detection systems on the JRDB test set with varying IoU thresholds and interest ranges.
Backbone NetworkAvg_Training$AP_{{IoU=0.5}}$, test (%)$AP_{{IoU=0.7}}$, test (%)$AP_{{IoU=0.9}}$, test (%)
Time per Epoch (Seconds)0-6m6-12m12-24m0-6m6-12m12-24m0-6m6-12m12-24m
PIXOR without GAU [^8]126287.3873.1663.5385.5170.3558.4264.6351.5840.65
PIXOR + GAU [^8]132090.5273.6364.6288.7371.9462.4167.9252.1542.55
AFDet + GAU [^47]364995.6476.3965.0594.8475.2862.5876.1154.8144.23
IRBGHR-PIXOR + GAU99397.1779.7466.5595.2777.1563.1777.4854.4743.86
![Image](images/3c2934123c99d3cd65624bd1933297b08afd724458813e3748741717474c1da3.jpg) ![Image](images/bb5808c4d9759200ea6f55daa572b52200b554b7a313064fee129abc1fb5f8b7.jpg) ![Image](images/b89c69e873805fbbf2415235604ea3a23317871d13658bb279e54480ffc68795.jpg)
FIGURE 8. Evaluation of proposed and conventional methods on JRDB test set: analysis of 3 regions of interest at IoU=0.5 and high IoU = 0.9 levels.
## E. 评估结果 ## 1) 损失函数的影响 在我们的实验中，我们对我们的提出的模型和传统方法（如PIXOR [^8]和AFDet [^54]，与高斯热图结合）进行了不同的比较。评估结果见表1。从表中可以看出，与其他的传统方法相比，我们提出的方法在准确性方面表现更好，在IoU水平为0.5、0.7和0.9时，AP分数高于其他方法，并且在6米范围内，这符合室内机器人的要求。值得注意的是，与传统的PIXOR方法相比，我们提出的方法大约提高了10%。但是，与AFDet在IoU=0.9，在6米-12米和12米-24米的距离范围内进行比较时，略逊于1%。然而，重要的是要注意，我们提出的方法的训练速度比单个epoch慢四倍。此外，由于机器人仅在室内工作，因此对于较短距离（低于6米）的高精度要求以及较长距离（误差<1%）的微小性能差异是可以接受的，考虑到其优点。 ---
TABLE 2. Impact of loss function on accuracy.
RecognitionLocalization$AP_{{IoU=0.5}}$, val (0-6m)$AP_{{IoU=0.5:0.9}}$, val (0-6m)
Cross-entropyL191.63%82.56%
Cross-entropySmooth L192.45%83.05%
FocalL193.89%85.03
FocalSmooth L194.25%85.16%
Modified-FLL196.25%86.72%
Modified-FLSmooth L197.21%88.30%
精细的精度-召回（PR）曲线在图8中显示了四种方法在IOU水平为0.5和0.9，以及三个不同距离阈值下的情况。曲线图再次证明，与另外三种方法相比，我们提出的方法在近距离对行人的检测具有更高的准确性。使用我们提出的骨干网络替换和应用高斯热图回归（GAU）进行热识别，显著提高了三维点云数据的系统准确性。值得注意的是，高斯热图的集成已经显示出明显的有效性，尤其是在其增强对大背景下小物体进行识别的能力。这种增强在对比不使用高斯热图的传统方法和使用高斯热图的方法时，显而易见，高斯热图的方法大约提高了3%的准确性。 随后，对用于识别和定位头的损失函数进行了评估。结果如图 2 所示，强调了模型的训练过程，该过程结合了各种损失函数，例如交叉熵、焦点损失和修改后的焦点损失，以及 L1 损失和 Smooth L1 损失。在此之后，在一个验证数据集上执行性能评估，比较基于两个关键准确性指标（$AP_{IoU} = 0.5$ 和 $AP_{IoU} = 0.5:0.9$）的结果。使用交叉熵和 L1 损失，虽然效果不错，但获得 $AP_{IoU} = 0.5$ 为 91.63%，$AP_{IoU} = 0.5:0.9$ 为 82.56%。结合交叉熵和 Smooth L1 损失可以提高性能，结果为 $AP_{IoU} = 0.5$ 为 92.45%，$AP_{IoU} = 0.5:0.9$ 为 83.05%。同时，使用焦点损失和 L1 损失可以带来显著的性能提升，获得 $AP_{IoU} = 0.5$ 为 93.89%，$AP_{IoU} = 0.5:0.9$ 为 85.03%。此外，结合焦点损失和 Smooth L1 损失可以提高准确性，结果为 $AP_{IoU} = 0.5$ 为 94.25%，$AP_{IoU} = 0.5$ 为 85.16%。 值得注意的是，使用修改后的焦点损失和 L1 损失可以获得最高的性能，$AP_{IoU=0.5}$ 为 96.25%，$AP_{IoU=0.5:0.9}$ 为 86.72%。在所提出的方法中，修改后的焦点损失与 Smooth L1 损失相结合，可以达到最高的准确性，$AP_{IoU=0.5}$ 为 97.21%，$AP_{IoU=0.5:0.9}$ 为 88.30%。这种全面的评估强调了行人检测方面取得的显著进展，其中“修改后的焦点损失”和“Smooth L1”的组合是最佳选择。修改后的焦点损失是一种强大的解决方案，它可以有效地处理具有挑战性的场景，同时还可以解决地面实况数据的样本不平衡、距离和概率值问题，从而提高检测系统的整体性能。与传统“L1”损失相比，“Smooth L1”证明了其卓越的性能，因为它对异常值具有更强的鲁棒性，有助于训练的稳定性，并确保精确的定位。选择这些出色的损失函数对于提高 3D 点云数据的行人检测的准确性和可靠性至关重要。
TABLE 3. Impact of alpha ( $\alpha$) and beta ( $\beta$) parameters on pedestrian detection accuracy for modified-focal loss.
IRBGHR-PIXOR + GAU\n(Modified-Focal)$AP_{{IoU=0.5}}$, val\n(0-6m)$AP_{{IoU=0.5:0.9}}$, val\n(0-6m)
$\alpha = 1, \beta = 1$94.77%85.03%
$\alpha = 1, \beta = 2$95.27%86.22%
$\alpha = 1, \beta = 3$96.23%87.12%
$\alpha = 1, \beta = 4$96.72%87.43%
$\alpha = 1, \beta = 5$96.47%87.28%
$\alpha = 2, \beta = 1$95.36%86.66%
$\alpha = 2, \beta = 2$96.41%87.07%
$\alpha = 2, \beta = 3$96.89%87.57%
$\alpha = 2, \beta = 4$97.21%88.30%
$\alpha = 2, \beta = 5$97.05%87.42%
## 2) 参数调整 在评估所提出的损失函数后，该函数在准确性方面表现出显著的提升，我们继续通过实验确定识别损失函数中 alpha 和 beta 权重的最佳值。该评估的结果，涉及 (5) 中各种 $\alpha$ 和 $\beta$ 值的组合，如表 3 所示。观察结果表明，随着 $\alpha$ 和 $\beta$ 值的增加，性能呈一致的上升趋势。观察结果表明，随着 alpha 和 beta 值的增加，性能呈一致的上升趋势。值得注意的是，当 alpha 和 beta 值为较高的值，例如 $\alpha = 2$ 和 $\beta = 4$ 时，可以获得最高的性能，从而获得最佳的 $AP_{IoU=0.5}$ 和 $AP_{IoU=0.5:0.9}$ 分数，分别为 97.21% 和 88.30%。这些结果强调了仔细调整参数，特别是 alpha 和 beta 的重要性，以优化识别损失函数。此优化过程对行人检测系统的整体准确性具有深远的影响。重要的是要注意，增加 beta 值会在损失函数中施加更大的惩罚，尤其是在处理小于 1 的地面实况值时。此惩罚机制发挥着作用。 --- ![Image](images/d51c62cc2423c3e80d97b9e13bde80061d3b57191ca0faede596888e76e08205.jpg) ![Image](images/94c9067615293b757be1af8ca5414ef641ee603bc66d45511aa597da5fad8149.jpg)
FIGURE 9. Effect of $\alpha$ and $\beta$ parameters on loss function convergence. a) with $\alpha = 1$, $\beta = 4$, b) with $\alpha = 2$ and $\beta = 4$.
![Image](images/690ef71bb61e54355a79697862241d343085b1bb57959bca9ffb210a96317307.jpg) ![Image](images/e09522406c60bd52c7aecf023a6a903d51b802b8bfcd036b3b2fa174b454d5c8.jpg) ![Image](images/5a156647ea3c34400f727665ec6baac369aebdfbf4f2d70df93abaa2a488eea4.jpg) ![Image](images/702d999abcaebe31d33e398252cbf86f6db5379df0c32a97b960d7b68252646e.jpg)
FIGURE 10. Pedestrian detection results at an intersection within 0-6m and 0-12m ranges of interest with sparse pedestrian level.
在改进模型识别行人的能力方面发挥着至关重要的作用，尤其是在涉及较小物体或具有挑战性的检测场景的情况下。 图 9 清楚地说明了损失函数值的轨迹，其中包含训练损失和验证损失，针对两种不同的 alpha 和 beta 参数组合：$\alpha = 1$、$\beta = 4$，以及使用数据集的训练集的 $\alpha = 2$、$\beta = 4$。一个有趣的趋势显现出来，突出了当在 40 个 epoch 的训练阶段中使用 $\alpha = 2$ 和 $\beta = 4$ 时，所实现的显著快速收敛。值得注意的是，$\alpha = 2$ 和 $\beta = 4$ 组合达到了约 0.5 的显着最小损失函数值，而对应系数对的值约为 1.2。这一见解强调了 $\alpha = 2$ 和 $\beta = 4$ 对训练过程的提高效率。该模型在 40 个 epoch 的训练期内迅速收敛的能力，强调了调整这些参数以实现加速且高度有效的训练方案的引人注目的优势，这在 3D 点云数据中的行人检测领域具有重要意义。 --- ![Image](images/0523f9194208eeaef5b69dbadbab6a42183316819d410e16a06722e7d82984a4.jpg)
FIGURE 11. Pedestrian detection results in a center within 0-6m and 0-12m ranges of interest with sparse pedestrian level.
TABLE 4. Impact of data augmentation on proposed method.
Data Aug.$AP_{{IoU}=0.5}$, val (0-6m)$APIoU=0.5:0.9$, val (0-6m)
IRBGHR-PIXOR + GAU (Modified-Focal)none91.06%83.42%
Rotation + Scaling + Translation97.21%88.30%
### 3 ) 数据增强的影响 表 4 对比评估了数据增强对 IRBGHR-PIXOR + GAU (Modified-Focal) 方法在行人检测方面的准确性的影响。考虑了两种增强场景：一种不进行增强，另一种涉及旋转、缩放和平移。结果清楚地表明，数据增强对模型性能具有显著影响。当不进行增强时，该模型实现了 $AP_{IoU=0.5}$ 为 91.06% 和 $AP_{IoU=0.5:0.9}$ 为 83.42%。然而，引入旋转、缩放和平移显著提高了准确性，$AP_{IoU=0.5}$ 显著提高到 97.21%，$AP_{IoU=0.5:0.9}$ 提高到 88.30%。这一观察结果强调了数据增强在提高模型有效检测行人的能力中的关键作用。通过通过这些转换在训练数据中引入变化，该模型变得更加健壮，从而提高了其在更广泛的现实场景中的准确性。它标志着在 3D 点云数据上下文中提高行人检测的可靠性和精度的实用重要性，采用数据增强技术。 在最终部分，将在现实世界数据中展示行人检测的结果，这些数据涵盖了从人口稀少、简单的区域（行人稀少）到复杂、人口稠密的环境（充满障碍）等各种位置，如图 10、11 和 12 所示。此外，预测的 Gaussian 热图也显示在图中。 ### F. 讨论 反向残差块使用多尺度特征学习直接提高了行人检测的平均精度 (AP) 6.5%（从 73.16% 提高到 79.74% 在 0.5 IOU 下）。这强调了在处理复杂空间 LiDAR 数据时，多尺度特征学习的重要性。 此外，集成 Gaussian 热图回归在所有 IOU 阈值下将 AP 提高了 3-4%。 --- ![Image](images/f722e1d99df0fc5ead6fe0dc1061ec2d20c6991474d7e0054f9327efc83aa0af.jpg)
FIGURE 12. Pedestrian detection results at a hall within 0-6m and 0-12m ranges of interest with high pedestrian density.
这表明其能够处理人类形状/大小的变化，并克服传感器噪声/遮挡。 此外，优化修改后的焦点损失函数参数，可以使AP（平均精度）比标准焦点损失函数提高7%。找到最佳的$\alpha$、$\beta$超参数设置对于强调精确的定位并减轻类别不平衡至关重要。 总的来说，IRBGHR-PIXOR架构和算法的改进将性能提升到JRDB数据集上的97.17% AP。与现有LiDAR检测器相比，5-10%的增益验证了这些解决方案，可以提高室内机器人感知能力。 这些有针对性的改进直接解决了在将行人检测方法调整为非结构化室内环境时出现的关键挑战。这项研究提供了一个有效的模板，用于通过LiDAR提高机器人应用的可靠性。 ## V. 结论 本文介绍了一种专为室内机器人应用设计的3D行人检测系统，称为IRBGHR-PIXOR。主要贡献包括： 首先，使用倒置残差块和特征融合来增强多尺度特征学习，从而改进了PIXOR骨干网络，以提高对小目标的检测能力。 其次，在检测头中集成高斯热图回归，以精确地定位行人关键点，即使在复杂的背景下也是如此。 第三，使用修改后的焦点损失函数来处理类别不平衡，同时强调精确的定位。 第四，在室内JRDB数据集上进行的广泛实验表明，达到了97.17% AP的先进准确度，优于现有方法。 所提出的架构改进和训练策略显著提升了基于LiDAR的机器人室内空间行人检测的先进水平。对人类进行精确的3D感知，可以实现安全导航和在动态、非结构化环境中实现稳健的场景理解。 存在许多有前景的途径，可以进一步研究并提高行人检测的可靠性，以供机器人使用。更高级的增强技术，例如生成对抗网络（GAN），可以生成高度逼真的合成数据，以提高模型在室内环境中的鲁棒性。 --- 此外，必须探索基于元学习的自适应损失调整方法，以实现场景自适应参数优化，而不是手动调整。在各种基准数据集上进行严格的性能评估，将提供对泛化性的宝贵见解，从而了解不同人群密度、照明条件和传感器噪声配置文件。将LiDAR与来自视觉传感器的互补RGB和深度数据融合，可以通过多模态融合来丰富表示，从而利用主动和被动感知的协同作用。在复杂部署中测试长期真实世界的性能，将揭示可靠性挑战，从而指导开发在线域自适应技术。彻底调查这些更高级的增强、自适应损失调整、多数据集评估、传感器融合和在线自适应领域，将显著提升行人检测，以克服鲁棒性、适应性和上下文推理的局限性。这项研究奠定了进步这些多方面努力的基础，以实现部署就绪的感知。 ## 致谢 作者感谢胡志明市科技大学（HCMUT）、越南国立胡志明市大学（VNU-HCM）以及越南河内FPT大学的支持，感谢他们在本次研究中提供的资源和便利。 ## 参考文献 [^1]: R. Martin-Martín, M. Patel, H. Rezatofighi, A. Shenoi, J. Gwak, E. Frankel, A. Sadeghian, and S. Savarese, "JRDB: A dataset and benchmark of egocentric robot visual perception of humans in built environments," IEEE Trans. Pattern Anal. Mach. Intell., vol. 45, no. 6, pp. 6748–6765, Jun. 2023. [^2]: E. Arnold, O. Y. Al-Jarrah, M. Dianati, S. Fallah, D. Oxtoby, and A. Mouzakitis, “A survey on 3D object detection methods for autonomous driving applications,” IEEE Trans. Intell. Transp. Syst., vol. 20, no. 10, pp. 3782–3795, Oct. 2019. [^3]: S. Shi, L. Jiang, J. Deng, Z. Wang, C. Guo, J. Shi, X. Wang, and H. Li, "PV-RCNN++: Point-voxel feature set abstraction with local vector representation for 3D object detection," Int. J. Comput. Vis., vol. 131, no. 2, pp. 531–551, Feb. 2023. [^4]: L. Wang and Y. Huang, “A survey of 3D point cloud and deep learning-based approaches for scene understanding in autonomous driving,” IEEE Intell. Transp. Syst. Mag., vol. 14, no. 6, pp. 135–154, Nov. 2022. [^5]: Z. Yin and T. Oncel, “VoxelNet: End-to-end learning for point cloud based 3D object detection,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., Jun. 2018, pp. 4490–4499. [^6]: H. Wang, Z. Chen, Y. Cai, L. Chen, Y. Li, M. A. Sotelo, and Z. Li, "Voxel-RCNN-complex: An effective 3-D point cloud object detector for complex traffic conditions," IEEE Trans. Instrum. Meas., vol. 71, pp. 1–12, 2022. [^7]: H. L. Alex, S. Vora, H. Caesar, L. Zhou, J. Yang, and O. Beijbom, "PointPillars: Fast encoders for object detection from point clouds," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., Jun. 2019, pp. 12697–12705. [^8]: B. Yang, W. Luo, and R. Urtasun, "PIXOR: Real-time 3D object detection from point clouds," 2019, arXiv:1902.06326. [^9]: Y. Wu, Y. Wang, S. Zhang, and H. Ogai, “Deep 3D object detection networks using LiDAR data: A review,” IEEE Sensors J., vol. 21, no. 2, pp. 1152–1171, Jan. 2021. [^10]: Y. Li, L. Ma, Z. Zhong, F. Liu, M. A. Chapman, D. Cao, and J. Li, “Deep learning for LiDAR point clouds in autonomous driving: A review,” IEEE Trans. Neural Netw. Learn. Syst., vol. 32, no. 8, pp. 3412–3432, Aug. 2021. [^11]: M. S. Mekala, W. Park, G. Dhiman, G. Srivastava, J. H. Park, and H.-Y. Jung, “Deep learning inspired object consolidation approaches using LiDAR data for autonomous driving: A review,” Arch. Comput. Methods Eng., vol. 29, no. 5, pp. 2579–2599, Aug. 2022. [^12]: R. Q. Charles, L. Wei, W. Chenxia, S. Hao, and J. G. Leonidas, “Frustum PointNets for 3D object detection from RGB-D data,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., Jun. 2018, pp. 918–927. [^13]: M. Ehsanpour, F. Saleh, S. Savarese, I. Reid, and H. Rezatofighi, "JRDBact: A large-scale dataset for spatio-temporal action, social group and activity detection," 2021, arXiv:2106.08827. [^14]: E. Vendrow, D. Tho Le, J. Cai, and H. Rezatofighi, “JRDB-pose: A large-scale dataset for multi-person pose estimation and tracking,” 2022, arXiv:2210.11940. [^15]: G. Andreas, L. Philip, and U. Raquel, “Are we ready for autonomous driving? The KITTI vision benchmark suite,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., Jun. 2012, pp. 3354–3361. [^16]: L. Zhengxiong, W. Zhicheng, H. Yan, T. Tan, and Z. Erjin, “Rethinking the heatmap regression for bottom-up human pose estimation,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., Jun. 2020, pp. 13264–13273. [^17]: T.-Y. Lin, P. Goyal, R. Girshick, K. He, and P. Dollár, “Focal loss for dense object detection,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 42, no. 2, pp. 318–327, Feb. 2020. [^18]: A. Krizhevsky, I. Sutskever, and G. E. Hinton, "ImageNet classification with deep convolutional neural networks," in Proc. Adv. Neural Inf. Process. Syst., 2012, pp. 1097–1105. [^19]: P. Sermanet, D. Eigen, X. Zhang, M. Mathieu, R. Fergus, and Y. L. Cun, “OverFeat: Integrated recognition, localization and detection using convolutional networks,” in Proc. Int. Conf. Learn. Represent., 2014, pp. 1–16. [^20]: J. Pont-Tuset, P. Arbeláez, J. T. Barron, F. Marques, and J. Malik, “Multiscale combinatorial grouping for image segmentation and object proposal generation,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 39, no. 1, pp. 128–140, Jan. 2017. [^21]: R. Girshick, J. Donahue, T. Darrell, and J. Malik, “Rich feature hierarchies for accurate object detection and semantic segmentation,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., Jun. 2014, pp. 580–587. [^22]: J. Dai, Y. Li, K. He, and J. Sun, "R-FCN: Object detection via region based fully convolutional networks," in Proc. Adv. Neural Inf. Process. Syst., 2016, pp. 379–387. [^23]: S. Ren, K. He, R. Girshick, and J. Sun, “Faster R-CNN: Towards real-time object detection with region proposal networks,” in Proc. Adv. Neural Inf. Process. Syst., 2015, pp. 91–99. [^24]: O. Russakovsky, J. Deng, H. Su, J. Krause, S. Satheesh, S. Ma, Z. Huang, A. Karpathy, A. Khosla, and M. Bernstein, “ImageNet large scale visual recognition challenge,” Int. J. Comput. Vis., vol. 115, no. 3, pp. 211–252, Dec. 2015. [^25]: S. Huang, L. Liu, X. Fu, J. Dong, F. Huang, and P. Lang, “Overview of LiDAR point cloud target detection methods based on deep learning,” Sensor Rev., vol. 42, no. 5, pp. 485–502, Aug. 2022. [^26]: D. Fernandes, A. Silva, R. Névoa, C. Simoes, D. Gonzalez, M. Guevara, P. Novais, J. Monteiro, and P. Melo-Pinto, “Point-cloud based 3D object detection and classification methods for self-driving applications: A survey and taxonomy,” Inf. Fusion, vol. 68, pp. 161–191, Apr. 2021. [^27]: M. Arsalan, A. Dragomir, F. John, F. John, and K. Jana, “3D bounding box estimation using deep learning and geometry,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., Jun. 2017, pp. 7074–7082. [^28]: R. Q. Charles, S. Hao, K. Mo, and J. G. Leonidas, “PointNet: Deep learning on point sets for 3D classification and segmentation,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., Jul. 2017, pp. 652–660. [^29]: R. Q. Charles, Y. Li, S. Hao, and J. G. Leonidas, “PointNet++: Deep hierarchical feature learning on point sets in a metric space,” in Proc. Adv. Neural Inf. Process. Syst., 2017, pp. 1–10. [^30]: Y. Yan, Y. Mao, and B. Li, “SECOND: Sparsely embedded convolutional detection,” Sensors, vol. 18, p. 3337, Oct. 2018, doi: 10.3390/s18103337. [^31]: W. Shi and R. Rajkumar, “Point-GNN: Graph neural network for 3D object detection in a point cloud,” 2020, arXiv:2003.01251. ## [^32]: S. Shi, L. Jiang, J. Deng, Z. Wang, C. Guo, J. Shi, X. Wang, and H. Li, “PV-RCNN++: Point-voxel feature set abstraction with local vector representation for 3D object detection,” 2021, arXiv:2102.00463 --- [^33]: S. Shi, C. Guo, L. Jiang, Z. Wang, J. Shi, X. Wang, and H. Li, "PV-RCNN: Point-voxel feature set abstraction for 3D object detection," 2019, arXiv:1912.13192. [^34]: S. Vora, A. H. Lang, B. Helou, and O. Beijbom, “PointPainting: Sequential fusion for 3D object detection,” 2019, arXiv:1911.10150. [^35]: O. Rinchi, H. Ghazzai, A. Alsharoa, and Y. Massoud, “LiDAR technology for human activity recognition: Outlooks and challenges,” IEEE Internet Things Mag., vol. 6, no. 2, pp. 143–150, Jun. 2023. [^36]: C. Xiaozhi, K. Kundu, Y. Zhu, A. G. Berneshawi, H. Ma, S. Fidler, and R. Urtasun, "3D object proposals for accurate object class detection," in Proc. NIPS, 2015, pp. 1–9. [^37]: V. A. Christine, S.-N. Jaya, and S.-N. Jaya, “Building 3D virtual worlds from monocular images of urban road traffic scenes,” in Advances in Visual Computing (Lecture Notes in Computer Science). 2021. [^38]: M. Zhu, S. Zhang, Y. Zhong, P. Lu, H. Peng, and J. Lenneman, “Monocular 3D vehicle detection using uncalibrated traffic cameras through homography,” 2021, arXiv:2103.15293. [^39]: Y. Chen, F. Liu, and K. Pei, “Monocular vehicle 3D bounding box estimation using homography and geometry in traffic scene,” in Proc. IEEE Int. Conf. Acoust., Speech Signal Process. (ICASSP), May 2022, pp. 1995–1999. [^40]: F. Chabot, M. Chaouch, J. Rabarisoa, C. Teulière, and T. Chateau, “Deep MANTA: A coarse-to-fine many-task network for joint 2D and 3D vehicle analysis from monocular image,” 2017, arXiv:1703.07570. [^41]: L. Lijie, J. Lu, C. Xu, Q. Tian, and J. Zhou, “Deep fitting degree scoring network for monocular 3D object detection,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., Jun. 2019, pp. 1057–1066. [^42]: Y. Chen, S. Liu, X. Shen, and J. Jia, “DSGN: Deep stereo geometry network for 3D object detection,” 2020, arXiv:2001.03398. [^43]: A. Simonelli, S. R. R. Bulo, L. Porzi, M. López-Antequera, and P. Kontschieder, "Disentangling monocular 3D object detection," 2019, arXiv:1905.12365. [^44]: D. Feng, C. Haase-Schütz, L. Rosenbaum, H. Hertlein, C. Gläser, F. Timm, W. Wiesbeck, and K. Dietmayer, “Deep multi-modal object detection and semantic segmentation for autonomous driving: Datasets, methods, and challenges,” IEEE Trans. Intell. Transp. Syst., vol. 22, no. 3, pp. 1341–1360, Mar. 2021. [^45]: V. S. Hikkal, “Comparative study of 3D object detection frameworks based on LiDAR data and sensor fusion techniques,” J. Phys., Conf., vol. 2232, May 2022, Art. no. 012015. [^46]: M. Sandler, A. Howard, M. Zhu, A. Zhmoginov, and L.-C. Chen, “MobileNetV2: Inverted residuals and linear bottlenecks,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., Jun. 2018, pp. 4510–4520. [^47]: P. Ding, H. Qian, and S. Chu, “SlimYOLOv4: Lightweight object detector based on YOLOv4,” J. Real-Time Image Process., vol. 19, no. 3, pp. 487–498, Jun. 2022. [^48]: H. Law and J. Deng, “CornerNet: Detecting objects as paired keypoints,” Int. J. Comput. Vis., vol. 128, no. 3, pp. 642–656, Mar. 2020. [^49]: M. Weber, M. Fürst, and J. M. Zöllner, “Automated focal loss for image based object detection,” in Proc. IEEE Intell. Vehicles Symp. (IV), Oct. 2020, pp. 1423–1429. [^50]: X. Chen, H. Ma, J. Wan, B. Li, and T. Xia, “Multi-view 3D object detection network for autonomous driving,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., Jul. 2016, pp. 1907–1915. [^51]: A. Paszke, S. Gross, S. Chintala, G. Chanan, E. Yang, Z. DeVito, Z. Lin, A. Desmaison, L. Antiga, and A. Lerer, “Automatic differentiation in PyTorch,” Tech. Rep., 2017. [^52]: I. Loshchilov and F. Hutter, “Decoupled weight decay regularization,” in Proc. Int. Conf. Learn. Represent., 2017, pp. 1–19. [^53]: S. Gugger. (2018). The 1Cycle Policy. [Online]. Available: [^54]: R. Ge, Z. Ding, Y. Hu, Y. Wang, S. Chen, L. Huang, and Y. Li, "Afdet: Anchor free one stage 3D object detection," 2020, arXiv:2006.12671. ![Image](images/27451f11fb6e3cf6462809dd6000f08dc7d66d0dcd4e7fa637af29d1237e5ef4.jpg) DUY ANH NGUYEN 获得越南河内工业大学（HCMUT）的机械工程学士学位，于 2015 年，以及新加坡南洋理工大学的博士学位，于 2020 年。他曾在韩国KAIST 先进科学技术研究院担任博士后研究员，直至 2023 年。目前，他担任河内工业大学的讲师。他也是机械工程及相关领域的科研和教育工作者。他的研究兴趣包括频率梳、光子学、计算机视觉和智能系统。 KHANG NGUYEN HOANG 目前正在越南河内 FPT 大学软件工程系攻读软件工程学位。 ![Image](images/2d42a6b6e67c0a6e107a2178c97c24f60ba3e2ee945cf6d5222e715ae1fafe48.jpg) 他的研究兴趣包括机器学习、深度学习、自主机器人和图像处理。 ![Image](images/5e2803a9899fd38b1559def210ec5a9266ae50da1ebf9f4bd7e4b0d8d5d045a8.jpg) NGUYEN TRUNG NGUYEN 目前正在越南河内 FPT 大学软件工程系攻读软件工程学位。 他的研究兴趣包括自主机器人、计算机视觉、深度学习和机器学习。 ![Image](images/bd29cdb450b89023199994409da6f3bdd2b379622a6d7f28fde44336fd8c3e52.jpg) DUY ANH NGUYEN 获得越南河内工业大学（HCMUT）的自动控制学士学位，于 2003 年，以及韩国海洋大学的硕士和博士学位，分别于 2006 年和 2009 年。他目前是河内工业大学机械工程学院的副教授。他也是机械工程、自动化、机器人和物流领域的科研和学术工作者。他的研究兴趣包括物流、自动化、机器人、机械工程、计算机视觉和制造技术。 HOANG NGOC TRAN 获得了越南河内工业大学的机械工程学士学位，于 2015 年，以及韩国成均馆大学的电气和计算机工程博士学位，于 2020 年。 ![Image](images/b7cf0e99bba2bcb14e3ca6d9bfac05f72b2b9ddab5145c887c7d06736c54706e.jpg) 从 2020 年到 2022 年，他在韩国成均馆大学电气和计算机工程系担任博士后研究员。自 2022 年起，他担任越南河内 FPT 大学软件工程系的讲师和研究员。他的研究兴趣包括信号处理、运动控制、嵌入式系统、自主机器人、计算机视觉、机器学习和深度学习。