# 推进自主性：面向安全高效系统的激光雷达赋能人体检测与跟踪 帕万·库马尔 B N IIIT 斯里城 印度 安得拉邦 切塔纳 B Aptiv，印度 班加罗尔 巴拉特什·查克拉瓦蒂 亚利桑那州立大学 美国 坦佩 拉朱·伊曼迪 IIIT 斯里城 印度 安得拉邦 贾南德拉·普拉萨德·乔希 江原国立大学 韩国 摘要——本研究阐述了一种先进的基于激光雷达的框架的开发与实现，用于自主系统中的人体检测与跟踪，可显著提升动态环境中的情境感知能力。借助高分辨率三维点云数据，本研究提出了一种全新的算法方案，融合了地平面移除、欧几里得聚类、DBSCAN聚类以及主成分分析（PCA），能够在多变条件和遮挡场景下鲁棒地识别与跟踪人体目标。该框架通过一系列搭载Velodyne HDL-32激光雷达系统的现场测试得到验证，结果表明其在实时人体跟踪中拥有更高的精度与计算效率。研究结果凸显了激光雷达在提升自动驾驶汽车、机器人以及监控系统的安全性和可靠性方面的关键作用，能够有效应对真实世界运行环境的复杂性。我们的试点研究为自主导航技术未来的发展提供了可扩展的模型。 关键词——LiDAR、目标检测、自动驾驶、人体检测 ## 一、引言 激光雷达（Light Detection and Ranging，LiDAR）技术彻底革新了自动驾驶汽车与机器人的感知系统，能够提供导航与目标检测所必需的高分辨率三维环境数据。该技术的工作原理是发射激光束，并测量激光束撞击不同表面后反射返回所需的时间。这种方法可以生成周边环境的精细三维地图，这对车辆、无人机、机器人等自主系统的安全高效运行至关重要。这些能力让这类系统能够准确检测并跟踪目标，尤其是人体，而这对保障安全与运行效率至关重要 [^1] [^2] [^3]. 近年来随着技术发展，激光雷达的可靠性和精度都得到了显著提升，应用范围也从自主导航等传统领域不断拓展，现已覆盖森林管理、城市规划和远程环境监测等多个领域。尽管取得了这些进步，人体运动的动态特性以及自主系统运行环境的复杂性仍带来了诸多持续挑战，包括处理遮挡（目标被部分遮挡的情况），以及让系统能够响应快速变化的环境条件。这些都是影响该技术检测跟踪人体目标可靠性的核心问题。 针对这些挑战，本文提出了一个成熟先进的前沿框架，该框架依托增强的LiDAR数据处理算法，可在多种运行场景下显著提升人体检测与跟踪效果。我们的方法区别于现有模型，它整合了先进计算技术，能够有效处理遮挡问题并适应环境变化。这一研究方向不仅填补了当前LiDAR应用领域的一项重大空白，还提升了系统在复杂真实场景中的性能。图1展示了 ![Image](images/d3718c82a6c77740bed839f50601d60e5d0e512151d105e1b5f4455e77b28c46.jpg)
Fig. 1. Overview of the proposed pilot human detection and tracking platform
本文基于LiDAR的人体检测与跟踪系统所采用的完整分步研究方法。该图清晰呈现了流程的每个阶段，从初始数据采集开始，即由LiDAR传感器捕获三维点云数据。在此之后，数据会经过多个处理步骤：首先，移除地平面以将人体与地面分离；其次，结合欧氏方法和DBSCAN聚类法将数据分割为多个簇，识别潜在人体目标；最后，应用PCA实现精准跟踪和运动分析。这种结构化方法确保了对周边环境的每个元素都进行系统分析。 --- 能够在复杂动态环境中实现准确、可靠的人体运动跟踪。 本研究的主要贡献在于开发了一套算法框架，旨在优化基于LiDAR的人体检测与跟踪的准确率和效率。我们在多种不同场景下开展了严谨的实地测试以验证所提方法，研究结果表明，自主系统的环境感知能力得到了显著提升。这些改进大幅增强了自动驾驶汽车、机器人和监控系统的安全性和运行可靠性，是基于LiDAR技术部署与可扩展性发展过程中的重要一步。 ### 二、相关研究 机器自动实现人员识别和属性估计并非新近发展的技术。本研究对这类技术应用进行了浅层次梳理，将其起源追溯至相机技术的早期发展阶段。人工智能与智能系统的融合推动了这一领域的演进，赋予了这类系统出色的能力。 ### A. 基于摄像机的检测与跟踪 现如今，视频监控系统至关重要，被广泛应用于军事、国防、公共安全和私人机构的安全保障工作。当前这类系统的研究核心是人员等目标的检测与跟踪[^4]。在视频中进行人员跟踪颇具挑战性，因为人员会出现在不同角度、处于不同光照条件下[^5] [^6] [^7] [^8]。此外还存在其他难点：人员可能被其他物体遮挡，且自身姿势和尺寸也会变化。使用视频进行检测跟踪的另一个问题是单摄像头只能覆盖有限区域，因此通常需要部署多台摄像机。 人员实时跟踪是另一个棘手问题。基于视频的人员跟踪以及属性估计等相关工作难度较大，若是摄像机网络，会持续产生大量数据，处理难度很高。此外还存在遮挡、人员姿势变化等问题，这些都会降低实时系统的运行效果。 ### B. 基于红外传感器的检测与跟踪 红外辐射的发现可以追溯到18世纪初，因发现天王星而闻名的FW·赫歇尔爵士首次揭示了它的存在。这种独特的辐射形式可用于通信、测距等多种用途。如今，传感器技术的创新让人们能够识别邻近区域的物体属性。利用红外传感器追踪人员是一个新兴概念，相关应用正不断涌现。2005年的一项研究就展示了这一技术创新的实例，该研究提出了一种基于贝叶斯网络、利用红外传感器进行人员监测的方法 [^9]。 该实现方案对环境变化表现出良好的适应性，可支持高安保要求监控场景下的远程追踪。已有学者研究了将低分辨率热红外（I.R.）传感器 [^10] 集成到多模态传感器阵列中用于人员追踪的方案。通过集成高性价比的I.R.传感器，该方案实现了计算高效、运行成本低廉且精度更高的效果。与单独使用RGB相机的追踪机制相比，这种融合方案的准确性得到了提升。 采用红外传感器装置不仅便于人员追踪，还可通过积累大量时间序列数据提取人类行为信息 [^11]。研究者提出的框架给出了一套基于红外传感器数据分析个人习惯行为的方法。该方法强调，要有效观察真实的人类行为，必须进行长期数据采集。但需要指出的是，当存在多个关注目标时，在低成本网络中实现多目标精准追踪仍颇具挑战。 ### C. 基于热成像相机的检测与跟踪 热成像是通过捕获空间中物体反射、透射和发出的辐射获得的。热成像相机因被动工作的特性而备受青睐，它仅与物体自身的红外辐射产生作用。然而，由于环境中存在多种辐射源，从周边环境生成热图像仍面临诸多挑战。热成像在点成像领域具有特殊适用性，能够检测出一个区域内的温度差异。因此，它适用于高温区域，其在包括夜视在内的军事场景中的应用，也凸显了它的监控能力。随着成本不断下降，热成像相机已在各类应用中得到广泛采用。已有综述文章对其应用场景进行了探讨，梳理了其战略部署方式，并展望了其广阔的发展前景 [^12]。 热成像相机已被证明在人员追踪和精准检测方面表现出色 [^13], [^14], [^15]，现已成为公认的成熟技术工具。然而，该类系统在变化检测、背景减除等方面仍面临挑战 [^16]。目前持续存在的一个挑战是，该系统通常需要训练阶段，这并非在所有使用场景中都能实现。 ### D. 基于LiDAR的检测与跟踪 激光成像探测与测距（LiDAR）传感器现已成为可靠且价格亲民的测距传感器，能够以可观的帧率（约20-30 Hz）提供动态环境信息，可满足实时处理的要求。每次扫描得到的是一个由数百个整数组成的短数组。这类LiDAR传感器分为两类，其中3D LiDAR尤其擅长采集视觉数据，而目前针对2D LiDAR传感器的研究较为有限。 --- 2D LiDAR传感器的实用性主要源于其高性价比和易于处理的特点。这类传感器成本低廉、管理简便，此外隐私因素也是其重要优势。3D LiDAR采集的视觉信息可能会侵犯隐私，而2D LiDAR传感器仅记录二维平面内的距离值，这保证了个人信息不会泄露，隐私泄露风险极低。值得注意的是，此前的相关研究大多围绕相机或3D LiDAR传感器展开。 ### 三、所提出试验平台的实现与评估 本文的人体检测与跟踪平台详见图1，该图将我们的研究方法拆解为结构化的逻辑模块。图2通过流程图进一步展示了整个处理流程，说明了各个模块如何处理三维点云数据，以实现人体检测与跟踪。整套系统输入由地面架设的3D LiDAR采集得到的三维点云数据序列，输出与人体跟踪相关的信息。 ![Image](images/f5add7a541904afd10d10267902e942cd0999491c9c3402911fcff188788426d.jpg)
Fig. 2. Flow diagram of the proposed platform showing the connections between each module.
LiDAR数据读取 本文方法采用Velodyne HDL 32 LiDAR系统实现精准的人体检测与跟踪，采集的数据存储为PCAP格式。每次扫描都会生成一幅精细的三维点云，这是我们传感器处理流水线中实现高效处理和快速索引的基础。 为了高效管理这些数据，我们使用了MATLAB的pointCloud对象，该对象通过K-d树结构组织数据。velodyneFileReader可用于为每次LiDAR扫描生成结构化的pointCloud表示。pointCloud对象的Location属性以米为单位记录X、Y、Z坐标，Intensity属性则记录点的强度值。 我们借助MATLAB的pcplayer对象实现流式点云数据的动态可视化，该对象允许我们指定并显示车辆周边区域，优化了LiDAR系统采集数据的可视化效果。 地面平面检测与移除 我们数据处理流水线的第一步是检测并移除地面平面，这是分离和识别潜在障碍物的关键任务。该步骤通过MATLAB的segmentGroundFromLidarData函数实现，该函数利用连通分量算法标记并分离地面点与数据中的其他元素。该分割处理使得后续分析可以仅聚焦于代表潜在障碍物的点。 点云数据的分割/聚类 去除地面点后，剩余点云会被分割为不同的独立簇。为了高效整理这些簇，我们采用两种先进聚类技术：欧几里得聚类 [^16] 和DBSCAN聚类 [^17]。欧几里得聚类根据点的邻近程度对点分组，通过指定的距离阈值生成聚类结果。相比之下，DBSCAN擅长基于密度识别任意形状和大小的簇，能有效将密集点与稀疏点分离开。这种双方法策略让我们能够自适应地将点云数据结构化为定义清晰、连贯的簇，方便后续进一步分析。 每个簇都会通过主成分分析（PCA）进行严格分析。PCA可用于检验簇在连续帧之间的空间一致性。位置或组成没有发生显著变化的簇被归类为静态簇，代表环境中的不可移动物体。反之，在后续帧中出现或位置发生变化的簇被标记为动态簇，代表存在潜在运动。这种精细分类有助于对静态和动态物体进行精确跟踪与分类，提升了系统准确监测动态环境的能力。 人体检测与跟踪 我们的系统对激光雷达传感器输出的连续数据流进行细致处理，分析每一帧的变化。当在某一帧的特定位置检测到目标物体，记为$(x_{n-1}, y_{n-1}, z_{n-1})$，我们预计该物体将出现在下一帧n的新位置$(x_n, y_n, z_n)$。这些位置数据是估计物体运动轨迹的基础，十分关键。通过逐帧系统标记这些位置，我们的系统为每个检测到的物体构建出详细轨迹。这种轨迹映射对于理解监测区域内人体和其他动态物体的运动模式至关重要，可为研究它们的行为以及与周边环境的交互提供宝贵参考。 ### 四、实验结果 在本次初步研究中，我们在真实场景下实现并测试了所提出的基于激光雷达的人体检测与跟踪框架。利用激光雷达传感器提供的完整三维点云数据，我们的方法能够在多种不同作业场景下准确识别和跟踪人体目标。本研究的核心目标是通过实现鲁棒的检测跟踪能力，提升自动驾驶汽车、机器人和监控系统的安全性与可靠性。 为了严格评估该框架的有效性，我们开展了实地研究，将激光雷达系统固定在地面采集环境数据。该设置让我们能够模拟自动驾驶 --- 和监控系统实际可能遇到的场景，为我们的方法提供了实用的测试平台。 图3至图6展示了本次实验的结果，突出了我们的方法在复杂环境中检测和跟踪物体的能力。实验结果证实，我们的框架可以有效将人体与背景元素区分开，保持准确的实时跟踪，并且能够适应遮挡、环境杂乱等多种不同场景。这些结果验证了我们的系统在实际部署中的可行性，为未来的功能改进和更广泛的应用铺平了道路。 需要指出的是，由于本项目是一项初步试点研究，实验均在相对理想的条件下开展。我们计划拓展本研究范围，纳入更具挑战性、环境波动更大的场景，这将有助于进一步完善该技术，确保其在更广泛的条件下保持有效性。 ![Image](images/14b27b2cb97a28497ccf9f193488162f443b0465aefd2613f15cf1bbc1ab22ea.jpg)
Fig. 3. Visualization the LiDAR captured raw point cloud data.
![Image](images/9809657bd1c9b0ab4cb580b72e8dfd4536b97afc0e100738a9953bb72ef18ee8.jpg)
Fig. 4. Visualization of the point cloud data after removing the ground data.
![Image](images/a9212651ac4245ca18325dd9e69b7c095a8bc322757ea92caa205f65be384ea4.jpg)
Fig. 5. Visualization of the point cloud data after forming the clusters.
![Image](images/718e7050d36f241357ccf0a4ab7a20440edc89fbe3bfe6435d3922248d0c6ac2.jpg)
Fig. 6. Visualization of the detected moving objects.
### 五、结论 本试点研究考察了LiDAR技术在自主系统中检测和跟踪运动目标（尤其是人类）的有效性。研究结果表明，我们提出的基于LiDAR的方法能够在多样环境中成功识别和跟踪目标。尽管本工作主要聚焦于检测与跟踪环节，未来的改进将整合机器学习技术，进一步区分不同目标类别——尤其将人类与其他运动实体区分开。这些改进有望大幅提升自动驾驶汽车、机器人技术和监控应用的可靠性与安全性。因此，本研究为更先进的、可在广泛真实工况下稳定运行的基于LiDAR的自主系统奠定了基础。 --- ## 参考文献 [^1]: Pierzchała, M.; Giguère, P.; Astrup, R. Mapping forests using an unmanned ground vehicle with 3D LiDAR and graph-SLAM. Comput. Electron. Agric. 2018, 145, 217–225. [^2]: Zhu, Q.; Chen, L.; Li, Q.; Li, M.; Nüchter, A.; Wang, J. 3D LIDAR point cloud based intersection recognition for autonomous driving. In Proceedings of the 2012 IEEE Intelligent Vehicles Symposium, Madrid, Spain, 3–7 June 2012; pp. 456–461. [^3]: VanVoorst, B.R.; Hackett, M.; Strayhorn, C.; Norfleet, J.; Honold, E.; Walczak, N.; Schewe, J. Fusion of LIDAR and video cameras to augment medical training and assessment. In Proceedings of the 2015 IEEE International Conference on Multisensor Fusion and Integration for Intelligent Systems (MFI), San Diego, CA, USA, 14–16 September 2015; pp. 345–350. [^4]: Hou, Li, Wanggen Wan, Jenq-Neng Hwang, Rizwan Muhammad, Mingyang Yang, and Kang Han. "Human tracking over camera networks: a review." EURASIP Journal on Advances in Signal Processing 2017, no. 1 (2017): 1-20. [^5]: Bergmann, Philipp, Tim Meinhardt, and Laura Leal-Taixe. "Tracking without bells and whistles." In Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 941-951. 2019. [^6]: Bochinski, Erik, Volker Eiselein, and Thomas Sikora. "High-speed tracking-by-detection without using image information." In 2017 14th IEEE international conference on advanced video and signal based surveillance (AVSS), pp. 1-6. IEEE, 2017. [^7]: Henschel, Roberto, Yunzhe Zou, and Bodo Rosenhahn. "Multiple people tracking using body and joint detections." In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops, pp. 0-0. 2019. [^8]: Zhang, Yifu, Peize Sun, Yi Jiang, Dongdong Yu, Fucheng Weng, Zehuan Yuan, Ping Luo, Wenyu Liu, and Xinggang Wang. "Bytetrack: Multi-object tracking by associating every detection box." In European Conference on Computer Vision, pp. 1-21. Cham: Springer Nature Switzerland, 2022. [^9]: T. Hosokawa, M. Kudo, 2005. Person Tracking with Infrared Sensors. In: Khosla R., Howlett R.J., Jain L.C. (eds) Knowledge-Based Intelligent Information and Engineering Systems. KES 2005. Lecture Notes in Computer Science, vol 3684. Springer, Berlin, Heidelberg. 10.1007/11554028_95. [^10]: Kumar, Suren, Tim K. Marks, and Michael Jones. "Improving person tracking using an inexpensive thermal infrared sensor." In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops, pp. 217-224. 2014. [^11]: Honda, Seiichi, Ken-ichi Fukui, Koichi Moriyama, Satoshi Kurihara, and Masayuki Numao. "Extracting human behaviors with infrared sensor network." In 2007 Fourth International Conference on Networked Sensing Systems, pp. 122-125. IEEE, 2007. [^12]: Gade, R. and Moeslund, T.B., 2014. Thermal cameras and applications: a survey. Machine vision and applications, 25, pp.245-262. [^13]: Berg, A., Ahlberg, J., Felsberg, M. (2015). A thermal infrared dataset for evaluation of short-term tracking methods [^14]: Berg, Amanda, Kristoffer Ofjäll, Jörgen Ahlberg, and Michael Felsberg. "Detecting rails and obstacles using a train-mounted thermal camera." In Image Analysis: 19th Scandinavian Conference, SCIA 2015, Copenhagen, Denmark, June 15-17, 2015. Proceedings 19, pp. 492-503. Springer International Publishing, 2015. [^15]: Berg, Amanda, Jorgen Ahlberg, and Michael Felsberg. "Channel coded distribution field tracking for thermal infrared imagery." In Proceedings of the IEEE Conference on computer vision and pattern recognition workshops, pp. 9-17. 2016. [^16]: T oyama, Kentaro, John Krumm, Barry Brumitt, and Brian Meyers. "Wallflower: Principles and practice of background maintenance." In Proceedings of the seventh IEEE international conference on computer vision, vol. 1, pp. 255-261. IEEE, 1999. [^17]: Wen, Long, Lei He, and Zhenhai Gao. "Research on 3D point cloud distortion algorithm and its application on Euclidean clustering." IEEE Access 7 (2019): 86041-86053. [^18]: Tran, Thanh N., Klaudia Drab, and Michal Daszykowski. "Revised DBSCAN algorithm to cluster data with dense adjacent clusters." Chemometrics and Intelligent Laboratory Systems 120 (2013): 92-96.