# 基于2D-LiDAR的站立人体检测方法
渡边拓也
神奈川工科大学
日本 厚木市
寺岛义明
创价大学
日本 八王子市
清原良三
神奈川工科大学
日本 厚木市
摘要——近年来，自动驾驶车辆技术得到了广泛开发，各类相关技术已被应用于安保巡逻自动车、引导机器人、配送车等设备中。多种人体检测技术对这类机器人作业车而言至关重要，目前已有大量研究聚焦于规避与人类及其他障碍物的碰撞。而对于安保巡逻机器人来说，区分人类与其他障碍物的技术尤为重要。本文提出一种使用2D-LiDAR的站立人体检测方法，以实现成本控制。文中将详细介绍该方法，并展示评估结果。
关键词——2D-LiDAR、人体检测、安保巡逻机器人、自动配送车
## 一、引言
我们计划在神奈川工科大学（KAIT）校园内引入自动作业车。引入自动车的目的是降低校园配送、校园清洁和安保巡逻的成本。如图1所示，该校园包含10余栋建筑、户外广场以及运动场地。
校园内各建筑需要配送各类物资，从轻质纸张到重型货物都有需求，因此无人机
Fig 1. Map of KAIT Campus
并不适用。而自动车必须谨慎运行，才能避免碰撞到人类或其他障碍物。
配送和清洁用自动车主要在白天运行，但承担安保巡逻任务的自动车还需要在夜间作业。因此，这类自动车必须无论昼夜都能检测到人类和障碍物，其中安保巡逻任务尤其需要识别并区分出可疑人员。
目前已有多种可用于人体检测的设备，相机是最常用的一类。针对人体检测的图像处理，已经开展了大量基于人工智能（AI）技术的研究。但相机依赖光源，因此相机器件不适用于夜间场景。自动驾驶车辆会使用仅需少量光照的高灵敏度相机，但这种方案应用在自动作业车上成本过高。
我们曾使用低成本网络相机开展夜间人体检测实验，结果发现即使存在一定光照，也很难检测到近距离的人体。
热成像相机可用于夜间，但很难在发热障碍物附近检测出人体。因此我们为自动车采用了激光探测与测量（LiDAR）技术。自动车需要安装3D LiDAR来实现同时定位与建图（SLAM），该技术用于生成自动移动所需的地图。因此，如果3D LiDAR可同时用于人体检测，就不需要额外增加传感器成本。
LiDAR的传感数据是用于展示障碍物相对于LiDAR位置的点云数据。三维LiDAR的点云数据量过大，因此计算成本过高。据此我们提出了一种结合三维LiDAR部分点云数据与多个二维LiDAR的人体检测方法。
### II. LiDAR与SLAM
在自主移动的定位过程中，地图维护十分重要。因此，自主小车在没有地图的未知空间中移动十分困难。能够同时生成地图并完成定位的SLAM技术非常实用。自动驾驶汽车要投入运行，必须提前使用SLAM技术生成区域地图。
---
SLAM技术利用LiDAR构建相对障碍物地图，利用GPS、蓝图或其他方法完成定位。
LiDAR向四周发射光线，探测物体反射回的光线，再利用光的相位差计算距离。也就是说，LiDAR可以获取相机图像数据无法提供的三维数据。图2展示了三维LiDAR的点云数据，图3展示了二维LiDAR的点云数据。三维LiDAR的点云数据量过大，如果仅使用少量点云数据就能检测出人类的双腿双臂特征，就可以降低计算成本。
### III. 巡逻
图1展示了KAIT校园，该校园内有多栋建筑。2号楼和5号楼仅用于授课，其余建筑内设有教室、教授个人办公室以及行政人员办公室。
Fig. 2. Example of pointcloud data from 3D-LiDAR
Fig. 3. Example of pointcloud data from 2D-LiDAR
白天，巡逻的主要目的是识别包括违规停车在内的可疑目标。白天校园内有大量学生、教师、行政人员和周边居民，这类人员进入校园无需经过准入确认流程。但除讲堂外，所有房间都会上锁，仅获得授权的师生可以进入。
夜间，仅获得许可的师生可以留在校园内，因此需要提供巡逻服务。此类巡逻的目的已在第1节中说明。
### IV. 相关研究
识别可疑人员十分困难，但机器人也可能会遇到非恶意人员，这类人员并不认为自己的行为是违法的。我们希望机器人能够对非恶意人员进行威慑和识别。非恶意人员的例子包括迷路的老人和儿童。
目前已有大量关于人体检测的研究，基于图像处理的人体检测是最常用的方法之一。近年来的相机和AI技术可以高精度检测人体[^1][^2]。这些研究大多聚焦于人脸识别或动作识别。已有研究对单目相机的行人检测工作做了综述[^3]。但对于多数校园场景来说，基于相机的图像处理技术很难应用于人体检测。校园环境明暗区域交错，使用低成本相机处理图像颇具挑战性。
目前已有多项关于使用3D-LiDAR进行人体检测的研究。面向自动驾驶车辆、基于3D-LiDAR的行人识别[^4]采用支持向量机（SVM）完成人体检测。其他研究方法将3D LiDAR当作多个2D-LiDAR使用[^5]。该研究从多个不同高度采集点云数据，最高实现了96%的分类准确率。使用精简点云数据的一个案例是将目标的三维点云分割为躯干和腿部两个部分，从而实现鲁棒的原位行人识别[^6]。
所有上述研究都使用三维点云数据，这类方法需要性能强劲的CPU。由于3D LiDAR可以获取整个人体的点云，因此无论衣物这类外形特征如何变化，都可以识别出人体。但对于高度相近的采集位置，并不需要获取多组不同的人体形态。因此，本研究提出一种使用多个2D-LiDAR的人体检测方法，以降低计算成本。
在先前的一项研究[^7]中，我们提出了一种基于低分辨率2D-LiDAR和PointNet自编码器的人体检测方法[^8]。我们使用2D-LiDAR在90cm高度（该高度被认为是人类典型的腰部高度）分别从正面和侧面采集数据。所提方法成功检测到激光雷达5米范围内的人体。但机器人应用需要实现远距离检测，本研究针对该问题展开了研究。
---
### 五、人体特征与本文提出的方法
本文使用的人体特征不仅包括先前研究中提到的人类腰部凸出形态[^7]，还加入了双腿的形态特征。加入双腿特征的原因是人们的着装会随季节发生变化：炎热季节衣物较薄，容易获取真实的人体轮廓；而寒冷季节衣物较厚，难以获取人体原本的形态。
脚部很少会穿戴多层衣物，因此无论寒冷还是炎热季节都能得到相似度较高的脚部轮廓。据此我们假设，结合躯干和脚部的形态特征，无论着装如何变化都可以识别出人体。
### 六、预实验
### A. 实验设备
本实验使用的2D LiDAR为RP-LiDAR A1M8 [^9]。这款低成本激光雷达系统最远可采集12米距离内的数据。不过在远距离条件下，可采集的点云数量会下降，但只要采集时间充足，该问题不会对实验造成影响。
实验所用的自主移动小车搭载了Jetson-AGX [^10]和便携式电源。由于该CPU同时还要运行SLAM，若在同一设备上同时运行SLAM和人体检测计算，整体性能会下降。若使用多个设备，则会增加功耗，影响小车的续航时间。因此我们的目标是降低所需计算量，实现小车长时间运行。
### B. 基础实验
实验所用数据包含人体、墙壁和两根木棍，如图4和图5所示。数据学习阶段我们使用了MATLAB中提供的三维点群分类方法[^11]。
Fig. 5 Two sticks
由于2D LiDAR只能获取x坐标和y坐标维度的二维信息，因此z轴坐标可对采集到的数据进行补充。
图6展示了输入MATLAB后的点云信息。我们确认，用于评估的152组数据均已被正确分类为人体，因此我们可以通过腰部和腿部的形状实现人体检测。
### C. 多环境下的实验
通过基础实验我们证实：当人体正对2D LiDAR、且人体与2D LiDAR之间距离固定时，2D LiDAR可以检测到人体，但这种条件很难实现。此外，该方法难以区分与人体形态相似的树木和人类，另外MATLAB运行需要占用大量CPU资源。因此，我们重复开展了实验，以实现准确的人体检测。
Fig.4 Example of human
Fig. 6 Pointcloud data for input
---
为了验证能够区分人类与树木的差异，我们引入了PointNet技术 $^{[11]}$。
## 1 ) 激光雷达与人体的不同距离
我们测试了不同距离下人体检测的召回率。我们调整激光雷达的传感时间，使各场景下点云密度一致。在1 m至6 m的距离范围内，我们为每个距离准备了两类训练数据，分别为正面视角腰部和侧面视角腰部。实验设置数据点数量为150，训练轮次epochs设置为200。图7展示了实验的召回率结果：正面腰部的检测效果优于侧面腰部；而当距离超过6 m时，召回率较差，这是由点云数据密度较低导致的。
## 2 ) 人体是否穿着外套
我们针对人体是否穿着外套的情况开展了测试。图8和图9分别展示了人体未穿外套和穿着外套的场景。实验结果表明，服装对人体检测的影响不大，但训练数据应当包含不同体型和不同服装的样本。
Fig.7 Recall rate at each distance
Fig. 8 Pointcloud data without jacket
Fig9. Pointcloud data with jacket
### VII. 实验
### A. 多方向下的实验
通过预实验我们发现，利用正面视角下的腰部和腿部信息可以检测到站立的人体，但该方案要求机器人小车必须行进在人体前方，并不具备现实可行性。
首先，我们按照图4所示的方式，将激光雷达放置在站立人体前方采集数据：我们使用距离激光雷达1.5 m处的人体和树木点云数据进行训练，再使用距离激光雷达3 m处的人体和树木点云数据进行测试。图10展示了距离1.5 m处人体样本的学习过程，图11展示了用于学习和评估过程的点云数据。
Fig. 10 Learning process with standing front of LiDAR
Fig. 11 Evaluation with standing front of LiDAR
---
我们从激光雷达采集的原始点云数据中去除了背景、其他行人等噪声，如图12所示。
随后，人体转身$45^{\circ}$后被放置在激光雷达前方，如图13所示。图14展示了评估结果。该结果表明，即使模型使用激光雷达采集的正面站立人体数据训练，能够区分出人体，但区分效果仍然不佳，原因就是腿部特征不够清晰。
### B. 多姿态下的实验
我们针对不同姿态下的人体检测开展了实验。站立的人体可能呈现多种姿态，例如图15所示的双手抬起姿态。图16展示了人体背对LiDAR且抬起双手的情况，图17则给出了点云数据与评估结果。
Fig. 15 Standing with raising both hands
Fig. 12 Noise have been removed
Fig. 13 Human turned $45^{\circ}$ and standing in front of LiDAR
Fig. 14 Evaluation - standing turned $45^{\circ}$
Fig. 16. Standings their backs of LiDAR
Fig 17 Evaluation with humans standing with their backs
使用两台LiDAR即可完成人体检测，这是因为此时双腿的特征清晰。因此，如果双腿特征不清晰，就难以清晰检测不同姿态的人体；而在这类情况下，即便使用3D-LiDAR也难以实现清晰的人体检测。
### 八、结论
我们验证了一种供安防自主推车使用的基于2D-LiDAR的人体检测方法，并在多种场景下开展了实验。多数情况下，清晰检测人体存在难度。但当判定有人存在的可能性较高时，机器人推车可行进
---
至人体前方。因此，该方法具备实用价值，还能够降低计算成本。
未来，我们将针对更多实际场景和自主机器人推车开展进一步实验。此外，区分可疑人员与授权人员是一项重要的研究内容。
## 参考文献
[^1]: R. Chellappa, C. L. Wilson and S. Sirohey, "Human and machine recognition of faces: a survey," in Proceedings of the IEEE, vol. 83, no. 5, pp. 705-741, 1995,
[^2]: Ronald Poppe, "A survey on vision-based human action recognition," Image and Vision Computing, Vol 28, Issue 6, pp. 976-990, 2010.
[^3]: M. Enzweiler and D. M. Gavrila, "Monocular Pedestrian Detection: Survey and Experiments," in IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 31, no. 12, pp. 2179-2195, 2009.
[^4]: Heng Wang, Bin Wang, Bingbing Liu, Xiaoli Meng, Guanghong Yang,"Pedestrian recognition and tracking using 3D LiDAR for
自动驾驶车辆，《Robotics and Autonomous Systems》，Vol. 88，pp. 71-78，2017年
[^5]: L. Spinello, K. Arras, R. Triebel, and R. Siegwart, “A Layered Approach to People Detection in 3D Range Data”, AAAI, vol. 24, no. 1, pp. 1625-1630, 2010.
[^6]: N. Kirchner, A. Alempijevic and A. Virgona, "Head-to-shoulder signature for person recognition," 2012 IEEE International Conference on Robotics and Automation, pp. 1226-1231, 2012
[^7]: Y. Nagai, Y. Sawano, Y. Terashima, T. Suzuki and R. Kiyohara, "A Method for Detecting Human by 2D-LiDAR," 2022 IEEE International Conference on Consumer Electronics (ICCE), 2022, pp. 1–2
[^8]: charlesq34,
[^9]: RPLIDAR A1,
[^10]: Jetson-AGX,
[^11] 使用Pointnet对点云进行分类，