# 基于 2D LiDAR 的静止人体检测方法
Haruki Mochizuki
神奈川技术研究所研究生院
神奈川技术学院
日本足利
Ryozo Kiyohara
神奈川技术学院
日本足利
摘要：自 COVID-19 疫情以来，日本各行业面临劳动力短缺问题。特别是安保行业，正面临严重的劳动力短缺问题。大学的安保工作也受到安保人员不足的影响。另一方面，机器人技术正在发展，不仅可以执行简单的任务，还可以执行涉及与人类互动的任务。特别是，机器人有望应用于巡逻安保，因为这项工作需要大量人员，而且大部分工作涉及确认是否存在问题。只有在无法确认没有问题的情况下，安保人员才需要去那里。因此，确认的准确性和引入和运营成本成为问题。已经建立了利用安装在机器人上的 3D-LiDAR（激光雷达）相机进行人体识别的技术。但是，如何在昏暗的环境中使用以及使用低成本 2D-LiDAR 的识别技术尚未建立。本文提出了一种使用 2D-LiDAR 的人体识别方法，该方法扩展了先前研究的技术，并提出了我们的评估结果。
关键词：人体识别，LiDAR，机器人，安保人员
## I. 引言
自 COVID-19 疫情以来，日本各行业面临劳动力短缺问题 [^1]。安保行业，特别是由于工作环境恶劣，涉及在清晨、夜晚和户外工作，而面临严重的劳动力短缺问题。由于 COVID-19 的影响，设施已关闭，安保公司的价格竞争也产生了影响，而且工资低，职业发展困难。大学的安保工作也受到安保人员不足的影响。因此，必须尽可能减少安保人员的巡逻任务。
另一方面，机器人技术正在发展，不仅可以执行简单的任务，还可以执行涉及与人类互动的任务。特别是，机器人有望应用于巡逻安保，因为这项工作需要大量人员，而且大部分工作涉及确认是否存在问题。例如，在日本，为在餐厅提供食物的机器人，会在人群中移动 [^2]。
在安保方面，如果机器人无法确认没有问题，则需要安保人员去检查。为了减少这种情况，提高确认的准确性是绝对的要求。此外，还必须尽可能降低机器人的引入和运营成本。已经建立了利用安装在机器人上的 3D-LiDAR（激光雷达）相机进行人体识别的技术，并且已投入使用 $^{[3][4]}$。但是，尚未建立用于在光线不足的环境中使用或用于低成本 2D-LiDAR 识别的技术。
我们已经提出过几种使用 2D-LiDAR 进行人员识别的方法[^5][^6]。我们已经提出过几种方法[^7][^8]。然而，存在一些条件和准确性问题。在本文中，我们提出了一种使用 2D-LiDAR 进行人员识别的方法，它是我们先前研究技术的扩展。
### II. LiDAR
目前有几种设备可用于检测人类。摄像头是最常用的。许多研究都针对图像处理中的人工智能 (AI) 技术进行人员检测。但是，摄像头需要光源。因此，摄像头设备不适合夜间使用。自动驾驶汽车使用高灵敏度摄像头，但这些摄像头只需要少量光。但是，对于机器人而言，使用这种方法作为安保人员成本很高。我们使用低成本的网络摄像头在夜间进行人员检测实验，即使在有少量光的情况下，也很难检测到距离较远的人。可以使用热传感器摄像头在夜间进行检测。但是，很难检测到靠近热源的人。因此，我们采用 LiDAR 技术。3D-LiDAR 必须安装在机器人上进行同步定位和建图 (SLAM)，从而创建地图以进行自主移动。因此，如果它们也可以用于人员检测，则无需额外的传感器成本。
LiDAR 的传感数据是点云数据，显示了 LiDAR 相对于物体的距离。3D-LiDAR 的点云数据量太大。因此，计算成本太高 $^{[9]}$。然后，我们提出了一种使用 3D-LiDAR 的部分点云数据以及多个 2D LiDAR 进行人员检测的方法。
LiDAR 会向周围发射光，并检测物体反射的光。然后，LiDAR 使用光的相位差来计算距离。换句话说，LiDAR 可以获取摄像头图像数据所不具备的 3D 数据。图 1 显示了 3D-LiDAR 的点云数据，
---
图 2 显示了 2D-LiDAR 的点云数据。3D-LiDAR 的点云数据量太大。如果可以使用少量点云数据检测到人类的两条腿和两条手臂，则可以降低计算成本。
### III. 机器人作为安保人员
### A. KAIT 校园巡逻
本节描述了在我们的校园中使用的巡逻目标。图 3 显示了 KAIT 校园。校园内有许多建筑物。编号 2 和 5 的建筑物仅用于授课。其他建筑物有讲堂、教授的个人房间和办公室人员的房间。
白天，巡逻的主要目的是发现可疑物品，例如违规停车。由于白天校园内有许多学生、教师、办公室工作人员和附近居民，因此他们无需经过入场和确认程序即可进入校园。但是，除了讲堂外，所有房间都已锁上，只有获得批准的学生和教师才能进入。
在夜间，只有获得许可的教师和学生才能留在校园内。因此，需要巡逻服务。这种巡逻服务的目的如前所述。
Fig1 Example of point-cloud data (3D-LiDAR)
Fig2 Example of point-cloud data (2D-LiDAR)
Fig. 3 Map of KAIT campus
目前，安保人员在夜间在校园建筑物外进行多次巡逻。此外，他们还会为了其他目的巡逻建筑物内部。因此，如果发生问题，他们无法进行巡逻。
因此，我们研究了一种在校园内引入巡逻机器人的方法。 这台机器人白天用作送货和导览机器人。 晚上，这台机器人用作巡逻机器人。 引入这种机器人的主要目的是降低成本。 另一个目的是确保安全巡逻。 当发现有人跌倒时，巡逻机器人可能需要戴上防毒面具。 如果机器人具有气体传感器，则可以将此类信息发送到控制中心。 图 4 显示了我们研究的目标。
控制中心通过 Wi-Fi 控制停车、充电和通信空间。 建筑物之间以及建筑物周围（例如，长椅和垃圾箱）存在许多物体。 我们计划在每个建筑物之间安装 5G 设备。 在这些区域，发现人类的可能性大于其他区域。 因此，机器人应该能够使用 5G 连接到控制中心。
Fig. 4 Image of our campus
---
很难发现可疑人员。 但是，机器人可能会遇到非恶意人员。 因为，他们可能没有意识到这个人没有问题。 因此，我们希望机器人能够震慑和发现非恶意人员。 非恶意人员的例子包括迷路的年长者和儿童。
### B. 当前巡逻
目前，许多巡逻系统由人工巡逻员和监控摄像头组成。 这些摄像头显示周围环境和信息，供保安人员使用。 此外，摄像头用于威慑。 但是，保安人员必须决定在每个情况下采取什么行动，这需要他们对系统进行操作。 这意味着保安人员受到时间限制。 此外，在夜间或恶劣天气条件下，分析监控摄像头拍摄的静态图像并非易事。
### C. 机器人
我们计划引入各种用途的机器人。 这些机器人基于小型自动车辆，并配备多种传感器：
GPS
用于对象检测的 2D 和 3D LiDAR
红外摄像头
此外，机器人可以通过网络进行通信，例如 LTE、Wi-Fi、蓝牙和 5G。
我们假设这些机器人是一种类型的自动驾驶车辆。 因此，它们具有校园地图。 此外，它们具有 3D LiDAR (VLP-16) [^4] 和 GPS。 此外，它们可以使用自己的 3D LiDAR 动态更新地图，并将当前信息与先前的信息进行比较。
### IV. 相关研究和我们的先前研究
此外，我们假设校园内建筑物外的地面没有障碍物。 机器人的速度几乎是步行人类的速度。
已经进行了许多关于人类检测的研究。 使用图像处理进行人类检测是最常用的方法之一。 近期的摄像头和人工智能技术可以以高精度检测人类 [^10][^11]。 这些研究侧重于面部或动作识别。 关于单目摄像头进行行人检测的研究已被综述 [^3]。 但是，在许多校园中，由于光线条件，使用摄像头的图像处理技术可能难以用于人类检测。 校园内存在明暗交替的区域。 使用低成本摄像头处理图像具有挑战性。
目前已有一些针对基于3D-LiDAR的人体检测的相关研究。面向自动驾驶车辆的基于3D-LiDAR的行人识别[^4]采用支持向量机（SVM）进行人体检测。其他研究方法将3D LiDAR当作多个2D-LiDAR来使用[^5]。该研究从多个不同高度采集点云数据，最终实现了最高96%的分类准确率。使用精简点云数据的一个例子是，将目标的3D点云分割为躯干和腿部两个部分，以此实现鲁棒的原位行人识别[^6]。
所有这些研究都使用了 3D 点云数据，这需要强大的 CPU。由于 3D LiDAR 可以获取整个人体图像的点云，因此可以根据其形状（例如服装）来区分人体。但是，并非所有人体形状都需要，这些形状可以从类似高度的位置获取。因此，在本研究中，我们提出了一种使用多个 2D-LiDAR 来降低计算成本的人体检测方法。
在先前的研究 [^7] 中，我们提出了一种基于低分辨率 2D-LiDAR 和基于 PointNet 的自编码器的人体检测方法 [^12]。使用 2D-LiDAR 从 90 厘米的高度收集数据，该高度被认为是人类的典型腰部高度，并且是从正面和侧面的。所提出的方法成功地检测到 LiDAR 5 米范围内的行人。
在先前的研究 [^8] 中，我们提出了一种基于多个 2D-LiDAR的人体识别方法。但是，这两种方法都需要从正前方进行识别。在本文中，我们提出了一种用于识别无论传感角度都能识别人物的方法。
### V. 提出的方法
在许多情况下，机器人从哪个角度获取目标对象的点云数据并不明确。本研究重点关注无恶意意图进入设施的老年人。由于随着年龄的增长，痴呆症发病率增加，因此大多数受影响的人是老年人，这表明应将 2D-LiDAR 安装在与老年人高度相匹配的高度。
表 1 显示了日本老年人按年龄划分的身高。通过关注身高在 135 到 175 厘米之间的人，更有可能检测到无恶意意图进入的患有痴呆症的老年人。
人体由头部、躯干、手臂和腿部组成。由于头部比身体其他部分小，因此固定的 LiDAR 高度可能无法捕获其几何特征。因此，本研究侧重于躯干、手臂和腿部的形状特征。为了关注身高在 135 到 175 厘米之间的人，LiDAR 的高度设置为 95 厘米和 40 厘米，以确保特征获取。
安装在机器人上的 LiDAR 不一定能从目标的前面获取点云信息。存在一种可能性，即以相对于机器人的 $0^{\circ}$ 到 $360^{\circ}$ 的不同方向获取人体点云信息。但是，人体获取的点云数据具有以下特征：即使在不同的方向上，形状也保持不变。
Table 1 Average height of Japanese elderly people
| Age | Height (cm) |
| Male | Female |
| 60-69 | 167.4 | 154.0 |
| 70-79 | 163.1 | 149.4 |
| 80+ | 161.1 | 146.6 |
---
图 5 和 6 说明了人体腰部在相对于机器人 LiDAR 的 $0^{\circ}$ 和 $180^{\circ}$ 时的点云数据。在相反的方向上，例如 $0^{\circ}$ 和 $180^{\circ}$、$45^{\circ}$ 和 $225^{\circ}$、$90^{\circ}$ 和 $270^{\circ}$ 等，可以观察到相同的形状。
因此，如果仅使用LiDAR在$0^{\circ}$到$180^{\circ}$方向上的点云数据，即可确定人类的点云数据，那么也可以确定在其他方向上的点云数据。因此，我们从$0^{\circ}$到$180^{\circ}$获取点云信息。
图7显示了巡逻安全流程，其中配备了95厘米和40厘米LiDAR的机器人检测到可疑人员并通知安全人员。首先，配备LiDAR和计算机的机器人进行巡逻，并收集周围区域的点云数据。在配备计算机的设备上对获取的点云数据进行背景消除处理。
接下来，提取的障碍物（如人或物体）的点云数据通过无线网络发送到服务器，服务器端使用PointNet识别人类或障碍物。如果目标被识别为人，则通知安全人员
Fig 5 Pointcloud data in front
Fig 6 Pointcloud data in behind
Fig. 7 Flow of proposed method
安全人员前往机器人的位置，机器人跟踪该人员。
在服务器上，为了使用获取的点云数据进行人员识别，需要使用机器学习技术对它们进行分类。为了构建分类系统，可以使用MATLAB库中发布的“使用PointNet对点云进行分类”。这是一种使用PointNet压缩和恢复点云数据并仅提取用于分类的特征的方法。
使用PointNet进行分类是一种监督学习，因此需要提前学习用于分类的点云数据。因此，学习了人类和树木的点云数据，并将获取的点云数据分类为人类和树木。由于目标对象的尺寸不同，点云数据的数量和形状也不同，因此通过获取各种类型的人类和树木的点云信息进行学习。此外，可以获取的点云数据的数量和形状取决于人员的朝向。当学习一个方向时，很难识别未学习的方向。
对于正面朝向，可以获得两个人类腿的点云数据。即使在其他朝向，也可以以相同的方式获得两个腿的点云数据。因此，通过学习正面朝向，可以在非正面朝向的情况下，以一定的准确度识别人类。此外，由于可以确定已学习的朝向，因此可以在横向朝向的情况下确定朝向。
因此，我们认为，通过学习两个方向，即正面和侧面，可以增加可以识别的人类朝向范围，从而可以在各种朝向的情况下识别人类。
### VI. 实验
安装了两个2D-LiDAR，高度分别为95厘米和40厘米，以获取点云数据。使用RPLiDAR A1M8 [^13]获取了点云数据。表2显示了该LiDAR的规格。考虑到LiDAR的最大测量距离为6米，将要获取的测量范围设置为5米，并在1米到5米的间隔内获取点云。
首先，从获取的点云数据中获取必要的点云数据，由于2D-LiDAR只能获取x和y坐标，因此在将其输入到PointNet时，将实际获取的95厘米和40厘米的高度作为z坐标。然后，创建3D点云数据。
Table 2 Specification of RPLiDAR-A1M8
| Name | RPLiDAR A1M8 |
| Range | 6m radius |
| Viewing Angle | 360° |
| Revolution Per Second | 6r/s～8r/s |
---
接下来，我们使用创建的点云数据，利用由 MATLAB 发布的“使用 PointNet 对点云进行分类”工具，对点云进行压缩和恢复，并提取特征。提取的特征被分类到不同的类别中，并识别人体。
### A. 基于手臂位置的识别准确率
我们验证了人体手臂在正面位置不同时，识别准确率的差异。因此，我们在人体手臂的不同位置获取了四种类型的点云数据。获得的四种手臂位置类型包括：手臂向两侧下垂、手臂向上抬起、手臂在前面交叉、以及手臂在背后交叉。点云数据距离 2D-LiDAR 约 2 米，每个 2D-LiDAR 旋转准备了 150 个点云数据。此外，我们获取了与树木相似数量的点云数据，作为错误数据。表 3 显示了该实验的结果。
识别结果表明，即使人体手臂的位置不同，人体识别的准确率也很高。从该结果来看，我们的方法对人体识别不受手臂位置的影响。
### B. 每个角度的识别准确率
我们确认了基于点云数据从不同角度的差异，人体识别准确率存在差异。为了确定每个角度的分类识别率，我们在距离 LiDAR 约 2 米的位置获取了点云数据。在分类时，我们为每个角度准备了 150 个点云数据作为学习数据，用于 2D-LiDAR 的正面和侧面人体数据的一个旋转。此外，我们还准备了 150 个树木的点云数据，作为错误数据。总共 300 个正面和侧面人体以及树木的点云数据被预先训练，学习次数为 100 次。
对于测试数据，我们为每个 $10^{\circ}$ 从 $0^{\circ}$ 到 $180^{\circ}$ 准备了 150 个人体数据，作为正确数据，与训练数据不同。此外，我们准备了树木数据，作为错误答案，与训练数据不同。表 4 显示了人体识别每个角度的 F 值示例。
从识别结果来看，通过学习正面和侧面的人体姿态，我们能够获得每个方向的高准确率。此外，在 $90^{\circ}$、$120^{\circ}$ 和 $150^{\circ}$ 等方向，F 值略有下降，与其他方向相比。但是，由于每个 F 值都非常接近 1，因此可以获得足够的准确率。
Table 3 F value for arm positions
| Test | Recall | Precision | F |
| Arms down at the side | 1.00 | 1.00 | 1.00 |
| Arms up | 1.00 | 1.00 | 1.00 |
| Arms crossed in front | 1.00 | 1.00 | 1.00 |
| Arms crossed back | 1.00 | 1.00 | 1.00 |
Table 4 F value for each angle
| Angle | Recall | Precision | F |
| 0 | 1.00 | 1.00 | 1.00 |
| 30 | 1.00 | 1.00 | 1.00 |
| 45 | 1.00 | 1.00 | 1.00 |
| 60 | 1.00 | 1.00 | 1.00 |
| 90 | 0.98 | 1.00 | 0.99 |
| 120 | 0.93 | 1.00 | 0.97 |
| 150 | 0.91 | 1.00 | 0.95 |
| 180 | 1.00 | 1.00 | 1.00 |
因此，通过学习正面和侧面人体点云数据，即使人体处于各种姿态，系统也能够识别人体。
从这些实验结果来看，为了识别处于各种姿态的人体，可以通过学习两个方向：正面和侧面来实现。在通过两个方向学习的特征范围内，可以确定各种姿态。
### C. 通过距离的识别准确率
我们确认了当点云数据数量因距离而异时，人体识别准确率的差异。我们从 2D-LiDAR 获取了从约 1 米到 5 米的距离范围内的点云数据。此外，2D-LiDAR 的一个旋转被视为人体的一个点云数据，并且每个距离都获取了 150 个点云数据。
我们在进行分类时，准备了从 2 米距离前方和侧面方向的点云数据作为学习数据。此外，我们还准备了 150 个来自 2 米距离的树的点云数据，并进行了 100 次训练，学习了总共 300 个人类和树木的点云数据。
对于测试数据，我们准备了与训练数据分离的人类点云数据，作为正确数据，在 1 米到 5 米范围内，每个方向（前方、对角线和侧面）间隔 1 米。此外，我们还以类似的方式准备了与训练数据不同的树的点云数据，作为错误数据。在识别人类时，我们使用了与人类和树木相同的距离。表 5、6 和 7 显示了在每个距离下，识别人类面向前方、对角线和侧面的 F 值。
从识别结果来看，即使距离发生变化，我们也能获得接近 1 的 F 值，这归功于前方和侧面的学习。此外，除了学习的对角线方向外，我们还能获得接近学习方向的前方和侧面 F 值。
由于不同距离的人员识别准确率不同，因此即使在不同距离，也可以高精度地识别人员。在 LiDAR 的测量范围内，即 1 米到 5 米，可以高精度地识别未学习方向的人员。
---
Table 5 F value at $0^{\circ}$
| Recall | Precision | F |
| 1m | 1.00 | 1.00 | 1.00 |
| 2m | 1.00 | 1.00 | 1.00 |
| 3m | 1.00 | 1.00 | 1.00 |
| 4m | 0.93 | 0.85 | 0.89 |
| 5m | 1.00 | 0.98 | 0.99 |
Table 7 F value at $45^{\circ}$
| Recall | Precision | F |
| 1m | 1.00 | 1.00 | 1.00 |
| 2m | 1.00 | 1.00 | 1.00 |
| 3m | 1.00 | 1.00 | 1.00 |
| 4m | 0.98 | 0.86 | 0.92 |
| 5m | 1.00 | 0.98 | 0.99 |
Table 8 F value at $90^{\circ}$
| Recall | Precision | F |
| 1m | 1.00 | 1.00 | 1.00 |
| 2m | 0.98 | 1.00 | 0.99 |
| 3m | 0.98 | 1.00 | 0.99 |
| 4m | 0.81 | 0.83 | 0.82 |
| 5m | 1.00 | 0.98 | 0.99 |
为了识别各种角度和距离的人类，学习两个方向（前方和侧面）就足够了。学习两个方向增加了可以识别的特征，从而可以在不同的方向和距离上进行识别。
通过实验，我们发现可以从各种角度（前方和侧面）识别静止的人。我们提出了一种方法，该方法可以通过学习少量角度来识别静止的人，而无需考虑人的角度。
### VII. 结论
为了解决安保行业的劳动力短缺问题，我们验证了是否可以使用配备 2D-LiDAR 的安全机器人来识别不同角度的人。使用 2D-LiDAR，我们重点关注人类的特征形状，如下半身和胫骨，并学习了前后方向，以识别人类。当我们在神奈川大学校园的树木以及类似人类下半身和胫骨形状的物体上进行时，都能够识别。此外，如果待识别的人没有站立，则可能存在误识别，因此需要验证各种站立姿势的人类识别准确率。
## 参考文献
[^1]: S. Kotera, J. M. Schmittmann, “The Japanese Labor Market During the COVID-19 Pandemic,” International Monetary Fund, 2022.
[^2]: T. Shimmura, R. Ichikari, T. Okuma, H. Ito, K. Okada, T. Nonaka, “Service robot introduction to a restaurant enhances both labor productivity and service quality,” Procedia CIRP, Vol.88, pp.589-594, 2020.
[^3]: M. Enzweiler and D. M. Gavrila, "Monocular Pedestrian Detection: Survey and Experiments," in IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 31, no. 12, pp. 2179-2195, Dec. 2009
[^4]: H. Wang, B. Wang, B. Liu, X. Meng, G. Yang, “Pedestrian recognition and tracking using 3D LiDAR for autonomous vehicle,” Robotics and Autonomous Systems, Vol.88, pp.71-78, 2017
[^5]: L. Spinello, K. Arras, R. Triebel, and R. Siegwart, “A Layered Approach to People Detection in 3D Range Data”, AAAI, vol. 24, no. 1, pp. 1625-1630, 2010.
[^6]: N. Kirchner, A. Alempijevic and A. Virgona, "Head-to-shoulder signature for person recognition," 2012 IEEE International Conference on Robotics and Automation, pp. 1226-1231, 2012
[^7]: Y. Nagai, Y. Sawano, Y. Terashima, T. Suzuki and R. Kiyohara, "A Method for Detecting Human by 2D-LiDAR," IEEE International Conference on Consumer Electronics (ICCE), pp. 1-2, 2022
[^8]: T. Watanabe, Y. Terashima and R. Kiyohara, "Standing Human Detection Method Using 2D-LiDARs," 2023 IEEE 47th Annual Computers, Software, and Applications Conference (COMPSAC), pp. 1260-1265. 2023
[^9]: Q. Wang, Y. Tan, Z. Mei," Computational Methods of Acquisition and Processing of 3D Point Cloud Data for Construction Applications," Archives of Computational Methods in Engineering, Vol.27, pp.479-499, 2020
[^10]: R. Chellappa, C. L. Wilson and S. Sirohey, "Human and machine recognition of faces: a survey," in Proceedings of the IEEE, vol. 83, no. 5, pp. 705-741, 1995,
[^11]: R. Poppe, "A survey on vision-based human action recognition," Image and Vision Computing, Vol 28, Issue 6, pp. 976-990, 2010.
[^12]: C. R. Qi, H. Su, K. Mo, L. J. Guibas, “PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation,” IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017
[^13] SLAMTEC,