# 利用 3D LiDAR 构建环境地图，描述人类步行活动中的移动物体提取 西尾拓己 & 新津美穗子 引用本文: Takumi Nishio & Mihoko Niitsuma (2022) 利用 3D LiDAR 构建环境地图，描述人类步行活动中的移动物体提取, 机器人学进展, 36:23, 1291-1304, DOI: $\underline{\text{10.1080/01691864.2022.2126732}}$ 链接到本文: © 2022 The Author(s). 由 Taylor & Francis Group 旗下的 Informa UK Limited 出版。 ![Image](images/86a13cb97d39685f920c2d5b86b4278811b2f9e891358edaa4ca49df35525ac8.jpg) 查看补充材料 ![Image](images/79fbfa667a020c8eebf57441be64768449c9015dc2a56d4cd24efd0423d899be.jpg) 于 2022 年 10 月 1 日在线发布。 ![Image](images/f38edc59a8db0609cf04ff820eb073a46a61964a0f231d3830dadfc298b48c3f.jpg) 向本期刊投稿 ![Image](images/f40d45ec804984160bce5b13a27efd93d8de79339378294c84cde26a74e33239.jpg) 文章浏览量: 2048 ![Image](images/4d0b37680b3f9c3877258726a093af660ba4fece3ca95bee33ebd32d8fbd2ccf.jpg) 查看相关文章 ![Image](images/18eb04469ae9836aa1b193290f10788cd9776cb2b7e2fdce585f10af42494cd3.jpg) 查看 Crossmark 数据 ![Image](images/3383e8981b747945e941364fbfedcf1a71116916624291a5ce07e1235b5b0715.jpg) 引用文章: 4 查看引用文章 --- 正文 a 开放获取 检查更新 ## 利用 3D LiDAR 构建环境地图，描述人类步行活动中的移动物体提取 Takumi Nishio $^{a}$ 和 Mihoko Niitsuma $^{b}$ $^{a}$川崎重工业株式会社，兵库县，日本；$^{b}$中央大学精密机械系，东京，日本 ### 摘要 本研究提出了一种室内可移动静态物体提取方法，用于构建描述室内人类活动的地图。特别是，区分人和非人类可移动物体至关重要。为了解决这个问题，我们根据其特征将静态物体分为三类。 提出了使用每种特征提取可移动静态物体的方法。 我们进行了实验，并确认成功检测到可移动的静态物体，并将它们重新定义为背景，并且只有人类被确定为动态物体。 ### 文章历史 收到稿件日期: 2022 年 3 月 31 日 修改日期: 2022 年 6 月 28 日 接受日期: 2022 年 8 月 19 日 ### 关键词 服务机器人；环境地图；室内人类活动观察；3D LiDAR #### 1. 引言 以高性能摄像头和LiDAR为代表的传感技术正在快速发展，并已应用于汽车的自动驾驶等各个领域。近年来，人们积极研究通过获取区域内人员的运动来理解空间，分析用户在环境中的行为，并获取其使用特征。 在这样的研究中，有两个阶段：一个动态对象提取阶段，其中从传感器数据中提取动态对象；以及一个信息获取阶段，其中获取提取的动态对象的运动信息等信息。从传感器获取的大部分信息是关于环境中的物体，例如墙壁和桌子（以下统称为“环境对象”）。关于人（以下统称为“人类对象”）等动态对象的的信息通常较少。由于环境对象遮挡和其他因素，某些部分可能缺失。因此，需要一个动态对象提取阶段，以区分人类对象和环境对象，同时考虑到这些因素。然后，在信息获取阶段，可以获取各种有用的信息，例如提取的人类对象的运动路径和花费时间。这些信息用于空间理解和行为分析。 骨骼跟踪[^1]和模板匹配[^2]是使用网络摄像头和深度摄像头进行人类提取的常用方法，具有良好的提取精度。但是，它们的测量范围较窄，在进行全局观察时，必须考虑多个设备和位置。此外，人类对象和环境对象之间的相对位置在动态对象提取中对于空间理解也至关重要。因此，理想情况下，能够获取环境对象的位置。因此，激光雷达传感器（通过发射激光束来获取物体距离）通常用于大规模空间理解研究。 使用激光雷达进行动态对象提取的最简单方法是基于点云差异的背景差分方法[^3]。但是，在室内环境中，例如办公室或商店，有些人可能会保持坐姿或站立，并且长时间停留在同一位置。他们可能无法被识别为动态对象。因此，近年来，许多3D激光雷达点云已被用于通过监督机器学习进行对象识别和动态对象提取。这些方法可以分为将点云处理为图像的方法[4–9]和直接对点云进行分类的方法[10–17]。但是，由于这两种方法都侧重于在给定时刻对点云进行分类，因此处理成本非常高，这使得很难将它们应用于信息获取阶段，在该阶段，在提取动态对象的同时获取信息。 --- 阶段，在提取动态对象的同时获取信息。 与这些方法不同，不使用机器学习的3D点云对象识别通常基于点云之间的特征，例如对象的表面形状或体素中的点密度 [^18] [^19]。 Lv等人 [^20] 在交点处对点云进行体素化，并根据其密度变化提取动态对象。 尽管这些方法，包括 [^21]，不如机器学习方法准确，但它们可以降低处理成本，并能够连续地提取动态对象。 然而，这些方法不适用于室内观察，因为它们无法在人员不移动的环境中提取移动对象。 准备针对多样化环境（例如室内办公环境）的教学数据也不切实际。 因此，传统的动态物体提取方法只能应用于具有准确教师数据或没有静止人员的环境中，不能用于本研究设想的室内环境。此外，室内还有许多可移动的静态物体，例如椅子，这些物体会因人为干预而改变位置，并且没有一种方法可以检测它们的移动并将其与动态物体区分开来。 因此，本研究的目的是开发一种动态物体提取方法，即使在存在可移动静态物体的情况下，也可以获取室内的人类活动。所提出的动态物体提取方法以及基于该过程的信息获取阶段，可以使用长时间序列数据连续执行。它们应在 100 毫秒内完成，这是 3D LiDAR 的传感器周期。因此，本研究使用了一种环境地图构建系统 [^22]，该系统使用包含 10 厘米正方形单元格的集合来表示环境。该系统通过将点云投影到适当的单元格并使用云的中心点来减少需要处理的点云数量，从而降低处理成本。此外，基于新提出的初始背景提取方法的初始背景已注册到地图中。基本策略是基于初始背景和注册背景之间的差异进行动态物体提取，从而实现实时处理。 提取的动态物体包括两种可能性：人员和可移动的静态物体。室内最常见的可移动静态物体是椅子。很可能在人们进行一系列动作（如坐下、站立和离开）后，会移动椅子。接下来是带有轮子的隔板和文件柜等物体。大多数可移动的静态物体具有平坦的表面。其他物体，例如盆栽植物、垃圾桶和无人看管的椅子，由于环境的不同，其移动的形状和条件也不同。因此，在本研究中，可移动的静态物体被分为三大类，如图 1 所示，并开发了一种算法来提取可移动的静态物体，每种物体都利用其特征。在此基础上，可移动的静态物体被连续地和局部地重新定义为背景，只有人员是动态物体，这些动态物体用于构建描述室内人类活动的地图。 观察日常环境（如办公室和商店）中的人类活动，对于机器人系统提供适当的帮助至关重要。所提出的方法在 HARChuo 为世界机器人峰会、未来便利店挑战赛 2020 提出的基于 iSpace 的未来便利店的环境地图构建系统中发挥着重要作用，该系统用于客户交互任务 [^24]。 ![Image](images/e740cc592c9632ce0a67ccbe7999df7dc62d30d1c047335dad5a2a0cc6a467ac.jpg)
Figure 1. Classification of indoor static objects.
--- 我们相信，所提出的方法不仅对提供的未来便利店服务有帮助，而且对需要构建表达室内人类活动的地图的更广泛的应用也有帮助。描述人类行走活动的地图方法以及地图的结果，在 [^22] [^23] 中进行了介绍。 #### 2. 使用相邻点之间的角度进行初始背景提取 要观察的人员的室内活动包括动态物体的姿态和运动，以及它们与计数器和货架等其他物体之间的空间连接。因此，需要从连续的时间序列中提取动态物体，并获取影响活动物体行为的静态物体的位置。我们专注于背景消除方法，以实现这些数据的实时获取。 在本研究中，为了将静止的人员提取为动态物体，我们使用每个点云簇中每个点的角度标准差以及背景消除的结果作为特征。成本是基于这些特征值定义的。根据成本，可以将静止的人员与静态物体（如墙壁和货架）区分开。由所提出的算法识别的静态物体被注册到环境地图中，作为构成空间而不被移除的元素，以便获取室内活动。可以获得动态物体（人员）与静态物体之间的空间关系。 通过背景消除进行动态物体提取是点云中常用的方法。在简单的差分法中，时间序列中的移动物体被移除为动态物体，而其他物体被认为是静态物体。然而，动态物体并不总是会在室内环境中移动，例如，静坐的人。由于存在静态物体，它们可能会被错误地移除为静态物体。因此，在室内环境中，当使用差分法时，需要开发一种算法来提取静止的人员作为动态物体。 在本研究中，在确定初始背景后，通过从每个时间点的点云中减去初始背景来执行动态物体提取。因此，初始背景提取的准确性至关重要。因此，只有在确定初始背景后，才会执行动态物体提取和活动信息，并且只获取初始背景。这种策略旨在减少环境地图中错误信息的积累的可能性，并实现准确的初始背景提取。 ##### 2.1. 使用簇中每个点的角度变化的初始背景提取方法 如上所述，在从使用 3D-LiDAR 传感器获取的所有点中提取初始背景物体时，由于传感器周期为 100 毫秒，因此很难在 100 毫秒内处理所有数据。但是，可以实现高精度。因此，本研究采用的策略是在不影响实时性能的情况下，减少要处理的点云数量，以提取用作初始背景的静态物体。换句话说，在对点云进行聚类后，高度高于传感器位置的所有簇都被定义为静态物体，如图 2 所示。 在利用 3D-LiDAR 进行空间理解的研究中，通常将传感器放置在高于人员头部的水平高度。由于假设没有代表人员的点云位于传感器位置的上方，因此此过程不会影响人员提取的准确性。但是，减少要处理的点云数量是可行的。 在上述过程之后，空间中剩余的点云簇 i 具有两种可能性：要么是识别为背景的静态物体，要么是动态物体，即人。由于人们可能会在室内保持静止，因此需要一种除了使用点云的运动之外的对象识别方法。在本研究中，为了解决这个问题，首先将点云簇划分为虚拟的 10 厘米见方的体素。令 $\mathbf{P}_{center} = (P_{center,x}, P_{center,y})$ 为体素 $(p, q, r)$ 中所有点的中心点，并使用每个体素中的点 $\theta_n$，计算 xy 平面的角度 $\bar{\theta}$ 及其均值 $\mathbf{P}_n = (P_{n,x}, P_{n,y})$，并使用最大数量的 N 个点及其数量 $n = 1, \ldots, N$，使用以下公式。这里，$\mathbf{P}_{center}$ 和 $\mathbf{P}_n$ 被投影到 xy 平面上。 $$ \theta_{n}=\tan^{-1}\left|\frac{P_{n,y}-P_{center,y}}{P_{n,:x}-P_{center,:x}}\right|,\quad\bar{\theta}=\frac{\sum_{k=1}^{N}\theta_{k}}{N} $$ ![Image](images/3a240f72043c2c0a78bf57468d0c3722dd611d74ba114de8205ae10818963e0b.jpg)
Figure 2. Example of the static object detection based on the height of the point cloud.
--- 使用上述公式确定的角度 $\theta_n$ 及其均值 $\bar{\theta}$，计算其角度标准差 $\sigma_\theta(p, q, r)$。使用 $\sigma_\theta(p, q, r)$，我们为每个体素定义背景权重 $\omega_{\mathrm{BG}}(p, q, r)$，如下所示： $$ \begin{aligned}&\omega_{\mathrm{BG}}(p,q,r)\\&\quad=\begin{cases}1.0,\text{if}0<\sigma_{\theta}(p,q,r)\leq\alpha_{1}\text{or}\beta_{1}<\sigma_{\theta}(p,q,r),\\0.0,\quad\text{else if}\alpha_{1}<\sigma_{\theta}(p,q,r)\leq\beta_{1}.\end{cases}\end{aligned} $$ 在上述方程中，$\alpha_1$ 和 $\beta_1$ 是设计参数。背景权重 $\omega_{\mathrm{BG}}(p, q, r)$ 受传感器误差的影响，这些误差会导致采集的点集中出现变化。通过各种分析，我们经验地发现，诸如人的动态物体等标准差趋于在 0.1 到 0.5 之间收敛。基于这些知识，我们在本研究中设置了 $\alpha_1 = 0.10$、$\beta_1 = 0.50$。计算出所有体素的背景权重 $\omega_{\mathrm{BG}}(p, q, r)$，并将点簇 i 的 $\omega_{\mathrm{BG}}(p, q, r)$ 的平均值累加到每个周期的点簇的背景成本 $C_{\mathrm{cluster}}(i)$ 中。 上述获取背景成本 $C_{\text{cluster}}(i)$ 的过程，在 3D LiDAR 传感器启动后，连续地对任意时间 $t_{th}$ 进行。经过 $t_{th}$ s，如果满足 $C_{\text{cluster}}(i) > C_{th}$，则将点簇 i 定义为静态物体，构成初始背景。这里，使用阈值时间 $t_{th} = 120$ 和背景成本阈值 $C_{th} = 960$。 ##### 2.2. 初始背景提取的评估 本节描述了用于验证初始背景提取方法的准确性的实验和结果。对于诸如墙壁和静止不动的人等静态物体，我们验证了该方法是否只能提取静止物体作为初始背景。此实验使用来自会议室的测量数据的部分，如图 3 (a) 所示。数据包括会议室中的墙壁和桌子等静态物体，以及坐在椅子上的人作为动态物体。在此实验中，使用前 120 秒的数据进行初始背景提取，并在 120.1 秒时从点云中提取动态物体。为了验证上一节中描述的方法的准确性，我们手动对 120.1 秒的点云进行标记，如图 3 (b) 所示，并将其与提取结果进行比较。经过标记，我们确认图 3 (b) 中红色圆圈区域的点表示为一个人，而所有其他点都表示为背景。 ![Image](images/c8b4bf2af82d516f62019ab18b45ce0ef1e1f09399c090df1c0445e955c3f918.jpg)
(a) Basic layout of the observed environment.
![Image](images/ae2a3a36bb299cbab0e00cd4b9cc6d1996cb771eb090f5b2302e4246a2d74745.jpg)
(b) An example of obtained point cloud.
Figure 3. Experiment environment of foreground extraction experiment. (a) Basic layout of the observed environment. (b) An example of obtained point cloud.
##### 2.3. 初始背景提取实验的结果和讨论 使用所提出的方法，通过定义一个初始背景，然后将初始背景与 120.1 秒的点云数据进行差分，来动态提取对象的结果如图 4 所示。 在该图中，每个黑色单元格表示作为静态对象提取的单元格，并定义为初始背景。 地图上的数字指示分配给每个对象的 ID。 图 4 (a) 中的红色圆圈和图 4 (b) 中与 ID 号对应的蓝色圆圈表示作为动态对象提取的对象的中心点。 图 4 所示，诸如环境周围的墙壁和 ID 为 5 的对象的右侧的椅子等对象，没有以动态对象的形式显示出轮廓，这表明这些对象可以提取为初始背景。 此外，该环境中共有七个人。 每个人都作为动态对象提取并分配了 ID，这证实了 --- ![Image](images/0562f968c39df993aeec264ed5412e138b4ec8b23d76a45b6de90039013d1bc4.jpg)
(a) Visualization of foreground and moving objects
![Image](images/a39156aee03774684f046bc4c904cdbb3f44ab176138c0277eef72456242ff0b.jpg)
Figure 4. Extraction results of foreground and moving objects.
(b) Visualization of raw point cloud
人们没有被错误地识别为初始背景。 在这里，编号 5 的对象是误报，因为 ID 被分配给非人形物体。 在 120 秒内，编号 2 或 3 的人造成了许多遮挡，因此编号 5 的对象的点云不足。 因此，成本不足以将编号 5 定义为背景。 此外，即使在 120 秒的背景定义过程中，ID 也被分配给可能的人。 因此，ID 1、4 和 10 在 120 秒的背景定义过程中被分配了一次。 但是，使用所提出的背景提取方法，它们被重新定义为背景，并且 ID 被消除。 #### 3. 使用点云数据的特征提取可移动静态对象的方法 上述结果表明，在初始背景提取过程中获取的点云数据可以区分人和其它对象。 只有静态对象才被定义为初始背景。 同时，由于遮挡或传感器噪声而无法获得适当点云数据的对象，以及在确定初始背景后移动的静态对象，被提取为动态对象。 因此，需要一种可以依次将它们重新定义为背景的方法。 在室内环境中，最有可能改变位置的对象是随同人移动的物体，例如椅子。 椅子预计会在人进行坐下、站立和离开等一系列动作时，在人的周围位置移动。 在本研究中，我们重点关注椅子作为与人同时移动的可移动静态对象，并探讨解决方案。 由于使用椅子的动作序列与环境无关，因此检测到人的坐姿，并将从坐姿过渡到站立状态的人周围区域的动态对象提取为可移动的静态对象。 随后，执行局部背景更新，以将可移动的静态对象注册为背景。 ##### 3.1. 坐姿检测 为了实现检测人体坐姿的算法，我们关注动态对象 i 在时间 t 时的 $h(t, i)$ 以及到该时间的最大高度 $h_{\max}(i)$。为了降低计算成本，在本研究中，动态对象由一组单元格表示，其中一组三维点投影到 10 厘米的正方形单元格中。每个单元格存储该单元格内点的最大 z 坐标，而 $h(t, i)$ 是表示动态对象 i 的多个单元格中的最大值。最大高度 $h_{\max}(i)$ 是在时间 t 之前获取的动态对象 i 的最大高度。 在本研究中，坐姿决策基于对个人坐高 $h_{sit}(i)$ 与 $h(t, i)$ 的比较，该比较基于 $h_{max}(i)$。根据厚生劳动省关于日本人平均坐高的数据 $h_{sit}(i)$，[^25] 取决于个人的平均坐高，即个人身高的53%至55%；理想的人体工学坐高 [^26] 则比个人身高的25%低10 mm。基于上述结果，$h_{sit}(i)$ 由（3）定义。 $$ h_{\mathrm{s i t}}(i)=0.55h_{\mathrm{m a x}}(i)+(0.25h_{\mathrm{m a x}}(i)-10) $$ 如果动态对象 i 在时间 t 时的 $h(t,i)$ 满足 $h(t,i) < h_{\mathrm{sit}}(i)$，则动态对象 i 处于坐姿状态。否则，假设用户处于站姿状态。每次更新 $h_{\mathrm{sit}}(i)$ 时，坐姿高度 $h_{\mathrm{max}}(i)$ 被重新定义。 --- ##### 3.2. 基于坐姿检测提取可移动静态对象 当检测到动态对象 i 处于坐姿状态时，其坐姿状态的 $h(t,i)$ 和历史记录被存储在距离其中心 50 厘米半径范围内的所有单元格中。然后计算任何单元格 $\overline{h(p,q)}$ 中累积的高度值的平均值 $(p,q)$。 当检测到在坐姿状态的人员站起来并离开场景时，预计会在单元格 $(p,q)$ 附近出现一把椅子或另一个人坐在椅子上作为动态对象 k。如果动态对象 k 是一把椅子，那么其高度 $h(t,k)$ 很可能小于 $h(p,q)$。因此，考虑到传感器噪声和其他因素，如果动态对象 k 的高度 $h(t,k)$ 满足 $h(t,k) + \alpha < h(p,q)$，则动态对象 k 是可移动静态对象的候选对象，并记录满足不等式的时间 $t_{\text{chair}}(k)$。考虑到从动态对象 i 被确定为站立到其离开位置的时间，如果满足 $t_{\text{chair}}(k) > \beta$，则动态对象 k 被定义为可移动静态对象，其中 $t_{\text{th}}$ 是任意时间。在本研究中，$\alpha = 100\text{mm}$、$\beta = 0.1$ 和 $t_{\text{th}} = 120\text{s}$ 被经验地设置。 所有被定义为可移动静态对象的单元格立即被局部重新定义为背景。通过以上过程，当有人坐在椅子上时，椅子可以被提取为可移动静态对象，并且在保持实时性能的同时，可以局部更新背景。 ##### 3.3. 基于形状特征的可移动静态对象提取 除了椅子之外，展示板支架、手推车和白板是办公室或商店等室内环境中可移动的静态物体。 这些物体具有一个共同特征，即它们的表面通常呈线性形状。 当这些物体移动时，会在初始背景上产生阴影，如图 5 所示。 此特性用于检测可移动静态物体的候选对象。 因此，在本研究中，基于提取对象的表面形状获得形状成本，并根据形状成本定义背景成本，以提取可移动静态对象并执行局部背景更新。 背景成本值用于区分人和可移动静态对象。 通过仅将局部背景更新应用于存在提取的可移动静态对象的适当区域，可以在不影响实时性能的情况下执行人体检测和背景更新。 ###### 3.3.1. 获得静态对象的形状得分 当可移动静态物体移动时，其遮挡会在初始背景中产生阴影。 如果新形成的阴影在同一区域存在超过 10 秒，则阴影和 3D LiDAR 传感器之间的动态对象 i 被定义为可移动静态对象的候选对象，并获得其表面形状的线性度 $\mu$。 ![Image](images/83a8eea845925b039e4ff32de875879cfd8f5f8f53ddcf8b1ea15b8f6135f9a8.jpg)
Figure 5. 3D point cloud view of objects and shadows obtained by a 3D LiDAR sensor.
--- ![Image](images/0f34be3eee2ef8cbda0633526843cd4b1e03e9b68d41a4e8eab64f80f56da59a.jpg)
(a) Straightness of a movable static object
![Image](images/61da742f19b6c3f7f3d4382286e0f07d3e4caaed65d4b4eb4125bab209f7f9cd.jpg)
(b) Straightness of a human
Figure 6. Straightness distribution of human and movable static object.
为获得线性性$\mu$，我们先获取构成动态目标i的单元$\mathbf{P}_{\text{cell}}$中包含点群的中心点$(p, q)$，再计算该点到最近邻单元中心点的欧氏距离$d_n$。n为构成动态目标i的单元数量。对动态目标占据的所有单元执行该过程，即可得到距离$\bar{d}$的平均值$d_n$。 根据 $\bar{d}$，动态对象 i 被分为两个聚类，一个具有较大距离，另一个具有较小距离，并计算两个聚类中单元格中心点之间的角度 $\theta_{m}$。 m 是聚类中的单元格数，M 是最大单元格数。 基于角度 $\theta_{m}$，通过以下公式定义每个聚类的线性度 $\mu$，以获得每个聚类的线性度。 $$ \mu=\frac{\sum_{k=3}^{M}\left|\theta_{k}-\theta_{k-1}\right|}{M-2} $$ 对于每个聚类，我们获得由公式 (4) 定义的线性度。 线性度的值越接近 0，表面就越平直。 基于此定义，从可移动静态对象和静态人体中获得了线性度。 在图 5 中，显示了 1200 个线性度分布。 如果表面是平的，则分布如图 6 (a) 所示。 如果不是平的，则分布如图 6 (b) 所示。 此分布表明，可移动静态对象的线性度倾向于在较高速率下较低。 相比之下，人类的线性度变化倾向于较大。 基于此知识，在本研究中，我们根据线性度 $\varepsilon$ 定义用于对象识别的形状得分 $\mu$，如下所示： $$ \epsilon=\alpha_{2}(90.0-\mu)^{2}+\beta_{2} $$ 上述方程是一个简单的二次函数，该函数确定线性分布可以近似为与反比成正比。更具体地说，此方程旨在通过考虑对象两个簇之间的角度来表达对象的直线度。这意味着 $\mu$ 越接近 $90^{\circ}$，对象就越不直。在根据方程 (5) 确定分数时，使用 90 对分数进行加权，以根据与 $90^{\circ}$ 的近似程度进行加权。方程中的 $\alpha_{2}$ 和 $\beta_{2}$ 是设计参数；在本研究中，$\alpha_{2} = -0.0006$ 和 $\beta_{2} = 5.0$ 是通过实验确定的。使用方程 (5) 获得的两个簇的形状分数定义为 $\epsilon_{max}$ 和 $\epsilon_{min}$，具体取决于其大小。 ###### 3.3.2. 通过形状分数识别可移动静态对象并更新背景 传感器误差会导致获取的点云出现变化。因此，可以通过为定义的形状分数设置一个范围来表达形状特征。例如，此处针对具有直线表面的可移动静态对象，其 $\epsilon_{\max}$ 和 $\epsilon_{\min}$ 分别为 $0 < \epsilon_{\max} < 2.0$ 和 $0 < \epsilon_{\min} < 1.5$，而诸如人等不包含线性形状的对象，其范围为 $3.0 < \epsilon_{\max} < 5.0$ 和 $2.0 < \epsilon_{\min} < 4.0$。根据这些发现，我们根据以下条件，根据其形状分数定义了动态对象 i 在时间 t 处的背景成本 $C_{\mathrm{BG}}(t, i)$： $$ \begin{aligned}&C_{\mathrm{BG}}(t,i)\\&\quad=\left\{\begin{aligned}&C_{\mathrm{BG}}(t-1,i)+2.0,if0<\epsilon_{\min}\leq1.0,\\&C_{\mathrm{BG}}(t-1,i)+1.0,else if1.0<\epsilon_{\min}\leq2.0,\\&C_{\mathrm{BG}}(t-1,i)-2.0,else if4.0<\epsilon_{\max}.\end{aligned}\right.\end{aligned} $$ 此外，如果对象的运动速度为 0.1 m/s，持续时间超过 1 秒，则该对象很可能是人；因此，背景成本 $C_{BG}(t, i)$ 减 1.0。根据上述定义，对动态对象 i 的背景成本 $C_{BG}(t, i)$ 进行求和；如果 $C_{BG}(t, i)$ 在任意时间 $C_{BG}(t, i) > \gamma$ s 内满足 $t_{th}$，则将其定义为可移动静态对象，并将其注册为背景。在本研究中，$t_{th} = 120$ s 和背景成本阈值 $\gamma = 960$ 是通过实验确定的。此过程区分了人与具有线性形状的可移动静态对象，并在实时连续地更新背景。 --- ##### 3.4. 基于其主动运动提取可移动静态对象的方法 盆栽植物、垃圾桶和无人看管的椅子很难使用前面提出的方法提取，因为它们的形状和运动状态取决于环境。这些对象与人的最显著区别在于是否存在主动运动。因此，为了将这些对象提取为可移动静态对象，我们使用对象的最高点的位置分布以及对象在任意时间 $t_{th}$ s 占用的体素数量的变化。此方法仅应用于通过 3.3 节中描述的过程检测到的，并被提取为动态对象的对象。 ###### 3.4.1. 基于可移动静态对象最高点分布的对象分类和背景更新 在一个人坐着或静止工作时，头部运动最明显。然而，可移动的静止物体本身并不主动移动，点云的位置分布除非受到传感器噪声的影响，否则不会发生变化。因此，为了利用这些差异作为特征，该方法会存储动态物体 i 在特定时间 t 时，高度为 $(p, q)$ 的单元格的位置 $h(t, i)$。如果有多个单元格，则会保存它们，并继续进行 $t_{th}$ 秒。在 $t_{th}$ 秒后，获得所有存储单元格的位置记录时间。如果存在一个或多个单元格，它们已连续存储了 $t_{th}$ 秒，则将动态物体 i 确定为可移动的静止物体。所有被认为是静止的可移动静止物体占据的单元格被定义为背景，并注册在环境地图中。这个过程实现了仅针对可移动静止物体位置的局部背景更新。 ###### 3.4.2. 基于可移动静止物体占据的体素数量变化的对象分类和背景更新 前面描述的方法可能会导致可移动静止物体和动态物体（如人）的最高点位置分布发生变化，这取决于物体与 LiDAR 传感器之间的位置关系。在这种情况下，无法提取可移动静止物体，因此需要使用其他方法来解决这个问题。因此，我们提出了一种方法，该方法使用物体占据的体素数量的变化作为第二个特征来表达物体是否正在主动移动。 如图 4 所示，在本研究中使用的 3D LiDAR 传感器获取的点云中，始终存在垂直轴方向上的间隙。间隙的大小由扫描激光束与物体之间的距离决定。假设只有存在点的区域中的体素才被定义为物体占据的体素。体素数量小于物体占据的体素数量。在室内环境中，例如办公室和用餐区，由于桌椅的遮挡，只能获取上半身的点云。 为了解决这些问题，我们使用最大值 $V_{cell,i}(t,n)$ 的点云，以及构成动态物体 i 的单元格 $(p,q)$ 在时间 t 时，所占据的体素数量 $h_{\max,i}(p,q)$，以及体素的边长 $l_{\text{th}}$。n 是构成动态物体 i 的单元格数量。 $$ V_{cell,i}(t,n)=\frac{h_{max,i}(p,q)}{l_{th}} $$ 在最高点和地面之间，每个单元格 $l_{th}$ 的空间中，生成边长为 $(p, q)$ 的体素，无论是否有点云。公式 (7) 定义了总和为单元格中的体素数量。通过公式 (8) 获得动态物体 i 在时间 t 时所占据的体素数量 $V(t, i)$。 $$ V(t,i)=\sum_{k=1}^{n}V_{cell,i}(t,k) $$ 通过使用方程 (8) 获取体素数量 $V(t,i)$，即使当某些点云缺失时，也可以表示物体的尺寸，例如当人坐在桌子旁时，下半身被遮挡。在本研究中，通过实验获得 $l_{th} = 100$ 毫米。连续获取体素数量 $V(t,i)$ 的时间为 $t_{th}$ 秒，并确定在此期间体素数量 $V_{mode}(i)$ 的最频繁值。将 $V_{mode}(i)$ 和 $V(t,i)$ 之间的差定义为体素变化 $V_{diff}(t,i)$。计算 $\sigma_{diff}(i)$ 秒内体素变化的标准偏差 $t_{th}$。 可移动静态物体与主动活动的人体之间的标准差$\sigma_{\mathrm{diff}}(i)$理应存在差异。因此，我们对在多种环境下采集得到的可移动静态物体和就坐工作人员的数据进行了分析。此处分析的可移动静态物体仅包含前文所述方法无法提取的类别。通过多次数据分析，我们发现可移动静态物体满足条件$\sigma_{\mathrm{diff}}(i) < 5.0$，人体满足条件$6.0 \leq \sigma_{\mathrm{diff}}(i)$。基于该发现，我们将满足$\sigma_{\mathrm{diff}}(i) < 5.0$的目标定义为可移动静态物体，而动态目标 --- 当 $6.0 \leq \sigma_{\text{diff}}(i)$. 我们还确认，可移动静止物体的标准偏差可能在 $5.0 \leq \sigma_{\text{diff}}(i) < 6.0$ 范围内以低频率分布。 由于本研究的目的是获取人们的室内活动，最重要的是避免将人错误地提取为可移动静止物体，并避免丢失其信息，以便将其存储在环境地图中。 因此，如果获得在 $5.0 \leq \sigma_{\text{diff}}(i) < 6.0$ 范围内的标准偏差，则执行上述过程长达 $t_{\text{th}}/2.0$ 秒，并且只有当获得的标准偏差满足 $\sigma_{\text{diff}}(i) < 5.0$ 时，才将目标对象确定为可移动静止物体。 根据上述方法，对提取的可移动的静态物体应用局部背景更新。将对象的每个单元格注册为环境地图上的背景。此过程重新定义可移动的静态物体为背景，并且仅允许动态对象（例如人员）的信息存储在环境地图中。 #### 4. 可移动静态物体提取的评估实验 本实验的目的是验证所提出的可移动静态物体提取方法的准确性。根据以下三个因素评估提取可移动静态物体的准确性：检测对象的所需时间、每个过程的提取结果以及结果中的错误检测数量。 ##### 4.1. 实验环境设置和评估标准 在本实验中，选择了六种可移动的静态物体（椅子 A、椅子 B、白板、桌子、相机三脚架和盆栽植物）和两种动态物体（坐着的人和站着的人）作为目标物体。椅子 A 和椅子 B 分别是人坐下的椅子和被留空未坐的椅子。图 7 显示了实验环境。3D LiDAR 传感器（vlp-16）放置在距离地面 1.8 米的高度。所有目标物体都放置在距离传感器 8.0 米以内。在一个试验中，采集了 500 秒的点云数据。通过改变每个物体相对于传感器的方向和距离，我们获得了四个试验的点云数据。对每个物体进行了四次测量。在四个试验中，有两个试验是在定义初始背景之前将物体放置在环境中的，然后在确定初始背景后将其移动到其他位置。在剩余的两个试验中，物体是在定义初始背景之后放置在环境中的。
Table 1. Proposed methods to extract movable moving objects.
AbbreviationMethods
STExtraction method based on sitting determination
SSExtraction by using shape score
PDExtraction based on position distribution of maximum height
VCExtraction based on voxel changes
一张桌子被放置在观察目标区域的中间作为静态物体。在四个试验中，有两个试验是在桌子的右侧（传感器侧）进行的，另外两个在桌子的左侧（墙壁侧）进行。改变物体的放置位置是为了考虑桌子造成的遮挡效应。当物体放置在右侧（传感器侧）时，它们被放置在紧挨着桌子的一侧，而当它们放置在左侧（墙壁侧）时，它们被放置在遮挡效应可能很显著的位置。 用于提取的方法由一系列提出的方法组成，如表 1 所示。ST 表示基于坐姿判断的提取；SS 表示使用形状得分的提取；PD 表示基于最高点位置分布的提取；以及 VC 表示基于体素变化的提取。使用每个方法进行物体识别所需的时间、其准确性以及最终的提取结果，用于评估所提出的可移动静态物体提取方法的准确性。移动物体的检测时间设置为 0。确定物体是否为动态所需的时间定义为形状确定时间。此外，我们还评估了在环境地图上的表示，以及它与否根据可移动静态物体的提取是否更新局部背景之间的差异。 ##### 4.2. 评估实验的结果和讨论 表 2 显示了动态和可移动静态物体提取的结果。表 2 中的“结果”列显示了每个物体的误检次数。具体来说，它是将可移动的静态物体检测为人的次数，或者将人检测为静态物体（即背景）的次数。评估过程由三个步骤组成：由 ST 进行的评估、由 SS 进行的评估以及由 VC 或 PD 进行的评估。如果任何评估将物体重新定义为背景，则不进行进一步处理。所提出的方法始终为除了初始背景之外的物体分配 ID，无论它们是人还是可移动的静态物体。因此，分配 ID 的时刻被设置为 0 秒。直到确定物体是可移动的静态物体还是人的时间被测量，并定义为形状确定时间。 --- 可移动的静态物体或人。 椅子 A 的形状确定时间是指从确定有人站起来的那一刻到判断该物体为可移动静态物体的那一刻之间的测量时间。对于其他物体，当有人移动它们时，它们会被识别为移动物体，然后启动移除可移动静态物体的过程。形状确定时间表示判断它们为可移动静态物体所需的时间。每个过程的提取结果和误检次数如表 2 所示。实验结果表明，所有可移动静态物体在评估中都被错误地定义为背景，并且人们被识别为人物。
Table 2. Extraction result based on the proposed methods.
ObjectFalse extractionShape determination time [s]
STSSVCPDResult
Movable static objectsChair A0 / 40 / 417.8 (ST)
White board0 / 40 / 453.4 (SS)
Desk Camera stand0 / 40 / 458.6 (SS)
Chair B3 / 40 / 32 / 30 / 455.4 (SS)
Indoor plant Standing4 / 44 / 40 / 40 / 4177.9 (VC, PD) 191.0 (PD)
Moving objects (Human)0 / 40 / 40 / 40 / 40 / 4
Sitting0 / 40 / 40 / 40 / 40 / 4
椅子 A 通过检测坐在/站立位置的人的状态转换，并基于此转换进行提取，可以在短时间内被提取为可移动静态物体，且没有误检。这些结果表明，基于坐/站判断提取可移动静态物体所需的时间比其他方法短。白板、桌子和三脚架使用 SS 被提取为可移动静态物体，没有出现误判。三脚架比白板和桌子具有更少的平面，这种形状差异反映在形状确定时间上。同时，由于椅子 B 的点云可能包含扶手和座面，因此只能根据其形状得分将其提取一次为可移动静态物体。上述结果表明，该方法可用于提取具有线性表面的可移动静态物体。 室内植物使用 PD 被提取为可移动静态物体，没有误判，椅子 B 使用 PD 被检测为可移动静态物体一次，使用 VC 被检测两次。在使用 PD 和 VC 处理时，由于它们在将物体提取为动态物体后，需要使用 120 秒的数据来确定形状，因此需要的时间比其他方法更长。因为在此期间，该物体被认为是动态的，因此在未来需要缩短此时间。但是，这些物体最终通过 PD 和 VC 过程被检测为可移动静态物体。 该室内盆栽通过PD被提取为可移动静态对象，未产生误报；椅子B通过PD被检测出1次为可移动静态对象，通过VC被检测出2次为可移动静态对象。使用PD和VC处理时，确定形状所需的时间比其他方法更长，因为在通过SS将对象提取为动态对象后，二者需要使用提取完成后120秒的数据。由于该对象在此期间被判定为动态对象，因此需要缩短这段时间在 ![Image](images/cc6af225b837fa57fdfc2dcec1e2135d0a9dba4ab3a007a560d7687617c57272.jpg)
Figure 7. Designed experiment environment.
--- ![Image](images/47513464a18ce0b8e19a1543de649cc33572d0eb0e6435e404bae31c7210b7c8.jpg) ![Image](images/e6d4f1fa96c425d76d5e32d6a587529ce95c35999eca87b7507dede36408c56e.jpg) ![Image](images/bd62961fc39cf2a32ae3fe163b92d7b0b847ab6b9715cc44c3933ad4fad4580c.jpg)
Chair A
Figure 8. Chair A at t = 17.9 s.
--- ![Image](images/a55eb0243c28aeabf306ad6de7bd402e525ecffa5fca8e39e549c606be0af104.jpg) ![Image](images/7dfba56e570bf73ba413824164184bc496a376c2855aab1bfb99f45b0d08d657.jpg) ![Image](images/bf1bd33e861278cf8f40b52c7041cdbbea136da5ea2afa72fb91ab3eb81fbfd3.jpg)
(c) Local background redetermination based on movable moving objects extraction (VC): 3D-LiDAR Object
Figure 9. Chair Bat t = 178.0 s.
--- 此外，在所有试验中，人们都被检测为动态物体，无论其状态如何。由于该方法在形状确定过程中将他们定义为动态物体，并获取其位置和运动信息，因此在形状确定过程中没有缺失任何数据。这些结果表明，所提出的方法可以成功地将物体检测为可移动静态物体，尽管确定其形状需要时间。 图 8 和 9 显示了由于基于提取可移动静态物体进行局部背景更新而导致的地图的变化示例。在确定初始背景后，将准备好的物体放置在实验中。图 8 和 9 (a) 显示获得的初始背景。每个图都由在表 2 中指示的形状确定时间后 0.1 秒获得的点云信息表示。在图 8 和 9 (b) 和 (c) 中，红色圆圈区域内的物体是感兴趣的可移动静态物体；(b) 中的随机着色单元表示可移动静态物体的点。在所有图中，黑色或其渐变色表示定义为背景的单元格，并且单元格最大高度越接近 1.8 米（传感器的高度），颜色越深。 图 8 和图 9 显示了由于基于可移动静态对象的提取，而对环境地图进行的局部背景更新的示例。在确定初始背景后，将准备好的对象放置在实验中。图 8 和图 9 (a) 显示了获取的初始背景。每个图由在表 2 中指示的形状确定时间后的 0.1 秒获取的点云信息表示。在图 8 和图 9 (b) 和 (c) 中，红色圆圈区域内的对象是感兴趣的可移动静态对象；(b) 中随机着色的单元格表示可移动静态对象的存在。在所有图中，黑色或其渐变色表示定义为背景的单元格，并且单元格的最大高度越接近 1.8 米（即传感器的高度），颜色就越鲜艳。 在图 8 和图 9(b)中，没有执行可移动静态对象的提取；因此，每个对象都被提取为动态对象。在图 8 和图 9(c)中，相同区域被涂成黑色。这个结果表明，所提出的方法将目标对象提取为可移动静态对象，然后将所有这些对象占据的单元格重新定义为背景。 在本研究中，每个变量都经过了独特的定义。这些值是根据检测精度和处理时间通过验证其他值来确定的。所提出的方法用于检测人员并构建各种商业建筑的环境地图。我们确认所提出的方法在多种环境中都有效，无需调整设计参数。但是，随着更多关于各种环境的数据可用，可以优化设计参数。 #### 5. 结论 本研究提出了一种室内可移动静态对象提取方法以及一种局部背景更新方法，用于构建描述室内人类活动的建筑环境地图。通过评估实验，我们确认基于对象不同特征的所提出的可移动静态对象提取方法能够仅提取可移动静态对象，并且局部背景更新得到了适当的进行。因此，只有人员被识别为动态对象。未来，为了进一步提高精度，我们将开发一种用于对象的高效检测方法，该方法可应用于所提出的方法，并减少确定其形状所需的时间。 ### 声明 作者(们)未报告任何潜在的利益冲突。 ### 关于贡献者 Takumi Nishio 获得了中央大学精密机械系 2018 年和 2020 年的工学学士和硕士学位。自 2020 年起，他一直在川崎重工株式会社机器人部门（位于日本兵库县）工作。他的研究兴趣包括使用 LiDAR 传感器观测人类行走活动和构建环境地图。 Mihoko Niitsuma 获得了日本东京大学的电气工程博士学位，时间为 2007 年。她是中央大学理学与工程学部精密机械系的教授。她的研究兴趣包括基于智能空间 (iSpace) 方法的人机交互/协作和人类辅助机器人。 ### 参考文献 [^1]: Shuai L, Li C, Guo X, et al. Motion capture with ellipsoidal skeleton using multiple depth cameras. IEEE Trans. Visual Comput. Graphics. 2017;23(2):1085–1098. . [^2]: Hasanuzzaman M, Ampornaramveth V, Zhang T, et al. Real-time vision-based gesture recognition for human robot interaction. IEEE International Conference on Robotics and Biomimetics; 2004. p. 413–418. [^3]: Jung E, Lee J, Yi B, et al. Development of a laser-range-finder-based human tracking and control algorithm for a marathoner service robot. IEEE/ASME Trans. Mechatron. 2014;19(6):1963. [^4]: Xiao J, Quan L. Multiple view semantic segmentation for street view images. In Computer Vision, 2009 IEEE 12th International Conference on. IEEE; 2009. p. 686–693. [^5]: Lim E, Suter D. Multi-scale conditional random fields for over-segmented irregular 3D point-clouds classification. 2008 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops; 2008. p. 1–7. [^6]: Lim E, Suter D. 3D terrestrial LIDAR classifications with super-voxels and multi-scale conditional random fields. Computer-Aided Design. 2009;41(10):701–710. [^7]: Wang Z, Zhang L, Fang T, et al. A multiscale and hierarchical feature extraction method for terrestrial laser scanning point cloud classification. IEEE Trans Geosci Remote Sens. 2015;88(3-4):4839–4854. ## [^8]: Lodha S, Fitzpatrick D, Helmbold D. Aerial lidar data classification using AdaBoost. Sixth International Conference --- 发表于 3-D 数字图像和建模 (3DIM 2007) 会议论文集，2017 年，第 435-442 页。 [^9]: Golovinskiy A, Kim V, Funkhouser T. Shape-based recognition of 3D point clouds in urban environments. 2009 IEEE 12th International Conference on Computer Vision; 2009. p. 2154-2161. [^10]: Lodha S, Kreps E, Helmbold D, et al. Aerial LiDAR data classification using support vector machines (SVM). Third International Symposium on 3D Data Processing, Visualization, and Transmission (3DPVT'06); 2006. p. 567–574. [^11]: Chehata N, Guo L, Mallet C. Airborne lidar feature selection for urban classification using random forests. Int Arch Photogramm Remote Sens Spatial Inf Sci. 2009;38(3):207–212. [^12]: Niemeyer J, Rottensteiner F, Soergel U. Conditional random fields for lidar point cloud classification in complex urban areas. ISPRS Ann Photogramm Remote Sens Spatial Inf Sci. 2012;1–3:263–268. [^13]: Horn B. Extended Gaussian images. Proc IEEE. 1984;72(12):1671-1686. [^14]: Hebert M, Ikeuchi K, Delingette H. A spherical representation for recognition of free-form surfaces. IEEE Trans Pattern Anal Mach Intell. 1995;17(7):681–690. [^15]: Weinmann M, Jutzi B, Mallet C. Feature relevance assessment for the semantic interpretation of 3D point cloud data. ISPRS Ann Photogramm Remote Sens Spatial Inf Sci. 2013;II-5/W2:313–318. [^16]: Johnson A, Hebert M. Using spin images for efficient object recognition in cluttered 3D scenes. IEEE Trans Pattern Anal Mach Intell. 1999;21(5):433–449. [^17]: Caceres J, Slatton K. Improved classification of building infrastructure from airborne lidar data using spin images and fusion with ground-based lidar. Proc Urban Remote Sens Joint Event. 2007: 1–7. . [^18]: Fang L, Yang B, Chen C, et al. Extraction 3D road boundaries from mobile laser scanning point clouds. 2015 2nd IEEE Int. Conf. on Spatial Data Mining and Geographical Knowledge Services (ICSDM); 2015. p. 102–106. [^19]: Zhang Z, Zheng J, Wang X, et al. Background filtering and vehicle detection with roadside lidar based on point association. 2018 37th Chinese Control Conference (CCC); 2018. p.7938–7943. [^20]: Lv B, Xu H, Wu J, et al. Raster-based background filtering for roadside LiDAR data. IEEE Access. 2019;7:76779–76788. [^21]: Endres F, Plagemann C, Stachniss C, et al. Unsupervised discovery of object classes from range data using latent Dirichlet allocation. Proc Robot Sci Syst. 2009. [^22]: Nishio T, Niitsuma M. Environmental map building to describe walking dynamics for determination of spatial feature of walking activity. The 28th IEEE International Symposium on Industrial Electronics; 2019. p. 2515–2520. [^23]: Uenoyama N, Niitsuma M. Temporal segmentation of environmental map based on changing rate of activity areas and improvement of tracking method using LRF. 2015 IEEE/SICE Int. Symp. on System Integration; 2012. p. 57–62. [^24]: Shiga J, Maruyama G, Kato S, et al. Intelligent space-based future convenience store for customer interaction service with new experience, safety, and flexibility. 2022 IEEE/SICE International Symposium on System Integration; 2022. p. 1064–1071. [^25]: e-stat. [cited 2021 Jan 26]. Available from: [^26] modern-deco. [引用日期 2021 年 1 月 26 日].