Fig. 1 Scanning from a double layered approach: (a) sensors facing in opposite directions (bird's-eye view), (b) two layers of sensors (frontal view), (c) detection of body parts in each layer (dark elliptical shapes), and (d) people detection by fusion of layers
---
Gidel等人 [^13] 的传感器中的分层系统具有较窄的视野，因此层之间的垂直距离取决于传感器与目标之间的距离，这限制了提取不同特征的能力。相比之下，我们的系统采用并排放置的层（垂直分离），并且扫描数据以并行方式读取和处理。与Martínez Mozos等人 [^14] 不同，我们的系统安装在移动机器人上，每一层都扫描机器人的整个周围环境，并且它被设计用于检测多个人员，我们的方法涉及使用简单的步行模型融合层。
我们的方法足够简单，可以在移动机器人上实现，只需在机器人机身上以不同的高度安装传感器层，以检测不同的特征，并且可以通过安装更多的传感器对来轻松扩展以支持额外的层。尽管简单，我们的系统可以很好地检测大量人员，并且处理时间远低于传感器扫描时间。
与其他相关工作不同，我们在此研究中引入了激光反射强度数据，作为我们系统的扩展，用于解决人员检测问题 [^24]。首先，我们研究了激光强度如何随我们常穿的纺织品及其材料的变化而变化。我们提出了一种简单的用于减少目标距离对强度值的影响的方法。我们引入了几个基于强度的特征，用于训练强大的分类器以检测候选片段，这可以提高检测率。激光强度也被用于在此处，通过基于其不同的反射特性的分割来自不同物体的激光片段。据我们所知，没有其他工作考虑使用激光反射强度进行人员检测和片段分离。
这项工作的贡献可以总结如下：
- 用于移动机器人的可靠人员检测的多层系统。
– 对用于人员检测应用的纺织品和颜色的激光反射强度效应的研究。
– 将激光反射强度作为一种用于人员检测的新特征。
– 一种使用激光反射强度进行片段分离的新方法。
一种用于低功率LRF的激光反射强度校准的简单技术。
本文的其余部分组织如下：在第 2 节，我们概述了我们系统的硬件和软件。在第 3 节，我们介绍了用于对分割进行分类的单层方法。在第 4 节，我们提供了一项关于激光反射强度的研究，将其作为一种新的检测人员的工具，考虑了它如何与常见的纺织品相互作用，以及基于强度的特征在检测中的应用，以及其在合并分割中的使用。第 5 节介绍了将各个层检测结果组合在一起的多层方法。第 6 节展示了我们的人员检测方法的可靠性的实验结果和评估，在第 7 节，我们详细阐述了结果和我们的当前系统。最后，结论和未来的工作将在第 8 节中进行讨论。
## 2 系统概述
在本节中，我们描述了我们当前的机器人平台以及我们多层检测系统的软件架构。
### 2.1 硬件
我们用于研究的机器人基于我们的差速驱动 Yamabico 机器人平台，如图 2 所示。使用两层激光雷达传感器（图 2(a)）：底层距离地面约 40 厘米，而顶层距离地面约 110 厘米。每层包含两个激光雷达传感器：一个朝前，另一个朝后，以实现 $360^{\circ}$ 的覆盖范围。机器人的重心位于较低位置，并且上部框架采用轻量化设计，以最大限度地减少振荡运动。机器人的尺寸为 $40 \times 38 \times 120$ 厘米（长、宽、高）。
四个激光雷达传感器通过 USB 接口连接到主处理系统（图 2(b)）。四个独立的驱动程序进程读取扫描数据，并将数据集成到共享内存管理器中，该管理器具有自动时间戳功能。我们使用运行 Linux（内核 2.6.31）操作系统的笔记本电脑，该电脑配备英特尔酷睿 2 双核处理器，主频为 1.83 GHz，内存为 2 GB，用于数据处理和机器人控制。机器人车轮由 40 W 电机驱动，并配备旋转编码器。一个 SH2 微控制器用于控制车轮旋转计数和速度。图 2(c) 所示的是实际实现的机器人。
我们系统中使用的激光雷达传感器是 Hokuyo Automatic Co., Ltd. 生产的 URG-04LX 激光雷达（图 2(d)）：尺寸小巧、重量轻（$5 \times 5 \times 7$ 厘米，160 克），工作频率为 10 Hz，最大检测距离为 5.6 米，分辨率为 10 毫米，扫描角度为 $240^\circ$，分辨率为 $0.36^\circ$。该传感器内部的激光器是近红外（NIR）固态激光器，波长为 785 纳米。每个传感器扫描数据的组成是 682 个点，这些点以圆形排列（从右向左）。Kawata 等人 [^25] 对传感器的工作原理进行了良好的分析（请参阅 [^26] 和 [^27]，以获得该传感器与其他激光雷达的详细比较）。
### 2.2 软件
我们的系统处理流程如图 3 所示。我们的人员检测方法涉及三个主要步骤：
---
Fig. 2 Our robot system for multiple people detection: (a) sensor layers, (b) hardware architecture, (c) the implemented robot, (d) the URG-04LX laser scanner
用于以下步骤：单层分类、使用激光强度进行的分段、以及多层人员检测。 某些中间步骤的输出以图的插入形式呈现，对应于实际的扫描数据。图 3(a) 是传感器融合的结果（顶层由较暗的点表示，机器人由填充的多边形表示），图 3(b) 对应于单层分类（可能的身体部位用椭圆形表示）。 作为人员检测过程中的一种新输入，我们使用每个 LRF 传感器的反射强度。图 3(c) 表示此激光强度输入（较亮的点对应于较高的强度级别）。最后，在图 3(d) 中，通过融合层来检测到机器人周围的人（用圆柱体表示）。
在单层分类步骤中，同一层的传感器朝向相反的方向，将数据结合起来，然后将融合的数据分成段，对于每个段，我们计算一组属性（特征），最后选择可能属于人员的段（我们称之为候选段）。候选段是那些最可能对应于人体某个部分的段，根据一定的置信度；我们考虑胸部区域的段（顶层）和腿部区域的段（底层）。
在一个中间步骤中，我们试图通过检测和解决以下情况来改进单层检测：当一个人非常靠近物体或另一个人时，他们形成一个大的 LRF 段（他们的单个 LRF 段合并在一起），无法检测到。为此，我们使用从物体反射的激光强度值。为了进一步提高检测结果，我们在段分类子步骤中使用基于激光强度的特征。
Fig. 3 System overview: (a) fusion of sensors, (b) single layer classification, (c) laser reflection intensity as input, and (d) fusion of layers for people detection
在最终的多层步骤中，我们将从每个层获得的单个检测结果融合在一起，以稳健地检测人员及其位置。 每个层的候选片段对应于身体的不同部位，因此我们尝试为
---
每个胸部片段找到其对应的腿部片段 $^{1}$，这基于一个简单的步行模型。
## 3 单层分类
### 3 单层分类
如2.2节所述，来自LRF传感器的数据在每个层独立读取和处理，层数据被划分为片段，然后根据其几何属性进行分类。 3.1节和3.2节中的步骤在此简要说明。 详细信息请参见 [^24]。
### 3.1 传感器融合
机器人通过两个传感器层扫描其周围环境，每个层有两个传感器，一个面向前方，一个面向后方。每个传感器 a 和 b 提供扫描数据 $\mathbf{C}^a$ 和 $\mathbf{C}^b$，其形式为 $\mathbf{C}^a = \{p_1^a, \ldots, p_m^a\}$ 和 $\mathbf{C}^b = \{p_1^b, \ldots, p_n^b\}$，对于 m 和 n 个有效的扫描光束，每个扫描光束 $p_i$ 包含距离和方向 $\langle r_i, \psi_i \rangle$，其中 $\psi_i \in [-120^\circ, 120^\circ]$ 对于我们的 LRF 传感器。
我们应用一个变换 $\mathcal{R}: \mathcal{L} \to \mathcal{G}$，将每个传感器的局部坐标系 $\mathcal{L}$ 转换到机器人参考系 $\mathcal{G}$。通过 $\mathbf{Q} = \mathcal{R}\{\mathbf{C}\}$，我们获得两个新的集合 $\mathbf{Q}^a$ 和 $\mathbf{Q}^b$，它们位于 $\mathcal{G}$ 系统中，并且每个扫描点 $q_k \in \mathbf{Q}$ 具有转换后的距离和方向 $q_k = \langle \rho_k, \varphi_k \rangle$。
来自 $\mathbf{Q}^a$ 和 $\mathbf{Q}^b$ 的数据被融合，考虑扫描读数中的重叠区域（图 1(a) 中的深色区域）：对于 $q_i^a$ 中每个点 $\mathbf{Q}^a$，在重叠区域中，我们找到最接近的点 $q_n^b$，该点位于相应的重叠区域中的 $\mathbf{Q}^b$，然后我们获得并存储平均点 $f_j = \langle \frac{\rho_i^a + \rho_n^b}{2}, \frac{\varphi_i^a + \varphi_n^b}{2} \rangle$，该点位于融合的点集中 $\mathbf{F}^{ab}$；位于非重叠区域中的点 $\mathbf{Q}^{ab}$ 直接复制到 $\mathbf{F}^{ab}$。
### 3.2 分割
在这里，分割是指断点检测问题：找到一组点之间的间隙足够大，不能被认为是噪声，并且可以将点的集合明显地分成两个或多个部分。 我们的分割技术属于点距离类（Borges et al. [^15]）。 考虑两个相邻的点 $f_j$ 和 $f_k \in \mathbf{F}^{ab}$，它们之间由距离 $D(f_j, f_k) = |\rho_j - \rho_k|$ 和角度 $\Delta\varphi_{jk} = |\varphi_j - \varphi_k|$ 隔开。 通过使用阈值函数 $\mathcal{T}$ 来测量相邻点之间的间隙，将一个新的扫描点 $f_n$ 与给定段 $f_m$ 中的最后一个已知成员 $S_i$ 进行比较，如果测试 $D(f_m, f_n) \leq \mathcal{T}(f_m, f_n)$ 不通过，则它们被分配到不同的段 $S_i$ 和 $S_j$（即，$f_n$ 标志着新的段 $S_j$ 的开始）。
我们定义了一个自适应阈值函数 $\mathcal{T}$，基于 [^28]：
$$ \mathcal{T}(f_{j},f_{k})=\mathcal{E}(f_{j})+\operatorname*{m i n}(\rho_{j},\rho_{k})\bigvee2(1-\operatorname{c o s}(\Delta\varphi_{j k})) $$
$\mathcal{E}(\rho_j)$ 对应于在距离 $\rho_j$ 处发生的径向误差，根据 LRF 的规格定义如下：
$$ \mathcal{E}(\rho_{j})=\left\{\begin{aligned}&10(mm)&&if\rho_{j}\leq1000(mm)\\ &0.01\times\rho_{j}(mm)&&otherwise\end{aligned}\right. $$
自适应阈值函数 $\mathcal{T}$ 的示例，用于分割，使用实际的扫描数据，如图 4 所示；数据使用函数 $\mathcal{T}$ 作为跳跃距离分割成不同的段，并且圆的半径对应于此阈值函数。 使用函数 $\mathcal{T}$ 可以避免由于噪声而产生的非必要断点，径向误差项 $\mathcal{E}$ 还可以将具有大范围值的相邻点保持在一起，因为随着范围的增加，点之间的距离会增加。 方程 1 中的最后一项计算了两个单位向量在 $f_j$ 和 $f_k$ 相同的方向上的距离。
为了找到给定点 $f_k$ 的最近邻居 $f_j$，我们将扫描点存储在 kdTree 数据结构中，并实现一种有界 k-最近邻 (k-NN) 搜索，以在以点 $\mathcal{T}$ 为中心的搜索半径 $f_j$ 内查找最近的邻居，这基于 Klasing 等人提出的径向有界最近邻 (RBNN) [^29]。
Fig. 4 Adaptive threshold function T for segmentation (circles have been enlarged to ease visualization)
---
| No. | Feature $\mathbf{h}(S_i)$ |
| 1. | Number of points (N) of the segment |
| 2. | Width (w), longest side of the bounding-box enclosing the segment $w = \max(W, H)$, with W and H the sides of the box |
| 3. | Size ratio ( $\ell$), ratio of the sides of the segment's bounding-box $\ell = \max(W, H)/\min(W, H)$ |
| 4. | Linearity (L), variance of the residuals to the best fitting line |
| 5. | Circularity (c), variance of the residuals to the best fit circle |
| 6. | Radius (R), from the best fitting circle |
| 7. | Ellipticality ( $\varepsilon$), variance of the residuals to the best fit ellipse |
| 8. | Boundary length (bl), average distance between points $bl = \frac{1}{N} \sum_{i=1}^{N-1} D(f_i, f_{i+1})$ |
| 9. | Boundary regularity (br), standard deviation of the boundary length |
| 10. | Mean curvature ( $\bar{\kappa}$), mean for each of the curvatures $\kappa_i$ computed from the triangle $\triangle f_{i-1}f_i f_{i+1}$, every three points, as $\kappa_i = 4A/(D(f_{i-i}, f_i)D(f_i, f_{i+1})D(f_{i-1}, f_{i+1}))$ with A the triangle's area |
| 11. | Mean angular difference ( $\bar{\phi}$), mean value of the angles $\phi_i$ formed every three points as $\phi_i = \angle(\bar{f}_{i-1}f_i, \bar{f}_i f_{i+1})$ |
| 12. | Normalized number of points ( $\bar{N}$), the ratio of the actual number of points and the maximum expected number of points at a given range, $\bar{N} = 2N\rho \tan(\bar{\vartheta}/2)/w_{\max}$, where $\rho$ is the range to the segment center, $\vartheta$ is the angular resolution of the sensor and $w_{\max}$ the maximum segment width |
## 3.3 特征提取和分类
特征提取和分类的想法是，将传感器读数与表示数据预期行为的几何模型进行匹配。 例如，如果激光雷达传感器扫描墙壁，则预期扫描数据形成一条直线。 同样，如果传感器扫描人体，则预期结果是形成弧形的点集。 为了识别墙壁，我们需要根据其与某些线模型（线性）的拟合程度对段进行分类；对于人体，选择那些与某些曲线模型（圆形或椭圆形）的拟合程度高的段。
```text
从最小二乘的观点来看，将扫描数据拟合到某些模型（特别是曲线）会尝试找到使残差平方和最小化的模型参数集，其中使用扫描数据的笛卡尔坐标 $(x, y)$ 作为过度确定的系统的因子。 将一个圆拟合到构成一条直线（例如，墙壁）的扫描段，可能会得到一个具有小残差误差的大圆，但这不能代表任何人体——考虑到物理尺寸。 因此，仅仅符合某些曲线模型不足以准确检测到人。 另一方面，如果我们包含诸如段宽、圆半径等附加特征，我们可以实现更好的分类。 这意味着，一组简单的特征可以准确地猜测段的类型：人体或环境物体（墙壁和其他）。
```
对于每个分段$S_i$，我们计算得到n个特征组成的集合$\mathbf{h}(S_i) \in \mathbb{R}^n$，以此判断该分段是否对应人体部位（胸部或腿部）。基于Arras等人的研究[^10]，我们在表1中给出了从每个分段提取的全部特征完整列表。我们引入了$Size\ ratio(\ell)$和$Normalized\ number\ of\ points$（$\widehat{N}$）特征。$\ell$对应包围该分段的边界框的边长比（见图11），用于衡量分段的细长度：墙面分段的$\ell$值会大于人体分段的该值。$\widehat{N}$是当前点数量与特定距离下预期最大点数量的比值。此处$w_{max}$是人体部位的预期最大宽度（目前设定胸部为800毫米，腿部为450毫米）；由于物体的扫描点数量会随其到传感器的距离增加而减少，$^2$ $\widehat{N}$可以实现与距离无关的分段尺寸测量，而点数量特征N则规定了一个分段所需的最少点数量。
为了有效地使用特征列表 $\mathbf{h}(S_i)$ 对身体部位进行分类，我们使用增强的 AdaBoost 算法 [^11]，遵循 Arras 等人 [^10] 中的描述，来训练一个强大的分类器 $\mathcal{H}$。 为了实现此目的，我们首先形成一个由 m 个带标签的训练示例 $\mathcal{X} = \langle (\mathbf{h}(S_1), l_1), \ldots, (\mathbf{h}(S_m), l_m) \rangle$ 组成的集合，其中 $l_i \in \{+1, -1\}$ 是段的标签，其中 $l_i = +1$ 用于正例（人体）和 $l_i = -1$ 用于负例（环境物体）。
```text
类似于 [^14]，为了创建训练向量 $\mathcal{X}$，我们使用我们的激光雷达数据可视化工具定义无障碍区域：任何进入这些区域的段（来自任何层）都会自动标记为正例（人体），其余标记为负例。 我们在图 5 中给出了一个示例，其中一个人（标记为 P0）在杂乱的办公室中行走：图 5 中所有落在涂漆区域内的段都被标记为正样本。 此方法适用于在线和离线分割。
```
---
Fig. 5 Automatic labeling of segments for complex scenarios, darker segments correspond to top layer data and the robot is marked by an arrow
对样本进行标注。我们为不同的实验环境中的样本进行了标注，包括静态和移动机器人。最后，从大量的标注扫描数据中，我们随机选择了一些条目，以定义 $\mathcal{X}$，以避免过度拟合。
再次基于 [^10] [^11]，最终的假设（强分类器）H 的形式为：
$$ \mathcal{H}(S)=\mathrm{s i g n}\Biggl(\sum_{i=1}^{T}\omega_{i}g_{i}(S)\Biggr) $$
其中弱分类器函数 $g_{i}(S)$ 评估第 i 个特征 $h_{i}(S)$ 的方式如下：
$$ g_{i}(S)=\begin{cases}+1,&if s_{i} h_{i}(S)Fig. 6 Classification error vs. the number of iterations T for the strong classifiers $H_{t}$ and $H_{b}$
这在图 6 中显示出良好的性能，并且训练误差很小。该图是在训练 $\mathcal{H}_{\Psi}$ 时获得的，分别针对两层。
此分类过程的最后一步是使用来自 $\mathcal{H}_{\Psi}$ 的输出，将片段标记为可能的身体部位或环境物体：
$$ label(S)=\begin{cases}&``candidate^{\prime \prime},&if\mathcal{H}_{\Psi}(S)>0\\ &``object^{\prime \prime},&otherwise\end{cases} $$
### 4 激光强度用于人员检测
除了距离数据外，大多数 LRF 传感器还提供每个激光束的反射强度（反射率）。这个属性很少被考虑。Hancock [^30] 归属于一个使用移动机器人激光强度的先驱性工作，其中提出了一种激光反射模型，该模型描述了反射激光对表面反照率、粗糙度、目标距离等的响应。最近，激光强度在研究界越来越受到关注。Nüchter 等人 [^31] [^32] 使用范围和强度数据，以及 Haar-like 特征进行物体分类。Montemerlo 等人 [^33] 使用激光强度来从自动驾驶车辆中提取道路车道。Ye [^34] 使用激光测距和强度来检测和去除混合像素：两个不同表面之间的虚假测距。在 Rusu 等人的工作中 [^35]，他们结合了范围和强度信息来检测人类环境中的物体，特别是厨房门把手。
激光反射强度取决于以下几个属性：
- 颜色
– 材料和粗糙度
– 到源（传感器）的距离
– 激光束的功率、波长等。
室内环境中物体（墙面、门、窗、金属物体等）的颜色和材质通常
---
Fig. 7 Different textiles and their raw laser reflection intensity levels for the URG-04LX, the selection include diverse materials, colors, textures, and densities
与衣服不同。因此，从环境物体反射的激光束的强度也与人类不同，可以用于区分人与物体。通过适当的激光特性分析，还可以实现某种形式的识别 [^30]。
接收到的强度值取决于发射激光束的功率。高功率激光扫描仪可以实现更远的范围，并提供详细的范围/强度图像（例如，蒙特梅洛等人提供的街道图像的类似图像 [^33]）。对于低功率的眼安全激光扫描仪（如URG-04LX范围扫描仪），强度值会随着范围的增加而迅速下降（如河田等人报告的 [^36]）。此外，对于这种眼安全传感器，反射的激光以较低的功率到达传感器光电二极管，因此必须通过传感器电路中的滤波器、校正表和放大器进行处理。特别是URG-04LX的自动增益控制 (AGC) 确保强度值在传感器可用的范围内，并避免饱和。
此外，在 URG-04LX 传感器中，如果任何激光束的放大强度超过某个内部阈值，传感器将报告该激光束的范围数据，否则传感器输出将其视为超出范围。 如果我们从传感器读取激光束的强度输出，它将是经过滤波和放大的值，因此物理强度和传感器的强度输出不是线性相关的。 因此，此传感器返回的反射强度值不是绝对值。 因此，我们尝试表征传感器的实际强度输出，特别是针对强度值中距离和激光束方向的影响。
### 4.1 激光强度和纺织品
为了考虑激光强度在人员检测中的应用，研究激光强度如何随范围变化以及服装中的纺织品类型（特别是黑色纺织品如何影响强度，因为它们的反射率较低）非常有趣。 $^{3}$
在图 7 中，我们展示了 17 种常用纺织品，包括衬衫、外套和夹克； 包括棉、涤纶、羊毛等材料，颜色和密度各异（即厚度，薄衣服密度低，厚衣服密度高）。 对于每种情况，穿着目标纺织品的真人站在机器人前方，并在每个位置扫描 30 秒，获得的数据来自胸部区域。 绘制的值对应于范围和强度的平均值； 针对从 1000 毫米开始的 500 毫米范围间隔（直至传感器的最大范围 5600 毫米）获得的数据。 由于反射率差，对于黑色聚氨酯、黑色合成革、$^{4}$ 黑色低密度棉和黑色尼龙，每隔 250 毫米获得数据，直至超出范围。 为了比较结果，图 8 中包含的白色纸张曲线也在此处作为参考。
---
白色和浅色织物，以及一些黑色织物，如聚酯纤维西装、腈纶夹克、超细纤维衬衫和黑色棉质 T 恤（高密度棉），呈现出较高强度，最高可达传感器的最大扫描范围。蓝色牛仔布（夹克）的反射率相对较低，范围约为 4500 毫米。⁵ 厚实的羊毛/尼龙外套的强度甚至更低，范围也更小。我们还比较了相同材料但不同颜色的衣服：对于低密度棉和合成革，没有发现显著差异。
强度会随着颜色和材料的变化而变化：一部分从物体上漫反射的光线会携带一些信息（以反射光谱的形式 [^37]），从而可以区分不同的物体。因此，对于某些材料，强度信息可用于区分深色和浅色物体，以及高反射和低反射物体（例如，白色纸张和墙壁与纺织品）。
### 4.2 激光强度校准
强度取决于许多因素，其中之一是到目标的距离（范围）。如前所述，图 7 显示了 Hokuyo URG-04LX 在强度与范围的关系上呈现出特征性的 S 形曲线，在该曲线的起始和结束范围，衰减速度较慢。受 Gompertz 增长函数 [^38] [^39] 的启发，我们定义了强度随范围变化的衰减函数：
$$ \mathcal{F}_{\rho}(p_{i})=a(1-\exp(b\exp(c\rho_{i}))) $$
其中 $\rho_{i}$ 是点 $p_{i}$ 的范围，a 是上限渐近线，b 和 c（均为负数）是衰减参数。使用非线性最小二乘法来找到每个传感器的参数（a、b、c）。等式 7 并没有精确地反映实际反射激光束（在传感器光电二极管处接收到的）是如何随距离衰减的，因为物理激光强度和传感器输出的强度之间没有线性关系；但是，我们认为它代表了传感器本身的特征性强度响应。
我们在此特征形式中展示了结果，如图 8 所示。作为标准程序，我们从 90 克/平方米、0.13 毫米厚的白色键合纸上，以接近零的入射角，从 250 毫米的最小范围到 5250 毫米的最大范围，以 250 毫米的步长采集数据；连续曲线对应于等式 7 中的函数 $\mathcal{F}_{\rho}(p_i)$。这些曲线以及图 7 中的曲线是在传感器预热约 60 分钟后获得的，以避免由于内部温度变化而导致的范围和强度漂移（如 Pascoal 等人 [^26] 和 Okubo 等人 [^27] 报告的那样）。扫描
(a)
(b)
Fig. 8 Characteristic intensity data by varying distance and sigmoid curve $\mathcal{F}_{\rho}$ for two different URG-04LX sensors, the parameters $(a, b, c)$ of each curve and the correlation coefficient $R^{2}$ are also given
数据在 60 秒内采集，我们还为每个不同范围的数据，在图中呈现了两个标准偏差的强度误差范围 $2\sigma$。
如图 8(a) 和 8(b) 所示，函数 $\mathcal{F}_{\rho}$ 随传感器而变化，不仅曲线的参数不同，而且强度值的刻度也不同（图 8(a) 中的曲线的最大值为 30047，而图 8(b) 中的曲线的最大值为 6425 $^{6}$）。根据 Hokuyo 的工作人员表示，虽然传感器的型号和其一般运行方式相同，但它们来自不同的生产线，因此每个传感器的电路中都有不同的内部校准参数。因此，单个校准曲线不足以适应来自所有传感器的不同响应。相反，我们获得了每个传感器的 $\mathcal{F}_{\rho}$ 曲线，并为每个传感器分别进行了强度校准。
对于给定扫描点$p_{i}$，我们将式7的结果用作该点对应距离的预期强度，对原始强-
---
传感器$I(p_{i})$报告的强度值，针对目标距离的影响，使用衰减函数$\mathcal{F}_{\rho}$，对于给定扫描点可表示为：
$$ \mathcal{I}(p_{i})=\frac{I(p_{i})}{\mathcal{F}_{\rho}(p_{i})} $$
我们使用函数 $\mathcal{F}_{\rho}$ 来规范化强度级别，即我们室内环境中预期的最大强度级别。这个规范化级别对应于白纸的级别，并且如 7 图所示，纺织品反射的强度级别低于这个最大值。我们发现，常见室内物体（混凝土、木材、纸张、纸板、植物、塑料等）中材料的强度级别也低于这个规范化级别。
每个层级的传感器融合意味着，如果融合点$p_i$落在重叠区域内（如3.1节所述），其强度值可能来自两个不同的传感器a和b，即存在两个原始强度值$I^a(p_i)$和$I^b(p_i)$。由于每个传感器具有不同的衰减函数$\mathcal{F}_\rho$，因此对于每个融合点$p_i$，我们会保留融合前各自的原始强度数据（$I^a(p_i)$和$I^b(p_i)$），随后对每个传感器的原始强度值进行校准，得到$\mathcal{I}^a(p_i)$和$\mathcal{I}^b(p_i)$，最终将平均值$\mathcal{I}(p_i) = \frac{\mathcal{T}^a(p_i) + \mathcal{T}^b(p_i)}{2}$作为$p_i$的校准后强度输出。对于重叠区域外的点，原始强度的校准过程十分简单。
校准后强度的均值$\mu_{\mathcal{I}}$和强度的方差$\sigma_{\mathcal{I}}^{2}$，在校准完成后（见式8），可作为物体强度的度量。若一个（分割得到的）物体由两个或多个具有不同反射特性的分割块合并而成，由于混合了各个单个物体的强度，该物体的强度值方差$\sigma_{\mathcal{I}}^{2}$会更大。
下面我们分析分割块j中相邻点$p_{i}^{j}$和$p_{i+1}^{j}$之间的强度变化，此处采用校准后强度的差值：
$$ \mathcal{D}_{j}(p_{i})=\mathcal{I}(p_{i}^{j})-\mathcal{I}(p_{i+1}^{j}) $$
强度差异的方差 $\sigma_{\mathcal{D}}^{2}$ 用于衡量强度均匀性：如果物体具有均匀的反射（即，表面光滑且颜色单一），则 $\sigma_{\mathcal{D}}^{2}$ 将会比较小，因为强度差异趋于较小。一个分段 j 的强度差异方差为：
$$ \sigma_{\mathcal{D}_{j}}^{2}=\frac{1}{N}\sum_{i=1}^{N}\left(\mathcal{D}_{j}(i)-\mu_{\mathcal{D}_{j}}\right)^{2} $$
其中 $\mu_{\mathcal{D}_{j}}$ 是差异 $\mathcal{D}_{j}$ 在段 j 中的平均值。
#### 4.3 激光强度和人员检测
当两个不同的物体非常靠近时，它们的单个 LRF 范围段可能会合并成一个更大的段。此外，某些 LRF 传感器会受到混合像素问题的影响 $^{7}$，即位于两个明显分离的表面之间的虚假和噪声扫描点，这些点被同一激光束锥击中或受到同一激光束边缘的不同脉冲的回波，从而为同一光束产生多个范围读数；混合像素为扫描读数增加了连续性，错误地连接了两个分离的物体，并且在分割过程中可能会将它们合并。因此，在人类无法仅使用基于范围的特征正确区分的情况，更好地理解激光反射强度对人员检测的影响。一个例子是当一个人非常靠近其他人和物体时。
#### 4.3.1 合并的段和激光强度
为了研究激光强度在应用中的作用，我们从三个实验场景中获取了数据，这些场景涉及在室内环境中两人，穿着不同的颜色（在这种情况下是深灰色和米色衬衫），具体情况如下：
(A) 两人分离
(B) 两人合并（接触）
(C) 一人和一个物体（一堵墙）合并
图 9 呈现了这三种情况：它包括每个情况中人类和环境的表示、使用我们的多层系统进行实际检测的真实扫描数据（通过圆柱体标记检测到的目标），以及顶层强度差异的相应图表 $D_{j}$。
图 9(a) 对应于情况 A，其中人员 P0 和 P1 分开且被正确检测。图 9(b) 对应于情况 B，此时人员靠近移动，它们的 LRF 段合并（段 1）。$^{8}$ 此外，在图 9(c) 中，对应于情况 C，它们分离，但人员 P1 非常靠近一堵墙，P1 的段和墙的段合并（段 2）。
图 9 的最右侧列显示了所有顶层分段的校准强度 $\mathcal{D}$ 的差异图，包括它们的方差（$\sigma_{\mathcal{D}}^{2}$ 在公式 10 中），我们将在表 2 中提供这些分段的更多详细信息。
我们可以观察到，仅对应于墙壁的段（图 9(a) 中的段 0 和 3，图 9(b) 中的段 0 和 2 以及图 9(c) 中的段 0）具有较小的 $\sigma_{D}^{2}$，因为它们的反射特性非常均匀。
---
(a) Two humans separated (Case A)
(b) Two humans merged (Case B)
(c) A human and a wall merged (Case C)
Fig. 9 Three cases for segment separation and laser intensity for two persons, (left) visual representation of the case, (middle) actual scan segments and people detection, (right) difference of intensity curves. (a) segments (1(t) and 2(t)) from two persons (P0 and P1) are sep-
arated and the persons are detected, (b) two persons very close and forming one segment 1(t), (c) a human very close to a wall forming one large segment 2(t). The terms "(t)" and "(b)" stand for "top" layer and "bottom" layer
Table 2 Segment parameters (top layer)
| Case | Seg | $\mu_{{\mathcal{D}}}$ | $\sigma_{{\mathcal{D}}}^{2}$ | $\ell$ | w |
| A | 0 | 0.000052 | 0.001067 | 121.219 | 5767.907 |
| 1 | 0.011512 | 0.008663 | 3.789 | 427.895 |
| 2 | 0.018666 | 0.022276 | 2.667 | 469.681 |
| 3 | 0.000736 | 0.000444 | 116.857 | 5513.667 |
| B | 0 | 0.000107 | 0.000921 | 111.213 | 5746.118 |
| 1 | -0.005758 | 0.015570 | 5.467 | 922.348 |
| 2 | 0.000091 | 0.000474 | 113.436 | 5893.558 |
| C | 0 | 0.000085 | 0.000962 | 110.988 | 5073.084 |
| 1 | -0.023403 | 0.025974 | 2.909 | 449.623 |
| 2 | 0.022062 | 0.029477 | 8.759 | 4912.623 |
在表 2 中，我们为图 9 中的每种情况提供了每个段的 LRF 范围和强度信息（在本文的实现中，我们仅考虑顶层）。对应于人员的段（无论是分离的还是合并的）都以粗体突出显示。从基于范围的特征来看，人员的段具有小尺寸比 $\ell$ 和小宽度 w 值，但对于合并的段，这些基于范围的特征不足以进行人员检测。另一方面，所有人员段的方差都很大，即使是人类与墙壁合并的段（情况 C 中的段 2）。这种大的方差 $\sigma_{D}^{2}$（或强度均匀性）通常来自校准强度方差的值很大，这可以衡量物体的强度变化（即漫反射）。
---
Table 3 Intensity-based features for people detection
| No. | Feature $\mathbf{h}(S_I)$ |
| 13 | Average intensity ( $\mu_I$), the average of the calibrated intensity. |
| 14 | Intensity variation ( $\sigma_I^2$), the variance of calibrated intensity. |
| 15 | Average difference of intensity ( $\mu_D$), the average of the differences of calibrated intensity. |
| 16 | Intensity uniformity ( $\sigma_D^2$), the variance of differences of calibrated intensity as in Eq. 10. |
2 来自案例 C)。这种较大的方差 $\sigma_{D}^{2}$（或强度均匀性）通常来自校准强度 $\sigma_{I}^{2}$ 的较大值，它用于测量物体的强度变化（即，漫反射）。
因此，强度均匀性（$\sigma_D^2$）和强度变化（$\sigma_I^2$），以及各自的平均值 $\mu_D$ 和 $\mu_I$，可以被认为是用于检测人体的新特征。我们将在表 3 中介绍这些新特征及其各自的分类器。
这些新特征不能单独使用，因为存在强度均匀性值较高的非人体环境物体，例如在杂乱的环境中，但与互补特征（如表 1 中的特征）结合使用，可以提高检测率，如我们在第 6 节中所示。我们将这些新特征包含在训练向量 $\mathcal{X}$ 中，并再次使用 AdaBoost 训练增强型强分类器 $\mathcal{H}_{\Psi}^{+}(S)$，具体过程如第 3.3 节所述。
$$ \mathcal{H}_{\Psi}^{+}(S)=\left\{\begin{aligned}{\mathcal{H}_{\mathrm{t}}^{+}(S),\quad}&{{}{f o r~t h e~t o p~l a y e r}}\\ {\mathcal{H}_{\mathrm{b}}^{+}(S),\quad}&{{}{f o r~t h e~b o t t o m~l a y e r}}\\ \end{aligned}\right. $$
## 4.3.2 合并分段的检测和分离
我们旨在检测并分离其中至少一个区域对应人体的合并分割块。检测这类区域的一种直观思路是筛选出较宽的分割块（宽度超过$w_{\max}$，即人体的最大可能宽度），同时满足：并非细窄区域（尺寸比$\ell$低于$\ell_{\max}$，以此排除宽而平的墙面），且强度均匀性较高（$\sigma_{\mathcal{D}}^2$高于$\sigma_{\mathcal{D}_{\min}}^2$）。$w_{\max}$和$\ell_{\max}$被定义为由强分类器$\theta_w$训练得到的最大阈值$\theta_\ell$和$\mathcal{H}_t$。$\sigma_{\mathcal{D}_{\min}}^2$也以类似方式从$\mathcal{H}_t$中获得。剩余问题是如何找到划分合并分割块的分离点（断点）。
考虑两个不同的物体 i 和 j，它们的强度差异分别为 $\mathcal{D}_i$ 和 $\mathcal{D}_j$，两者都服从正态分布：$\mathcal{D}_i \sim \mathcal{N}(\mu_{\mathcal{D}_i}, \sigma_{\mathcal{D}_i}^2)$ 和 $\mathcal{D}_j \sim \mathcal{N}(\mu_{\mathcal{D}_j}, \sigma_{\mathcal{D}_j}^2)$，均值为 $\mu_{\mathcal{D}}$，方差为 $\sigma_{\mathcal{D}}^2$。 此外，假设这两个物体相互接触，从而形成一个扫描数据段（图 9 中的 B 和 C 情况，更多细节见图 10）。
合并对象的强度分布是两个单独强度分布的 Gaussian Mixture $\mathcal{M}$：
$$ \mathcal{M}(\mathbf{x})=\omega_{i}P(\mathbf{x}|\mathbf{\Theta}_{i})+\omega_{j}P(\mathbf{x}|\mathbf{\Theta}_{j}) $$
其中 $\mathbf{x} \in \mathcal{D}_{ij}$ 和 P 是概率密度函数，混合权重为 $\omega_i$ 和 $\omega_j$。 分离合并段落的任务可以被视为分离合并的强度分布 $\mathcal{D}_{ij}$，用于物体 i 和 j，这意味着需要估计未知的参数：$\boldsymbol{\Theta}_i = \langle \mu_{\mathcal{D}_i}, \sigma_{\mathcal{D}_i}^2 \rangle$、$\boldsymbol{\Theta}_j = \langle \mu_{\mathcal{D}_j}, \sigma_{\mathcal{D}_j}^2 \rangle$，其中有一个已知的参数 $N = 2$，即定义混合的对象数量。 $^9$
我们使用 Expectation-Maximization (EM) 算法来估计 $\Theta_i$ 和 $\Theta_j$，然后我们将数据分离到各自的分布 $\mathcal{D}_i$ 和 $\mathcal{D}_j$ 中。 在将数据分离到各自的分布后，断点被定义为 $\mathcal{D}_i$ 中的最后一个点和 $\mathcal{D}_j$ 中的第一个点的平均值。
在图 10 中，我们展示了合并段落的分离方法，分别对应于 B 情况（左列）和 C 情况（右列）。 为了补充该图并便于可视化，我们在图 10(a) 和 10(d) 中包括了段落的扫描数据（为了方便起见，包含扫描点编号轴）。 实际的断点是手动计算的，并在图中进行了标记。 图 10(a) 和图 10(d) 显示了两个人类的曲线，以及长墙和其左侧的人类的曲线（C 情况）。
在图 10 (b) 和 10(e) 中，我们显示了合并段落的强度差异（$\mathcal{D}$）的详细图表。 在每个段落中，强度数据呈现不同的均匀性（点之间的垂直距离）：对于 B 情况（图 10(b)），左半部分的点比右半部分的点更紧密；对于 C 情况（图 10(e)），左侧的前 50 个点比其余的点更松散。 在图 10(c) 和 10(f) 中，我们使用 EM 进行分离，将点分成各自的分布，并显示了估计的均值和协方差椭圆（最多 $3\sigma$ 个），以及估计的断点。
最后，我们正式地在算法 1 中描述了合并段落的检测和分离方法。
### 5 多层人员检测
多层人员检测的目的在于将各个层中检测到的候选区域进行组合，以提高检测的置信度。
---
(a)
(d)
(b)
(c)
Fig. 10 Segment separation from intensity data for Case B (left column) and Case C (right column): (a) and (d) scan data in Cartesian coordinates with the actual breakpoint indicated, (b) and (e) differences of calibrated intensity $\mathcal{D}$, (c) and (f) Expectation-Maximization
(e)
层融合是指找到给定躯干对应的腿（如图 11(a) 和 11(b) 所示）。 我们将
### 5.1 层融合
(f)
### 3. 人在正常步行速度下移动
以下两个条件是相关的：如果从两个层获得数据，并且该人足够高（顶层高度超过 110 厘米），则可以检测到该人。 虽然此限制是物理实现的限制，会妨碍对小人的检测，但可以通过包含额外的 LRF 层来消除。 第二个条件限制了我们系统在时间遮挡情况下的响应：为了最初检测到一个人，我们需要从两个层获得数据，然后我们的系统可以容忍底层层的遮挡。 第三个条件是为了创建一个简单的步行模型，用于融合各个层检测的结果，如下所述。
2. 需要来自两个层的数据才能实现初始检测
系统鲁棒性。 此外，在这一步骤中，我们还考虑了当无法从多个层获得数据（例如，当缺少一个层的数据时）的情况，因此我们的检测系统可以容忍遮挡。
of D for segment separation with the estimated breakpoint position. “O” marks the estimated mean of each Gaussian and “✖” marks the detected breakpoints, the actual and the detected breakpoints are indicated with an arrow
我们根据以下假设设计了人员检测系统：
### 1. 一个人是平均体型的成年人
```pseudo
// Algorithm 1: Intensity-based segment separation
1: for every non-candidate segment $S_{i}$ do
2: if $\ell_{i} < \ell_{\max}$ and $w_{i} > w_{\max}$ then /is not a person/
3: if $\sigma_{\mathcal{D}_{i}}^{2} > \sigma_{\mathcal{D}_{\min}}^{2}$ then /intensity is not uniform/
4: Separate $S_{i}$ into $S_{i,1}$ and $S_{i,2}$ using EM
5: Feature Extraction for $S_{i,1}$, $S_{i,2}$
6: Classification for $S_{i,1}$, $S_{i,2}$
7: Replace $S_{i}$ by $S_{i,1}$ and $S_{i,2}$ in the list of segments
```
```text
/*$S_{i,1}$ and $S_{i,2}$ are also subject to merged segments check*/
```
8: end if
9: end if
10: end for
将各个层检测到的候选区域投影到一个平面上，并使用候选区域中心之间的距离，我们设置了一个阈值来限制该距离，从而提高胸部区域与对应的腿部区域之间的关联置信度。 当有超过两个层可用时，可以使用此融合方法，将所有候选区域投影到一个平面上，并关联它们，如果它们在搜索区域内。
搜索区域根据步长L定义，参考Latt等人的研究[^41]，我们选取正常步行速度为$1.2 \pm 0.04$ m/s，对应的步长为$73.0 \pm 3$ cm。如图11(a)所示，平均腿部
---
(a)
(b)
(c)
(d)
Fig. 11 Walking model and layer fusion: (a) step length L and separation between legs $\lambda$ at sensor height h, (b) detected features at each layer, (c) search area for association, (d) a detected human represented by a cylinder
长度l约为84 cm，底层传感器的高度h固定为40 cm。L是取决于步行速度的步长，例如平均速度1.2 m/s对应的步长为73 cm。在高度h处的两腿间距$^{10}$ $\lambda$计算如下：
$$ \lambda=2(l\cos(\alpha)-h)\tan(\alpha),\quad where\alpha=\sin^{-1}\left(\frac{L}{2l}\right) $$
我们可以定义一个搜索半径 $\lambda_s = \frac{\lambda}{2} + \xi$，对于一些偏差 $\xi$，在胸部的边界框的中心，投影到底层（图 11(c) 中的俯视图）以搜索与胸部对应的腿。这里我们将胸部中心到腿边界框的最远角之间的距离（$d_1$ 和 $d_2$，如图 11(c) 所示）与半径 $\lambda_s$ 进行比较。如果找到一个或两个与胸部相连的腿段，则我们成功检测到一个人（多层检测），如图 11(d) 所示。通过使用最远角，我们可以避免部分位于搜索区域内的段。在本实现中，我们选择了 $\lambda = 35.42$ 厘米用于正常行走速度和 $\xi = 12$ 厘米。
### 5.2 位置估计和数据关联
对于每个检测到的行人 $\mathcal{P}_i$，我们选择胸段的包围盒的中心，将其作为 $\mathcal{P}_i$ 的预期位置 $\boldsymbol{\mu}_i = [x_i \ y_i]^\top$，以及半径 $\lambda_s$ 来定义实际位置的初始协方差 $\boldsymbol{\Sigma}_i = \lambda_s I$。此位置协方差是针对行走的人员定义的，因为这通常是我们的主要目标，因此对于静止或缓慢移动的人员，该协方差将很大。更好的估计方法是跟踪人员随时间的位置；这留待以后研究。
在当前扫描数据中成功检测到一个人后，我们将它与从先前扫描获得的数据（历史）相关联。也就是说，在时间 t 中新检测到的一个人 $\widehat{P}_{i}^{t}$ 与机器人周围已知人员位置信息列表中的已见人员相关联，并计算每人的速度和方向信息。为了实现这种数据关联，对于每一个人 $\widehat{P}_{i}^{t}$，我们找到最近的 $\mathcal{P}_{k}^{t-1} \in \mathcal{P}^{t-1}$，使用马哈拉诺比斯距离 $d(i, k)$，该距离基于 $\widehat{P}_{i}^{t}$ 估计的位置和 $\mathcal{P}_{k}^{t-1}$ 预测的位置，预测时间 t 的位置。
如果最小马哈拉诺比斯距离小于某个阈值，则 $\widehat{\mathcal{P}}_{i}^{t}$ 和 $\mathcal{P}_{k}^{t-1}$ 在新的检测到机器人周围的人员列表 $\mathcal{P}^{t}$ 中被关联。 否则，$\widehat{\mathcal{P}}_{i}^{t}$ 被视为新的人员，并集成到 $\mathcal{P}^{t}$ 中。 成功的关联意味着，在其他维护任务中，更新已知人员的位置、速度和方向，并保留其身份 k 来自 $\mathcal{P}_{k}^{t-1}$，以便 $\widehat{\mathcal{P}}_{i}^{t}$ 变为 $\mathcal{P}_{k}^{t}$ 在 $\mathcal{P}^{t}$ 中； 失败的关联意味着 $\widehat{\mathcal{P}}_{i}^{t}$ 获得新的身份。 我们还会删除在某些定义的扫描次数内未关联的列表 $\mathcal{P}^{t}$ 中的条目。
## 5.3 遮挡容差
通过放宽这种关联过程，我们允许部分检测的人员与已知人员相关联（部分关联）。 部分检测的人员仅包含一个候选片段（胸部或腿部）在一个层中，在该层中未找到任何相应的片段。 这种不对应可能是由于错误分类（假阴性）或由于其他对象遮挡（它在融合过程中超出搜索半径 $\lambda_{s}$）。 在当前的实现中，我们仅允许胸部片段进行部分关联，因为底部层经常发生遮挡。 相同的处理方法可用于具有多个层的设置，其中在一个层中的候选片段在其余层中没有相应的片段。
虽然这种关联方法很简单，并且允许遮挡容差，但我们现在正在实施使用卡尔曼滤波器和社会力模型的跟踪功能（参见 Luber et al. [^42]）。
### 6. 实验结果
我们评估我们的检测系统在各种不同的场景和条件下，并在本节中展示实验和检测结果。
---
(a)
(b)
(c)
Fig. 12 Scenarios and detection results of the different experiments: "Clutter" test (a) detected persons marked with P0 and P1; "Crowd" test (b) 10 out of 12 persons detected (P0 to P9, missing persons
marked with circles); “Hallway” test (c) detected people are marked as P0, P1 and P2
来自每个传感器的扫描数据并行读取，并使用计算机的时钟进行时间戳。来自每个层的的数据并行处理，然后在多层融合过程中进行集成。从传感器融合（单层处理）到人员检测（多层处理的最后一步）的处理时间平均为 52 毫秒，考虑到传感器的扫描速度为 100 毫秒，这足够快。
来自 URG-04LX 的正常范围数据包含 682 个点，从右向左圆形排列，角分辨率为 $0.36^{\circ}$。 但是，为了同时获得范围和强度，传感器将扫描点数减少到一半（341 个点），角分辨率变为 $0.72^{\circ}$。 在获取实验数据之前，我们让每台 URG-04LX 预热约 60 分钟，以避免范围和强度测量值随温度变化。
### 6.1 实验场景
– 机器人周围有多人（“人群”）
我们从四个不同的环境和条件下获取了实验数据：
– 带有杂物的宽阔区域（“杂物”）
- 长而狭窄的走廊，机器人与人一起移动（“走廊”）
- 杂乱的办公室区域（“办公室”）
我们分别在图 12 和图 13 的顶部行中展示了不同环境的照片。在每张照片中，都提供了关于检测区域大小的一些信息，并且用箭头标记了机器人的位置。 “杂物”环境（图 12(a)）是一个宽阔的区域，但有少量的杂物（椅子、垃圾桶、面板），这会在底层造成遮挡。 在这里，两个人围绕着机器人移动，在障碍物的前后移动。 “人群”测试（图 12(b)）是一个宽阔的环境，没有杂物，但有很多人——十二个人——有不同的体型和穿着。 颜色在机器人周围移动，经常发生完全的遮挡，并且会合并成一个片段。 最后，是“走廊”环境（图 12(c)），它由长而狭窄的通道组成，通道内有杂物（鞋架、雨伞架等），机器人通过遥控操作，在三个人组成的群体中移动。 在这种情况下，也会发生遮挡，并且当人们和墙壁之间转弯时，会暂时消失。 尽管我们的伴侣机器人旨在用于杂物较少的开阔区域，但为了挑战我们的检测系统，我们还包括额外的“办公室”测试环境：一个研究办公室，里面有桌子、书架和大量的顶部和底部杂物（图 13）。
在图 12 和图 13 的底部行中，我们包含了实际的扫描数据以及人员检测结果。 在每张图中，检测到的每个人都标记为 $P_{i}$，并用圆柱体标记，其中较深的片段对应于顶层数据。 在所有情况下，机器人都用箭头表示，位于扫描数据图中。
---
Fig. 13 Scenario and detection result for the “Office” test, the detected person is marked as P0
扫描片段被手动标记为人员或物体，以建立地面真实值，具体方法如第 3.3 节所述。 为了训练强大的分类器 $\mathcal{H}_t$ 和 $\mathcal{H}_b$，我们将从每个实验环境收集到的标记数据合并在一起，提取了 2183 个与正面示例相对应的片段，以及 9635 个与负面示例相对应的片段。 我们在所有评估中使用相同的强大分类器 $(\mathcal{H}_t \text{ and } \mathcal{H}_b)$，我们没有训练和使用一对特定的强大分类器 $\langle \mathcal{H}_{t_i}, \mathcal{H}_{b_i} \rangle$ 用于每个环境。
由于我们的多层配置，检测结果不是基于每个片段的分类率，而是基于每个多层扫描。 即使一个人的某个层中的片段缺失或被错误分类，也可能检测到这个人：如果检测到的这个人与地面真实值相符，我们将其计数为当前扫描的命中；如果检测不到，我们将其计数为虚假负数；如果将环境物体多层观察到的结果错误地分类为人员，则将其计数为虚假正数。
### 6.2 基于范围的、多层人员检测
我们首先评估仅使用范围数据（即，不使用激光强度特征）进行的多层检测率。因此，这里不进行任何段分割。每个案例的检测率总结在表 4 中。
“杂乱”测试包含 473 个多层观察（即，独立和平行的扫描），以及 18172 个段，真检测率为 89.2%，误报率为 7.5%，主要原因是将海报面板和窗帘错误分类为人员，以及漏检率为 3.3%，这是因为人员在面板后方行走，并在重新出现后未立即被检测到。在 473 个观察中，有 166 个存在部分遮挡的情况（人员在杂乱物后方行走），我们的系统在 151 个观察中检测到了这些人员。
Table 4 Multi-layer detection rates (without laser intensity)
| Test | True detection | False positive | False negative |
| Clutter | 89.2% | 7.5% | 3.3% |
| Crowd | 85.4% | 3.0% | 11.6% |
| Hallway | 77.4% | 9.4% | 13.2% |
| Office | 83.3% | 12.5% | 4.2% |
“人群”测试包含 164 个观察（6351 个段），真检测率为 85.4%，完全遮挡（人员在其他人员后方行走，且非常靠近）在很大程度上导致了 11.6% 的漏检率。
“走廊”测试包含 1238 个观察（27662 个段），检测率为 77.4%。几个环境物体，特别是长玻璃墙（带有钢框架）和玻璃砖（在约 40% 的路段中），被错误分类为人员（误报率为 9.4%），以及人员靠近墙壁行走并消失在角落后面，这在很大程度上导致了 13.2% 的漏检率。
“办公室”测试包含 368 个多层观察，以及总共 23003 个段。有人员在一些桌子后面移动，在 36 个观察中部分被遮挡，在这些 36 个观察中，我们的系统成功地检测到了人员。真检测率为 83.3%，误报率为 12.5%，这是由于顶部层中的书籍和底层中的椅子被错误分类，漏检率为 4.2%，这是因为有人员在桌子后面行走，并在重新出现后未立即被检测到。
### 6.3 基于强度的多层人员检测
### 6.3 基于强度的多层人员检测
我们使用相同的扫描数据在之前的实验环境中重复进行检测评估，但这次使用基于强度的特征（公式 11 中的强分类器 $\mathcal{H}_{\Psi}^{+}$）和分割。每个案例的检测结果总结在表 5 中，所有结果都显示了真检测率的提高。在“杂乱”测试中，由于与上述相同的问题，假阴性的数量没有发生太大变化，真检测率仅提高了 3.4%。在“办公室”测试中，假阴性的数量没有变化，但真检测率提高了 7.8%。对于“人群”测试，真检测率提高了 5.3%，对于“走廊”测试，真检测率提高了 10.8%，同时假阴性率显着降低。
---
Table 5 Multi-layer detection rates (including laser intensity)
| Test | True detection | False positive | False negative |
| Clutter | 92.6% | 4.2% | 3.2% |
| Crowd | 90.7% | 2.6% | 6.7% |
| Hallway | 88.2% | 6.7% | 5.1% |
| Office | 91.1% | 4.7% | 4.2% |
Table 6 Single-layer detection rates (with and without laser intensity)
| Test | True detection | False positive | False negative |
| Without |
| Clutter | 67.3% | 21.2% | 11.5% |
| Crowd | 76.7% | 4.3% | 19.0% |
| Hallway | 60.1% | 19.7% | 20.2% |
| Office | 55.9% | 34.3% | 9.8% |
| With |
| Clutter | 75.5% | 18.5% | 6.0% |
| Crowd | 86.3% | 4.5% | 9.2% |
| Hallway | 70.3% | 17.0% | 12.7% |
| Office | 62.1% | 29.6% | 8.3% |
尽管新的基于强度的特征有助于提高检测率，但段分割也有助于降低漏检率（误检测）。事实上，我们重复进行了“人群”和“走廊”实验，但没有使用段分割。与仅使用范围的分类器结果相比，真检测率的增加很小（“人群”测试的增加率为 1.5%，“走廊”测试的增加率为 3.2%），因为漏检率没有发生变化。
### 6.4 单层人员检测
为了比较我们多层人员检测系统的结果（带激光强度和不带激光强度），我们为四个测试环境包含单层检测系统的检测结果。使用来自相同实验的日志数据，我们选择由顶层强分类器 $\mathcal{H}_t$ 和 $\mathcal{H}_t^+$ 检测到的所有候选片段，并将它们视为有效的人员。在表 6 中，我们报告了带和不带激光强度单层检测的结果。如所见，所有实验的真实检测率远低于多层系统，但激光强度可以提高此单层系统的检测结果。
## 6.5 简化基于强度的分类器
强分类器 $\mathcal{H}_{\Psi}^{+}$ 可以被认为是主要基于范围的特征，以及一些基于强度特征。在这个
Table 7 Multi-layer detection rates (using $\mathcal{H}_{\Psi}^{-}$)
| Test | True detection | False positive | False negative |
| Clutter | 90.1% | 5.3% | 4.6% |
| Crowd | 88.7% | 4.2% | 7.1% |
| Hallway | 82.3% | 11.6% | 6.1% |
| Office | 88.7% | 6.5% | 4.8% |
Table 8 Top 5 features per classifier and layer
| Range-only | Intensity-based | Simplified |
| $\mathcal{H}_{\Psi}$ | $\mathcal{H}_{\Psi}^{+}$ | $\mathcal{H}_{\Psi}^{-}$ |
| $\Psi = \text{top}$ | | |
| $\widehat{N}$ | $\widehat{N}$ | w |
| $\ell$ | $\ell$ | $\ell$ |
| w | $\sigma_{\mathcal{I}}^{2}$ | $\widehat{N}$ |
| $\bar{\kappa}$ | w | $\sigma_{\mathcal{I}}^{2}$ |
| $\bar{\phi}$ | $\bar{\kappa}$ | $\mu_{\mathcal{I}}$ |
| $\Psi = \text{bottom}$ | | |
| $\widehat{N}$ | $\widehat{N}$ | $\widehat{N}$ |
| R | R | w |
| w | w | $\ell$ |
| $\varepsilon$ | $\sigma_{\mathcal{I}}^{2}$ | $\sigma_{\mathcal{I}}^{2}$ |
| $\bar{\phi}$ | $\varepsilon$ | $\mu_{\mathcal{I}}$ |
实验中，我们想验证是否可以使用更少但精心选择的范围特征，与我们的基于强度特征一起，实现准确的人员检测。因此，我们训练了一个新的、更简单的强分类器 $\mathcal{H}_{\Psi}^{-}$，它仅使用三个范围特征（宽度 w、比率 $\ell$ 和归一化点数 $\widehat{N}$，如表 1 所示）以及表 3 中的所有四个基于强度特征。
每种情况的检测结果总结在表 7 中。与仅使用范围的結果相比，真实检测率有所提高，特别是“走廊”和“办公室”测试，分别提高了 5.2% 和 4.9%。在“走廊”测试中，误报率略有增加，为 2.2%。
## 6.6 每个分类器的最佳特征
关于训练的不同强分类器，我们在表 8 中展示了每个训练的强分类器中最重要的 5 个特征，并按层进行区分。选择基于特征对分类的贡献，该贡献由所有弱分类器中特征 f 的权重的绝对值之和来衡量，即 $\sum_{i=1}^{T} |h_{i}=f| \omega_{i}$（每个强分类器有 $T=100$ 个弱分类器，因此 f 可能会出现多次）。我们的归一化点数特征 $\widehat{N}$ 存在于所有强分类器中，并且在所有情况下都是主导的，除了一个情况。
---
对于简化分类器$\mathcal{H}_{\Psi}^{-}$而言，范围特征$(w, \ell, \widehat{N})$拥有更大的权重，且出现在更多的弱分类器中。这一结果并不出人意料，因为正如其他强分类器所呈现的规律，这些特征正是基于自身的相对重要性被选中来定义$\mathcal{H}_{\Psi}^{-}$的。
我们证实了使用多层 LRF 传感器进行人员检测的积极效果。该问题的维度略高于单个传感器，但远小于与视觉和 3D 扫描仪相比。将四个传感器排列在两层，结构简单，可以实现快速处理时间（低于传感器的扫描时间），并可实现高检测率。
我们证实了使用多层 LRF 传感器进行人员检测的积极效果。该问题的维度略高于单个传感器，但远小于与视觉和 3D 扫描仪相比。将四个传感器排列在两层，结构简单，可以实现快速处理时间（低于传感器的扫描时间），并可实现高检测率。
我们在这项工作中介绍了使用激光反射强度进行分割和作为一种新特征检测的方法。由于低功率激光雷达中，强度值会随着距离的快速衰减，因此需要一种校准方法。在校准强度数据后，我们希望能够通过分割/材料/反射率来分离这些部分，并将其用于识别；但是，在当前的实现方式中，这并不可行。通过考虑其他属性，例如激光入射角、URG-04LX光电二极管的物理特性以及室内环境中的典型材料，可以实现对激光强度响应的更好表征。然后，可以使用AdaBoost来学习对象和地点，这些对象和地点是根据它们的激光强度响应来定义的。
在这项工作中，我们使用AdaBoost来训练强大的分类器 $\mathcal{H}_{\Psi}$，这些分类器使用范围和强度特征，以及来自各种场景的训练数据。这不会产生一个“四季皆宜”的检测器，因为训练一个监督分类器取决于训练集。实际环境显示出各种条件，存在拥堵区域、狭窄的走廊以及宽阔的空间。也可以考虑根据位置选择最合适的分类器，并根据当前位置从导航地图中选择最佳的组合 $\langle \mathcal{H}_{t_i}, \mathcal{H}_{b_i} \rangle$ 用于环境 i。
当前实现的一个局限性是，为了同时从传感器获取范围和强度数据，我们牺牲了角度分辨率，这意味着扫描点的数量减少了 50%。这意味着，无论物体的漫反射特性如何，小物体（例如，腿）在一定距离之外都无法被激光传感器检测到。我们正在考虑的一些解决方案包括交替范围和强度数据，即，在第一次扫描中获取范围数据，然后在第二次扫描中获取强度数据，依此类推。我们已经在“拥堵”环境中测试了这个想法，结果显示检测效果相似。缺点是扫描时间变慢，为 200 毫秒，并且自然地，由于数据点数量翻倍，处理时间也会变慢（平均约为 90 毫秒）。其他解决方案包括使用不同且可能更昂贵的激光雷达传感器。
使用激光强度和来自低功率激光雷达的数据受到物体织物造成的漫反射量的限制。来自某些材料（黑色尼龙、合成皮革、牛仔布等）的数据无法读取，但仅在非常短的距离（小于 2.5 米）内，因此使用这种低功率激光雷达的检测系统在较远距离上的精度会降低。
虽然算法 1 是为了分离包含人类的合并片段而定义的，但我们认为，使用强度均匀性标准和断点检测（第 3 和 4 行）的分割方法可以应用于其他上下文，例如，通过更改第 1 和 2 行，可以使用墙壁颜色差异来定义定位地标。在我们的实验中，我们没有观察到超过两个合并片段的情况（即，三个人或更多人并排），这还需要进行测试。
## 8 结论和未来工作
本工作涵盖了使用多层激光雷达进行人员检测和定位。融合来自每层的候选片段可以提高检测的鲁棒性，同时允许估计每个人的位置。通过放宽层融合步骤，我们可以处理部分遮挡的情况。虽然检测和跟踪领域存在相关研究，但所提出的方法简单、快速且足够准确，适用于移动机器人的应用。
本研究介绍了使用激光反射强度数据进行人体检测的方法。我们提出了一些基于强分类器的强度特征，以提高分割分类的准确性。此外，激光强度被用于检测和分离合并的分割，否则这些分割会被错误地判断为假阴性。由于激光强度受目标距离的影响，我们引入了一种强度校准方法。
未来的研究方向包括，根据环境信息动态选择分类器，以及研究使用激光反射强度进行人员识别的可能性。关于我们解决的机器人作为人群成员的问题，我们正在进行人群和群体跟踪，并计划开发用于群体跟踪的社会力模型，包括群体结合力。这项研究的未来步骤还包括根据群体结构的改变进行导航调整，以及在群体内部分配角色。
## 参考文献
## [^1]: Burgard W, Cremers AB, Fox D, Hähnel D, Lakemeyer G, Schulz D, Steiner W, Thrun S (1998) The interactive museum tourguide robot. In: Fifteenth national conference on artificial intelligence, Madison, WI, July 1998, pp 11–18
---
[^2]: Thrun S, Bennewitz M, Burgard W, Cremers AB, Dellaert F, Fox D, Hähnel D, Rosenberg CR, Roy N, Schulte J, Schulz D (1999) Minerva: a tour-guide robot that learns. In: 23rd annual German conference on artificial intelligence: advances in artificial intelligence, Pittsburgh, PA, September 1999, pp 14–26
[^3]: Bauer A, Klasing K, Lidoris G, Mühlbauer Q, Rohrmüller F, Sosnowski S, Xu T, Kühnlen K, Wollherr D, Bus M (2009) The autonomous city explorer: towards natural human-robot interaction in urban environments. Int J Soc Robot 1(2):127–140
[^4]: Fod A, Howard A, Matarić MJ (2002) Laser-based people tracking. In: IEEE international conference on robotics and automation (ICRA), Washington, DC, May 2002, pp 3024–3029
[^5]: Montemerlo M, Thrun S, Whittaker W (2002) Conditional particle filters for simultaneous mobile robot localization and people-tracking. In: IEEE international conference on robotics and automation (ICRA), Washington, DC, May 2002, pp 695–701
[^6]: Xavier J, Pacheco M, Castro D, Ruano A, Nunes U (2005) Fast line, arc/circle and leg detection from laser scan data in a player driver. In: IEEE international conference on robotics and automation (ICRA), Barcelona, Spain, April 2005, pp 3941–3946
[^7]: Cui J, Zha H, Zhao H, Shibasaki R (2006) Robust tracking of multiple people in crowds using laser range scanners. In: IEEE 18th international conference on pattern recognition (ICPR), Hong Kong, China, August 2006, pp 857–860
[^8]: Lee JH, Tsubouchi T, Yamamoto K, Egawa S (2006) People tracking using a robot in motion with laser range finder. In: IEEE/RSJ international conference on intelligent robots and systems (IROS), Beijing, China, October 2006, pp 2936–2942
[^9]: Zhao H, Chen Y, Shao X, Katabira K, Shibasaki R (2007) Monitoring a populated environment using single-row laser range scanners from a mobile platform. In: IEEE international conference on robotics and automation (ICRA), Roma, Italy, April 2007, pp 4739–4745
[^10]: Arras KO, Martínez Mozos Ó, Burgard W (2007) Using boosted features for the detection of people in 2d range data. In: IEEE international conference on robotics and automation (ICRA), Roma, Italy, April 2007, pp 3402–3407
[^11]: Schapire RE, Singer Y (1999) Improved boosting algorithms using confidence-rated predictions. Mach Learn 37(3):297–336
[^12]: Hashimoto M, Takahashi K, Matsui Y (2007) Moving-object tracking with multi-laser range sensors for mobile robot navigation. In: IEEE international conference on robotics and biomimetics (ROBIO), Sanya, China, December 2007, pp 399–404
[^13]: Gidel S, Checchin P, Blanc C, Chateau T, Trassoudaine L (2008) Pedestrian detection method using a multilayer laserscanner: Application in urban environment. In: IEEE/RSJ international conference on intelligent robots and systems (IROS), Nice, France, September 2008, pp 173–178
[^14]: Martínez Mozos Ó, Kurazume R, Hasegawa T (2010) Multi-layer people detection using 2d range data. Int J Soc Robot 2(1):31–40
[^15]: Borges GA, Aldon M-J (2004) Line extraction in 2d range images for mobile robotics. J Intell Robot Syst 40:267–297
[^16]: Premebida C, Nunes U (2005) Segmentation and geometric primitives extraction from 2d laser range data for mobile robot applications. In: 5th national festival of robotics, scientific meeting (ROBOTICA), Coimbra, Portugal, April 2005, pp 17–25
[^17]: Nguyen V, Gächter S, Martinelli A, Tomatis N, Siegwart R (2007) A comparison of line extraction algorithms using 2d range data for indoor mobile robotics. Auton Robots 23:97–111
[^18]: Mucientes M, Burgard W (2006) Multiple hypothesis tracking of clusters of people. In: IEEE/RSJ international conference on intelligent robots and systems (IROS), Beijing, China, October 2006, pp 692–697
[^19]: Arras KO, Grzonka S, Luber M, Burgard W (2008) Efficient people tracking in laser range data using a multi-hypothesis leg-tracker with adaptive occlusion probabilities. In: IEEE interna-
国际机器人与自动化会议（ICRA），加利福尼亚州帕萨迪纳，2008年5月，第1710–1715页
[^20]: Kondaxakis P, Kasderidis S, Trahanias PE (2008) A multi-target tracking technique for mobile robots using a laser range scanner. In: IEEE/RSJ international conference on intelligent robots and systems (IROS), Nice, France, September 2008, pp 3370–3377
[^21]: Luber M, Tipaldi GD, Arras KO (2009) Spatially grounded multi-hypothesis tracking of people. In: Arras KO, Martínez Mozos Ó (eds) IEEE international conference on robotics and automation (ICRA) workshop on people detection and tracking, Kobe, Japan, May 2009, pp 73–80
[^22]: Zivkovic Z, Kröse B (2007) Part based people detection using 2d range data and images. In: IEEE/RSJ international conference on intelligent robots and systems (IROS), San Diego, CA, October 2007, pp 214–219
[^23]: Carballo A, Ohya A, Yuta S (2008) Fusion of double layered multiple laser range finders for people detection from a mobile robot. In: IEEE international conference on multisensor fusion and integration for intelligent systems (MFI), Seoul, Korea, August 2008, pp 677–682
[^24]: Carballo A, Ohya A, Yuta S (2009) Multiple people detection from a mobile robot using double layered laser range finders. In: Arras KO, Martínez Mozos Ó (eds) IEEE international conference on robotics and automation (ICRA) workshop on people detection and Tracking, Kobe, Japan, May 2009, pp 94–100
[^25]: Kawata H, Ohya A, Yuta S, Santosh W, Mori T (2005) Development of ultra-small lightweight optical range sensor system. In: IEEE/RSJ international conference on intelligent robots and systems (IROS), Edmonton, Canada, August 2005, pp 1078–1083
[^26]: Pascoal J, Marques L, de Almeida AT (2008) Assessment of laser range finders in risky environments. In: IEEE/RSJ international conference on intelligent robots and systems (IROS), Nice, France, September 2008, pp 3533–3538
[^27]: Okubo Y, Ye C, Borenstein J (2009) Characterization of the Hokuyo urg-04lx laser rangefinder for mobile robot obstacle negotiation. In: SPIE conference on defense, security + sensing, unmanned systems technology XI: unmanned robotic and layered systems, vol 7332, Florida, USA, April 2009
[^28]: Dietmayer KC, Sparbert J, Streller D (2001) Model based classification and object tracking in traffic scenes from range-images. In: IEEE intelligent vehicles symposium (IVS), Tokyo, Japan, May 2001
[^29]: Klasing K, Wollherr D, Buss M (2009) Realtime segmentation of range data using continuous nearest neighbors. In: IEEE international conference on robotics and automation (ICRA), Kobe, Japan, May 2009, pp 4287–4292
[^30]: Hancock J (1999) Laser intensity-based obstacle detection and tracking. PhD thesis, Robotics Institute, Carnegie Mellon University, Pittsburgh, PA, January 1999
[^31]: Surmann H, Nüchter A, Hertzberg J (2003) An autonomous mobile robot with a 3d laser range finder for 3d exploration and digitalization of indoor environments. Robot Auton Syst 45(3-4):181–198
[^32]: Nüchter A, Surmann H, Hertzberg J (2005) Automatic classification of objects in 3d laser range scans. In: 8th conference on intelligent autonomous systems (IAS), Amsterdam, Netherlands, March 2005, pp 963–970
[^33]: Montemerlo M, Becker J, Bhat S, Dahlkamp H, Dolgov D, Ettinger S, Hähnel D, Hilden T, Hoffmann G, Huhnke B, Johnston D, Klumpp S, Langer D, Levandowski A, Levinson J, Marcel J, Orenstein D, Paefgen J, Penny I, Petrovskaya A, Pflueger M, Stanek G, Stavens D, Vogt A, Thrun S (2008) Junior: the Stanford entry in the urban challenge. J Field Robot 25(9):569–597
## [^34]: Ye C (2008) Mixed pixels removal of a laser rangefinder for mobile robot 3-d terrain mapping. In: IEEE international conference on information and automation (ICIA), Hunan, China, June 2008, pp. 1153–1158
---
[^35]: Rusu RB, Meeussen W, Chitta S, Beetz M (2009) Laser-based perception for door and handle identification. In: IEEE international conference on advanced robotics (ICAR), Munich, Germany, June 2009, pp 1–8
[^36]: Kawata H, Miyachi K, Hara Y, Ohya A, Yuta S (2008) A method for estimation of lightness of objects with intensity data from Sokuiki sensor. In: IEEE international conference on multisensor fusion and integration for intelligent systems (MFI), Seoul, Korea, August 2008, pp 661–664
[^37]: Haran T (2008) Short-wave infrared diffuse reflectance of textile materials. Master's thesis, Physics and Astronomy, Georgia State University, Atlanta, GA, August 2008
[^38]: Franses PH (1994) Fitting a Gompertz curve. J Oper Res Soc 45(1):109–113
[^39]: Jukić D, Kralik G, Scitovski R (2004) Least-squares fitting Gompertz curve. J Comput Appl Math 169:359–375
[^40]: Adams MD (1993) Amplitude modulated optical range data analysis in mobile robotics. In: IEEE international conference on robotics and automation (ICRA), Georgia, USA, May 1993, vol 2, pp 8–13
[^41]: Latt MD, Menz HB, Fung VS, Lord SR (2008) Walking speed, cadence and step length are selected to optimize the stability of head and pelvis acceleration. Exp Brain Res 184:201–209
[^42]: Luber M, Stork JA, Tipaldi GD, Arras KO, (2010) People tracking with human motion predictions from social forces. In: IEEE international conference on robotics and automation (ICRA), Alaska, USA, May 2010, pp 464–469
Alexander Carballo 获得计算机工程学士学位，毕业于哥斯达黎加技术学院，并在 1996 年至 1996 年在计算机科学系本科项目担任讲师。2006 年 4 月，他加入筑波大学的智能机器人实验室，担任研究学生，目前是计算机科学博士候选人。他的研究兴趣包括机器学习、自主机器人导航、机器人感知和传感器融合。
Akihisa Ohya 获得了庆应义塾大学工程学博士学位。他是筑波大学系统与信息工程研究生院的副教授，自 1992 年以来一直是该校的教职员工。他的研究兴趣包括移动机器人的自主导航及其在人类日常生活环境中的应用。
Shin'ichi Yuta 先生分别于 1970 年、1972 年和 1975 年从庆应义塾大学获得电气工程学士、硕士和博士学位。1975 年至 1978 年，他在东京农业技术大学电子工程系担任研究员，自 1978 年起加入筑波大学，并于 1992 年晋升为教授。2000 年至 2002 年，他担任工学系统学院院长，2002 年至 2004 年，他担任信息科学与电子研究所主席，2004 年至 2006 年，Yuta 教授被任命为筑波大学副校长。自 2006 年 4 月起，他担任系统与信息工程研究生院教授，并被任命为工业联络与合作研究中心主任。他是机器人领域的专家，并领导着筑波大学的智能机器人实验室。自 1980 年以来，他一直在进行自主移动机器人研究项目。他在该领域发表了 500 多篇技术论文。他是 IEEE（电气电子工程师协会）、RSJ（日本机器人学会）和其他学术学会的会员，并获得了多项奖项。