# 基于LADAR的行人检测与跟踪
路易斯·E·纳瓦罗-瑟门特，克里斯托夫·梅茨，尼古拉·万达佩尔，马蒂亚尔·埃贝尔，IEEE会士
摘要——本文研究的方法采用LADAR测量值，对行人进行长期检测与跟踪。该算法可处理来自线扫描仪和3D扫描仪的距离测量数据。使用线扫描仪可实现最高75Hz的检测跟踪速率。但这类传感器在不平坦地形上的性能并不总能达到要求。3D LADAR可用于提升不平坦地形下的作业表现，方法是先估计局部地面高程，再利用对应地面以上特定高度的测量值执行检测。两种传感器为算法输入传感器数据所用的信息流程是完全一致的。本文所述的感知能力旨在为机器人车辆的安全、鲁棒导航奠定基础，而这对于保障在移动机器人车辆附近活动的行人安全是必不可少的。
## 一、引言
避开与其他移动物体碰撞的能力对自动驾驶车辆尤为重要，当车辆在靠近人群的区域作业时，这一点更加关键。为了实现有效避障，车辆的避撞系统必须完成两项基本任务：移动物体的检测与跟踪。及时检测到目标能让车辆知晓周边存在潜在危险。同样，车辆可以预测被跟踪目标在近期最可能的位置，并据此调整当前航向。
近年来，在行人保护[^1]、车辆编队、自动驾驶[^2]等应用的推动下，鲁棒可靠的检测与跟踪技术吸引了大量研究关注。这是一个难度很高的问题，当传感器（例如光学传感器、雷达、激光扫描仪）安装在车辆上而非像交通监控系统那样固定安装时，问题会变得更加棘手。有效的检测与跟踪要求即使传感器自身处于运动状态，也能准确测量目标的位置和运动。距离传感器非常适合解决这个问题，因为只需从距离测量结果中剔除自运动就能完成一阶运动校正。遗憾的是，仅剔除自运动并不能消除运动带来的所有影响，因为当目标的不同侧面进入视野时，感知得到的目标形状会发生变化，这种变化很容易被误判为运动。此外，感知到的目标外观取决于其姿态，还可能受到附近物体的影响。最后，复杂的户外环境常常存在背景杂乱、不平坦地形易产生地面回波、交通参与者之间交互不可预测等问题。
已有大量研究将线激光扫描仪用作行人检测与跟踪的主传感器。在我们课题组中，我们开发了使用SICK™线激光扫描仪采集距离测量值的系统。这些实现方案取得了令人满意的结果 [^3]。线激光扫描仪可高速生成数据，且数据易于处理。然而，如图1所示，采集到的数据可能包含地面回波，这会增加误检的概率。如图所示，安装在车辆左侧的线扫描仪的传感平面会在不平地形处与地面相交，该传感器无法区分测量结果对应地面还是行人。相比之下，三维激光雷达（即生成一组三维点，也就是点云的传感器）可以生成更完整的环境表征，从中可以同时提取目标和地形信息。正如图1所示，车辆前方的三维激光雷达可以同时采集人体及其周边环境的测量值。利用该信息的一种方法是在车辆行驶过程中生成地面高程图，这样就可以剔除地面回波，更稳健地识别出行人。
本文介绍了一种实时检测和跟踪运动目标的策略。该方法可检测行人
Fig. 1. Overview of the detection and tracking system. At the center of the figure is the vehicle, which carries multiple line scanners (one on each side, as shown here). A 3D LADAR, mounted on top of the vehicle, can scan the environment in multiple directions using a pan-tilt platform.
---
基于激光雷达测量数据对行人进行持续跟踪。该跟踪器可检测运动目标并估计其位置和运动，同时可在很大程度上忽略由自运动引起的距离测量变化。本文尤其重点介绍了三维激光雷达测量数据的整合与使用方法。
本文工作与以往方法的不同之处在于，我们的系统能够处理线扫描仪和三维扫描仪两种设备的距离测量数据。两种传感器向系统输入数据的信息流程是统一的，这简化了多扫描仪数据融合的过程。使用三维激光雷达可提升系统在不平地形下的性能，而线扫描仪通常工作速率更快，在平坦区域表现更佳 [^3]。该特性结合了两种传感器各自的优势，使系统能够适应更广范围的作业环境。本文给出了使用三维激光雷达进行检测的性能实验结果，这些结果均是在目标平台Demo III XUV上进行实地测试得到的 [^4]（见图2）。
### 二、相关研究
车载应用中最常用的运动目标检测与跟踪方法涵盖无源测距传感器和有源测距传感器两类 [^5]。视频摄像机等无源传感器以非侵入方式采集数据。在 [^6] 中，作者对基于视觉的道路车辆检测系统做了全面综述。
有源测距传感器，如雷达和激光雷达，无需强大的计算资源即可直接测量距离。近年来新款激光扫描仪尤其能够以高扫描速度采集高分辨率数据，并且已有适用于车载应用的成品封装。与本文方法最相关的研究是线激光扫描仪的应用。在 [^7] 中，作者介绍了多层激光扫描仪在行人分类中的应用：使用车辆里程计估计自运动，消除传感器运动带来的影响，卡尔曼滤波器估计目标速度，跟踪目标被分为汽车、
Fig. 2. The Demo III Experimental Unmanned Vehicle (named XUV) used in our tests. The vehicle shown is equipped with 4 line scanners (one on each side), and a 3D LADAR mounted on a pan-tilt platform.
行人等目标根据其随时间变化的形状和行为被识别。该研究团队还开发了第二个系统[^8]，在该系统中，卡尔曼滤波器根据目标估计中心点的位置变化来估计运动。通过目标分类为点拟合特定类别的先验矩形模型。虽然文中没有明确说明，但这似乎是一种减少形状变化运动伪影的方法。该技术的效果取决于分类的正确性。每个目标类别都有各自不同的固定卡尔曼滤波参数。研究采用多假设方法来降低分类错误带来的影响。上述两项工作的重点都是单激光雷达（LADAR）系统，没有考虑多扫描仪融合。
使用占据栅格检测移动目标似乎是一种简便方法，只需要观察每个位置的占据值变化即可。但维护占据栅格的成本很高；[^9]采用开放空间稀疏表示解决了这个问题。不过，我们不能忽略一种可能性：目标原本就存在于该位置，但由于遮挡或超出探测范围而未被检测到。
在[^10]中，通过倒角匹配对新旧扫描数据进行配准来测量运动。研究使用了恒速、恒定角速度卡尔曼滤波器。由于扫描仪被放置在腿部高度以上，因此刚体模型足以满足需求。虽然该论文没有使用移动扫描仪，但它仍然值得关注，因为它尝试在没有真值的情况下定量评估性能，评估指标包括静止轨迹的位置噪声、移动轨迹的测量残差，以及移动目标检测中假阳性和假阴性错误的发生概率。
[^11]中描述了一个尤其擅长处理人群场景的系统。作者使用了一种基于连续激光帧累积分布的特征提取方法。最终的跟踪器由独立卡尔曼滤波器和Rao-Blackwellized蒙特卡罗数据关联滤波器组合而成。
部分系统使用三维激光数据进行跟踪。在[^12]中，三维扫描数据被自动聚类为不同目标，并使用表面密度函数建模。该研究优化了Bhattacharya相似性度量来配准每个目标的后续观测，从而实现良好的目标区分与跟踪，最终完成移动目标检测。
建图是一个与之相关的领域，在动态环境中进行建图时更是如此[^13]。例如在[^14]中，作者对同步定位与地图构建（SLAM）进行了扩展，使其能够检测移动目标，该方法主要依靠扫描仪自身测量自身运动。研究在多假设跟踪器中使用了搭载单一恒定速度模型的扩展卡尔曼滤波器。与我们的工作不同，他们的研究重点是存在移动目标场景下的建图，而非在不需要地图的情况下实时检测移动目标。
---
### 三、算法描述
本节介绍了行人检测与跟踪算法。[^16]中给出了更详细的描述，尤其是针对仅用于线性扫描仪生成碰撞预警的组件部分。
借助车辆搭载的LADAR扫描仪采集的测量数据，可检测车辆附近的物体，如图1所示。由图可见，线扫描仪和三维扫描仪的探测区域各不相同。我们设计的算法以扫描线作为基本数据单元，可同时适配这两类传感器。扫描线本质上就是来自连续方位的距离测量向量，完全符合SICK™激光扫描仪这类线扫描仪直接输出的数据形式。
### A. 分割、跟踪与人体检测
无论扫描线来自哪类传感器，算法都以相同的方式对其进行处理。如图3所示，扫描线会进入统一的处理流程：分割、跟踪与人体检测。两类传感器的区别在于扫描线的获取方式：线扫描仪可直接输出实际扫描线，而虚拟扫描线从三维LADAR生成的点云中提取。虚拟扫描线通过将三维测量结果投影到二维平面，模拟线扫描仪采集的实际扫描线。不过，为了充分利用点云中包含的更丰富信息，投影操作会在完成地面高程估计、去除对应地面反射的测量结果后执行（该过程将在后续章节介绍）。
如图3所示，得到扫描线后（无论是直接获取还是通过二维平面投影获得），都会按照目标分割、目标跟踪、人体检测的顺序处理。每一条扫描线都遵循该流程。图4给出了一个使用实验数据展示这些步骤的示意性示例。
Fig. 3. Overview of the detection and tracking process. A scan line is used as the basic data element, which undergoes the common processes of segmentation, tracking, and human detection.
## 1 ) 目标分割
第一步是分割，即将扫描线中的点（即距离和方位测量值）分组划分给不同的潜在目标。扫描线包含一系列点（图4-(a)），分割过程判断哪些点可能属于同一目标，结果如图4-(b)所示。我们规定，如果两个相邻点之间的间距小于0.8 m，则二者属于同一目标。
根据目标的尺寸和形状，每个目标可通过不同特征进行描述，相关内容见[^16]。本应用聚焦于行人检测，因此每个目标采用中心特征表示，该特征即为包围目标所有所属点的边界框的中心，如图4-(c)所示。
## 2 ) 目标跟踪
当前扫描检测到的目标接下来会与过往扫描得到的目标进行关联匹配。如果当前扫描和过往扫描中两个目标的边界框重叠，则判定二者为同一目标。判定重叠的条件为：在考虑目标预测运动路径的前提下，至少有一个实际测量点落入目标的边界框内。匹配得到的中心特征运动信息会输入卡尔曼滤波器，用于估计目标的速度。如图4-(d)所示，椭圆包围的目标与先前扫描检测到的同一目标完成了匹配，匹配过程利用了从图4-(c)中目标之前位置预测得到的运动信息。
在每个迭代周期中，都会执行一系列验证测试，判断候选目标是否为有效目标。例如，估计结果必须经过最少数量的迭代周期；估计结果的标准差不得超过给定的最大阈值，且估计结果必须在至少一段给定的最短时间内保持稳定。这些测试可以提升对噪声测量的鲁棒性。
为了使用多传感器跟踪目标，该算法会在布置于车辆周围、视场相互重叠的所有参与传感器上运行。因此，需要将一个视场中跟踪到的目标“交接”给下一个视场。传感器融合在目标层面进行，整个系统仅维护一个目标列表，每次扫描仅更新自身视场内的目标。
## 3 ) 人体检测
当前所有被跟踪的目标都需要经过测试，以判断其是否为行人。为此，我们会通过计算每个目标的检测强度（Strength of Detection, SOD）完成评估。SOD用于衡量算法对“检测到的目标确实是行人”这一判断的置信度。SOD大于给定阈值的目标会被分类为行人。
使用SOD主要有几方面的目标：首先，SOD可支持来自不同
---
(b)
Fig. 4. A sensor placed at (0, 0) produces a scan line (a). The segmentation step groups points into potential objects, as indicated by the sets of points with similar markers (b). The objects are summarized by the center of their bounding boxes (c), whose motion is fed into a Kalman filter for tracking (d).
系统的检测融合，可作为统一的比较基准。其次，不同应用可以根据任务需求提高或降低检测不确定性的严格程度：例如，在购物中心人群中行驶的车辆会对SOD采用更低的阈值，确保不会伤到行人；而在乡村地区越野行驶的车辆则会采用更高的SOD阈值，从而航行更加顺畅，减少不必要的犹豫。第三，SOD的综合性特点有助于在为其他传感器调校算法时，保持需要调整的参数数量处于较低水平。
## a）SOD的计算
SOD包含四个度量指标：尺寸、移动距离（ $d_{t}$）、尺寸变化量（ $\sigma_{s}$）和速度（ $\sigma_{v}$）。其中变化量是过去14个周期内计算得到的方差。尺寸测试用于将目标与汽车、墙壁等大型物体区分开；移动距离测试用于排除桶、桩等静止物体；尺寸变化测试用于排除植被，因为植被具备多孔柔软的特性，外观变化程度很大。
SOD等于尺寸测试得分与移动距离测试得分的乘积，再乘以方差测试得分的平方根：
$$ SOD=S_{d_{t}}S_{size}\sqrt{S_{\sigma_{v}}S_{\sigma_{s}}} $$
我们对方差测试得分取平方根，是为了让两项方差测试的总权重与另外两项测试保持相等。
对于尺寸和方差测试，分数计算方式如下：
$$ S_{size,\sigma_{s},\sigma_{v}}\left(x\right)=\left\{\begin{matrix}0&x\geq a_{e}\\ \left(a_{e}-x\right)\Big/\left(a_{e}-a_{b}\right)&a_{e}>x>a_{b}\\ 1&x\leq a_{e}\end{matrix}\right. $$
而移动距离测试的得分为
$$ S_{d_{t}}\left(x\right)=\left\{\begin{aligned}&0.75\frac{a_{b}+x}{2a_{b}}&S_{_{1}}<1,xx>a_{b}\\ &1&\text{else}\end{aligned}\right. $$
其中
$$ S_{1}=S_{size}\sqrt{S_{\sigma_{s}}S_{\sigma_{v}}} $$
阈值a的使用取值列于表I中。
TABLEI
THRESHOLDS FOR SOD TESTS
| $a_{{b}}$ | $a_{{e}}$ | $a_{{m}}$ |
| Size [m] | 1.0 | 2.0 | - |
| Size variation [ $\text{{m}}^{{2}}$] | 0.035 | 0.45 | - |
| Velocity variation [(m/s) $^{{2}}$] | 0.01 | 0.1 | - |
| Distance traveled [m] | 1.5 | - | 3.0 |
这些计算背后的逻辑如下：$a_{b}$是实现最高准确率的阈值，即能够使真阳性率和真阴性率加权平均值最大化的取值。$a_{e}$是极值，即我们观测到的行人参数的最大值。就尺寸参数而言，这些数值符合直观认知：1 m略大于正常人的横截宽度，2 m是行人张开双臂的跨度。
移动距离测试的计算方法不同。与其他指标相比，移动距离越大，结果越好。但需要注意的是，被测人员的移动距离也可以为0米，因此不存在会对人员产生误判的上下限；相反，这种方法反而可能会对固定物体产生误判。$a_{m}$ 是我们观测到的固定物体的极值。由于错误关联，这些物体会表现出移动的假象。
### B. 二维平面投影
如图3所示，3D扫描仪生成点云后，会从中取出一个“切片”投影到二维平面上，
---
最终得到一条虚拟扫描线。该过程是将切片范围内的所有点压缩投影到平面上，切片由其距地面的高度定义。这种投影模拟了SICK™激光线扫描仪生成的扫描线，方便系统以和其他传感器相同的方式读取和处理该测量结果。原理如图5所示。
## 1 ) 高程图
系统将处理后的LADAR测量结果累积存储在网格中，该网格始终与车辆参考坐标系对齐，并以车辆当前位置为中心。高程图提供了一种表面描述模型，每个单元格存储对应区域的地面高程估计值。高程通过对单元格内所有扫描点的高度取平均值计算得到。为了将维护地图的计算成本降至最低，地图通过模运算以二维环形缓冲区的方式建立索引。当车辆移动时，该结构通过内存中的物理环绕实现地图的逻辑滚动[^15]。通过这种方式，当地图随车辆移动滚动时，仅需更新尚未计算出估计值的单元格。
(a)
(b)
Fig. 5. Projection of virtual scan line. A point cloud is collected from the environment depicted in Fig. 2 (a). The points in the cloud located within a certain height from the ground are projected into a 2D plane (b), and processed as if it were a single scan line. The resulting projection is shown in (c), top view. As expected, this measurement resembles what would be obtained using a line scanner.
## 2 ) 地面移除
机器人在环境中移动时，会通过生成地面高程图充分利用点云包含的丰富环境信息。系统可以通过改变感知平面的形状，也就是调整投影点所属切片的高度，来适应不同的环境。我们利用地面高程在地面上方恒定高度处搜索潜在目标，同时忽略地面回波产生的虚假测量结果。地面回波被大幅减少，既提高了采集潜在目标测量数据的概率，也降低了处理地面回波产生误检的可能性（图6）。
(a)
(b)
(c)
(d)
Fig. 6. Ground removal. This experiment was conducted in uneven terrain (a). The corresponding ground elevation map is shown in (b) (viewed from above), where hot colors indicate the highest elevations. The projected 2D slices are shown in figures (c) and (d). Points used in the slice are shown in green, while points in red are ignored. In (c), the virtual slice is just a plane, and the lack of compensation for ground elevation results in significant ground returns, as evidenced by the large number of points included in the slice. Conversely, in (d) the virtual slice is adjusted depending on ground elevation. The trajectory of a pedestrian is now easily identified.
### IV. 实验结果
在本节中，我们展示了在宾夕法尼亚州中部田野开展的多次实验得到的结果。图7中绘制了人体检测的ROC曲线。本次共进行了9次实验，分为三种不同的设置（相关设置列于表II中）。
TABLE II
EXPERIMENTAL SETUPS
| Vehicle speed | # of runs | Total # of humans |
| moving | stationary |
| Uneven, off-road, bushes on side | 1 m/s | 1 | 1 | 0 |
| Pavement, bushes on side | 0 m/s | 4 | 4 | 0 |
| Pavement, tall grass on side | 5 m/s | 4 | 5 | 3 |
实验中的行人处于行走或慢跑状态，着装人体模型被用作静止行人。传感器的循环频率为17 Hz，每个循环会生成一组新的正样本（行人）和负样本（杆、植被、地面等）。平均每轮实验约有350个正样本和5000个负样本（未去除地面时为17000个）。ROC曲线通过改变SOD的阈值生成。
---
Fig. 7. Human detection performance. The ROC curves show the true positive rate vs. the rate of false positives per negative example. The plot was obtained using the threshold on the SOD as the dial variable. The left plot shows the improvement with ground removal. On the right the ROC curves for different setups are shown.
左图展示了移除地面和未移除地面两种情况下的组合ROC曲线。性能提升十分显著，真阳性率平均提升了约0.15。移除地面后的ROC曲线体现了系统的整体性能。表III给出了三种不同假阳性率对应的检测率：
TABLE III
DETECTION RATES WITH GROUND REMOVAL
| False positive rate [%] | True positive rate [%] |
| 0.02 | 64 |
| 1 | 80 |
| 10 | 86 |
图7的右侧分别展示了三种不同设置下的ROC曲线。车辆静止时系统获得了最佳性能。在越野场景中，行人往往靠近植被。铺装路面行驶场景下的ROC曲线表现更低，原因在于存在静止行人：该系统无法区分静止行人与人形大小的固定物体（例如电线杆或桶）。部分检测周期内行人未能被高置信度检测到的其他原因是：需要数个周期才能确认一个物体是行人，且系统有时会丢失目标，需要重新获取轨迹。
探测距离受传感器量程限制，我们最远可在30 m距离处探测到行人。
### 五、结论
本文提出了一种适用于不平坦地形的行人检测与跟踪策略，该策略使用3D LADAR，先估计地面高程，再利用对应地面上方一定高度的测量值执行检测。与其他方法不同，我们系统中用于输入传感器数据的信息管线对线扫描器和三维扫描器统一适用，这使得融合多个扫描器的数据成为可能。该系统已经过实地测试，通过移除地面点的处理，获得了更优的检测结果。
当前策略的主要缺陷是无法区分静止行人与人形大小的固定物体，这一问题是当前研究的核心方向，研究人员正利用点云包含的信息获取区分静态物体的线索。
## 致谢
我们感谢General Dynamics Robotic Systems提供的支持。
## 参考文献
[^1]: K. Fuerstenberg and J. Scholz. Reliable Pedestrian Protection Using Laserscanners. Proc. 2005 IEEE Intelligent Vehicles Symposium, 6-8 June 2005, pp. 142 – 146.
[^2]: Y. Bar-Shalom, and T.E. Fortmann. Tracking and Data Association, Mathematics in Science and Engineering, Academic Press, 1988.
[^3]: L.E. Navarro-Serment, C. Mertz, and M. Hebert. Predictive Mover Detection and Tracking in Cluttered Environments. Proc. of the 25th. Army Science Conference, November 27-30, 2006.
[^4]: C.M. Shoemaker and J. A. Bornstein. The Demo III UGV Program: a Testbed for Autonomous Navigation Research. Proc. of the IEEE Int. Symposium on Intelligent Control, Gaithersburg, MD, September 1998, pp. 644-651.
[^5]: M. Hebert. Active and Passive Range Sensing for Robotics. Proc. 2000 IEEE Int. Conf. Robotics and Automation, vol. 1, pp. 102-110.
[^6]: Z. Sun, G. Bebis, and R. Miller. On-road Vehicle Detection: a Review. IEEE Trans. on Pattern Analysis and Machine Intelligence, Volume 28, Issue 5, May 2006. pp. 694–711.
[^7]: K. Fuerstenberg, K. Dietmayer, and V. Willhoeft. Pedestrian Recognition in Urban Traffic Using a Vehicle Based Multilayer Laserscanner, Intelligent Vehicle Symposium, 2002, pp. 31-35.
[^8]: D. Streller, K. Furstenberg, and K. Dietmayer. Vehicle and Object Models for Robust Tracking in Traffic Scenes Using Laser Range Images, Intelligent Transportation Systems, 2002, pp. 118-123.
[^9]: M. Lindstrom, and J. Eklundh. Detecting and Tracking Moving Objects From a Mobile Platform Using a Laser Range Scanner. Proc. 2001 IEEE International Conference on Intelligent Robots and Systems, 2001, pp. 1364-1369.
[^10]: A. Fod, A. Howard, and M. Mataric. A Laser-Based People Tracker. Proc. 2002 IEEE International Conference on Robotics and Automation, pp. 3024-3029.
[^11]: J. Cui, H. Zha, H. Zhao, and R. Shibasaki. Laser-based detection and tracking of multiple people in crowds. Computer Vision and Image Understanding, (106):300-312, 2007.
[^12]: D. Morris, B. Colonna, and P. Haley. Ladar-based Mover Detection from Moving Vehicles. In Proceedings of the 25th Army Science Conference, November 2006.
[^13]: S. Thrun. Robotic Mapping: A Survey. Technical report CMU-CS-02-111, Carnegie Mellon University, February 2002.
[^14]: C.-C. Wang, C. Thorpe, M. Hebert, S. Thrun, and H. Durrant-Whyte. Simultaneous Localization, Mapping and Moving Object Tracking. The International Journal of Robotics Research, 26(9):889-916, 2007.
[^15]: A. Kelly and A. Stentz. Rough terrain Autonomous Mobility - Part 2: An Active Vision, Predictive Control. Autonomous Robots, No. 5, May, 1998, pp. 163 - 198.
[^16]: R. MacLachlan and C. Mertz. Tracking of Moving Objects from a Moving Vehicle Using a Scanning Laser Rangefinder. Proc. 9th International IEEE Conference on Intelligent Transportation Systems, Toronto, Canada, September 17-20, 2006.