# 基于高清激光雷达的行人识别
鬼怒川清澄、宫坂武夫、渡边明弘、内藤孝、三浦纯
摘要：行人检测是自动驾驶系统和驾驶辅助系统的核心技术之一。为了预测未来发生碰撞的可能性，这类系统必须尽可能在更远距离下准确识别行人。此外，系统不仅需要检测正在行走的行人，还需要检测站立在道路周边的行人。本文提出了一种利用高清LIDAR进行行人识别的方法，引入两种新型特征以提升分类性能：一种是切片特征，通过不同高度层的宽度表征人体轮廓；另一种是目标测量点的反射强度分布。不同物质在激光束的近红外区域拥有独特的反射特性，因此该特征可帮助实现行人识别。我们的方法使用支持向量机（SVM）基于上述特征训练分类器，该分类器对预处理生成的行人候选激光测距数据聚类进行区分。道路环境下的定量评估证实了所提方法的有效性。
## 一、引言
近年来，为提升驾乘人员与车辆的舒适性和安全性，各类驾驶辅助系统（如避撞、预碰撞安全系统）已陆续开发完成，自动驾驶领域的研究也不断推进。对于这类系统而言，识别包含其他车辆、行人等移动物体的道路环境至关重要。其中，行人识别是降低车人碰撞事故的核心技术之一，这类事故会造成严重的交通伤亡。若要准确预估未来碰撞风险，系统必须具备远距离识别行人的能力。
水平扫描激光扫描仪，即光探测与测距（light detection and ranging，LIDAR）系统，常被用于探测车辆和行人。与毫米波（MMW）雷达相比，LIDAR拥有空间分辨率高、测距精度优异的突出优势，但也存在以下缺点：在雨、雾等恶劣天气下无法稳定工作，且探测距离短于毫米波雷达。不过，近年来LIDAR灵敏度的提升，使其除雾天外，在其他恶劣天气下的性能都得到了显著改善。此外，如今即便在垂直方向也能获取密集测距数据的高清LIDAR已经实现量产，它目前已被广泛用作自动驾驶的高性能传感器，并有希望成为未来用于环境识别的主流车载传感器。
本文提出了一种利用高清LIDAR采集的三维距离数据识别行人的方法。此前已经开发出一种利用LIDAR估计自运动、跟踪运动物体的技术[^1]，且已证实可根据物体的尺寸和速度区分汽车、自行车与行人。然而，面向安全驾驶辅助的风险评估[^2]不仅需要检测行走中的行人，还需要检测站立在道路旁和人行道上的行人。
我们的目标是基于三维距离数据的分布，准确识别哪怕是静态的行人。我们的方法不需要任何运动线索。所提方法将测量得到的三维点云分割为对应周围环境中不同物体的点簇，随后根据点簇的尺寸提取行人候选目标[^3], [^4]。我们从每个候选目标包含的三维点云中计算出多个特征，分类器基于这些特征区分出行人。我们的方法采用支持向量机（SVM）训练分类器，本文工作不涉及跟踪环节。
为了提升远距离行人识别的性能，本文提出了两种全新特征：切片特征和反射强度分布。切片特征由人体不同高度层面的宽度构成，可呈现出从头部到腿部的人体大致轮廓。后一种特征也可有效区分行人和误检目标。LIDAR的激光波长处于近红外（NIR）波段。在光谱学领域 [^5]，众所周知近红外光会根据目标材料的不同呈现出不同的反射特性，因此反射强度被认为对目标识别十分有效。
本文利用真实道路环境下行驶车辆采集的距离数据开展了定量评估，结果证明了所提方法的有效性。
本文结构安排如下：第二部分简要介绍以往相关工作，第三部分说明本文所用LIDAR的规格参数，第四部分详细阐述所提出的行人识别方法，第五部分给出实验结果，第六部分总结全文。
### 二、相关研究
基于图像的方法 [^6] [^7] [^8] [^9] [^10] [^11] [^12] [^13] 在行人识别研究中应用十分广泛，目前已有大量方法
---
TABLE I
SPECIFICATIONS OF LIDAR
| Item | Specifications |
| Scanning rate | 10 scans/s |
| Horizontal field of view | 360° |
| Horizontal angular resolution | 0.23° |
| Vertical field of view | 26.8° |
| Vertical angular resolution | 0.4° (64 lines) |
| Detection range | 40 m for pavement\n120 m for cars and foliage |
| Range accuracy | 0.02 m |
| Wavelength of laser beam | 905 nm |
被提出用以提升检测性能和处理速度。然而，针对基于LIDAR的三维距离数据行人识别的研究目前仍然较少。
Arras等人[^14]在杂乱的办公环境中，利用激光雷达（LIDAR）的二维距离数据检测出了人员。他们使用搭载一条水平扫描线的激光雷达传感器，应用AdaBoost算法学习得到了一个鲁棒分类器。该分类器基于14个特征训练得到，包括激光点数量、二维平面中表征线性度和圆度的数值，能够识别出对应于人腿的激光束组。Premebida等人[^15]将该方法拓展到了使用多层激光雷达的道路环境行人检测任务中。他们应用多分类方法，可检测最远35米范围内的行人。这些方法都依赖二维距离数据的线性度和圆度进行特征提取，若将该方法拓展到三维激光距离数据，会大幅提升计算负荷。
Spinello等人[^16]将这些基于二维点云的研究方法拓展到了三维点云领域。他们将目标的三维点云细分为不同高度的多个二维点云，再通过AdaBoost训练得到的分类器判断每个二维点云是否属于人体的一部分。整合目标所有部分的估计结果后，拥有正确部件组合的目标就会被识别为行人。不过该方法的检测性能对目标距离十分敏感，对于驾驶辅助系统而言，提升远距离场景下的检测性能十分必要。
Navarro-Serment等人 [^17] 还提出了一种在高清激光雷达的三维距离数据中跟踪行人的方法。目标中的三维点云被划分为对应行人腿部和躯干的三个部分，每个部分包含的三维点的方差被用作特征来识别行人。此外，他们通过两个主平面上的二维直方图表示行人的三维形状。该方法的优点是计算负载低，因为特征提取非常简单。但该方法同样存在远距离场景下性能下降的问题。
切片特征和反射强度分布是本研究中提出的两个新颖特征，以实现即使在远距离下的高性能。
Fig. 1. Sample of 3D range data.
Fig. 2. Sample of a pedestrian over a range of distances.
### 三、高清激光雷达
本文采用Velodyne HDL-64ES2激光扫描仪作为高清激光雷达，其规格参数见表I。该设备共有64条扫描线，在垂直平面上以约0.4度的间隔排列，可通过360度水平扫描获取密集的三维距离数据。传感器安装在实验车辆的车顶架上，安装高度约为2米。图1展示了一个测得的三维距离数据样本，该数据由带有三维位置和反射强度信息的点构成。
图2展示了不同距离下的行人样本。可以看出，尽管该传感器的垂直分辨率较高，在前方50米处，行人身上也仅能被少量激光束照射到。
### 四、提出的方法
本文提出的行人识别方法将在本节中介绍。首先简要介绍从测量到分类的处理流程，随后说明分类过程的细节，重点阐述特征提取部分。
### A. 处理流程概述
单次扫描的处理流程如图3所示，下文将对每个处理步骤进行详细说明。
1) 数据采集：从LIDAR获取三维点云。
2) 分割：通过占用栅格地图将获取的三维点云分为地面平面和目标两类 [^18]。所有三维点都被投影到与地面平行的二维占用栅格
---
(1) Data acquisition
(2) Segmentation
(4) Classification
(3) Clustering
Fig. 3. Procedure of pedestrian recognition.
平面。本文统计每个栅格单元内的最大高度与最小高度之差。若差值大于阈值，则该单元内的点被分割为目标。占用栅格的单元尺寸为0.1 m，分割所用的高度阈值为0.3 m。
3) 聚类：通过基于距离的聚类算法生成对应车辆和行人的聚类簇。为降低计算量，聚类过程在占用栅格上采用图像处理的标记技术实现。若两个点之间的距离在0.5 m以内，则将两点合并为同一个聚类簇。通过旋转卡壳法（Rotating Calipers method）为每个聚类簇拟合长方体 [^19]。随后根据聚类簇的尺寸提取行人候选区域，条件如下：
$$ 0.8\leq h\leq2.0, $$
$$ w\leq1.2, $$
$$ l\leq1.2, $$
其中h、w和l分别表示聚类簇的高度、宽度和长度。
4) 分类：针对每个候选目标的三维点云计算得到特征向量，通过评估该特征向量判断候选目标是否为行人。本文提出的方法采用带有径向基函数（RBF）核的SVM训练分类器。
### B. 行人分类
表II列出了所提方法使用的全部9个特征。每个候选目标的特征值集合$C_j$构成一个向量$\mathbf{f}_j = (f_1, ..., f_9)$。特征$f_1$和$f_2$由Premebida方法[^15]提出。从$f_3$到$f_7$的特征由Navarro-Serment方法[^17]提出。为了提升分类性能，所提方法额外增加了以下两个特征。
TABLE II
FEATURES FOR PEDESTRIAN CLASSIFICATION
| No. | Description | Dim. $^{1}$ |
| $f_{1}$ | Number of points included the cluster | 1 |
| $f_{2}$ | The minimum distance to the cluster | 1 |
| $f_{3}$ | 3D covariance matrix of the cluster | 6 |
| $f_{4}$ | The normalized moment of inertia tensor | 6 |
| $f_{5}$ | 2D covariance matrix in 3 zones, which are the upper half, and the left and right lower halves | 9 |
| $f_{6}$ | The normalized 2D histogram for the main plane. $14 \times 7$ bins | 98 |
| $f_{7}$ | The normalized 2D histogram for the secondary plane. $9 \times 5$ bins | 45 |
| $f_{8}$ | Slice feature for the cluster | 20 |
| $f_{9}$ | Distribution of the reflection intensity, which is composed of the mean, the standard deviation and the normalized 1D histogram | 27 |
Dim. 是Dimension（维度）的缩写。
Fig. 4. The slice feature.
1) 聚类的切片特征：行人候选目标可能包含误检阳性样本，例如树木、电线杆、标志牌以及部分被遮挡的物体。需要准确将这些误检样本与行人区分开来。腿部形态和头肩轮廓是人类特有的标志性形状。但在远距离场景中，空间分辨率会下降，很难提取这些局部特征。因此，本文采用从头到腿的粗略轮廓作为行人的三维形状特征。
我们通过主成分分析（PCA）计算出候选行人的三个主轴。我们假设大多数行人处于直立姿态，因此主特征向量预计与人体垂直对齐。聚类中的3D点沿主特征向量被划分为N个大小相同的块，如Fig. 4的左图所示。这种划分可以从不同身高的行人（例如成人和儿童）中提取出通用特征。随后，每个块内的3D点被投影到与主特征向量正交的平面上，计算出沿另外两个特征向量的两个宽度作为特征。块的数量为10。特征向量表示如下。
---
Fig. 5. Reflection intensity profile of a pedestrian and a utility pole.
$$ f_{8}=\left\{w_{10},w_{11},\cdots,w_{j0},w_{j1},\cdots,w_{N0},w_{N1}\right\} $$
本文将该特征向量称为「切片特征」。
2) 聚类内反射强度的分布：正如光谱学领域所知，每种物质都拥有其独特的反射特性。行人的反射强度可能存在较大的个体差异，因为行人的衣物和随身物品由多种不同材料构成。但可以推断，会导致误报的目标（例如树木和电线杆）的材料反射特性相对均匀。因此，3D点的反射强度有助于区分行人和误报目标。行人和电线杆的反射强度示例如Fig. 5所示。
反射强度 $P_{r}$ 由以下公式定义，它与距离r的平方成反比：
$$ P_{r}=\frac{P_{0}k\sigma}{r^{2}}, $$
其中 $P_{0}$ 是发射激光束的强度，k 是由LIDAR规格定义的系数，$\sigma$ 是目标的反射率。
严格来说，反射强度必须经过距离平方的归一化处理。由于LIDAR输出的已经是针对距离完成归一化的8位反射强度值，因此我们可以直接使用传感器输出。
以下三个值由每个候选区域内包含的3D点的反射强度计算得到：
i）平均强度
ii）强度的标准差
iii）归一化直方图：共设置25个区间，将强度范围按等间隔划分。
### V. 结果
为验证所提方法的有效性，我们使用高清LIDAR在真实道路环境中采集的3D距离数据开展了定量评估。本节将介绍实验条件和评估结果。
TABLE III
CONDITIONS FOR FUNDAMENTAL EVALUATION
(a) Condition of overall evaluation and feature evaluation
| Description | Total | N pos. | N neg. |
| Training data | 7700 | 3700 | 4000 |
| Evaluating data | 8220 | 4165 | 4055 |
(b) Condition of evaluation at different ranges
| Description | Total | N pos. | N neg. |
| Training data | 1452 | 726 | 726 |
| Evaluating data | 1452 | 726 | 726 |
TABLE IV
CONDITION FOR EVALUATION IN ROAD ENVIRONMENT
| Description | Total | N pos. | N neg. |
| Training data | 7190 | 3190 | 4000 |
| Evaluating data | 78977 | 3190 | 75787 |
### A. 实验条件
我们为评估准备了两个数据集。正样本和负样本均从IV-A节所述流程生成的行人候选区域中人工提取得到。
数据集I包含11名在停放的实验车辆周围行走的人员，正样本总数为7865个，测量范围最远可达50米。其中5人携带公文包、背包等随身物品。负样本从无行人的场景中提取，总数为8055个。
数据集II由75个真实道路环境场景构成，总帧数为16210，正聚类和负聚类的数量分别为6380和79787。该数据集中包含124名身着不同服饰、携带不同物品的人员，测量范围可达50米。
所提方法的基础性能使用数据集I进行评估。
图6展示了50米范围内全部样本的分类结果，该结果为受试者工作特征（ROC）曲线。图中纵轴和横轴分别代表真阳性率和假阳性率。表III-(a)给出了训练与评估的条件，Navarro-Serment方法的结果作为参考。当假阳性率为0.01时，本文所提方法的真阳性率比Navarro-Serment方法高约0.1。
为验证本文所提特征的有效性，我们对每个特征的分类能力进行了评估，结果如图7所示。本文新增的两个特征，即切片特征和反射强度分布，对行人的区分能力比
---
Fig. 6. Recognition performance for overall samples in data set I.
Fig. 7. Recognition performance for each feature.
传统特征更强。用于表征行人形状的二维直方图特征分类能力相对较低。值得注意的是，切片特征虽然维度较小，仍能实现出色的性能。
为评估不同距离下的性能，所有样本被划分为四个距离类别：10至20 m、20至30 m、30至40 m以及40至50 m。实验条件也列于Table III-(b)中。训练与评估过程中，从每个距离类别中提取了数量相同的样本。Fig. 8展示了不同距离下的评估结果。本文提出的方法整体性能高于Navarro-Serment方法，在30至50 m的距离区间优势尤为明显。两种新增特征在长距离下效果突出，而长距离测量的空间分辨率恰好会出现下降。研究认为，由2D直方图实现的形状表示对目标上的3D点数量较为敏感。
### C. 道路环境下的评估
本文使用数据集II对动态道路环境下的分类性能进行评估。训练样本和评估样本的数量列于Table IV中。……的示例
(a) 10 - 20 m
(b) 20 - 30 m
(c) 30 - 40 m
(d) 40 - 50 m
Fig. 8. Results of evaluations at different ranges.
识别结果展示于Fig. 9中，ROC曲线展示于Fig. 10中。横轴表示每帧的假阳性数量。尽管数据集II包含大量未纳入训练样本、身着裙装撑伞的女性目标，该方法仍在每帧0.1次假阳性的条件下获得了约85%的高超阳性率。
### VI. 结论
本文提出了一种利用高清LIDAR采集的三维距离数据识别行人的方法。为提升低空间分辨率的远距离场景下的识别性能，本文提出了切片特征与反射强度分布方案。切片特征能够高效表征行人形状的大致轮廓，反射强度分布则可有效区分目标的材质。基于真实三维距离数据的定量评估证实，本文提出的方法性能优于Navarro-Serment方法。此外，所提特征可提升30米以上距离范围的目标分类能力。
然而，驾驶辅助系统仍需进一步提升远距离场景下的性能。为实现更高的准确率，未来将开发结合LIDAR与高空间分辨率图像传感器的融合系统。未来另一项研究工作是开发鲁棒
---
(a) Result for a pedestrian crossing the road.
(b) Result for an oncoming pedestrian.
Fig. 9. Examples of the results of pedestrian recognition in the road environment. For (a) and (b), the upper-left image is the drawn range data as seen from the driver's viewpoint. The yellow box shows the recognized pedestrian. The lower-left image is the video image obtained at the same time as the range data. The right image is the bird's-eye-view image of the range scan. The magenta and green boxes show the recognized pedestrians and the pedestrian candidates extracted by size, respectively. The red box represents the experimental vehicle. The blue lines are the boundary of the camera's field of view. The interval of the grid line is 10 m.
Fig. 10. Recognition performance in dynamic road environments.
特征用于遮挡目标，并完成其他目标的识别，例如骑行者、推婴儿车或拉小车的行人。
## 参考文献
[^1]: T. Miyasaka, Y. Ohama and Y. Ninomiya, "Ego-Motion Estimation and Moving Object Tracking using Multi-layer LIDAR," in Proc. 2009 IEEE Intelligent Vehicles Symposium, pp. 151-156, 2009.
[^2]: Y. Ohama, A. Takahashi, M. Kokubun and Takashi Naito, "A Hierarchical Threat Assessment Architecture for Driver Assistance Systems in Urban Areas," in Proc. 15th World Congress on Intelligent Transport Systems, pp. 1-6, 2008.
[^3]: S. Sato, M. Hashimoto, M. Takita, K. Takagi, and T. Ogawa, "Multilayer Lidar-Based Pedestrian Tracking in Urban Environments," in Proc. IEEE Intelligent Vehicles Symposium, pp. 849-854, 2010.
[^5]: D. Williams, Methods of Experimental Physics, Academic Press, vol. 13, 1976.
[^4]: G. Gate, A. Breheret and F. Nashashibi, "Centralized Fusion for Fast People Detection in Dense Environment," in Proc. 2009 IEEE Int. Conf. on Robotics and Automation, pp. 76-81, 2009.
[^6]: C. Papageorgiou, T. Poggio, "A trainable system for object detection," Int. Journal of Computer Vision, 38(1), pp. 15-33, 2000.
[^7]: P. Viola and M. Jones, "Rapid Object Detection using a Boosted Cascade of Simple Features," in Proc. Conf. Computer Vision and Pattern Recognition, vol. 1, pp. 511-518, 2001.
[^8]: N. Dalal and B. Triggs, "Histograms of Oriented Gradients for Human Detection," in Proc. IEEE Conf. on Computer Vision and Pattern Recognition, pp. 886-893, 2005.
[^9]: M. Andriluka, S. Roth, and B. Schiele, "People-tracking-by-detection and people-detection-by-tracking," in Proc. Conf. on Computer Vision and Pattern Recognition, pp. 1-8, 2008.
[^10]: T. Kobayashi, N. Otsu, "Image Feature Extraction using Gradient Local Auto-Correlations," in Proc. 10th European Conf. on Computer Vision, Part I. LNCS, vol. 5302, pp. 346-358, 2008.
[^11]: T. Watanabe, S. Ito and K. Yokoi, "Co-occurrence Histograms of Oriented Gradients for Pedestrian Detection," in Proc. 3rd Pacific Rim Symposium on Advances in Image and Video Technology, pp. 37-47, 2009.
[^12]: H. Cao, K. Yamaguchi, T. Naito and Y. Ninomiya, "Pedestrian Recognition Using Second-Order HOG Feature," in Proc. 9th Asian Conf. on Computer Vision, pp. 628-634, 2009.
[^13]: P. Felzenszwalb, D. McAllester, D. Ramanan, "A Discriminatively Trained, Multiscale, Deformable Part Model," in Proc. Conf. on Computer Vision and Pattern Recognition, 2008.
[^14]: K. O. Arras, O. M. Mozos, W. Burgard, "Using Boosted Features for the Detection of People in 2D Range Data," in Proc. IEEE Int. Conf. on Robotics and Automation, pp. 3402-3407, 2007.
[^15]: C. Premebida, O. Ludwig and U. Nunes, "Exploiting LIDAR-based Features on Pedestrian Detection in Urban Scenarios," in Proc. 12th Int. IEEE Conf. on Intelligent Transportation Systems, 2009.
[^16]: L. Spinello, K. O. Arras, R. Triebel, R. Siegwart, "A Layered Approach to People Detection in 3D Range Data," in Proc. 24th AAAI Conf. on Artificial Intelligence, pp. 1625-1630, 2010.
[^17]: L. E. Navarro-Serment, C. Mertz, and M. Hebert, “Pedestrian Detection and Tracking Using Three-Dimensional LADAR Data,” in Proc. Int. Conf. on Field and Service Robotics, 2009.
[^18]: S. Thrun, W. Burgard and D. Fox, Probabilistic Robotics, The MIT Press, 2005.
[^19]: G. Toussaint, "Solving geometric problems with the rotating calipers," in Proc. the IEEE MELECON, A10.02/1.4, 1983.