# 融合激光雷达、相机与语义信息：一种基于上下文的行人检测方法
《国际机器人研究杂志》
32(3) 371–384
© 作者（们） 2013
重印与授权：
sagepub.co.uk/journalsPermissions.nav
DOI: 10.1177/0278364912470012
ijr.sagepub.com
SAGE
Cristiano Premebida 和 Urbano Nunes
## 摘要
本文提出了一种应用于城市环境行人检测的基于上下文的多传感器系统。所提出的系统包含三个主要处理模块：(i) 作为主目标检测器的基于激光雷达的模块，(ii) 为系统提供从道路语义地图获取上下文信息的模块，(iii) 采用滑动窗口检测器的基于图像的检测模块，作用是验证激光雷达模块生成的感兴趣区域中是否存在行人。本文采用贝叶斯策略融合车辆车载传感器获取的信息（“本地”信息）与道路数字地图中存储的信息（“全局”信息）。为支撑实验分析，本文使用了一个名为激光与图像行人检测数据集（LIPD）的多传感器数据集。该数据集采集于城市环境的日光条件下，由低速行驶的电动汽车完成采集。本文采用一种下采样方法，利用从多个线性SVM中提取的支持向量缩减训练集规模，从而减少基于图像的分类器训练过程中的CPU时间。本文使用三种图像检测器，从检测率和每帧误报数两个维度评估系统性能，三种检测器分别为线性SVM、SVM级联和一种基准方法。此外，本文还开展实验评估了上下文信息对检测系统性能的影响。
## 关键词
### 1. 引言
传感器融合、传感与感知、计算机视觉、识别、野外机器人、野外与服务机器人、测距传感
多传感器数据融合在智能交通系统（ITS）和智能车辆（IV）领域发挥着重要作用，该领域已开展的大量研究足以证明这一点，例如可参见Geronimo等人(2010)、Faouzi等人(2011)、Stiller等人(2011)和Dollar等人(2012)的最新综述。近年来，高级驾驶辅助系统（ADAS）也备受关注，因为它在汽车市场拥有诸多应用，例如自适应巡航控制（ACC）、车道偏离预警（LDW）、防抱死制动系统（ABS）、碰撞预警系统（CWS）以及行人保护系统（PPS）。本文的研究重点正是行人保护系统，正如Gandhi和Trivedi(2007)所述，广义上行人保护系统可分为两个研究方向：被动系统和主动系统。被动系统的特点是车辆自带内置安全功能，主要设计目的是减轻碰撞可能对行人造成的伤害，例如特殊设计的前保险杠、可变形引擎盖、布置在车辆前柱附近的专用安全气囊等等。而主动行人保护系统则依托车辆车载和/或基础设施中的传感器，作用是预测和预判潜在的碰撞风险。
基于车载传感器的行人检测系统（Gandhi和Trivedi，2007）在ADAS应用领域是一个受到广泛关注的研究课题，Felzenszwalb等人（2010）、Markoff（2010）、Navarro-Serment等人（2010）、Spinello等人（2010）、Douillard等人（2011）以及Garcia等人（2011）的研究工作都印证了这一点。具体而言，基于上下文的感知系统会使用从静态帧中提取的上下文线索，例如Perko和Leonardis（2010）提出的场景属性与物体间空间关系，也会使用尺度、距离和道路位置这类上下文信息，这些信息可
葡萄牙科英布拉大学系统与机器人研究所
---
Fig. 1. Block diagram illustrating the main processing modules comprising the pedestrian detection system with contextual information incorporated into the system.
通过激光雷达（LIDAR）或立体视觉获取，正如Geronimo等人（2010）所讨论的。上述研究工作存在一个共同点：所有信息均提取自车载传感器。另一方面，结合“外部”上下文信息源（例如基于GPS的语义地图）的行人检测方案，是一种颇具吸引力的研究思路，但IV/ITS领域几乎从未对该方向开展过研究。
基于图像检测器的信息（即“局部”信息）通过最大后验（Maximum A Posteriori，MAP）策略与语义图中包含的信息（即“全局”信息）进行融合。具体来说，图像检测器的置信度得分从分类器输出中得到，并被处理为条件概率，而从语义图获取的信息则以先验概率的形式输入系统。最终，MAP决策模块输出一组检测窗口及其对应的后验置信度得分。
本文提出了一种主动行人检测系统，该系统融合了安装在电动汽车上的LIDAR和单目相机采集的数据，以及车辆行驶道路语义图所提供的信息。该语义图的部分区域被标记为潜在行人更可能出现的区域，例如人行横道和公交车站。多传感器信息由包含三个主要处理模块的架构进行处理：(i) 基于LIDAR的模块；(ii) 基于上下文的模块；(iii) 基于图像的模块。基于LIDAR的模块负责初级目标检测，即它会以激光段或点云簇的形式生成一组检测目标，再将其转换到局部导航坐标系中，并将目标在语义图中的位置用作上下文信息。由于激光雷达已相对于相机完成标定，我们可利用这批目标的位置在图像平面上投影出一组感兴趣区域（ROI）。在每个ROI内部，基于图像的分类器以多尺度滑动窗口检测器的形式运行，该检测器会通过改变位置和尺寸来搜索行人存在的证据。这些滑动窗口检测器（可简称为检测窗口）由像素坐标下的空间参数和分类方法给出的置信度得分表征。
针对基于图像的模块，我们将Ludwig等人（2011）简要介绍的本文所提出的SVM级联方法，在检测性能方面与单一线性支持向量机（SVM）以及Felzenszwalb等人（2010）提出的可变形部件模型进行了对比，该模型可在获取。此外，我们提出了一种利用从多个线性SVM中提取的支持向量实现的下采样方法，用以降低训练集的基数，减少分类器训练过程中的CPU时间消耗。
综上所述，本文提出的系统架构如图1所示。基于LIDAR的模块及其处理阶段在第2节中介绍，基于图像的模块、下采样方法和SVM级联在第3节中详细阐述。利用场景上下文区域图的基于上下文模块在第4节中介绍。使用激光与图像行人检测（Laser and Image Pedestrian Detection, LIPD）
---
(a)
(b)
(c)
(d)
Fig. 2. Main processing steps in the LIDAR-based module. (a) Raw range points in Cartesian coordinates. (b) Points are filtered and grouped per layer, where each color indicates a given layer. (c) Range points outside the camera FOV are discarded. (d) Projection of the points, per layer, on the image frame.
数据集开展的行人检测实验结果在第5节中报告。最后，第6节给出结论。
### 2. 基于LIDAR的模块
我们的基于LIDAR系统作为主目标检测器，每个检测到的目标都会被判定为正样本（行人）候选或负样本（非行人）候选。该模块输出一组激光分段（下文简称分段），这些分段会被转换为图像坐标，并以ROI的形式投影到图像帧上，如图2所示。简言之，基于LIDAR模块的主要处理环节如下：
1. 预分割与滤波：该模块包含一系列必要的数据处理任务，用于降低后续阶段的复杂度和处理时间，例如：滤除孤立/伪
---
距离点，剔除预设视场（Field of View, FOV）之外的测量结果，并完成数据对齐。
2. LIDAR分割：该模块输出通过距离数据分割方法得到的一组分段。
3. 转换为ENU坐标：将分段从二维笛卡尔坐标转换为由东、北、天（ENU）参考系定义的“局部”导航坐标系，相关细节见Drake (2002)的论述。
4. 激光到图像变换：定义了将分段投影到图像平面所需的一系列刚性坐标变换，该模块输出ROI集合。
图2展示了激光数据在基于LIDAR模块各个处理阶段中的空间变化过程。该模块在每个迭代步骤接收原始激光点扫描数据，经处理后在图像帧上生成ROI。激光点的颜色遵循激光扫描仪厂商采用的标准约定。
激光与单目相机按照以下步骤完成标定：(1) 采集同步得到激光扫描数据与图像帧的标定数据集。采集过程中平台保持静止，棋盘板放置在距离平台2–7米的位置；(2) 使用标定工具箱()估计相机的内参和外参；(3) 最后，采用Vasconcelos等人(2012)提出的方法得到相机相对于激光的外参。假定这些参数在整个实验数据集采集过程中保持恒定。相机参考系中的点$P^C = [P_X^C, P_Y^C, P_Z^C]$可以通过变换$P^L = [P_X^L, P_Y^L, P_Z^L]$转换到激光坐标系$P^L = (R_C^L, P_C^L, T_C^L)$，其中$R_C^L$是表示相机相对于激光姿态的3×3标准正交旋转矩阵，$T_C^L$是表示相对位置的三维向量。我们采用Vasconcelos等人(2012)描述的方法估计$R_C^L$和$T_C^L$。激光坐标系中的点$P^L$到相机参考系中点$P^C$的变换由$P^C = (P^L - T_C^L)/R_C^L$得到。按照Heikkila和Silven(1997)所述，对三维点$P^C$进行归一化并应用畸变系数，得到$X_N$。最后，按如下方法计算图像平面中的像素坐标。
设图像平面中的一个点为$P^I = [u, v]$，其中u和v为像素坐标，基于针孔模型，$P^I$的坐标计算如下：
$$ \left[\begin{array}{c}u\\ \nu\\ 1\end{array}\right]=K\left[\begin{array}{c}X_{\mathrm{N}}(1)\\ X_{\mathrm{N}}(2)\\ 1\end{array}\right] $$
其中相机矩阵K由下式给出
$$ \boldsymbol{K}=\left[\begin{array}{c c c}f_{c}(1)&\alpha_{c}f_{c}(2)&c c(1)\\ 0&f_{c}(2)&c c(2)\\ 0&0&1\end{array}\right] $$
其中$f_{c}$为焦距，cc为主点，$\alpha_{c}$为偏斜系数。
利用LIDAR数据仅能得到图像中目标位置的水平边界。若假设车辆在“平坦”路面上行驶，且已知激光器到地面的距离，便可轻松计算出ROI的下边界。ROI的上边界结合到目标的距离进行估算，估算时将行人的最大高度设定为2.5米。我们已经得到了保证激光扫描仪与相机参考系之间刚性对应关系所需的如下矩阵：
$$ \left[R_{C}^{L}\quad T_{C}^{L}\right]=\begin{bmatrix}0.99986&-0.014149&-0.0093947&11.917\\ 0.014395&0.99954&0.026672&-161.26\\ 0.009013&-0.026804&0.9996&0.77955\end{bmatrix} $$
其中平移向量分量的单位为毫米。
### 3. 基于图像的模块
行人检测系统包含大量时空处理技术，目标是在图像帧上得到潜在行人的估计位置与尺寸(尺度)。单目基于图像的行人检测的核心问题之一是，与正样本数量相比，负样本(潜在误报)数量极多，这需要大量处理时间，也对检测器的置信度提出了很高要求。针对该问题，本文采用的方案是利用激光雷达在图像帧上生成一组感兴趣区域(ROI)。在每个ROI内部，采用基于图像的分类器，通过变换检测窗口的位置和尺寸搜索行人目标。该方法减少了计算处理时间，将图像中的感兴趣区域最多限制在十几个ROI，同时降低了误报数量。
本文研究的基于图像的系统由三部分组成：基于检测窗口形式的图像分类方法，之后是非极大值抑制滤波，最后是决策阶段：
1. 检测窗口：基于图像的分类器以多尺度滑动窗口检测器的形式作为初级阶段，用于识别ROIs内的潜在行人。
2. 非极大值抑制：对于每一对在图像上发生空间重叠的检测窗口，采用成对非极大值抑制技术丢弃置信度较低的检测器。
---
Fig. 3. Representation of a detection window, $\mathcal{DW}_i$, with size defined by $(w_i, h_i)$, which is shifted, inside a ROI, at locations given by $(x_i, y_i)$.
3. 决策：采用整合了置信度得分和上下文先验的MAP决策规则，判断图像中是否存在潜在行人。
本研究共采用三种基于图像的分类方法：线性SVM、本文提出的SVM级联（SVM-cascade）以及可变形部件模型。所有模型使用由HOG $^1$描述子构成的训练集进行训练，前两种方法我们使用Dollar等人(2012)公开的代码提取HOG特征。记为$\mathcal{DW}_i$的检测窗口用于多尺度滑动方法中，因此$\mathcal{DW}_i$会在每个ROI内移动，根据一组空间步长和缩放因子改变位置$(x_i, y_i)$和尺寸$(w_i, h_i)$；参见图3。一个给定检测器$\mathcal{DW}_i = [px_i, py_i, w_i, h_i, \alpha_i]$由以下要素定义：ROI内的矩形区域$\mathcal{A}_i$，其位置为$[px_i, py_i]$，尺寸在像素坐标系下由宽度$w_i$和高度$h_i$给出，以及置信值$\alpha_i$，该值是与$\mathcal{DW}_i$关联的分类器的输出。
多尺度滑动窗口方法不可避免会出现一个问题：同一个ROI的相邻区域会产生多个检测窗口。为解决该问题，我们受Dollar等人(2009)以及Enzweiler和Gavrila(2009)的方法启发，采用非极大值抑制方法丢弃相近位置处的多个重复检测器。计算重叠检测窗口的交并比$\gamma$，对于$\gamma > 0.9$，保留置信度得分最高的检测器，丢弃其余检测结果。基于图像模块后续也是最终的处理阶段是决策。通常情况下，会使用阈值判断观测特征向量的类别。但当可获得上下文信息时，分类决策会采用第4节所述的MAP规则形式。
需要重点强调的是，用于城市场景行人检测的实际（大规模）数据集存在一个特殊但关键的特征：正负样本的数量差异极大。为清楚说明这一点，我们将行人检测器的尺寸（像素单位的宽和高）设为$\Delta_i = s_i(w, h) \mid i = 1, \cdots, 11$，其中$h = 2w$，尺度由$s = (1.0, 1.2, \cdots, 2.8, 3.0)$给出。检测窗口沿图像移动时，其水平位置和垂直位置分别由$s_i w/4$和$s_i h/4$定义。对于尺寸为$640 \times 480$像素的图像，考虑$w = 27$后，根据为使$\Delta$保持整数像素值所做的近似处理不同，每帧至少会生成12000个检测窗口。对于包含10000帧的数据集，平均每帧有0.5个行人（这在典型城市场景中是符合实际的比例），最终会得到至少$1.2 \times 10^8$个负检测窗口，而正样本切图仅为5000个。
为了避免这类大规模不平衡数据集出现偏差问题和计算需求不可行的问题，正如Kang和Cho（2006）所述，亟需一种下采样算法。为了保留计算分类器分离超平面的相关信息，同时缩小训练集规模、降低训练过程复杂度，本文受Graf等人（2005）提出的并行SVM架构启发，提出了一种基于SVM的数据选择方法。该方法还可用于获取平衡或软不平衡数据集，我们将在后文对其进行讨论。
#### 3.1 基于SVM的下采样算法
解释基于SVM的数据选择算法所用的符号说明如下：
$X_P = \{X_{P(i)} : i \in Ip = \{1, \cdots, np\}\}$ 为正训练样本的输入集合。
$X_{\mathrm{P}}^{\mathrm{S}} = \{X_{\mathrm{P}(i)}^{\mathrm{S}} : i \in Sp \subset Ip\}$ 是筛选得到的正训练样本子集。
---
Fig. 4. Negative samples having feature vectors positioned ‘far’ from the separation margin (a); and samples which correspond to support vectors (b).
$X_N = \{X_{N(i)} : i \in In = \{1, \cdots, nn\}\}$ 为负训练样本的输入集合。
$X_N^S = \{X_{N(i)}^S : i \in Sn \subset In\}$ 是筛选得到的负训练样本子集。
$X_{P,N} = \{X_P, X_N\}$ 是由$X_P$和$X_N$组成的完整训练集。
$X_{P,N}^S = \{X_P^S, X_N^S\}$ 是筛选得到的训练集。
$X_{N-\Omega} = \{X_{N(i)} : i \in In \setminus \Omega\}$ 是负实例集合$X_N$移除$\Omega$中的实例后得到的子集，其中$\Omega \subset X_N$。
在实际数据集中，负实例的数量nn远多于正实例的数量np，因此$np \ll nn$。出于这个原因，本文采用的下采样算法从负训练集$X_N$中筛选出一个实例子集$X_N^S$，满足$|Sn| < |In|$。给定包含np个正训练样本和nn个负训练样本的初始训练集$X_{P,N}$，该欠采样算法会筛选出ns个对应于$X_N$支持向量的实例，记为SV。下采样算法的第一步是将$X_N$划分为n个子集$\Omega_i \subset X_N$、$i = 1, \cdots, n$；接下来，对每个子集$\Omega_i$，使用SVM分类器提取将用于组成SV的支持向量。因此，每个$i^{th}$ SVM都由包含$n_p$个正样本和$\frac{nn}{n}$个负样本的子集训练得到。最后一步是聚合从n个SVM得到的所有负支持向量。最终，该方法输出由负支持向量组成的筛选后负训练集：$X_N^S \leftarrow SV$（见算法1）。图4(a)展示了部分训练特征向量不属于支持向量的负样本，图4(b)展示了部分对应支持向量的样本。
我们在验证集上开展了实验，以评估本文提出的下采样方法的分类性能。我们分别用两种数据训练了线性SVM和费希尔线性判别分类器：(i) 包含100000个负样本的完整训练集的所有样本；(ii) 从上述原训练集得到的、由支持向量（SV）组成的缩减子集，由此得到了两个模型。随后我们在测试集上应用这些分类器，结果表明，平均来看两类分类器的命中率相近，但使用支持向量训练得到的模型的假阳性数量降低了约10%。
```pseudo
// Algorithm 1: SVM-Based down-sampling algorithm for negative example selection
Input: $X_{P,N} = \{X_{P}, X_{N}\}$: training set;
Output: $X_{N}^{S}$: set of selected negative samples;
1: $\{SV\}_{i}$: set of support vectors; n: number of iterations;
2: $\Omega_{i}$: subset of $X_{N}$;
```
// 初始化：
3: $X_{N}^{S} \leftarrow$ {}: 空集;
4: 将$X_{N}$分解为n个子集$\Omega_{i}$，其中$\Omega_{i} \subset X_{N}$;
// 选择样本：
5: for $i = 1; i < n$; $i+1$ do
6: 使用$\{X_{P}, \Omega_{i}\}$训练线性SVM分类器;
7: 使用$\Omega_{i}$中的“负”支持向量生成$\{\mathcal{SV}\}_{i}$;
8: end for
// 构造$X_{N}^{S}$：
9: $X_{N}^{S} \leftarrow$ $\{\mathcal{SV}\}_{i}, i = 1, \cdots, n$.
#### 3.2. SVM级联方法
本文提出的SVM级联采用提升流程进行训练，当前阶段的特征数量相较于前一阶段有所增加；因此，随着级联结构中新增的阶段越来越多，级联的复杂度和分类能力都会不断提升。SVM级联是由线性SVM组成的链状结构，沿用Viola和Jones（2001）提出的思路，在每个阶段剔除负样本；因此，每个阶段中被判定为负例的样本都会被剔除，正例则会继续向后通过级联结构，如图5所示。级联的每个阶段经过训练，通过调整当前阶段SVM的分隔超平面，在正确剔除负样本的同时，实现指定的真阳性率（TP）。
---
Fig. 5. Functional diagram illustrating the SVM-cascade detector: each stage rejects the samples classified as negative (F: false), while the positives (T: true) pass through all the stages to finally be detected as a pedestrian.
该过程通过调整分量SVM的偏置（阈值）来实现，直到达到目标TP。级联的下一个阶段会接收上一阶段输出的所有正例和假负例，因此训练集的分类难度会越来越高。为了提升分类能力，特征数量会随着阶段数的增加逐步增长；也就是说，相较于前一阶段，当前阶段会新增$n_f$个特征，特征数量（以及复杂度）随之提升。
用于训练SVM级联和线性SVM的特征向量共包含396个元素，由归一化HOG描述子定义，该描述子包含$4 \times 11$个单元和9个方向箱。SVM级联的每个阶段使用网格中的1个方向箱训练，整个级联共9个阶段，每个阶段对应44个特征。因此，第一阶段有44个特征（第一个方向箱），第二阶段有88个特征（第一个和第二个方向箱），依此类推。训练方法总结于算法2中。
### 4. 基于上下文的模块
在模式识别领域，上下文指的是除目标模式本身之外，用于提升分类或检测性能的、与输入相关的信息；Duda等人（2001）给出了上下文的通用定义，Perko和Leonardis（2010）则描述了基于图像的上下文线索。本文中，上下文指的是目标在语义图中的位置，与之相对，目标模式本身指的是通过一组“局部”图像描述符训练分类器得到的特定模型。简而言之，融入行人检测系统的上下文信息，基于道路语义图中目标位置的先验知识。
如图1所示，决策模块是基于图像模块的一部分，在该模块中，上下文信息按照MAP以先验概率的形式进行处理
```pseudo
// Algorithm 2: SVM-Cascade training process
Input: $\mathcal{D} = \{X_P, X_N\}$, np, nn: training set, number of positives, and negatives;
Output: $\{W\}$: set of parameters of the cascade;
1: TP: true positive rate; $Thr_{tp}$: adopted threshold for TP e.g., $Thr_{tp} = 0.95$;
2: $n_f$ step: increment on the number of features (in our case, $n_f = 44$);
3: HOG-features are indexed, as function of the bin, in the array S; where $|S| = nfea$;
4: $\Omega \leftarrow \{\Theta\}$: set of true negatives;
5: $i \leftarrow 1$: cascade stage;
6: $\mathcal{D}_i \leftarrow \{X_P, X_{N-\Omega}\}$;
7: for $n = n_f$; $n < nfea$; $n + n_f$ do
8: $\mathcal{D}_i^{S_i}$: training set with n features, where $S_i|i = 1, \cdots, n$ is the set of features in the $i^{th}$ cascade stage;
9: Train a linear SVM, using $\mathcal{D}_i^{S_i}$, in order to obtain the SVM parameters $W_i = (w_i, b_i)$;
10: Calculate the true positive rate TP;
11: while $TP < Thr_{tp}$ do
12: Decrease the threshold $b_i$ in order to increase TP;
13: Recalculate TP using the current SVM bias $b_i$;
14: end while
15: Classify $\mathcal{D}_i^{S_i}$, using the cascade with i stages, to obtain the set of true negatives $\Omega$;
16: $i \leftarrow i + 1$;
17: Detach $\Omega$ from $X_N$, such that $\mathcal{D}_i = \{X_P, X_{N-\Omega}\}$;
18: end for
```
决策框架。因此，决策模块中使用的基于图像的检测器的输出也需要表示为概率形式；更具体地说，分类器的输出通过概率分布建模，以得到用于MAP决策规则的类条件概率。
---
(a)
(c)
Fig. 6. Digital map of the environment where the dataset was collected. (a) Satellite image of a scenario with the map of the roads marked in white. Examples of incidence zone are given in (b) and (c).
#### 4.1 利用语义图中目标位置的上下文模块
基于上下文的先验概率是根据场景特定区域内目标的位置（即实际存在情况）的函数来使用的。我们借助Google Earth的卫星图像构建了ISRobotCar行驶道路的语义图$^{©}$，如图6(a)所示。我们在地图上筛选并标定了一批行人出现概率较高的区域。该方法的思路是，为地图上更可能存在行人的区域（下文称为入射区域）赋予一个由先验知识表征的置信度得分。地图上定义的入射区域包括：人行横道、餐厅周边区域、公交车站、自助餐厅周边区域，以及总秘书处主楼前的环形交叉路口区域。图6(b)和图6(c)展示了部分入射区域的示例。
道路地图以及入射区域均采用GPS坐标定义，更具体地说，GPS数据是基于1984世界大地坐标系（WGS84）下的纬度、经度和海拔（lla）进行定义的。但基于激光雷达（LIDAR）模块检测到的目标（分割片段）的坐标属于局部笛卡尔坐标系。因此，需要建立GPS坐标系与激光扫描仪局部坐标系之间的相互对应关系。
要获取激光雷达参考系下目标相对于地图上某点的坐标，一种解决方案是将GPS坐标转换为局部导航坐标。该局部导航系统采用ENU参考系。因此，为了判断给定帧中检测到的目标是否位于入射区域内，需要将地图区域和目标坐标都转换到同一个ENU参考系下。
我们使用Google Earth $^{©}$软件，在场景的卫星图像中手动将各个区域绘制为多边形。随后，这些区域由四对GPS坐标点定义的位置被转换到ENU参考系下。对于检测到的任意目标，其位置是以激光雷达为中心的笛卡尔坐标，需要先将其转换到与GPS流动站对齐的车载参考点，再转换到与地图所用的同一个ENU参考系下。综上，任意GPS坐标点$P_{GPS}$ $^{2}$转换到ENU坐标系的过程分为三步：
1. 在地图中定义一个参考点，本文中记为$P_{ref}$，其坐标为lla坐标；
2. 将lla坐标下的$P_{GPS}$转换为地心地固坐标系（ECEF）坐标。本文中，我们使用$lla2ecef$Matlab$^{\circledR}$函数完成该步骤；在Matlab$^{\circledR}$中的表示为：$P_{ECEF} = lla2ecef(P_{GPS}, 'WGS84')$；
3. 将$P_{ECEF}$转换为ENU坐标。导航坐标系中的某点记为$P_{ENU}$，在Matlab$^{\circledR}$中的表示为：
$P_{\text{ENU}} = ecef2lv$ ( $P_{\text{ECEF}}$, $P_{\text{ref}}$, ellipsoid)，其中ellipsoid表示拟合地球的椭球体。我们使用Matlab$^{\textregistered}$的almanac函数：ellipsoid = almanac ( $‘earth’$, $‘ellipsoid’$, $‘kilometers’$, $‘WGS84’$)。
差分GPS（DGPS）依靠地面参考站（即基准站）运行，其绝对测量精度远高于普通GPS系统。基准站以UHF频段与安装在车辆上的移动站通信。两站之间信息交互的平均周期为200毫秒（即5 Hz），符合实时动态（RTK）定位的定义。不过，DGPS也无法避免误差。在我们的数据库中，部分位置测量存在多路径效应或遮挡问题。此外，由于流动站与基准站之间的通信临时中断，部分航迹段会出现可靠DGPS信号缺失的情况。为了降低GPS系统的不确定性和误差，可以采用多传感器融合方法，例如由Bento
---
等人（2012）提出的方案，可用于估计并校正DGPS单元的位置测量结果。
Fig. 7. Histogram and Normal distribution fitted to the output scores, on the training set, of a linear SVM (left part) and deformable parts-based model (right part).
#### 4.2 利用上下文信息的MAP决策规则
如前文所述，上下文信息是以先验概率的形式处理的。因此，类条件概率（简称似然度）由决策模块所用的分类方法得到。据此，从训练集获得的基于图像的检测器输出，按照概率分布进行建模。图7展示了线性SVM和基于部件模型的分布。以分类器得分为变量绘制的直方图，通过正态分布建模，该正态分布将用作MAP决策中的似然函数。在这种情况下，该问题可简化为使用单变量正态密度进行决策的特例。设行人出现在事故易发区的先验概率为 $P(\omega_1)$，对于非事故易发区，先验被认为是互斥且穷举的，因此如果目标位于非事故易发区，其先验概率等于 $1 - P(\omega_1)$。如果 $P(\omega_1) = P(\omega_0)$，则决策简化为最大似然（ML）准则的情况。 $^3$ 如果先验概率不相等，即 $P(\omega_1) \neq P(\omega_0)$，决策阈值会向远离概率更大类别的方向偏移。
设 $T_{\Lambda} = 0$ 为 $P(\omega_0) = P(\omega_1)$ 时的决策阈值，在使用上下文的实验中，随着 $P(\omega_{i|i=\{0,1\}})$ 的取值变化， $T_{\Lambda}$ 也会发生变化。设 $\mathcal{N}(\mu_1, \sigma_1^2)$ 和 $\mathcal{N}(\mu_0, \sigma_0^2)$ 分别为正类和负类的正态分布，将目标为行人这一事件的后验概率记为 $P(\omega_1|x \geq 0)$，则贝叶斯公式可表示为
$$ P(\omega_{1}|x)=\frac{p(x|\omega_{1})P(\omega_{1})}{p(x|\omega_{1})P(\omega_{1})+p(x|\omega_{0})P(\omega_{0})} $$
式中 $p(x|\omega_i), i = \{0,1\}$ 是由正态分布 $\mathcal{N}(\mu_i, \sigma_i^2)$ 建模得到的类条件概率密度函数。整理式(4)后可得
$$ p(x\mid\omega_{1})=p(x\mid\omega_{0})\frac{P(\omega_{1}\mid x)(1-P(\omega_{1}))}{P(\omega_{1})(1-P(\omega_{1}\mid x))} $$
对式(5)两边取自然对数并展开平方项后可得
$$ \frac{(x^{2}-2x\mu_{1}+\mu_{1}^{2})}{2\sigma_{1}^{2}}=\frac{(x^{2}-2x\mu_{0}+\mu_{0}^{2})}{2\sigma_{0}^{2}}-\ln(\frac{\sigma_{1}}{\sigma_{0}}\mathcal{P}) $$
式中 $\mathcal{P} = P(\omega_1|x)(1 - P(\omega_1))/P(\omega_1)(1 - P(\omega_1|x))$。因此，任意 $P(\omega_1) > 0$ 对应的决策边界阈值都是下述二次方程的解：
$$ \begin{aligned}&2(\sigma^{2}_{1}-\sigma^{2}_{0})x^{2}+4(\sigma^{2}_{0}\mu_{1}-\sigma^{2}_{1}\mu_{0})x-\\&(4\sigma^{2}_{1}\sigma^{2}_{0}W+2\sigma^{2}_{0}\mu^{2}_{1}-2\sigma^{2}_{1}\mu^{2}_{0})=0\end{aligned} $$
式中
$$ W=\ln\frac{\sigma_{1}(P(\omega_{1}|x=0)-P(\omega_{1})P(\omega_{1}|x=0))}{\sigma_{0}(P(\omega_{1})-P(\omega_{1})P(\omega_{1}|x=0))} $$
式(8)仅在检测目标位于事故易发区内时有效，否则应当用 $P(\omega_1)$ 替换 $P(\omega_0)$。需要注意，变量x表示分类得分，其中 $x = 0$ 是 $p(x|\omega_1) = p(x|\omega_0)$ 时的“最优”阈值。当先验发生改变时，阈值也会随之改变。如果 $P(\omega_1) > P(\omega_0)$，决策边界会向远离概率更大类别的方向偏移，即偏移至 $\omega_1$，反之亦然。
---
Fig. 8. On the right, the ISRobotCar vehicle. On the left, an example of a set of ROIs marked as dashed boxes.
### 5. 实验
本文报道实验的主要目标是评估该系统在两个方面的检测性能：(i) 基于图像模块所用的分类方法，(ii) 语义图中表征目标出现区域的先验概率的影响。为支撑实验分析，本文使用了多传感器LIPD数据集（详见5.2节）。在5.3节中，我们在不引入上下文信息的情况下对各分类方法进行评估。5.4节的实验结果展示了先验对MAP决策规则的影响。为保证各评估方法所得结果的一致性，实验过程中，基于LIDAR模块的预处理和分割阶段的所有参数与变量都严格保持一致。换言之，后续报告的结果仅取决于分类方法和基于上下文的方法。
#### 5.1. 性能评估采用的准则
本文选择逐帧评估作为行人检测系统的首选评估方法，这与Dollar等人(2009)、Enzweiler和Gavrila(2009)以及Enzweiler和Gavrila(2011)的做法一致。因此，系统性能评估的基础是将给定帧中的所有检测窗口与同一帧中的真值集合$\mathcal{G}$进行比对。$\mathcal{G}$中的每个元素由一个区域$\mathcal{A}_j^{\mathcal{G}}$和关联标签定义：0类（被遮挡或尺寸小于最小阈值）或1类（完整身体的行人）。建立检测窗口与真值对应关系的决策过程使用了如下比率：
$$ \Upsilon(i,j)=\frac{\operatorname{Area}(\mathcal{A}_{j}^{\mathcal{G}}\cap\mathcal{A}_{i})}{\operatorname{Area}(\mathcal{A}_{i}\cup\mathcal{A}_{j}^{\mathcal{G}})}>A_{\mathrm{thr}} $$
即，给定检测器的区域$\mathcal{A}_i$若满足$\mathcal{A}_j^G$超过阈值$\Upsilon(i,j)$，则与真值$\mathcal{A}_{\text{thr}}$匹配，其中$\mathcal{A}_{\text{thr}} = 0.25$的取值是根据Enzweiler和Gavrila(2009)报道的结果确定的。$\mathcal{DW}$中的每个检测结果最多只能与$\mathcal{G}$中的一个元素匹配。$\mathcal{DW}$中未匹配的元素计为假阳性（FP），$\mathcal{G}$中未匹配的标记为1类的元素计为漏检。另一方面，$\mathcal{G}$中标记为0类的元素会被忽略，即这些边界框不需要被匹配；但如果发生匹配，也不会算作假阳性。
#### 5.2. LIPD数据集
LIPD数据集记为$\mathcal{D}_{LIPD}$，包含两个子集：$\mathcal{D}_{train}$和$\mathcal{D}_{test}$，前者用于训练，后者构成测试集。整个数据集$^{5}$除单目图像和LIDAR扫描数据外，还包含两个本体感受传感器的数据：惯性测量单元（IMU）和增量式编码器，此外还有DGPS的数据。该数据集通过安装在ISRobotCar上的传感器采集系统记录得到，ISRobotCar是雅马哈（Yamaha）的一款试验车辆，如图8所示，采集过程中车辆行驶在科英布拉大学工程校区及其周边区域（参见）。
由于该数据集是在户外条件下采集的，传感器设备长期暴露在各类天气和环境条件下，因此不可避免地会遇到一些难点，例如光照变化、振动、扰动、噪声、空气中的灰尘和颗粒物等等。数据采集过程中最主要的问题之一，可能就是镜头落灰导致图像中出现一些污点。
---
Fig. 9. LIPD dataset examples: (first row) labeled pedestrians used in the training set; (middle row) full images in the testing set; (last row) screen shot of ROI projections, blue rectangles, in testing images.
数据集的训练部分包含4606个手动标注的正样本（直立全身行人图像切片），以及2444张分辨率为$640 \times 480$的全帧图像，这些图像中不存在任何行人目标。因此，训练集由上述4606个正样本切片（或边界框）和可从负样本帧中提取的任意数量负样本实例组成。当前测试集包含4823张全帧图像，以及关于行人状态（按遮挡程度划分）的详细标注，具体分为：被遮挡/部分行人（0类）和全身行人（1类）。数据集汇总如表1所示。
#### 5.3 基于图像的检测器性能评估
本文对线性SVM、所提出的SVM级联结构以及可变形部件模型（下文简称DPM）进行了评估，接下来将公布它们在LIPD测试集（$D_{test}$）上的检测性能。分类器模型使用所有正样本和一部分“难”负样本训练得到，这些难负样本是通过本文3.1节提出的基于SVM的下采样算法从$D_{train}$中提取的。本文采用每帧检测率-假阳性数量作为指标，评估$D_{test}$中各方法的性能。为了专门分析DPM方法的泛化能力，同时保证与其他方法比较的公平性，该检测器使用在LIPD训练集上学习得到的模型（命名为
Table 1. The statistics of the $\mathcal{D}_{\mathrm{LIPD}}$ set.
| Training set |
| Set | Npos | Nneg | Description |
| $D_{train}$ | 4606 | 2444 | Sunny days, autumn season. Negative instances should be extracted from the 2444 frames. |
| Testing set |
| $D_{test}$ | 698 | * | Sunny days, autumn season. The number of negatives (*) depends on the detection approach to be used (which can take advantage of the LIDAR information or not). |
DPM-1），另一个是在INRIA数据集上预训练得到的模型，可从获取，本文将其称为DPM-2。两种模型如图10所示。
为了在不使用上下文的条件下评估整张图像相对于基于ROI的图像的检测性能，我们将DPM方法和提供的代码作为基准测试。此外，为了说明交并比的影响，参见公式(9)，
---
Fig. 10. Pedestrian models obtained with the DPM method. First row represents the INRIA-based model (DPM-2), which is available at . The second row shows the model obtained with the LIPD dataset (DPM-1). From left to right: the root filter's model, followed by part filters, and spatial model for the location of each part relative to the root.
我们针对$A_{thr}$的两个取值0.25和0.15开展了实验。两种模型的实验结果如图11所示。黑色表示的基于ROI图像的检测性能优于灰色虚线表示的全图检测结果，主要有两个原因：尺度受限，即检测窗口的最大尺寸被限制为ROI的尺寸；且基于ROI的方法通常产生更少的假阳性。就模型而言，基于LIPD训练的模型（DPM-1）结果更优。原因之一在于INRIA数据集中标注行人的尺寸：该数据集正样本的边界框尺寸为$64 \times 128$像素，比LIPD数据集中最小正样本边界框（$27 \times 54$）大两个数量级以上。
#### 5.4 使用上下文信息的性能评估
在利用语义图中物体位置信息的实验中，当物体位于关联区域内时，正类的先验概率$P(\omega_1)$以0.1为间隔从0.6到0.9变化。反之，在假设事件互斥的前提下可得$P(\omega_0) = 1 - P(\omega_1)$。注意，当$P(\omega_1) = P(\omega_0)$时，两个事件是等概率的，即上下文信息对MAP准则没有影响，检测问题退化为ML决策问题。我们针对该情况设置了$P(\omega_1) = P(\omega_0) = 0.5$。
上下文信息对ROI中行人检测的影响如图12所示，本次实验评估了线性SVM（linSVM）、本文提出的SVM级联集成（SVM-casc）以及在LIPD训练集上训练得到的DPM方法（DPM-1）。引入上下文后，$P(\omega_1) = 0.8$取得了最佳性能，对应图例中标记为P=0.8的结果。另一方面，为便于对比，同一图中也绘制了上下文不影响决策（即P=0.5）时的实验结果。此外，我们从补充实验中观察到，当取$P(\omega_1) > 0.8$时检测性能会趋于下降，说明为系统提供置信度过高的先验存在风险。在每帧1至10个误报（FP）的区间内，基于上下文的方案使所有分类方法的检测性能平均提升了5%以上。在该区间内的部分FP取值下，检测率提升幅度超过了10%。不过，性能提升幅度并非在所有情况下都完全一致，这符合预期，因为对分类器响应建模的分布本身并不相同。
#### 5.5. 处理时间讨论
为了评估全帧行人检测与基于ROI方法之间的处理开销（即CPU时间），我们使用线性SVM和费希尔线性判别分类器开展了实验。全帧检测实验的平均计算时间是基于ROI方法的三倍。不过，我们的实验并未严格统计本文系统中所有基于LIDAR处理阶段的CPU时间。
我们还对SVM级联和线性SVM进行了运行时间分析，结果表明SVM级联的速度约比线性SVM快五倍。不过，如图12所示，两种方法的分类性能相近。另一方面，基于上下文模块的大部分计算开销取决于基于LIDAR模块的处理时间。
### 6. 结论
本文提出了一种基于上下文的多传感器融合架构，用于城市环境下的行人检测。所提架构包含三个主要处理阶段：(i) 基于LIDAR的模块，用作主目标检测器和ROI生成器；(ii) 基于图像的模块，采用滑动窗口检测器，负责验证ROI中是否存在行人；(iii) 为系统提供从语义地图获取的上下文信息的模块。实验采用高度不平衡的LIPD数据集进行评估。此外，本文使用了一种基于从多个线性SVM提取支持向量的下采样方法来缩小训练集规模，从而减少训练过程中的CPU时间消耗。
---
(a)
(b)
Fig. 11. Evaluation of the DPM benchmark method on ROIs obtained from the LIDAR-based module (curves in black), and on full frames (dashed curves). In (a) we have detection performance using the DPM-1 model, and in (b) the results were obtained with DPM-2. The numbers 0.25 and 0.15, on the legend, correspond to values of $A_{thr}$ for ground-truth matching.
Fig. 12. Evaluation of the pedestrian detectors, in ROIs, using context-based information (indicated by $P = 0.8$) and when context does not affect the MAP decision (given by P = 0.5).
实验表明，上下文信息能够提升行人检测系统的性能。本次实验使用线性SVM、本文提出的SVM级联方法以及DPM方法开展测试。不过，由于上下文信息是以先验概率的形式输入系统，且该先验概率独立于分类器给出的条件概率，因此使用其他分类方法也预期会呈现类似的性能趋势。引入发生区域明显提升了检测性能，这证明行人出现在特定区域（例如人行横道、公交站）的概率高于其他区域。在此类感知系统中利用上下文信息是一个极具前景的研究方向，因为除关键区域外，还可以利用大量其他类型的上下文信息，例如日期、时间、天气条件、目标速度、基于基础设施的信息等等。
## 注释
[^1]: HOG denotes Histogram of Oriented Gradients, introduced by Dalal and Triggs (2005).
[^2]: the point may represent the position of a detected object or one of the corners of a polygon that defines an incidence region.
[^3]: Both classes are likely to occur.
5. 在线获取：
## 致谢
作者感谢审稿人提出的富有洞察力的评论和宝贵的建议。
## 基金资助
本研究得到了葡萄牙科学技术基金会（FCT）和COMPETE项目的支持（项目编号：PTDC/SENTRA/099413/2008 和 PTDC/EEA-AUT/113818/2009）。
## 参考文献
Bento LC、Parafita R 和 Nunes U (2012) 基于V2V和V2I通信支撑的高精度车辆定位车间传感器融合方法。见：第15届IEEE智能交通系统国际会议（ITSC '12），美国安克雷奇，2012年9月16–19日，第907–914页。皮斯卡塔韦：IEEE出版社。
Dalal N 和 Triggs B (2005) 用于行人检测的方向梯度直方图。见：IEEE计算机视觉与模式识别会议（CVPR '05），美国华盛顿特区，第886–893页，美国加利福尼亚州圣地亚哥。皮斯卡塔韦：IEEE出版社。
Dollar P、Wojek C、Schiele B 和 Perona P (2009) 行人检测：一个基准。见：IEEE计算机视觉与模式识别会议（CVPR '09），美国洛斯阿拉米托斯，第304–311页，美国佛罗里达州迈阿密海滩，2009年6月20–25日。皮斯卡塔韦：IEEE出版社。
---
Dollar P、Wojek C、Schiele B 和 Perona P (2012) 行人检测：现有技术水平评估。IEEE《模式分析与机器智能汇刊》 34(4):743–761。
Douillard B、Fox D、Ramos F 和 Durrant-Whyte H (2011) 城市环境分类与语义建图。《国际机器人研究杂志》 30(1): 5–32。
Drake S (2002) GPS坐标（LLA）到导航坐标（ENU）的转换。技术报告，DSTO-TN-0432，澳大利亚国防科学技术组织电子与监视研究实验室。
Duda RO、Hart PE 和 Stork DG (2001) 《模式分类》。纽约：约翰威立父子出版社。
Enzweiler M 和 Gavrila D (2011) 面向行人分类的多级专家混合框架。IEEE《图像处理汇刊》 20(10): 2967–2979。
Enzweiler M 和 Gavrila DM (2009) 单目行人检测：综述与实验。IEEE《模式分析与机器智能汇刊》 31(12): 2179–2195。
Faouzi NEE、Leung H 和 Kurian A (2011) 智能交通系统中的数据融合：进展与挑战——综述。《信息融合》 12(1): 4–10。
Felzenszwalb PF、Girshick RB、McAllester D、Ramanan D（2010）基于判别训练的部件模型的目标检测。IEEE Transactions on Pattern Analysis and Machine Intelligence 32卷：1627–1645。
Gandhi T、Trivedi M（2007）行人保护系统：问题、综述与挑战。IEEE Transactions on Intelligent Transportation Systems 8(3)：413–430。
Garcia F、de la Escalera A、Armingol J、Herrero J、Llinas J（2011）融合危险估计的行人检测安全应用。见：第14届国际信息融合会议（FUSION '11），第1–8页，美国伊利诺伊州芝加哥，2011年7月5日–8日，IEEE。
Geronimo D、Lopez AM、Sappa AD、Graf T（2010）面向高级驾驶辅助系统的行人检测综述。IEEE Transactions on Pattern Analysis and Machine Intelligence 32(7)：1239–1258。
Graf HP、Cosatto E、Bottou L、Durdanovic I、Vapnik V（2005）并行支持向量机：级联SVM。见：《神经信息处理系统进展》（Y Weiss、B Schölkopf、J Platt 编），第18卷，第521–528页，加拿大不列颠哥伦比亚省温哥华和惠斯勒，2004年12月13日–18日，剑桥，MIT Press。
Heikkila J、Silven O（1997）带隐式图像校正的四步相机标定流程。见：IEEE计算机视觉与模式识别会议（CVPR '97），第1106–1112页，波多黎各圣胡安，1997年6月17日–19日，Piscataway: IEEE Press。
Kang P、Cho S（2006）EUS SVM：面向数据不平衡问题的欠采样SVM集成。见：Irwin King, Jun Wang, Lai-Wan Chan, DeLiang Wang编，神经信息处理，柏林：Springer，第4232卷，第837–846页。
Ludwig O、Premebida C、Nunes U、Araujo R（2011）boosting-SVM与SRM-SVM级联分类器在激光与视觉结合行人检测中的评估。见：IEEE智能交通系统国际会议（ITSC '11），第1574–1579页，2011年10月5日–7日，美国华盛顿特区，Piscataway: IEEE Press。
Markoff J（2010）谷歌汽车实现自动驾驶，穿行于城市车流。纽约时报，2010年10月9日。
Navarro-Serment LE、Mertz C、Hebert M（2010）基于三维LADAR数据的行人检测与跟踪。The International Journal of Robotics Research 29(12):1516–1528。
Perko R、Leonardis A（2010）静态图像中视觉上下文感知目标检测框架。Computer Vision and Image Understanding 114(6): 700–711。
Silva M、Moita F、Nunes U、Garrote L、Faria H、Ruivo J（2012）ISRobotCar：自动驾驶电动汽车项目。见：IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)，2012年10月7日–12日：4233–4234。
Spinello L、Triebel R、Siegwart R（2010）城市环境下的多类别多模态检测与跟踪。The International Journal of Robotics Research 29(12): 1498–1515。
Stiller C、León FP、Kruse M（2011）汽车应用的信息融合——综述。Information Fusion 12(4): 244–252。
Vasconcelos F、Barreto J、Nunes U（2012）相机与激光测距仪外参标定的最小解。IEEE Transactions on Pattern Analysis and Machine Intelligence. 34(11): 2097–2107。
Viola P、Jones M（2001）基于简单特征boosted级联的快速目标检测。见：IEEE计算机视觉与模式识别会议（CVPR '01），美国夏威夷，第1卷，第511–518页，2001年12月8日–14日，Piscataway: IEEE Press。