# 3D 人员监控：旋转激光雷达数据的序列 Csaba Benedek 分布式事件分析研究实验室，计算机科学与控制研究所，匈牙利科学院 H-1111, Kende u. 13-17, 布达佩斯，匈牙利，电子邮件： ## 摘要 本文提出了一种实时 3D 人员监控方法，该方法采用概率前景建模、多目标跟踪以及在线重新识别。 我们的主要目标是展示一种称为旋转多波束 (RMB) 激光雷达的特殊传感器的潜力，该传感器可作为未来的监控摄像头。 我们在两个关键问题上提出了方法论贡献。 首先，我们介绍了一种混合 2D–3D 方法，用于稳健地对记录的 RMB 激光雷达点云进行前景与背景分类，从而消除由量化误差引起的虚假效应，以及传感器校准引起的非线性位置修正，以及背景闪烁，特别是由于植被运动造成的。 其次，我们提出了一种用于处理密集监控场景中 RMB 激光雷达序列的行人移动检测和跟踪的实时方法，该方法采用短程和长程目标分配。 我们提出了一种基于仅激光雷达测量的全新行人重新识别算法，该算法同时利用传感器的距离和强度通道，以提供生物特征信息。 我们在七个包含各种多目标场景的室外激光雷达序列上进行了定量评估，这些场景显示出具有挑战性的室外条件，包括低点密度和多次遮挡。 ### 1. 引言 关键词：旋转多波束激光雷达，MRF，运动分割，重新识别 在智能监控应用中，移动人员的检测、定位和跟踪是非常重要的，例如人员计数、活动识别或异常事件检测。 然而，由于不受控制的照明条件、不相关的背景运动以及各种移动和静态场景物体造成的遮挡，这些任务在拥挤的室外场景中仍然具有挑战性。 监控系统中，视觉算法通常采用一种顺序方法（Mitzel 等，2010），从对观察环境进行低级别分类开始，直到对场景进行物体级别和事件级别分析。前景分割是一个至关重要的初始步骤（Benedek 等，2012），因为除了突出显示感兴趣的区域之外，准确的物体轮廓掩码可以直接为场景解释模块提供有用的信息，例如生物特征描述符或各种人类行为指标。提取的前景掩码中的错误也可能影响后续的人员定位（Utasi 和 Benedek，2011）和跟踪（Baltieri 等，2011）步骤，尤其是在植被运动和遮挡严重的场景中。基于模型的行人跟踪算法在文献中被广泛使用。Brubaker 等人 (2010) 提出了一种从单目视频中估计人体姿态的方法，该方法采用基于物理的模型。在 (Plaenkers 和 Fua, 2002) 中，提出了一种基于模型的技术，用于从立体视频序列中提取移动人物的轮廓，并合成逼真的 3D 人体模型。在两种情况下，每个视频帧中都只能观察到一个人，但这在户外监控场景中通常不成立。(Shu 等，2012) 提出了一种基于部件的人体检测器，该检测器基于特定于人的 SVM 分类器，用于捕获人体在动态变化的外观和背景中的关节运动。对于这些黑盒模型，选择广泛的训练集是一个至关重要的步骤。 人员重新识别是一项基本任务，既可以连接短时间跟踪模块中被错误中断的轨迹，也可以识别暂时离开视野（FoV）但稍后重新出现的行人。文献中有很多方法解决了光学视频中的人员重新识别问题（Bak 等，2010；Farenzena 等，2010；Prosser 等，2010），但是，它们的目的是通常与我们关注的应用需求明显不同。在这些参考文献中，人员识别是在大型数据库（>100 人）中使用排名系统完成的，并且所使用的评估指标已经偏向于将正确匹配包含在最初几个候选者中。如果后续有手动验证（例如，在警察数据库中搜索），则此条件是可以接受的，但在完全自动化的监控系统中，每个人都应该在实时获得一个唯一的标识符。另一方面，我们只处理几个（6-8）行人，这使我们能够使用弱生物特征来识别。之前，(Baltieri 等，2011) 介绍了一个完整的 3D 视频监控系统，该系统实现了基于模型的行人跟踪，并使用来自多个摄像头输入的重新识别方法，但是它使用一种计算成本高昂的基于标记点过程的方法进行定位，这当前无法实现实时性能。另一个实际问题是，通常需要仔细固定和校准多个摄像头系统，这使得快速临时安装变得困难，这对于监控定制事件的应用来说是一个问题。 --- 在实时环境中，需要一个明确的标识符。另一方面，我们只处理场景中的几个行人（6-8），这使得我们可以使用较弱的生物特征进行识别。之前，(Baltieri 等人, 2011) 介绍了一个完整的 3D 视频监控系统，该系统实现了基于模型的行人跟踪，并使用来自多个摄像头输入的重新识别方法，但是它使用一种计算成本高昂的基于标记点过程的方法进行定位，这目前无法实现实时性能。另一个实际问题是，多摄像头系统通常需要仔细固定和校准，这使得快速临时安装对于监控定制事件的应用变得困难。 范围图像序列相对于传统的视频流在场景分析方面具有显著的优势，因为几何信息可以直接获得（Schiller and Koch, 2011），这可以提供比强度、颜色或纹理值更可靠的特征（Wang et al., 2006; Benedek and Szirányi, 2008）。使用飞行时间 (ToF) 相机（Schiller and Koch, 2011）或扫描激光雷达传感器（Kaestner et al., 2010）可以在与照明条件无关的情况下记录范围图像，并且可以避免立体视觉技术的伪影。从数据分析的角度来看，ToF 相机记录深度图像序列，这些图像位于一个规则的 2D 像素网格上，可以使用成熟的图像处理方法，例如马尔可夫随机场 (MRF)，用于平滑且与观测一致的分割和识别（Benedek and Szirányi, 2008）。但是，这些相机具有有限的视场 (FoV)，这可能会成为监控和监视应用程序中的一个缺点。 ```text 旋转多波束激光雷达系统 (RMB-Lidar) 提供了场景的 $360^{\circ}$ 视场，其垂直分辨率等于传感器的数量，而水平角度分辨率取决于旋转速度（参见图 1）。每个输出点云中的激光点都与 3D 空间坐标和校准的激光反射强度值相关联，该值与目标的材料和表面属性有关。为了高效的数据处理，3D RMB-Lidar 点通常投影到圆柱形范围图像上（Kaestner et al., 2010; Kalyan et al., 2010）。但是，这种映射通常是具有歧义性的：一方面，几个具有轻微方向差异的激光束被分配到同一个像素，但这些激光束可能来自不同的表面。因此，范围图像中的给定像素可能代表在连续时间步骤中不同的背景对象。这种歧义可以通过在每个像素中使用多模分布来适度地处理观测到的背景范围值（Kaestner et al., 2010），但在密集的背景运动情况下，错误会迅速累积，这可能是由移动植被引起的。另一方面，由于物理原因，RMB-Lidar 传感器提供的原始距离、俯仰角和角度数据必须经过高度非线性校准步骤才能获得欧几里得坐标（Muhammad and Lacroix, 2010），因此映射到圆柱表面规则网格的点密度可能不均匀。为了避免背景建模中的上述伪影，(Kalyan et al., 2010) 直接从范围图像中提取前景对象，使用均值迁移分割和blob检测。但是，我们发现如果场景同时具有多个移动和静态对象，并且这些对象距离较远，则移动行人通常会与附近的场景元素合并到一个 blob 中。 ``` 除了将点投影到范围图像中，另一种方法是解释场景的 3D 空间域。基于 3D 空间点邻域的 MRF 技术经常应用于遥感中的点云分类（Lafarge 和 Mallet, 2012），但如果邻域较小，则精度较低，否则计算复杂度会迅速增加。在 (Spinello 等人, 2010, 2011) 中，介绍了用于在移动 RMB-Lidar 传感器的点云流中进行 3D 行人检测和跟踪的方法，其中主要挑战是从大型视场中区分行人和其他街道物体，并补偿传感器运动。在本文中，我们处理的是截然不同的场景：我们使用固定位置的 RMB-Lidar 传感器，监控一个密集场景，其中有几个人在紧凑的户外环境中移动，例如庭院或小广场。我们预计观察到的行人之间会存在较高的遮挡率，因为它们的轨迹会相互交叉，并且被观察的行人可能会在检查过程中离开视场并再次出现。 我们方法的两个主要贡献是：首先，我们提出了一种混合 2D-3D 方法（部分内容见 Benedek 等人 (2012)），用于对从固定传感器位置获取的 RMB-Lidar 点云序列进行密集的前景-背景分割。我们的技术通过 MRF 模型在 2D 范围图像域中解决了计算上关键的空间滤波步骤，但通过联合考虑真实的 3D 位置和 2D 标签，可以处理离散化中的歧义。通过开发一个空间前景模型，我们显着减少了无关背景运动产生的虚假影响，这些运动主要是由移动的树冠和灌木引起的。为了对点级别的定量评估，我们开发了一个 3D 点云 Ground Truth (GT) 注释工具，并将所提出的模型的检测结果与三种参考方法进行了比较。 其次，我们提出了一种用于密集监控场景中 RMB-Lidar 序列的实时移动行人检测和跟踪方法，具有短期和长期对象分配。我们的跟踪器是非模型化的，它假设人们的运动在监控的场景中是预期的。在短期分配 (STA) 过程中，将不同的人员分离到点云帧的前景区域，并将相应的质心位置分配给连续的时间帧。长期分配 (LTA) 负责连接 STA 错误引起的断裂轨迹，并识别重新出现的行人。此步骤是通过从跟踪的对象序列中提取简单的区分特征来实现的，这些描述符如果对象消失在视场中，将被存档。对于新出现的对象，在初始化期间会提取描述符，然后基于将新对象与其可能的存档或暂时不可见的前驱对象进行匹配来重新激活。因此，在我们的系统中，跟踪过程的 STA 可以实时获得，而 --- 用于人员重新识别的弱生物特征仅从激光雷达测量值派生，利用了传感器的距离和强度通道。我们提出了一种将服装和行人高度结合在一起的描述符。跟踪模块在七个具有挑战性的监控序列中进行了定量评估，通过测量 STA 和 LTA 的准确性。 本文的一个重要目标是研究 RMB-Lidar 传感器作为监控摄像头的效率。因此，在测试过程中，我们没有使用任何其他传感器，例如光学或热成像摄像头来支持跟踪和重新识别步骤，这些步骤纯粹利用 Lidar 的 3D 点位置和强度信息。虽然我们也用光学摄像头记录了测试场景，但这些视频仅用于验证重新识别。 这样，我们的系统不需要任何额外的特定于场景的校准步骤，因此可以非常快速地安装，或者可以修改当前的视点配置。 ### 2. 问题定义和数据映射 假设 RMB-Lidar 系统包含 R 个垂直对齐的传感器，并且绕固定轴旋转，旋转速度可能变化$^1$。 在时间框架 t 内，Lidar 的输出是一个包含 $l^t = R \cdot c^t$ 个点的点云：$\mathcal{L}^t = \{p_1^t, \ldots, p_{lt}^t\}$。 这里 $c^t$ 是在 t 时刻获得的点列数，其中一个给定的列包含 R 个并发传感器测量值，因此 $c^t$ 取决于旋转速度。 每个点，$p \in \mathcal{L}^t$，都与传感器距离 $d(p) \in [0, D_{\max}]$、俯仰角索引 $\hat{\vartheta}(p) \in \{1, \ldots, R\}$ 和偏航角 $\varphi(p) \in [0, 360^\circ]$ 参数相关。 $d(p)$ 和 $\hat{\vartheta}(p)$ 直接从 Lidar 的数据流中获得，通过取与 p 对应测量的距离和传感器索引值。 偏航角 $\varphi(p)$ 从将 p 投影到地面平面的欧几里德坐标计算得出，因为 R 个传感器具有不同的水平视场角，并且校准的角度修正也可能非常重要（Muhammad and Lacroix, 2010）。 除了几何参数之外，每个点 p 都有一个经过校准的强度值，记为 $g(p)$。 为了高效地进行数据操作，我们还引入了获得的 3D 数据的范围图像映射。 我们将点云投影到一个圆柱体上，其中心基点是 RMB-Lidar 的地面位置，其轴垂直于地面平面。 注意，与 (Kalyan et al., 2010) 略有不同，此映射也适用于 Lidar 轴倾斜以增加垂直视场角的配置。 然后，我们在圆柱体表面上拉伸一个大小为 $S_H \times S_W$ 的 2D 像素网格 S，其高度 $S_H$ 等于 R 个传感器的数量，宽度 $S_W$ 决定了偏航角的离散程度。 让我们用 s 表示 S 中的一个像素，其坐标为 $[y_s, x_s]$。 最后，我们定义 $\mathcal{P} : \mathcal{L}^t \to S$ 点映射运算符，使得 $y_s$ 等于点的俯仰角索引，并且 $x_s$ 通过将 $[0, 360^\circ]$ 域的偏航角分成 $S_W$ 个 bin 来确定。 $$ s\stackrel{\mathrm{d e f}}{=}\mathcal{P}(p)\mathrm{i f f}y_{s}=\hat{\vartheta}(p),x_{s}=\mathrm{r o u n d}\left(\varphi(p)\cdot\frac{S_{W}}{360^{\circ}}\right) $$ ### 3. 前景-背景分离 前景检测模块的目标是在给定的时间帧 t 中，为每个点 $p \in \mathcal{L}^t$ 分配一个标签 $\omega(p) \in \{fg, bg\}$，该标签对应于移动对象（即，前景，fg）或背景类。 #### 3.1. 背景模型 背景建模步骤为云中的每个 $f_{\mathrm{bg}}(p)$ 点分配一个适应度值 $p \in \mathcal{L}^t$，该值评估了假设 p 属于背景的可能性。该过程从基于 (1) 的点进行圆柱体映射开始，其中我们使用一个 $R \times S_W^{bg}$ 像素网格 $S^{\mathrm{bg}}$ (R 是传感器编号)。类似于 (Kaestner et al., 2010)，对于 $S^{\mathrm{bg}}$ 的每个 s 单元格，我们维护一个高斯混合模型 (MoG) 近似，用于对投影到 s 的 p 点的 $d(p)$ 距离直方图进行建模。 遵循 (Stauffer and Grimson, 2000) 的方法，我们使用固定数量的 K 个组件（此处为 $K = 5$），以及权重 $w_s^i$、均值 $\mu_s^i$ 和标准偏差 $\sigma_s^i$ 参数，$i = 1 \ldots K$。然后，我们按降序排列权重，并确定满足 $k_s$ 的最小整数 $\sum_{i=1}^{k_s} w_s^i > T_{\mathrm{bg}}$（我们此处使用了 $T_{\mathrm{bg}} = 0.89$）。 我们将具有 $k_s$ 个最大权重的组件视为背景组件。 之后，用 $\eta()$ 表示高斯密度函数，用 $\mathcal{P}^{\mathrm{bg}}$ 表示投影变换到 $S^{\mathrm{bg}}$，则 $f_{\mathrm{bg}}(p)$ 背景证据项的计算方法如下： $$ f_{\mathrm{b g}}(p)=\sum_{i=1}^{k_{s}}w_{s}^{i}\cdot\eta\left(d(p),\mu_{s}^{i},\sigma_{s}^{i}\right),\mathrm{w h e r e}s=\mathcal{P}^{\mathrm{b g}}(p). $$ 高斯混合参数基于 (Stauffer 和 Grimson, 2000) 进行设置和更新，我们使用了 $S_{W}^{bg} = 2000$ 角分辨率，这在我们的实验中提供了最高效的检测率。 通过阈值化 $f_{\mathrm{bg}}(p)$，我们可以获得点云序列的密集前景/背景标签 (Kaestner 等人, 2010; Stauffer 和 Grimson, 2000)（以后称为基本 MoG 方法），但如图 8 的第一行所示，在大型户外场景中记录的序列中，这种分类通常会产生明显的噪声。 #### 3.2. 基于前景分割的动态马尔可夫随机场 (DMRF) 方法 在本节中，我们提出一种动态马尔可夫随机场 (DMRF) 模型，以获得对点云序列进行平滑、无噪声且与观测一致的分割。 由于 MRF 优化在计算上非常密集 (Boykov 和 Kolmogorov, 2004)，因此我们在范围图像空间中定义 DMRF 模型，然后对 2D 图像进行分割，再通过一个点 --- ![Image](images/6b7575b298f8defe39672f129a1a3f9e6c63730a08e037b8a2a096bd23328313.jpg)
Fig. 1. Point cloud recording and range image formation with a Velodyne HDL-64E RMB-Lidar sensor
![Image](images/fa2a2ee1f20edd024173e4b257659202c6e9ce049dbd9846a44be4db7504e3ce.jpg)
(a) Range image part (90° horizon. view)
![Image](images/05178047b2ac4baa0898e8658dd20ec7246a941bf81682bd59d291a63722744c.jpg)
(b) Basic MoG (Kaestner et al., 2010; Stauffer and Grimson, 2000)
![Image](images/7d97696323f9605b8103796cc3e1df72aabe988990346357ff440f448faa1ddf.jpg)
(c) uniMRF (Wang et al., 2006)
![Image](images/2609b5bc053a7c8866e303027f84a7a1258ea2358450d95fc129f10b4b9c7d78.jpg)
(d) Proposed DMRF segmentation
Fig. 2. Foreground segmentation in a range image part with three different methods
分类步骤用于处理映射中的歧义。如第2节(1)中所述，我们使用 $\mathcal{P}$ 圆柱投影变换来获得范围图像，使用 $S_W = \hat{c} < S_W^{\mathrm{bg}}$ 网格，其中 $\hat{c}$ 表示一个时间帧中点序列的预期点列数。通过假设旋转速度略有波动，此选定的分辨率提供了一个密集范围图像，其中平均投影到给定像素上的点数约为1。我们用 $P_s \subset \mathcal{L}^t$ 表示投影到像素 s 上的点集。对于给定的方向，前景点预计比估计的平均背景范围值更靠近传感器。因此，对于每个像素 s，我们选择最靠近的投影点 $p_s^t = \arg\min_{p \in P_s^t} d(p)$，并将 $d_s^t = d(p_s^t)$ 距离值分配给范围图像中的像素 s。对于“未定义”像素 $(P_s = \emptyset)$，我们从邻近区域插值距离。对于空间滤波，我们使用 S 中的八邻域系统，并用 $N_s \subset S$ 表示像素 s 的邻居。 接下来，我们为每个 $s \in S$ 前景和背景分配能量 (即负适应度)，这些能量基于观测到的 $d(s)$ 值来描述类成员关系。 背景能量直接从参数 MoG 概率中推导得出，如 (2)： $$ \varepsilon_{\mathrm{b g}}^{t}(s)=-\log\left(f_{\mathrm{b g}}(p_{s}^{t})\right). $$ 对于前景的描述，使用一个常数 $\varepsilon_{\mathrm{fg}}$ 可能是直接的选择（Wang et al., 2006）（我们称这种方法为 uniMRF），但这种统一模型由于背景运动和量化伪影而产生多个误报。 为了克服这个问题，我们使用空间距离相似性信息，而不是时间统计信息，通过以下假设：当 s 是一个前景像素时，我们应该在邻域中找到具有相似范围值的其他前景像素（图 3 上）。 因此，我们使用非参数核密度模型对前景类进行建模： $$ \varepsilon_{\mathrm{f g}}^{t}(s)=\sum_{r\in N_{s}}\zeta(\varepsilon_{\mathrm{b g}}^{t}(r),\tau_{\mathrm{f g}},m_{\star})\cdot k\left(\frac{d_{s}^{t}-d_{r}^{t}}{h}\right), $$ 其中 h 是核带宽，$\zeta: \mathbb{R} \to [0,1]$ 是一个 sigmoid 函数（参见图 3）： $$ \zeta(x,\tau,m)=\frac{1}{1+\exp(-m\cdot(x-\tau))}. $$ 我们这里使用一个均匀核： $k(x) = \mathbf{1}\{|x| \leq 1\}$，其中 $\mathbf{1}\{\cdot\} \in \{0,1\}$ 是给定事件的二元指示函数。 为了正式地定义范围图像分割任务，对于每个像素 $s \in S$，我们分配一个 $\omega_s^t \in \{fg, bg\}$ 类标签，我们的目标是最小化以下能量函数： --- ![Image](images/8acb45ab3a0f7e1628aab2ec84e9599fafd082716c14f0dcf68d2f66b8d72544.jpg)
Fig. 3. Top: demonstrating the different local range value distributions in the neighborhood of a given foreground and background pixel, respectively. Bottom: structure of the dynamic MRF model, and plot of the used sigmoid function
$$ \begin{align*}E=&\sum_{s\in S}V_{D}(d^{t}_{s}|\omega^{t}_{s})+\sum_{s\in S}\underbrace{\sum_{r\in N_{s}}\alpha\cdot\mathbf{1}\{\omega^{t}_{s}\neq\omega^{t-1}_{r}\}}_{\xi^{t}_{s}}\\&+\sum_{s\in S}\underbrace{\sum_{r\in N_{s}}\beta\cdot\mathbf{1}\{\omega^{t}_{s}\neq\omega^{t}_{r}\}}_{\chi^{t}_{s}},\end{align*} $$ 其中 $V_{D}(d_{s}^{t}|\omega_{s}^{t})$ 表示数据项，而 $\xi_{s}^{t}$ 和 $\chi_{s}^{t}$ 分别是时间和平滑项，其中 $\alpha > 0$ 和 $\beta > 0$ 是常数。 值得注意的是，虽然该模型由于不同时间帧之间的依赖关系而具有动态性（参见 $\xi_{s}^{t}$ 项），但为了实现实时操作，我们开发了一个因果系统，即标签不基于未来的标签进行更新。 数据项是通过 sigmoid 映射从数据能量中派生的： $$ \begin{align*}V_{D}(d^{t}_{s}|\omega^{t}_{s}=\mathrm{bg})&=\zeta(\varepsilon^{t}_{\mathrm{bg}}(s),\tau_{\mathrm{bg}},m_{\mathrm{bg}})\\V_{D}(d^{t}_{s}|\omega^{t}_{s}=\mathrm{fg})&=\left\{\begin{array}{ll}1,&\text{if}d^{t}_{s}>\max_{\{i=1...k_{s}\}}\mu^{i,t}_{s}+\epsilon\\\zeta(\varepsilon^{t}_{\mathrm{fg}}(s),\tau_{\mathrm{fg}},m_{\mathrm{fg}}),&\text{otherwise.}\end{array}\right.\end{align*} $$ sigmoid 参数 $\tau_{\mathrm{fg}}$、$\tau_{\mathrm{bg}}$、$m_{\mathrm{fg}}$、$m_{\mathrm{bg}}$ 和 $m_{\star}$ 可以通过最大似然策略，基于几个手动注释的训练图像进行估计。 对于平滑因子，我们使用 $\alpha = 0.2$ 和 $\beta = 1.0$（即，空间约束比时间约束强得多），而核带宽设置为 h = 30cm。 MRF 能量 (3) 通过快速基于图切割的优化算法（Boykov and Kolmogorov, 2004）进行最小化。 DMRF 优化的结果是离散 S 网格上的二元前景掩码。 如 Fig. 4 所示，该方法的最后一步是对原始 $\mathcal{L}$ 点云进行分类，考虑到投影可能存在歧义，即多个具有不同真实类标签的点可能投影到分割范围图像的相同像素上。 让我们用 $s = \mathcal{P}(p)$ 表示时间 t 帧的点，我们使用以下策略： - $\omega(p) = \mathrm{fg}$，如果以下两个条件中的一个成立： (a) $\omega_s^t = \mathrm{fg}$ 和 $d(p) < d_s^t + 2 \cdot h$ ![Image](images/665ff97532b51b0658eca1a5fa6e1bc2dfb28864cf333878a81c726f40c701f6.jpg)
Fig. 4. Backprojection of the range image labels to the point cloud. Top: simple backprojection with assigning the same label to s and p, whenever $s = \mathcal{P}(p)$. Bottom: result of the proposed backprojection scheme
$$ \begin{array}{r l}{\mathbf{(b)}\omega_{s}^{t}=\mathrm{b g}\mathrm{a n d}\exists r\in\mathbb{N}_{r}:\{\omega_{r}^{t}=\mathrm{f g},|d_{r}^{t}-d(p)|Fig. 5. Pedestrian separation. Left: side view of the segmented scene, centered: top view, right: projected blobs in the image plane 投影到c的前景点数量为$N(c)$，随后通过对$N_{b}(.)$进行阈值处理得到二值$N(.)$单元掩码，即筛选出至少包含$\tau_{N}$个点的单元。设置$\tau_{N}$阈值的目的是，既能够从俯视图提取每个行人的中心，又可以避免位置接近或略有接触的行人（例如互相握手的两人）在$N_{b}$掩码中被合并为同一个连通块（采用$\tau_{N}=10$）。 在下一步中，我们在 $N_b$ 二值图像中提取连通的组件：$\{b_1, \ldots, b_k\}$，其中 $\forall i : b_i \subset C$。对于每个 blob $b_i$，我们确定组件的“点体积”，为 $v_i = \sum_{c \in b_i} N(c)$，以及加权中心点 $c_i = \sum_{c \in b_i} c \cdot N(c)/v_i$。考虑到由 RMB-Lidar 系统提供的点密度与距离 Lidar 中心的平方成反比，我们接受 $b_i$ 作为有效对象候选，如果 $v_i \cdot |c_i - c_0||^2 > \tau_{\text{vol}}$。我们在一个半径为 15 米的庭院中使用 $\tau_{\text{vol}} = 100000$，通过测量厘米单位的点坐标。此步骤的输出是 2D 地面平面上测量的行人足部位置集 $\{M_1, \ldots, M_n\}$，其中 $n \leq k$ 且 $M_i = c_j$，如果 $b_j$ 是第 i 个有效对象候选。为了可视化和后续特征提取，在有效测量点周围的足部 blob 被垂直投影到 3D 点云的前景区域，提取与测量相对应的点云部分，并将其存储以用于跟踪步骤。 #### 4.2. 行人跟踪 ##### 4.2. 行人跟踪 行人跟踪模块结合了短期分配 (STA) 和长期分配 (LTA) 步骤。 STA 部分尝试将每个实际检测到的对象候选（第 4.1 节）与跟踪器维护的当前对象轨迹进行匹配，仅考虑目标的 2D 质心位置的投影。 STA 过程还应能够继续给定轨迹，即使检测器在几个帧中由于遮挡而未能检测到目标。 在这些情况下，必须使用估计的位置值来填充轨迹的时间不连续性。 另一方面，LTA 模块负责提取用于重新识别对象的判别性特征，这些对象由于在许多连续帧中被遮挡或离开视场而由 STA 丢失。 因此，丢失的对象被注册到存档的对象列表中，该列表由 LTA 过程定期检查。 LTA 还应识别场景中出现的新人，这些新人之前未由跟踪器注册。 ##### 4.2.1. 短期分配 (STA) 基于获得的二维物体足部位置，短期分配（STA）任务可以被建模为一个多目标跟踪问题，该问题由经典的线性卡尔曼滤波方法来处理。在每个当前帧中，n 个检测到的目标候选点需要分配给 m 个跟踪的对象模型。我们假设，对于每个 $j = 1, \ldots, m$，跟踪器已经根据目标的运动历史，为第 j 个维护的对象轨迹分配了一个 $O_j$ 预测位置。如第 4.1 节所述，我们用 $M_i$ （$i = 1, \ldots, n$）表示在当前帧中检测到的目标位置（即测量值）。通过在二维空间中计算简单的欧几里得距离，计算出一个距离矩阵 D $D_{ij} = ||M_i - O_j||$。 基于计算出的距离，轨迹和当前测量值使用匈牙利方法（Kuhn, 1955）进行分配，该方法期望一个平方的 $D = [D_{ij}]_{\hat{n} \times \hat{n}}$ 距离矩阵，其中 $\hat{n} = \max\{m, n\}$。 因此，如果 $m > n$，我们暂时生成 $m - n$ 个虚构的测量值，这些虚构的测量值与所有轨迹的最大距离。 类似地，如果 $n > m$，我们生成 $n - m$ 个虚构的轨迹以完成 D 矩阵。 匈牙利观察器的输出是一个唯一的分配 $i \to A(i)$，用于在测量值和轨迹之间进行分配，其中 i（或 $A(i)$）索引也可能对应于一个真实的或虚构的测量值（或轨迹）。 设 $\tau_{\text{dist}}$ 为距离阈值。 对所获得的分配进行如下解释： 如果 $(i \leq n, A(i) \leq m)$: 如果 $D_{i,A(i)} < \tau_{\mathrm{dist}}$ 测量值 $M_{i}$ 与轨迹 $O_{A(i)}$ 匹配 否则 第 i 个测量值和第 $A(i)$ 个轨迹都被标记为未匹配。 endif elseif (m ≥ i > n and A(i) ≤ m) 第 $A(i)$ 个轨迹被标记为未匹配。 else 第 i 个测量值被标记为未匹配。 如果 $M_i$ 测量值与 $O_j$ 轨迹点匹配，则我们认为 $M_i$ 对应于第 j 个目标的新的位置。由于 $M_i$ 足部位置是投影轮廓的质心，因此我们通常会观察到很强的测量噪声。因此，我们为每个轨迹维护一个线性卡尔曼滤波器，该滤波器在每个帧中都使用分配的测量值进行更新。标记为未匹配的轨迹不会立即关闭：它们被标记为“非活动”状态，在该状态下，它们最多可以存在 $T_{SIL}$ 个时间帧。非活动轨迹也参与 STA 过程，但由于它们没有实际的测量值，因此卡尔曼滤波器的轨迹使用当前位置的最新预测值进行更新。在两种情况下，轨迹的下一个点都是滤波器的校正状态。轨迹更新的最后一步是为每个轨迹预测下一个点，这些点可用于在下一个时间帧中进行测量分配。未匹配的测量值是新轨迹的潜在起点，因此我们为它们创建新的对象轨迹，这将在接下来的迭代中进行调查。有关未匹配轨迹和测量的进一步管理问题将在第 4.2.3 节中详细说明。 --- ![Image](images/7ecc13106fe623bae47c7d6d1660d8cf6f1b0ae1fcd64877d3dac752161b16c5.jpg)
Fig. 6. State machine of the tracking algorithm. Arrows with continuous resp. dotted lines denote transition yielded by successful respectively unsuccessful Short-Term Assignment (STA) of the tracks. Further notations are as follows. ATL, Active Trajectory Length: total number of object trajectory points with valid observation values. SIL, Short-term Inactivity Length: number of time frames since the object is inactive during Short-Term tracking. Tsi: maximal allowed SIL. TminL, minimal ATL for LTA-identification.
更新后的轨迹点将是滤波器的修正状态。轨迹更新的最后一步是为每个轨迹进行卡尔曼预测，以获得下一个位置的点，这些点可用于在下一个时间帧中进行测量分配。未匹配的测量值是新轨迹的潜在起始点，因此我们为它们启动新的对象轨迹，这将在即将到来的迭代中进行研究。关于未匹配轨迹和测量的进一步管理问题将在第 4.2.3 节中详细介绍。 ##### 4.2.2. 长期分配 (LTA) 在室外监控情况下，激光雷达点云非常稀疏。根据与传感器之间的距离，我们测量到 180-500 个点对应于给定的人行道外观，这些点包含对生物特征分析的强烈限制的信息。在调查了各种静态和动态点云描述符后，我们发现两种描述符与在所考虑的场景中进行人员重新识别相关。首先，由于人们的衣服由各种材料制成，因此 RMB-Lidar 传感器获得的校准反射强度值（$g(p)$ 值）在不同的人群中表现出不同的统计特征。图 7(a) 显示了两个选定的人行道的点轮廓，其中，点以测量的激光强度值进行着色，而图 7(b) 显示了在 100 帧中收集的相应强度直方图。虽然差异通常不如此演示示例中的显著，但我们发现两个对象样本的 $h_{1}$ 和 $h_{2}$ 归一化强度直方图的巴塔切亚距离可以有效地指示候选者是否对应于同一个人： $$ d_{\mathrm{B h a t}}(h_{1},h_{2})=-\log\sum_{k=0}^{255}\sqrt{h_{1}[k]\cdot h_{2}[k]}. $$ 作为第二项功能，我们测量人的身高。在给定的时间范围内，可以通过计算最高点和最低点之间的海拔差来估算身高。然而，由于RMB-Lidar摄像机的垂直分辨率较低，这种方法通过基于单个扫描或仅使用少量点云数据来确定，结果往往不可靠。另一方面，我们发现通过提取实际高度直方图的峰值，并在大约100帧中进行计算，可以获得一个相关的高度估计，误差小于4厘米。即使使用这种稳健的计算方法，估计的身高仍然是一个不太可靠的特征，但如果场景中存在两个颜色相似的人，它可以显著帮助长期匹配过程。由于这两个特征都是通过时间特征统计得出的，因此新出现的物体首先需要进入一个初始阶段，在此阶段累积长期直方图。经过一定数量的帧后，我们可以执行LTA过程，将该物体标记为已识别。我们仅在强度和高度差特征都显示出相关相似性时才接受长期目标匹配。未能与任何存档对象成功匹配的人行将被分配一个新的唯一标识符。 #### 4.2.3. 跟踪过程 基于前面介绍的 STA 和 LTA 模块，跟踪过程由一个有限状态机实现，如图 6 所示。一个给定已跟踪对象的状态编码了该对象当前是否在 STA 模块中处于活动状态，以及它是否已在 LTA 中被识别，或者仍在初始化阶段。这些二进制参数- --- ![Image](images/6f46ca925dc0657da7c99e2d147570d9519e70afeaa91095c048f1d23b0371fd.jpg) ![Image](images/ac937ef164a64b61a3b4b07ff9c2289fa4aa618a0c3e0225cd1fecf026907ccf.jpg)
(a) Intensity maps of two selected persons at a given frame
![Image](images/0b4ad5183f73e7b0756c1bfb2ebe93a11154dea51684624797d8542beaed03ff.jpg) ![Image](images/ff6917c19050e5b808e12229daa078a6ba938409a3bffb3f7619115c72e8717c.jpg)
(b) Intensity histograms calculated over 100 frames
![Image](images/3b5662bf3cbf6deb3e44ddef0dc0100a209144096fa75d756f9e217e1ea9fea9.jpg) ![Image](images/28c833b181c3588dd15affafaa9ed04ae78af9a57b05f16f349f1f4f22079ff4.jpg)
(c) Height histograms calculated over 100 frames
Fig. 7. Feature extraction for Long-Term Assignment
参数，根据图 6 的上半部分，可以区分四种状态。状态之间的转换由 STA 模块控制，该模块根据现有轨迹与实际测量结果的匹配情况来决定。对于超过 $T_{SIL}$ 帧且处于非活动状态的对象，会被移动到存档列表：存档的对象不参与 STA 过程，但稍后可以通过 LTA 重新激活。在 Init-Inactive 状态下持续 $T_{SIL}$ 帧的对象会被标记为已删除，并在跟踪过程中从进一步的调查中排除。这些已删除的轨迹通常对应于测量噪声，或者太短，无法为后续的 LTA 匹配提供可靠的描述符。 对于在 Init-Active 状态下持续至少 $T_{initL}$ 帧的对象，可以应用 LTA 识别过程。如果与存档的对象匹配成功，则将新对象和匹配对象的轨迹合并，并插补缺失的轨迹点。然后，LTA 匹配的存档对象会移动到已识别-活动状态，而新对象会被删除，以防止出现重复。另一方面，如果 LTA 匹配失败，则新对象会保持其标识符并进入已识别-活动状态。 ### 4.3. 参数设置和实际考虑 由于人员跟踪算法是为连续运行而设计的，因此可行性参数和适应性是至关重要的。 使用光学相机的户外监控系统通常会受到外部照明变化的影响，这些变化可能是太阳移动（即每日照明），也可能是由于天气变化（例如湿度变化）。对于光学图像，上述影响会立即改变测得的颜色值，因此，用于描述物体外观的基于颜色的模型通常需要一些与照明相关的参数，即使使用照明无关的颜色变换（例如 HSV 中的色调通道或 CIE L*a*b* 中的 a*/b*）。 另一方面，存储在点云中的直接几何信息可以被认为是更稳定的，前提是激光雷达能够正常运行并提供准确的点云（除了大雨或雾）。从物体识别的角度来看，这种特性与光学成像系统相比具有很大的优势，因为在光学成像系统中，我们需要针对不同的照明场景训练物体或类别，或者构建自适应的照明跟踪模型（Benedek 和 Szirányi, 2008）。 在我们的 proposed 系统中，行人分离和跟踪模块具有几个类似于阈值的参数，例如 $\tau_{N}$ 单元占用值，$\tau_{vol}$ 行人体积（第 4.1 节），$\tau_{dist}$ STA 距离阈值（第 4.2.1 节），或 $T_{SIL}$ 和 $T_{initL}$ 用于非活动对象和预识别对象的最大时间限制（第 4.2.3 节）。这些因素与刷新频率以及获得的点云的几何密度和密度-距离特性有关，并且可以根据激光雷达硬件的规格进行设置。之后，这些阈值可以在场景中保持恒定，从而指定监控系统的有效空间范围（即感兴趣区域）。 对于第 4.2.2 节中基于强度的人员重新识别，我们充分利用了我们的激光扫描仪提供了经过校准的反射率，因此不同的强度范围对应于漫反射和反光材料，并且观察结果对外部照明的依赖性不大。此外，激光强度直方图会在线刷新，从而使该模块具有很强的自适应性。我们以经验方式设置了 LTA 匹配的最大允许强度距离（第 4.2.2 节），我们发现这对于区分 6-8 个人在几个测试序列中是有效的。在场景中存在明显更多的人行时，可能需要引入其他生物特征，这些特征可能来自不同的传感器。 我们还需要处理的一个实际问题与所使用的自适应背景模型有关。根据原始的背景更新算法（Stauffer 和 Grimson, 2000），如果一个人在几个帧内静止不动，则该人将成为背景的一部分，并且不会被目标检测器检测到。我们通过从系统的高层模块向底层模块提供反馈来处理这种情况：被分类为前景色点的激光点不会被用于自适应背景更新。 #### 5. 评估 我们使用 7 个真实的户外激光雷达序列对我们的方法进行了评估，这些序列包含在一年中的不同时间段在我们的研究所庭院中录制的包含多目标场景的数据。数据是通过 Velodyne HDL-64E 传感器捕获的，该传感器以 $R = 64$ 垂直排列的波束运行。序列包含 4-8 个人在 1-15 米距离的 $220m^2$ 视野范围内行走。旋转速度设置为 15Hz 到 20Hz。背景中的植被剧烈运动使得准确分类具有挑战性。我们还记录了 --- ![Image](images/7ccb23e2fc0f8cf68dccb04e301a47dfd5d8852d3a7e5d7620791e8b6c395d49.jpg)
(a) Basic MoG, 'Summer1' seq.
![Image](images/71bc885b87dec783e9230d84cb6dd735fd092007e5c4ea22eb631942aace34c0.jpg)
(b) Basic MoG, 'Winter2' seq.
![Image](images/8cf730da1230a4628f18cd3dd6aa0000d159ddd52a20a71c5be4f589dcc685f8.jpg) ![Image](images/7738bc93a305bc3544eabf840953f1560a4eae7eb453ceb1e616c76d9515d1ff.jpg)
c) Basic MoG, 'Traffic' seq.
![Image](images/fc94192a5f99eda3dcb99569a08f0dcb85e96dcb926c83496e361e7024c8dbb2.jpg) ![Image](images/6dee59f54c081746627ce7404a13d33435bff5cf1f753ac9de7f6496cb94e184.jpg) ![Image](images/c7b390c46dbc6c097b484020707e66f82c9d5da8fd1c20b50f4273e6197b6cf0.jpg)
f) uniMRF, 'Traffic' seq.
![Image](images/2016f6d2df4c267fb709a601f3e4200979b9ec55fc4a5bcb51b9f6eb192ec740.jpg)
h) 3D-MRF, 'Winter2' seq.
![Image](images/27f8b9bbb4a36ac037f4570decc9a094087792b5076a90d507573718845431a8.jpg) ![Image](images/b13312489d3fb810d9431b7590f0f4b45fe07bfafeaf7032ecfe10778f8dbead.jpg)
i) 3D-MRF, 'Traffic' seq.
![Image](images/bdd00479e0792c700b051bf461ddeae2312a4321847c639196262dabda4d3f96.jpg) ![Image](images/71bbebd112c5586e4971b739620a4cfa89d1edf2a469f87da409a06c13fcaffe.jpg)
l) Proposed DMRF, 'Traffic' seq.
Fig. 8. Foreground classification results on sample time frames with the Basic MoG, uniMRF, 3D-MRF and the proposed DMRF models: foreground points are displayed in blue (dark in gray print). First two columns correspond to people surveillance scenarios, while on the third column we can investigate the usability of the methods in a traffic monitoring environment.
使用标准视频相机进行测试，仅用于验证跟踪和重新识别过程。使用来自不同季节的序列的优点是，我们可以测试该方法对季节性服装习惯（冬季外套或T恤）和照明变化变化的鲁棒性。测试序列的名称（Summer1-Spring2）和基本属性列在表 1 中。 我们将测试阶段分为两个部分。首先，我们对本文提出的DMRF前景背景分割方法进行了评估，该方法是本研究的通用性成果，也可应用于行人监控之外的其他不同场景。因此，我们额外加入了一个交通监控（Traffic）场景作为示例（见图8第三列），该场景的序列是在拥挤十字路口处，从停在红绿灯前的汽车车顶以5Hz旋转速度录制得到的。该场景提供的点云规模明显更大：每次扫描包含约260000个点。其次，我们还通过统计整个观测周期内正确和错误的轨迹匹配数量，对多人跟踪与重识别模块进行了验证。 #### 5.1. Evaluation of foreground-background separation 我们将本文提出的用于前景背景分割的DMRF模型与三种参考方案进行了对比： (i) 基础MoG，在第3.1节介绍，该方法基于(Kaestner et al., 2010)的研究，采用在线K-means参数更新方法(Stauffer and Grimson, 2000)。 (ii) uniMRF，在第3.2节中被提出，该方法在DMRF框架的距离图像分割任务中，部分采用了Wang等人（2006）提出的均匀前景模型。 (iii) 3D-MRF，它在3D中实现了一个MRF模型，类似于（Lafarge and Mallet, 2012）。我们在此基于欧几里得距离，定义原始$\mathcal{L}^{t}$点云中的邻域，并使用(2)中定义的数据模型的背景适应度值。图割算法（Boykov --- and Kolmogorov, 2004）再次用于MRF能量优化。 图8显示了来自三个序列的样本帧上的定性分割结果，分别针对三种参考方法和提出的DMRF模型。为了进行定量（数值）评估，我们手动生成了Ground Truth (GT)。为此，我们开发了一个3D点云标注工具，该工具允许手动标记场景区域为前景或背景。接下来，我们手动标注了每个测试序列的约100个相关帧。作为定量评估指标，我们选择了前景检测的点级F-rate（Benedek and Szirányi, 2008），它可以计算为精度和召回率的调和平均值。我们还测量了每秒帧数（fps）。数值性能分析见表1(a)。结果表明，在所有监控序列中，所提出的模型在F-rate方面优于参考技术，同时处理速度为15-16fps，可实现实时操作。在具有大型密集点云的交通序列中，3D-MRF方法在检测率方面略优于我们的方法，但提出的DMRF方法明显更快：我们测量到3D-MRF的处理速度为2fps，而提出的DMRF模型为16fps。我们还可以观察到，与3D-MRF不同，我们的基于范围图像的技术受点云大小的影响较小。 ### 5.2. Evaluation of multi-target tracking 为了对跟踪过程进行定量评估，系统输出的轨迹由人工观察者验证，他们同时观看点云序列和录制的视频。 (请注意，系统未使用光学视频信息，我们仅将其记录下来以验证跟踪和重新识别。) 作为评估指标，我们统计了以下事件（结果见表 1(b)）： - STA 转换次数：所有从非活动状态到活动状态的转换次数，即当短时分配 (STA) 模块在物体被遮挡几帧后能够继续跟踪的事件次数（自动计数）。 - STA 转换错误：STA 模块产生的错误跟踪分配次数（手动计数）。 - LTA 转换次数：所有从归档状态到已识别状态的转换次数，即当长期分配 (LTA) 模块能够识别先前已归档并重新出现的行人（自动计数）。 - LTA 转换错误：LTA 模块产生的错误行人分配次数（手动计数）。 表 1(b) 中列出的七个监控序列具有不同的多目标跟踪难度因素。 首先，我们计算了激光雷达序列中每帧的平均人数（第 4 列），该序列包含至少两名行人。 人数密度越高，遮挡越多，通常会增加 STA 转换次数，这意味着对 STA 模块提出了挑战。 另一方面，总人数（4-8 人）和 LTA 转换次数会影响 LTA 重新识别过程。 如表所示，前三个序列仅用于验证 STA 跟踪模块。 对于 Winter1-Spring1 序列，通过将人数增加到 6，重新识别步骤变得至关重要，但 LTA 匹配仍然几乎没有错误（97% 的性能）。 最后，在 8 人的场景（Spring2）中，不仅有更多的人，而且遮挡的数量也显著增加，LTA 在 17 次重新识别尝试中产生了 4 次分配错误，这意味着 76.4% 的性能。 图 9 显示了 Winter2 序列的两个样本帧。 在两个选定的帧之间，所有行人离开了视场，因此，LTA 模块应执行完整的重新分配。 请注意，即使应用卡尔曼滤波，生成的原始物体轨迹仍然非常嘈杂，因此，我们在傅里叶描述符空间中对曲线进行了 80% 的压缩（Zhang 和 Lu，2002），这产生了图 9 右侧显示的平滑轨迹。 关于 Winter2 序列跟踪过程的演示视频可以在作者的主页上观看：。 sztaki. hu/i4d/PRLDEMO 该系统的一个重要特点是其接近实时性能，可以处理 15 Hz 的激光雷达序列。 表 1(b) 的最后一列列出了在不同测试集上测量的处理速度。 与表 1(a) 中的每秒帧数 (fps) 值相比，我们可以得出结论，该过程中最耗费资源的部分是前景-背景分割（本身为 15-16 fps），因为包括前景检测、行人分离和跟踪在内的完整工作流程以 12-13 fps 的速度运行。 随着人数的增加，遮挡也会增加，从而导致轻微的计算过载。 Summer1 序列的运行速度更快，是因为该序列的激光雷达点云较小，因为它以 20 Hz 的旋转频率记录。 ### 6. 致谢 本工作与 i4D 项目相关，该项目由 MTA SZTAKI 内部研发基金资助，同时也得到了匈牙利研究基金 (OTKA #101598) 和匈牙利科学院的 János Bolyai 研究奖学金的支持。作者感谢他的同事，Csaba Horváth、Dómötör Molnár 和 Tamás Szirányi，感谢他们在本文所提出的方法的开发和实施过程中提供的帮助。 ## 7. 结论 我们介绍了一个创新的 3D 监控框架，用于检测和跟踪通过旋转多波束 (RMB) 激光雷达系统获取的点云中的多个移动行人，重点关注所选测距传感器带来的特定挑战。我们首先提出了一种高效的前景分割模型，该模型使用空间前景滤波器来减少角度量化和背景运动产生的伪影。该组件已根据 3D 真实数据进行定量验证，并证明了所提出的解决方案与三种参考方法相比的优势。随后，我们介绍了一个具有在线人员重新识别功能的跟踪模块，其中生物特征是从激光雷达数据流的距离和强度通道中提取的。该跟踪模块也在真实的户外环境中进行了测试，其中存在多个遮挡以及在观察期间多次出现的人员。实验证实，可以基于单个 RMB 激光雷达传感器构建一种高效的 3D 视频监控系统，其安装比设置校准的多摄像头系统要简单得多。 --- ![Image](images/1366b0e30d88fbc78b7d19bba01278de1bbf370027321ee3165d7331a994b75e.jpg) ![Image](images/8af397c7f164a3e4fe7348fe3a91a6c2bb1c9cb24a97c8ef22615c8130c91569.jpg) ![Image](images/081126263b0adeb5d90c56fbb27b0b7e63db5c7d0b6cfa7acf7308851f55eb8a.jpg) ![Image](images/9e7377b8bb20e325f5130ba02f78931baeba9468a509b7a14781c0749ed7aade.jpg) 第 1850 帧 ![Image](images/5d75e1e2431f559679a03ea125589b7265c179bb6b3052233b5ec76e26c1255e.jpg) 第 #1550-#1850 帧的俯视图轨迹
Fig. 9. Results of pedestrian separation and tracking in the Winter2 Lidar sequence. Note that between the two displayed frames (#1174 and #1850) all pedestrians have left the field of interest and re-appeared in a random order, thus a complete re-identification process has been conducted. Trajectories in the right correspond to frames between #1580 and #1850, where the position in Frame #1850 is marked with a circle. Video images (in the top) were only used for validation of tracking and re-identification.
Table 1 Numerical point level evaluation of foreground detection and object level evaluation of tracking and re-identification on the test sequences
Sequence namePoint cloud sizeF-measure based on 100 frames (in %)
Bas. MoGuniMRF3D-MRFDMRF
Summer165K pts/fr.55.781.088.195.1
Summer286K pts/fr.59.286.989.793.2
Summer386K pts/fr.38.483.378.789.0
Winter186K pts/fr.55.086.684.191.9
Winter286K pts/fr.54.986.684.191.9
Spring186K pts/fr.49.984.882.788.9
Spring286K pts/fr.56.889.186.994.4
Traffic260K pts/fr.70.468.376.274.0
Processing Speed120fps17-18fps2-7fps15-16fps
(a) Point level evaluation of foreground detection detection accuracy (F-rate in %) and processing speed (fps, measured in a desktop computer)
Sequence nameFrame num.People num.Av peopl. per frameSTA trans. num (error)LTA trans. num (error)Processing speed (fps)
Summer1255643.5157 (0)1 (0)14.95
Summer296043.6430 (0)0 (-)12.89
Summer3140643.7744 (0)0 (-)13.03
Winter1364142.9171 (0)9 (0)12.91
Winter2243364.38129 (0)12 (0)12.65
Spring1261664.34127 (0)16 (1)12.78
Spring2238385.51216 (1)17 (4)12.45
(b) 在七个监控测试序列上的对象级别评估。STA：短期分配，LTA：长期分配。处理速度与包括前景检测在内的完整工作流程相关。 ## 参考文献 Bak, S., Corvee, E., Bremond, F., and Thonnat, M. (2010). 人员重新识别使用人体各个部分的空间协方差区域。国际高级视频和信号监控会议 (AVSS)，第 435-440 页。 Baltieri, D., Vezzani, R., Cucchiara, R., Utasi, Á., Benedek, C., and Szirányi, T. (2011). 使用 3D 信息的多个视角人员监控。国际计算机视觉研讨会论文集，ICCV，第 1817-1824 页，西班牙巴塞罗那。 Benedek, C., Molnár, D., and Szirányi, T. (2012). 用于旋转多波束激光雷达的距离数据序列动态 MRF 模型进行前景检测。非线性时序计算，LNCS，日本筑波市。 Benedek, C. and Szirányi, T. (2008). 在具有不确定帧速率的监控视频中进行贝叶斯前景和阴影检测。IEEE 图像处理期刊，17(4):608 – 621。 Boykov, Y. and Kolmogorov, V. (2004). 能量最小化视觉中最小割/最大流算法的实验比较。IEEE 模式分析和机器学习期刊，26(9):1124–1137。 Brubaker, M., Fleet, D., and Hertzmann, A. (2010). 使用人形行走器的基于物理的人员跟踪。计算机视觉国际期刊，87(1-2):140–155。 --- Farenzena, M., Bazzani, L., Perina, A., Murino, V., and Cristani, M. (2010). 通过对称驱动的局部特征累积进行人员重新识别。IEEE 计算机视觉和模式识别会议 (CVPR)，第 2360-2367 页。 Farenzena, M., Bazzani, L., Perina, A., Murino, V., and Cristani, M. (2010). 基于对称性的局部特征累积方法用于人员重新识别。在IEEE计算机视觉和模式识别会议（CVPR）上，第2360–2367页。 Kaestner, R., Engelhard, N., Triebel, R., and R. Siegwart (2010). 一种基于贝叶斯的方法，用于学习动态环境的3D表示。在国际实验机器人研讨会（ISER）上，柏林。施普林格出版社。 Kalyan, B., Lee, K. W., Wijesoma, W. S., Moratuwage, D., and Patrikalakis, N. M. (2010). A random finite set based detection and tracking using 3D LIDAR in dynamic environments. In IEEE International Conference on Systems, Man, and Cybernetics (SMC), pages 2288–2292, Istanbul, Turkey. IEEE. Kuhn, H. W. (1955). 用于分配问题的匈牙利方法。海军研究物流季刊，2:83–97。 Lafarge, F. and Mallet, C. (2012). 通过混合表示，从3D点云创建大型城市模型：一种鲁棒方法。国际计算机视觉杂志。 Mitzel, D., Horbert, E., Ess, A., and Leibe, B. (2010). 基于稀疏检测和连续分割的多人跟踪。在欧洲计算机视觉会议（ECCV'10）上，第397–410页，柏林，黑德堡。施普林格出版社。 Muhammad, N. and Lacroix, S. (2010). Calibration of a rotating multi-beam Lidar. In International Conference on Intelligent Robots and Systems (IROS), pages 5648–5653, Taipei, Taiwan. IEEE. Plaenkers, R. and Fua, P. (2002). 基于模型的轮廓提取，用于准确的人员跟踪。在Heyden, A., Sparr, G., Nielsen, M., 和Johansen, P.编辑，国际计算机视觉会议，计算机科学讲义第2351卷，第325–339页。施普林格出版社，柏林，黑德堡。 Prosser, B., Zheng, W.-S., Gong, S., and Xiang, T. (2010). 通过支持向量排序进行人员重新识别。 Schiller, I. and Koch, R. (2011). 通过自适应深度关键和高斯混合的组合，改进视频分割。在斯堪的纳维亚图像分析会议上，瑞典伊斯坦，LNCS第6688卷，第59–68页。 Shu, G., Dehghan, A., Oreifej, O., Hand, E., and Shah, M. (2012). Part-based multiple-person tracking with partial occlusion handling. In Computer Vision and Pattern Recognition (CVPR), 2012 IEEE Conference on, pages 1815–1821. Spinello, L., Arras, K. O., Triebel, R., and Siegwart, R. (2010). 一种基于3D范围数据的分层方法，用于人员检测。发表于：美国人工智能协会（AAAI）年会论文集，佐治亚州亚特兰大。 Spinello, L., Luber, M., and Arras, K. (2011). Tracking people in 3D using a bottom-up top-down detector. In IEEE International Conference on Robotics and Automation (ICRA), pages 1304–1310, Shanghai, China. Stauffer, C. and Grimson, W. E. L. (2000). Learning patterns of activity using real-time tracking. IEEE Transactions on Pattern Analysis and Machine Intelligence, 22:747–757. Utasi, Á. and Benedek, C. (2011). A 3-D marked point process model for multi-view people detection. In IEEE Conference on Computer Vision and Pattern Recognition, pages 3385–3392, Colorado Springs, CO, USA. Wang, Y., Loe, K.-F., and Wu, J.-K. (2006). A dynamic conditional random field model for foreground and shadow segmentation. IEEE Transactions on Pattern Analysis and Machine Intelligence, 28(2):279–289. 张D.、陆G. (2002)。面向形状表示与检索的傅里叶描述子对比研究。收录于亚洲计算机视觉会议（ACCV），页码646–651，Springer。