# 基于在线增强目标模型的RGB-D数据人体跟踪 Matthias Luber Luciano Spinello Kai O. Arras 摘要——人体跟踪是部署在人群密集环境中机器人的核心组件。已有研究将相机、二维和三维测距仪用于该任务。本文提出了一种利用RGB-D数据的三维人体检测与跟踪方法。我们将适用于RGB-D数据的新型多线索人体检测器，与能够学习单个目标模型的在线检测器相结合。两个检测器被集成到决策框架中，搭配多假设跟踪器，该跟踪器通过轨迹解释反馈控制在线学习过程。在线学习阶段我们采用提升方法，使用三类RGB-D特征，并在三维空间中进行置信度最大化搜索。该方法具有通用性，既不依赖背景学习，也不需要地平面假设。评估阶段，我们使用三台拥有共同视场的微软Kinect传感器组成装置，在人群密集的室内环境采集数据。实验结果表明，该方法能够可靠地在RGB-D数据中实现三维人体跟踪，该框架可避免在线检测器发生漂移，提升整体跟踪性能。 ## I. 引言 人体检测与跟踪是机器人、交互系统和智能车辆领域中一项重要且基础的核心组件。该任务常用传感器为相机和测距仪。尽管两种传感模态各有优劣，但随着可同时提供图像与距离数据、价格低廉且可靠性不断提升的RGB-D传感器普及，二者间的区分已经不再必要。 机器人领域诸多研究者都对距离数据中的人体检测与跟踪问题展开了研究。早期工作基于二维数据，通过特殊分类器检测人体，寻找扫描中的移动局部极小值[^1], [^2]。Arras等人[^3]采用了学习方法，通过对一组几何与统计特征进行提升，训练得到适用于二维点云的分类器。 三维距离数据中的人体检测与跟踪是一个相对较新的问题，相关研究不多。Navarro等人[^4]将三维扫描压缩为虚拟二维切片，以寻找地面上方的显著垂直物体，再通过一组经SVM分类的特征对人体分类。Bajracharya等人[^5]通过处理垂直物体，基于 ![Image](images/e80580ba84bdac7c6cf4b95eabf45261ebe3747dfb20146457e06a4c3ae2cf33.jpg)
Fig. 1. People tracking in RGB-D data. The top pictures show the three color and depth images, below the 3D point cloud. The data was collected in the lobby of a large university canteen at lunch time with a setup joining the views of three Kinect sensors. The colored disks and dots in the point cloud show the positions and trajectories of five tracked persons.
固定行人模型，从立体视觉得到的点云中检测人体。与这些需要地平面假设的工作不同，Spinello等人[^6]通过分类部件投票法和自顶向下验证流程克服了这一局限，该方法可学习最优特征集和体积细分。 在计算机视觉文献中，人体检测、跟踪与建模问题已经得到了广泛研究[^7]，[^8]，[^9]，[^10]。与基于距离的系统相比，一个主要区别在于，丰富的图像数据让学习目标外观模型变得十分简便。因此，视觉跟踪系统仅使用结合最近邻数据关联的独立粒子滤波这类简单方法就能取得良好效果[^11]。Beymer和Konolige利用立体视觉获取的稠密深度数据，在一个基于视觉的行人检测与跟踪系统中辅助前景分割[^12]。他们使用一组二值行人模板在图像中检测行人，并实现了基于学习得到的外观目标模型的多行人跟踪。[^13]、[^14]的工作在强度图像中检测行人，并在三维空间中对其进行跟踪。在[^15]中，研究者使用一个结合了强度图像、立体视差图和光流的立体系统来检测行人。[^16]实现了行人的多模态检测与跟踪，该研究提出了一种可训练的二维距离数据与相机系统。 本文从以下几个方面推进了该领域的现有研究水平。首先，我们针对以下这一全新问题展开研究： --- 在RGB-D数据中检测和跟踪行人。我们将先验行人检测器、在线学习得到的行人检测器与多假设跟踪器（MHT）相结合，能够估计三维空间中多个行人的运动状态。学习单个目标模型是基于距离数据的目标跟踪领域的全新方向，以往该领域通常处理外观一致的目标。为此，我们将Grabner等人[^17]提出的在线学习方法适配到RGB-D数据场景中。我们提出了一个整合两种检测器与跟踪器的全新框架，该框架引入跟踪解释反馈来控制学习过程。这使得系统能够弥补先验检测器漏检带来的跟踪中断、处理目标遮挡问题，同时避免在线检测器发生漂移。最后，我们使用CLEAR MOT性能指标给出了定量实验结果。与上述整合多传感器模态的研究不同，我们将图像和距离数据视为检测、跟踪和目标模型自适应过程中同等重要的线索。我们还提出了一个全新的整合框架，可有效将跟踪器与在线学习得到的目标分类器结合。 ### 二、三维距离数据中的行人检测 本节我们简要总结本文使用的先验行人检测器。我们采用一种名为Combo-HOD（方向深度与梯度组合直方图）的新型RGB-D行人检测器。该方法的灵感来自Dalal和Triggs提出的方向梯度直方图（HOG）[^7]，将彩色图像中的HOG检测器与深度图像中名为方向深度直方图（HOD）的新方法相结合。 本文结构如下：下一节简要总结先验行人检测器，随后第三节介绍我们针对RGB-D数据中目标外观的在线AdaBoost学习方法。第四节描述该学习过程如何整合到跟踪系统中。第五节介绍实验并给出结果。第六节总结全文。 由于RGB-D数据同时包含颜色信息和深度信息，Combo-HOD检测器结合了这两种传感线索。HOD描述子在深度图像中计算，HOG描述子在彩色图像中计算。二者在检测层进行融合：对SVM输出拟合sigmoid得到概率后，对概率取加权平均得到融合结果。HOD包含结合深度信息的尺度空间搜索，该搜索先收集图像中使用的所有尺度，再测试各尺度与对应深度的兼容性。借助积分张量（积分图像跨多尺度的扩展），该测试的效率得到了显著提升。该策略在提高检测率的同时，大幅减少了图像中需要计算的描述子数量。更多细节请读者参考[^18]。 检测器每一步的输出是所有目标在三维空间中的位置和尺寸，以及深度图像中边界框的中心和尺寸。这些就是观测结果$z_{i}(t)$，构成了时间索引t时刻的观测集合$m_{k}$ $\mathcal{Z}(t)$。 ### III. 在线提升 上一节介绍的检测器从先验标注数据中学习通用人体模型。本节我们介绍如何利用在线Boosting学习RGB-D数据中的目标外观模型，该模型后续会用于引导跟踪系统中的数据关联。 Boosting是一种被广泛用于提升学习算法准确率的技术。给定带标签y的训练样本$\mathbf{x}$，强分类器$H(\mathbf{x})$由一组带权重的假设（称为弱分类器$h(\mathbf{x})$）线性组合得到。Freund和Shapiro提出的离散AdaBoost算法[^19]是最流行的Boosting算法之一。该方法从带标注训练样本$(\mathbf{x}, y)$训练弱分类器，初始时每个$w_i$都被赋予均匀权重$\mathbf{x}$。学习按轮迭代进行，每轮都会根据上一个弱学习器的分类错误更新权重。通过提高错误分类样本的权重，算法会聚焦于较难分类的样本。 在线Boosting最初由Oza和Russell提出[^20]，它随到随处理每个训练样本，不需要存储和重处理，同时会维护一个反映迄今为止所有已见训练样本信息的当前假设。Grabner等人[^17]将该方法应用于跟踪过程中的目标检测。我们基于后者开发了RGB-D数据下的在线行人检测器。 ### A. 更新弱分类器 与离线Boosting方法不同，在线算法只对训练样本训练一次，训练后即丢弃样本。因此每当有新的训练样本可用时，都必须以在线方式更新弱分类器。由于样本的难度无法提前得知，样本权重分布的计算是一个关键问题。在线Boosting的核心思路是：样本权重（在本文语境中称为重要性$\lambda$）可以通过在固定的弱分类器链中传播得到估计[^20]。如果样本被分类错误，$\lambda$会按照弱分类器的误差成比例增加。因此，重要性起到的作用和离线方法中更新后的权重相同。第i个弱分类器的误差由分类正确（$\lambda_{i}^{corr}$）和分类错误（$\lambda_{i}^{wrong}$）样本的权重总和估计得到， $$ e_{i}=\frac{\lambda_{i}^{w r o n g}}{\left(\lambda_{i}^{w r o n g}+\lambda_{i}^{c o r r}\right)}. $$ ### B. 用于特征选择的在线Boosting 在跟踪过程中学习目标模型时，Grabner等人[^17]提出了特征选择器。其核心思想是不将在线提升直接应用于 --- ![Image](images/cbab67beb26027afec1a7f90c81c5f6ff1847b124a50acd991ba0bb4696bfedc.jpg)
Fig. 2. Bounding boxes of two detected persons in the RGB and depth images. The ten best features of each on-line detector are marked with colored rectangles. Haar-like features calculated on the intensity image are shown in green and Haar-like features computed on the depth image are marked in red. The Lab color features calculated on the RGB image are depicted in blue.
弱分类器，而是应用于选择器。一个选择器$h^{sel}$从M个弱学习器构成的分类池$\mathcal{F}$中选出最优弱分类器，其中“最优”被定义为误差最低。 选择器数量N为固定参数，当新样本$(\mathbf{x}, y)$到达时，以下过程会对所有选择器重复执行：首先更新所有弱分类器，随后选出最优的那个，记为$m^{+}$， $$ h_{n}^{s e l}(\mathbf{x})=h_{m^{+}}^{w e a k}(\mathbf{x}) $$ 其中$m^{+} = \arg \min_{m}(e_{n,m})$和$e_{n,m}$的定义与式1类似，仅将i的下标替换为n,m。随后计算投票权重$\alpha_{n} = \frac{1}{2} \cdot \ln\left(\frac{1 - e_{n}}{e_{n}}\right)$，计算中满足$e_{n} = e_{n,m^{+}}$，更新后的重要性权重$\lambda$会被传递给下一个选择器$h_{n+1}^{sel}$。与AdaBoost类似，如果$\lambda$正确预测了x，则$h_{n}^{sel}$会增加，反之则减少。 最终通过以下方式得到强分类器：将N个选择器线性组合计算置信度，再应用符号函数， $$ \kappa(\mathbf{x})=\sum_{n=1}^{N}(\alpha_{n}\cdot h_{n}^{{s e l}}(\mathbf{x})),\qquad H(\mathbf{x})={s i g n}(\kappa(\mathbf{x})). $$ 与离线版本不同，在线流程能够以即时方式生成随时可用的强分类器。 为了提升分类器池$\mathcal{F}$的多样性，适应目标的外观变化，在每次迭代结束时，表现最差的弱分类器会被替换为从$\mathcal{F}$中随机选取的一个分类器。 ### C. 特征 我们利用RGB-D数据的丰富信息，计算出对应弱分类器的三类特征：强度图像（由RGB值转换得到）中的类Haar特征[^21]、深度图像中的类Haar特征，以及RGB图像中不随光照变化的Lab颜色特征。Lab特征通过对目标区域内a*（b*）空间中的强度值求和得到。Lab颜色模型的优势在于，a*或b*空间中的特征可以紧凑且鲁棒地概括整个RGB直方图。总共计算得到M个特征，所有类型特征的初始数量为$M/3$。借助上述自适应机制，各类特征的相对数量可以动态调整，以最优方式描述目标。 特征在矩形区域中计算，这些矩形区域是在每个目标对应的边界框内随机采样位置和尺度得到的。该操作仅在初始化时执行一次，之后在目标的整个生命周期中保持固定（直到弱特征被替换）。图2展示了两个目标的排名前十的最优特征。 ### D. 用于跟踪的在线Boosting 在线Boosting算法使跟踪器能够持续更新目标模型，将目标与当前背景进行最优区分。该方法将跟踪问题表述为分类问题[^22]，通过在当前跟踪区域周围执行置信度最大化流程实现。该区域由前一次检测得到的边界框确定：区域内所有特征被视为带正标签的前景样本，负样本则通过在局部邻域内遍历边界框得到。随后在邻域的每个遍历位置评估分类器，得到置信度图，置信度最大的位置即为跟踪区域的新位置，之后分类器在该区域更新，不断重复这一过程。置信度值随时间的变化如图5所示。 与[^17]中从之前的检测结果自举得到新区域的方法不同，我们利用先验检测器的边界框位置对在线检测器重新进行中心定位。该策略避免了在线自适应的核心问题，即模型漂移到背景、杂波或其他目标上。 ### IV. 集成到跟踪系统 本节我们介绍如何将在线检测器集成到基于卡尔曼滤波的多假设跟踪（MHT）框架中。由于篇幅有限，我们仅讨论MHT中发生改动的部分，更多细节请参见[^23]、[^24]。 简而言之，MHT算法通过考虑测量值与航迹之间所有统计可行的分配，以及对测量值（误报或新航迹）和航迹（匹配、遮挡或废弃）的所有可能解释，对目标状态进行假设。借此，MHT可以处理航迹从创建、确认到遮挡和删除的完整生命周期。 形式上，设$\xi(t) = (x_t \, y_t \, z_t \, \dot{x}_t \, \dot{y}_t \, \dot{z}_t)^T$为航迹$\mathbf{t}$在时刻t的滤波状态，包含三维空间的位置和速度信息，$\Sigma$为其对应的$6 \times 6$协方差。设$Z(t) = \{\mathbf{z}_i(t)\}_{i=1}^{m_t}$为$m_t$观测集合，在本文中该集合即RGB-D数据中检测到的行人集合。观测包含先验检测器输出的三维位置$z_i(t)$和在线检测器输出的训练样本$\mathbf{x}_i(t)$。样本$\mathbf{x}_i(t)$是堆叠特征值构成的向量，由当前跟踪区域内的矩形区域计算得到。 设$\Omega_{l}(t)$为时刻t的第l个假设，$\Omega_{p(l)}^{t-1}$为衍生出$\Omega_{l}(t)$的父假设。设 --- ![Image](images/19604b91cfa1a64b479f59f9c780aed9c7be7f7435c9b5b1dbe6f7f5de7c8266.jpg)
Fig. 3. The decisional framework to integrate both detectors and the tracking system
，进一步$\psi_j(t)$表示一组分配，将预测航迹关联到$Z(t)$中的测量值。在每个周期中，算法尝试将上一步父假设中的航迹关联到新集合$Z(t)$，生成所有可能的分配集合$\psi(t)$，每个分配都会衍生出一个从父假设分支出来的子假设。这会导致假设树规模呈指数增长。大多数实用的MHT实现通过Murty算法剪枝假设树，该算法能够在多项式时间内生成并评估当前k个最优假设。 ### A. 联合似然数据关联 常规MHT中的测量似然 $p(z_i(t)|\psi_j^t, \Omega_{p(l)}^{t-1})$ 由两项组成：一项对应被判定为新航迹和虚警的观测（我们对这部分保持不变），另一项对应匹配观测 $z_i(t)$，该匹配观测服从以量测预测 $\hat{z}_j(t)$ 为中心、新息协方差矩阵为 $S_{ij}(t)$ 的高斯似然模型，即 $p(z_i(t)|\psi_j^t, \Omega_{p(l)}^{t-1}) = \mathcal{N}(z_i(t); \hat{z}_j(t), S_{ij}(t))$。该似然量化了观测基于位置和速度与预测量测的匹配程度。 在此，在线分类器H引入了外观似然，用于表示观测目标的外观与已学习模型的匹配程度。因此我们得到了同时兼顾运动状态和外观的联合似然。设 $\mathbf{x}_i(t)$ 为 $z_i(t)$、$\mathbf{z}_i(t) = (z_i(t), \mathbf{x}_i(t))$ 的特征描述子，且假设两项似然相互独立， $$ \begin{align*}p(\mathbf{z}_{i}(t)|\boldsymbol{\psi}_{j}^{t},\boldsymbol{\Omega}_{p(l)}^{t-1},H^{t-1})~=~&\boldsymbol{p}(z_{i}(t)|\boldsymbol{\psi}_{j}^{t},\boldsymbol{\Omega}_{p(l)}^{t-1})\\&\cdot\boldsymbol{p}(\mathbf{x}_{i}(t)|\boldsymbol{H}^{t-1}).\end{align*} $$ 我们还将外观似然建模为以强分类器最大置信度（即1）为中心的高斯概率密度函数 $$ p(\mathbf{x}_{i}(t)\mid H^{t-1})=\mathcal{N}(\kappa(\mathbf{x}_{i}(t));1,\sigma_{a}^{2}), $$ 其中 $\sigma_{a}^{2}$ 是高斯分布的方差，同时也是权衡两种似然的平滑参数。 ### B. 将数据关联结果反馈给在线Boosting 在每个周期中，跟踪器会输出量测到航迹的分配结果，同时给出量测的判定结果（新航迹或虚警）以及航迹的判定结果（遮挡或删除）。这些信息直接用于在线 ![Image](images/162834443489b4d16af001afbc7defe0d3929c9b84ebacb80c76798cb3e98706.jpg)
Fig. 4. The setup consisting in three vertically mounted Kinect sensors offering a joint field of view of $130^{\circ} \times 50^{\circ}$ and supplying RGB-D data with a resolution of $1440 \times 640$ pixels at 30 Hz. They are mounted at 1.2 m height.
Boosting算法创建和更新强分类器： - 当观测 $\mathbf{z}_{new}$ 被判定为新目标时，我们会初始化一条新航迹 $\mathbf{t}_{new}$，并在先验检测器假设的边界框位置创建一个新的强分类器 $H_{new}$。 - 当已有目标 $\mathbf{t}_{i}$ 与观测 $\mathbf{z}_{j}(t)$ 关联后，我们会利用在先验检测器新边界框内计算得到的特征 $H_{i}^{t}$ 更新强分类器 $\mathbf{x}_{j}(t)$，在线检测器以该新边界框位置为中心。 - 当MHT判定某条航迹被遮挡时，存在两种可能原因：真正遮挡或误检测。为了应对这两种情况，我们采取如下方案：基于在线学习得到的模型，我们以卡尔曼滤波的运动预测结果为中心构建三维置信度图，以此搜索未获得有效观测的目标。置信度图的尺寸与预测结果的不确定性成正比，置信度值通过将三维位置投影到图像空间计算得到。这与 [^17] 中的方法不同，后者的搜索是在图像空间中使用固定尺寸的搜索窗口完成的。如果能找到高置信度匹配，我们就将该事件判定为误检测，将该最大置信度作为观测 $\mathbf{z}^{*}(t)$。否则，我们将该事件判定为目标遮挡，停止对应强分类器的在线学习，直到目标重新出现。该策略还可以避免模型漂移到背景、杂波或其他目标上。 来自在线检测器的观测 $\mathbf{z}^{*}(t)$ 会像常规观测一样被MHT处理。 ### V. 实验 为了评估和比较不同的检测器方法，我们收集了包含行人无预设行为的大规模室内数据集。该数据集采集于午餐时段一所大型大学的食堂大堂。先验检测器使用另一栋视觉特征不同的大学建筑中采集的额外背景数据集完成训练，目的是避免检测器对食堂大堂的视觉外观产生偏差，尤其是因为我们从固定 --- ![Image](images/f437e83bf8ee908750835192470efe45e4fe634cc9b7892390977a58fc4d9be2.jpg) ![Image](images/01b88cf605ea214663a5135e03db53e49fff1ee3a9e43785e4583457b93febf9.jpg)
Fig. 5. Evolution of the confidence of the on-line detector. The top image shows the confidences over the life cycle of a track. After initialization the values achieve steady state. Person 2 is occluded twice between frames 172 to 185 and frames 192 to 199. Thanks to the feedback from the MHT tracker, the on-line detector pauses its adaptation. This strategy avoids drifting of the model to background, clutter, or other targets. When the person reappears, adaptation is resumed immediately with high confidence.
传感器采集得到数据。我们对该数据集进行人工标注，标注内容包括二维深度图像空间中的边界框、目标可见性（完全可见/部分遮挡）以及轨迹的数据关联真值。总共标注了1133帧中的3021个行人实例，共31条轨迹。该数据集将在本文发表当日发布在实验室网页上。 数据采集的传感装置如图4所示。它由三个垂直安装的Kinect传感器组成，共同将视场扩展至$130^{\circ} \times 50^{\circ}$。我们已完成该装置内参和外参的校准，保证三张图像能够按帧率同步采集。 MHT的参数通过超过600帧的训练数据集学习得到。检测概率设置为$p_{det} = 0.99$，终止似然设置为$\lambda_{del} = 30$。新轨迹和误报的平均概率分别确定为$\lambda_{new} = 0.001$和$\lambda_{fal} = 0.005$。此外，最大假设数量$N_{Hyp}$设置为100。目标的强分类器基于50个选择器构建，这些选择器由50个弱假设训练得到。 为了评估在线Boosting对跟踪性能的影响，我们仅使用先验检测器运行跟踪器得到基线结果。所有后续运行结果均使用CLEAR MOT指标[^25]进行比较。该指标相对于真值，统计每帧累加的三个数值：漏检（FN，即本应存在于真值位置的缺失轨迹）、误报（FP，即本不应存在的轨迹）和错配（ID，即轨迹标识符切换）。最后一个数值量化了算法处理行人跟踪中常见遮挡事件的能力。从这些数值可以得到两个指标：MOTP（估计目标与真值之间的平均度量距离）和MOTA（相对于真值的正确跟踪输出的平均次数）。我们忽略MOTP，因为它依赖目标位置的度量真值，而该真值在我们的数据中并不可靠。 ### A. 结果 首先，我们分析强分类器H与集成框架在不同场景下的置信度值（参见图5）。行人1穿过传感器视 ![Image](images/283b878c503e9aa34c81c4914b6fe2b338c2cec5f7e7f52d3853c1d21ad387fb.jpg)
Fig. 6. Visualization of the 3D point cloud produced by the three Kinect sensors including the positions and trajectories of eight of 31 tracks in the data set. The colored disks mark the current Kalman filter estimates of the target positions, the small dots show their past trajectories. The tracker maintains full 3D estimates as it can be seen by the dark blue trajectory of the subject coming down the stairs.
场，过程中未与其他目标产生干扰。经过近十帧的初始化阶段后，在线检测器已经适应了该行人的外观，置信度达到稳态后稳定在0.8左右。行人2经历了两次遮挡，遮挡期间置信度迅速下降，表明目标不再可见。由于MHT正确将目标判定为被遮挡，H的自适应调整被暂停，当行人重新出现后，算法又以高置信度恢复调整。我们进一步统计分析了在线检测器三种特征类型的使用情况，结果显示它们的使用频率和重要性大致相近。 随后我们使用CLEAR MOT指标将在线提升方法与基准方法进行比较。结果显示，除误报数量外，所有指标值均有明显提升（见表I）。我们人工检查了跟踪器的运行行为，并对获得的结论进行了讨论。 本文所提方法最显著的效果是将漏检目标数量降低了50%。这一改进源于在线观测$\mathbf{z}^{*}$。当先验检测器连续多帧都未能检测到已有轨迹时，最优的MHT假设最终会（错误地）将该轨迹标记为已删除。发生这种情况时，每过一帧漏计数（FN）就会增加，直到检测器重新找到目标并创建新轨迹。此时，$\mathbf{z}^{*}$观测就会发挥作用，它可以从在线学习模型中检测出目标。在得到$\mathbf{z}^{*}$后，MHT就可以匹配目标并正确延续轨迹。 这一优势的代价是，由先验检测器错误误报生成的错误轨迹会被延迟删除。在这种情况下，在线检测器仍会尝试用相同策略延续轨迹，导致误报数量（FP）增加了19%。我们观察到，这种情况发生在静态物体产生的重复性误报检测中，在线检测器特别容易对这类物体适配成功。 身份切换次数（ID）的改善得益于联合似然模型，该模型在目标相互交互并因此发生遮挡的场景中为数据关联提供引导。而该指标未进一步降低的原因是 ---
FNFPIDMOTA
Baseline15021684262%
On-line boosting7512013278%
Improvement50%-19%24%16%
TABLE I
CLEAR MOT RESULTS.
我们数据集中行人的行为是非预设的。在本次数据采集的特定场景中，受试者大多只是擦肩而过，并未生成会对跟踪器的遮挡处理能力造成更大考验的场景。 ### 六、结论 实验结果表明，跟踪性能整体得到了明显提升，尤其是在漏检轨迹数量和身份切换数量方面。结果证明，当先验检测器失效时，在线分类器能够帮助找到正确的观测结果，这将漏检轨迹数量降低了50%。此外，联合数据关联似然还帮助将轨迹身份切换次数减少了24%，整体跟踪准确率（MOTA）提升了16%。 未来工作将聚焦于收集和标注更多包含各类具有挑战性社交场景的RGB-D数据集，这些场景能够对本文方法的更多方面进行考验。 本文提出了一种针对RGB-D数据的新型3D行人检测与跟踪方法。我们将基于三种RGB-D特征的目标外观模型在线学习，与多假设跟踪相结合。我们提出了一个决策框架，整合了在线行人检测器、离线学习的先验检测器和多假设跟踪器。该框架支持跟踪器帮助在线分类器仅对正确样本进行训练，并通过联合运动与外观似然引导数据关联。它还通过在先验检测器所在位置重置检测窗口，以及在发生遮挡时暂停适配，避免了在线适配的核心问题——模型漂移到背景、杂波或其他目标上。该框架还可以通过在线检测器在3D空间中经置信度最大化搜索得到的观测结果，填补先验检测器漏检留下的缺口。 ## 致谢 本工作得到德国研究基金会（DFG）的支持，资助合同编号为SFB/TR-8。 ## 参考文献 [^1]: A. Fod, A. Howard, and M. Mataric, "Laser-based people tracking," in Int. Conf. on Robotics and Automation (ICRA), 2002. [^2]: D. Schulz, W. Burgard, D. Fox, and A. Cremers, “People tracking with a mobile robot using sample-based joint probabilistic data association filters,” International Journal of Robotics Research (IJRR), vol. 22, no. 2, pp. 99–116, 2003. [^3]: K. O. Arras, O. Martínez Mozos, and W. Burgard, “Using boosted features for the detection of people in 2d range data,” in Int. Conf. on Robotics and Automation (ICRA), 2007. [^4]: L. Navarro-Serment, C. Mertz, and M. Hebert, “Pedestrian detection and tracking using three-dimensional LADAR data,” in International Conference on Field and Service Robotics, Cambridge, USA, 2009. [^5]: M. Bajracharya, B. Moghaddam, A. Howard, S. Brennan, and L. Matthies, “Results from a real-time stereo-based pedestrian detection system on a moving vehicle,” in Workshop on People Detection and Tracking, IEEE ICRA, Kobe, Japan, 2009. [^6]: L. Spinello, M. Luber, and K. O. Arras, "Tracking people in 3D using a bottom-up top-down people detector," in Int. Conf. on Robotics and Automation (ICRA), Shanghai, China, 2011. [^8]: B. Leibe, E. Seemann, and B. Schiele, “Pedestrian detection in crowded scenes,” in Proc. of the IEEE Conf. on Comp. Vis. and Pat. Rec. (CVPR), San Diego, USA, 2005. [^7]: N. Dalal and B. Triggs, "Histograms of oriented gradients for human detection," in Proc. of the IEEE Conf. on Comp. Vis. and Pat. Rec. (CVPR), San Diego, USA, 2005. [^9]: P. Felzenszwalb, D. McAllester, and D. Ramanan, “A discriminatively trained, multiscale, deformable part model,” in Proc. of the IEEE Conf. on Comp. Vis. and Pat. Rec. (CVPR), Anchorage, USA, 2008. [^10]: M. Enzweiler and D. Gavrila, “Monocular pedestrian detection: Survey and experiments,” IEEE Trans. on Pattern Analysis and Machine Intelligence (PAMII), vol. 31, no. 12, 2009. [^11]: M. D. Breitenstein, F. Reichlin, B. Leibe, E. Koller-Meier, and L. V. Gool, “Online multi-person tracking-by-detection from a single, uncalibrated camera,” IEEE Trans. on Pattern Analysis and Machine Intelligence (PAMI), vol. 33, no. 9, 2011. [^12]: D. Beymer and K. Konolige, “Real-time tracking of multiple people using stereo,” in ICCV Workshop on Frame-rate Applications, Kerkyra, Greece, 1999. [^13]: A. Ess, B. Leibe, K. Schindler, and L. V. Gool, “Robust multi-person tracking from a mobile platform,” IEEE Trans. on Pattern Analysis and Machine Intelligence (PAMII), vol. 31, no. 10, pp. 1831–1846, 2009. [^14]: B. Leibe, K. Schindler, N. Cornelis, and L. V. Gool, “Coupled object detection and tracking from static cameras and moving vehicles,” IEEE Trans. on Pattern Analysis and Machine Intell. (PAMI), pp. 1683–1698, 2008. [^15]: M. Enzweiler, A. Eigenstetter, B. Schiele, and D. Gavrila, “Multi-cue pedestrian classification with partial occlusion handling,” in Proc. of the IEEE Conf. on Comp. Vis. and Pat. Rec. (CVPR), 2010. [^16]: L. Spinello, R. Triebel, and R. Siegwart, “Multiclass multimodal detection and tracking in urban environments,” Int. Journal of Robotics Research, vol. 29, no. 12, pp. 1498–1515. [^17]: H. Grabner and H. Bischof, “On-line boosting and vision,” in Proc. of the IEEE Conf. on Comp. Vis. and Pat. Rec. (CVPR), New York, USA, 2006. [^18]: L. Spinello and K. O. Arras, “People detection in RGB-D data,” in Proc. of the IEEE/RSJ Int. Conf. on Intelligent Robots and Systems (IROS), San Francisco, USA, 2011. [^19]: Y. Freund and R. Schapire, “A decision-theoretic generalization of on-line learning and an application to boosting,” in Computational Learning Theory, 1995. [^20]: N. C. Oza and S. Russell, “Online bagging and boosting,” in Artificial Intelligence and Statistics, 2001, pp. 105–112. [^21]: P. Viola and M. Jones, “Rapid object detection using a boosted cascade of simple features,” Proc. of the IEEE Conf. on Comp. Vis. and Pat. Rec. (CVPR), vol. 1, pp. 511–518, 2001. [^22]: S. Avidan, “Support vector tracking,” IEEE Trans. on Pattern Analysis and Machine Intelligence (PAMII), vol. 26, no. 8, 2004. [^23]: D. B. Reid, “An algorithm for tracking multiple targets,” IEEE Transactions on Automatic Control, vol. 24, no. 6, 1979. [^24]: I. J. Cox and S. L. Hingorani, “An efficient implementation of reid's multiple hypothesis tracking algorithm and its evaluation for the purpose of visual tracking,” IEEE Trans. Pattern Anal. Mach. Intell. (PAMI), vol. 18, no. 2, pp. 138–150, 1996. [^25]: K. Bernardin and R. Stiefelhagen, “Evaluating multiple object tracking performance: the CLEAR MOT metrics,” EURASIP Journal on Image and Video Processing, vol. 2008, 2008.