# 基于立体视觉的人群计数 David Beymer $^{*}$ SRI International 333 Ravenswood Ave Menlo Park, CA 94025 ## 摘要 商店和购物中心希望使用自动技术来统计顾客数量。现有的方法使用安装在门上的红外线传感器来计数，但这种方法无法很好地区分人群。我们采用一种基于视觉的方法，该方法使用安装在门上方并向下指向的立体相机来检测和跟踪人员。在进行实时立体和3D重建后，该系统通过选择落在感兴趣的3D体素内的立体像素来分割场景，该体素放置在捕捉成年顾客的头部和躯干的位置。我们方法的创新之处包括：（1）将立体视差重新映射到正交的“占用图”，这简化了人员建模，以及（2）使用高斯混合模型进行人员跟踪。在包含4小时视频的900次进出事件的测试集中，我们的系统实现了仅为1.4%的净计数误差率。 ## 1 简介 由于需要有关顾客的营销信息，购物中心和百货商店正在部署越来越多的传感器来跟踪顾客。对于具有顾客计数或跟踪商店内移动的系统的商店，购物中心可以根据客流量确定租金率，商店可以监控顾客数量，并且可以评估商店展示的效果。 本文重点解决的是顾客进出大门的计数问题。允许使用双门会使问题变得困难，因为多个人可以并排进入，或者一个人可能会停在门口，而其他人则通过。此外，我们希望排除对购物车或小孩子的计数。 已经有多种类型的传感器系统用于计数顾客。红外线传感器放置在门上，当顾客进出时会中断光束。可以使用两个平行光束来指示顾客的方向，但该系统无法区分并排站立的两个人。红外运动检测器也被使用，但它们存在与区分人群组相似的问题。 商业上，基于摄像头的顾客跟踪系统正在变得越来越普及，这些系统安装在天花板上，向下对准。这种向下对准的相机可以缓解与更倾斜的安装角度相关的遮挡问题。ShopperTrak公司提供了一种单目系统，The Gap和Banana Republic正在部署该系统。Point Grey Research公司最近在CVPR 2000上展示了一种基于立体视觉的人员跟踪系统，名为CenSys3D。 我们的人群计数方法是跟踪位于感兴趣的3D体素内的立体视觉块。立体相机安装在天花板上的门附近，向下对准。操作员首先在门外，但不在门摆动区域的通常空置区域中指定一个3D感兴趣的体素。然后，人员计数器检测和跟踪人员通过该体素时头部和上身。由于典型的商店安装的天花板高度仅为8-9英尺，因此需要广视野镜头才能捕捉到足够宽的区域以监控双门。由于这会引入严重的径向镜头失真并加剧透视失真，因此我们的系统将立体视差重新映射到正交的，俯视视图。 我们的系统主要组件包括实时立体视觉、重投影到正交视图以及多人检测和跟踪。立体视觉系统通过使用查找表将图像坐标和视差映射到 3D 坐标，从而实现实时 3D 重建。基于 3D 坐标，场景（1）通过过滤掉超出感兴趣体素范围的像素进行分割，以及（2）重投影到俯视正交视图。最后，使用高斯混合模型和卡尔曼滤波在正交重投影视图中检测和跟踪人员。 与非视频或单目方法相比，基于立体视觉的系统在人数统计方面有哪些优势？与红外线计数器相比，我们的系统可以处理并排移动的多个人员，从而避免了低估的问题。与单目方法相比，立体视觉提供了一种稳健的方法来估计物体的高度，这对于区分成年购物者和儿童或购物车非常有用。此外，3D 重建与感兴趣体素的结合提供了一种极其稳健的方法。 --- 分割。一种流行的替代分割方法是背景差分法，这会引入一个难题，即如何在一段时间内维护背景图像。 在本文中，我们首先讨论相关工作，然后描述相机设置、标定以及感兴趣体素的规格。下一节描述了主要的跟踪算法，包括实时立体视觉和重投影。接下来，我们展示了系统在约四个小时的视频上的实验结果，最后讨论了未来的工作。 ## 2 相关工作 在过去几年中，已经开发了大量的行人跟踪系统，其中大多数使用颜色[^1] [^2] [^3] [^4] [^5]、背景差分[3, 6-9]或轮廓建模[^10] [^11]。此外，一些系统可以跟踪多个人员[^3] [^4] [^6] [^7] [^9] [^12]，这增加了维护人员 ID 并处理遮挡事件的负担。在本节中，我们重点介绍使用立体视觉或高斯建模的系统。 向行人跟踪系统添加立体视觉的主要优点包括（1）分割、（2）在 3D 中定位物体以及（3）处理遮挡事件。在 [^3] 和 [^13] 中，使用大基线立体视觉来三角化人员 blob 在 3D 中的位置。在 [^4] 中，计算实时密集立体视觉，并将其用于分割场景成缓慢变化的视差补丁。在 [^5] [^6] [^12] 中，对密集立体视觉视差进行背景差分，其中 [^6] 包括图像强度，而 [^5] 包括颜色。[^6] 还使用立体视觉来帮助消除遮挡事件。最后，[^14] 和 [^15] 已经开始将参数化的人体模型拟合到密集立体图，希望立体视觉可以帮助处理身体部位的自遮挡。在我们的分割中使用立体视觉时，我们对场景进行 3D 重建，并选择感兴趣体素中的视差像素。 高斯函数已被用于人员跟踪系统中，用于对多峰分布和人体模型进行建模。[^1] 和 [^14] 将人体建模为连接的 3D 高斯 blob。高斯混合模型已被用于对背景图像的多峰性进行建模[^16] [^17]，从而使背景去除对阴影或飘落的树叶更加稳健。在多假设跟踪领域，[^18] 使用“分段”高斯模型来表示在跟踪状态空间中的多峰性，允许系统维护多个竞争的跟踪状态。这与非参数地使用状态空间中的一组样本进行表示的凝结跟踪[^11] 相关。在我们的系统中，我们使用高斯混合模型来对多个人员进行建模，每个人员对应一个高斯模型。 ![Image](images/581dd8f5652280097707ddd758dd3a71c9083cc08d1a1bf9194956a56c3eccd7.jpg)
Figure 1: Camera setup and volume of interest.
## 3 硬件设置 在本节中，我们描述了用于我们的人员计数器的硬件设置，包括相机设置、校准以及指定感兴趣的区域。 我们使用的立体头部是 Videre Design 的 STH-V1，这是一种廉价、低功耗的立体头部，具有模拟 CMOS 相机[^19]。如图 1 所示，立体头部安装在离门几英尺的顶部，以尽量减少门部的可见性。由于靠近门的上部通常只有 8-9 英尺高，因此需要一个宽视场 (FOV) 来覆盖一组双门；我们的 2.1 毫米镜头使系统具有大约 $100^{\circ}$ 的水平 FOV。选择高 FOV 镜头 ![Image](images/f3cd1eab71e73fd8f943f69dc9d52c70ad9cf5a6900a7967715767f33377b6fd.jpg)
raw left image
![Image](images/4225ae3b0ce60ba66c88ec7c5d944c5cbae5b4480d0270f9b26bf3d806668a92.jpg) 未失真，已校正，并带有 VOI
Figure 2: Example image from left camera: (left) raw image, (right) undistorted, rectified, with VOI.
增加了径向镜头失真的影响，如图 2 中的示例左侧图像所示。 在立体头部校准过程中，我们估计左右相机的固有参数以及两个相机之间的刚性变换。在过程中，将五个视图的平面校准图案呈现给立体头部，其中该图案是 Tsai[^20] 使用的 4x4 网格。相机固有参数根据 Tsai[^20] 进行建模，使用一个径向失真参数 $K_{1}$，所有参数都使用应用于五个立体对的束调整过程进行估计。从校准中，系统计算出一个 --- 图像变形，用于 (1) 消除径向失真，以及 (2) 校正左右图像以对齐视差线，以便进行立体匹配（参见图 2）。 校准立体头部的优势是能够进行 3D 重建。在我们的人员计数设置中，这允许我们通过关注落在 3D 感兴趣区域 (VOI) 中的对象来对场景进行分割。系统操作员适当放置 VOI 允许系统关注成年购物者的头部和上身，而忽略购物车和小孩子。VOI 当前是一个 3D 盒子（参见图 1 和 2），但如果需要，形状可以轻松自定义。将在 VOI 内部执行立体视差的正交视图重投影。 ## 4 占用图中的跟踪 如简介中所述，立体视觉主要用于跟踪，因为这可以简化分割问题。除了使用立体视觉，我们还重新将视差映射到我们称为“占用图”的内容，该图是对场景视差的正交重投影，位于视场内。在本节中，我们将讨论如何创建占用图，以及我们如何使用高斯混合模型在占用图中跟踪人员。 ### 4.1 占用地图 透视失真会导致图像边界附近的立体块变形，因为人们对着相机呈现出更多的侧面。如图 3a 所示，这种变形方向是朝向相机的光学中心。如果我们可以从垂直投影对图像进行重采样，那么立体块应该更加紧凑，并且更容易进行数学建模。从立体图像进行三维重建，使我们的系统能够执行正交重采样。此外，可以通过使用查找表在实时计算重采样图像。 ![Image](images/2386ce17ef587e167ccc330722c323a48b06ba142cdde2a96fc682213395f3d4.jpg)
(a)
(b)
Figure 3: (a) A person's projection is more compact under orthographic projection than perspective, and (b) the division of the VOI into buckets.
我们将重采样后的图像称为占用图。如图 3b 所示，占用图将 VOI 的 X-Y 平面划分为一组离散的垂直桶。在位置 $occ(X_{VOI}, Y_{VOI})$，我们累加所有落入相应桶的视差像素。我们也可以从视差图像反过来查看像素如何映射到占用图。给定图像的视差为 $(x, y, \text{disp})$，我们首先在 3D 中重建点 $(X, Y, Z)$，然后使用简单的窗口变换将其映射到 $(X_{VOI}, Y_{VOI})$ $(X, Y)$。最后，我们递增 $occ(X_{VOI}, Y_{VOI})$ 的值。 由于图像中离物体更近的物体看起来更大，因此让每个视差像素 $(x,y,disp)$ 对 $occ(X_{VOI},Y_{VOI})$ 做出固定贡献，会更倾向于离物体更近的物体。因此，需要一种技术来补偿像素的深度。使用视差方程 $Z=bf/disp$，其中 b 和 f 分别是基线和焦距，可以很容易地证明，通过 $occ(X_{VOI},Y_{VOI})$ 递增 $disp_{nom}/disp$ 可以补偿范围，其中累积值为 1，对于视差为 $disp_{nom}$ 的像素。图 4 显示了一个占用图的示例。我们始终对占用图进行平滑，以补偿图像噪声和立体匹配误差。 ### 4.2 使用高斯混合模型的跟踪 由于头部和躯干像素在占用图中映射到高斯块，因此我们探索了使用高斯混合模型来近似占用图 $occ(x, y)$。（在本节中，我们使用小写 x 和 ![Image](images/54112f20d8b77d04dcdfcaefcaffff385a0a248ac0dcd78dd8e08d57ab468056.jpg)
Figure 4: Stereo disparities are first filtered using the VOI and then orthographically reprojected to produce the occupancy map.
--- y 来索引占用图）。正在跟踪的每个个体都由混合模型中的单个高斯分量表示。跟踪过程因此由 $occ(x, y)$ 的函数逼近驱动。 已探索两种混合模型来表示占用。混合模型 G 由 n 个高斯分量 $G_{i}$ 组成，其中 $$ G_{i}(x,y;x_{i},y_{i},s_{i},\sigma_{i})=s_{i}e^{-\frac{[(x-\bar{x}_{i})^{2}+(y-y_{i})^{2}]}{\sigma_{i}^{2}}} $$ 为了简洁起见，我们经常省略参数 $x_{i}, y_{i}, s_{i}$ 和 $\sigma_{i}$，并将 $G_{i}$ 写为 $G_{i}(x, y)$。我们探索了： 1. 累加混合模型： $G(x, y) = \sum_{i=1}^{n} G_{i}(x, y)$ 2. 竞争混合模型： $G(x, y) = \max_{i=1} \tilde{G}_i(x, y)$ 这两种模型的区别在于，竞争模型明确地将占用图进行分割。也就是说，跟踪的单个高斯分量 $G_{i}$（即正在跟踪的人 i）声明像素集 $$ \left\{(x,y)\mid G_{i}(x,y)>G_{j}(x,y),j\neq i\right\} $$ 累加模型更加宽松，允许多个高斯分量解释给定 $(x, y)$ 的占用。我们发现，当两个人彼此靠近时，这种累加混合会降低高斯分量锁定 $occ(x, y)$ 的个体模式的能力，尽管总体逼近效果良好。竞争模型能够更好地跟踪 $occ(x, y)$ 的模式，即使对于一群人也是如此。 跟踪器的“测量”步骤通过迭代执行分割和参数更新步骤，将竞争性混合模型拟合到占用图。 对于 n 个人，测量过程如下： 迭代直到高斯参数稳定 对于每个 i 个人： 分割： $mask_i(x, y) = \{(x, y) | G_i(x, y) > G_j(x, y), j \neq i\}$ 更新 $G_i$：最小化 $\sum_{mask_i}(occ(x, y) - G_i(x, y))^2$ using one step of Newton-Raphson iteration. 图 5 显示了此拟合过程的一个示例。 在该方案中，系统通过查找高于阈值的 $(occ(x,y)-G(x,y))$ 中的局部最大值来检测新的人。 更多细节将在下一节中给出，该节提供了系统的完整描述。 ![Image](images/d76e3d8ecd7a72d9afe1254515cc2e7fb7adb57be6423cadacf53e383d3acf4f.jpg)
Figure 5: The measurement process in the tracker approximates $occ(x,y)$ with a mixture of Gaussians $G(x,y)$.
## 5 目标计数算法 目标计数系统的目标是计算进出门口的人数。 图 6 显示了整个系统的流程图，从立体视觉到目标跟踪分类。 在本节中，我们将详细介绍整个计数系统。 ### 5.1 立体视觉和占用图 对于立体视觉，我们使用 SRI 的 Small Vision System，这是一种实时、基于面积相关性的立体视觉实现，可在标准 PC 硬件上运行 [^19]。 请参阅图 4，了解视差图的示例，其中较深的灰色表示较大的视差和更近的物体。 为了在额外周期内确保在帧速率下运行立体视觉，以便为跟踪器提供额外的计算资源，我们以 $160 \times 120$ 的速率捕获图像，并在 16 个视差上计算立体视觉。 使用表查找在感兴趣区域 (VOI) 内的像素进行分割，并将像素投影到占用图。 对于每个可能的 x、y 和视差 disp，我们需要存储 (1) 一个“在感兴趣区域内”的分割位，以及 (2) 如果像素确实在感兴趣区域内，则存储坐标 $(X_{VOI}, Y_{VOI})$。 因此，用于分割和感兴趣区域坐标的表是三维的，索引为 x、y 和 disp。 我们的表大小合理 (总计 2.6 MB)，但这归因于我们减少的图像大小。 这些表在离线状态下生成，当相机校准和感兴趣区域已知时。 对于每个 x、y、disp 三元组，我们重建 3D 空间中的点 $(X,Y,Z)$，如果 3D 点位于感兴趣区域内，则设置分割位。 对于内部点，我们将 X 和 Y 坐标映射到正确的桶中 (图 3b)，并将感兴趣区域坐标存储在第二个表中。 在运行时，我们可以轻松测试视差是否在感兴趣区域内，并立即将其映射到占用图。 占用图传递给跟踪和检测模块。 ### 5.2 跟踪和检测 如前一节所述，每个人都由一个高斯函数表示，该函数跟踪他们在占用图中的运动。 因此，一个人状态向量的主要部分是参数化 $(x_{i}, y_{i}, s_{i}, \sigma_{i})$ 的向量 --- ![Image](images/0729e400b3db47912bbf766cda5ad9035f0c6cce864c9d51850008475efb2f12.jpg)
Figure 6: Flowchart of the person counting system.
高斯函数。 此外，使用卡尔曼滤波器跟踪人的位置 $(x_{i}, y_{i})$；卡尔曼滤波器维护位置和速度 $(x_{i}, y_{i}, \dot{x}_{i}, \dot{y}_{i})$，并假设简单的恒定速度运动模型。 跟踪器遵循一个简单的卡尔曼滤波器框架，其中高斯混合建模是“测量”过程。 对于每个人，我们预测期望的位置 $(x_{i}, y_{i})$ 在占用图中；此位置用作高斯拟合过程的初始条件。 接下来，我们运行第 4.2 节中描述的测量过程以更新高斯位置。 ![Image](images/15ebafc8c1e431c295ebeab87906efeec8df7d38213957eb452ca8617e58a146.jpg)
(a)
![Image](images/cc3c1ee11d7e5c53417dd7fbdafd35b3c6f2b2038471999bf5fca9ddbd66dd61.jpg)
(b)
![Image](images/2f22c12d6360d04ea6bd8a2b3c277adfd6188b24b944b80a23d178efbe1d88ea.jpg)
(c)
![Image](images/6ece402779797cf1988e12250b8ad8393e122cd983d383e4a5290da3e95b49f2.jpg)
(d)
Figure 7: Tracker results: (a) the occupancy map computed from (b) with Gaussian centroids plotted as circles. In (b), person locations are plotted by projecting a 3D vertical bar. In (c), a complete track over time is shown, with a vertical bar showing the present person location. (d) shows several tracks over time in the occupancy map.
最后，我们对 $(x_{i}, y_{i}, \dot{x}_{i}, \dot{y}_{i})$ 执行卡尔曼滤波更新。图 7 显示了一个跟踪示例，其中 (a) 显示了在从 (b) 计算的占用图中绘制的人员位置，这些位置以圆形表示。在图 7(b) 中，人员位置通过将 3D 垂直条投影到 3D 高斯质心来绘制。在图 7(c) 中，我们显示了随时间变化的轨迹，其中一条垂直条表示当前人员的位置。最后，在 (d) 中，显示了占用图中的多个轨迹。 检测进入 VOI 的新人员使用来自跟踪器的残差图像 $R(x, y) = occ(x, y) - G(x, y)$。$R(x, y)$ 包含当前跟踪无法解释的立体数据。检测算法首先对 $R(x, y)$ 进行平滑处理以提高噪声鲁棒性，然后查找高于检测阈值的局部最大值。如果找到局部最大值，我们将拟合一个高斯函数到 $R(x, y)$ 并开始一个新的跟踪。为了避免当一个人在 $occ(x, y)$ 中存在多个模式时出现多次检测的问题，我们进行了一项额外的测试，尝试将新检测与现有跟踪相关联。对于一个潜在的新跟踪和一个现有的跟踪，此关联测试基于 (1) 它们之间的 proximity（接近度），以及 (2) 两个高斯模式之间的 occupancy（占用率）下降。 ### 5.3 跟踪退出和分类 当一个人离开 VOI 时，通过检测到以下情况，其跟踪将被删除： (1) $(x_{i}, y_{i})$ 超出范围， (2) $\sigma_{i} < \text{threshold}$（高斯宽度太窄）， (3) $s_{i}$ < 阈值（占用率太弱）。 跟踪退出后，系统将跟踪分类为四个类别之一，如图 8 所示，该分类基于对跟踪路径的简单几何分析。 "reenter"（重新进入）和 "passby"（经过）类别不影响人员计数，而 "enter"（进入）或 "exit"（退出）事件将分别增加相应的计数。如果跟踪存在以下情况，则会拒绝该跟踪： --- ![Image](images/31446321cc951b10006a346f2bd64d2f4268f31451c37b4d0c3fa4561392209d.jpg)
Figure 8: Categories for track classification.
too short or if they do not fit in one of the four categories.
## 6 实验结果 我们使用在 SRI 校园双门入口处收集的大约 4 小时视频对人员计数器进行了评估。大约 3.5 小时是在 SRI 餐厅的午餐时间收集的，时间跨度为两天，大约 30 分钟是在 SRI 礼堂会议期间收集的。数据被记录到录像机（我们的立体头部将左右视图 interlaced 成单个视频流），并数字化为持续几秒钟到 20 秒的片段。选择片段，以便跟踪分类明确。此外，对于每个片段，我们手动确定地面真实计数；对于第 i 个片段，每个事件类型的计数为 $enter_i^{gt}$、$exit_i^{gt}$、$reenter_i^{gt}$ 和 $passby_i^{gt}$。片段 i 的净计数为 $net_i^{gt} = enter_i^{gt} - exit_i^{gt}$。 接下来，运行人员计数器，记录跟踪计数，类似于 $enter_{i}^{tr}$、$exit_{i}^{tr}$、$reenter_{i}^{tr}$ 和 $passby_{i}^{tr}$。定义了三种误差率： (1) 净计数误差： $error_{NC} = \frac{\sum_{i} |net_{i}^{gt} - net_{i}^{tr}|}{\sum_{i} (enter_{i}^{gt} + exit_{i}^{gt})}$ (2) 进入误差： $error_{enter} = \frac{\sum_{i} |enter_{i}^{gt} - enter_{i}^{tr}|}{\sum_{i} enter_{i}^{gt}}$ (3) 退出误差： $error_{exit} = \frac{\sum_{i} |exit_{i}^{gt} - exit_{i}^{tr}|}{\sum_{i} exit_{i}^{gt}}$ 表 1 显示了我们对三个片段组的误差率，以及总误差率。最重要的数字是左下角的数字：905 个进入/退出事件中有 13 个净计数错误。误差的主要来源是 (1) 较高的人员在占用图中存在“多个模式”，因此会被多次计数，以及 (2) 跟踪分类器会由于跟踪退出时的剧烈运动而拒绝跟踪。
Error rates
Net countEnterExit
Cafe12.1% (10/471)2.1% (5/241)1.8% (4/218)
Cafe20.9% (3/305)2.1% (4/193)1.9% (3/159)
All hands0.0% (0/79)0.0% (0/69)0.0% (0/4)
Total1.4% (13/905)1.8% (9/503)1.8% (7/381)
Table 1: In our experimental results, the system achieved a net count error of 1.4% on 905 enter/exit events.
对于网络计数误差，有可能低于进入和退出误差的总和，因为进入和退出误差可以在一个区域内相互抵消。此外，进入/退出误差率不包括具有“passby”或“reenter”事件的区域，因为跟踪器对这些事件的分类取决于VOI（即，此类事件的路径可以避免VOI；而进入或退出事件无法避免VOI）。 该系统实现了20-25 Hz的帧速率，具体取决于正在跟踪的人数。该时序是在双核Pentium II处理器上以400 MHz运行的（但该系统是单线程的，并且只使用一个处理器）。 ## 7 结论 本文的主要贡献是引入了占用图，并使用高斯混合模型进行多人跟踪。占用图以一种简化相机视角的 way，重新映射立体视差，从而便于后续建模。在我们的人员计数问题中，它将跟踪具有不同深度的不规则形状的blob的问题，转化为跟踪高斯形状的blob的问题。其次，混合模型之前已被应用于建模多峰分布（例如，背景建模）和处理具有歧义的状态空间（例如，多假设跟踪）。我们将其应用于占用图，其中每个峰值对应于一个人，表明它对多人跟踪很有用。 关于人员计数问题，我们已经展示了一个实时系统，该系统可以解析人群，这与当今常用的红外光束系统不同。我们的立体视觉系统通过关注3D感兴趣区域中的像素来分割场景，并将这些像素重新映射到一个称为占用图的正交视图。人员在占用图中通过使用“竞争”高斯混合模型进行跟踪。该系统在400 MHz Pentium II处理器上运行速度为20-25 Hz，并且在包含900个进入/退出事件的测试集中，净计数误差仅为1.4%。 在未来的工作中，我们计划进行更多的现场测试，特别是在百货商店或购物中心。可以通过研究高个子的人在占用图中似乎是多峰的问题来减少误差率。最后，我们希望简化相机标定过程，以便现场技术人员可以执行它。 ## 8 参考文献 ## [^1]: Wren, C., et al., Pfinder: Real-Time Tracking of the Human Body. IEEE Transactions of Pattern Analysis and Machine Intelligence, 1997. 19(7): p. 780-785. --- [^2]: Fieguth, P. and D. Terzopoulos. Color-Based Tracking of Heads and Other Mobile Objects at Video Frame Rates. in IEEE Conference on Computer Vision and Pattern Recognition. 1997. San Juan, Puerto Rico, pp. 21-27. [^3]: Rehg, J.M., M. Loughlin, and K. Waters. Vision for a Smart Kiosk. in IEEE Conference on Computer Vision and Pattern Recognition. 1997. San Juan, Puerto Rico, pp. 690-696. [^4]: Darrell, T., G. Gordon, and M. Harville. Integrated person tracking using stereo, color, and pattern detection. in IEEE Conference on Computer Vision and Pattern Recognition. 1998. Santa Barbara, California, pp. 601-608. [^5]: Krumm, J., et al. Multi-Camera Multi-Person Tracking for Easy Living. in IEEE International Workshop on Visual Surveillance. 2000. Dublin, Ireland. [^6]: Haritaoglu, I., D. Harwood, and L.S. Davis. W'S: A Real-Time System for Detecting and Tracking People in 2 1/2D. in European Conference on Computer Vision. 1998. Freiburg, Germany, pp. 877-892. [^7]: Kanade, T., et al. Advances in Cooperative Multi-Sensor Video Surveillance. in Proceedings of the Image Understanding Workshop. 1998. Monterey, California, pp. 3-24. [^8]: Boult, T.E., et al. Frame-Rate Omnidirectional Surveillance and Tracking of Camoflaged and Occluded Targets. in IEEE International Workshop on Visual Surveillance. 1999. Fort Collins, CO, pp. 48-55. [^9]: Rosales, R. and S. Sclaroff. 3D Trajectory Recovery for Tracking Multiple Objects and Trajectory Guided Recognition of Actions. in IEEE Conference on Computer Vision and Pattern Recognition. 1999. Fort Collins, CO, pp. 117-123. [^10]: Baumberg, A. and D. Hogg. Learning Flexible Models from Image Sequences. in European Conference on Computer Vision. 1994. Stockholm, Sweden, pp. 299-308. [^11]: Isard, M. and A. Blake. Contour Tracking by Stochastic Propagation of Conditional Density. in European Conference on Computer Vision. 1996, pp. 343-356. [^12]: Beymer, D. and K. Konolige. Real-Time Tracking of Multiple People Using Stereo. in IEEE Frame Rate Workshop. 1999. Corfu, Greece. [^13]: Azarbayejani, A., C. Wren, and A. Pentland, Real-Time 3-D Tracking of the Human Body, MIT Media Lab, Technical Report No. 374, 1996 [^14]: Jojic, N., M. Turk, and T.S. Huang. Tracking Self-Occluding Articulated Objects in Dense Disparity Maps. in IEEE International Conference on Computer Vision. 1999. Kerkyra, Greece, pp. 123-130. [^15]: Lin, M.H. Tracking Articulated Objects in Real-Time Range Image Sequences. in IEEE International Conference on Computer Vision. 1999. Kerkyra, Greece, pp. 648-653. [^16]: Grimson, W.E.L., et al. Using Adaptive Tracking to Classify and Monitor Activities in a Site. in IEEE Conference on Computer Vision and Pattern Recognition. 1998. Santa Barbara, California, pp. 22-29. [^17]: Friedman, N. and S. Russell. Image Segmentation in Video Sequences: A Probabilistic Approach. in Proceedings of the Thirteenth Conference on Uncertainty in Artificial Intelligence. 1997. Providence, RI: Morgan Kaufmann. [^18]: Cham, T.-J. and J.M. Rehg. A Multiple Hypothesis Approach to Figure Tracking. in IEEE Conference on Computer Vision and Pattern Recognition. 1999. Fort Collins, CO, pp. 239-245. [^19]: Konolige, K. Small Vision Systems: Hardware and Implementation. in Eighth International Symposium on Robotics Research. 1997. Hayama, Japan, pp. 111-116. [^20]: Tsai, R.Y., A Versatile Camera Calibration Technique for High-Accuracy 3D Machine Vision Metrology Using Off-the-Shelf TV Cameras and Lenses. IEEE Journal of Robotics and Automation, 1987. RA-3(4): p. 323-344.