Fig. 1: JackRabbit, our social robot and data collection platform, is equipped with four LiDAR sensors, three cameras, motion encoders, an IMU sensor, and a microphone.
视频序列[^3]、[^9]、[^12]、[^13]。随着基于LiDAR的三维传感数据系统日益普及，部分基准测试已经开始同时提供二维和三维传感器数据，并针对这类几何信息定义全新的场景理解任务。
---
这类多模态数据集的示例包括KITTI [^7]、牛津机器人汽车数据集（Oxford's Robotic Car）[^15]、Apolloscape [^16]、nuScenes [^17]以及Waymo [^18]。尽管如此，它们的目标应用领域都是自动驾驶：这类数据集提供的数据全部采集自安装在车身上部的传感器套件，且仅覆盖街道、公路和高速公路场景。
本文聚焦于一个独特的视觉领域，专门适配与人类环境（包含室内和室外）导航相关的第一人称感知任务。我们希望这一新领域能为学界提供机会，为各类自主导航智能体开发第一人称视觉感知框架，服务对象不仅包括自动驾驶汽车，也涵盖社交移动机器人这类自主智能体$^{1}$。这类智能体需要从第一人称视角感知并理解室内外场景的上下文，才能成功与人类交互、预测人类在环境中的行为，并将该行为整合到自身的规划与决策过程中。
基于这一研究动机，我们提出了JackRabbit数据集与基准测试（JRDB），这是一个全新的数据集，配套了多个相关视觉基准。我们的数据集包含从移动机器人JackRabbit $^{2}$采集的64分钟传感器数据，共计54段大学校园环境下的室内外序列。我们的数据集在大学校园的拥挤场景中采集室内外数据，这一特点让它独具特色，专门适配人类环境导航相关的感知任务，区别于此前为自动驾驶场景收集的数据集（例如KITTI [^7]）。我们希望该数据集能够支持并推动社交机器人相关多个领域的研究。为此，我们使用了多种视觉、深度和运动传感器来采集该数据集。传感器数据包含双目RGB 360 $^{\circ}$圆柱视频流、来自两个LiDAR传感器的连续三维点云、音频以及GPS传感信息。目前在第一阶段，我们为采集到的数据提供了以下真值标注$^{3}$：a) 每个实体相机拍摄图像以及合成圆柱图像中人类/行人类别的二维边界框；b) 每个二维边界框的遮挡属性；c) LiDAR传感器点云中人类/行人类别的带朝向三维边界框；d) 对应人类/行人的二维与三维边界框之间的关联关系；e) 所有标注人类/行人在二维和三维数据中的时间一致轨迹（跟踪）。所有标签均以高帧率手动标注，可提供准确清晰的二维和三维轨迹。基于这些标注，我们为二维-三维行人检测与跟踪提供了统一标准化基准。我们的二维-三维行人检测与跟踪基准支持对计算机视觉算法的目标检测、三维朝向估计和多目标跟踪性能进行评估。
我们推出全新的JRDB数据集，旨在填补机器人与计算机视觉领域对大规模多模态标注室内外第一人称视角数据的需求空白。我们希望JRDB中的数据及配套基准能够推动人类环境中自主智能体第一人称视角感知领域的研究与发展。在本论文余下部分，我们首先介绍了用于采集数据集多模态信号的传感器配置（第2节）、JRDB收录的采集数据（第3节），以及JRDB包含的真值标注（第4.3节）。随后，我们将JRDB与其他现有数据集进行对比（第4.4节）。接着我们介绍JRDB的评估基准与指标（第6节），并在JRDB的挑战性数据上对当前最优的检测与跟踪算法进行了评估（第7节），最后给出结论。
## 2 传感器配置：JackRabbit平台
为采集我们的多模态数据集，我们使用了移动操作机器人JackRabbit上搭载的传感器套件（见图1）。JackRabbit（JR）是定制设计的机器人平台，专门适配于在人类环境中导航与交互。导航方面，JR配备赛格威底盘，带有两个主动轮和两个提升稳定性的被动脚轮。操控与物理交互方面，机器人配备了带双指末端执行器的六自由度Kinova Mico机械臂。机器人头部配有一块LCD显示屏，可显示多种面部表情，让JR能够与人类互动并传达意图。显示屏和安装其上的RGB-D相机由两台Maxon电机主动控制，可提供二自由度的俯仰-偏转运动。
JackRabbit平台搭载了多种视觉、音频、深度和运动传感器，如图1所示。下文我们将列出最核心的传感器参数。
- $2 \times$ Velodyne 16 Puck LITE旋转3D激光扫描仪，扫描频率10Hz，共16束激光， $0.09^\circ$角分辨率，测距精度2cm，每秒采集约130万个点，水平视场范围为 $360^\circ$，垂直视场范围为 $26.8^\circ$，测量范围为2m至100m。
- $2 \times$ SICK LMS500-20000旋转3D激光扫描仪，扫描频率25Hz，单束激光， $0.167^{\circ}$角分辨率，测距精度3cm，水平视场范围为 $190^{\circ}$，测量范围为0.1m至80m。
- Occam公司生产的柱面立体传感器套件，由两组各5台RGB相机组成。单台相机的分辨率为 $752 \times 480$。每组的图像会拼接为一张柱面 $360^{\circ}$全景图像。
理光（Ricoh）360°鱼眼RGB相机（Theta型号），分辨率为$1280 \times 720$，帧率15fps。
ZED RGB-D立体相机，分辨率为$672 \times 376$，帧率15fps。
• 数字麦克风。
• 六维（6D）惯性测量单元（IMU）。
位置编码器分别安装在底盘的每个主动轮、机械臂的关节与手指，以及头部俯仰-偏转单元的电机上。
尽管我们的数据集包含上述所有传感器的信息，但在第一阶段标注工作中，我们仅对两台Velodyne 16激光雷达的点云，以及$360^{\circ}$柱面立体相机其中一组的图像进行了标注。
JackRabbit还配备了包含两块Nvidia GPU的车载计算单元。该车载计算机运行Linux 16.04和ROS（机器人操作系统）Kinetic，我们使用它以rosbag的形式收集多模态同步信号。
---
Fig. 2: Sample visualization of the dataset (best seen in color). For each subfigure, top: 2D stitched $360^{\circ}$ panoarama with human-annotated 2D bounding boxes, bottom: 3D Velodyne point clouds with human-annotated 3D oriented bounding boxes. In order to demonstrate the accuracy of camera registration, we visualize 3D point clouds with color extracted from the projected 2D RGB stitched 360 panorama image. Our dataset captures a variety of pedestrian density, indoor/outdoor scenes, and moving/stationary robot. Additional visualizations for all scenes in Fig. A.3 in the Appendix.
## 3 采集数据
为构建JRDB数据集，我们从所有传感器采集时间同步数据并存储在车载计算机中。数据采集自大学校园环境的30个不同室内外位置，最终得到33段室内序列和21段室外序列。其中32段序列由移动机器人采集，22段由静止位置采集，覆盖光照等各类变化的无控环境条件以及其他自然动态元素。对于重复访问的位置，我们会在同一天的同一时段从不同视角采集数据，例如同一建筑内的门厅和走廊，或是同一位置的静止与移动采集设置。数据采集环境涵盖大学校园建筑的门厅与走廊、实验室与大教室出口、步行区、广场、美食城、人行道、人行横道、室内庭院与餐厅（完整概览参见图A.3）。我们还确保采集的数据覆盖了室内外环境不同人群密度下，人类自然姿态、行为和社交活动的各类变化。
JackRabbit数据集包含从多模态机器人传感器流中采集的54段传感器序列，具体包括：
- 来自立体圆柱$360^{\circ}$RGB相机的15fps视频流（原始数据分别由两行各5台RGB相机采集），
来自两台16线Velodyne激光雷达的连续三维点云。
• 30fps的RGB-D视频流。
- 鱼眼相机采集的$360^{\circ}$球面图像。
- 两台Sick激光雷达采集的线阵三维点云。
• 音频信号。
机器人车轮、机械关节和头部电机的编码器值。
## 4 JRDB的标注与标签
我们的JRDB数据集包含标注：二维立体图像中的所有行人对应二维边界框，三维点云中的所有行人对应三维边界框。我们还为场景中的每个人标注了唯一ID，该ID在同一序列内、整个序列的二维和三维标注中均保持一致。这种二维-三维时间一致的标注可用于训练和评估多种方案，我们将在第6节中进行介绍。下文我们将讨论标注的细节，包括标注流程、边界框参数化以及额外元数据。
---
### 4.1 标注流程
标注工作由一组接受过该任务专门培训的标注员完成。由于室内环境中行人的运动模式变化快且不规则，我们以7.5Hz的频率进行标注，即每接收两组来自2D RGB立体圆柱传感器套件的激光雷达点云和同步图像，标注一次。标注流程如下：首先，标注点云中每个行人周围的三维包围框。我们在融合两个Velodyne 16激光雷达信号得到的组合点云中对每个行人进行手动标注。如果行人未完全可见，标注包围框时将采用行人完整尺寸的假设。对每个行人，包围框的高、宽、长为固定值：宽度适配行人肩宽，前后预留足够空间以覆盖行走过程中摆臂的范围。由于点云较为稀疏，尤其是远距离处的点云，标注过程中会显示场景对应的2D RGB图像，为标注员提供辅助。只要行人至少在一帧中可见（例如点云中至少有50个点属于该行人），我们就会在所有帧中对该行人进行标注。标注按序列完成，整个序列中同一行人会被分配相同的ID标签。
完成三维标注后，我们将包围框投影到立体圆柱相机套件顶排五个相机中每个相机的图像平面上（变换细节参见附录A.1）。该投影为同时在点云和图像中可见的行人提供了二维包围框的初始近似。随后我们对投影结果进行手动调整，使其准确匹配行人尺寸。如果行人未完全可见，二维包围框标注时同样采用行人完整尺寸的假设，且包围框需要包含整个人体，包括腿部和手臂。我们还额外添加了二维包围框，用来标注仅在2D RGB图像中可见、未出现在点云中的行人。经过这一步标注后，我们得到了点云以及五个相机图像中具有时间一致性的标注结果。
为了给研究基于圆柱全景图像方法的研究人员提供标注数据，我们将圆柱立体传感器套件顶排五个相机图像中的二维标注合并为一张统一的圆柱图像。我们采用合成圆柱图像时使用的相同映射（参见附录A.1），得到每个二维包围框四个角在$360^{\circ}$圆柱图像中的坐标。利用每个行人的唯一ID，我们为每个行人的所有角点计算出最紧凑的轴对齐包围矩形。少数情况下，由于我们的圆柱图像覆盖整个$360^{\circ}$，同一个行人会同时出现在图像的左右边界。对于这类情况，我们用包围框左上角的$(u, v)$坐标和一个延伸超出图像右边界的宽度来表示。标注合并到$360^{\circ}$图像后的结果可参见图2。最后一步，我们通过线性插值将标注从7.5Hz上采样到15Hz。
### 4.2 三维包围框标签
对于点云中每个可见的行人，我们会标注一个三维包围框，并附带以下元数据：
- label_id：行人的唯一ID，在二维标注、三维标注之间以及同一序列内保持一致
- box：我们采用轴对齐的3D包围框。3D包围框由长方体中心位置$(c_{x}, c_{y}, c_{z})$、包围框尺寸$(h, w, l)$，以及绕重力方向（z轴）的旋转角$r_{z}$参数化定义。
- interpolated：标记，用于指示该帧的标注是人工标注（7.5Hz）的直接产物，还是通过对人工标注帧插值生成的（插值到15Hz）。
- num_points：3D包围框内点云包含的点数。
• distance：传感器到行人的距离。
no_eval：指示该标注不满足第6节所述检测器/跟踪器评估所有纳入条件的标记。
- observation_angle：相对于机器人前进方向的角度。我们设定机器人前进方向为x方向，因此中心位于$(c_x, c_y, c_z)$的包围框的观测角由$\tan^{-1}\left(\frac{-c_y}{c_x}\right)$给出。
### 4.3 2D 包围框标注
对于立体圆柱传感器组上排五个相机拍摄的2D RGB图像中每个可见的行人，我们都标注了2D包围框，并附带以下元数据：
- label_id：行人的唯一ID，在同一序列的2D和3D标注之间、整个序列的全时间范围内保持一致，且在五个标注相机图像之间一致。
- box：2D包围框由包围框左上角位置$(u, v)$，以及2D包围框的尺寸$(w, h)$参数化定义。
truncated：指示目标是否超出图像上下边界的标记。
- occlusion：图像中行人的遮挡等级，我们分为以下四个等级：Fully_visible（无遮挡）、Mostly_visible（可见度超过50%）、Severely_occluded（遮挡超过50%）、Fully_occluded（完全不可见）。
- interpolated：指示该帧中的标注是人工标注（7.5Hz）的直接产物，还是通过对人工标注帧插值得到的（插值到15Hz）的标记。
no_eval：指示该标注不满足第6节所述检测器/跟踪器基准评估所有纳入条件的标记。
- area：包围框的面积，单位为像素$^{2}$。
### 4.4 数据划分与统计
为了提供基准测试，我们将54个采集得到的序列平均划分为训练-验证集和测试集。我们从27个训练-验证序列中选出7个（占该划分的25%）作为推荐的验证划分。我们的目标是让训练-验证集和测试集中，都包含相同数量的由静止或移动机器人采集的室内、室外序列。此外，我们确保训练-验证集和测试集都包含多样的场景，同时拥有相近的标注统计结果（参见Tab. 1和Fig. 3-6）。
所有相关的采集数据，即点云流、圆柱立体传感器组各单相机的图像，以及$360^{\circ}$全景拼接图像、训练集和测试集的额外传感器信号，还有训练集的标注
---
Fig. 3: Histogram of areas of annotated 2D bounding boxes along with the Kernel Density Estimate. Train-validation and test sets show similar distributions (comparison between train and validation in Appendix, Fig. A.2). Our dataset contains a large number of frames in indoor scenes where people are closer to the robot, resulting in boxes with areas over 10000 pixel $^{2}$. However, most boxes present an area of less than 10000 pixel $^{2}$ as most annotated pedestrians are at 5 m or further.
Fig. 4: Histogram of distances of 3D bounding boxes to the sensor location. The distribution remains relatively unchanged between train-validation and test sets (comparison between train and validation in Appendix, Fig. A.2). Our dataset contains a large number of frames of indoor scenes where people tend to be closer to the robot, yielding a distribution with a mode at approximately 5m, which is quite different to existing datasets for autonomous cars. The long-tailed nature of the distribution is due to outdoor scenes, with some annotations as far as 80m from JackRabbit.
可在公开下载。我们排除了每个序列末尾的5.2秒数据；该数据暂不公开，以便用于未来的预测基准测试集。
## 5 JRDB：一个具备独特特性的数据集
在本节中，我们进一步凸显了我们的JRDB数据集相较于现有相关数据集的独特且富有挑战性的特性，这些数据集包括来自移动相机或监控录像的热门行人跟踪基准，例如MOT17 [^9] 和 MOT20 [^11]，以及自动驾驶基准，例如KITTI [^20]、ApolloScape [^21]、BDD100K [^22]、NuScenes [^17] 和 Waymo [^18]。表1总结了
(a) Train-Validation Set
(b) Test Set
图5：数据集划分的训练-验证集与测试集中，机器人周围人员空间分布的核密度估计（KDE）（训练集与验证集的对比见附录图A.2）。在JackRabbit近邻区域，人员在所有方向均匀分布，但随着距离增加，人员倾向于沿X轴分布（相对于基座坐标系，即机器人的前后方向）。这是因为机器人在户外沿直步道行驶，在室内沿走廊行驶。距离单位为米。
(a) Train-Validation Set
(b) Test Set
Fig. 6: Distribution of occlusion levels (or lack thereof) in train-validation and test sets (comparison between train and validation in Appendix, Fig. A.2). JRDB considers four levels of occlusion: fully occluded, severely occluded, mostly occluded and fully visible. Approximately two thirds of the total number of boxes in both the train and test sets are more than 50% visible.
我们这个全新数据集的相关统计数据。表2从核心统计指标层面对比了JRDB与上述所有数据集。我们发现，JRDB是唯一一个同时包含室内和室外数据的多模态数据集，它拥有数量最多的带标注行人二维边界框，以及数量第二多的带标注三维边界框。
MOTChallenge数据集 [^8]、[^9]、[^10]、[^11] 是行人检测与跟踪领域最受欢迎的基准数据集之一，它为视频中的所有行人提供了高质量的人工二维检测与跟踪标注，这些视频主要由移动相机或监控相机在不同户外场景采集得到。与MOTChallenge数据集相比，JRDB数据拥有更多样的场景、更多的序列、帧数和二维边界框标注，且行人标注的包围紧凑度质量可与前者媲美。此外，JRDB数据还包含三维传感器信号，即激光雷达LiDAR，以及三维边界框和三维跟踪标注。
---
| Data Split
Data Statistics | Train-Validation Set | Test Set |
| Indoor | Outdoor | Stationary | Moving | Total | Indoor | Outdoor | Stationary | Moving | Total |
| Number of sequences | 17 | 10 | 11 | 16 | 27 | 16 | 11 | 11 | 16 | 27 |
| Number of frames | 19248 | 8699 | 12248 | 15699 | 27947 | 17408 | 12359 | 12217 | 17550 | 29767 |
| Number of 2D Boxes | 765K | 324K | 419K | 670K | 1.09M | 868K | 405K | 587K | 686K | 1.27M |
| Number of 2D tracks | 1229 | 564 | 622 | 1171 | 1793 | 1201 | 617 | 785 | 1033 | 1818 |
| Avg. track length in frames (2D) | 475.7 | 457.8 | 506.3 | 450.9 | 470.0 | 567.9 | 534.3 | 600.1 | 523.3 | 556.5 |
| Number of 3D Boxes | 578K | 254K | 312K | 520K | 832K | 671K | 324K | 466K | 529K | 995K |
| Number of 3D tracks | 1220 | 554 | 612 | 1162 | 1774 | 1186 | 611 | 780 | 1017 | 1797 |
| Avg. track length in frames (3D) | 473.7 | 459.3 | 509.8 | 447.8 | 469.2 | 566.1 | 529.9 | 597.7 | 520.1 | 553.8 |
TABLE 1: Statistical analysis of the data in JRDB. 2D statistics aggregate the five individual cameras used to construct the $360^{\circ}$ cylindrical RGB images.
| Name (year) | # Sequences | Indoor/Outdoor | # Frames | # 2D BBx | # 3D BBx | # 2D Tracks | # 3D Tracks |
| MOT17 (2017) | 14 | Outdoor only | 34K | 290K | - | 1.3K | - |
| MOT20 (2020) | 8 | Indoor & Outdoor | 13K | 1.6M | - | 3.6K | - |
| KITTI (2013) | 22 | Outdoor only | 15K | 6K | 6K | 900 | - |
| ApolloScape (2018) | 4 | Outdoor only | 93K | - | 16.2K | - | 646 |
| BDD100K (2018) | 1600 | Outdoor only | 318K | 440K | - | 24K | - |
| NuScenes (2019) | 1000 | Outdoor only | 1.4M | - | 232K | - | 11.4K |
| Waymo (2019) | 1150 | Outdoor only | 600K | 2.1M | 2.8M | 45K | 23K |
| JRDB (2020) | 54 | Indoor & Outdoor | 28K | 2.4M | 1.8M | 3.5K | 3.5K |
TABLE 2: Comparing statistics between JRDB and similar existing datasets. Reported numbers are for annotations of pedestrians/humans in the tracking portion of these datasets. # = Number, K = Thousand, M = Million, and BBx = Bounding Box.
(a) JRDB
(b) MOT17 [^9]
(c) MOT20 [^11]
(d) KITTI [^20]
(e) Waymo [^18]
Fig. 1: Comparison between JRDB and similar existing datasets and benchmarks (MOT17, MOT20, KITTI, Waymo). Top row: 2D bounding box area divided by image area in training dataset. JRDB contains images where the pedestrians occupy a larger portion due to its closer proximity to people, while keeping a greater variance in sizes than other datasets. Bottom row: Amount of continuous time tracks are fully-occluded in training datasets. JRDB has longer and more diverse lengths in occluded track periods indicating more complex occlusion patterns caused by the robot's point of view and the higher density of the crowd. Note that long tails past end of graph are not shown.
这为研究和开发在三维欧几里得坐标（一个更自然的空间）中感知人类运动与行为的方法提供了机会。
与近年的自动驾驶数据集相比，JRDB数据包含的序列、帧和轨迹数量可能更少。然而，JRDB标注的2D和3D bounding box数量与上述数据集相当甚至更高（见Tab. 2）。这表明JRDB每个序列中都包含更长的行人轨迹，且标注的时间分辨率显著更高，达到7.5 Hz，再插值得到原始传感器频率15 Hz，因此共有50%的传感器数据标注了真实值2D和3D bounding box。这种高帧率标注对于感知和分析细粒度、复杂的人类运动至关重要，在室内场景中尤为明显：人类轨迹在户外街道环境中通常更线性、规律，而在室内环境、其他行人区域或行人数量极多的场景中，人类轨迹更复杂，突变也更多。此外，由于JRDB序列是在靠近人类的室内和室外环境中采集的，与其他自动驾驶数据集相比，它包含非常独特的场景和更高的多样性（所有场景的可视化见附录中的Fig. A.3）。另外，尽管JRDB包含的序列数量不多，但足以将其划分为训练集和测试集，二者都能相似地体现场景的分布，这一点我们已经在实验评估中通过实证验证（相关讨论
---
(a) Indoor scenes including many natural indoor occluders such as desks and chairs (bytes-cafe-2019-02-07_0 and forbes-cafe-2019-01-22_0)
(c) Outdoor scenes with large variation of distance from the robot (huang-lane-2019-02-12_0 and memorial-court-2019-03-16_0)
(d) Very crowded scenes (tressider-2019-04-26_2 and packard-poster-session-2019-03-20_2)
Fig. 8: Bird's-eye view of LiDAR point clouds and 3D bounding box annotations of eight different JRDB sequences, including indoors and outdoors. The green boxes indicate pedestrians. JRDB includes an extremely large number of pedestrians at different distances and orientation to the sensors, including very close proximity ( $\approx$1 m) or very distant (>50 m), with social groups and clusters related to human walking patterns and activities, and navigation patterns strongly affected by the indoor and outdoor physical constraints. Other natural complexities such as cluttered indoor objects and stairs add to its challenges.
见Sec. 7.1和Sec. 7.3）。
此外，监控数据集或从汽车顶部采集的自动驾驶数据集采用高视角传感设置，与之相比，JRDB序列是从与人等高的机器人上采集的。因此，其传感器的第一人称感知视角自然带来了额外的独特特征，例如相机视角下2D bounding box的尺寸变化更大，行人被部分遮挡和完全遮挡的持续时间更长。在存在大量天然遮挡物的室内序列中，遮挡问题会更加严重。在Fig. 7中，我们给出了JRDB序列与MOT17、MOT20、KITTI和Waymo等同类数据集相比的尺寸变化和完全遮挡持续时间的评估结果。
Fig. 8展示了JRDB序列的几个示例，说明了它的部分独特特征和挑战，例如：a) 咖啡馆、餐厅或教室等室内拥挤序列，b) 包含不同高度行走区域的序列，部分序列还设有楼梯，c) 行人相对于机器人的距离和朝向差异很大的户外序列，d) 视野中包含超过200人的极度拥挤序列。在Sec. 7中，我们将展示这些挑战会如何影响当前最优2D和3D检测与跟踪方法的性能。
## 6 基准测试与评估指标
基于我们在RGB图像和LiDAR点云中完成的关联标注，我们目前提出以下四项基准测试：
• 2D行人检测（图像中）
• 3D行人检测
• 2D行人跟踪（图像中）
• 3D行人跟踪
参与者可自由为每项任务使用任意可用传感器模态，例如，参与者可以使用RGB图像和3D点云完成2D人体检测或3D人体跟踪。
下文我们将介绍用于检测和跟踪任务的评估标准和指标。
### 6.1 交并比（Intersection over Union，IoU）
交并比（Intersection over Union, IoU）是最常用的衡量两个形状之间相似度的指标，例如在边界框任务中，因此它是许多检测和跟踪性能评估标准实际上的基础相似度度量。我们同样使用该相似度度量作为基础指标，来比较二维或三维场景下的两个边界框。
给定两个边界框，即$b_p, b_g \subset \mathbb{R}^\ell$，对于二维和三维场景，$\ell = 2$分别对应2或3，IoU的计算方式为：
$$ I o U(b_{p},b_{g})=\frac{|b_{p}\cap b_{g}|}{|b_{p}\cup b_{g}|}=\frac{|b_{p}\cap b_{g}|}{|b_{p}|+|b_{g}|-|b_{p}\cap b_{g}|}, $$
其中 $IoU(\cdot,\cdot) \in [0;1]$ 和 $|\cdot|$ 表示超体积。
对于需要对比两组轴对齐边界框的二维检测与跟踪任务，任意一对边界框之间的IoU计算都有直观的解析解[^23]。在这种情况下，两个轴对齐边界框的交集（即 $I(b_p, b_g) = |b_p \cap b_g|$）同样是轴对齐边界框，其顶点坐标可以直接通过对$b_p$ 和 $b_g$的各顶点坐标使用最小值和最大值函数比较得到[^23]。
在本文数据集的三维场景中，预测边界框和真值边界框（即 $b_{p}$ 和 $b_{g}$）通常是两个任意大小的长方体，可绕垂直于地平面的轴旋转一个角度。因此，这两个长方体的任意交集 $I(b_{p}, b_{g})$ 都会形成一个直棱柱，其底面是任意的二维凸多边形。要计算该直棱柱（即 $I(b_{p}, b_{g})$）的体积，我们首先计算该二维多边形的面积，再将该面积乘以 $b_{p}$ 和 $b_{g}$ 之间的最小高度。
为了计算该二维多边形表面的面积，我们结合萨瑟兰-霍奇曼（Sutherland-Hodgman）算法[^24]和鞋带公式（又称测量员公式）来计算二维
---
多边形。萨瑟兰-霍奇曼算法是一种用于裁剪凸多边形的算法。给定两个未与坐标轴对齐的2D边界框，$\hat{b}_{p}$和$\hat{b}_{g}$（考虑长方体从鸟瞰视角得到的投影），我们延长$\hat{b}_{g}$的每条线段以裁剪$\hat{b}_{p}$的边，即$\hat{b}_{p}$的边被限制在$\hat{b}_{g}$的范围内。最终裁剪得到的多边形即为相交区域。给定该多边形按顺时针顺序排序的顶点集合，我们应用鞋带公式计算其面积。鞋带公式如下：
$$ I(\hat{b}_{p},\hat{b}_{g})=\frac{1}{2}|\sum_{i=1}^{n-1}\alpha_{i}\beta_{i+1}+\alpha_{n}\beta_{1}-\sum_{i=1}^{n-1}\alpha_{i+1}\beta_{i}-\alpha_{1}\beta_{n}|. $$
其中 $I(\hat{b}_{p},\hat{b}_{g})$ 是 $\hat{b}_{p}$ 和 $\hat{b}_{g}$ 之间相交多边形的面积，该多边形共有n个顶点 $(\alpha_{1},\beta_{1}),(\alpha_{2},\beta_{2})\ldots(\alpha_{n},\beta_{n})$。
### 6.2 检测基准评估
我们使用两个标准评估二维和三维检测性能：(i) 平均精度（Average Precision, AP），它是目标检测基准最广泛使用的性能度量[^2]、[^20]、[^25]；(ii) 一种新的基于IoU的最优子模式分配（optimal sub-pattern assignment, OSPA $_{IoU}$）度量，用于计算两组形状（例如二维和三维边界框）之间的距离[^26]。
本文的目标是得到一个度量（或指标），用于定义一组预测边界框 $B_p = \{b_p^1, ..., b_p^n\}$ 和一组真值边界框 $B_g = \{b_g^1, ..., b_g^m\}$ 之间的相似度（或距离）。
平均精度（Average Precision, AP）：AP的取值基于预测集真正例的概念，真正例通过将预测边界框与真值边界框匹配得到，要求二者之间的交并比（IoU）大于指定阈值，$t_{r}$。
我们将预测边界框集合和真值边界框集合分别记为 $B_p = \{b_p^1, ..., b_p^n\}$ 和 $B_g = \{b_g^1, ..., b_g^m\}$，真正例集合是预测框的一个子集，即 $B_{TP} \subset B_p$，满足以下条件：
$$ B_{T P}=\{b_{p}^{i}|\forall i\in\{1,\cdots,n\},I o U\left(b_{p}^{i},b_{g}^{\pi^{*}(i)}\right)\geq t r\}, $$
其中 $b_g^{\pi^*(i)}$ 是真值边界框集合 $B_g$ 中对应预测框 $b_p^i$ 的唯一匹配边界框。预测集和真值集之间的所有匹配分配都通过 $\pi^* = \arg\max_{\pi \in \Pi_n} \sum_{i=1}^n I o U(b_p^i, b_g^{\pi(i)})$ 得到。需要注意的是，如果 $m \geq n$，那么在求解分配问题后，每个预测框 $b_p^i$ 都能得到一个匹配结果 $b_g^{\pi^*(i)}$。反之，部分 $b_p^i$ 可能无法匹配到任何真值框，因此也会被排除出真正例列表。与现有所有主流目标检测基准 [^2]、[^20]、[^25] 类似，在我们的基准中，我们采用非最优的贪心分配策略求解分配问题 $^4$。
接下来，精确率（precision）和召回率（recall）分别通过 $Pr = \frac{|B_{TP}|}{n}$ 和 $Rc = \frac{|B_{TP}|}{m}$ 计算，其中 $|B_{TP}|$ 是真正例集合的基数（即真正例的数量）。
最后，和Pascal VOC2008 [^25] 中的做法一致，我们对11点插值精度取平均来计算平均精度均值：
$$ AP=\frac{1}{11}\sum_{R c=0:0.1:1}\max_{\widetilde{R c}:\widetilde{R c}\geq R c}\quad Pr(\widetilde{R c}) $$
其中 $Pr(Rc)$ 是召回率为Rc时测得的精确率。
在我们的基准中，若预测边界框与真实边界框之间的IoU满足：二维检测中大于0.5、三维检测中大于0.3，则该预测被视为真正例。对于二维目标检测基准，仅纳入遮挡程度低于 $Fully\_occluded$ 且面积大于 $500 pixel^{2}$ 的边界框参与基准计算。对于三维目标检测基准，仅纳入包含10个以上点且距离传感器在25米以内的三维框参与基准计算。
尽管AP被广泛使用，但 [^26] 中指出，当我们需要用该指标对基准中的参赛提交结果进行排名时，AP可能是不可靠的性能指标。此外，不同的IoU阈值选择会导致排名发生巨大变化。为此，正如 $OSPA_{IoU}$ 中所示，我们在基准中额外报告 [^26] 作为目标检测的可靠指标。
基于交并比的最优子模式分配（IoU-based Optimal Sub-Pattern Assignment, OSPA $_{IoU}$）：与AP这类基于真正例的度量不同（这类度量依赖预测和真值对之间的IoU阈值来确定真正例），OSPA $_{IoU}$ 是一种基于集合的度量指标，它不需要阈值参数，就可以直接得到两组边界框（即 $d_O$ 和 $B_p = \{b_p^1, ..., b_p^n\}$）之间的距离 $B_g = \{b_g^1, ..., b_g^m\}$。若 $m \geq n > 0$，则 $d_O$ 的计算方式如下：
$$ d_{O}(B_{p},B_{g}){=}\frac{1}{m}\left(\operatorname*{m i n}_{\pi\in\Pi_{m}}\sum_{i{=}1}^{n}d_{I o U}\left(b_{p}^{i},b_{g}^{\pi(i)}\right){+}(n-m)\right) $$
其中 $\Pi_m$ 是 $\{1,2,...,m\}$ 的所有排列构成的集合，且满足 $d_{IoU}(b_p^i, b_g^j) = 1 - IoU(b_p^i, b_g^j) \in [0;1]$。因此可得 $d_O(B_p, B_g) \in [0;1]$。需要注意的是，若 $n > m > 0$；则 $d_O(B_p, B_g) = d_O(B_g, B_p)$。此外，如果其中一个集合为空；则 $d_O(B_p, B_g) = 1$，且 $d_O(\emptyset, \emptyset) = 0$。
请注意，OSPA距离由两类误差组合而成：i) 项$(n-m)$表示两个集合之间的基数不匹配，它对漏检或误检进行惩罚，无需对其给出明确定义；ii) 项$\min_{\pi\in\Pi_m}\sum_{i=1}^n d_{IoU}\left(b_p^i,b_g^{\pi(i)}\right)$对应上一节讨论的等价匹配问题，本质上就是预测边界框与真实边界框之间基于两两IoU距离的分配问题。但与AP不同，OSPA距离不存在基于任意阈值的真阳性定义，最优分配的代价被解释为定位误差。此外，OSPA距离的最优分配可以通过Munkres（匈牙利）算法[^27]在多项式时间复杂度内求得。
### 6.3 多目标跟踪基准测试的评估
我们使用两个标准评估2D和3D多目标跟踪性能：(i) Clear-MOT指标[^28]，它是多目标跟踪基准测试中应用最广泛的性能评价标准[^9]、[^20]；(ii) 基于IoU的OSPA $^{(2)}$（OSPA $_{IoU}^{(2)}$）指标，用于计算2D和3D边界框的两组跟踪轨迹之间的距离[^26]。
---
此处我们的目标是找到一个度量（或指标），用于定义n条预测轨迹组成的集合$\mathcal{B}_p = \{B_p^1(t_{s:e}^1), \ldots, B_p^n(t_{s:e}^n)\}$与m条真实轨迹组成的集合$\mathcal{B}_g = \{B_g^1(t_{s:e}^1), \ldots, B_g^m(t_{s:e}^m)\}$之间的相似度（或距离），其中$B^i(t_{s:e}^i)$是一条$i^{th}$轨迹，它是$t_s^i$到$t_e^i$之间按时间排序的边界框集合，即$B^i(t_{s:e}^i) = (b^i(t_s^i), \cdots, b^i(t_e^i))$。
Clear-MOT指标：该类指标即多目标跟踪准确率（MOTA）和多目标跟踪精度（MOTP），对于包含T帧的序列，其计算方式如下：
i) 对于所有在时刻t存在边界框的预测轨迹和真实轨迹，我们按如下方法得到时刻t的真阳性集合：
$$ \begin{align*}\mathcal{B}_{TP}(t)=\{b^{i}_{p}(t)|\forall i\in\{1,\cdots,n\},\\t^{i}_{s}\leq t\leq t^{i}_{e},IoU\left(b^{i}_{p}(t),b^{\pi^{*}(i)}_{g}(t)\right)\geq tr\},\end{align*} $$
其中$b_g^{\pi^*(i)}(t)$是同一帧中预测框$b_p^i(t)$在时刻t可用真实集合中对应的唯一匹配边界框。预测集合与真实集合之间的所有匹配分配都可通过匈牙利算法根据$\pi^* = \arg\max_{\pi \in \Pi_m} \sum_{i=1}^n I o U(b_p^i(t), b_g^{\pi(i)}(t))$得到最优解。
ii) 接下来，时刻t的假阳性集合$\mathcal{B}_{FP}(t)$通过从同一帧的预测集合中剔除真阳性集合得到。类似地，时刻t的假阴性集合$\mathcal{B}_{FN}(t)$通过从时刻t的真实集合中剔除已匹配的真实边界框集合得到。对于同一真实轨迹，时刻t的ID切换$\mathcal{B}_{ID}(t)$指时刻t的匹配结果与$t-1$的分配结果不匹配。
iii) 最后，MOTA和MOTP分别通过下式计算
$$ MOTA=1-\frac{\sum_{t=1}^{T}\left|\mathcal{B}_{FP}(t)\right|+\left|\mathcal{B}_{FN}(t)\right|+\left|\mathcal{B}_{ID}(t)\right|}{\sum_{t=1}^{T}\left|\mathcal{B}_{g}(t)\right|} $$
$$ M O T P=\frac{\sum_{t=1}^{T}\sum_{i=1}^{n}I o U(b_{p}^{i}(t),b_{g}^{\pi^{*}(i)}(t))\geq t r}{\sum_{t=1}^{T}\left|\mathcal{B}_{g}^{\pi^{*}}(t)\right|} $$
其中 $|\cdot|$ 表示基数， $|\mathcal{B}_g^{\pi^*(t)}|$ 是时刻t与预测匹配的真实轨迹总数。
Clear-MOT指标同样基于预测集合的真阳性概念，通过将每一帧的预测边界框与同一帧的真实边界框进行匹配，仅当两者之间的IoU值大于指定阈值时才判定为真阳性。在我们的基准测试中，对于2D边界框，预测与真实边界框的IoU超过0.5即判定为真阳性；对于3D边界框，该阈值为0.3。我们不对距离超过25米的边界框要求匹配。
与AP类似，Clear-MOT指标被证明对IoU阈值的选择非常敏感，提交结果的排名会因IoU阈值的选择发生明显变化。为此，在我们的基准测试中，我们也按照$_{(IoU)}^{(2)}$中的讨论，报告OSPA [^26]作为多目标跟踪的可靠指标。
基于IoU的OSPA $^{(2)}$ ( $\text{OSPA}_{IoU}^{(2)}$): OSPA $_{IoU}^{(2)}$是一种基于集合的指标，可直接得到两个轨迹集合（即$d_O$和$\mathcal{B}_p = \{B_p^1(t_{s:e}^1), ..., B_p^n(t_{s:e}^n)\}$）之间的距离$\mathcal{B}_g = \{B_g^1(t_{s:e}^1), ..., B_g^m(t_{s:e}^m)\}$，不需要阈值参数。
要得到两个轨迹集合之间有意义的距离，首先需要两条轨迹之间有意义的基础距离。在[^26]中，提出了两条轨迹$B_{p}^{i}(t_{s:e}^{i})$和$B_{g}^{j}(t_{s:e}^{j})$之间如下的时间平均OSPA距离：
$$ \widetilde{\underline{d}}\big(B_{p}^{i}(t_{s:e}^{i}),B_{g}^{j}(t_{s:e}^{j})\big)=\sum_{t=t_{s}^{m}}^{t_{e}^{M}}\frac{d_{O}\left(B_{p}^{i}(t),B_{g}^{j}(t)\right)}{t_{e}^{M}-t_{s}^{m}}, $$
其中$d_{O}(\cdot,\cdot)$是式(2)中的OSPA距离，且$t_{e}^{M}=\max(t_{e}^{i},t_{e}^{j})$和$t_{s}^{m}=\min(t_{s}^{i},t_{s}^{j})$。需要注意的是，在部分帧中，$B_{p}^{i}(t)$和$B_{g}^{j}(t)$都可能包含 bounding box，但由于每条轨迹的起止时间不同，在部分帧中可能仅存在其中一条，即$B_{p}^{i}(t)=\emptyset$存在而$B_{g}^{j}(t)=b_{g}^{j}(t)$不存在，反之亦然。在两种场景下，$d_{O}(\cdot,\cdot)$作为集合距离都有取值，即分别测量两个单元素集合（两个 bounding box）之间或一个单元素集合与一个空集之间的距离。
得到$\underline{d}$作为两条轨迹之间的基础距离后，将式(6)中的基础距离替换为$\underline{d}$，即可通过另一个OSPA距离计算得到两个轨迹集合之间的最终距离（即式2），也就是说，如果$m \geq n > 0$，$d_O$，则：
$$ \begin{align*}d_{O}(\mathcal{B}_{p},\mathcal{B}_{g})=\frac{1}{m}\Bigg(\mathop{\min}\limits_{\pi\in\Pi_{m}}\sum_{i=1}^{n}\underline{\widetilde{d}}\Big(B_{p}^{i}(\cdot),B_{g}^{\pi*(i)}(\cdot)\Big)\\+(n-m)\Bigg),\end{align*} $$
而如果$n > m > 0$，则$d_O(\mathcal{B}_p, \mathcal{B}_g) = d_O(\mathcal{B}_p, \mathcal{B}_g)$。需要注意$d_O(\mathcal{B}_p, \mathcal{B}_g) \in [0; 1]$。
由于OSPA距离分两层计算（首先在式6中计算，再在式7中计算），因此该距离被称为二阶OSPA $^{(2)}$。请注意，OSPA $^{(2)}$距离同样由两类误差组合而成：i) $(n - m)$项表示两个集合之间的基数不匹配，无需对漏检或误检轨迹进行明确定义即可对其施加惩罚，ii) $\min_{\pi \in \Pi_m} \sum_{i=1}^n \left( B_p^i(\cdot), B_g^{\pi*(i)}(\cdot) \right)$项表示各类跟踪误差，例如位移误差、尺寸误差、轨迹ID切换、轨迹碎片化，甚至轨迹起始过晚/提前终止。
## 7 评估
在本节中，我们在JRDB数据集的第一人称视角数据上评估了多种最先进/主流的检测与跟踪方法的性能。通过分析不同场景下各方法的性能并进行比较，我们进一步阐明了我们数据集的特殊性质，并指出了为支持需要在公共人类环境中实现鲁棒感知的机器人智能体，仍需进一步探索的研究方向。
### 7.1 二维行人检测
我们首先分析了多种流行的二维目标检测算法。我们在我们的挑战赛中给出了三种被广泛采用、性能排名靠前的方案的结果：YOLOv3、RetinaNet和Faster R-CNN。这些方案涵盖了单阶段和两阶段二维检测器。
YOLOv3 [^29] $^{5}$：是最受欢迎的单阶段检测器之一。我们使用了一个公开可用的实现，其权重是在COCO数据集上训练得到的[^30]。此外，我们使用默认参数在我们的第一人称视角JRDB数据集上对这些权重进行微调，直到训练损失收敛，即训练损失的下降率可以忽略不计。
---
| Metric\nMethod | % $AP_{{IoU}=.5\uparrow}$ | $OSPA_{{IoU}}\downarrow$ |
| Indoor | Outdoor | Overall | Indoor | Outdoor | Overall | Card. | Loc. |
| Faster R-CNN | 54.1 | 48.1646 | 52.2 | 0.619 | 0.736 | 0.668 | 0.408 | 0.260 |
| RetinaNet | 53.0 | 43.1 | 50.4 | 0.628 | 0.787 | 0.694 | 0.476 | 0.218 |
| YOLOv3 | 40.5 | 45.3 | 41.7 | 0.687 | 0.764 | 0.719 | 0.558 | 0.161 |
TABLE 3: 2D detection results in the JRDB benchmark using average precision (AP) and OSPA $_{IoU}$. Card. = Cardinality, Loc. = Localization.
(a) Average Precision (AP)
(b) OSPA $_{IoU}$
Fig. 9: Sensitivity to occlusion of methods in the JRDB 2D detection benchmark. We include average precision (AP) and OSPA $_{IoU}$ at 3 different occlusion (Occ.) levels. All methods get significantly worse with occlusion, but YOLOv3 is the most strongly affected.
原始YOLOv3模型使用尺寸为$416 \times 416$像素的正方形输入图像。但我们的RGB传感器提供了$360^\circ$张尺寸为$3760 \times 480$像素的柱面图像，这类图像的宽高比较小。为了适应这种差异，我们将每张柱面图像分割为宽高比接近1的子图像，将其用于训练和推理。最终我们将分割后图像中的检测结果映射回原始柱面图像。在两张分割图像的重叠区域，我们通过寻找高度和尺寸相似的边界框对，搜索对应同一个人物的检测结果，并将它们合并。虽然该过程可能会产生极少的错误合并检测，但我们发现这类失败的发生率可以忽略不计，且与使用整张柱面图像相比，YOLOv3的性能和计算速度都得到了大幅提升。
RetinaNet [^31]⁶：是一种非常流行的单阶段检测器，因引入新型焦点损失（focal loss）提升检测性能而广为人知。我们使用了公开可得的基于ResNet-50骨干网络的实现。我们以在COCO数据集上预训练得到的权重为初始，使用默认参数在JRDB数据集上微调，直至训练损失收敛，即训练损失的下降率可忽略不计。
Faster R-CNN [^32] $^6$：是目前应用最广泛的两阶段检测器，该模型首先独立于类别标签生成场景中感兴趣目标的若干优质候选框，再在第二阶段对候选框进行精准定位和类别分类。我们使用了该检测器近期公开的实现，该实现采用ResNet-50骨干网络、特征金字塔网络和RoI Align池化技术。与其他检测器一致，我们以COCO数据集上预训练得到的权重为初始，使用默认超参数在JRDB数据集上微调，直至训练损失收敛，即训练损失的下降率可忽略不计。
## 结果与讨论
我们的实验结果总结在表3中。根据结果可知，所有这些前沿检测器在我们的第一视角数据集上表现都较差，AP分数（$\approx$ %50）和OSPA $_{IoU}$值非常高（该指标值更接近1而非0）都证明了这一点。我们推测，这些检测器性能较低是由我们第一视角数据集中包含的极富挑战性的场景导致的：场景中有多达数百人在移动、机器人（传感器）自身存在运动，且第一视角的设置带来了大量部分遮挡和严重遮挡。这进一步表明，由于数据和场景的新颖性，我们的数据集和基准给现有方案带来了挑战，并且作为基准可以引导针对这些未解决且必要的新领域的研究。
当我们使用不同性能指标对各检测器进行对比时，根据AP和OSPA$_{IoU}$，性能最优的是Faster R-CNN，不过YOLOv3的定位误差优于Faster R-CNN和RetinaNet。我们推测这是因为YOLOv3能够成功良好定位尺寸较大的行人，但由于锚框更稀疏，它在处理小尺寸框时存在困难，因此基数误差较高。当我们降低OSPA的置信阈值以减少基数误差、纳入更多检测结果时，我们观察到位置误差迅速上升，并超过了其他方法的位置误差。这说明YOLOv3对小型和被遮挡行人的检测结果置信度低、IoU低，因此AP分数更低。由于Faster-RCNN在当前IoU阈值（$tr = 0.5$）下取得了最优的AP分数，且总体OSPA$_{IoU}$分数最佳，我们将Faster-RCNN的输出用作我们2D跟踪基准的公开检测结果。
室内场景与室外场景对比：根据AP和OSPA $_{IoU}$这两项性能指标，三种检测器在室内环境下的表现均更好。在室外场景中，行人通常距离机器人（传感器）更远，因此所有检测器都难以检测这些小尺寸边界框。此外，与中等距离的行人相比，YOLOv3在定位距离机器人极近的行人（即尺寸极大的边界框）时表现差得多。这是因为当行人距离机器人很近时，行人图像往往被大幅裁切、占满整个画面，其尺寸与YOLOv3的锚框匹配度很差，使得精准定位颇具挑战性。因此，当IoU阈值为0.5时，这些边界框可能会被判定为假阳性，导致室内环境下的AP分数更低。
对遮挡程度的敏感性：不出所料，如表3所示，三种方法的性能都随着遮挡程度的增加而下降。值得关注的是，即使仅存在部分遮挡，YOLOv3的性能也会大幅下滑，这表明它对遮挡的敏感度很高。由于我们的数据集采用人身高的第一视角，且场景多为人群密集环境，其中部分遮挡行人的数量几乎是无遮挡行人的两倍，因此这一问题对整体性能的影响非常显著。所有算法的性能都因遮挡出现大幅下滑，这凸显了我们需要开发性能更鲁棒的新型检测器，以支持
---
| Metric Method | Clear-MOT $_{{IoU}}=0.5$ | OSPA $_{{IoU}}^{{(2)}}$ |
| %MOTA $\uparrow$ | %MOTP $\uparrow$ | $\vert B_{{ID}}\vert \downarrow$ | $\vert B_{{FP}}\vert \downarrow$ | $\vert B_{{FN}}\vert \downarrow$ | Indoor | Outdoor | Overall | Card. | Loc. |
| Indoor | Outdoor | Overall |
| DeepSORT | 25.5 | 18.5 | 23.2 | 24.6 | 5296 | 78947 | 650478 | 0.947 | 0.956 | 0.951 | 0.536 | 0.415 |
| JRMOT | 24.3 | 19.0 | 22.5 | 23.6 | 7719 | 65550 | 667783 | 0.973 | 0.980 | 0.977 | 0.748 | 0.229 |
| Tracktor | 19.9 | 14.2 | 18.1 | 29.2 | 7564 | 88480 | 687842 | 0.971 | 0.985 | 0.978 | 0.759 | 0.219 |
TABLE 4: 2D tracking results in the JRDB benchmark using Clear-MOT metrics and OSPA $_{IoU}^{(2)}$. IDS = ID Switches, FP = False Positives, FN = False Negatives, Card. = Cardinality, Loc. = Localization.
(a) Average Precision (AP)
(b) OSPA $_{IoU}$
Fig. 10: Sensitivity to training set size of methods in the JRDB 2D detection benchmark. We include average precision (AP) and OSPA $_{IoU}$ at 3 different levels. Method performance marginally decreases with less data.
公共人类环境中自主导航智能体的第一视角人工感知。
JRDB数据集大小对结果的影响：现有最先进的2D检测器在JRDB数据上表现不佳，一个可能的原因是，与其他数据集相比，JRDB的训练数据规模较小，仅包含27个不同场景。这可能导致训练集和测试集的分布存在差异。为了分析训练集规模和多样性可能带来的影响，我们通过合并JRDB的训练集和测试集（约占整个数据集的90%）构建了一个新的训练划分，并在该新训练集的不同比例子集上训练Faster-RCNN和RetinaNet。在本实验中，我们使用原始评估划分作为测试集，约占整个数据集的10%。如果原始训练集中的序列数量过少，不足以正确覆盖数据集（以及原始测试集）中场景的多样性，从而导致观测到的2D检测器性能不佳，那么使用更多来自测试集的数据应该会大幅提升结果。本实验结果总结在图10中。我们观测到，使用整个数据集的50%进行训练到使用90%进行训练，性能提升几乎可以忽略不计。虽然这些结果可以用多种可能的原因解释，例如评估模型的网络容量有限，和/或新训练集（全训练+测试数据）与所选验证集的分布之间存在部分不匹配，但我们认为该实验提供了有力证据，表明我们最初提出的训练集中的序列数量足够多、多样性足够丰富，能够覆盖大部分分布并支持模型泛化。
上一实验中的模型均在通用图像数据集MS COCO上预训练。为了分离该预训练步骤可能带来的影响，我们比较了三种模型的性能：i) 在MS COCO预训练后在JRDB原始训练划分上训练的模型，ii) 未经过预训练、仅在JRDB上训练的模型，iii) 仅在MS COCO上预训练的模型。结果总结在图11中。仅在MS COCO上预训练的模型
(a) Average Precision (AP)
(b) OSPA $_{IoU}$
Fig. 11: Effect of training procedure in the JRDB 2D detection benchmark. We include average precision (AP) and OSPA $_{IoU}$ for 1) both pretraining on MS COCO and training on JRDB 2) Only training on JRDB 3) Only pretraining on MS COCO. Training on JRDB gives substantive improvement over pretrained weights.
的表现显著差于在MS COCO预训练后进一步在JRDB上训练的模型。这表明，在JRDB上训练相比通用预训练能带来显著收益，支持了以下结论：1）JRDB中的数据具有独特性，与通用图像数据集中观测到的数据存在差异；2）原始训练集覆盖了这些特殊的数据分布。此外，我们观测到，正如预期，如果不在MS COCO上预训练模型，性能会下降。但预训练模型和未预训练模型之间的性能下降幅度并没有很大，这表明JRDB中提出的训练集足够通用、规模足够大，能够支持大型检测器的训练。
### 7.2 二维行人跟踪
我们现在分析JRDB二维行人跟踪基准测试中多种流行且最先进方法的性能：DeepSort和Tractor。我们还测试了我们在JRDB数据集上自主开发的基线方法JRMOT。所有这些方法都使用Faster-RCNN 2D生成的公开检测结果，以保证跟踪结果对比的公平性。
DeepSort [^33] $^{7}$: DeepSORT是一种流行的在线二维跟踪算法，遵循检测后跟踪范式。它使用卡尔曼滤波进行运动建模，使用匈牙利算法解决分配问题，并使用深度神经网络生成目标/行人的特征，用于重识别和数据关联。在我们的实验中，我们使用原始论文中的超参数，仅将nn_budget设置为100，该参数限制了可存储的外观描述符的最大尺寸。
JRMOT [^34] $^{8}$：JRMOT是我们提供的基线方法，采用检测后跟踪范式同时执行2D和3D跟踪。
---
JRMOT采用多模态（2D-3D）卡尔曼滤波器，基于2D RGB图像和3D点云的测量结果更新状态。它使用m-best联合概率数据关联（JPDA）[^35]进行概率分配，并通过融合2D和3D特征描述符实现重识别与数据关联。特征描述符通过JRDB数据集训练得到。尽管它本质是一个3D跟踪器，我们将得到的3D轨迹投影到2D空间，得到可与现有算法对比的2D结果。我们使用了JRMOT原论文中描述的同一套超参数。
Tracktor [^36] $^9$：Tractor是在MOTChallenge数据集中被广泛使用的先进算法。这种基于学习的方法利用目标检测器对连续帧中的边界框进行回归，并根据检测器置信度得分决定保留还是终止一条轨迹。我们使用了原作者提供的检测器和重识别网络的实现与方案，并在JRDB数据集上对其进行微调。具体来说，按照原作者的设定，检测器微调27个epoch，重识别模块微调25000次迭代。
#### 7.2.1 结果与讨论
表4总结了三种方法在JRDB基准测试中的结果。结果显示，所有这些先进的在线多目标跟踪器在我们的第一人称视角数据集中表现都很差：与其他跟踪数据集和基准测试相比，MOTA值更低，而OSPA $_{IoU}^{(2)}$值非常高（数值接近1）。这三种方法均为在线跟踪器，使用启发式方法处理遮挡或轨迹终止问题。已有研究证明这些启发式方法在轨迹发生短时间遮挡时表现良好。但与其他基准和数据集相比，JRDB中包含的遮挡轨迹长度要大得多。我们推测这是导致这三种先进在线跟踪器性能低下的原因。
对各跟踪器进行对比后发现，在MOT-Clear和OSPA $_{(I_{O}U)}^{(2)}$两项性能指标上，DeepSORT的表现均优于另外两个跟踪器。尽管与DeepSORT相比，JRMOT采用了相似的滤波策略、整合了更多传感器信息，且拥有更可靠的数据关联技术（即JPDA对比匈牙利算法），但将3D边界框投影到2D图像空间、将JRMOT转换为2D跟踪器的过程会引入误差，导致其2D跟踪性能低于DeepSORT。相当出乎意料的是，在MOTChallenge基准测试中表现最佳的Tractor，在我们的测试中性能更差。但Tractor本质是一个两帧检测器（基于Faster R-CNN架构）而非跟踪算法。在目标遮挡时长不长、性能提升高度依赖更好检测效果的基准测试中，这一特性可能会为它带来优势。但在JRDB中，由于数据本身的独有特征（遮挡更长），Tractor无法保留超过两帧的时间信息，因此导致性能不佳。不出所料，作为两帧检测器，Tractor在OSPA $_{(I_{O}U)}^{(2)}$中拥有最优的定位误差，同时在MOT-Clear中也因为最佳的定位性能得到了最高的MOTP值。
室内场景与室外场景：我们发现所有方法在室内环境中表现更好，在室外环境运行时性能均出现类似下降。这表明室外环境的挑战性明显更高。我们假设这同样是由更远距离处可见行人数量更多、室外人群规模更大导致的。然而，无论是在室内还是室外环境中，本次评估的方案均未表现出优异性能，这说明这类环境在现有数据集和挑战中覆盖不足，因此需要改进2D跟踪方法，来支持这类环境下的机器人导航。
#### 7.2.2 长时间遮挡后的重识别
此前分析表明，长遮挡窗口是跟踪失败（尤其是ID切换问题）的主要诱因，受此启发，我们提出了一种简单的长时间遮挡后重识别基线方法（RALO）。该方法可与本次评估的多种现有最优基线方法结合使用。当跟踪方案终止某条轨迹后，我们会将其存储在轨迹池中，保留时长为T。当检测并初始化新轨迹后，我们首先将新轨迹与轨迹池中的轨迹进行比对。为此，我们基于AlignReID [^37]特征嵌入的相似度计算外观相似度，并利用GIoU [^38]计算位置相似度。如果新轨迹获得足够高的相似度分数（阈值在训练集上通过实验调整得到），我们就从轨迹池中取出匹配的轨迹，将二者合并。该方法能够减少ID切换，同时不会影响假阴性和假阳性结果。
如表5所示，我们提出的长时间遮挡后重识别基线方法显著减少了ID切换次数。这些结果指出现有算法为了支撑人员拥挤环境下的机器人应用，必须在以下方向改进性能：正确处理频繁且长时间的遮挡。在该条件下提升性能的方法更有可能在JRDB上取得更优结果。例如，将更优秀的前向预测模型整合到跟踪方案中，利用这些模型引导检测器，有望进一步提升重识别性能，进一步减少现有方法最大的误差来源——假阴性。
| DeepSORT | JRMOT (2D) | Tracktor |
| Without RALO | 5296 | 7719 | 7026 |
| With RALO | 5022 | 6612 | 6084 |
TABLE 5: Number of ID switches in 2D trackers with/without re-identification after long occlusions (RALO). RALO leaves other MOTA components, e.g. FP, FN, unaffected.
### 7.3 3D行人检测
我们接下来在JRDB基准测试中评估3D行人检测器。我们在本文的基准测试中对比了来自研究界的两种最优方案：Frustum PointNet和TANet。
F-PointNet [^39] $^{10}$：Frustum PointNet是一种使用RGB数据的条件式3D检测器。它首先利用RGB图像中的2D检测器分割出平截头体（矩形锥体）内的点云数据，该平截头体是传感器通过边界框角点投影得到的。之后将每次检测得到的分割点云输入PointNet神经网络结构，由该网络预测目标（在本文中为行人）的定向边界框。我们的实现使用了KITTI数据集 [^20] 上的预训练权重，并在JRDB数据集上对其进行微调。我们遵循原论文的相同流程处理JRDB数据集。具体来说，我们通过提取生成训练数据
---
| Metric\nMethod | % $AP_{{IoU}=.3\uparrow}$ | $OSPA_{{IoU}\downarrow}$ |
| Indoor | Outdoor | Overall | Indoor | Outdoor | Overall | Card. | Loc. |
| TANet | 52.16 | 59.15 | 53.87 | 0.758 | 0.801 | 0.771 | 0.391 | 0.380 |
| F-PointNet | 35.5 | 44.1 | 38.2 | 0.765 | 0.844 | 0.798 | 0.564 | 0.234 |
TABLE 6: 3D detection results in the JRDB benchmark using average precision (AP) and OSPA $_{IoU}$. Card. = Cardinality, Loc. = Localization.
(a) Average Precision (AP)
(b) OSPA $_{IoU}$
Fig. 12: Sensitivity to occlusion of methods in the JRDB 3D detection benchmark. We include average precision (AP) and OSPA $_{IoU}$ at 3 different occlusion (Occ.) levels. Both methods get significantly worse with occlusion, but TANet is slightly more robust to it.
受扰动的真实标注2D边界框对应的平截头体。我们过滤掉距离过远，或对应3D边界框中不包含任何点的样本。随后，我们使用默认参数，在处理后的JRDB数据集上训练模型200个epoch。
TANet [^40] $^{11}$：TANet是一种仅使用点云数据、不依赖RGB信息的3D检测器。它通过对点云进行体素化，并应用三重注意力机制来获得每个体素的特征表示。这些体素特征表示随后会按照原始布局排列，输入到回归模块中，生成目标感兴趣物体周围的3D bounding box。我们在JRDB数据集上训练TANet用于行人检测，过滤掉距离过远或包围内点数量少于10的框，并使用原始论文中的默认参数训练50万步。
#### 7.3.1 结果与讨论
我们在表6中给出了各3D检测方法的整体结果。与2D检测的情况类似，这些前沿3D检测器在我们数据集上的AP分数和OSPA $_{IoU}^{(2)}$表现都很差。OSPA $_{IoU}^{(2)}$中较高的基数误差表明两种检测器都存在大量漏检。JRDB独特数据带来的诸多挑战：场景极度拥挤导致大量部分遮挡和完全遮挡，室内存在自然遮挡；相比于车辆，行人这类小尺寸物体的点云稀疏度更高；行人距离传感器的距离范围大，且存在因楼梯导致行人处于地平面上方（或下方）的情况。这些挑战使得这些前沿3D检测器在JRDB基准上表现相当糟糕，尽管它们在KITTI或Waymo这类自动驾驶基准数据集上表现良好。
与TANet相比，F-PointNet在我们数据集上的表现极差。F-PointNet假设每个平截头体的3D数据中仅包含一个感兴趣目标，但该假设在JRDB数据集上并不成立。
(a) Average Precision (AP)
(b) OSPA $_{IoU}$
Fig. 13: Results in the JRDB 3D detection benchmark by distance. We report both performance measures, AP (higher better) and OSPA $_{IoU}$ (lower better), at intervals of 5 m from 0 m to 25 m. Both methods, F-PointNet and TANet, show a considerable drop in performance with increasing distance to the sensor, with a slightly more robust performance by TANet. Beyond 15 m the results from both detectors are extremely noisy.
尤其是在拥挤场景中。此外，两种检测器对行人方向的估计效果都不佳，这导致两个性能指标的数值都偏低。为了验证这一假设，我们进行了额外实验，将AP的IoU阈值从0.3提高到0.5。F-PointNet和TANet的结果分别从38.21和53.87明显下降到6.38和4.17。由于IoU数值对方向误差非常敏感，IoU阈值小幅提高就带来AP的大幅下降，这反映出它们的定位效果较好，但方向估计较差。基于TANet整体性能优于F-PointNet的实验结果，我们决定选用TANet作为我们3D跟踪基准的公开检测器。
室内场景与室外场景对比：将AP（采用低IoU阈值，即0.3）作为性能衡量指标时，我们意外发现3D检测器在室外场景下的表现更好。我们推测，室内环境中人群聚集更紧密，且点云数据中存在多得多的遮挡物，使得室内环境下的3D检测难度更高。这种情况对F-PointNet来说更糟糕，因为F-PointNet假设每个平截头体仅对应一个目标，因此在人群拥挤或存在部分遮挡的场景中表现不佳。然而，如果考虑OSPA $_{IoU}$这类无阈值指标，室内和室外场景对这些检测器来说难度几乎相当。
遮挡程度性能对比：正如预期，我们观察到，在AP和OSPA $_{IoU}^{(2)}$这两项性能指标中，随着遮挡程度提升，性能都出现了类似的快速下降。具体而言，当不存在遮挡时，性能远优于AP和OSPA $_{IoU}^{(2)}$的整体水平，但即使是在轻度遮挡下，性能也会迅速衰减。这说明我们的JRDB数据集为现有3D检测器带来了极具挑战性的场景，需要在这类场景下开展全新研究，以开发对频繁程度更为鲁棒的
---
| Method | Metric | Clear-MOT $_{{IoU=.3}}$ | OSPA $_{{IoU\downarrow}}^{{(2)}}$ | |
| %MOTA $\uparrow$ | %MOTP $\uparrow$ | $|B_{{ID}}|\downarrow$ | $|B_{{FP}}|\downarrow$ | $|B_{{FN}}|\downarrow$ | Indoor | Outdoor | Overall | Card. | Loc. |
| Indoor | Outdoor | Overall |
| JRMOT | 20.9 | 18.6 | 20.2 | 42.5 | 4207 | 19711 | 765907 | 0.976 | 0.976 | 0.979 | 0.979 | 0.644 | 0.335 |
| AB3DMOT (F-PointNet) | 19.9 | 18.3 | 19.4 | 42.0 | 6177 | 13664 | 777946 | 0.976 | 0.984 | 0.984 | 0.983 | 0.756 | 0.227 |
| AB3DMOT (TANet) | 25.7 | 27.1 | 26.2 | 38.0 | 10081 | 61417 | 658986 | 0.983 | 0.989 | 0.987 | 0.987 | 0.782 | 0.206 |
TABLE 7: Results in the JRDB 3D tracking benchmark. We include Clear-MOT metrics and OSPA $_{IoU}^{(2)}$. IDS = ID Switches, FP = False Positives, FN = False Negatives, Card. = Cardinality, Loc. = Localization.
遮挡，也就是人形机器人在公共人类活动空间中观测到的这类遮挡。
与机器人不同距离下的性能表现：如图13所示，随着距离机器人越来越远，3D检测器的性能会迅速下降。在远距离检测任务中，F-PointNet的OSPA $_{IoU}^{(2)}$表现略优于TANet。一个可能的原因是F-PointNet的基数得分更高，不过两种算法的定位能力都较差。在5米到10米的距离范围内，性能已经降至0.1 AP以下，两种算法输出的检测结果噪声都非常大。这明确表明，开发新型3D检测器存在明确的研究空间，这类检测器即使针对远距离目标、在点云数量较少的情况下，依然能够输出可靠的预测结果。
JRDB数据集大小对结果的影响：与2D行人检测的评估类似，我们希望排除“被测最优3D检测器性能不佳是由JRDB训练集大小导致”这一因素。因此我们开展了类似分析：将JRDB原本的训练集和测试集合并后，按不同比例划分训练子集来训练F-PointNet，再在JRDB原本的评估集上进行测试。在约50%的数据集上训练后，F-PointNet达到了46.07 AP和0.766 OSPA $_{IoU}$。相比之下，使用90%的数据集训练F-PointNet得到的结果为48.67 AP和0.751 OSPA $_{IoU}$，差异可以忽略不计。F-PointNet没有在任何大型通用数据集上进行预训练，因此我们不需要评估预训练对这些结果的影响。结果支持以下结论：原始训练集划分足够大、足够多样，能够覆盖测试集的分布；3D检测器观测到的性能不佳不是由训练集大小导致的，真正原因是JRDB中包含的特殊数据本身更具挑战性。
### 7.4 3D行人跟踪
最后，我们在全新的JRDB基准上评估3D行人跟踪方案。我们比较了两种拥有可用开源实现的最优跟踪方案AB3DMOT和JRMOT的性能。这个问题的研究热度远低于2D跟踪；尽管近年来已有不少工作开展3D跟踪研究，但大多数工作来自不开源代码的自动驾驶汽车企业。为了保证两个3D跟踪器之间的公平比较，两种方法都使用相同的F-PointNet 3D检测结果。F-PointNet的3D检测依赖于2D检测；我们使用数据集提供的Faster R-CNN 2D检测结果来输入F-PointNet，获得3D检测输出。对于AB3DMOT，我们还给出了使用TANet 3D检测的结果。但JRMOT的结果仅能通过F-PointNet获得，因为该系统需要这种特定的检测方法来得到2D和3D检测之间的一一映射。
AB3DMOT [^41] $^{12}$：AB3DMOT是一个轻量级的在线3D跟踪器。该方法使用一个简单的3D卡尔曼滤波和
(a) MOTA Results
(b) OSPA Results
Fig. 14: Results in the JRDB 3D tracking benchmark by distance. We report both performance measures, MOTA (higher better) and OSPA $^{(2)}$ to $I_{IoU}$ (lower better), at intervals of 5 m from 0 m to 25 m. JMOT and the both variants of AB3DMOT, with F-PointNet and TANet detections, perform best at closer distances, under 10 m. Beyond 15 m the tracking results are extremely noisy. AB3DMOT with TANet shows significantly better MOTA values than the other baselines at larger distances due to the less noisy input detections.
用于匹配和数据关联的匈牙利算法。匈牙利算法的相似度得分基于3D框的交并比，我们使用公开可得的实现方案。
JRMOT [^34] $^{8}$：JRMOT是我们提供的基线方法，正如第7.2节介绍所述。JRMOT内部基于类F-PointNet流程，该流程输出关联后的2D与3D检测结果，用于多模态卡尔曼更新步骤。因此我们将JRMOT结合Faster R-CNN的2D检测与F-PointNet关联的3D检测使用。与第7.2节的版本不同，为了在JRDB基准上对3D跟踪进行性能测试，我们启用了JRMOT完整的3D跟踪能力。我们使用的系统与JRMOT原论文中描述的完全一致 [^34]。
#### 7.4.1 结果与讨论
在表7中，我们展示了两种跟踪方法在Clear-MOT和OSPA $_{IoU}^{(2)}$两项性能指标下的整体结果。我们观察到所有方法的MOTA整体得分都偏低，OSPA $_{IoU}^{(2)}$整体误差很高，这主要由高漏检率导致，也体现了该数据集的挑战性。基于OSPA $_{IoU}^{(2)}$指标，我们观察到使用TANet检测结果的AB3DMOT定位效果差于使用F-PointNet检测结果的AB3DMOT。这一结果出人意料，因为在JRDB 3D检测基准中，基于OSPA $_{IoU}^{(2)}$指标，TANet的定位效果本身优于F-PointNet。这说明更差的定位问题源自AB3DMOT本身，基于现有检测结果仍有很大空间可以提升跟踪效果。我们假设该现象源于：检测器输出的角度噪声极强，卡尔曼滤波对这类信号的处理效果差且不稳定，最终导致整体性能下降。
---
室内场景与室外场景对比：与室外场景相比，我们观察到所有方法在室内场景的MOTA和OSPA $^{2}$性能都有小幅提升，这一规律在所有方法中保持一致。与JRDB基准中2D跟踪的观测结果类似，我们假设这是JRDB中挑战性跟踪场景带来的影响：现有算法无法应对我们新数据集中更拥挤室外场景常见的长遮挡模式（见图6）。此外，更拥挤的场景会导致检测性能下降（见第7.3节），这会直接影响3D跟踪器的性能。
性能与距机器人距离的关系：在图14中，我们观察到随着距离增加，两种方法的性能都出现了显著且快速的下降，这表明现有方法在10米距离外仍然效果不佳。我们还观察到，基于MOTA和OSPA $^{2}$两项指标，在0米到5米的短距离范围内，JRMOT的性能略优于AB3DMOT的两个变体。由于在这类距离上检测和测量的噪声更大（见第7.3节），检测结果质量偏低是跟踪器性能不佳的最可能原因。有趣的是，我们观察到两种方法在大距离下的MOTP存在显著差异。我们假设，通过利用2D bounding box的信息，JRMOT可以获得更准确的3D bounding box估计，以及更精细的目标位置估计，这带来了观测到的更高MOTP。现有最优方案在我们的JRDB 3D跟踪基准上的有限性能，为学术界未来的探索方向提供了参考。我们认为，3D跟踪器无论在长距离还是短距离都性能不佳，这阻碍了面向公共人类活动空间的自主导航机器人的开发。
#### 7.4.2 长遮挡下的重识别
为了缓解JRDB中存在的部分特殊难点，即更频繁、时间跨度更长的遮挡问题，我们对7.2.2节提出的重识别方法进行调整，并将其整合到3D追踪器中。如表8所示，我们观察到ID切换次数大幅下降，这表明为轨迹扩展存储是减少长遮挡影响的一种简单有效的方法。未来3D追踪领域的研究可以更深入地探索扩展存储方法，进一步提升存在大面积遮挡场景下的追踪能力。我们计划基于自身运动和社交线索，结合更精准的预测模型，进一步提升长遮挡场景下的追踪性能 [^42], [^43], [^44].
| JRMOT (3D) | Ab3DMOT |
| Without RALO | 4207 | 8278 |
| With RALO | 2673 | 3868 |
TABLE 8: Number of ID switches in 3D trackers with/without re-identification after long occlusions (RALO). RALO leaves other MOTA components, e.g. FP, FN, unaffected.
本文提出了JRDB，这是一个在人类活动环境（大学校园室内建筑与校园步行区域）采集得到的新型多模态流数据集。该数据集包含经过时间同步与校准的数据，涵盖来自$360^{\circ}$立体圆柱相机的图像、激光雷达3D点云、音频信号、IMU值以及机器人底座的编码器读数。数据包含的场景有
## 8 结论与未来工作
机器人在人群中穿行的场景。该数据集已标注真值：场景内所有人物对应的2D bounding box和关联3D长方体包围盒。我们的研究表明，对于现有方法来说，该数据集在2D和3D的行人检测与训练任务中都极具挑战性。因此，我们期望该数据集能够助力人类与社交场景下自主智能体感知领域的研究。我们未来计划继续为个体活动、群体活动、社会分组以及人体姿态标注真值数据。
## 致谢
本工作得到了ONR MURI奖项W911NF-151-0479的资助。
## 参考文献
[^1]: M. Everingham, L. Van Gool, C. Williams, J. Winn, and A. Zisserman, “The pascal visual object classes challenge 2012 (voc2012) results (2012),” in URL , 2011.
[^2]: T.-Y. Lin, M. Maire, S. Belongie, J. Hays, P. Perona, D. Ramanan, P. Dollar, and C. L. Zitnick, “Microsoft coco: Common objects in context,” ECCV, 2014.
[^3]: M. Cordts, M. Omran, S. Ramos, T. Rehfeld, M. Enzweiler, R. Benenson, U. Franke, S. Roth, and B. Schiele, “The cityscapes dataset for semantic urban scene understanding,” in CVPR, 2016, pp. 3213–3223.
[^4]: S. M. Seitz, B. Curless, J. Diebel, D. Scharstein, and R. Szeliski, “A comparison and evaluation of multi-view stereo reconstruction algorithms,” in CVPR 2006, 2006, pp. 519–528.
[^5]: S. Baker, D. Scharstein, J. P. Lewis, S. Roth, M. J. Black, and R. Szeliski, "A database and evaluation methodology for optical flow," Int. J. Comput. Vision, vol. 92, no. 1, pp. 1–31, Mar. 2011.
[^6]: D. Scharstein and R. Szeliski, “A taxonomy and evaluation of dense two-frame stereo correspondence algorithms,” Int. J. Comput. Vision, vol. 47, no. 1-3, pp. 7–42, Apr. 2002.
[^7]: A. Geiger, P. Lenz, and R. Urtasun, “Are we ready for autonomous driving? The KITTI Vision Benchmark Suite,” in CVPR 2012, 2012.
[^8]: L. Leal-Taixé, A. Milan, I. Reid, S. Roth, and K. Schindler, "MOTChallenge 2015: Towards a benchmark for multi-target tracking," arXiv:1504.01942, 2015.
[^9]: A. Milan, L. Leal-Taixé, I. Reid, S. Roth, and K. Schindler, “MOTChallenge 2016: Annotation and evaluation,” arXiv:1603.00831, 2016.
[^10]: P. Dendorfer, H. Rezatofighi, A. Milan, J. Shi, D. Cremers, I. Reid, S. Roth, K. Schindler, and L. Leal-Taixe, “Cvpr19 tracking and detection challenge: How crowded can it get?” arXiv preprint arXiv:1906.04567, 2019.
[^11]: P. Dendorfer, H. Rezatofighi, A. Milan, J. Shi, D. Cremers, I. Reid, S. Roth, K. Schindler, and L. Leal-Taixé, “Mot20: A benchmark for multi object tracking in crowded scenes,” arXiv preprint arXiv:2003.09003, 2020.
[^12]: M. Andriluka, U. Iqbal, E. Insafutdinov, L. Pishchulin, A. Milan, J. Gall, and B. Schiele, “Posetrack: A benchmark for human pose estimation and tracking,” in CVPR, 2018, pp. 5167–5176.
[^13]: F. Caba Heilbron, V. Escorcia, B. Ghanem, and J. Carlos Niebles, “Activity-tynet: A large-scale video benchmark for human activity understanding,” in CVPR, 2015, pp. 961–970.
[^14]: O. Russakovsky, J. Deng, H. Su, J. Krause, S. Satheesh, S. Ma, Z. Huang, A. Karpathy, A. Khosla, M. Bernstein, A. C. Berg, and L. Fei-Fei., "Imagenet large scale visual recognition challenge," IJCV, 2015.
[^15]: W. Maddern, G. Pascoe, C. Linegar, and P. Newman, “1 Year, 1000km: The Oxford RobotCar Dataset,” The International Journal of Robotics Research (IJRR), vol. 36, no. 1, pp. 3–15, 2017.
[^16]: Y. Ma, X. Zhu, S. Zhang, R. Yang, W. Wang, and D. Manocha, “Trafficpredict: Trajectory prediction for heterogeneous traffic-agents,” in Proceedings of the AAAI Conference on Artificial Intelligence, vol. 33, 2019, pp. 6120–6127.
[^17]: H. Caesar, V. Bankiti, A. H. Lang, S. Vora, V. E. Liong, Q. Xu, A. Krishnan, Y. Pan, G. Baldan, and O. Beijbom, “nuscenes: A multimodal dataset for autonomous driving,” arXiv preprint arXiv:1903.11027, 2019.
[^18]: P. Sun, H. Kretzschmar, X. Dotiwalla, A. Chouard, V. Patnaik, P. Tsui, J. Guo, Y. Zhou, Y. Chai, B. Caine et al., “Scalability in perception for autonomous driving: Waymo open dataset,” arXiv, pp. arXiv–1912, 2019.
### [^19]: J. Manyika, S. Lund, M. Chui, J. Bughin, J. Woetzel, P. Batra, R. Ko, and S. Sanghvi, "Jobs lost, jobs gained: Workforce transitions in a time of automation," McKinsey Global Institute, 2017.
---
[^20]: A. Geiger, P. Lenz, and R. Urtasun, "Are we ready for autonomous driving? the kitti vision benchmark suite," in Conference on Computer Vision and Pattern Recognition (CVPR), 2012.
[^21]: P. Wang, X. Huang, X. Cheng, D. Zhou, Q. Geng, and R. Yang, "The apolloscape open dataset for autonomous driving and its application," IEEE transactions on pattern analysis and machine intelligence, 2019.
[^22]: F. Yu, W. Xian, Y. Chen, F. Liu, M. Liao, V. Madhavan, and T. Darrell, “Bdd100k: A diverse driving video database with scalable annotation tooling,” arXiv preprint arXiv:1805.04687, 2018.
[^23]: H. Rezatofighi, N. Tsoi, J. Gwak, A. Sadeghian, I. Reid, and S. Savarese, “Generalized intersection over union: A metric and a loss for bounding box regression,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2019, pp. 658–666.
[^24]: I. E. Sutherland and G. W. Hodgman, “Reentrant polygon clipping,” Communications of the ACM, vol. 17, no. 1, pp. 32–42, 1974.
[^25]: M. Everingham, L. Van Gool, C. K. I. Williams, J. Winn, and A. Zisserman, “The PASCAL Visual Object Classes Challenge 2008 (VOC2008) Results,” .
[^26]: H. Rezatofighi, T. T. Dat Nguyen, B.-N. Vo, B.-T. Vo, S. Savarese, and I. Reid, “How trustworthy are the existing performance evaluations for basic vision tasks?” arXiv preprint arXiv:2008.03533, 2020.
[^27]: H. W. Kuhn, “The Hungarian method for the assignment problem,” Naval research logistics quarterly, vol. 2, no. 1-2, pp. 83–97, 1955.
[^28]: K. Bernardin and R. Stiefelhagen, “Evaluating multiple object tracking performance: the clear mot metrics,” Journal on Image and Video Processing, vol. 2008, p. 1, 2008.
[^29]: J. Redmon and A. Farhadi, “Yolov3: An incremental improvement,” CoRR, vol. abs/1804.02767, 2018.
[^30]: T. Lin, M. Maire, S. J. Belongie, L. D. Bourdev, R. B. Girshick, J. Hays, P. Perona, D. Ramanan, P. Dollár, and C. L. Zitnick, "Microsoft COCO: common objects in context," CoRR, vol. abs/1405.0312, 2014.
[^31]: T. Lin, P. Goyal, R. Girshick, K. He, and P. Dollár, “Focal loss for dense object detection,” in 2017 IEEE International Conference on Computer Vision (ICCV), Oct 2017, pp. 2999–3007.
[^32]: S. Ren, K. He, R. Girshick, and J. Sun, “Faster r-cnn: Towards real-time object detection with region proposal networks,” in Advances in Neural Information Processing Systems 28, C. Cortes, N. D. Lawrence, D. D. Lee, M. Sugiyama, and R. Garnett, Eds. Curran Associates, Inc., 2015, pp. 91–99.
[^33]: N. Wojke, A. Bewley, and D. Paulus, “Simple online and realtime tracking with a deep association metric,” CoRR, vol. abs/1703.07402, 2017.
[^34]: A. Shenoi, M. Patel, J. Gwak, P. Goebel, A. Sadeghian, H. Rezatofighi, R. Martin-Martín, and S. Savarese, “Jrmot: A real-time 3d multi-object tracker and a new large-scale dataset,” in Proceedings of the IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 2020, p. accepted.
[^35]: H. Rezatofighi, A. Milan, Z. Zhang, Q. Shi, and I. R. A. Dick, “Joint probabilistic data association revisited,” ICCV, 2015.
[^36]: P. Bergmann, T. Meinhardt, and L. Leal-Taixé, “Tracking without bells and whistles,” CoRR, vol. abs/1903.05625, 2019.
[^37]: X. Zhang, H. Luo, X. Fan, W. Xiang, Y. Sun, Q. Xiao, W. Jiang, C. Zhang, and J. Sun, “Alignedreid: Surpassing human-level performance in person re-identification,” arXiv preprint arXiv:1711.08184, 2017.
[^38]: H. Rezatofighi, N. Tsoi, J. Gwak, A. Sadeghian, I. Reid, and S. Savarese, “Generalized intersection over union,” June 2019.
[^39]: C. R. Qi, W. Liu, C. Wu, H. Su, and L. J. Guibas, “Frustum pointnets for 3d object detection from rgb-d data,” in 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, June 2018, pp. 918–927.
[^40]: Z. Liu, X. Zhao, T. Huang, R. Hu, Y. Zhou, and X. Bai, “Tanet: Robust 3d object detection from point clouds with triple attention,” AAAI, 2020.
[^41]: X. Weng and K. Kitani, “A baseline for 3d multi-object tracking,” CoRR, vol. abs/1907.03961, 2019.
[^42]: A. Gupta, J. Johnson, L. Fei-Fei, S. Savarese, and A. Alahi, “Social gain: Socially acceptable trajectories with generative adversarial networks,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018, pp. 2255–2264.
[^43]: V. Kosaraju, A. Sadeghian, R. Martín-Martín, I. Reid, H. Rezatofighi, and S. Savarese, “Social-bigat: Multimodal trajectory forecasting using bicycle-gan and graph attention networks,” in Advances in Neural Information Processing Systems, 2019, pp. 137–146.
[^44]: M. Swofford, J. Peruzzi, N. Tsoi, S. Thompson, R. Martín-Martín, S. Savarese, and M. Vázquez, “Improving social awareness through dante: Deep affinity network for clustering conversational interactants,” Proceedings of the ACM on Human-Computer Interaction, vol. 4, no. CSCW1, pp. 1–23, 2020.
Roberto Martin-Martin Roberto Martin-Martin是斯坦福大学视觉与学习实验室博士后，师从Silvio Savarese教授和Fei-Fei Li教授。他负责协调两个团队的研究项目：研究人类环境中移动操作的JackRabbit团队，以及研究操作与规划中视觉-运动学习技能的人、人工智能与机器人（PAIR）团队。他在柏林工业大学RBO组获得机器人学博士学位，师从Oliver Brock教授。
Mihir Patel Mihir Patel目前在斯坦福大学攻读数学系学士学位，同时攻读计算机科学系硕士学位。他现于斯坦福大学视觉与学习实验室工作，师从Silvio Savarese教授和Fei Fei Li教授，是JackRabbit团队成员。他的研究兴趣为计算机视觉与生成式建模。
Hamid Rezatofighi Hamid Rezatofighi现任澳大利亚莫纳什大学信息技术学院讲师。在此之前，他曾是斯坦福大学斯坦福视觉实验室（SVL）的奋进研究学者，以及阿德莱德大学澳大利亚机器学习研究所（AIML）高级研究员。他的主要研究方向为计算机视觉和机器人基于视觉的感知，涵盖目标检测、多目标追踪、人类轨迹和姿态预测
以及人类集体活动识别。他还在贝叶斯滤波、基于点过程和有限集统计的估计与学习领域拥有研究专长。
阿比吉特·申诺伊（Abhijeet Shenoi） 阿比吉特·申诺伊是AiBee美国公司的算法工程师。他于2019年获得斯坦福大学计算机科学系硕士学位，读研期间在斯坦福视觉与学习实验室西尔维奥·萨瓦雷塞（Silvio Savarese）教授的指导下工作。他的研究兴趣包括语义理解、三维跟踪和三维计算机视觉。
郭俊英（JunYoung Gwak） 郭俊英是斯坦福视觉与学习实验室西尔维奥·萨瓦雷塞教授课题组的博士生。他目前的研究方向是三维视觉和场景理解。
---
埃里克·弗兰克尔（Eric Frankel） 埃里克·弗兰克尔是JackRabbit实验室的研究助理，在西尔维奥·萨瓦雷塞教授手下参与JackRabbit项目，该项目研究并提升动态环境中自主智能体的活动能力。他目前在斯坦福大学攻读数学与计算机科学，师从伊曼纽尔·坎德斯（Emmanuel Candès）教授。他的研究兴趣包括计算机视觉和表示学习。
西尔维奥·萨瓦雷塞（Silvio Savarese） 西尔维奥·萨瓦雷塞是斯坦福大学计算机科学系副教授，也是首位Mindtree讲席学者。他2005年获得加州理工学院电气工程博士学位，2005年至2008年担任伊利诺伊大学厄巴纳-香槟分校贝克曼研究所研究员，2008年起他在密歇根大学安娜堡分校电气与计算机工程系先后担任助理教授、副教授，之后于2013年加入斯坦福大学，任职时间从2008年到
[^2013]: His research interests include computer vision, robotic perception and machine learning. He is a recipient of several awards including a Best Student Paper Award at CVPR 2016, the James R. Croes Medal in 2013, a TRW Automotive Endowed Research Award in 2012, an NSF Career Award in 2011 and Google Research Award in 2010. In 2002 he was awarded the Walker von Brimer Award for outstanding research initiative.
阿米尔·萨德吉安（Amir Sadeghian） 阿米尔·萨德吉安是Aibee美国公司的算法科学家和创始成员，负责领导购物中心团队。他的团队致力于构建购物中心数字化系统，实现更优化的管理，并开辟线下流量变现的新途径。他于2019年1月获得斯坦福大学博士学位，读博期间在斯坦福视觉与学习实验室师从西尔维奥·萨瓦雷塞教授。他的研究兴趣主要集中在计算机视觉与机器人感知领域。
读博期间，他领导的JackRabbit团队曾被CBS、ABC、BBC等多家主流新闻媒体报道。
---
### I. 1 360圆柱图像合成
我们数据集中的原始数据来自两排平行布置的相机，每排各配置5台RGB相机。每排采集到的同步图像可以合成一张$360^{\circ}$图像，正如我们的可视化结果所示（例如图2和图A.3）。我们假设每排的每台相机（共5台）都可以建模为针孔相机，每台输出图像的分辨率为$752 \times 480$像素。为了从这些原始图像合成一张完整的$360^{\circ}$圆柱RGB图像，我们采用了以下步骤。
首先，我们构建了将圆柱图像像素映射到5台原始相机图像像素的函数$c_i$。为此，我们假设圆柱图像中的每个像素$(u_{cyl}, v_{cyl})$到相机中心的距离r都是恒定值。设笛卡尔参考系的y轴向上，x轴向前，z轴向右，则圆柱图像上该像素的三维位置坐标为$(r \cos \theta, v_{cyl}, r \sin \theta)$，其中$\theta$是原点到该像素的连线与参考系x轴正方向的夹角。随后，我们根据每台相机的外参$R_i$和$T_i$、内参$K_i$以及畸变系数$D_i$，将该像素投影到对应原始相机的图像上。投影得到的点$(\hat{u}_i, \hat{v}_i)$由下式给出：
$$ \begin{pmatrix}\hat{u}_{i}\\\hat{v}_{i}\end{pmatrix}=K_{i}f_{D_{i}}\left(\begin{bmatrix}R_{i}&T_{i}\end{bmatrix}\begin{pmatrix}r\cos\theta\\v_{cyl}\\r\sin\theta\\1\end{pmatrix}\right) $$
其中$f_{D}$是由畸变系数D参数化的畸变函数。为了排除投影点位于投影相机后方的情况，我们首先将圆柱图像中该像素的三维位置转换到每个相机的参考系下。
$$ \begin{pmatrix}x_{i}\\y_{i}\\z_{i}\end{pmatrix}=\begin{bmatrix}R_{i}&T_{i}\end{bmatrix}\begin{pmatrix}r\cos\theta\\v_{cyl}\\r\sin\theta\\1\end{pmatrix} $$
由于相机的指向与z轴正方向对齐，$z_i < 0$表明圆柱图像中该像素的三维位置对应的点位于相机$c_i$后方，因此我们不考虑它的投影。我们还剔除了超出单张图像范围的匹配关系，即当$\hat{u}_i$或$\hat{v}_i$位于相机$c_i$所拍摄图像的边界之外时，该匹配会被排除。该过程得到的结果是每个独立相机$(u_{cyl}, v_{cyl})$对应的$(\hat{u}_i, \hat{v}_i)$与$c_i$之间的映射关系。
得到这些映射后，我们可以将原始五张图像中的像素转换为圆柱图像中对应的像素，再将各独立图像平滑融合到圆柱面上，最终得到$360^{\circ}$ RGB圆柱图像。
### 1.2 JRDB 数据结构
JRDB
Fig. A.1: The dataset contains image and point cloud data, along with labels, sample detections, timestamps and calibration information. Further detail is in text.
---
### 1.3 验证划分
(a) Train Set
(b) Validation Set
Histogram of areas of 2D bounding boxes
(c) Train Set
(d) Validation Set
Histogram of distances between 3D bounding box centers and sensor origin
(e) Train Set
(f) Validation Set
Kernel Density Estimates of the spatial distribution of people around the robot
(g) Train Set (h) Validation Set Distribution of occlusion levels (four levels)
Fig. A.2: Comparison of data in train and validation sets. The data distribution is very similar on the observed metrics.
Fig. A.3: Visualization of the 54 sequences in the JRDB. The scenes include indoor and outdoor areas in a university campus, with different lighting conditions, motion, number of pedestrians, and activities. These include locations similar to roads, strip malls, sidewalks, restaurants, plazas, parks, halls, classrooms, laboratories, and office buildings. This scenes span a large degree of variability and cover scenarios that a social robot will encounter during operation (crowds, walking groups, queues, talking formations, and more).
---
Fig. A.3: Visualization of the 54 sequences in the JRDB (cont.)