{
  "paper_id": "94aae04777cfa74515b8d1c830568df4",
  "paper_title": "JRDB: 一种基于自我中心视觉的机器人对人类环境感知的数据集与基准",
  "paper_authors": [
    "Roberto Martín-Martín",
    "Mihir Patel",
    "Hamid Rezatofighi",
    "Abhijeet Shenoi",
    "JunYoung Gwak",
    "Eric Frankel",
    "Amir Sadeghian",
    "Silvio Savarese"
  ],
  "publication_date": "2020",
  "publication_venue": "unknown",
  "abstract": "我们提出了JRDB，一个从我们的社交移动机器人JackRabbit收集的新颖的自我中心数据集。数据集包含64分钟的带注释的多模态传感器数据，包括立体圆柱形360° RGB视频（15 fps）、来自两个16线Velodyne LiDAR的3D点云、来自两个Sick激光雷达的线3D点云、音频信号、RGB-D视频（30 fps）、来自鱼眼相机的360°球面图像以及机器人轮子的编码器值。我们的数据集包含了传统上不被充分代表的场景，如室内环境和行人区域，全部从机器人的自我视角捕捉，既有静止状态也有导航状态。数据集已注释了超过240万个分布在5个独立相机上的2D边界框和180万个关联的3D立方体，覆盖了场景中所有行人，总计超过3500个时间一致的轨迹。连同我们的数据集和注释，我们启动了一个用于2D和3D人物检测与跟踪的基准和指标。通过这个数据集，我们计划在未来扩展更多类型的注释，希望为自我中心机器人视觉、自主导航以及人类环境中社交机器人周围所有感知任务的研究提供新的数据源和测试平台。",
  "keywords": [
    "Robot Navigation",
    "Social Robotics",
    "Person Detection",
    "Person Tracking"
  ],
  "paper_institutions": [
    "Stanford University",
    "Monash University",
    "Aibee US Corporation"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "ark-code-latest",
  "prompt_template": "simple",
  "extracted_at": "2026-08-16T19:47:05.794488Z",
  "template_tag": "simple",
  "summary": "### 摘要\n该论文提出了JRDB数据集，旨在填补机器人和计算机视觉社区在室内外人类环境下大规模多模态自我中心数据的空白。针对现有数据集主要聚焦于自动驾驶场景的问题，JRDB从社交移动机器人JackRabbit（配备多种传感器，包括立体360° RGB相机、Velodyne LiDAR、SICK激光雷达、RGB-D相机、鱼眼相机、麦克风、IMU和编码器）收集了64分钟的数据，涵盖54个序列，包括室内和室外大学校园场景，既有静止也有移动状态。数据集中标注了超过240万个2D边界框和180万个3D立方体，以及3500条时间一致的轨迹，并提供了2D和3D人物检测与跟踪的基准和指标。论文评估了多种现有方法，包括YOLOv3、RetinaNet、Faster R-CNN（2D检测），DeepSORT、JRMOT和Tracktor（2D跟踪），以及F-PointNet和TANet（3D检测），AB3DMOT和JRMOT（3D跟踪），结果显示这些方法在JRDB上表现不佳，AP和MOTA分数较低，OSPA误差较高，表明数据集具有独特挑战性。主要挑战包括第一人称视角带来的严重遮挡、室内外场景的多样性、人群密度高、距离变化大以及行人尺度差异等。论文还提出了基于重识别（RALO）的简单基线方法来减少长期遮挡下的ID切换次数，并证实了数据集规模足够支持训练，性能不佳源于数据本身的难度。这为未来在社交机器人感知领域的研究提供了新的方向和基准。\n### 关键要点\n- JRDB数据集包含64分钟的多模态传感器数据，包括立体360° RGB视频、LiDAR点云、RGB-D、鱼眼图像、音频和编码器数据。\n- 数据从室内外大学校园场景的54个序列中收集，覆盖静止和移动机器人视角，具有高度场景多样性。\n- 标注包含240万个2D边界框和180万个3D立方体，以及超过3500条时间一致的轨迹。\n- 基准提供2D和3D人物检测与跟踪任务，采用AP和OSPA_{IoU}作为检测指标，MOTA/MOTP和OSPA_{IoU}^{(2)}作为跟踪指标。\n- 评估的2D检测器（YOLOv3、RetinaNet、Faster R-CNN）在JRDB上AP约为50%，OSPA误差接近1，表明性能不佳。\n- 2D跟踪器（DeepSORT、JRMOT、Tracktor）MOTA值低于30%，OSPA^{(2)}误差较高，ID切换频繁。\n- 3D检测器（F-PointNet、TANet）AP阈值0.3时分别约38%和54%，但高位姿估计误差导致阈值0.5时性能骤降。\n- 所有方法对遮挡敏感，部分遮挡导致性能显著下降，室内外场景挑战不同。\n- 增加训练数据量（从50%到90%）对性能提升甚微，表明数据量足够，难度源于场景本身。\n- 提出的RALO重识别方法可减少ID切换，但其他误差仍高，需改进长期遮挡处理。"
}