{
  "paper_id": "e11a05eed83d40056ca12852490271f5",
  "paper_title": "Real-Time RGB-D based People Detection and Tracking for Mobile Robots and Head-Worn Cameras",
  "paper_authors": [
    "Omid Hosseini Jafari",
    "Dennis Mitzel",
    "Bastian Leibe"
  ],
  "publication_date": "",
  "publication_venue": "2014 IEEE International Conference on Robotics and Automation (ICRA)",
  "abstract": "我们提出一种实时RGB-D多人员检测与跟踪系统，适用于移动机器人和头戴式相机。我们的方法结合了RGB-D视觉里程计估计、感兴趣区域处理、地面估计、行人检测和多假设跟踪组件，在笔记本电脑上以每秒20帧以上的速度运行。由于目标检测是最昂贵的组件，我们投入大量精力充分利用可用深度信息。特别是，我们提出为不同距离范围使用两种检测器。在近距（5-7米以内），我们提出一种极快的基于深度的上半身检测器，当应用于Kinect传感器时，允许在单个CPU核心上实现视频速率系统性能。为覆盖更远距离，我们可选地添加基于外观的全身HOG检测器（在GPU上运行），利用场景几何来限制搜索空间。我们的方法既可用于室内环境的Kinect RGB-D输入，也可用于室外场景的立体深度输入。我们在具有挑战性的室内外序列上定量评估了我们的方法，并展示了在多种设置下的最先进性能。我们的代码公开可用。",
  "keywords": [
    "RGB-D",
    "people detection",
    "tracking",
    "mobile robots",
    "head-worn cameras",
    "depth-based detector",
    "HOG"
  ],
  "paper_institutions": [
    "RWTH Aachen University"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "ark-code-latest",
  "prompt_template": "simple",
  "extracted_at": "2026-08-16T19:46:47.008202Z",
  "template_tag": "simple",
  "summary": "### 摘要\n本工作针对移动机器人和头戴相机场景下的实时RGB-D多人检测与跟踪问题。现有检测器计算昂贵且难以处理部分遮挡，而机器人导航和AR应用需要低延迟。我们提出一个集成系统，充分利用深度信息：通过视觉里程计融合点云，进行结构标注、地面估计和感兴趣区域提取；为近距离（≤7m）设计极快的深度上半身检测器，利用局部最大值和ROI分割提升性能；远距离采用结合场景几何约束的GPU版HOG检测器（groundHOG），限制搜索空间。系统在室内使用Kinect/Asus Xtion，室外使用立体相机。在三个数据集（SUNNY DAY、HEAD MOUNTED CAMERA、ENTRANCE HALL）上评估，测量召回率vs每图像假阳性率。结果表明，近距离检测器在室内序列达到96%召回率，组合检测器可覆盖更远范围并提升性能（如提升9%召回率）。系统在笔记本上运行24fps（不含groundHOG）或18fps（含groundHOG）。核心机制是深度模板匹配：将归一化深度模板滑动于ROI，计算欧氏距离矩阵，并通过局部最大值和分割减少计算量；groundHOG利用地面几何推导最小搜索走廊。未来可探索更多深度信息利用，提高远距离检测精度，并应用于动态避障和AR场景。\n\n### 关键要点\n- 系统面向移动机器人和头戴相机，需实时处理部分遮挡和透视畸变，针对这两种场景设计。\n- 利用深度信息进行结构分类，将3D点分为对象、地面、固定结构，过滤固定结构以减少误检。\n- 地面估计采用RANSAC，基于高度走廊和自由空间假设，有效区分行人与悬空建筑。\n- ROI提取通过投影到地面平面、高斯平滑、阈值分割，并用Quick Shift算法进一步分割成单个行人。\n- 近距离检测使用深度上半身模板，通过局部最大值筛选和分割后的独立ROI，减少滑窗次数，运行时间从30ms降至23ms。\n- 远距离采用groundHOG（GPU HOG），利用地面几何约束，仅评估几何有效区域，速度提升2-4倍，运行时间40ms。\n- 在系统中，groundHOG仅用于7m以上范围，减少GPU负担，整体帧率18fps。\n- 跟踪模块使用双向扩展卡尔曼滤波器生成轨迹假设，并通过MDL模型选择优化子集，可过滤误检并插值漏检。\n- 在ENTRANCE HALL序列1（近距）上，上半身检测器在0.4误检率时达到96%召回率，明显优于groundHOG。\n- 在序列2（远距）上，组合两个检测器比单独使用groundHOG提高9%召回率。\n- SUNNY DAY序列中，上半身检测器即使在远距离也优于groundHOG，因立体基线更长精度更高。\n- 系统代码已集成至ROS并公开，包含全部模块，便于研究复现。"
}