{
  "paper_id": "79ce7823d7bcc3294a6ec27b12cfb4cf",
  "paper_title": "Detecting and tracking people in real time with RGB-D camera",
  "paper_authors": [
    "Jun Liu",
    "Ye Liu",
    "Guyue Zhang",
    "Peiru Zhu",
    "Yan Qiu Chen"
  ],
  "publication_date": "2014-09-24",
  "publication_venue": "Pattern Recognition Letters",
  "abstract": "我们提出了一种新颖的方法，利用单个RGB-D相机在杂乱和动态的环境中自动检测和跟踪不同姿态的人。原始RGB-D像素被转换为新颖的点集合图像（PEI），我们证明了使用这种新表示可以非常有效地在3D空间中进行人体检测和跟踪。第一阶段中的检测器快速定位人体物理上合理的候选位置，然后在监督学习和分类第二阶段中进一步仔细过滤。计算颜色和高度的联合统计用于数据关联，以生成被跟踪个体的最终3D运动轨迹。在公开可用的办公室数据集、移动相机数据集和我们创建的服装店数据集上获得的定性和定量实验结果显示出了非常有前景的结果。",
  "keywords": [
    "RGB-D camera",
    "human detection",
    "tracking",
    "Point Ensemble Image",
    "Histogram of Height Difference",
    "Joint Histogram of Color and Height",
    "real-time"
  ],
  "paper_institutions": [
    "School of Computer Science, Fudan University, Shanghai 201203, China",
    "College of Automation, Nanjing University of Posts and Telecommunications, Nanjing 210023, China"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "ark-code-latest",
  "prompt_template": "simple",
  "extracted_at": "2026-08-16T19:47:03.612425Z",
  "template_tag": "simple",
  "summary": "### 摘要\n本文提出一种利用单个RGB-D相机在杂乱动态环境中实时检测和跟踪人体的方法。该方法将原始RGB-D像素转换为新颖的点集合图像（PEI），以缓解原始图像域中的重叠问题并保留所有像素信息。检测阶段采用两阶段级联：第一阶段快速定位人体物理上合理的候选位置，大幅减少搜索空间；第二阶段使用基于HOHD（高度差直方图）和JHCH（颜色-高度联合直方图）两种新特征的监督学习分类器进行精细过滤。跟踪阶段利用JHCH进行数据关联，结合卡尔曼滤波器生成最终的3D运动轨迹。在办公室数据集、移动相机数据集和自建的服装店数据集上进行了实验，结果表明该方法在准确性和实时性上优于现有方法，实现了30-50fps的实时性能。\n\n### 关键要点\n- 提出新颖的PEI表示，将3D点云投影到平面视图，有效缓解斜视角下人体相互遮挡导致的欠分割和过分割问题。\n- PEI中每个栅格单元记录落入该单元的所有3D点，保留全部信息，优于仅保留最高点的传统高度图表示。\n- 第一阶段检测利用局部高度极大值快速定位头冠候选，通过设定高度阈值和圆柱邻域有效过滤大量不可行点。\n- 第二阶段采用线性SVM分类器，特征向量由归一化的HOHD（15个bin）和JHCH（5个高度区间×9个色调区间）线性组合而成。\n- HOHD基于头部与肩部的高度差统计，在噪声和碎片数据上具有鲁棒性，避免了对人体形状的硬假设。\n- JHCH利用HSV色彩空间的色调分量，对光照变化不敏感，并专门处理黑白像素，能有效区分不同发型和头部姿态。\n- 跟踪阶段使用3D JHCH（9×5×5个bin）描述人体外观，通过加权函数增强上部身体可靠性，并基于Bhattacharyya相似度和卡尔曼预测位置进行贪婪数据关联。\n- 在三个数据集上的评估显示，所提检测器显著优于HOG检测器、Xia等人的深度检测器以及Choi等人的方法，尤其在部分遮挡场景下。\n- 第一阶段检测在三个数据集上的漏检率分别为0.06、0.08和0.05，但FPPI较高（27、10、12），表明其作为预筛步骤能大幅降低后续计算负担。\n- 特征贡献分析表明，JHCH特征相比HOHD更重要，因为其融合了外观和深度信息，提供更多判别信息。\n- 基于JHCH的数据关联相比仅用颜色或仅用高度直方图，显著减少了跟踪丢失和ID切换错误，尤其在ID切换方面几乎降至零。\n- 系统在普通桌面PC（Intel i5-2500 CPU，8GB RAM）上以C++实现，无需GPU加速即可达到30-50fps的实时性能。"
}