{
  "paper_id": "a1d4da25d99a0a00e198efb69f9b133c",
  "paper_title": "Hybrid 3D–2D human tracking in a top view",
  "paper_authors": [
    "Cyrille Migniot",
    "Fakhreddine Ababsa"
  ],
  "publication_date": "2014-05-02",
  "publication_venue": "Springer-Verlag Berlin Heidelberg",
  "abstract": "This paper addresses the problem of 3D tracking of human gesture for buying behavior estimation. The top view of the customers, which has been little treated for human tracking, is exploited in this particular context. This point of view avoids occlusion except for those of the arms. We propose an hybrid 3D–2D tracking method based on the particle filtering framework, which uses the exclusion principle to separate the observation related to each customer and deals with multi-person tracking. The head and shoulders are tracked in the 2D space, while the arms are tracked in the 3D space: these are the spaces where they are the most descriptive. We validate our method both experimentally, so as to obtain qualitative results, and on-site. We demonstrated that it makes a good estimation for various cases and situations in real-time (≈40 fps).",
  "keywords": [
    "Human tracking",
    "Particle filtering",
    "Multi-target tracking",
    "Buying behavior analysis",
    "Xtion Pro-Live"
  ],
  "paper_institutions": [
    "IBISC Laboratory, University of Evry Val d'Essonne",
    "INRIA"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "ark-code-latest",
  "prompt_template": "simple",
  "extracted_at": "2026-08-16T19:47:07.614687Z",
  "template_tag": "simple",
  "summary": "### 摘要\n本文针对超市俯视场景下的人体三维姿态跟踪问题，提出了一种混合3D-2D的粒子滤波跟踪方法，用于分析顾客的购买行为。俯视视角能够避免大部分遮挡，仅手臂可能被遮挡，但传统方法多用于正面或侧面视角，俯视姿态跟踪研究较少。该方法将人体分为两部分：头部和肩部在2D图像空间跟踪（因其形状稳定，利用深度图像和2D chamfer距离匹配），手臂在3D空间跟踪（利用深度点云和3D模型，采用截断圆柱等几何体表示体积）。通过排除原理（exclusion principle）将观测分配到各目标，实现多目标跟踪而不增加复杂度。实验使用了4个模拟序列（S1-S4）和超过25分钟的现场超市序列，相机为Asus Xtion PRO-LIVE，安装在2.9米高处，图像尺寸320×240。定量评估包括与手动标注的真值比较和ART系统记录的关节轨迹对比。结果表明，该方法在约40fps（每帧25ms）下运行，头部肩部跟踪的MOTP小于20mm，手臂跟踪的平均3D误差小于25mm，优于全3D方法（误差130mm和75mm，处理时间80ms）。此外，还引入了置信度度量C以检测错误估计（仅1.52%的帧错误）。未来工作将基于提取的轨迹和关节角度进行购买行为识别。\n\n### 关键要点\n- 提出一种混合3D-2D人体跟踪模型：头部和肩部在2D空间用两个椭圆拟合，手臂在3D空间用骨架和几何体表示，分别选择最合适的描述空间。\n- 采用粒子滤波框架，状态分解降低维度，采样复杂度为O(N)，每个目标独立跟踪，处理时间正比于目标数量。\n- 头部和肩部使用2D chamfer距离作为似然函数，权重为ω_i^2D=exp(-d_i^ch)，其中d_i^ch是椭圆像素在chamfer掩膜上的平均距离。\n- 手臂使用3D欧氏距离作为似然函数，权重为ω_i^3D=exp(-d_i^3D)，d_i^3D是观测点集到模型体积的最小距离的平均值。\n- 多目标跟踪通过排除原理实现：预测每个目标的状态，将观测像素分配给最近的模型，观测分割正确率超过99%。\n- 置信度度量C定义为估计模型骨架在2D投影到最近ROI的平均距离，用于检测错误帧，阈值设为10像素，错误率仅1.52%。\n- 实验序列S1和S2用于评估2D和3D跟踪精度，S3包含ART参考数据，S4为两人场景；现场测试包含25分钟超市数据。\n- 与全3D方法（3D和3D-PB）相比，本方法（3D-2D）在相同精度下处理时间降低到25ms，误差仅为25mm，远优于全3D的130mm和75mm。\n- 真实场景中，手臂自然下垂时难以分辨，但对购买动作识别不重要；相机距离地面2.9m，帧率30fps，实际处理达到40fps。\n- 通过分析手臂关节轨迹（肘部、腕部）和角度空间，可区分抓取商品和查看商品等行为，为后续动作识别提供特征。\n- 方法在约50个粒子时达到最佳精度，处理时间约25ms；当目标数较少时可实时运行，否则可并行化处理。\n- 模型在动力学传播中加入生物力学约束（如头肩距离和角度限制），并采用SIS系统重采样，保证粒子集中于高概率区域。"
}