{
  "paper_id": "b6cf3c8ab75cec2425878a8d200b77ee",
  "paper_title": "行人是否要过马路？——通过2D姿态估计回答",
  "paper_authors": [
    "Zhijie Fang",
    "Antonio M. López"
  ],
  "publication_date": "2018",
  "publication_venue": "2018 IEEE Intelligent Vehicles Symposium (IV)",
  "abstract": "我们最近的工作表明，得益于当今强大的CNN，基于图像的2D姿态估计是判断行人意图（如横穿本车路径、进入道路前停下、开始行走或弯腰朝向道路）的有力线索。这一结论基于在非自然序列（Daimler数据集）上获得的结果，即专门为进行该研究而编排的序列。幸运的是，一个新的公开数据集（JAAD）最近出现，允许在自然驾驶条件下开发检测行人意图的方法；更具体地说，用于解决“行人是否要过马路？”这一相关问题。因此，在本文中，我们使用JAAD来评估2D姿态估计在回答该问题上的有用性。我们结合基于CNN的行人检测、跟踪和姿态估计，从单目图像中预测过马路行为。总体而言，所提出的流程提供了新的最先进结果。",
  "keywords": [
    "pedestrian intention",
    "2D pose estimation",
    "crossing/not-crossing",
    "JAAD dataset",
    "monocular vision",
    "CNN"
  ],
  "paper_institutions": [],
  "output_language": "zh",
  "provider": "doubao",
  "model": "ark-code-latest",
  "prompt_template": "simple",
  "extracted_at": "2026-08-16T19:46:34.620380Z",
  "template_tag": "simple",
  "summary": "### 摘要\n本文旨在解决自动驾驶中判断行人是否即将过马路（C/NC）的问题。传统方法依赖立体视觉或光流等，本文利用基于CNN的2D姿态估计，结合行人检测（Faster R-CNN）、跟踪（多目标跟踪器）和姿态估计（OpenPose）构建流水线，从单目视频中提取行人骨骼关键点特征，用于C/NC分类。在JAAD数据集上评估，该数据集包含自然驾驶条件下的346个视频，训练/测试划分采用前250个视频训练，其余测试。特征由9个稳定关键点（腿部和肩部）计算角度与距离，归一化后得到396维特征，并与时间窗口（T=14帧）拼接。实验显示，骨骼特征准确率达0.88（T=14），优于CNN fc6特征的0.70，结合两者为0.87（T=14）。此外，还报告了时间到事件（TTE）结果，表明系统能在行人开始移动后约250ms内（predictability>0.8）预测其过街意图。未来工作包括处理错误案例（如行人并非横穿本车道）以及结合上下文信息。方法核心在于利用骨骼关键点的相对几何关系作为判别特征。\n\n### 关键要点\n- 基于2D姿态估计的行人过马路意图分类方法，仅需单目图像，无需立体、光流或自我运动补偿。\n- 使用Faster R-CNN检测行人，多目标跟踪器进行跟踪，OpenPose估计骨骼关键点（18个，取9个稳定点）。\n- 特征包括关键点间的距离、角度和三角形角度，归一化后形成396维特征向量，并与时间窗口T帧拼接。\n- 在JAAD数据集上评估，该数据集包含自然驾驶场景，共346个视频，约88,000帧，2,624个独特行人。\n- 训练时仅采用最小宽度60像素、无遮挡的行人，并平衡正负样本，共8,677个C样本和8,677个NC样本。\n- 采用随机森林分类器，通过5折交叉验证优化参数，最佳设置为400棵树和最大深度15。\n- T=14（约0.5秒）的准确率高于T=1，表明多帧信息整合的重要性。\n- 骨骼特征（SKLT）在T=1和T=14下分别达到0.80和0.88的准确率，优于CNN fc6特征（0.68和0.70）。\n- 结合骨骼与CNN特征未显著提高准确率，说明骨骼特征已包含判别信息。\n- 报告了时间到事件（TTE）结果，系统能预测“继续行走过街”和“开始行走过街”事件，在行人开始移动后约250ms内可靠性高于0.8。\n- 存在的挑战：行人横穿非本车道时可能误判，沿道路行走但未过街的情况可能被正确分类但实际危险，需结合位置推理。\n- 与文献[8]相比，本文方法无需微调CNN用于姿态估计，直接利用预训练模型，但检测需针对JAAD微调。"
}