{
  "paper_id": "b6cf3c8ab75cec2425878a8d200b77ee",
  "paper_title": "行人是否要过马路？——通过2D姿态估计回答",
  "paper_authors": [
    "Zhijie Fang",
    "Antonio M. López"
  ],
  "publication_date": "2018",
  "publication_venue": "2018 IEEE Intelligent Vehicles Symposium (IV)",
  "abstract": "我们最近的工作表明，得益于当今强大的CNN，基于图像的2D姿态估计是判断行人意图（如横穿本车路径、进入道路前停下、开始行走或弯腰朝向道路）的有力线索。这一结论基于在非自然序列（Daimler数据集）上获得的结果，即专门为进行该研究而编排的序列。幸运的是，一个新的公开数据集（JAAD）最近出现，允许在自然驾驶条件下开发检测行人意图的方法；更具体地说，用于解决“行人是否要过马路？”这一相关问题。因此，在本文中，我们使用JAAD来评估2D姿态估计在回答该问题上的有用性。我们结合基于CNN的行人检测、跟踪和姿态估计，从单目图像中预测过马路行为。总体而言，所提出的流程提供了新的最先进结果。",
  "keywords": [
    "pedestrian intention",
    "2D pose estimation",
    "crossing/not-crossing",
    "JAAD dataset",
    "monocular vision",
    "CNN"
  ],
  "paper_institutions": [],
  "output_language": "zh",
  "provider": "doubao",
  "model": "ark-code-latest",
  "prompt_template": "simple",
  "extracted_at": "2026-08-16T19:46:34.620380Z",
  "template_tag": "deep_read",
  "summary": "# Is the Pedestrian going to Cross? Answering by 2D Pose Estimation\n\n\n**作者 / Authors:** Zhijie Fang, Antonio M. López\n\n\n\n\n**输出语言 / Output Language:** zh\n\n\n\n**发表日期 / Publication Date:** 2018\n\n\n\n**期刊/会议 / Publication Venue:** 2018 IEEE Intelligent Vehicles Symposium (IV)\n\n\n## 模块 A：阅读对齐与输入校验 / Module A: Reading Alignment and Input Check\n\n## 模块A：阅读对齐与输入验证\n\n### 1. 论文元数据\n\n- **标题**: Is the Pedestrian going to Cross? Answering by 2D Pose Estimation\n- **作者**: Zhijie Fang; Antonio M. López（作者隶属关系在论文中未明确给出，但根据致谢可推断与西班牙研究机构相关，如巴塞罗那自治大学计算机视觉中心等，具体背景未详述）\n- **出版地点**: 2018 IEEE Intelligent Vehicles Symposium (IV)，IEEE出版，DOI: 10.1109/IVS.2018.8500413\n\n### 2. 研究定位\n\n- **研究领域**: 自动驾驶中的行人意图预测，特别是预测行人是否过马路（Crossing/Not-Crossing，C/NC）\n- **具体任务**: 基于单目图像的2D姿态估计，结合行人检测与跟踪，判断行人是否即将横穿道路\n- **目标用户或应用场景**: 智能车辆（辅助驾驶/自动驾驶）中的安全系统，用于预警或自动决策，提升行车安全与舒适性\n\n### 3. 输入材料清单\n\n- **PDF**: 是（已提供论文全文）\n- **附录/补充材料**: 未明确提供，但文中提到有补充视频（<https://youtu.be/we4weU0NSGA>）\n- **代码链接**: 未提供（论文中未给出代码链接，但引用了开源模块：Faster R-CNN实现、跟踪器代码、姿态估计代码等）\n- **数据集链接**: JAAD数据集公开可用（文中引用[^7]）；Daimler数据集也已公开（文中引用[^6]）\n\n### 4. 缺失材料与风险\n\n- **缺失项**: 代码、详细的实验配置（如数据划分细节）、补充视频链接（部分可能需手动访问）\n- **可能影响**: 无法完全复现实验，但主要结果（表I）有足够描述；实验协议已详细说明，风险中等\n\n### 5. 阅读路线（3-6步）\n\n- **步骤1**: 快速浏览摘要、引言、结论，把握问题、贡献和主要结果（章节I和V）\n- **步骤2**: 阅读方法部分（III）理解系统流程：检测、跟踪、姿态估计、C/NC分类，结合图2、图3理解特征提取\n- **步骤3**: 阅读实验部分（IV）重点看数据集、评估协议、表I结果以及TTE分析（图5-8）\n- **步骤4**: 对比相关工作中已有方法（II），理解本文与[^5]的差异及创新点\n- **步骤5**: 深入分析特征设计（9个关键点、396维特征）和分类器（随机森林）的合理性，思考潜在改进方向\n- **步骤6**: 若需复现，检查引用代码和数据集可用性，并尝试按协议重现实验。\n\n### 分类理由\n\n- **论文类型归类为method**: 主要贡献是提出了一套基于2D姿态估计的行人过马路意图预测方法（pipeline），包括特征提取与分类，并在JAAD数据集上验证优于现有CNN特征方法，属于新方法/算法。\n\n\n## 模块 B：第一遍鸟瞰扫描（类别/上下文/正确性/贡献/清晰度） / Module B: First Pass Overview (category, context, correctness, contribution, clarity)\n\n## 模块B：第一遍概览\n\n### 1. 论文类型与类别\n\n- **论文类型**: 方法类（Method）。论文提出了一套基于单目图像的2D姿态估计（2D pose estimation）的行人过马路意图预测（Crossing/Not-Crossing, C/NC）流水线，包括行人检测、多目标跟踪、姿态估计与基于骨架特征的C/NC分类器，并在JAAD数据集上取得了当时最新的结果。\n- **所属领域**: 自动驾驶中的行人意图预测，属于计算机视觉与智能车辆交叉领域。\n\n### 2. 背景与研究背景\n\n- **研究背景**: 在自动驾驶或辅助驾驶中，提前预测行人是否即将横穿道路（C/NC）对于车辆安全制动和舒适性至关重要。已有工作多依赖立体视觉、光流或自车运动补偿等额外信息，而本文基于单目视觉，利用CNN进行2D姿态估计来捕捉行人的身体姿势和运动，从而预测其横穿意图。\n- **前期工作**: 作者团队之前在Daimler数据集（非自然场景）上提出了基于2D姿态估计的C/NC方法[^5]，但该数据集是人为编排的，环境单一。本文将其方法迁移到更具挑战性的自然驾驶场景数据集JAAD，并引入行人检测和跟踪模块。\n- **问题定义**: 给定单目视频流中的行人轨迹，判断该行人在未来是否会横穿本车行驶路线（C/NC）。\n\n### 3. 直观正确性检查（关键假设及合理性）\n\n- **关键假设**: 行人的2D姿态（由18个关键点描述）包含了足够的信息来预测其横穿意图，特别是腿部、肩部等9个关键点的相对位置和角度变化能够反映行走、停止、转身等动作。\n- **合理性**: 该假设直观合理，因为人类行走、停止、转向等动作通常伴随着肢体姿态的显著变化，尤其腿部动作是横穿行为的关键信号。论文引用了[^15]的研究：缺乏姿势和身体运动信息会导致意图检测延迟，支持了姿态的重要性。\n- **其他假设**: 检测、跟踪和姿态估计模块可以独立使用现成的CNN组件，且整体流水线无需立体信息或自车运动补偿，仅依赖单目图像序列。这在自然驾驶场景中通常可满足，但需要可靠的行人检测和跟踪性能。\n- **潜在风险**: 姿态估计在遮挡、低分辨率或复杂背景下可能不准确，但论文通过筛选训练样本（最小BB宽度60像素、无遮挡）来缓解，并在实验中未排除测试时的遮挡，但可能影响性能。\n\n### 4. 核心贡献（3-5条）\n\n1. **提出并验证了基于2D姿态估计的C/NC预测流水线**：在自然驾驶数据集JAAD上，将检测（Faster R-CNN）、跟踪（Deep SORT）与2D姿态估计（OpenPose）结合，仅使用单目图像，不需要立体或运动补偿信息。\n2. **系统比较了骨架特征与CNN外观特征**：在相同检测和跟踪框架下，对比了基于人体关键点的396维特征与基于VGG16 fc6层的4096维特征，发现骨架特征显著优于CNN外观特征（T=14时Acc=0.88 vs 0.70）。\n3. **在JAAD数据集上取得了当时的最优结果**：所提方法在JAAD上以T=14（约0.5秒）的骨架特征达到88%的分类准确率，超过了现有基线，并提供了可复现的实验设置。\n4. **提供了时间到事件（TTE）分析**：补充了JAAD缺失的TTE标注，对“持续行走横穿”和“起步横穿”两类场景进行了意图概率随时间的变化分析，表明系统能在事件发生前约250ms（约8帧）可靠预测（可预测性>0.8）。\n5. **指出未来改进方向**：分析了错误案例，如横穿非本车路径的情况应视为正确，沿车行走的情况应视为危险，为后续研究提供了启示。\n\n### 5. 清晰度评估（结构、图表、公式、可读性）\n\n- **结构**: 论文遵循标准结构：引言（I）、相关工作（II）、方法（III）、实验（IV）、结论（V）。逻辑清晰，从问题定义、方法描述到实验验证，层次分明。\n- **图表**: 图1展示问题场景；图2展示了姿态估计的例子；图3详细说明了特征提取过程（从18个关键点中选9个，计算距离、角度和三角形角度，归一化后得到396维特征）；图4为定性结果示例；图5-8为TTE分析图；图9-10为错误案例分析。所有图表均对理解方法有帮助。\n- **公式**: 论文中涉及的公式较少，主要描述了状态向量、特征向量ψ_i和准确率定义，公式简单清晰，未引入复杂数学推导。\n- **可读性**: 整体行文清晰，术语定义明确，但部分细节在方法部分略显简略（如特征的具体计算流程），需结合图表理解。实验部分对协议描述较详细，可复现性较好。\n\n### 6. 继续或停止建议（明确建议及理由）\n\n- **建议**: 继续阅读（第二遍和第三遍）。\n- **理由**: 论文提出了一种新颖的姿态特征方法，在自然驾驶数据集上取得了与CNN外观特征相比的显著优势，并提供了详细的实验设置和TTE分析，对自动驾驶中行人意图预测研究有重要参考价值。方法具有可复现性，且错误案例分析为后续工作提供了明确方向。适合深入阅读方法细节、特征设计和实验评估。\n\n### 7. 结构概览图（包含Markmap块）\n\n```markmap\n# 论文概览\n## 引言\n- 问题陈述：C/NC预测的必要性\n- 挑战：自然驾驶场景\n- 工作概述：基于姿态估计的流水线\n## 相关工作\n- 传统方法（动态模型、视觉特征）\n- 姿态和方向估计方法\n- 与本文方法的关系对比\n## 方法\n- 行人检测（Faster R-CNN）\n- 多目标跟踪（Deep SORT）\n- 姿态估计（OpenPose）\n- C/NC分类（特征提取 + 随机森林）\n## 实验\n- 数据集（Daimler、JAAD）\n- 评估协议（训练/测试划分、特征构造）\n- 结果（表I、准确率比较）\n- TTE分析（图5-8）\n- 错误分析（图9-10）\n## 结论\n- 主要结论\n- 未来工作\n```\n\n\n## 模块 C1：论文试图解决什么问题？ / Module C1: What problem does the paper try to solve?\n\n### 模块C1：该论文试图解决什么问题？\n\n#### 1. 一句话问题定义\n\n本文解决的问题是：在自然驾驶条件下，如何仅利用单目图像来准确预测行人是否即将横穿本车行驶路径（Cross/Not-Cross，C/NC），从而为辅助驾驶或自动驾驶系统提供提前警告或自动决策依据。\n\n#### 2. 痛点或不足之处（2-4条）\n\n- **依赖额外传感器或信息**：现有方法（如[^6]、[^9]）通常需要立体视觉、光流或自车运动补偿等额外数据，这些数据在JAAD等自然驾驶数据集中不可用，限制了方法的适用性。\n- **数据集不自然**：早期研究（如[^5]）使用的Daimler数据集是非自然化的，行人动作被刻意编排，无法反映真实道路交通中的随机性和复杂性。\n- **低层特征效果有限**：仅关注头部或身体局部区域（如[^8]）或仅使用行人整体外观的CNN特征，难以捕捉行人的姿态与运动意图，导致分类性能不佳。\n- **实时性与鲁棒性挑战**：自然场景中行人检测、跟踪和姿态估计面临遮挡、光照变化等多重挑战，简单方法难以稳定工作。\n\n#### 3. 形式化目标或优化目标（如存在）\n\n尽管论文未给出显式的数学优化公式，但核心目标是构建一个端到端的视觉管道（检测→跟踪→姿态估计→特征提取→分类），通过最大化C/NC分类准确率Acc来优化模型。具体而言，在JAAD数据集上，随机森林分类器以骨架特征（396维×T帧）为输入，训练时通过GridSearchCV对树数量（100-500）和最大深度（7-30）进行交叉验证，选择使准确率最高的参数组合（最终为400棵树、深度15）。测试时，为保证公平比较，平衡正负样本数量（各5161个测试样本），计算Acc = (TP + TN)/(P + N)。\n\n#### 4. 成功标准（指标或期望属性）\n\n- **分类准确率（Acc）**：在JAAD测试集上达到新的最先进水平，核心结果是表I中T=14、SKLT特征取得Acc=0.88，优于CNN(fc6)特征的0.70，也优于[^8]报告的最佳结果（0.63）。\n- **跨时间信息整合**：T=14（约0.5秒窗口）相比T=1显著提升准确率（如SKLT从0.80提升至0.88），证明多帧骨架特征的有效性。\n- **时间-事件（TTE）预测能力**：通过预测概率 vs TTE 曲线和可预测性曲线，展示系统能在事件发生前提前检测（例如，静止行人开始过马路后约250ms内可预测性>0.8），体现方法的时序敏感性。\n- **仅依赖单目图像**：整个管道（检测、跟踪、姿态估计）均基于单目摄像头，无需立体或运动补偿，适合实际车载部署。\n\n（依据：论文摘要、Sect. I、Sect. III-D、Sect. IV-B-1、Sect. IV-B-2、Sect. IV-B-3、表I、图5-8）\n\n\n## 模块 C2：有哪些相关研究？（最强基线/最相近思路/正交方向） / Module C2: What related research exists? (strongest baseline, closest approach, orthogonal directions)\n\n## 模块C2：相关工作总结\n\n### 1. 最强基线与比较轴\n\n- **最强基线**：现有基于CNN外观特征的方法，尤其以文献[^8]为代表（Rasouli et al., ICCV Workshop 2017），该方法在JAAD数据集上使用AlexNet CNN特征（未微调）结合上下文特征，报告了C/NC任务的准确率。\n- **比较轴**：以特征类型（骨架特征 vs CNN外观特征）和时间窗口长度（T=1 vs T=14）为主要比较维度，同时对比是否结合上下文信息。论文在表I中明确对比了[^8]的结果与本文方法在不同特征和T取值下的准确率，揭示骨架特征的优势。\n\n### 2. 最接近的方法与关键差异\n\n- **最接近的方法**：本文作者前期工作[^5]（Fang et al., Sensors 2017），同样基于2D姿态估计（骨架特征）进行C/NC分类，但在Daimler数据集上验证，且仅使用简单的HOG/SVM检测器，无跟踪模块。\n- **关键差异**：本文针对更自然的JAAD数据集，整合了基于CNN的检测（Faster R-CNN）和跟踪（Deep SORT）模块，并增加了与CNN fc6特征的对比，以及TTE分析。相比[^5]，本文在更复杂场景下验证了姿态估计的泛化能力，并成为新的SOTA基线。\n\n### 3. 正交方向\n\n- **动态模型方法**：如[^6]、[^9]基于行人运动模型预测未来位置，依赖立体视觉、光流和自车运动补偿，与本文依赖单目图像和姿态估计方法正交。\n- **头/身体朝向估计**：[^12]、[^13]等方法估计头部和身体朝向，但存在朝向与意图联系不明确的问题，且[^14]表明头部检测对C/NC无用，构成不同技术路线。\n- **上下文/环境特征**：[^15]结合环境上下文（如道路结构）辅助意图识别，而本文仅使用行人自身姿态特征，属于互补方向。\n\n### 4. 一句话定位\n\n本文提出一种基于2D姿态估计的pipeline（检测-跟踪-姿态估计-分类），在自然驾驶环境数据集JAAD上显著优于CNN外观特征方法，确立了新的SOTA基线。\n\n### 建议结构（方法->核心思想->局限性）\n\n- **方法**：结合Faster R-CNN检测、Deep SORT跟踪和OpenPose姿态估计，对每个行人提取9个关键点的相对距离和角度特征（396维/帧），通过时间窗口（T=14）累积后送入随机森林分类器。\n- **核心思想**：利用行人骨架的动态变化（腿部和肩部）作为过马路意图的强线索，避免依赖立体视觉或光流等额外传感器。\n- **局限性**：①实验未排除遮挡行人，可能引入噪声；②训练样本仅考虑无遮挡且BB宽度≥60像素，限制了模型对遮挡场景的适应；③特征仅基于静态骨架，未明确建模动作时序关系；④分类阈值固定为0.5，未在验证集上优化。\n\n\n## 模块 C3：论文如何解决这个问题？（流程图文字版） / Module C3: How does the paper solve the problem? (include a text flowchart)\n\n## 模块C3：论文如何解决问题\n\n### 1. 核心机制概述\n\n本文提出了一种基于单目图像的端到端流水线，用于预测行人是否即将横穿道路（Crossing/Not-Crossing，C/NC）。核心机制是：利用**Faster R-CNN**进行行人检测，**多目标跟踪**（基于深度关联度量）维持行人身份，在跟踪框内运行**2D姿态估计**（基于Part Affinity Fields）获得行人骨架，从骨架中提取**396维特征**（基于关键点间的距离和角度），并利用**随机森林（RF）**分类器进行C/NC分类。该方法仅依赖单目图像，无需立体视觉、光流或自我运动补偿，在自然驾驶条件下的JAAD数据集上取得了当时最先进的性能。\n\n### 2. 步骤分解\n\n### 步骤1：行人检测\n\n- 使用基于VGG16的Faster R-CNN，在JAAD训练集上微调（anchor sizes {8,16,32,64}，宽高比2.5）。\n- 检测阈值5%，非极大值抑制重叠30%。\n\n### 步骤2：多目标跟踪\n\n- 采用tracking-by-detection范式，基于Deep SORT跟踪器（引用[^3]），状态变量为(u,v,λ,h,ẋ,ẏ,λ̇,ḥ)，Kalman滤波更新。\n- 数据关联使用CNN特征（在Re-ID数据集训练）的余弦距离。\n- 新轨迹需连续3帧匹配，轨迹结束需30帧无新观察（JAAD参数）。\n\n## 步骤3：骨架拟合（姿态估计）\n\n- 在每个跟踪BB内运行OpenPose风格的CNN姿态估计（引用[^16]），检测18个关键点。\n- 选择其中最稳定的9个关键点（腿部与肩部）用于特征提取。\n\n## 步骤4：特征提取\n\n- 利用关键点坐标计算归一化特征：以行人高度h为缩放因子（由上、下关键点计算），计算关键点间的Δx、Δy、欧氏距离、角度、三角形角度等，共得到396维特征（每帧）。\n- 采用滑动时间窗口（T=14帧，约0.5秒）拼接特征，得到396T维向量。\n- 对比特征：Faster R-CNN的fc6层特征（4096T维），以及两者组合。\n\n## 步骤5：分类\n\n- 使用随机森林（RF）分类器，通过GridSearchCV调参（树数量{100,200,300,400,500}，最大深度{7,15,21,30}），最终选择400棵树，最大深度15。\n- 分类阈值0.5，输出概率用于TTE分析。\n\n### 3. 关键公式或模块作用\n\n- **检测模块**：Faster R-CNN提供精确的行人边界框，为后续跟踪和姿态估计提供裁剪区域。\n- **跟踪模块**：维持行人ID，形成轨迹，使特征可以在时间上累积，捕捉动态变化。\n- **姿态估计模块**：从单目图像中提取人体关键点位置，为特征提供结构化姿势信息。\n- **特征公式**：设第i帧的骨架特征向量为ψ_i，包含归一化的关键点距离和角度，维度396；拼接T帧后得到特征向量Φ=[ψ_{i-T+1},...,ψ_i]∈R^{396T}。\n- **分类器**：RF直接输出概率p(∈C)，用于决策（阈值0.5）和TTE分析。\n- **评估指标**：Acc = (TP + TN)/(P + N)，测试时平衡P和N样本数。\n\n### 4. 流程图表（mermaid流程图）\n\n```mermaid\nflowchart TD\n    A[输入: 单目视频帧] --> B[Faster R-CNN 行人检测]\n    B --> C[Deep SORT 多目标跟踪]\n    C --> D[2D姿态估计 (OpenPose风格)]\n    D --> E[提取9个关键点特征]\n    E --> F[滑动窗口 T=14 帧特征拼接]\n    F --> G[随机森林分类器]\n    G --> H{概率>0.5?}\n    H -- 是 --> I[预测为Crossing]\n    H -- 否 --> J[预测为Not-Crossing]\n```\n\n\n## 模块 C4：实验数据集与实现设置（数据集/场景、为何选择、验证哪些关键特性） / Module C4: Datasets and implementation settings (what datasets/scenarios, why chosen, what they validate)\n\n## 模块C4：数据集、基准与实现/评估设置\n\n### 1. 数据集/基准列表\n\n- **Daimler 数据集**（引用[^6]）：非自然条件下采集，包含68个短视频序列，共9,135帧，每个视频仅有一个行人，行人执行预先设定的动作（用于C/NC任务）。该数据集用于[^5]中的前期研究，本文未用于实验，但作为背景提及。\n- **JAAD 数据集**（Joint Attention for Autonomous Driving，引用[^7]）：自然驾驶条件下采集，用于检测行人过马路行为。共346个视频（多数5-10秒），单目摄像头录制，30 FPS，分辨率1920×1080像素，涵盖北美和东欧场景。总体约88,000帧，2,624个独特行人，标注约390,000个边界框（BB），提供遮挡标签（约18%部分遮挡，11%严重遮挡）。包含上下文信息（如交通标志、街道宽度等）但本文未使用。\n\n### 2. 预处理和划分/覆盖设置\n\n- **训练/测试划分**：取JAAD前250个视频为训练集，其余为测试集（具体划分未在代码中提供，但作者认为可复现）。\n- **标签映射**：将JAAD中的行人动作标签映射为C（crossing）和NC（not-crossing）。C包括交叉标签以及{clear-path, moving-fast, moving-slow, slow-down, speed-up}中具有横向运动方向的行人；其余为NC。\n- **训练样本选择**：仅使用BB宽度≥60像素且无遮挡的行人；对于每个跟踪的行人，需在超过T帧（T=14或1）内满足这些条件，然后以滑动窗口方式生成训练序列。每个序列的标签取最近一帧（决策帧）的标签。\n- **类别平衡**：T=14时共有8,677个NC序列和36,253个C序列，随机抽取8,677个C序列与NC序列平衡，最终训练样本为8,677 C + 8,677 NC。T=1的情况使用相同序列的最后一帧。\n- **测试集处理**：仅考虑在测试帧中具有动作标签且被检测/跟踪到的行人（与[^8]类似），去除无标注的行人；不排除遮挡行人。测试类别平衡：P=17,045，N=5,161，随机选取P=N=5,161，最终评估基于10,322个测试样本。\n\n### 3. 训练/推理/评估环境\n\n- **检测器（Faster R-CNN）**：基于TensorFlow实现（引用[^19]），VGG16架构，在JAAD训练图像上微调。使用锚点{8,16,32,64}，BB纵横比2.5（行人朝向），训练110,000次迭代（每次迭代256个区域，垂直镜像增加样本）。学习率初始0.001，80,000次迭代后降至0.0001。\n- **跟踪器**：使用多目标跟踪-by-detection方法（引用[^3]），基于卡尔曼滤波和CNN特征余弦距离。跟踪起始需连续3帧匹配，跟踪结束需30帧无匹配（对应1秒）。\n- **姿态估计**：使用[^16]的CNN方法（基于COCO 2016关键点数据集训练），在跟踪BB内运行，尺度设为{1, 0.85, 0.7}（3个尺度）。\n- **C/NC分类器**：随机森林（RF），使用scikit-learn GridSearchCV进行超参数优化，树数量候选{100,200,300,400,500}，最大深度候选{7,15,21,30}，5折交叉验证。最优为400棵树、深度15。特征：骨架特征396维（T帧拼接后396T维）或fc6特征（4096T维）。\n- **推理设置**：检测阈值5%，NMS重叠30%；跟踪参数同上；姿态估计尺度同上；分类阈值0.5。T=1和T=14在相同行人、相同帧上进行测试。\n\n### 4. 这些选择为何重要以及验证了什么\n\n- **自然驾驶条件**：JAAD数据集提供真实驾驶场景，相比Daimler非自然数据，更贴近实际应用，验证方法在自然条件下的可行性。\n- **平衡与可复现协议**：明确的训练/测试划分、类别平衡和样本筛选，确保公平比较和可复现性。\n- **多帧信息（T=14）**：相比单帧（T=1），整合多帧姿态信息显著提升准确率（SKLT从0.80提升到0.88），验证了利用时间上下文的重要性。\n- **特征对比**：骨架特征（SKLT）优于CNN fc6特征（T=14时0.88 vs 0.70），验证了姿态估计作为C/NC分类特征的有效性。组合特征未显著提升（0.87），说明骨架特征已包含主要判别信息。\n- **TTE评估**：额外标注9个“keep walking to cross”和14个“start walking to cross”序列，展示系统能提前约8帧（约250ms）预测站立行人开始横穿，验证了预测的及时性。\n- **鲁棒性分析**：通过边缘案例（如Fig.9、Fig.10）讨论误差来源，提示未来改进方向。\n\n\n## 模块 C5：指标与结果（指标、结果、各指标对应的创新点） / Module C5: Metrics and results (metrics, results, which innovations each metric reflects)\n\n## 模块C5：指标与结果\n\n### 1. 指标（定义与说明）\n\n- **准确率（Acc）**：采用广泛使用的定义 \\(Acc = (TP + TN)/(P + N)\\)，其中 P 为跨路（C）正样本数，N 为不跨路（NC）负样本数，TP 和 TN 分别为正确分类的正、负样本数（Section IV-B）。\n- **时间到事件（TTE）**：以帧为单位，TTE=0 表示事件发生时刻；正 TTE 表示事件发生前，负 TTE 表示事件发生后。用于分析系统能否提前预判跨路行为，并给出“预测概率 vs TTE”和“可预测性 vs TTE”两类图（Section IV-B）。\n\n### 2. 主要结果（具体数值）\n\n- **T=14 时**（融合14帧骨架特征）：\n  - SKLT（骨架特征）: **Acc = 0.88**\n  - CNN(fc6) 特征: Acc = 0.70\n  - CNN(fc6)+SKLT 融合: Acc = 0.87（略低于单独SKLT）\n- **T=1 时**（仅用单帧）：\n  - SKLT: Acc = 0.80\n  - CNN(fc6): Acc = 0.68\n  - CNN(fc6)+SKLT: Acc = 0.81\n- **对比[^8]基准**（T=1，CNN特征）：Acc = 0.39；CNN+上下文特征 Acc = 0.63（Table I）。\n- **TTE结果（Fig. 5–8）**：\n  - 对于“持续行走跨路”场景，系统能稳定预测（预测概率高且方差小）；\n  - 对于“站立后起步跨路”场景，行人开始移动后约8帧（约250ms）内可预测性>0.8（Section IV-B, 结果段）。\n\n### 3. 与基线或代表性先前工作的比较\n\n- **与[^8]比较**：论文指出结果不完全可比，因[^8]未公开数据划分且排除了严重遮挡，而本文未排除遮挡。但本文方法在T=1时（0.80/0.68）显著高于[^8]（0.39/0.63）。\n- **骨架特征 vs CNN外观特征**：在相同检测/跟踪/分类协议下，SKLT显著优于CNN(fc6)（T=14: 0.88 vs 0.70；T=1: 0.80 vs 0.68），印证了姿态信息对C/NC任务的有效性（Section IV-B, 结果段）。\n- **与作者先前工作[^5]相比**：本文在更具挑战的自然场景JAAD上验证，且需融合检测与跟踪，而[^5]仅用Daimler非自然序列，采用简单HOG检测器无跟踪；本文贡献是新的 baseline。\n\n### 4. 消融、敏感性或跨论文差异综合\n\n- **时间窗口T的影响**：T=14（约0.5秒）显著优于T=1，说明融合多帧骨架信息能提升分类精度（Table I）。\n- **特征消融**：SKLT单独使用优于CNN(fc6)；融合两者在T=1有微小提升（0.80→0.81），但在T=14反而下降（0.88→0.87），表明骨架特征已包含关键判别信息，CNN外观特征带来冗余甚至噪声（Table I）。\n- **分类器参数敏感性**：随机森林（RF）通过网格搜索优化树数量{100–500}和最大深度{7–30}，最优为400棵树和深度15，但所有配置准确率相近（Section IV-B, 训练部分）。\n- **实验配置说明**：测试时P=17045, N=5161，为避免偏置，随机抽取使 P=N，最终基于10,322个测试决策计算Acc（Section IV-B）。\n- **跨数据集差异**：与Daimler数据集相比，JAAD为自然驾驶场景，存在遮挡、多目标、复杂背景，因此必须使用更鲁棒的检测器（Faster R-CNN）和跟踪器（Deep SORT）才能获得可靠骨架（Section I、III）。\n\n\n## 模块 C6：有什么可以进一步探索的点？（理论/工程/数据/评测） / Module C6: What can be further explored? (theory/engineering/data/evaluation)\n\n### 模块C6：未来可探索方向\n\n基于本文的方法与实验（JAAD数据集上的行过马路意图预测），以下分别从理论、工程和数据/评估三个方面提出可探索的方向。\n\n#### 理论方向\n\n- **更丰富的姿态特征与建模**：本文使用9个关键点（腿部与肩部）构造396维特征（基于关键点间的距离、角度和三角形角度），未来可探索更精细的全身姿态建模，如引入手臂、躯干等更多关键点，或采用图神经网络、时序模型（如LSTM、Transformer）直接对骨骼序列建模，以捕捉更细微的意图变化（如身体前倾、重心转移等），提升对“即将起动”或“犹豫”等细微动作的判别能力（参考论文第III-d节、图3）。\n- **上下文信息与意图推理**：论文提到JAAD包含交通标志、街道宽度等上下文信息，但未使用（见第IV-A节）。未来可探索将场景上下文（如路口类型、车辆与行人相对位置、交通规则）与姿态特征融合，通过贝叶斯推理或注意力机制进行多模态意图概率估计，解决仅靠行人姿态可能出现的歧义（如论文指出的“不横穿但在车前行走”的误判，见第IV-B3节）。\n- **不确定性量化与概率性预测**：当前使用随机森林给出概率，但未量化模型不确定性。未来可探索基于贝叶斯神经网络或集成方法，输出意图预测的置信区间，并结合时间-事件（TTE）分析，为自动驾驶决策提供更可靠的风险度量（参考TTE与可预测性图，图5-8）。\n\n#### 工程方向\n\n- **端到端集成与实时性**：本文采用分离的检测、跟踪、姿态估计和分类模块（基于Faster R-CNN、Deep SORT、OpenPose等现成组件，见第III节），未来可探索端到端的联合训练，或设计轻量级网络使整体流程能在车载嵌入式设备上实时运行，同时保持高准确率，以满足实际驾驶系统的时延要求。\n- **遮挡与尺度鲁棒性**：论文指出JAAD中有约11%的重遮挡BB（见第IV-A节），但实验未排除遮挡样本（第IV-B3节）。未来可增强检测与姿态估计对部分遮挡的鲁棒性，例如引入遮挡感知的注意力机制、利用时序信息补全缺失关键点，或结合多帧融合以减少检测丢失导致的轨迹中断。\n- **系统级融合与决策**：未来可将C/NC预测与车辆控制策略结合，开发预警或自动紧急制动系统，并考虑预测错误的成本差异（漏报比误报更危险），在分类阈值设置中引入不对称损失函数，并与其他传感器（如激光雷达、毫米波雷达）融合，提升复杂场景下的可靠性。\n\n#### 数据/评估方向\n\n- **扩展标注与数据集**：本文使用了JAAD的第一批250个视频进行训练，其余测试，但未利用JAAD中的上下文信息。未来可对JAAD中的行人进行更精细的动作标注（如起步、犹豫、奔跑等），并补充TTE标注；同时可考虑使用更广泛的数据集（如PIE、TITAN等）进行跨数据集验证，增强模型的泛化能力。\n- **更严格的评估协议**：论文指出[^8]的评估协议不清晰（训练/测试划分不明），本文自定了协议，但未排除遮挡样本，且测试集中C/NC类别不平衡（P=17045, N=5161，后随机平衡）。未来应建立标准化的评估协议，包括明确划分训练/验证/测试集、考虑不同遮挡程度、不同年龄段行人等子集，并报告混淆矩阵、ROC曲线、精确率-召回率曲线及TTE的延迟-准确率权衡，以全面衡量方法性能。\n- **跨场景与长期预测**：本文验证了在JAAD自然场景下的有效性，但未来可探索在不同国家、不同交通习惯的场景（如欧洲、亚洲）中的适应性，并研究更长时间窗口（T>14）或变长预测，以回答“提前多少秒可可靠预测”的问题，为车辆决策提供更长的反应时间（参考TTE分析图5-8，当前可预测性在250ms前达到0.8以上）。\n\n\n## 模块 C7：现实场景如何体现/实现？（部署约束、算力、延迟、鲁棒性） / Module C7: How would this work in real-world scenarios? (deployment constraints, compute, latency, robustness)\n\n## 模块C7：在真实世界中的部署形态\n\n### 1. 部署约束\n\n- **硬件需求**：本方法从单目摄像头获取输入，依赖多个深度卷积神经网络模块（Faster R-CNN、跟踪器、2D姿态估计网络）以及随机森林分类器。部署时需配备具备一定GPU算力的嵌入式平台（如参考实验使用的NVIDIA GeForce GTX Titan X）或车规级AI芯片，以实时运行多任务网络。\n- **数据与标注约束**：检测器在JAAD上微调，姿态估计基于COCO预训练模型；部署时可能需要针对新场景（不同车型、摄像头安装位置、光照/天气）进行迁移学习或微调，否则检测和姿态估计精度可能下降。\n- **环境与场景约束**：方法仅依赖单目图像，不依赖立体视觉、光流或自车运动补偿，有利于低成本车型和普通摄像头的部署；但需保证摄像头视野能覆盖行人所在区域，且帧率≥30FPS。\n- **软件依赖**：使用TensorFlow实现Faster R-CNN，使用论文[^3]的开源跟踪器、论文[^16]的开源姿态估计代码，以及scikit-learn的随机森林实现。部署时需整合这些第三方库，并考虑版本兼容性与许可证。\n\n### 2. 计算与延迟影响\n\n- **计算复杂度**：每一步（检测、跟踪、姿态估计、特征提取与分类）都需计算。Faster R-CNN的VGG16骨干网络计算量较大，姿态估计网络（Part Affinity Fields）也属于实时但较重的CNN。整体而言，系统具有实时运行潜力（论文引用[^16]声称实时），但若同时处理多个行人，计算负载随之增加。\n- **延迟分析**：系统采用滑动时间窗口（T=14帧，约0.5秒），需要累积T帧骨架特征才能作出C/NC判断。因此，决策延迟至少为0.5秒（若算上单帧处理时间，实际延迟略高）。在自动驾驶场景中，0.5秒的预警时间对于低速城市工况（如车速30km/h，约8.3米/秒）可提供约4米制动距离，但用于高速场景可能不足。论文中T=14的准确率更高（0.88 vs T=1的0.80），说明其更侧重准确率而非最低延迟。\n- **实时性权衡**：为降低延迟，可缩短T，但会降低准确率。可在系统中提供T可配置项，根据场景需求（如车速、道路类型）动态调整。\n- **卷积网络优化**：可通过模型压缩、TensorRT、量化（FP16/INT8）等方式加速，但论文未讨论这些优化。实际部署需进行工程优化以满足实时约束。\n\n### 3. 鲁棒性与安全性问题\n\n- **输入质量鲁棒性**：方法对光照变化、遮挡、恶劣天气（雨雪、雾）的鲁棒性未在JAAD中充分验证。JAAD包含部分遮挡（18%）和严重遮挡（11%）标注，但测试时作者未排除遮挡，且结果表明仍能达到0.88准确率；然而严重遮挡或裁剪不完整的行体会导致姿态估计失真，进而影响骨架特征。\n- **跟踪鲁棒性**：跟踪器基于卡尔曼滤波和深度外观特征，不依赖自车运动补偿。但在车辆急转弯、快速加减速或行人拥挤场景下，跟踪可能丢失或发生ID切换，导致特征序列混乱。论文中设置跟踪结束阈值30帧（1秒），若检测连续缺失1秒，则轨迹终止，可能漏掉关键意图变化。\n- **预测错误类型**：存在两类典型失败模式：(i) 行人横过其他道路但非自车路径，系统误判为C（实际应为NC）；(ii) 行人沿道路行走（非横穿）但处于危险位置，系统判为NC（实际应警示）。前者涉及语义理解缺失，后者可结合位置推理修正（论文讨论）。这些错误可能导致不恰当控速或预警，需在系统级融合其他传感器（如毫米波雷达、激光雷达）进行交叉验证。\n- **安全完整性**：C/NC分类器输出概率（>0.5为C），但没有给出不确定性或置信度阈值校准。部署时需定义安全策略：低置信度时如何处置（如保守降速）。论文未给出误警率和漏警率的详细分析，仅报告准确率，且训练时平衡C/NC样本，但测试时P=17045而N=5161，作者随机选取平衡对，这可能掩盖实际场景中类别不均衡的影响。\n- **泛化风险**：模型在JAAD（北美和东欧场景）训练，迁移到其他地区（如亚洲、南美）可能因道路环境、行人穿着、行为习惯差异而性能下降。需要持续收集数据并更新模型。\n\n### 4. 可维护性\n\n- **模块化设计**：系统由独立的检测、跟踪、姿态估计、分类模块组成，各组件可单独替换或升级（例如将Faster R-CNN换成更轻量的YOLO，或用更好的姿态估计网络）。确切的模块边界清晰（对应开源代码），便于维护和集成。\n- **更新与再训练**：检测器需要根据新数据微调，姿态估计网络依赖COCO预训练，分类器使用随机森林，重新训练成本较低（仅需特征）。然而，特征依赖特定骨架结构（9个关键点），若更换姿态估计模型，需重新特征定义和训练，维护成本增加。\n- **标注依赖**：JAAD数据集提供边界框和动作标签，但未直接提供骨架标注；训练C/NC分类器需要手动构建跟踪片段和标签映射。后续扩展（如添加新动作类别）需要重新标注，维护成本较高。\n- **代码与文档**：论文已提供补充视频，但未公开完整代码（仅引用各模块开源实现）。为便于维护和复现，建议组织者整理并发布完整pipeline的代码和配置脚本（如超参数、训练/测试协议）。这是因为当前实验协议（如训练/测试划分）需从论文文本中提取，存在歧义（如[^8]的划分未说明）。\n- **监控与健康检查**：部署时需监控每个子模块的输出质量（如检测置信度、跟踪数量、姿态估计关键点可见性等），以便及时发现退化。可设计异常检测机制，如当检测率骤降或姿态估计失败率升高时发出维护警报。\n\n**总结**：该方法在真实世界的部署需平衡实时性、准确性和安全性。基于单目视觉的架构降低成本与传感器依赖，但面临遮挡、动态环境及类别不均衡挑战。工程上需优化计算延迟（如利用T可配置）、集成多传感器冗余，并建立持续学习的更新机制。系统模块化程度较高，有利于维护和迭代。\n\n\n## 模块 C8：总结主要内容（一段摘要 + 5 条要点 + 1 个核心公式/机制） / Module C8: Summarize the main content (one paragraph + 5 bullets + one core formula/mechanism).\n\n### 模块C8：简明总结\n\n#### 1. 总结段落\n\n本文提出了一种基于2D姿态估计的全视觉管道，用于在自然驾驶条件下预测行人是否即将横穿道路（C/NC任务）。该管道由三个现成的CNN模块组成：Faster R-CNN行人检测器、基于深度特征的多人跟踪器（Deep SORT）以及OpenPose姿态估计器，仅在单目图像上运行，不依赖立体视觉、光流或自我运动补偿。通过提取行人骨架中9个关键点（腿和肩）的归一化距离和角度特征，并沿时间窗口（T=1或T=14帧）拼接，形成396T维特征向量，使用随机森林（RF）分类器进行C/NC分类。在JAAD数据集上的实验表明，骨架特征（SKLT）在T=1时达到0.80的准确率，在T=14时达到0.88，显著优于基于VGG16的fc6 CNN特征（分别仅为0.68和0.70），且两者结合未带来明显提升。此外，论文首次在JAAD上报告了时间到事件（TTE）结果，证明系统能提前约250毫秒预测站立行人开始横穿的动作。该工作为JAAD数据集建立了当时的最新基准，推动了姿态估计在行人意图识别中的应用。\n\n#### 2. 五个关键要点\n\n- **要点一**：2D姿态估计特征在C/NC任务上优于CNN外观特征（SKLT准确率0.88 vs fc6的0.70，T=14），且无需额外传感器信息。\n- **要点二**：多帧时间整合（T=14）显著提升分类性能，表明捕捉行人动态姿态变化对于意图预测至关重要。\n- **要点三**：检测、跟踪和姿态估计的组合使得在自然驾驶场景（JAAD）中应用成为可能，而此前仅在非自然的Daimler数据集上验证过。\n- **要点四**：TTE分析展示了系统能提前预测行人横穿动作，例如站立行人开始移动约8帧（约250ms）后即可可靠预测其将横穿。\n- **要点五**：与[^8]的CNN+Context方法相比，本文方法在T=1时达到0.80准确率，显著高于其0.63，且不需要额外上下文特征。\n\n#### 3. 核心公式或机制\n\n核心机制是基于骨架特征的随机森林分类器。特征提取过程如下：首先，对每帧行人骨架的9个关键点（腿和肩）进行归一化，以行人高度h作为缩放因子；然后计算关键点对之间的距离（Δx, Δy, 欧氏距离）、角度以及三角形角度，共得到396维特征。对于时间窗口T，第i帧的特征向量记为ψ_i，最终特征向量为所有帧的拼接：\n\\[ \\Phi = [\\psi_1, \\psi_2, \\dots, \\psi_T] \\in \\mathbb{R}^{396T} \\]\n随机森林（RF）分类器采用400棵树和最大深度15，输出C/NC概率。分类决策基于阈值0.5。\n\n\n## 模块 D：第二遍内容理解（方法结构/关键图表/实验） / Module D: Second Pass (method structure, key figures, experiments)\n\n## 模块D：第二遍深入理解（Second-pass Understanding）\n\n### 1. 结构树（Structure Tree）\n\n论文围绕“行人是否过马路”（Crossing/Not-Crossing, C/NC）这一意图预测任务，提出了一套基于单目图像的视觉pipeline，结构如下：\n\n```text\nIs the Pedestrian going to Cross? Answering by 2D Pose Estimation\n├── I. 引言（Introduction）\n│   ├── 问题背景：自动驾驶中行人意图预测的重要性\n│   ├── 现有工作与局限：需要立体视觉、光流、自车运动补偿等\n│   ├── 本文贡献：在自然驾驶数据集JAAD上，利用2D姿态估计进行C/NC分类，达到SOTA\n│   └── 与之前工作[5]的对比：更复杂的数据集，需检测与跟踪\n├── II. 相关工作（Related Work）\n│   ├── 基于动态模型的方法（[6], [9]）\n│   ├── 基于姿态/朝向的方法（[10]-[14]）\n│   ├── 基于CNN外观特征的方法（[8]）\n│   └── 本文方法定位：基于2D姿态估计，仅需单目图像\n├── III. 方法（Method）\n│   ├── a) 检测：Faster R-CNN（VGG16）微调\n│   ├── b) 跟踪：多目标跟踪（基于检测的跟踪）\n│   ├── c) 骨架拟合：2D姿态估计（OpenPose）\n│   └── d) C/NC分类：骨架特征提取 + 随机森林（RF）\n│       ├── 特征：9个关键点（腿和肩），396维/帧，滑动窗口T帧\n│       └── 对比特征：fc6层特征（4096维/帧）\n├── IV. 实验（Experiments）\n│   ├── A. 数据集：Daimler（非自然）和JAAD（自然）\n│   ├── B. 评估协议：训练/测试划分、C/NC标签映射、训练细节、测试细节、评测指标（Acc）\n│   └── C. 结果：表I及TTE分析（Fig.5-8）\n│       ├── 骨架特征优于CNN特征\n│       ├── T=14优于T=1\n│       └── 部分失败案例分析（Fig.9-10）\n└── V. 结论（Conclusion）\n    └── 总结贡献：在JAAD上达到SOTA，未来工作方向\n```\n\n### 2. 方法/系统分解（Method or System Breakdown）\n\n**输入**：单目视频序列（JAAD数据集，1920×1080@30 FPS）\n\n**输出**：对每个被跟踪的行人，给出C/NC分类（过/不越过马路）及信心概率。\n\n**系统模块**：\n\n1. **行人检测（Detection）**：\n    - 基于Faster R-CNN（TensorFlow实现，VGG16骨干），在JAAD训练集上微调（110k迭代，anchor {8,16,32,64}，宽高比2.5）。\n    - 输出：行人bounding box（BB）。\n\n2. **多行人跟踪（Tracking）**：\n    - 采用tracking-by-detection，使用Deep SORT（[^3]），状态向量$(u, v, λ, h, \\dot{x}, \\dot{y}, \\dot{λ}, \\dot{h})$，Kalman滤波更新。\n    - 数据关联基于CNN特征（行人重识别）的余弦距离。\n    - 参数：新轨迹需3帧连续检测，轨迹消失需30帧无匹配（JAAD设置）。\n    - 纯图像域，无需自车运动补偿。\n\n3. **2D姿态估计（Pose Estimation）**：\n    - 采用OpenPose（[^16]，基于COCO训练），在跟踪BB内运行，获得18个关键点的骨架。\n    - 由于OpenPose检测性能不如微调后的Faster R-CNN，故只在BB内做姿态。\n\n4. **C/NC分类（Classification）**：\n    - **特征提取**：\n        - 从骨架中选择9个稳定关键点（腿和肩，标注为星号）。\n        - 以行人高度h归一化关键点坐标。\n        - 计算成对距离、角度、三角形三边/角等，共396维特征（每帧）。\n        - 滑动窗口T帧，特征向量维度396T（T=14或1）。\n    - **对比特征**：VGG16 fc6层特征（4096T维）。\n    - **分类器**：随机森林（RF），通过GridSearchCV调优（树数500，深度15），输出概率，阈值0.5。\n\n**训练流程**：\n\n- 微调Faster R-CNN → 在训练集上运行检测和跟踪（使用ground truth tracks训练分类器）→ 提取骨架特征和fc6特征 → 训练RF（5折交叉验证选超参数）。\n- 对C/NC样本进行平衡（各取8677个训练样本）。\n\n**推理流程**：\n\n- 输入视频帧 → 检测 → 跟踪 → 姿态估计 → 提取最后T帧特征 → RF分类 → 输出C/NC概率。\n\n### 3. 重要图表解释（至少两张）\n\n**表I（Table I）**：\n**内容**：比较不同方法在JAAD上的分类准确率（Acc）。\n\n| 方法 | T | 特征 | Acc |\n|------|---|------|-----|\n| [^8]  | 1 | CNN | 0.39 |\n| [^8]  | 1 | CNN&Context | 0.63 |\n| Ours | 1 | CNN(fc6) | 0.68 |\n| Ours | 1 | SKLT | 0.80 |\n| Ours | 1 | CNN(fc6)+SKLT | 0.81 |\n| Ours | 14 | CNN(fc6) | 0.70 |\n| Ours | 14 | SKLT | 0.88 |\n| Ours | 14 | CNN(fc6)+SKLT | 0.87 |\n\n**解读**：\n\n- 当T=1时，骨架特征（SKLT）达到0.80，显著优于CNN特征（0.68），与[^8]的CNN&Context（0.63）相比提升明显。\n- 当T=14时，SKLT达到0.88，仍优于CNN(fc6)（0.70）。但结合二者并未提升（0.87略降），表明骨架特征已提供充分信息。\n- 同时，T=14优于T=1，体现时间信息的重要性。\n- 注意：与[^8]结果并非严格可比，因为划分不同。\n\n**图5（Fig.5）**：\n**内容**：\"Keep walking to cross\"（持续行走过马路）场景下，C/NC概率随时间（TTE）变化的曲线，T=14，蓝色曲线为均值，蓝色区域为标准差。\n\n**解读**：\n\n- 横轴为TTE（帧数），纵轴为分类概率（C的概率）。\n- 当TTE从负到正（事件前），概率逐渐升高，表明系统能提前感知到将要过马路的意图。\n- 图中显示，在事件发生前约数帧，概率已超过0.5阈值，说明可早期预测。\n- 类似图7展示\"Start crossing\"（开始过马路）场景，同样显示意图可提前检测。\n\n### 4. 实验/评估细节（Experiment / Evaluation Details）\n\n**数据集**：\n\n- Daimler：68段非自然条件下视频（总9135帧），单人，预定义动作。\n- JAAD：346段自然驾驶视频（每段5-10秒），30FPS，1920×1080，包含北美和东欧场景。共约88k帧，2624个独特行人，390k BB，含遮挡标签（18%部分遮挡，11%重度遮挡）。\n\n**评估协议**：\n\n- 数据划分：前250个视频用于训练，其余用于测试。\n- C/NC标签映射：C包括JAAD的crossing标签，以及{clear-path, moving-fast, moving-slow, slow-down, speed-up}中具有侧向运动方向的行人；其余为NC。\n- 训练样本筛选：仅考虑BB宽度≥60像素且无遮挡的行人；训练序列长度T=14或T=1；平衡C/NC样本各8677个。\n- 训练细节：\n  - Faster R-CNN微调：110k迭代，学习率0.001→0.0001（80k时），anchor {8,16,32,64}，宽高比2.5。\n  - RF调参：GridSearchCV，5折交叉验证，树数{100,200,300,400,500}，最大深度{7,15,21,30}，选择准确率最优的400树和深度15（所有配置差异很小）。\n- 测试细节：\n  - 检测阈值5%，NMS overlap 30%。\n  - 跟踪：新轨迹需3帧连续检测，轨迹消失需30帧无匹配。\n  - 姿态估计采用3种尺度{1, 0.85, 0.7}。\n  - 分类阈值0.5。\n  - 测试时仅考虑有ground truth标签的行人（与[^8]一致），平衡C/NC样本至各5161个，总测试样本10322。\n  - 不排除遮挡行人（与[^8]不同）。\n- 评估指标：准确率Acc = (TP+TN)/(P+N)，平衡后计算。\n\n**对比目标**：\n\n- 与[^8]的CNN和CNN&Context方法对比（但划分不同）；\n- 自身消融：骨架特征vs fc6特征vs结合；T=1 vs T=14。\n\n**公平性考虑**：\n\n- 训练和测试在同行人、同帧上进行T=1和T=14实验，保证公平。\n- 训练时使用JAAD的ground truth tracks，测试时使用自动检测跟踪结果，确保真实评估效果。\n\n**额外分析**：\n\n- TTE（Time-to-Event）分析：对9段\"持续行走过马路\"和14段\"开始行走过马路\"序列手动标注TTE，绘制意图概率和可预测性曲线（图5-8）。\n- 定性结果：图9、图10展示误分类案例，讨论未来改进方向。\n\n### 5. 适合论文类型的图表（Diagram）\n\n根据该论文为method型（新方法/流水线），适合用**系统流程图（pipeline diagram）**来表示检测-跟踪-姿态-分类的流程。下面用ASCII图示意：\n\n```text\n输入视频帧序列\n      │\n      ▼\n┌─────────────┐     ┌─────────────┐     ┌─────────────┐\n│ 行人检测     │────▶│ 多目标跟踪   │────▶│ 2D姿态估计   │\n│ Faster R-CNN│     │ Deep SORT    │     │ OpenPose     │\n└─────────────┘     └─────────────┘     └─────────────┘\n      │                                    │\n      │                                    ▼\n      │                          ┌─────────────────────┐\n      │                          │ 骨架特征提取（9点）    │\n      │                          │ 396维/帧，滑动窗口T   │\n      │                          └─────────────────────┘\n      │                                    │\n      │                                    ▼\n      │                          ┌─────────────────────┐\n      │                          │ 随机森林分类器        │\n      │                          │ (C/NC概率)           │\n      │                          └─────────────────────┘\n      │                                    │\n      ▼                                    ▼\n    可选的fc6特征（对比）   ┌───────────────┐\n                         │ 最终C/NC决策   │\n                         └───────────────┘\n```\n\n\n## 模块 E：第三遍深度审视（重建/假设/失败模式/审稿意见） / Module E: Third Pass (reconstruction, assumptions, failure modes, review)\n\n## 模块E：第三遍深度评审\n\n### 1. 可重建性（重建笔记与伪代码）\n\n本文提出的管道（pipeline）由四个主要组件组成：行人检测（Faster R-CNN）、多目标跟踪（基于深度关联指标的在线跟踪）、2D姿态估计（Part Affinity Fields）以及C/NC分类器（随机森林）。从描述和公开可得的模块来看，该方法是可重建的。以下为重建伪代码概要：\n\n```python\n# 输入：视频帧序列 frames (monocular, 30 FPS, 1920x1080)\n# 输出：每个被跟踪行人的C/NC分类结果及TTE预测（若适用）\n\n# 步骤1：行人检测（Faster R-CNN，在JAAD训练集上微调）\nfor each frame in frames:\n    detections = FasterRCNN(frame, anchors=[8,16,32,64], aspect_ratio=2.5, threshold=0.05, nms_overlap=0.3)\n\n# 步骤2：多目标跟踪（Deep SORT风格，使用余弦距离度量外观特征）\ntracker = DeepTracker(state=[u,v,lambda,h,dx,dy,dl,dh], max_lost=30, min_confirmation=3)\nfor each frame, detections:\n    tracker.update(detections)\n    tracks = tracker.get_active_tracks()\n\n# 步骤3：姿态估计（在跟踪得到的BB内运行OpenPose）\nfor each track in tracks:\n    skeleton = OpenPose(frame[track.bbox], scales=[1, 0.85, 0.7])\n    track.append(skeleton)\n\n# 步骤4：特征提取（基于9个关键点）与分类（随机森林）\nfor each track:\n    if len(track.skeletons) >= T:  # T = 14 或 1\n        # 计算396维特征向量psi_i（基于归一化的关键点距离和角度）\n        features = compute_skeleton_features(track.skeletons[-T:])  # 维度396*T\n        # 使用训练好的RF（400棵树，最大深度15）预测\n        prob = RandomForest.predict_proba(features)[:, 1]\n        label = 1 if prob >= 0.5 else 0  # 1=C, 0=NC\n```\n\n重建过程中需要注意的细节：\n\n- Faster R-CNN微调时采用110,000次迭代，学习率从0.001降至0.0001（80,000次后）。输入图像垂直翻转以增强数据。\n- 训练C/NC分类器时，仅使用BB宽度≥60像素且无遮挡的行人，且要求连续T帧满足条件；对C类样本进行欠采样以平衡类别（C和NC各8,677个序列）。\n- 跟踪时新轨迹确认需连续检测3帧，丢失轨迹在30帧无匹配后终止。\n- 姿态估计使用3个尺度。\n- 后续计算TTE时，作者手动标注了9个“keep walking to cross”和14个“start walking to cross”序列。\n\n### 2. 假设（3-6条）\n\n- **单目视觉充分性**：假设仅依靠单目图像序列（无立体视觉、光流或自我运动补偿）即可有效预测行人过街意图，且这种简化在自然驾驶条件下可行。\n- **关键点稳定性**：假设使用9个关键点（腿部与肩膀）足够表征与过街意图相关的身体姿态和运动，且这些关键点在遮挡和视角变化下仍能可靠估计。\n- **时间窗口有效性**：假设使用最近T帧（T=14，约0.5秒）的特征能够捕捉到足以区分C/NC的动态信息，且较长的窗口（如T=14）优于短窗口（T=1）。\n- **数据分布一致性**：假设JAAD数据集中的驾驶场景（北美和东欧）与训练/测试划分能够代表自然驾驶条件，且数据划分（前250个视频训练，其余测试）是合理的。\n- **分类阈值固定**：假设使用0.5作为随机森林输出的阈值是平衡准确率和召回率的合理选择，且未根据具体场景进行动态调整。\n- **标注可靠性**：假设JAAD提供的行为标签和人工映射到C/NC的规则是准确的，且手动添加的TTE注释（对于小规模序列）能准确反映事件时间。\n\n### 3. 失败模式或盲点（2-4条）\n\n- **遮挡与部分可见**：当行人被车辆或物体严重遮挡时，姿态估计可能失败或产生错误的关键点，导致特征噪声大，分类性能下降。论文中只过滤了训练样本，但测试时并未基于遮挡对检测结果进行筛选，可能包含大量遮挡情况。\n- **边界场景误分类**：如文中的图9和图10所示，当行人横穿但与自车路径无关，或沿着道路行走（非横穿）但在车辆前方且危险时，系统会错误分类。这些情景需要结合上下文信息（如道路布局、轨迹预测）才能正确判断。\n- **TTE注释的主观性和有限性**：TTE仅由作者手动标注了23个序列，且仅覆盖了“keep walking”和“start walking”两类动作，无法全面评估系统在不同意图和复杂场景下的预测时间提前量。\n- **对去上下文信息的依赖**：系统完全基于行人姿态，未使用任何场景上下文（如交通信号、道路标记、其他车辆），这可能限制了在复杂交叉口或自由活动场景下的泛化能力，但这也是其优势所在（无需额外传感器）。\n\n### 4. 优点和缺点\n\n### 优点：\n\n- **创新性**：首次在自然驾驶数据集（JAAD）上验证了2D姿态估计对过街意图预测的有效性，并提供了新的基准结果。\n- **系统完备性**：集成了检测、跟踪、姿态估计和分类，形成了端到端的视觉管道，且所有组件都是开源的，有助于复现和后续研究。\n- **特征解释性**：基于关键点的几何特征（角度、距离）比CNN卷积特征更具可解释性，有助于理解模型行为。\n- **实验稳健性**：在平衡样本（P=N）的基础上评估准确率，并提供了TTE分析，展示了系统在事件发生前的预测能力。\n- **比较充分**：与CNN特征（fc6）和既有方法[^8]进行了对比，表明姿态特征更优。\n\n## 缺点：\n\n- **数据集划分不一致**：与[^8]的划分方法不同，导致直接比较不公平（作者也承认这一点），但未尝试使用相同的协议进行对比。\n- **手动标注TTE**：仅少量序列，且主观性较强，无法全面量化预测的提前量。\n- **忽略了遮挡过滤**：测试时未排除被遮挡的行人，可能高估了实际性能，且未提供遮挡条件下的分类性能分析。\n- **分类阈值固定**：未讨论阈值调整对性能的影响，且在真实应用中可能需要针对不同场景动态设置。\n- **未利用上下文信息**：尽管作者提到JAAD包含上下文注释，但未用于补充特征，可能错失提高准确性或鲁棒性的机会。\n- **计算开销**：Faster R-CNN + OpenPose + 跟踪在实时性上可能有挑战，论文未提供运行时间分析。\n\n### 5. 下一步研究方向（2-4条）\n\n- **融合上下文多模态信息**：将行人姿态特征与场景上下文（如道路几何、交通信号、车辆速度）结合，以提高边界案例（如沿路行走但即将变道）的判断能力，并可考虑使用注意力机制自动选择相关信息。\n- **扩展TTE预测框架**：将当前二分类任务扩展为更细粒度的动作或意图预测，或直接预测时间提前量（如回归TTE值），并利用更多自动标注或半监督方法减少手动工作。\n- **提升遮挡鲁棒性**：设计对遮挡更鲁棒的姿态估计方法（如利用时序一致性和物理约束），或引入基于遮挡程度的置信度权重，在严重遮挡时降级到其他特征或整合历史轨迹。\n- **实时性优化与应用集成**：评估并优化系统在嵌入式平台上的推理速度，考虑模型压缩或轻量化设计，并将C/NC预测集成到车辆主动安全系统中，进行封闭场地或实际道路测试以验证实用性。\n\n\n## 模块 F：术语表与概念依赖图 / Module F: Glossary and Concept Map\n\n## 模块F：术语表与概念依赖图\n\n### 术语表（20个条目）\n\n1. **2D pose estimation（2D姿态估计）**\n   - **定义**：从单目图像中估计人体关键点（如关节）的二维坐标，并由此构建人体骨架。\n   - **直觉**：像给人物画骨点，了解其肢体布局和动作。\n   - **在论文中的作用**：核心特征来源，用于判断行人是否即将过马路（C/NC）。\n   - **先决知识**：卷积神经网络（CNN）、目标检测、关键点标注。\n\n2. **Pedestrian detection（行人检测）**\n   - **定义**：在图像中定位行人并给出边界框（BB）的任务。\n   - **直觉**：找出图像中“人”的位置。\n   - **在论文中的作用**：为姿态估计和跟踪提供输入区域，使用Faster R-CNN实现。\n   - **先决知识**：目标检测、CNN、边界框概念。\n\n3. **Tracking-by-detection（基于检测的跟踪）**\n   - **定义**：通过关联连续帧中的检测结果来维持每个目标的轨迹。\n   - **直觉**：先每帧找出人，再把同一个人连起来。\n   - **在论文中的作用**：解决多行人跟踪问题，为C/NC分类提供短时间窗口内的骨架序列。\n   - **先决知识**：目标检测、数据关联、卡尔曼滤波。\n\n4. **Faster R-CNN（Faster R-CNN）**\n   - **定义**：一种两阶段目标检测网络，由区域提议网络（RPN）和检测头组成。\n   - **直觉**：先提出候选区域，再精确分类和回归。\n   - **在论文中的作用**：用于行人检测，并在JAAD上微调，同时提供fc6层特征作为CNN基线。\n   - **先决知识**：CNN、区域提议、非极大值抑制。\n\n5. **VGG16（VGG16）**\n   - **定义**：一种深层CNN架构，含16层卷积/全连接层。\n   - **直觉**：通过堆叠小卷积核获得较强特征表示。\n   - **在论文中的作用**：作为Faster R-CNN的骨干网络，提取fc6特征用于对比实验。\n   - **先决知识**：CNN、特征提取、迁移学习。\n\n6. **Random Forest（随机森林）**\n   - **定义**：一种集成学习分类器，由多棵决策树投票或平均输出。\n   - **直觉**：让多个“树”各自判断，再综合结果，更稳健。\n   - **在论文中的作用**：基于骨架特征或CNN特征进行C/NC分类，输出概率用于阈值判断。\n   - **先决知识**：决策树、集成学习、过拟合。\n\n7. **JAAD dataset（JAAD数据集）**\n   - **定义**：Joint Attention for Autonomous Driving，公开的真实驾驶场景行人意图数据集。\n   - **直觉**：真实道路上的行车记录片段，带有行人动作和过马路标注。\n   - **在论文中的作用**：用于训练和评估C/NC分类器的自然驾驶场景。\n   - **先决知识**：数据集标注、评估协议。\n\n8. **Daimler dataset（Daimler数据集）**\n   - **定义**：由戴姆勒公司发布的非自然驾驶场景行人意图数据集，用于早期C/NC研究。\n   - **直觉**：人为设计场景，单个行人执行预定动作。\n   - **在论文中的作用**：在先前工作[^5]中使用，本文仅作为背景参照。\n   - **先决知识**：数据集概念、实验设计。\n\n9. **C/NC classification（过/不过马路分类）**\n   - **定义**：判断行人是否即将横穿本车前方道路的二分类任务（Crossing / Not-Crossing）。\n   - **直觉**：预测“会不会过马路”这个动作意图。\n   - **在论文中的作用**：论文的核心任务，所有模块服务于该分类。\n   - **先决知识**：分类问题、意图预测。\n\n10. **Time-to-event (TTE)（事件时间）**\n    - **定义**：从当前帧到目标动作发生时刻的时间间隔（以帧为单位）。\n    - **直觉**：倒计时“还有多久就会过马路”。\n    - **在论文中的作用**：衡量预测的提前量，用于分析系统提前检测能力。\n    - **先决知识**：时间序列分析、事件定义。\n\n11. **Keypoints（关键点）**\n    - **定义**：人体骨架中的关节点，如膝盖、肩膀等，本文使用18个关键点，其中9个稳定点用于特征。\n    - **直觉**：代表身体特定部位的位置坐标。\n    - **在论文中的作用**：构成骨架特征的基础，选出的9点对应腿和肩，与步行动作相关。\n    - **先决知识**：姿态表示、人体解剖学基本理解。\n\n12. **Skeleton features（骨架特征）**\n    - **定义**：基于关键点坐标计算的几何特征，包括距离、夹角和三角形角度等。\n    - **直觉**：将骨架形状转换为数值向量，描述动作姿势。\n    - **在论文中的作用**：输入给随机森林分类器，用于C/NC判别。\n    - **先决知识**：特征工程、几何计算。\n\n13. **Feature vector（特征向量）**\n    - **定义**：将多个特征拼接成的向量，本文骨架特征维度为396T，CNN特征为4096T。\n    - **直觉**：把所有描述信息打包成数字列表。\n    - **在论文中的作用**：作为分类器的输入，用于训练和测试。\n    - **先决知识**：向量表示、维度概念。\n\n14. **Kalman filtering（卡尔曼滤波）**\n    - **定义**：一种递归状态估计方法，用于预测目标位置和速度，并融合观测。\n    - **直觉**：根据运动模型和噪声进行平滑预测。\n    - **在论文中的作用**：在跟踪器中更新行人状态（位置、速度等）。\n    - **先决知识**：概率论、线性系统、状态估计。\n\n15. **Data association（数据关联）**\n    - **定义**：将当前帧检测与已有轨迹进行匹配的过程。\n    - **直觉**：决定哪个检测框属于哪条轨迹。\n    - **在论文中的作用**：使用余弦距离在CNN特征上关联检测框和预测框。\n    - **先决知识**：匹配算法、距离度量。\n\n16. **Occlusion（遮挡）**\n    - **定义**：行人被其他物体部分或完全遮挡，影响检测和姿态估计。\n    - **直觉**：人没完全露出来，可能看不到关键部位。\n    - **在论文中的作用**：JAAD有遮挡标注，训练时排除严重遮挡样本，测试时未排除，影响性能。\n    - **先决知识**：目标检测中的常见挑战。\n\n17. **Monocular images（单目图像）**\n    - **定义**：由单个摄像头获取的图像，缺乏深度信息。\n    - **直觉**：只用一只眼睛看世界，没有立体感知。\n    - **在论文中的作用**：本文方法仅依赖单目图像流，无需立体或光流。\n    - **先决知识**：相机模型、视觉感知。\n\n18. **Optical flow（光流）**\n    - **定义**：图像中像素在连续帧间的运动矢量场。\n    - **直觉**：捕捉物体在画面中的移动方向和速度。\n    - **在论文中的作用**：对比方法中使用，但本文方法不需要。\n    - **先决知识**：运动估计、图像序列。\n\n19. **Ego-motion compensation（自车运动补偿）**\n    - **定义**：消除车辆自身运动引起的图像变化，以估计行人的绝对运动。\n    - **直觉**：把相机的移动“减掉”，只看行人自己的动作。\n    - **在论文中的作用**：本文方法无需该步骤，因为只依赖图像坐标中的骨架。\n    - **先决知识**：车辆动力学、视觉里程计。\n\n20. **Bounding box (BB)（边界框）**\n    - **定义**：包围目标的最小矩形框，用中心坐标、宽高表示。\n    - **直觉**：画个框把人框起来。\n    - **在论文中的作用**：用于检测结果输出、跟踪状态表示和特征提取区域。\n    - **先决知识**：目标检测基本概念。\n\n### 概念依赖图（文本版）\n\n```text\n概念依赖图（箭头表示“依赖于”）：\n\n- 2D pose estimation → Keypoints, CNN模型（如OpenPose）\n- Pedestrian detection → Faster R-CNN, Bounding box\n- Tracking-by-detection → Pedestrian detection, Data association, Kalman filtering\n- Skeleton features → 2D pose estimation, Keypoints\n- C/NC classification → Skeleton features, Random Forest, Feature vector\n- Time-to-event (TTE) → C/NC classification（结果分析）\n- JAAD dataset → Bounding box, Occlusion, Action labels\n- Daimler dataset → 用于对比，不依赖核心模块\n- Monocular images → 摄像头模型，是输入源\n- Optical flow & Ego-motion compensation → 是替代方法，本文不依赖\n\n核心流程依赖链：JC/NC分类 → Skeleton features → 2D pose estimation → Keypoints → 基于Faster R-CNN的行人检测和跟踪\n```\n\n\n\n\n## 模块 G：联网核验与引用校对 / Module G: Verification and Citation Check\n\n## 模块G：验证与引用核查\n\n### 1. 关键事实声明（含至少两个来源）\n\n- **声明1：论文提出了一种基于2D姿态估计的行人过马路意图（C/NC）分类流水线，并在JAAD数据集上取得了新的最先进结果。**\n  - 来源1：论文摘要（Abstract）中明确表述：“we use JAAD to assess the usefulness of 2D pose estimation for answering such a question...Overall, the proposed pipeline provides new state-of-the-art results.”\n  - 来源2：论文结论部分（Section V）：“We show that integrating pedestrian pose based features along time, gives rise to a powerful crossing/not-crossing classifier. As to the best of our knowledge, at the moment this paper establishes the state-of-the-art results for the JAAD dataset.”\n\n- **声明2：JAAD数据集包含346个视频，约88,000帧，2,624个独特行人，约390,000个边界框，其中约18%的部分遮挡和11%的严重遮挡。**\n  - 来源1：论文Section IV-A（Dataset）中详细列出：“It contains 346 videos...Overall, JAAD includes ≈ 88,000 frames with 2,624 unique pedestrians labeled with ≈ 390,000 BBs. Moreover, occlusion tags are provided for each BB. Where ≈72,000 (18%) BBs are tagged as partially occluded and ≈46,000 (11%) as heavily occluded.”\n  - 来源2：JAAD数据集原始论文（参考文献[^7]）中提供了相同或类似的数据集统计信息（此处无法直接访问原文，但论文引用[^7]为“Agreeing to cross: How drivers and pedestrians communicate”，发表于IV 2017，其数据集描述与本文一致）。\n\n- **声明3：本方法在T=14时，使用骨架特征（SKLT）的准确率为0.88，优于使用CNN fc6特征的0.70。**\n  - 来源1：论文Table I（表I）中直接列出准确率数值：“Ours, T=14, SKLT, Acc=0.88”以及“Ours, T=14, CNN(fc6), Acc=0.70”。\n  - 来源2：论文Section IV-B-3（Results）中总结：“From Table I, we can see that for a fixed T the features based on the skeleton of the pedestrian (SKLT) outperform those based on CNN fc6 layer.”\n\n- **声明4：系统能预测站立行人开始过马路的行为，在行人开始移动后约8帧（约250毫秒）时，可预测性（predictability）大于0.8。**\n  - 来源1：论文Section IV-B-3（Results）中明确：“We can see also that we can predict (predictability>0.8) that a standing pedestrian will cross the curbside around 8 frames after he/she starts to move, which in JAAD is around 250ms.”\n  - 来源2：此结论基于Fig. 8（Start crossing, T=14, prob. thr. = 0.5）的曲线，图中展示了predictability随TTE的变化，文中描述与之对应。\n\n### 2. 冲突或不确定性说明\n\n- **与[^8]的比较不确定性**：论文指出其结果与文献[^8]的结果不可直接比较，因为[^8]未说明训练/测试划分，且其处理遮挡的方式不同（[^8]排除重度遮挡行人，而本方法未排除）。论文在Section IV-B-3中明确：“our results are not directly comparable since it is unclear which frames where used for training and which ones for testing. The paper mentions that heavily occluded pedestrians are not considered for testing. In our experiments we do not exclude pedestrians due to occlusion.”\n\n- **TTE标注的主观性**：论文自行添加了TTE注释，仅针对9个“持续行走”序列和14个“开始行走”序列，且这些序列是作者手动挑选的，可能存在主观偏差。论文在Section IV-B-2中说明：“we added the TTE information to 9 sequences we could describe as keep walking to cross, and 14 more sequences we could describe as start walking to cross.”\n\n- **C/NC标签映射的歧义**：论文将JAAD中的多种动作标签映射为C/NC，其映射规则带有一定主观性。例如将“clear-path”等标签与横向运动方向结合判定，论文在Section IV-B中描述：“We term as C to the crossing labels of JAAD, as well as the labels in {clear-path, moving-fast, moving-slow, slow-down, speed-up} assigned to a pedestrian with lateral motion direction; the rest are denoted as NC.”\n\n- **检测和跟踪的误差**：论文承认检测和跟踪可能出现错误，并影响了最终分类结果。例如Fig. 9和Fig. 10展示了误分类案例，论文在分析中说明这些情况需要未来工作改进。\n\n### 3. 参考文献列表\n\n论文引用文献（按出现顺序）：\n\n[^1]: D. Gerónimo and A. López, Vision-based Pedestrian Protection Systems for Intelligent Vehicles. Springer Briefs in Comp. Sc., 2014.\n\n[^2]: S. Zhang, R. Benenson, M. Omran, J. Hosang, and B. Schiele, “Towards reaching human performance in pedestrian detection,” IEEE Trans. Pattern Anal. Machine Intell., May 2017.\n\n[^3]: N. Wojke, A. Bewley, and D. Paulus, “Simple online and realtime tracking with a deep association metric,” in ICIP, 2017.\n\n[^4]: M. Meinecke, M. Obojski, D. Gavrila, E. Marc, R. Morris, M. Töns, and L. Lettelier, “Strategies in terms of vulnerable road users,” EU Project SAVE-U, Deliverable D6, 2003.\n\n[^5]: Z. Fang, D. Vázquez, and A. López, “On-board detection of pedestrian intentions,” Sensors, September 2017.\n\n[^6]: N. Schneider and D. Gavrila, “Pedestrian path prediction with recursive bayesian filters: A comparative study,” in GCPR, 2013.\n\n[^7]: A. Rasouli, I. Kotseruba, and J. K. Tsotsos, “Agreeing to cross: How drivers and pedestrians communicate,” in IV, 2017.\n\n[^8]: —., “Are they going to cross? a benchmark dataset and baseline for pedestrian crosswalk behavior,” in ICCV, Workshop, 2017.\n\n[^9]: C. Keller and D. Gavrila, \"Will the pedestrian cross? a study on pedestrian path prediction,\" IEEE Trans. Intell. Transport. Syst., vol. 15, no. 2, pp. 494–506, 2014.\n\n[^10]: S. Köhler, M.Goldhammer, K. Zindler, K. Doll, and K. Dietmeyer, “Stereo-vision-based pedestrian’s intention detection in a moving vehicle,” in ITSC, 2015.\n\n[^11]: B. Völz, K. Behrendt, H. Mielenz, I. Gilitschenski, R. Siegwart, and J. Nieto, \"A data-driven approach for pedestrian intention estimation,\" in ITSC, 2016.\n\n[^12]: E. Rehder, H. Kloeden, and C. Stiller, “Head detection and orientation estimation for pedestrian safety,” in IV, 2014.\n\n[^13]: F. Flohr, M. Dumitru-Guzu, J. Kooij, and D. Gavrila, “A probabilistic framework for joint pedestrian head and body orientation estimation,” IEEE Trans. Intell. Transport. Syst., vol. 16, no. 4, pp. 1872–1882, 2015.\n\n[^14]: A. Schulz and R. Stiefelhagen, “Pedestrian intention recognition using latent-dynamic conditional random fields,” in IV, 2015.\n\n[^15]: F. Schneemann and P. Heinemann, “Context-based detection of pedestrian crossing intention for autonomous driving in urban environments,” in IROS, 2016.\n\n[^16]: Z. Cao, T. Simon, S. Wei, and Y. Sheikh, “Realtime multi-person 2D pose estimation using part affinity fields,” in CVPR, 2017.\n\n[^17]: G. Gkioxari, B. Hariharan, R. Girshick, and J. Malik, “R-CNNs for pose estimation and action detection,” arXiv:1406.5212, 2014.\n\n[^18]: S. Ren, K. He, R. Girshick, and J. Sun, “Faster R-CNN: Towards real-time object detection with region proposal networks,” 2015.\n\n[^19]: X. Chen and A. Gupta, “An implementation of Faster RCNN with study for region sampling,” arXiv preprint arXiv:1702.02138, 2017.\n\n[^20]: L. Zheng, Z. Bie, Y. Sun, J. Wang, C. Su, S. Wang, and Q. Tian, \"Mars: A video benchmark for large-scale person re-identification,\" in ECCV, 2016.\n\n[^21]: T. Lin, M. Maire, S. Belongie, J. Hays, P. Perona, D. Ramanan, P. Dollar, and C. Zitnick, \"Microsoft COCO: Common objects in context,\" in ECCV, 2014.\n\n[^22]: F. Pedregosa, G. Varoquaux, A. Gramfort, M. Michel, B. Thirion, O. Grisel, M. Blondel, P. Prettenhofer, R. Weiss, V. Dubourg, J. Vanderplas, A. Passos, D. Cournapeau, M. Brucher, M. Perrot, and E. Duchesnay, “Scikit-learn: Machine learning in Python,” J. of Machine Learning Research, vol. 12, pp. 2825–2830, 2011.\n\n\n\n## 模块 H：图表与表格抽取（索引/打分/深读） / Module H: Figure/Table Mining (index, scoring, top deep dive)\n\n## 模块H：图表提取\n\n### 1. 图表完整索引\n\n| 编号 | 标题/说明 | 类型 | 位置 | 支持的论点/结论 | 评分（1-5） |\n|---|---|---|---|---|---|\n| 图1 | “Our focus: is the pedestrian going to cross?” | 示意图 | 第一节引言，展示两行人场景 | 说明C/NC任务意图：预测行人是否即将横穿道路 | 3 |\n| 图2 | 2D姿态估计骨架拟合示例（上：侧走行人；下：静止行人） | 结果展示 | 第三节方法，骨架拟合部分 | 展示姿态估计在连续帧上的效果，支持骨架线索的有效性 | 4 |\n| 图3 | 骨架关键点与特征定义（18关键点、9个稳定点、特征计算示例） | 技术示意图 | 第三节方法，C/NC分类部分 | 说明特征提取方法：基于关键点的距离、角度等，构成396维特征向量 | 5 |\n| 图4 | C/NC分类结果示例（含GT、预测、骨架、TTE标注） | 结果可视化 | 第四节实验B测试部分 | 定性展示分类结果与TTE标注，支持系统有效性的论证 | 4 |\n| 图5 | Keep walking to cross, T=14（意图概率 vs TTE） | 定量曲线 | 第四节实验B结果部分 | 表明系统对“持续走向横穿”的预测稳定，可提前预测 | 5 |\n| 图6 | Keep walking to cross, T=14, prob. thr.=0.5（可预测性 vs TTE） | 定量曲线 | 同上 | 展示可预测性随时间变化，说明预测提前量 | 5 |\n| 图7 | Start crossing, T=14（意图概率 vs TTE） | 定量曲线 | 同上 | 表明系统能预测“开始横穿”的动作 | 5 |\n| 图8 | Start crossing, T=14, prob. thr.=0.5（可预测性 vs TTE） | 定量曲线 | 同上 | 展示站立行人开始移动后的可预测性 | 5 |\n| 图9 | C/NC分类结果示例（错误案例） | 结果可视化 | 第四节实验B结果部分 | 说明错误案例：行人横穿但不在自车路径上，暗示评价协议问题 | 3 |\n| 图10 | C/NC分类结果示例（错误案例） | 结果可视化 | 同上 | 说明分类为NC但实际危险，讨论未来工作 | 3 |\n| 表I | Classification accuracy (Acc) in JAAD | 结果表 | 第四节实验B结果部分 | 对比不同特征（SKLT vs CNN fc6）与T=1/14的准确率，支持骨架特征优于CNN特征，T=14优于T=1 | 5 |\n\n### 2. 优先深度阅读（3-5项）\n\n选择以下图表进行深度阅读，因为它们直接支撑核心结论：\n\n1. **表I**（分类准确率）—— 这是核心实验结果，直接对比了不同特征与时间窗口的准确率，是第一手证据。\n2. **图3**（骨架特征定义）—— 特征提取方法是创新点，必须理解特征如何构建。\n3. **图5**（意图概率 vs TTE）—— 展示时间提前量，支持“提前预测”的论点。\n4. **图8**（可预测性 vs TTE）—— 展示可预测性曲线，证明站立行人开始移动后可预测量。\n5. **图2**（骨架拟合示例）—— 直观感受姿态估计的效果，有助于理解后续特征。\n\n### 3. 图表关系/实验设置图\n\n整个实验流程如下图表示：\n\n```text\nJAAD视频帧 → Faster R-CNN检测（微调） → 多目标跟踪（Deep SORT，基于CNN特征关联） → 在每个跟踪框内进行2D姿态估计（OpenPose） → 提取骨架特征（9个关键点，396维/帧）或fc6特征 → 时间窗口T=1或14 → 随机森林分类（C/NC） → 输出准确率（表I）与TTE分析（图5-8）\n```\n\n图表关系：\n\n- 图1是任务示意图，说明研究动机。\n- 图2和图3展示了姿态估计和特征提取的具体例子，是方法部分的关键。\n- 图4是定性结果示例，连接方法到实验部分。\n- 图5-8是定量TTE分析，直接支持“可提前预测”的结论。\n- 表I是量化对比，支撑“骨架特征优于CNN特征”结论。\n- 图9-10是错误案例，用于讨论局限和未来工作。\n\n### 4. 图表到结论的映射\n\n| 图表 | 对应结论 |\n|---|---|\n| 表I | ①骨架特征（SKLT）在T=1和T=14时均优于CNN(fc6)特征（0.80 vs 0.68；0.88 vs 0.70）；②SKLT+T=14取得最高准确率0.88；③T=14优于T=1，说明多帧整合有效；④SKLT+fc6融合未显著提升，说明骨架信息已足够。 |\n| 图5-6 | 对“持续行走横穿”情况，系统能稳定预测，且可提前多帧（可预测性>0.8）检测。 |\n| 图7-8 | 对“站立开始横穿”情况，系统在行人开始移动后约8帧（约250ms）可预测，证明姿态线索有效。 |\n| 图9 | 错误案例分析：行人横穿但非自车相交路径，暗示评价协议可能需要调整。 |\n| 图10 | 分类为NC但行人沿道路行走在车前，说明需要结合位置推理。 |\n| 图2 | 姿态估计在自然场景下有效，支撑骨架特征提取的可行性。 |\n| 图3 | 特征定义清晰，可复现。 |"
}