{
  "paper_id": "94154a638685a33b48033b6532f6400c",
  "paper_title": "Deep Learning-based Human Pose Estimation: A Survey",
  "paper_authors": [
    "Ce Zheng",
    "Wenhan Wu",
    "Chen Chen",
    "Taojiannan Yang",
    "Sijie Zhu",
    "Ju Shen",
    "Nasser Kehtarnavaz",
    "Mubarak Shah"
  ],
  "publication_date": "August 2023",
  "publication_venue": "ACM Computing Surveys",
  "abstract": "Human pose estimation aims to locate the human body parts and build human body representation (e.g., body skeleton) from input data such as images and videos. It has drawn increasing attention during the past decade and has been utilized in a wide range of applications including human-computer interaction, motion analysis, augmented reality, and virtual reality. Although the recently developed deep learning-based solutions have achieved high performance in human pose estimation, there still remain challenges due to insufficient training data, depth ambiguities, and occlusion. The goal of this survey is to provide a comprehensive review of recent deep learning-based solutions for both 2D and 3D pose estimation via a systematic analysis and comparison of these solutions based on their input data and inference procedures. More than 260 research papers since 2014 are covered in this survey. Furthermore, 2D and 3D human pose estimation datasets and evaluation metrics are included. Quantitative performance comparisons of the reviewed methods on popular datasets are summarized and discussed. Finally, the challenges involved, applications, and future research directions are concluded. A regularly updated project page is provided: <https://github.com/zczcwh/DL-HPE>.",
  "keywords": [
    "Survey of human pose estimation",
    "2D and 3D pose estimation",
    "deep learning-based pose estimation",
    "pose estimation datasets",
    "pose estimation metrics"
  ],
  "paper_institutions": [
    "University of Central Florida, USA",
    "University of North Carolina at Charlotte, USA",
    "University of Dayton, USA",
    "University of Texas at Dallas, USA"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "ark-code-latest",
  "prompt_template": "simple",
  "extracted_at": "2026-08-16T19:47:45.160715Z",
  "template_tag": "deep_read",
  "summary": "# Deep Learning-based Human Pose Estimation: A Survey\n\n\n**作者 / Authors:** Ce Zheng, Wenhan Wu, Chen Chen, Taojiannan Yang, Sijie Zhu, Ju Shen, Nasser Kehtarnavaz, Mubarak Shah\n\n\n**单位 / Institutions:** University of Central Florida, USA, University of North Carolina at Charlotte, USA, University of Dayton, USA, University of Texas at Dallas, USA\n\n\n\n**输出语言 / Output Language:** zh\n\n\n\n**发表日期 / Publication Date:** 2023-08\n\n\n\n**期刊/会议 / Publication Venue:** ACM Computing Surveys (CSUR)\n\n\n## 模块 A：阅读对齐与输入校验 / Module A: Reading Alignment and Input Check\n\n## 模块A：阅读对齐与输入验证\n\n### 1. 论文元数据\n\n- **标题**：Deep Learning-based Human Pose Estimation: A Survey\n- **作者**：\n  - Ce Zheng（中佛罗里达大学）\n  - Wenhan Wu（北卡罗来纳大学夏洛特分校）\n  - Chen Chen（中佛罗里达大学）\n  - Taojiannan Yang（中佛罗里达大学）\n  - Sijie Zhu（中佛罗里达大学）\n  - Ju Shen（代顿大学）\n  - Nasser Kehtarnavaz（德克萨斯大学达拉斯分校）\n  - Mubarak Shah（中佛罗里达大学）\n- **发表信息**：ACM Computing Surveys (CSUR)，2023年8月，第56卷第1期，文章号11，共37页。DOI: 10.1145/3603618。\n\n### 2. 研究定位\n\n- **研究领域**：计算机视觉，具体为人体姿态估计（Human Pose Estimation, HPE）。\n- **具体任务**：系统性综述基于深度学习的2D和3D人体姿态估计方法，包括方法分类、数据集、评估指标、性能对比、应用及未来方向。\n- **目标用户或应用场景**：研究人员、工程师以及相关领域的学生，希望全面了解HPE领域进展，或寻找适合特定场景（如人机交互、AR/VR、医疗保健、监控等）的方法和基线。\n\n### 3. 输入材料清单\n\n- **PDF**：是（论文正文）\n- **附录/补充材料**：未提供明确附录，但提供了项目页面：<https://github.com/zczcwh/DL-HPE（含定期更新的资源、workshop/challenge列表）。>\n- **代码链接**：项目页面包含相关代码资源链接（具体代码未在论文中直接给出）。\n- **数据集链接**：论文中引用多个公开数据集（如MPII、COCO、Human3.6M等），但未汇总单独的链接，需自行查找。\n\n### 4. 缺失材料与风险\n\n- **缺失项**：\n  - 完整的引用列表（论文中参考文献以脚注形式标注，但未在本次输入中完整提供）。\n  - 论文中引用的图表（如Fig.1-5）以图片形式嵌入，但解析出的文本可能不完整。\n  - 部分表格（如Table 2、3、6）的数据可能因文本提取不完整而缺失或错位。\n- **可能影响**：\n  - 无法验证详细方法细节和性能数字的准确性。\n  - 无法逐项核对参考文献，影响深入讨论。\n  - 图表的完整语义可能丢失，影响对方法流程图的理解。\n\n### 5. 阅读路线（3-6步）\n\n- **步骤1**：通读摘要、引言（Section 1）和结论（Section 6），把握综述的范围、主要贡献和未来方向，确定该综述涵盖2D和3D HPE的全貌。\n- **步骤2**：重点阅读第2、3节的方法分类部分，理解2D（单人和多人，top-down/bottom-up）和3D（单视角/多视角，skeleton-only/HMR，单视角/多视角）的划分，并参照Fig.1和Fig.2、Fig.3、Fig.4、Fig.5建立分类框架。\n- **步骤3**：阅读第4节的数据集和评估指标（表1-8），理解各数据集的特性和主要评估指标（PCK、AP、MPJPE等），并注意性能对比表的使用。\n- **步骤4**：略读第5节应用和第6节未来方向，了解HPE在动作识别、AR/VR、医疗等领域的应用，并提取论文提出的挑战和方向。\n- **步骤5**：回顾性阅读引用文献，按需查找缺失的参考文献细节，并利用项目页面补充最新资料。\n\n**分类理由**：论文的主要贡献是对大量已有研究的综合、分类和比较，而非提出新方法或系统，因此归类为`survey`。\n\n\n## 模块 B：第一遍鸟瞰扫描（类别/上下文/正确性/贡献/清晰度） / Module B: First Pass Overview (category, context, correctness, contribution, clarity)\n\n## 模块B：第一遍概览\n\n### 1. 论文类型与类别\n\n- **类型**：综合性综述论文（survey）。\n- **类别**：计算机视觉领域，具体为基于深度学习的人体姿态估计（HPE），涵盖2D和3D两类，并按照单/多人、单/多视角、输入源类型、学习范式等维度进行分类。\n- **定位**：系统梳理了2014年以来超过260篇相关文献，包括方法分类、数据集、评估指标、性能对比、应用和未来方向。\n\n### 2. 背景与研究背景\n\n- **背景**：人体姿态估计旨在从图像或视频中定位人体部位并重建人体表示（如骨骼），在人机交互、运动分析、AR/VR、医疗等领域广泛应用。深度学习在分类、检测、分割等任务的成功推动了HPE的快速发展，但仍存在遮挡、数据不足、深度模糊等挑战。\n- **前期综述的不足**：早期综述多集中于传统方法或仅覆盖部分子主题（如仅2D、仅3D单视角、仅单目），缺乏对多视角、其他传感器、性能对比及开放问题的系统讨论。\n- **本综述的定位**：填补上述空白，提供全面的2D和3D HPE分析，包含广泛的数据集、评价指标、定量比较和未来方向，并维护公开项目页面。\n\n### 3. 直观正确性检查（关键假设及合理性）\n\n- **假设1**：深度学习方法是当前HPE的主流范式，且性能优于传统方法。\n  - **合理性**：文中大量文献和实验数据支持，如DeepPose、OpenPose、HRNet等取得了显著效果，符合领域共识。\n- **假设2**：2D HPE可分为单人与多人，多人又分自顶向下（top-down）与自底向上（bottom-up）。\n  - **合理性**：这是领域公认的分类，文中图2-3清晰展示了两种流程，且各方法的定位明确。\n- **假设3**：3D HPE中，2D到3D的提升（lifting）方法通常优于直接估计方法。\n  - **合理性**：因2D姿态检测器性能优越，lifting方法可利用成熟的2D模型，表6中多数lifting方法MPJPE更低，符合直观。\n- **假设4**：多视角能够缓解遮挡和深度歧义。\n  - **合理性**：物理上多视角提供互补信息，表8显示多视角方法性能优于单视角，文中也明确讨论。\n- **假设5**：数据集和评估指标是衡量方法优劣的基础。\n  - **合理性**：本文汇总了MPII、COCO、Human3.6M等数据集，以及PCK、AP、MPJPE等指标，这些是领域标准，验证了方法比较的合理性。\n\n### 4. 核心贡献（3-5条）\n\n1) **全面的分类体系**：将2D HPE分为单人和多人（top-down/bottom-up），将3D HPE按单目、多视角、其他传感器分类，并进一步区分骨架估计与人体网格恢复（HMR），提供了清晰的知识框架。\n2) **覆盖广泛**：综述了自2014年以来的260余篇论文，包含传统的CNN、GCN、Transformer以及基于生成模型的方法，时间截止到2022年。\n3) **系统的性能对比**：在MPII、COCO、PoseTrack、Human3.6M、MuPoTS-3D等公开数据集上，汇总并对比了各类方法的定量结果（如表2、3、4、6、7、8），揭示了不同方法的优缺点。\n4) **数据集与评估指标汇总**：表1和表5列出了2D与3D HPE常用的数据集；解释了PCK、AP、OKS、MPJPE、PA-MPJPE、3DPCK等指标的定义和适用场景。\n5) **展望未来方向**：指出领域适应、高效人体模型、场景交互、时间一致性指标、低分辨率鲁棒性、对抗攻击、NAS等开放问题，并提供了项目页面链接。\n\n### 5. 清晰度评估（结构、图表、公式、可读性）\n\n- **结构**：清晰有序。按“引言-2D HPE-3D HPE-数据集与指标-应用-结论”组织，子章节层层递进，图1给出整体分类树（taxonomy），便于读者建立框架。\n- **图表**：丰富且密切相关。图2-5分别说明了单人和多人、2D和3D的各个框架；表1-8提供了数据集概览和性能对比，数据完整。但部分表格（如表6）内容庞大，缩略语较多，初期阅读有一定负担。\n- **公式**：仅包含MPJPE和MPVE两个定义式，简洁清晰，不构成障碍。\n- **可读性**：语言正式，逻辑连贯，但参考文献以脚注[^编号]形式出现，阅读时需频繁跳转。整体对领域新手友好，但深入理解仍需一定背景知识。\n\n### 6. 继续或停止建议（明确建议及原因）\n\n- **建议**：继续阅读。\n- **原因**：\n  - 阅读目标明确（理解HPE全貌），该综述提供了系统的框架和大量参考文献，是进入该领域的最佳入门。\n  - 需要深入掌握方法细节（模块D）和评估新方法（模块C-4、C-6），当前第一遍概览已经确认论文结构完整、信息密度高。\n  - 后续模块（C1-C8、D、E）可基于此概览展开，对于研究或应用有实际指导价值。\n  - 若仅需快速了解HPE概况，则当前模块已可满足；但若要追踪最新进展或进行科研，建议继续。\n\n### 7. 结构化大纲图\n\n```markmap\n# Deep Learning-based Human Pose Estimation: A Survey\n## 1 引言\n### 1.1 以往综述与本综述贡献\n### 1.2 文章组织\n## 2 2D HPE\n### 2.1 单人体\n#### 回归方法\n#### 热图方法\n### 2.2 多人\n#### 自顶向下\n#### 自底向上\n### 2.3 2D HPE 总结\n## 3 3D HPE\n### 3.1 单目RGB图像与视频\n#### 单视图单人\n##### 仅骨架\n#### 直接估计\n#### 2D到3D提升\n##### 人体网格恢复\n#### 单视图多人\n##### 自顶向下\n##### 自底向上\n#### 多视角\n### 3.2 其他传感器（深度、IMU、RF等）\n### 3.3 3D HPE 总结\n## 4 数据集与评估指标\n### 4.1 2D数据集\n### 4.2 2D评估指标\n### 4.3 2D性能对比\n### 4.4 3D数据集\n### 4.5 3D评估指标\n### 4.6 3D性能对比\n## 5 应用（动作识别、AR/VR、医疗等）\n## 6 结论与未来方向（领域适应、高效模型、场景交互、时间一致性、对抗鲁棒性、NAS等）\n## 参考文献（>260篇）\n```\n\n\n## 模块 C1：论文试图解决什么问题？ / Module C1: What problem does the paper try to solve?\n\n## 模块C1：论文试图解决什么问题\n\n### 1. 一句话问题定义\n\n本论文旨在系统性地综述基于深度学习的2D和3D人体姿态估计（Human Pose Estimation, HPE）方法，对该领域的研究进展、方法分类、数据集、评估指标、性能对比、应用及未来方向进行全面的梳理与分析，以填补现有综述在覆盖范围、深入分析和性能比较上的不足。\n\n### 2. 痛点或不足（2-4个要点）\n\n- **既有综述覆盖不全面**：此前综述或只关注传统方法（2001–2015年间），或只涵盖2D或3D单一子任务，或仅覆盖单视角、单目相机情况，忽略多视角、其他传感器、详细性能比较和深入讨论（见Section 1.1，脚注[^28] [^60] [^85] [^163] [^164] [^169] [^194] [^214]）。\n- **缺乏系统性分类与性能对比**：现有综述未提供对2D/3D、单/多人、单/多视角、不同学习范式（如回归vs热图、自上而下vs自下而上）的完整分类，也缺乏在常用数据集上的量化性能对比（见Section 1.1关于先前综述“no extensive performance comparisons”的批评）。\n- **对挑战和未来方向的讨论不足**：已有综述对HPE面临的核心挑战（如遮挡、训练数据不足、深度模糊等）及未来研究方向的探讨较简短，未能提供全面视角（见Section 1.1最后部分）。\n\n### 3. 形式化目标或优化目标（如有）\n\n本综述为综述性论文，不直接提出优化目标，但其目标可形式化为：系统地构建一个分类学（taxonomy）来组织2014年以来超过260篇深度学习HPE文献，覆盖2D和3D、单人和多人、单视角和多视角、单目RGB和其他传感器等维度；同时汇总常用数据集（如MPII、COCO、Human3.6M、MuPoTS-3D等）和评估指标（如PCK、AP、MPJPE、PA-MPJPE、3DPCK等），并进行定量性能比较（见Fig. 1和Section 4）。\n\n### 4. 成功标准（指标或期望属性）\n\n- **全面性**：覆盖截至2022年的主要深度学习方法（超过260篇论文），包括2D和3D、不同输入类型、不同学习范式（见Section 1.1）。\n- **系统性分类**：提供清晰的分类框架（Fig. 1中的分类学），便于读者按需查阅。\n- **量化性能对比**：在流行数据集上汇总并比较各方法的报告性能（见表2、3、4、6、7、8），揭示不同方法的优劣和趋势。\n- **应用与未来方向覆盖**：概述广泛的应用领域（如监控、AR/VR、医疗等，Section 5），并深入讨论关键挑战和潜在研究方向（Section 6）。\n- **可访问性与持续更新**：提供项目页面（<https://github.com/zczcwh/DL-HPE）以便资源更新和社区共享。>\n\n\n## 模块 C2：有哪些相关研究？（最强基线/最相近思路/正交方向） / Module C2: What related research exists? (strongest baseline, closest approach, orthogonal directions)\n\n## 模块C2：相关工作中哪些是重要的？\n\n### 1. 最强的基线（Strongest baselines）与比较轴\n\n- **最强基线**：\n  - **2D单人姿态估计**：Stacked Hourglass（[^171]，ECCV 2016）、HRNet（[^221]，CVPR 2019）、Simple Baseline（[^259]，ECCV 2018）等，代表了热图回归范式下的先进水平。\n  - **2D多人姿态估计**：Top-down 代表如 AlphaPose（RMPE，[^55]，ICCV 2017）、CPN（[^29]，CVPR 2018）；Bottom-up 代表如 OpenPose（[^16]，CVPR 2017）、HigherHRNet（[^31]，CVPR 2020）。\n  - **3D单人姿态估计**：2D-to-3D lifting 代表如 Martinez 等（[^156]，ICCV 2017）、Semantic GCN（[^296]，CVPR 2019）、PoseFormer（[^304]，ICCV 2021）；直接估计代表如 Volumetric（[^184]，CVPR 2017）；HMR 代表如 SPIN（[^101]，ICCV 2019）、VIBE（[^98]，CVPR 2020）。\n  - **3D多人姿态估计**：Top-down 如 LCR-Net++（[^208]）、RootNet（[^165]）、PandaNet（[^8]）；Bottom-up 如 SPM（[^175]）、SMAP（[^300]）；多视图如 VoxelPose（[^235]，ECCV 2020）、Cross View Fusion（[^198]，ICCV 2019）。\n- **比较轴**：\n  - 方法维度：输入类型（单目RGB、多视图、深度、IMU等）、输出表示（2D/3D骨架、网格）、单/多人、top-down vs bottom-up、直接回归 vs 热图回归、2D-to-3D lifting vs 直接估计、是否使用人体参数模型（SMPL等）。\n  - 性能维度：在标准数据集（MPII、COCO、Human3.6M、MuPoTS-3D等）上的精度（PCKh、AP、MPJPE、3DPCK等）以及计算效率（FLOPs、参数量、帧率）。\n\n### 2. 最接近的方法（Closest approaches）与关键区别\n\n- **最接近的方法**：之前的相关综述，主要列举了：\n  - [^60]（Gong et al., Sensors 2016）：涵盖传统与部分深度学习方法。\n  - [^214]（Sarafianos et al., CVIU 2016）：仅覆盖3D HPE且偏向RGB输入。\n  - [^169]（Munea et al., IEEE Access 2020）：仅覆盖2D HPE。\n  - [^28]（Chen et al., CVIU 2020）：涵盖2D和3D单视图，但仅至2019年，少于100篇文献，无深入性能对比。\n  - 此外，还有早期综述如[^85]、[^163]、[^164]、[^194]、[^67]、[^141]等。\n- **关键区别**：\n  - 本综述更全面、更系统：覆盖2D与3D、单视图与多视图、单人与多人、以及多种传感器输入（图像、视频、深度、IMU、RF等）。\n  - 时间跨度更长：截至2022年，涵盖超过260篇论文（2014年起），远超[^28]的不足100篇。\n  - 提供广泛的性能比较：在多个公开数据集上汇总并对比各方法结果，并给出实验设置（如backbone、输入尺寸、额外数据等），这是先前综述所缺乏的。\n  - 对挑战与未来方向的讨论更深入，并提供了持续更新的项目页面（GitHub）。\n\n### 3. 正交方向（Orthogonal directions）\n\n- **传感器与输入模态**：深度图像、点云、IMU、射频（RF）、非视距成像、鱼眼相机、压力图等，这些方向与主流的单目RGB输入正交，解决不同的应用痛点（如遮挡、隐私、无光环境）。\n- **场景交互与物理约束**：将人体姿态估计与3D场景约束结合（如PROX [^65]），关注人体与物体交互，而本综述主要关注人体自身状态。\n- **对抗鲁棒性与安全性**：关于对抗攻击对姿态估计影响的研究（如[^82]、[^135]），与性能提升目标不同，关注模型脆弱性。\n- **神经架构搜索（NAS）**：自动搜索高效网络结构（如[^30]、[^290]），与手工设计网络并行。\n- **域自适应与生成数据**：利用合成数据（如SURREAL、GTA-IM）或GAN进行数据增强，解决数据稀缺问题，与直接改进网络结构正交。\n\n### 4. 一句话定位（One-sentence positioning）\n\n本论文是一篇系统性的综述，以输入数据与推理流程为分类依据，全面覆盖并对比了2014年以来基于深度学习的2D和3D人体姿态估计方法，提供了大规模数据集上的性能对比，并总结了挑战、应用与未来方向，是当前该领域最完整、最深入的调研之一。\n\n\n## 模块 C3：论文如何解决这个问题？（流程图文字版） / Module C3: How does the paper solve the problem? (include a text flowchart)\n\n## 模块C3：论文如何解决问题？\n\n### 1. 分类学或分类框架概述\n\n该论文（综述）的核心组织框架是基于**任务维度（2D vs 3D）**和**输入/处理范式**的层级化分类体系（图1中的Taxonomy）。具体地：\n\n- 将HPE方法分为**2D HPE**（第2节）与**3D HPE**（第3节）两大主线。\n- 2D HPE按**场景中人数**分为单人和多人；单人再按**输出表示**分为回归方法和热图方法（图2）；多人再按**推理策略**分为自顶向下（top-down）和自底向上（bottom-up）（图3）。\n- 3D HPE按**输入源**分为单目RGB（图像/视频）和其他传感器（如IMU、深度、RF等）。单目RGB下再按**视图数**分为单视角和多视角；单视角又分为单人和多人，多人同样采用top-down/bottom-up二分（图5）；单人再按**是否使用人体模型**分为仅骨架（skeleton-only）和人体网格恢复（HMR），仅骨架又细分为直接估计和2D-to-3D lifting（图4）。\n- 该分类依据论文第1.2节“Article Organization”和Fig.1明确给出，作者以此对超过260篇论文（自2014年起）进行系统归类与比较（第1.1节）。\n\n### 2. 主要分类轴或比较维度\n\n论文采用的比较维度主要包括：\n\n- **任务类型**：2D vs 3D。\n- **人数**：单人与多人（仅适用于2D和3D单视角场景）。\n- **推理范式**：\n  - 2D多人：top-down（先检测后单人估计）vs bottom-up（先检测关键点后分组）。\n  - 3D单视角多人：同样分为top-down、bottom-up及集成（integrated）方法。\n- **输出表示**：\n  - 2D单人：回归（直接输出坐标）vs 热图（热图表示+高斯监督）。\n  - 3D单人：仅骨架（skeleton-only）vs 人体网格恢复（HMR，如SMPL、SMPL-X等）。\n- **阶段/中间表示**：\n  - 3D骨架方法：直接估计（直接从图像到3D）vs 2D-to-3D lifting（先2D后提升到3D）。\n- **输入源**：单目RGB（图像/视频） vs 其他传感器（深度/点云、IMU、RF、NLOS、鱼眼、MAV、压力垫等）。\n- **视图数**：单视角 vs 多视角（仅3D）。\n- 此外，在性能比较（第4节）中，还引入**骨干网络、输入分辨率、参数量、FLOPs、是否使用额外数据**等实现细节维度（见表2、3、6、7、8）。\n\n### 3. 代表性工作分组及分组意义\n\n论文按上述分类轴对大量方法进行分组，以下列举代表性分组及分组理由：\n\n- **2D单人-回归**：DeepPose（Toshev & Szegedy 2014）开创端到端回归；Sun et al. 2017引入compositional pose regression；Luviron et al. 2019使用soft-argmax；Li et al. 2021提出transformer级联；Li et al. 2021的RLE（残差对数似然估计）等。\n- **2D单人-热图**：CPM（Wei et al. 2016）开创多阶段热图；Stacked Hourglass（Newell et al. 2016）作为编码-解码架构基石；HRNet（Sun et al. 2019）通过并行多分辨率融合实现高分辨率表示；Lite-HRNet、HRFormer等轻量或transformer变体。\n- **2D多人-top-down**：RMPE（AlphaPose）、CPN、Graph-PCNN、Cascade Pyramid Network等，强调检测器与单人体姿态估计器的结合，以及遮挡/截断鲁棒性；transformer类如TransPose、TokenPose、HRFormer。\n- **2D多人-bottom-up**：DeepCut/DeeperCut（基于ILP）、OpenPose（PAF）、Associative Embedding、HigherHRNet、PifPaf等，强调关键点检测与关联分组的效率。\n- **3D单人-直接估计**：LCR-Net、Volumetric方法（Pavlakos）、结构感知回归（Sun et al.）等，直接从图像回归3D坐标。\n- **3D单人-2D-to-3D lifting**：Martinez et al. 2017（简单全连接残差网络）、GCN类（Semantic-GCN、Modulated GCN）、时序模型（Pavllo et al. 2019的TCN、PoseFormer等transformers）、弱监督/无监督方法（Zhou et al. 2017、Chen et al. 2019等）。\n- **3D-HMR**：SMPL及其扩展（SMPL-X），如SPIN、VIBE、METRO/MeshGraphormer、POTTER、FeatER等，强调参数人体模型带来的形状信息。\n- **3D单人-多视角**：VoxelPose、Cross-view fusion、MvP等，利用多视图几何或特征融合来缓解遮挡和深度歧义。\n- **其他传感器输入**：深度传感器（A2J）、IMU（Deep inertial poser）、RF（RF-based 3D skeleton）等。\n\n分组的意义在于：\n\n- 通过统一框架比较不同方法在同一子问题下的表现（第4节的表2-8），揭示各范式（如top-down vs bottom-up，直接估计 vs lifting）在精度、速度、鲁棒性（遮挡、尺度、低分辨率）上的权衡。\n- 为读者提供清晰的技术演进脉络，指明各分支的代表作和最新趋势（如从CNN到transformer、从热图到回归+transformer）。\n\n### 4. 分类图（Taxonomy Diagram）\n\n```mermaid\nflowchart TD\n    A[\"Human Pose Estimation (HPE)\"] --> B[\"2D HPE\"]\n    A --> C[\"3D HPE\"]\n\n    B --> B1[\"Single-person\"]\n    B --> B2[\"Multi-person\"]\n\n    B1 --> B1a[\"Regression Methods\"]\n    B1 --> B1b[\"Heatmap-based Methods\"]\n\n    B2 --> B2a[\"Top-down Approaches\"]\n    B2 --> B2b[\"Bottom-up Approaches\"]\n\n    C --> C1[\"Monocular RGB Images/Videos\"]\n    C --> C2[\"Other Sensors (IMU, depth, RF, etc.)\"]\n\n    C1 --> C1a[\"Single-view Single-person\"]\n    C1 --> C1b[\"Single-view Multi-person\"]\n    C1 --> C1c[\"Multi-view\"]\n\n    C1a --> C1a1[\"Skeleton-only\"]\n    C1a --> C1a2[\"Human Mesh Recovery (HMR)\"]\n\n    C1a1 --> C1a1a[\"Direct Estimation\"]\n    C1a1 --> C1a1b[\"2D-to-3D Lifting\"]\n\n    C1b --> C1b1[\"Top-down\"]\n    C1b --> C1b2[\"Bottom-up\"]\n    C1b --> C1b3[\"Integrated\"]\n```\n\n\n## 模块 C4：实验数据集与实现设置（数据集/场景、为何选择、验证哪些关键特性） / Module C4: Datasets and implementation settings (what datasets/scenarios, why chosen, what they validate)\n\n## 模块C4：数据集、基准与实现/评估设置\n\n### 1. 数据集覆盖（名称、规模、场景及在领域中的代表切片）\n\n该综述系统性地覆盖了2D和3D人体姿态估计（HPE）中的主要公开数据集，并对其规模、场景和代表性进行了分类描述：\n\n**2D HPE数据集**（论文第4.1节，表1）：\n\n- **MPII**：约25,000张图像，含40,000+人体实例，标注16个关节，涵盖单人/多人、室内外场景，是2D单人姿态估计的经典基准（Section 4.1，表1）。\n- **COCO（2016/2017）**：最常用的大规模数据集，超过330,000张图像，200,000个标注人物，每人17个关键点，覆盖复杂场景和多人情形，是2D多人姿态估计的主流基准（Section 4.1，表1）。\n- **PoseTrack（2017/2018）**：视频数据集，用于人体姿态估计与跟踪，包含遮挡和截断，2018版有1,138个视频序列、153,615个标注，每人15个关节，代表视频中的多人姿态跟踪任务（Section 4.1，表1）。\n- **其他2D数据集**：LSP、FLIC、AIC-HKD、CrowdPose、Penn Action、J-HMDB、HiEve等，分别覆盖单人/多人、图像/视频、拥挤场景、动作识别等不同子领域（Section 4.1，表1）。\n\n**3D HPE数据集**（论文第4.4节，表5）：\n\n- **Human3.6M**：最广泛使用的室内数据集，11名受试者、17种动作、4个视角，共360万帧3D姿态，由标记式MoCap捕获，代表受控实验室环境下的单目3D姿态估计（Section 4.4，表5）。\n- **MuPoTS-3D**：多人3D测试集，包含20个真实场景（5个室内、15个室外），8,000+帧，具有遮挡、光照变化等挑战，代表真实世界多人的3D姿态估计（Section 4.4，表5）。\n- **其他3D数据集**：MPI-INF-3DHP（室内外）、HumanEva、CMU Panoptic、TotalCapture、3DPW、AMASS、NBA2K、GTA-IM、Occlusion-Person等，覆盖MoCap、合成数据、游戏引擎生成等不同来源，代表3D姿态估计中的多视角、野外、大规模动作捕捉等不同设定（Section 4.4，表5）。\n\n### 2. 基准覆盖及综述如何组织不同论文的基准使用\n\n综述将基准使用按照2D/3D、单人/多人、单视角/多视角等维度进行组织，并针对不同方法类别采用相应的基准：\n\n- **2D单人姿态估计**：主要采用MPII数据集，以PCKh@0.5为指标，对比回归方法和热图方法（表2）。\n- **2D多人姿态估计**：主要采用COCO数据集（test-dev），以AP（基于OKS）为指标，对比top-down和bottom-up方法（表3）；同时使用PoseTrack2017/2018评估视频中的多人姿态估计（表4）。\n- **3D单视角单人姿态估计**：主要采用Human3.6M（Protocol 1），以MPJPE、PA-MPJPE、NMPJPE为指标，对比直接估计、2D-to-3D lifting、人体网格恢复等方法（表6）。\n- **3D单视角多人姿态估计**：采用MuPoTS-3D，以3DPCK为指标，对比top-down、bottom-up和集成方法（表7）。\n- **3D多视角姿态估计**：采用Human3.6M（Protocol 1），比较MPJPE等指标，展示多视角方法相对单视角的优势（表8）。\n\n综述在表2-8中提供了各方法在对应基准上的量化性能对比，并标注了实验设置（如backbone、输入尺寸、是否使用额外数据等），以便读者理解不同方法间的公平比较前提（Section 4.3、4.6）。\n\n### 3. 评估协议覆盖及文献中的协议不匹配\n\n综述详细介绍了2D和3D HPE的主要评估指标，并指出了不同协议间的差异：\n\n**2D指标**：\n\n- **PCP**：基于肢体长度阈值，早期使用，对短肢体惩罚较大（Section 4.2）。\n- **PCK/PCKh**：PCKh@0.5以头部段长的50%为阈值，PCK@0.2以躯干直径的0.2倍为阈值（Section 4.2）。\n- **AP/AR**：基于OKS（目标关键点相似度），COCO使用10个OKS阈值的mAP（Section 4.2）。\n\n**3D指标**：\n\n- **MPJPE**：关节平均位置误差（欧氏距离），最常用（Section 4.5）。\n- **PA-MPJPE**：刚性对齐后的MPJPE，消除姿态差异（Section 4.5）。\n- **NMPJPE**：归一化后的MPJPE（Section 4.5）。\n- **MPVE**：网格顶点误差（Section 4.5）。\n- **3DPCK**：以150mm为阈值的正确关键点百分比（Section 4.5）。\n\n**协议不匹配**：\n\n- 不同数据集使用不同数量的关节（如MPII为16，COCO为17，PoseTrack为15）导致直接对比需注意关节定义差异（表1）。\n- 评估指标的不同定义（如PCP与PCK）可能造成结果不可直接比较（Section 4.2）。\n- 3D数据集中的训练/测试划分协议（如Human3.6M Protocol 1、Protocol 2）不同，方法在不同协议下的表现需分别考察（Section 4.4）。\n- 一些方法使用额外数据或合成数据增强，导致基准对比时需标注“Extra”列（表3、表8）。\n- 计算效率指标（参数、FLOPs、fps）在不同方法间报告方式不一致（表2、表3、表6、表7）。\n\n### 4. 这些覆盖选择为何重要以及它们验证了什么\n\n- **覆盖选择的重要性**：\n  - 数据集覆盖了从受控实验室（Human3.6M）到真实世界（MPII、COCO、MuPoTS-3D）以及合成数据（NBA2K、GTA-IM、Occlusion-Person）的不同场景，从而能够评估方法的泛化能力和鲁棒性（Section 4.4、3.3）。\n  - 2D和3D数据集分别覆盖了图像和视频，单人和多人，以及不同动作复杂度，使得综述能够对各类方法进行系统性的横向对比，揭示不同方法在不同条件下的优劣（Section 4.3、4.6）。\n  - 基准的选择与综述的分类框架（2D/3D、单人/多人、top-down/bottom-up等）对齐，确保对比能回答“哪种方法在该任务上更优”的问题。\n\n- **这些选择验证了什么**：\n  - 验证了深度学习方法在标准基准上的性能提升趋势（如2D HPE从DeepPose到HRNet，3D HPE从直接估计到lifting和HMR）（Section 2.3、3.3）。\n  - 揭示了不同方法类别的权衡：top-down通常更准但更慢，bottom-up更快但精度略低（Section 2.2、3.1.2）。\n  - 指出了现有方法在受控数据集上的饱和与在野外数据上的性能下降，验证了领域泛化和数据多样化的重要性（Section 4.6、6）。\n  - 突出了评估指标本身的局限性（如MPJPE不捕捉时域平滑性），为未来设计更全面的评估协议提供了依据（Section 4.5 Summary）。\n\n\n## 模块 C5：指标与结果（指标、结果、各指标对应的创新点） / Module C5: Metrics and results (metrics, results, which innovations each metric reflects)\n\n## 模块C5：指标与结果\n\n### 1. 指标（含定义或简要说明）\n\n本综述梳理了2D和3D HPE中常用的评估指标，定义如下：\n\n**2D HPE指标**（Section 4.2）：\n\n- **PCP (Percentage of Correct Parts)**：早期用于肢体定位精度，当预测关节点与真值距离小于肢体长度的一定比例（如0.5）时判定为正确。短肢体易受惩罚，已很少使用。\n- **PDJ (Percentage of Detected Joints)**：以躯干直径的一定比例为阈值，判断关节点是否检测正确。\n- **PCK (Percentage of Correct Keypoints)**：以头部线段长度的50%为阈值（记作PCKh@0.5），或躯干直径的0.2倍（PCK@0.2），衡量关键点定位精度。\n- **AP/AR (Average Precision/Recall)**：基于检测结果计算精确率和召回率，常用于多人体。COCO中通过OKS（Object Keypoint Similarity）计算AP，并跨多个OKS阈值取均值。mAP为各类平均。\n- **OKS**：类似于IoU，基于人体尺度与预测-真值距离计算，用于AP/AR。\n\n**3D HPE指标**（Section 4.5）：\n\n- **MPJPE (Mean Per Joint Position Error)**：最常用，计算预测3D关节与真值的欧氏距离均值，公式见Section 4.5。\n- **PA-MPJPE**：对预测姿态进行刚性对齐（消除旋转和位移）后计算的MPJPE，也称重建误差。\n- **NMPJPE**：将预测位置按尺度归一化后的MPJPE。\n- **MPVE (Mean Per Vertex Error)**：用于网格重建，计算顶点间欧氏距离均值。\n- **3DPCK**：3D版本的PCK，阈值通常设为150mm。\n\n**其他说明**：论文还指出（引用Ji et al. [^84]），低MPJPE不一定代表姿态准确，因为依赖于人体尺度预测；3DPCK对错误关节更鲁棒但无法评估正确关节的精度；现有指标无法评估时间一致性或平滑性（Section 4.5总结）。\n\n### 2. 代表性先前工作的比较模式\n\n论文在多个表（Table 2-8）中总结了不同方法的性能，比较模式如下：\n\n- **2D单人体**（Table 2）：MPII数据集上采用PCKh@0.5，比较不同heatmap-based和regression-based方法。观察：heatmap-based方法通常优于regression-based，且近年（2017-2021）性能持续提升，最佳均值达到93.0（RSN [^14]），而regression方法最高为91.2（[^40]）。\n- **2D多人体**（Table 3）：COCO test-dev上采用AP指标，比较top-down和bottom-up方法。模式：top-down方法（如HRNet、CPN）AP较高，但bottom-up方法推理速度更快；使用更大backbone或更高分辨率输入可提升AP，但计算成本增加。\n- **2D视频**（Table 4）：PoseTrack2017/2018上比较mAP，时序信息利用（如PoseWarper、DCpose）可显著提升。\n- **3D单视角单人体**（Table 6）：Human3.6M Protocol 1下比较MPJPE，划分直接估计（Direct）、2D-to-3D lifting（Lifting）、网格恢复（Mesh）等。模式：lifting方法通常优于direct方法，视频输入优于单帧；网格恢复方法MPJPE偏高（因其同时估计形状参数）。\n- **3D多视角**（Table 8）：Human3.6M上多视角方法（如VoxelPose 26.2mm，使用额外数据）显著优于单视角（最佳约40mm），验证多视角克服遮挡与深度模糊的优势。\n- **3D多人体**（Table 7）：MuPoTS-3D上采用3DPCK，top-down通常优于bottom-up，但bottom-up计算效率更高。\n\n### 3. 共识与分歧\n\n**共识**：\n\n- **Heatmap优于直接回归**：2D单人体中，heatmap-based方法提供更丰富的空间监督，精度更高（Section 4.3）；3D lifting利用成熟2D检测器，通常优于direct方法（Section 4.6）。\n- **多视角有效**：多视角设置能缓解遮挡和深度模糊，MPJPE显著降低（对比Table 6和Table 8）。\n- **视频时序信息有益**：利用时间一致性（如temporal convolution、LSTM）提升3D姿态估计精度。\n- **top-down精度高但速度慢，bottom-up速度快但精度略低**：在2D和3D多人体中均有此trade-off。\n- **数据集局限**：现有3D数据集多为室内受控环境，跨域泛化能力差（Section 3.3）。\n\n**分歧**：\n\n- **方法分类**：直接估计 vs. 2D-to-3D lifting，论文认为lifting通常更好，但direct方法在低分辨率或未知姿态下可能更鲁棒。\n- **网格恢复 vs. 骨架估计**：网格恢复提供形状信息，但MPJPE偏高，论文指出不能只以MPJPE评价其优势。\n- **指标可靠性**：MPJPE受尺度影响，PA-MPJPE或3DPCK在某些场景下更公平，但各有局限。\n- **计算效率优先级**：部分工作追求高精度（如METRO），另一些（如FeatER、POTTER）牺牲少量精度换取轻量级，两者存在权衡。\n\n### 4. 基准解释与证据强度\n\n- **基准多样性**：论文覆盖多个常用数据集（MPII、COCO、PoseTrack、Human3.6M、MuPoTS-3D等），但不同数据集评估协议（如PCK、AP、MPJPE）不同，直接跨表比较需谨慎。\n- **证据强度**：性能对比表（Table 2-8）主要汇总已发表结果，未统一训练设置（如backbone、输入分辨率、额外数据），因此差异可能来自实现细节而非核心算法。论文将这种差异作为趋势参考，而非严格横向对比。\n- **偏差风险**：Human3.6M仅含11个演员、17种动作，过拟合风险高；3D multi-view方法使用额外数据（如AMASS）可显著提升，但可能引入域泛化问题。\n- **归纳结论**：综合多篇论文，HPE领域持续进步，2D单人体精度已接近饱和（PCKh@0.5>92），但3D在野外仍不鲁棒；多视角和时序建模是可靠提升途径。证据强度中等，因缺乏统一benchmark协议，未来需要更标准化的评估框架。\n\n\n## 模块 C6：有什么可以进一步探索的点？（理论/工程/数据/评测） / Module C6: What can be further explored? (theory/engineering/data/evaluation)\n\n## 模块C6：未来可探索方向\n\n### 理论方向\n\n- **人体模型与场景交互的建模**：现有方法大多忽略人与三维场景的交互，而实际上存在强约束（如人不能同时出现在场景中其他物体的位置）。探索融合物理约束与语义线索的建模方法，可提升三维姿态估计的可靠性与真实性（见论文Section 6，第5条未来方向）。\n- **针对姿态估计的对抗鲁棒性理论**：深度神经网络易受对抗攻击，但针对姿态估计的对抗攻击与防御研究较少（论文Section 6，第6条方向）。需要建立姿态估计对微小扰动的理论分析框架，并设计可证伪的防御机制。\n- **高效的动态人体模型**：SMPL等参数化人体模型参数众多，如何在不损失网格质量的前提下压缩参数，并利用BMI、轮廓等信息增强模型泛化能力，是一个值得深入的理论问题（见Section 6，第2条方向）。\n\n### 工程方向\n\n- **分辨率感知网络设计**：多数HPE网络在高分辨率图像上训练，对低分辨率输入泛化差。提出分辨率感知网络（如采用对比学习将原始图像与低分辨率版本作为正样本对）以提升对分辨率失配的鲁棒性（见Section 6，第5条方向）。\n- **神经架构搜索（NAS）用于自动设计高效网络**：利用NAS搜索针对不同身体部件的最优网络结构，或多目标NAS（权衡延迟、精度、能耗）来降低计算成本（见Section 6，第7条方向）。\n- **轻量化与实时化**：现有3D HPE在拥挤场景下计算量极高，需开发更高效的2D和3D流水线，尤其面向资源受限设备（如AR/VR）的实时实现（见Section 2.3和3.3的计算效率挑战）。\n\n### 数据/评估方向\n\n- **域适应与跨域泛化**：标准姿态数据集与真实应用（如婴儿、艺术品）分布差异大，需研究GAN或其他域适应方法，有效迁移姿态知识到新域（见Section 6，第1条方向）。\n- **合成数据与真实数据融合**：利用游戏引擎生成多样化合成数据（如SURREAL、GTA-IM），但存在域差距。未来可研究缩小合成到真实差距的方法（如域随机化、自监督），以及无标注场景的弱监督/自监督学习（见Section 3.3）。\n- **更合理的评估指标**：现有指标（如MPJPE）不能衡量时序平滑性和真实感，需开发帧级、关注时间一致性与运动平滑度的新指标，并统一多任务评估协议（见Section 4.5总结部分）。\n\n\n## 模块 C7：现实场景如何体现/实现？（部署约束、算力、延迟、鲁棒性） / Module C7: How would this work in real-world scenarios? (deployment constraints, compute, latency, robustness)\n\n## 模块C7：现实世界部署分析\n\n### 1. 部署约束\n\n- **硬件依赖**：现有深度学习方法（如OpenPose、HRNet、Transformer-based方法）通常需要较强算力的GPU才能达到实时或近实时性能。论文指出，OpenPose在Nvidia GTX 1080 Ti上约22 FPS（见第2.3节），而多数先进方法在移动端或嵌入式设备上难以部署。资源受限设备（如手机、AR/VR头显）需要轻量化模型，例如Lite-HRNet（见第2.1.2节）和LitePose（见第2.2.2节）。\n- **传感器配置**：3D HPE若使用多视角相机、深度传感器、IMU或RF设备，会增加硬件成本和部署复杂度。多视角方法需要相机标定，且相机环境变化时可能需要重新标定或迁移学习（如MetaFuse，见第3.1.3节）。单目RGB方法部署更简单，但性能受深度歧义和遮挡影响。\n- **数据依赖**：模型训练依赖大规模标注数据，真实场景数据分布可能与训练集（如Human3.6M、COCO）存在差异，导致泛化能力下降。跨域部署（如婴儿、艺术图像）需要领域适配技术（见第6节）。\n- **隐私与合规**：在医疗、监控等场景中，必须遵守隐私法规。基于姿态的监控可隐藏身份（见第5节），但原始数据可能包含敏感信息，需要加密或本地推理。\n\n### 2. 计算与延迟影响\n\n- **推理延迟**：\n  - 2D top-down方法：需要先进行人体检测，再对每个检测框做单人体姿态估计，延迟随人数线性增加（见第2.2节）。\n  - 2D bottom-up方法：整体检测所有关键点并分组，速度较快（如OpenPose），但在低分辨率或遮挡下精度下降（见第2.2.2节）。\n  - 3D方法：2D-to-3D lifting依赖2D检测器，总延迟通常高于纯2D方法。多视角方法（如VoxelPose）计算量大，Faster VoxelPose将速度提升约10倍（见第3.1.3节）。\n  - Transformer-based方法（如PoseFormer、MHFormer）通常参数多、计算开销大，但能捕捉长期依赖；轻量级变体（如POTTER、FeatER）可降低计算成本（见第3.1.1节）。\n- **内存占用**：热图方法通常需要高分辨率输出，增加内存消耗（见第2.1.2节）；人体网格恢复（HMR）方法（如SMPL-based）需要处理大量顶点，内存占用更高（见第3.1.1节）。\n- **实时性需求**：游戏、AR/VR、在线教练等应用要求低延迟（如<50ms）。论文指出，现有方法难以在商用设备上实现高精度实时处理（见第2.3节），需要模型压缩、剪枝或神经架构搜索（NAS）优化（见第6节）。\n\n### 3. 鲁棒性与安全问题\n\n- **环境鲁棒性**：\n  - 遮挡：多人场景中互遮挡、自遮挡是主要挑战，尤其影响top-down检测和bottom-up分组（见第2.2节）。3D单视角方法受深度歧义和自遮挡影响（见第3.1节）。\n  - 光照与背景：户外环境的光照变化、镜头光斑等会降低性能（如MuPoTS-3D，见第4.4节）。\n  - 低分辨率：现有模型对低分辨率输入敏感，对比学习可缓解（见第6节）。\n  - 运动模糊与快速运动：视频序列中的运动模糊会降低2D/3D估计精度（见第2.2.1节）。\n- **对抗攻击**：深度网络易受对抗样本攻击，微小扰动可能使姿态估计结果严重偏离（见第6节）。缺乏针对HPE的防御研究，实际部署中需考虑恶意输入（如监控摄像头被干扰）。\n- **安全关键场景**：在医疗诊断、自动驾驶（如人体检测）或运动防护中，错误的姿态估计可能导致严重后果。模型必须提供置信度或失败检测机制，并考虑人工复核。\n- **隐私泄露**：姿态数据可能间接揭示身份、行为习惯，需确保数据传输和存储安全。\n\n### 4. 可维护性\n\n- **模型更新**：HPE领域发展迅速，新方法和新数据集不断出现。综述提供项目页面（GitHub）定期更新资源，便于跟踪最新进展（见第1节）。\n- **数据漂移**：部署环境变化（如摄像头角度、人群密度）可能导致性能下降，需要持续监控和重新训练或微调。例如，多视角系统更换相机设置后需重新标定或使用MetaFuse等适应方法（见第3.1.3节）。\n- **代码与文档**：论文未提供官方代码，但项目页面包含相关资源。实际部署需关注开源库的可维护性、许可证及社区支持。\n- **硬件适配**：不同设备（CPU/GPU/移动芯片）需要不同的优化，轻量化模型（如Lite-HRNet、LitePose）更易维护但精度可能损失。需权衡模型复杂度和更新频率。\n- **评估基准**：现有指标（如MPJPE、PCK）无法全面反映时间一致性、平滑度等实际需求，部署中应结合主观评测和任务特定指标（见第4.5节）。\n\n### 5. 总结\n\n实际部署需综合考虑硬件资源、实时性、鲁棒性、隐私和可维护性。2D bottom-up方法适合资源受限和实时需求，但精度可能不足；3D单目方法部署简单但需处理深度歧义；多视角或传感器方法精度高但部署成本高。未来方向（如NAS、领域适配、对抗防御）将提升部署友好性（见第6节）。\n\n\n## 模块 C8：总结主要内容（一段摘要 + 5 条要点 + 1 个核心公式/机制） / Module C8: Summarize the main content (one paragraph + 5 bullets + one core formula/mechanism).\n\n## 模块C8：简明总结\n\n### 1. 总结段落\n\n本文系统综述了基于深度学习的人体姿态估计（HPE）领域，覆盖了超过260篇自2014年以来的研究论文。文章首先将HPE划分为2D和3D两大类，并分别按照单人与多人、自顶向下与自底向上、单视角与多视角、骨架与网格重建等维度进行了细粒度分类。针对每类方法，论文梳理了代表性工作，如2D中的DeepPose、Hourglass、HRNet、OpenPose等，以及3D中的2D-to-3D lifting、SMPL网格恢复、多视角融合等。此外，论文系统汇总了常用数据集（如MPII、COCO、Human3.6M、MuPoTS-3D等）和评估指标（如PCK、AP、MPJPE等），并给出了大量定量性能对比。作者还总结了HPE在动作识别、AR/VR、医疗、动画等领域的应用，并讨论了当前面临的挑战，如遮挡、计算效率、数据偏差、模型泛化等问题。最后，文章提出了若干未来研究方向，包括域适应、轻量化人体模型、场景交互约束、时序平滑评估、分辨率鲁棒性、对抗攻击防御及神经架构搜索等。\n\n### 2. 五个关键要点\n\n1. **分类体系全面**：论文提出了一个清晰的HPE分类法，将2D HPE分为单人和多人（top-down/bottom-up），3D HPE分为skeleton-only和mesh recovery，并进一步细分为直接估计、2D-to-3D lifting、多视角等子类（见图1）。\n2. **方法演进脉络**：从DeepPose到HRNet再到Transformer，2D HPE中heatmap-based方法逐步占据主导；3D HPE中2D-to-3D lifting和SMPL网格恢复方法显著提升了性能。\n3. **数据与指标的核心作用**：论文强调数据集和评估指标在HPE发展中的重要性，系统总结了大尺度2D/3D数据集及对应指标，并指出现有指标在时序平滑性评估上的不足。\n4. **挑战与机遇并存**：遮挡、深度模糊、数据不充分、计算效率仍是主要瓶颈，多视角设置和时序建模是缓解这些问题的有效途径。\n5. **未来方向明确**：域适应、人体模型轻量化、场景交互约束、时序一致性评估、分辨率鲁棒性、对抗防御和NAS等是值得探索的重要方向。\n\n### 3. 核心公式或机制\n\n**热图（heatmap）表示机制**：本文指出，基于heatmap的2D姿态估计方法通过生成以关节位置为中心的高斯核热图来监督网络，目标热图可表示为：\n\n$$H_i(x,y)=\\exp\\left(-\\frac{(x-x_i)^2+(y-y_i)^2}{2\\sigma^2}\\right)$$\n\n其中 \\(H_i\\) 是第 \\(i\\) 个关节的热图，\\((x_i,y_i)\\) 为其真实坐标，\\(\\sigma\\) 为高斯核的带宽。网络通过最小化预测热图与目标热图之间的均方误差（MSE）进行训练，从而保留空间位置信息，使训练过程更平滑。该机制为核心关键，因为它提供了密集的概率监督，显著优于直接回归坐标的方法（见论文第2.1.2节，图2）。\n\n\n## 模块 D：第二遍内容理解（方法结构/关键图表/实验） / Module D: Second Pass (method structure, key figures, experiments)\n\n## 模块D：第二遍阅读理解\n\n### 1. 分类树结构（Taxonomy Structure）\n\n该综述以**图1（Fig. 1）**展示其整体分类树，将深度学习人体姿态估计（HPE）方法划分为两大分支：**2D HPE**（第2节）与**3D HPE**（第3节）。（定位：摘要、第1.2节、图1）\n\n### 2D HPE 分支：\n\n- **单人姿态估计**（第2.1节）：\n  - 回归方法（Regression）：端到端直接回归关节坐标或模型参数（如DeepPose、Compositional Pose Regression）。\n  - 热图方法（Heatmap-based）：预测每个关键点的2D高斯热图（如CPM、Stacked Hourglass、HRNet）。\n- **多人姿态估计**（第2.2节）：\n  - 自顶向下方法（Top-Down）：先检测人，再对每个人单独估计姿态（如AlphaPose、CPN、HRNet）。\n  - 自底向上方法（Bottom-Up）：先检测所有关键点，再分组关联成个体（如OpenPose、PifPaf、HigherHRNet）。\n\n### 3D HPE 分支：\n\n- **基于单目RGB图像/视频**（第3.1节）：\n  - 单视角单人（第3.1.1节）：\n    - 仅骨架（Skeleton-only）：\n      - 直接估计（Direct）：从图像直接回归3D关节（如Volumetric方法）。\n      - 2D到3D提升（2D-to-3D Lifting）：先估计2D姿态，再提升到3D（如Martinez的残差网络、GCNs、时序模型）。\n    - 人体网格恢复（HMR）：使用参数化人体模型（如SMPL）重建网格（如VIBE、METRO）。\n  - 单视角多人（第3.1.2节）：同样分为自顶向下和自底向上（如LCR-Net vs SMAP）。\n  - 多视角（第3.1.3节）：利用多摄像头信息，解决遮挡和深度模糊（如VoxelPose、MvP）。\n- **基于其他传感器**（第3.2节）：深度传感器、IMU、射频信号、非视距成像等。\n\n**区分标准：** 按维度（2D/3D）、人数（单人/多人）、视角数量（单视角/多视角）、输入类型（RGB/其他）、输出表示（骨架/网格）。\n\n### 2. 代表性聚类及区分方式\n\n论文通过输入数据、推理流程和输出表示将方法聚类，以下为核心聚类：\n\n**聚类1：2D单人回归 vs 热图**（第2.1节）\n\n- 回归方法直接学习图像到关节坐标的映射，端到端且可达到亚像素精度，但高度非线性难优化。\n- 热图方法预测概率热图，保留空间位置信息，训练更平滑，目前更常用（图2）。\n- 区分：论文指出热图方法因supervision更丰富而性能普遍优于回归方法（第2.3节）。\n\n**聚类2：2D多人自顶向下 vs 自底向上**（第2.2节）\n\n- 自顶向下：先检测人框再估计单人姿态，精度高但计算量随人数增长，且依赖检测器。\n- 自底向上：一次性检测所有关键点并分组，速度更快，但关联困难，尤其在遮挡场景。\n- 论文通过图3展示两者流程差异，并在第2.3节和表3中比较性能与速度。\n\n**聚类3：3D单视角直接估计 vs 2D-to-3D提升**（第3.1.1节）\n\n- 直接估计从图像直接预测3D，不经过2D中间表示。\n- 2D-to-3D提升利用成熟的2D姿态检测器作为中间步骤，通常效果更好（第4.6节）。\n- 区分：论文指出提升方法因受益于2D姿态检测器进步而普遍优于直接估计。\n\n**聚类4：3D骨架 vs 网格恢复**（第3.1.1节）\n\n- 骨架方法只输出关节坐标。\n- HMR方法使用SMPL等参数模型重建人体网格，提供形状信息，但参数多且更复杂（第3.1.1-B）。\n- 论文在表6中分别列出骨架方法与网格方法，并指出网格方法在MPJPE上通常不如纯骨架方法，因其同时回归形状参数。\n\n**聚类5：3D单视角 vs 多视角**（第3.1.3节）\n\n- 单视角面临深度模糊和遮挡。\n- 多视角通过多摄像头信息融合解决这些问题，但需要视角关联。\n- 论文比较表6和表8显示多视角方法在Human3.6M上MPJPE显著更低。\n\n**聚类6：视频方法利用时间信息**（第2.1.2节、第3.1.1节）\n\n- 视频方法通过光流、LSTM、时序卷积或Transformer建模时间依赖，提升结果稳定性。\n- 代表方法如PoseWarper、DCpose、PoseFormer。\n\n### 3. 重要图表解释\n\n## 图2（Fig. 2）：单人2D HPE框架\n\n- (a) 回归方法：直接学习从原始图像到关节坐标的映射，输出坐标。\n- (b) 热图方法：先根据真值生成每个关节的高斯热图，网络预测热图。热图保留空间位置，使训练更平滑。\n- 该图直观展示两类方法的根本区别，解释了为何热图方法成为主流。\n\n## 图4（Fig. 4）：单人3D HPE框架\n\n- 展示三种子框架：\n  - (a) 直接估计：从图像直接估计3D姿态。\n  - (b) 2D-to-3D提升：先用2D姿态检测器，再提升到3D。\n  - (c) 网格恢复：使用SMPL模型，由3D姿态和形状网络回归参数，再通过模型回归器重建网格。\n- 该图清晰展示3D单人方法的分类逻辑。\n\n## 表3（Table 3）：COCO数据集多人2D HPE性能对比\n\n- 列出多种自顶向下和自底向上方法的AP、AP75等指标，并标注输入尺寸、Backbone、参数。\n- 解释：自顶向下方法（如HRNet-W48）通常取得更高AP，但FLOPs较大；自底向上（如HigherHRNet）速度更快，但AP略低。\n- 覆盖结构：涵盖2017-2022年代表方法，便于比较发展。\n\n## 表6（Table 6）：Human3.6M数据集单人3D HPE对比\n\n- 按“直接”、“提升”、“网格”分类，列出各种方法的MPJPE（越低越好）。\n- 解释：提升方法（如PoseFormer）MPJPE低于直接估计；网格恢复方法MPJPE略高，但提供更多形状信息。\n- 覆盖结构：列明2D姿态检测器、输入类型（图像/视频）、参数和FLOPs。\n\n### 4. 比较表解读与覆盖结构\n\n- **表1（2D数据集）**：按图像/视频分类，列出数据集规模、关节数、评估协议（如PCK、AP）。覆盖LSP到HiEve。\n- **表2（MPII单人2D）**：按H（热图）和R（回归）分组，比较PCKh@0.5，并给出参数和FLOPs，展示热图方法占优。\n- **表3（COCO多人2D）**：自顶向下（T）和自底向上（B）方法对比，标注额外数据、Backbone，展示top-down精度更高。\n- **表4（PoseTrack视频）**：比较视频方法在PoseTrack2017/2018上的mAP。\n- **表5（3D数据集）**：列出主流3D数据集，包括采集系统、环境、规模、单/多人、单/多视角。\n- **表6（Human3.6M单人3D）**：分类直接/提升/网格，列出MPJPE和参数，展示提升方法优势。\n- **表7（MuPoTS-3D多人3D）**：自顶向下、自底向上、集成方法对比，指标为3DPCK，显示集成方法最优。\n- **表8（Human3.6M多视角3D）**：多视角方法对比MPJPE，展示多视角优势（相比表6）。\n\n**覆盖结构**：所有表格按维度（2D/3D）、场景（单人/多人/多视角）、方法类别（top-down/bottom-up、回归/热图、直接/提升/网格）组织，并统一使用数据集和评估指标，便于跨方法比较。\n\n### 5. 综述综合示意图（示意图说明）\n\n为便于理解，可绘制以下概念图（文字描述）：\n\n## HPE分类总览图\n\n- 根节点：HPE\n  - 2D HPE\n    - 单人：回归 vs 热图\n    - 多人：自顶向下 vs 自底向上\n  - 3D HPE\n    - 单目RGB\n      - 单视角\n        - 单人：骨架（直接/提升） vs 网格（HMR）\n        - 多人：自顶向下 vs 自底向上\n      - 多视角：跨视角融合\n    - 其他传感器：深度、IMU、RF、NLOS\n\n该图呼应论文图1，帮助快速定位任何方法属于哪个分支。论文本身也提供了项目页面（<https://github.com/zczcwh/DL-HPE）持续更新。>\n\n\n## 模块 E：第三遍深度审视（重建/假设/失败模式/审稿意见） / Module E: Third Pass (reconstruction, assumptions, failure modes, review)\n\n## 模块E：第三遍深度审阅\n\n### 1. 分类学假设（Taxonomy assumptions）\n\n本综述的分类法以“2D vs 3D”、“单视角 vs 多视角”、“单人多 vs 多人”、“基于骨架 vs 人体网格”和“自上而下 vs 自下而上”为五大轴，隐含了以下关键假设：\n\n- **假设一：2D与3D可分离且顺序依赖**。2D姿态估计被视为3D估计的基础，大量3D方法采用“2D→3D lifted”策略，假设2D姿态检测的成熟性能可以可靠地被继承（见Section 3.1.1的2D-to-3D lifting部分，Fig. 4b）。这隐含了对2D检测器质量的强依赖，而综述对此并未进行误差传播分析。\n- **假设二：输入模态以单目RGB为核心**。虽然涵盖深度、IMU、RF等，但分类树将“monocular RGB”置于主干，其他传感器作为补充（Section 3.2），表明作者认为视觉主导是主流，但未考虑多模态融合可能超越单模态的上限。\n- **假设三：网络架构的可替换性**。综述将方法按“回归 vs 热图”、“卷积 vs Transformer”等划分，隐含了架构选择可独立于任务其他组件（如损失、数据增强）的假设，但实际中这些因素耦合紧密。\n- **假设四：评测指标的客观性**。依赖MPJPE、3DPCK等指标，假设其能真实反映姿态质量，但综述本身在Section 4.5末尾也承认指标缺乏时间一致性评估，这与后续的未来方向建议构成潜在矛盾。\n\n### 2. 覆盖偏倚（Coverage bias）\n\n- **时间偏倚**：综述覆盖2014–2022年论文，但2021–2022年Transformer类方法被重点介绍（如TransPose、TokenPose、PoseFormer），而同期对CNN--Transformer混合架构的讨论偏少，可能弱化2020年后快速演进的趋势。\n- **数据集偏倚**：2D评测主要聚焦MPII和COCO，3D集中于Human3.6M和MuPoTS-3D。对于近期出现的in-the-wild数据集（如COCO-WholeBody、3DPW）仅有提及，未深入比较其挑战与评价协议。\n- **方法偏倚**：对“多人3D自下而上”方法的介绍明显少于“自上而下”，尤其是在MUCo-3DHP等多人数据集上的对比，可能因为作者更熟悉自上而下方向。\n- **作者自我引用偏倚**：作者团队（Chen Chen组）自身的工作（如PoseFormerV2、FeatER、POTTER）被多次引用并作为比较对象，虽未显著影响结论，但仍需注意。\n\n### 3. 盲点或遗漏领域（Blind spots / omitted areas）\n\n- **缺失领域一：基于NeRF/隐式函数的人体重建**。2021年后利用神经辐射场或隐函数进行全身姿态/形状恢复（如PIFu系列）未纳入，尽管其影响了3D人体重建方向。\n- **缺失领域二：弱监督/自监督的更全面讨论**。虽然提及了弱监督（如Zhou et al. 2017），但未系统讨论基于对比学习、掩码自编码器的新范式，以及其在解决标注稀缺上的潜力。\n- **缺失领域三：跨模态迁移与知识蒸馏**。从视频到单图的分支互相借鉴，但缺少对“从视频预训练到单图微调”这类迁移学习的系统分析，仅零散提及。\n- **缺失领域四：动态场景与跟踪结合的完整评测**。虽然PoseTrack被提到，但针对时间一致性、遮挡连续性（如长期跟踪）的评估协议未得到详细描述，关键目标与3D估计的时序评估基本重叠。\n\n### 4. 优势与弱点（Strengths and Weaknesses）\n\n### 优势\n\n1. **系统性分类清晰**：图1提供完整分类树，使读者能快速定位方法子类，尤其对2D/3D、单/多人、自上而下/自下而上等多维度划分具有教学价值（Section 1.2）。\n2. **性能对比表丰富**：表2–8汇总了主流数据集上的结果，并附参数、FLOPs，便于量化比较和趋势分析，这是很多综述所稀缺的。\n3. **应用章节有视野**：Section 5覆盖动作识别、医疗、AR/VR等，增强了实用性。\n4. **前瞻性问题**：Section 6指出的域适应、模型压缩、场景交互、时间平滑、分辨率适配、对抗鲁棒性等方向具有前瞻性和现实意义。\n\n## 弱点\n\n1. **缺乏对错误传播的量化**：如2D-to-3D lifting中2D检测误差对3D精度的影响未通过实验或理论分析。\n2. **数据集对比不一致**：不同表格采用不同指标（如PCKh vs AP vs MPJPE），且超参数细节（如输入尺寸、骨干网络）未统一注释，使跨表比较困难。\n3. **对Transformer方法描述偏重但不足够深入**：高频提及但未像CNN那样分析其适用边界（如计算复杂度、数据需求）。\n4. **未来方向过于宽泛**：每个方向仅一段式描述，缺乏可执行的具体研究建议，且与前面章节的挑战归纳衔接不强。\n\n### 5. 未来综述更新方向（Future survey-update directions）\n\n- **方向一：纳入2022年后新范式**。增加对扩散模型、大语言模型驱动的姿态生成，以及基于隐式函数（如SDF）的全身重建的综合分析，并补充对这些方法在公开基准上的独立评测。\n- **方向二：标准化评测协议**。建议提出一套统一的跨方法评估框架，包括对输入分辨率、后处理、训练数据量进行确切控制，并引入时间一致性指标（如运动平滑度）。\n- **方向三：扩大对多模态与自监督方法的覆盖**。系统比较RGB+IMU、RGB+深度、多视角+RF的融合策略，并深入分析自监督预训练对提升域泛化的效果。\n- **方向四：增加对鲁棒性与安全性的量化基准**。建立针对遮挡、低光照、对抗攻击的公开测试集，并邀请社区提交结果，形成良性的比较环境。\n\n\n## 模块 F：术语表与概念依赖图 / Module F: Glossary and Concept Map\n\n## 模块F：词汇表与概念依赖图\n\n### 1. 词汇表（30个条目）\n\n1. **Human Pose Estimation (HPE) / 人体姿态估计**：从图像或视频等输入数据中定位人体各部位并构建人体表示（如骨架）的任务。论文的核心研究对象。前提知识：计算机视觉、深度学习。\n2. **2D Pose Estimation / 2D姿态估计**：估计人体关键点在2D图像平面上的位置。论文第一部分（Section 2）的主题。前提知识：图像处理、关键点定位。\n3. **3D Pose Estimation / 3D姿态估计**：预测人体关节在3D空间中的位置。需要处理深度模糊等问题，是论文第二部分（Section 3）的主题。前提知识：2D姿态估计、立体几何。\n4. **Keypoint / 关键点**：人体上具有语义含义的点（如关节部位）。姿态估计的输出单元。前提知识：人体解剖学基本概念。\n5. **Joint / 关节**：人体骨骼连接点，通常作为关键点。与Keypoint同义。前提知识：人体结构。\n6. **Skeleton / 骨架**：由关节和骨骼连接构成的人体结构表示。姿态估计的目标表示。前提知识：图论、人体运动学。\n7. **Heatmap / 热图**：对每个关键点位置处以2D高斯核生成的概率图。基于热图的姿态估计方法中常用的监督信号和预测输出。前提知识：概率分布、高斯核。\n8. **Regression-based method / 回归方法**：直接从图像学习到关键点坐标的映射。与热图方法相对。前提知识：回归、卷积神经网络。\n9. **Top-down approach / 自上而下方法**：先检测每个人，再对每个人进行单人体姿态估计的多人体姿态估计策略。论文2.2节介绍。前提知识：目标检测、单人体姿态估计。\n10. **Bottom-up approach / 自下而上方法**：先检测所有关键点，再将其分组为不同个体的多人体姿态估计策略。前提知识：关键点检测、聚类/关联。\n11. **Part Affinity Fields (PAF) / 部分亲和场**：编码肢体位置和方向的2D向量场，用于自下而上方法中关键点关联。OpenPose的核心概念。前提知识：向量场、图匹配。\n12. **Convolutional Neural Network (CNN) / 卷积神经网络**：用于图像特征提取的深度学习架构。几乎所有方法的基础。前提知识：深度学习、卷积运算。\n13. **Backbone / 骨干网络**：用于提取图像特征的基础CNN（如ResNet、HRNet）。姿态估计网络的组成部分。前提知识：CNN架构。\n14. **Stacked Hourglass Network / 堆叠沙漏网络**：一种编码器-解码器结构，重复进行下采样和上采样以捕获多尺度信息，常用于热图预测。前提知识：编码器-解码器、多尺度特征。\n15. **HRNet / 高分辨率网络**：通过并行多分辨率子网和反复融合保持高分辨率特征的网络，在姿态估计中表现优异。前提知识：残差网络、多尺度融合。\n16. **Transformer / 变换器**：基于自注意力的架构，已在视觉任务中广泛应用。在姿态估计中用于建模全局依赖。前提知识：注意力机制、序列建模。\n17. **Self-attention / 自注意力**：计算序列内部元素间权重以建模依赖的机制。Transformer的核心。前提知识：注意力机制、矩阵运算。\n18. **Monocular / 单目**：使用单个摄像头进行姿态估计。单目3D姿态估计是病态问题。前提知识：摄像头几何、投影。\n19. **Multi-view / 多视角**：使用多个摄像头从不同视角观测，可缓解遮挡和深度模糊。前提知识：相机标定、三角化。\n20. **2D-to-3D lifting / 2D到3D提升**：先估计2D姿态，再将其提升为3D姿态的方法。由于2D估计成熟，该策略很流行。前提知识：2D姿态估计、回归。\n21. **Human Mesh Recovery (HMR) / 人体网格恢复**：恢复人体3D网格（包括形状和姿态），通常使用参数化身体模型（如SMPL）。前提知识：3D建模、图形学。\n22. **SMPL model / SMPL模型**：一种参数化人体网格模型，由形状和姿态参数驱动，广泛用于HMR。前提知识：混合蒙皮、姿态依赖变形。\n23. **MPJPE (Mean Per Joint Position Error) / 平均关节位置误差**：3D姿态估计最常用的评估指标，计算预测关节与真值之间的欧氏距离平均。前提知识：欧氏距离、统计。\n24. **PCK (Percentage of Correct Keypoints) / 正确关键点百分比**：2D姿态评估指标，在阈值内视为正确。前提知识：阈值、检测。\n25. **AP/AR (Average Precision/Recall) / 平均精度/召回率**：目标检测和关键点检测中常用的性能指标，基于OKS。前提知识：混淆矩阵、精确率召回率。\n26. **OKS (Object Keypoint Similarity) / 目标关键点相似度**：衡量关键点检测相似度的指标，考虑尺度。用于COCO评估。前提知识：IoU、关键点距离。\n27. **Occlusion / 遮挡**：人体部位被其他物体或自身遮挡，影响姿态估计。论文中反复提到的挑战。前提知识：图像理解。\n28. **Depth ambiguity / 深度模糊**：单目3D姿态估计中，不同的3D姿态可能投影为相同的2D姿态，导致歧义。前提知识：投影几何。\n29. **GAN (Generative Adversarial Network) / 生成对抗网络**：由生成器和判别器组成，在姿态估计中用于生成合理姿态或增强数据。前提知识：生成模型、对抗训练。\n30. **Graph Convolutional Network (GCN) / 图卷积网络**：在图上进行卷积的神经网络，用于建模关节间的关系。前提知识：图论、卷积。\n\n### 2. 概念依赖图（文本形式）\n\n- 深度学习 → CNN → Backbone → 姿态估计方法\n- 姿态估计方法 → 回归方法 / 热图方法 → 2D姿态估计\n- 2D姿态估计 → 单人体 / 多人体 → 多人体方法 → Top-down / Bottom-up\n- Bottom-up → 关键点检测 + 关联 (PAF等)\n- Top-down → 人体检测 + 单人体姿态估计\n- 3D姿态估计 → 单目 / 多视角 / 其他传感器\n- 单目3D姿态估计 → 直接估计 / 2D-to-3D lifting / HMR\n- 2D-to-3D lifting → 依赖2D姿态估计\n- HMR → 依赖参数化人体模型（SMPL）\n- 评估指标 → 2D: PCK, AP, OKS; 3D: MPJPE, PA-MPJPE, 3DPCK\n- 数据集 → 训练和评估基础\n- 挑战 → 遮挡、深度模糊、数据不足\n- 应用 → 基于姿态估计\n\n\n\n\n## 模块 G：联网核验与引用校对 / Module G: Verification and Citation Check\n\n## 模块G：验证与引用核查\n\n### 1. 关键事实声明（至少两个来源/证据）\n\n### 声明1：该综述覆盖自2014年以来超过260篇论文。\n\n- 来源1：论文摘要中明确写道“More than 260 research papers since 2014 are covered in this survey.”（摘要部分）\n- 来源2：论文引言部分（Section 1.1）在“关键贡献”中再次强调：“A comprehensive review of recent deep learning-based 2D and 3D HPE methods (up to 2022 with more than 260 papers)”。（Section 1.1）\n\n### 声明2：2D HPE方法分为单人与多人，多人又分自顶向下和自底向上。\n\n- 来源1：论文Section 1.2（文章组织）明确说明：“According to the number of people, 2D HPE methods are categorized into single-person and multi-person settings. For multi-person methods (Section 2.2), there are also two types of methods: top-down methods and bottom-up methods.”（Section 1.2）\n- 来源2：论文Section 2.2开头：“multi-person HPE methods can be classified into top-down and bottom-up methods.”（Section 2.2）\n\n## 声明3：3D HPE单目方法分为单视角单人和单视角多人，多视角方法独立成类。\n\n- 来源1：论文Section 1.2：“The majority of these methods use monocular RGB images and videos, and they are further divided into single-view single-person (Section 3.1.1); single-view multi-person (Section 3.1.2); and multi-view methods (Section 3.1.3).”（Section 1.2）\n- 来源2：论文Section 3.1开头：“deep learning-based 3D HPE methods are divided into three categories: single-view single-person 3D HPE, single-view multi-person 3D HPE, and multi-view 3D HPE.”（Section 3.1）\n\n## 声明4：Human3.6M是3D HPE最广泛使用的室内数据集，包含360万帧。\n\n- 来源1：论文Section 4.4：“Human3.6M is the most widely used indoor dataset for 3D HPE from monocular images and videos. ... This dataset contains 3.6 million 3D human poses...” （Section 4.4）\n- 来源2：论文Table 5（3D HPE数据集汇总）中“Human3.6M”行：数据规模为“11 subjects, 17 actions, 3.6M frames”。（Table 5）\n\n## 声明5：COCO数据集是2D HPE最广泛使用的大规模数据集。\n\n- 来源1：论文Section 4.1：“Microsoft Common Objects in Context (COCO) Dataset is the most widely used large-scale dataset.”（Section 4.1）\n- 来源2：论文Section 2.3总结时提到“COCO dataset”作为大规模数据集实例：“Although the size of current datasets for 2D HPE is large enough (e.g., COCO dataset)”。（Section 2.3）\n\n## 声明6：MPJPE是3D HPE最常用的评估指标。\n\n- 来源1：论文Section 4.5：“MPJPE (Mean Per Joint Position Error) is the most widely used metric to evaluate the performance of 3D HPE.”（Section 4.5）\n- 来源2：论文Section 4.5给出MPJPE公式，并通篇用于性能比较（见表6、表8）。（Section 4.5，表6、表8）\n\n## 声明7：2D-to-3D lifting方法通常优于直接估计方法。\n\n- 来源1：论文Section 3.1.1 A：“Benefiting from the excellent performance of state-of-the-art 2D pose detectors, 2D-to-3D lifting approaches generally outperform direct estimation approaches.”（Section 3.1.1 A）\n- 来源2：论文Section 4.6：“For skeleton-only methods, 2D-to-3D lifting approaches generally outperform direct estimation approaches due to the excellent performance of state-of-the-art 2D pose detectors.”（Section 4.6）\n\n## 声明8：多视角3D HPE性能优于单视角，因为可缓解遮挡和深度模糊。\n\n- 来源1：论文Section 3.1.3开头：“Partial occlusion is a challenging problem for 3D HPE in the single-view setting. The natural solution to overcome this problem is to estimate 3D human pose from multiple views”。（Section 3.1.3）\n- 来源2：论文Section 4.6：“By comparing the results from Tables 6 and 8, it is evident that the performance (e.g., MPJPE under Protocol 1) of multi-view 3D HPE methods has improved compared to single-view 3D HPE methods using the same dataset and evaluation metric.”（Section 4.6）\n\n### 2. 冲突或不确定性注释\n\n- **数据冲突（表2注）**：论文在表2的注释中指出“References [^14] [^76] [^121] [^125] [^207] [^221] are 2D multi-person HPE methods, which are also applied to the single-person case here.”这说明某些方法在多人和单人间的适用性存在重叠，比较时需注意其类别归属。\n- **表3数据歧义**：表3中“AWN1”和“APN1”列名疑似OCR错误，可能为“AP(M)”和“AP(L)”（中等/大目标），论文正文未解释，属于提取不确定性。\n- **表6列名混乱**：表6的表头出现“M3PIE”、“FA-SMPIE”等拼写，以及“LPO(s)”等异常缩写，部分单元格重复或为冗余行，可能导致数值解读困难。\n- **引用编号不一致**：正文中有些引用编号（如[^28]）在表3中对应“2019”年，但论文中[^28]是“Yucheng Chen et al. 2020. Monocular human pose estimation: A survey”，年份差异可能是表格错误，存在不确定性。\n- **“Hornless”拼写**：表3中Backbone列出现“Hornless”，应为“Hourglass”的错拼，影响模型识别。\n- **性能数据来源**：表7中fps列取自论文[^253]，其余性能数据未逐一核实，论文本身未给出原始出处以外的验证。\n\n### 3. 参考文献列表（关键文献）\n\n（以下为论文中直接引用且重要的参考文献，按出现顺序或类别列出。完整列表见论文原文。）\n\n1. Alexander Toshev and Christian Szegedy. 2014. DeepPose: Human pose estimation via deep neural networks. In CVPR.  [^233]\n2. Shih-En Wei, Varun Ramakrishna, Takeo Kanade, and Yaser Sheikh. 2016. Convolutional pose machines. In CVPR.  [^254]\n3. Alejandro Newell, Kaiyu Yang, and Jia Deng. 2016. Stacked hourglass networks for human pose estimation. In ECCV.  [^171]\n4. Ke Sun, Bin Xiao, Dong Liu, and Jingdong Wang. 2019. Deep high-resolution representation learning for human pose estimation. In CVPR.  [^221]\n5. Zhe Cao, Tomas Simon, Shih-En Wei, and Yaser Sheikh. 2017. Realtime multi-person 2D pose estimation using part affinity fields. In CVPR.  [^16]\n6. Hao-Shu Fang, Shuqin Xie, Yu-Wing Tai, and Cewu Lu. 2017. RMPE: Regional Multi-person Pose Estimation. In ICCV.  [^55]\n7. Yilun Chen, Zhicheng Wang, Yuxiang Peng, Zhiqiang Zhang, Gang Yu, and Jian Sun. 2018. Cascaded pyramid network for multi-person pose estimation. In CVPR.  [^29]\n8. Bin Xiao, Haiping Wu, and Yichen Wei. 2018. Simple baselines for human pose estimation and tracking. In ECCV.  [^259]\n9. Bowen Cheng, Bin Xiao, Jingdong Wang, Honghui Shi, Thomas S. Huang, and Lei Zhang. 2020. HigherHRNet: Scale-aware representation learning for bottom-up human pose estimation. In CVPR.  [^31]\n10. C. Ionescu, D. Papava, V. Olaru, and C. Sminchisescu. 2014. Human3.6M: Large scale datasets and predictive methods for 3D human sensing in natural environments. In IEEE TPAMI.  [^77]\n11. Dushyant Mehta, Oleksandr Sotnychenko, Franziska Mueller, Weipeng Xu, Srinath Sridhar, Gerard Pons-Moll, and Christian Theobalt. 2018. Single-shot multi-person 3D pose estimation from monocular RGB. In 3DV.  [^159]\n12. Julieta Martinez, Rayat Hossain, Javier Romero, and James J. Little. 2017. A simple yet effective baseline for 3D human pose estimation. In ICCV.  [^156]\n13. Dario Pavllo, Christoph Feichtenhofer, David Grangier, and Michael Auli. 2019. 3D human pose estimation in video with temporal convolutions and semi-supervised training. In CVPR.  [^187]\n14. Ce Zheng, Sijie Zhu, Matias Mendieta, Taojiannan Yang, Chen Chen, and Zhengming Ding. 2021. 3D human pose estimation with spatial and temporal transformers. In ICCV.  [^304]\n15. Matthew Loper, Naureen Mahmood, Javier Romero, Gerard Pons-Moll, and Michael J. Black. 2015. SMPL: A skinned multi-person linear model. In ACM TOG.  [^143]\n16. Georgios Pavlakos, Vasileios Choutas, Nima Ghorbani, Timo Bolkart, Ahmed A. A. Osman, Dimitrios Tzionas, and Michael J. Black. 2019. Expressive body capture: 3D hands, face, and body from a single image. In CVPR.  [^182]\n17. Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, and C. Lawrence Zitnick. 2014. Microsoft COCO: Common objects in context. In ECCV.  [^132]\n18. Mykhaylo Andriluka, Umar Iqbal, Eldar Insafutdinov, Leonid Pishchulin, Anton Milan, Juergen Gall, and Bernt Schiele. 2018. PoseTrack: A benchmark for human pose estimation and tracking. In CVPR.  [^1][^2]\n19. Naureen Mahmood, Nima Ghorbani, Nikolaus F. Troje, Gerard Pons-Moll, and Michael J. Black. 2019. AMASS: Archive of Motion capture As Surface Shapes. In ICCV.  [^152]\n20. Hanyue Tu, Chunyu Wang, and Wenjun Zeng. 2020. VoxelPose: Towards multi-camera 3D human pose estimation in wild environment. In ECCV.  [^235]\n\n\n\n## 模块 H：图表与表格抽取（索引/打分/深读） / Module H: Figure/Table Mining (index, scoring, top deep dive)\n\n## 模块H：图表提取\n\n### 1. 完整索引\n\n下表汇总了论文中的所有图表，包括类型、位置、支持的声明和重要性评分。\n\n| 编号 | 标题 | 类型 | 位置 | 支持的声明 | 评分 |\n|------|------|------|------|------------|------|\n| Fig.1 | Taxonomy of this survey | 图 | Section 1.2 | 展示2D/3D HPE的分类体系，支撑论文整体结构 | 高 |\n| Fig.2 | Single-person 2D HPE frameworks | 图 | Section 2.1 | 说明回归方法与热图方法的工作原理 | 高 |\n| Fig.3 | Illustration of the multi-person 2D HPE frameworks | 图 | Section 2.2 | 对比自顶向下与自底向上方法的流程 | 高 |\n| Fig.4 | Single-person 3D HPE frameworks | 图 | Section 3.1.1 | 展示直接估计、2D-to-3D提升和人体网格恢复三种框架 | 高 |\n| Fig.5 | Illustration of the multi-person 3D HPE frameworks | 图 | Section 3.1.2 | 展示3D多人的自顶向下与自底向上方法 | 高 |\n| Table 1 | Datasets for 2D HPE | 表 | Section 4.1 | 列出2D HPE常用数据集及属性，支撑数据集选择 | 中 |\n| Table 2 | Comparison of Different Methods on the MPII Dataset for 2D Single-person HPE | 表 | Section 4.3 | 比较2D单人的热图与回归方法性能，验证热图方法优势 | 高 |\n| Table 3 | Comparison of Different 2D Multi-person HPE Methods on the COCO Dataset | 表 | Section 4.3 | 比较自顶向下与自底向上方法性能，显示自顶向下精度更高 | 高 |\n| Table 4 | Comparison of Different 2D Video-based HPE Methods on PoseTrack2017 and PoseTrack2018 | 表 | Section 4.3 | 评估视频2D HPE方法的时序性能 | 中 |\n| Table 5 | Datasets for 3D HPE | 表 | Section 4.4 | 列出3D HPE数据集及采集方式，说明数据获取难度 | 中 |\n| Table 6 | Comparison of Different 3D Single-view Single-person HPE Approaches on Human3.6M | 表 | Section 4.6 | 系统比较直接估计、2D-to-3D提升和人体网格恢复方法，展示性能差异 | 高 |\n| Table 7 | Comparison of Different 3D Single-view Multi-person HPE Approaches on MuPoTS-3D | 表 | Section 4.6 | 比较自顶向下与自底向上3D多人方法，突显自顶向下精度优势 | 高 |\n| Table 8 | Comparison of Different 3D Multi-view HPE Approaches on Human3.6M | 表 | Section 4.6 | 展示多视图方法相比单视图的精度提升，支撑多视图优势结论 | 高 |\n\n评分说明：高（对核心结论有直接支撑），中（提供背景或辅助信息）。\n\n### 2. 优先深入阅读项（3-5项）\n\n基于对论文论证和关键结论的支撑作用，推荐以下5项进行深度阅读：\n\n1. **Fig.1（分类图）**：作为综述的整体框架，明确了2D/3D、单/多人、自顶向下/自底向上等分类维度，是理解全文结构的核心。\n2. **Table 2（MPII单人对比）**：直接对比热图与回归方法，支持“热图方法更优”的结论，并附有参数和FLOPs信息，可用于效率分析。\n3. **Table 3（COCO多人对比）**：对比自顶向下与自底向上的AP、AP75等指标，凸显自顶向下在精度上的优势，同时反映速度权衡。\n4. **Table 6（Human3.6M单人3D对比）**：分类比较直接估计、2D-to-3D提升和网格恢复方法，展示各类方法的MPJPE差异，揭示2D-to-3D提升的流行原因。\n5. **Table 8（Human3.6M多视图对比）**：比较多视图方法的MPJPE，与Table 6的单视图结果对比，支持“多视图缓解遮挡和深度模糊”的结论，并包含额外数据和FLOPs信息。\n\n### 3. 分类图、比较表或基准总结表\n\n- **分类图**：Fig.1是论文的分类树，从2D和3D两大分支展开，2D又分为单人和多人，单人下又分回归和热图，多人下分自顶向下和自底向上；3D按输入源分为单目RGB和其他传感器，单目下再分单视图/多视图等。该图支撑了综述的“系统分类”贡献，使读者快速定位方法归属。\n- **比较表**：Table 2、Table 3、Table 6、Table 7、Table 8均为性能比较表。它们不仅列出数值，还标出最佳/次佳（红/蓝），并附有参数、FLOPs等信息，用于公平评估。例如Table 6中，2D-to-3D提升方法平均误差低于直接估计，而表格注释指出Params/FLOPs未包含外部检测器，提示读者考虑整体成本。这些表格直接支撑了文中关于“热图方法优于回归”“自顶向下优于自底向上”“多视图优于单视图”等关键论断。\n- **基准总结表**：Table 1和Table 5分别汇总2D和3D数据集，包括年份、规模、单人/多人、标注等，为读者选择数据集提供了基准信息。Table 1区分图像和视频，Table 5列出采集系统和环境，尤其显示3D数据集大多为室内采集，支撑了“现有3D数据缺乏野外场景”“模型泛化受限”的论点。\n\n### 4. 时间线/分组可视化和映射\n\n- **时间线/分组**：论文虽未绘制明确的时间线图，但各比较表中的“Year”列隐含方法发展脉络。例如Table 2中2017-2022年的方法依次排列，展示了从CNN到Transformer的演进；Table 6中同类方法按年份递增，表明性能提升。分组主要通过方法类型（如H/R、T/B、Direct/Lifting/Mesh）实现，Fig.1和Fig.2-5在视觉上完成了分组。\n- **图表到结论的映射**：\n  - Fig.1 → 支撑“系统分类”贡献，建立方法体系。\n  - Fig.2 → 说明2D单人方法的两类范式，支撑“热图方法更常用”的结论（结合Table 2的性能）。\n  - Fig.3 → 解释自顶向下与自底向上的差异，配合Table 3的精度与速度权衡。\n  - Fig.4和Fig.5 → 展示3D方法框架，配合Table 6和Table 7解释不同类型方法的性能。\n  - Table 2 → 支撑“热图方法优于回归”，并指出回归的非线性难题。\n  - Table 3 → 支撑“自顶向下精度更高，自底向上更快”的trade-off。\n  - Table 6 → 支撑“2D-to-3D提升因受益于优秀2D检测器而更优”以及“网格恢复方法MPJPE偏高但可提供形状”的说明。\n  - Table 8 → 对比单视图Table 6，支撑“多视图缓解遮挡和深度模糊，精度显著提升”的结论。\n  - Table 1和Table 5 → 支撑数据集选择依据及“3D标注难、多数为室内”的挑战分析。\n\n上述索引和解读帮助读者快速定位关键图表，并理解它们如何支撑综述的核心论断。"
}