
# 人体姿态估计与基于骨架的动作识别：2D/3D深度学习方法系统综述

库德拉特琼·佐希罗夫 $^{*}$

软件与

计算机硬件支持

系统

卡尔希国立技术

大学

乌兹别克斯坦 卡尔希

<mailto:qzohirov@kstu.uz>

 $^{*}$通讯作者

费鲁兹·鲁济博耶夫 $^{*}$

融合系

数字技术

塔什干

信息技术大学

乌兹别克斯坦 塔什干

<mailto:f.roziboyev@tuit.uz>,

 $^{*}$通讯作者

萨尔多尔·博伊科比洛夫

软件与

计算机硬件支持

系统

卡尔希国立技术

大学

乌兹别克斯坦 卡尔希

<mailto:sboyqobilov@kstu.uz>

米尔贾洪·特米罗夫

融合系

数字技术

塔什干

信息技术

乌兹别克斯坦 塔什干

m <mailto:temirov@tuit.uz>

卡莫利丁·阿卜杜拉库洛夫

软件与

计算机硬件支持

系统

卡尔希国立技术

大学

乌兹别克斯坦 卡尔希

<mailto:k.ablaqulov@kstu.uz>

埃勒贝克·贾博罗夫

信息

系统与技术，

卡尔希国立技术

大学

乌兹别克斯坦 卡尔希

<mailto:e.jabborov@kstu.uz>

## 摘要

 – 本文对应用于人体姿态估计（Human Pose Estimation, HPE）和基于骨架的动作识别（Skeleton-Based Action Recognition, SBAR）领域的现代2D和3D深度学习方法进行了系统综述。本研究基于SALSA方法开展，分析了主流科学数据库中的已发表成果。本综述对从图像和视频序列中检测人体关节点、重建骨骼结构，以及在空间和时空（ST）域对动作建模的各类方法进行了对比。本文综述了2D和3D HPE模型的架构、多人场景中的关节遮挡问题、实时性要求，以及在嵌入式设备中的应用可能性。本文还分析了SBAR系统中使用的空间、时空和图特征，及其对计算复杂度和能效的影响。基于MPJPE（平均关节位置误差，Mean Per Joint Position Error）、AP（平均精度，Average Precision）、RMSE（均方根误差，Root Mean Square Error）和皮尔逊相关系数等评价指标对模型性能进行了比较。结果表明，基于骨架的方法是实时和资源受限系统的有效解决方案。然而，选择最优模型和特征需要在准确率、计算复杂度和能效之间进行权衡。本文针对HPE和SBAR系统在真实环境中的实际应用，梳理了具有应用前景的架构、特征和硬件适配策略。

关键词 – 人体姿态估计；二维姿态估计；三维姿态估计；基于骨架的动作识别；深度学习；多人场景；实时系统；计算机视觉；生物力学；人机接口。

### 一、引言

人体运动分析在生物力学、运动医学、临床康复、机器人学和人机接口等诸多领域都具备重要的科学价值和实际意义 [^1]。人体运动是肌肉、关节和骨骼系统协同活动产生的复杂ST生物力学过程，对其进行精准数值建模是现代研究的重要任务之一 [^2]。因此，市场对能够在日常活动、体育训练、康复治疗和安全监测等真实场景下分析人体姿态和动作的系统需求正不断增长。近年来，计算机视觉和深度学习技术的发展将人体运动分析领域推向了新的高度。高分辨率成像设备和深度神经网络推动了HPE和SBAR技术的发展 [^3]。这些方法可以从图像或视频序列中识别人体关节点、重建骨骼结构，并分析运动动态特征。

HPE是人体运动分析系统的核心组件，目标是从图像或视频序列中确定关节点的位置。在实际应用中，HPE方法分为2D和3D两类：2D HPE通过$(x, y)$坐标在图像平面中确定姿态，具备实时性好的特点；3D HPE则具备较高的

---

精度，可通过$(x, y, z)$坐标重建骨骼的空间结构，适用于生物力学分析 [^4]。

SBAR方法基于关节点的时间变化分析人体运动，是人类活动识别（Human Activity Recognition, HAR）领域的重要研究方向之一。这类方法对背景噪声和外观变化具备鲁棒性，能够以ST图的形式对运动进行建模 [^5]。

因此，本文系统分析了面向HPE和SBAR的现代2D与3D深度学习方法。本研究考察了姿态识别模型的架构、骨骼拓扑结构、可提取特征，以及它们在实时和嵌入式应用中的应用潜力。

### 二、研究方法

本节描述了与HPE和SBAR方法相关的科学文献筛选与分析方法。本研究基于SALSA（Search, Appraisal, Synthesis and Analysis）方法论开展[^7]。为筛选科学文献来源，我们在Scopus、IEEE Xplore、MDPI、PubMed和ProQuest等主流科学数据库中对收录的文章进行了系统性检索。

文献筛选过程主要考虑2010年至2026年间发表的研究。同时，对于部分在HPE和深度学习模型发展中具有重要意义的基础性工作，我们不受发表年份限制，予以破例纳入。检索过程使用了「人体姿态估计」「2D姿态估计」「3D姿态估计」「基于骨架的方法」「深度学习」「图神经网络」「Transformer」「计算机视觉」「人体运动分析」等关键词及其组合。初步阶段，我们基于标题和摘要审核文章，剔除重复发表的文献。

下一步，我们对初选文献的全文进行分析，评估其与HPE和SBAR研究主题的相关性，最终按照以下标准完成筛选：

- 旨在从静态图像或视频序列中识别关节点的研究；

- 基于2D和3D深度学习模型的HPE方法；

以下类型的文献被排除出本次分析：

- 基于骨架的ST建模方法。

- 未充分描述架构或评估方法的研究；

仅关注数据采集但未提出模型或开展分析的论文。

![Image](images/0a857785dfbd19df57abd30d73ec7e98db92e562856142322d0a45b6eecb4bc2.jpg)

我们对入选研究的主要特征进行了总结，包括HPE类型、使用的架构、节点数量、数据集和评估标准等。本综述共分析了44篇科学文献。文献筛选过程的整体流程如图1所示。我们根据方法严谨性、是否具备实验评估以及结果可复现性这几项标准对入选工作进行了评估。

<div style="text-align: center;">Fig. 1. Overall methodology for article selection.</div>

### 三、数据准备与采集

数据采集阶段是基于计算机视觉和机器学习方法的HPE系统最重要的阶段之一[^3]。该过程中做出的决策和选择的技术方案，直接影响研究的准确率、可靠性和实际效用。尤其是相机设置、数据集的质量与多样性，以及归一化、降噪和预处理流程，对于有效提取人体姿态特征、训练深度学习模型都至关重要。

此外，真实环境中存在的光照条件变化、身体部位遮挡、背景复杂度以及受试者之间的形态差异，都会显著影响HPE模型的泛化能力。图2展示了HPE系统中数据采集过程的主要阶段。

![Image](images/45f9f8382dd0164a1258124996f2903ef70b99f892dac5426bfcf4ab6b5e7c33.jpg)

<div style="text-align: center;">Fig. 2. Data collection stages for HPE.</div>

HPE系统的精度和效率直接取决于数据采集过程中所采用的技术。实际应用中使用最广泛的方法之一是RGB相机，它可提供高分辨率彩色图像，成本相对较低，且易于集成到各类系统中。

而深度相机可提供额外的空间信息，从而实现对人体更精准的分析。但它成本较高，且对光照条件敏感，这可能限制其在部分实际场景中的应用 [^8].

---

<div style="text-align: center;">TABLE I. DATA ACQUISITION METHODS USED FOR HPE.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Data acquisition</td><td style='text-align: center; word-wrap: break-word;'>Data acquisition source and description</td><td style='text-align: center; word-wrap: break-word;'>Ref.</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>RGB cameras</td><td style='text-align: center; word-wrap: break-word;'>IP cameras used for acquiring 2D images for CV – based pose estimation</td><td style='text-align: center; word-wrap: break-word;'>[^9] [^10] [^11] [^12] [^13]</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Depth cameras</td><td style='text-align: center; word-wrap: break-word;'>Microsoft Kinect and Intel RealSense depth cameras for collecting 3D depth maps and performing pose estimation</td><td style='text-align: center; word-wrap: break-word;'>[^14] [^15]</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Infrared cameras</td><td style='text-align: center; word-wrap: break-word;'>FLIR infrared cameras for motion detection and tracking</td><td style='text-align: center; word-wrap: break-word;'>[^16] [^17]</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Marker-based and markerless motion capture systems</td><td style='text-align: center; word-wrap: break-word;'>Vicon, OptiTrack, and Qualisys systems, which use infrared cameras and reflective markers for precise motion capture</td><td style='text-align: center; word-wrap: break-word;'>[^18]</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Motion capture (MoCap)</td><td style='text-align: center; word-wrap: break-word;'>OpenPose, MediaPipe, and Detectron-AI-based, markerless pose estimation systems</td><td style='text-align: center; word-wrap: break-word;'>[^9], [^19] [^20] [^21] [^22]</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>IMU sensors</td><td style='text-align: center; word-wrap: break-word;'>Camera fusion, multi-IMU, IoT, and ML technologies</td><td style='text-align: center; word-wrap: break-word;'>[^12], [^23] [^24]</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Mobile device-based pose estimation systems</td><td style='text-align: center; word-wrap: break-word;'>Smartphone cameras integrated with OpenPose, edge computing, DL, artificial intelligence (AI), and 2D/3D pose estimation models</td><td style='text-align: center; word-wrap: break-word;'>[^18], [^25]</td></tr></table>

表I列出了HPE研究中使用的主要数据采集技术以及对应的数据源。

### A. HPE基础与基于关节关键点的运动分析

人体运动是肌肉、关节和骨骼系统协同活动产生的复杂生物力学过程，该过程与人类日常活动、运动训练、康复及其他生理功能密切相关[^26]。人体运动数字分析是计算机视觉和生物力学领域的重要研究方向之一。

基于计算机视觉的人体运动分析通常包含三个主要步骤：从图像中提取特征、在连续帧中匹配这些特征，以及进行高层分析。该过程的目标是确定人体姿态、关节之间的运动学关系以及运动动力学特性[^2].

HPE过程的核心要素是关节点。关节点是表示人体重要解剖位置的坐标，是构建骨骼模型、数字化表示运动的基础[^29]。这些点通常对应头部、颈部、肩部、肘部、腕部、髋部、膝部和踝部等关节中心。在2D HPE系统中，关节点由图像平面内的 $(x, y)$ 坐标定义，而在3D HPE方法中，这些点通过空间 $(x, y, z)$ 坐标计算得到。最终，人体的运动状态以骨骼的形式重建出来。关节点的精度是决定HPE系统整体性能的主要因素之一。尤其是在多人场景中，关节相互遮挡、空间分辨率低、光照条件变化以及复杂背景的存在都会增加姿态检测过程的难度[^30].

现代基于深度学习的HPE模型主要采用热图法或回归法检测关节点。在基于热图的方法中，会为每个关节生成一张概率图，而回归模型则直接预测关节坐标。方法的选择取决于计算资源、精度要求和实时性需求。

基于关节点构建的骨骼数据为ST分析提供了便捷的结构。在该框架中，关节被表示为图节点，解剖学连接被表示为边。近年来，2D HPE方法已在实时系统中得到广泛应用。这类模型计算量轻量，OpenPose、MediaPipe Pose、MoveNet和HRNet等算法可借助普通RGB相机实现快速姿态检测[^3]. 因此，它们被有效地应用于移动设备和嵌入式系统中。

另一方面，3D HPE方法能够重建人体骨骼的完整空间结构，为生物力学分析提供高精度结果[^5]。但这类模型计算复杂度高，对硬件资源要求也更高。因此，尽管2D HPE更常用于实时和资源受限的系统，3D HPE更受精度要求高的应用场景青睐。本次调研研究中使用的主流骨骼模型的关节数量和对应任务已列于表II。

<div style="text-align: center;">TABLE II. NUMBER OF JOINT KEYPOINTS USED IN HUMAN POSE AND MOTION ANALYSIS.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Model</td><td style='text-align: center; word-wrap: break-word;'>Number of joints</td><td style='text-align: center; word-wrap: break-word;'>Task type</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>OpenPose (COCO-18)</td><td style='text-align: center; word-wrap: break-word;'>18</td><td style='text-align: center; word-wrap: break-word;'>2D Pose Estimation</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>OpenPose (BODY-25)</td><td style='text-align: center; word-wrap: break-word;'>25</td><td style='text-align: center; word-wrap: break-word;'>Pose Estimation + HAR</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>BlazePose (MediaPipe)</td><td style='text-align: center; word-wrap: break-word;'>33</td><td style='text-align: center; word-wrap: break-word;'>Pose Estimation + HAR</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>MediaPipe Pose</td><td style='text-align: center; word-wrap: break-word;'>33</td><td style='text-align: center; word-wrap: break-word;'>2D/3D-lite Pose Estimation</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>VideoPose3D</td><td style='text-align: center; word-wrap: break-word;'>17</td><td style='text-align: center; word-wrap: break-word;'>3D Pose Estimation</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>GAST-Net</td><td style='text-align: center; word-wrap: break-word;'>17</td><td style='text-align: center; word-wrap: break-word;'>3D Pose Estimation</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Root-GAST-Net</td><td style='text-align: center; word-wrap: break-word;'>17</td><td style='text-align: center; word-wrap: break-word;'>3D Pose Estimation</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>ST-GCN</td><td style='text-align: center; word-wrap: break-word;'>25</td><td style='text-align: center; word-wrap: break-word;'>SBAR</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>TSHDC</td><td style='text-align: center; word-wrap: break-word;'>17</td><td style='text-align: center; word-wrap: break-word;'>3D Pose Estimation</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>SimpleNet</td><td style='text-align: center; word-wrap: break-word;'>17</td><td style='text-align: center; word-wrap: break-word;'>2D $\rightarrow$ 3D Pose Estimation</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>SMPL</td><td style='text-align: center; word-wrap: break-word;'>24</td><td style='text-align: center; word-wrap: break-word;'>Parametric Body Model</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>SMPL-X</td><td style='text-align: center; word-wrap: break-word;'>55</td><td style='text-align: center; word-wrap: break-word;'>Full-body Pose Modeling</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Azure Kinect Body Tracking</td><td style='text-align: center; word-wrap: break-word;'>32</td><td style='text-align: center; word-wrap: break-word;'>RGB-D Motion Capture</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Multi-Sensor Fusion</td><td style='text-align: center; word-wrap: break-word;'>17-25</td><td style='text-align: center; word-wrap: break-word;'>Multi-sensor 3D Pose Estimation</td></tr></table>

### B. 嵌入式设备上的特征提取

在HPE流程中，从图像或视频序列中提取的骨骼数据能够提供有关人体姿态、关节空间位置以及运动动力学的重要信息，是自动人体运动分析系统的核心输入数据。姿态检测流程通常包括初始图像处理阶段，以及后续的运动分析或分类阶段。

该流程中的一个重要步骤是检测关节点并计算其空间坐标。从每一帧中提取代表人体骨骼的关键点，再基于这些关键点构建出各种描述运动的几何和运动学指标。在实际研究中，这些特征主要基于空间坐标及其随时间的变化得到，部分方法会结合使用ST特征。

---

骨骼特征的选择会直接影响系统的整体精度。已有大量研究在基于骨骼的运动识别系统中取得了很高的准确率，证实了该方法的实际有效性[^31]。但系统效率会因所用HPE模型、所选关节数量和运动复杂度的不同而存在差异。对于运行在嵌入式设备上的系统，另一个重要考量因素是计算效率。特征提取过程必须满足实时性要求，不能产生过大计算负担，并且要能适配不同硬件平台。

表III将基于骨骼的HPE和SBAR系统中使用的主流特征分为空间域、时间域和图域三类。

<div style="text-align: center;">TABLE III. FEATURES EMPLOYED IN THE REVIEWED STUDIES.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Feature</td><td style='text-align: center; word-wrap: break-word;'>Abb.</td><td style='text-align: center; word-wrap: break-word;'>Domain</td><td style='text-align: center; word-wrap: break-word;'>Use in models</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Joint coordinates</td><td style='text-align: center; word-wrap: break-word;'>JC</td><td style='text-align: center; word-wrap: break-word;'>Spatial</td><td style='text-align: center; word-wrap: break-word;'>OpenPose, HRNet, AlphaPose</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>2D pose coordinates</td><td style='text-align: center; word-wrap: break-word;'>(x,y)</td><td style='text-align: center; word-wrap: break-word;'>Spatial</td><td style='text-align: center; word-wrap: break-word;'>COCO, MPII</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>3D pose coordinates</td><td style='text-align: center; word-wrap: break-word;'>(x,y,z)</td><td style='text-align: center; word-wrap: break-word;'>Spatial</td><td style='text-align: center; word-wrap: break-word;'>Human3.6M, VideoPose3D</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Joint distance</td><td style='text-align: center; word-wrap: break-word;'>JD</td><td style='text-align: center; word-wrap: break-word;'>Spatial</td><td style='text-align: center; word-wrap: break-word;'>Pose analysis</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Bone vector</td><td style='text-align: center; word-wrap: break-word;'>BV</td><td style='text-align: center; word-wrap: break-word;'>Spatial</td><td style='text-align: center; word-wrap: break-word;'>Kinematic modeling</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Joint angle</td><td style='text-align: center; word-wrap: break-word;'>JA $\theta$</td><td style='text-align: center; word-wrap: break-word;'>Spatial</td><td style='text-align: center; word-wrap: break-word;'>Biomechanics, HAR</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Joint velocity</td><td style='text-align: center; word-wrap: break-word;'>JV</td><td style='text-align: center; word-wrap: break-word;'>ST</td><td style='text-align: center; word-wrap: break-word;'>Motion analysis</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Joint acceleration</td><td style='text-align: center; word-wrap: break-word;'>JA</td><td style='text-align: center; word-wrap: break-word;'>ST</td><td style='text-align: center; word-wrap: break-word;'>HAR</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Temporal difference</td><td style='text-align: center; word-wrap: break-word;'>$\Delta J$</td><td style='text-align: center; word-wrap: break-word;'>Temporal</td><td style='text-align: center; word-wrap: break-word;'>Frame motion</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Trajectory displacement</td><td style='text-align: center; word-wrap: break-word;'>TD</td><td style='text-align: center; word-wrap: break-word;'>Temporal</td><td style='text-align: center; word-wrap: break-word;'>Motion trajectory</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Skeleton embedding</td><td style='text-align: center; word-wrap: break-word;'>SE</td><td style='text-align: center; word-wrap: break-word;'>Graph</td><td style='text-align: center; word-wrap: break-word;'>PoseFormer</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Attention weights</td><td style='text-align: center; word-wrap: break-word;'>AW</td><td style='text-align: center; word-wrap: break-word;'>Graph</td><td style='text-align: center; word-wrap: break-word;'>Transformer</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Skeleton graph node feature</td><td style='text-align: center; word-wrap: break-word;'>GN</td><td style='text-align: center; word-wrap: break-word;'>Graph</td><td style='text-align: center; word-wrap: break-word;'>ST-GCN</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Graph adjacency matrix</td><td style='text-align: center; word-wrap: break-word;'>AM</td><td style='text-align: center; word-wrap: break-word;'>Graph</td><td style='text-align: center; word-wrap: break-word;'>GCN</td></tr></table>

根据分析结果，最常用的特征属于空间域和ST域，这两类特征能够有效表征人体姿态和运动动力学。尽管基于图结构的特征对复杂运动建模有很强的表达能力，但其计算复杂度也较高。

<div style="text-align: center;">TABLE IV. FEATURE EXTRACTION ON EMBEDDED DEVICES.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Ref</td><td style='text-align: center; word-wrap: break-word;'>Main features</td><td style='text-align: center; word-wrap: break-word;'>Device / Platform</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>[^19], [^23]</td><td style='text-align: center; word-wrap: break-word;'>JC, JV, $\Delta J$, TCF, PSE, $(x,y)$, $(x,y,z)$</td><td style='text-align: center; word-wrap: break-word;'>Embedded platform (Jetson TX2, IMU sensors)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>[^9], [^10], [^13], [^15]</td><td style='text-align: center; word-wrap: break-word;'>JC, HR, KCS, JD, JA $\theta$, $(x,y)$</td><td style='text-align: center; word-wrap: break-word;'>RGB / depth camera systems</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>[^32], [^11], [^20], [^21]</td><td style='text-align: center; word-wrap: break-word;'>JC, HR, KCS, PN, JN, BV, BO, BL</td><td style='text-align: center; word-wrap: break-word;'>GPU platforms (V100, RTX series)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>[^33], [^36], [^37]</td><td style='text-align: center; word-wrap: break-word;'>JC, HR, AW, $(x,y)$</td><td style='text-align: center; word-wrap: break-word;'>High-performance GPU (RTX 3090-4090, A100)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>[^14], [^35]</td><td style='text-align: center; word-wrap: break-word;'>JC, JD, $(x,y)$, $(x,y,z)$</td><td style='text-align: center; word-wrap: break-word;'>RGB-D / LiDAR sensors</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>[^17]</td><td style='text-align: center; word-wrap: break-word;'>JC, HR, AW, PSE</td><td style='text-align: center; word-wrap: break-word;'>Event camera systems</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>[^24], [^12]</td><td style='text-align: center; word-wrap: break-word;'>JC, JA $\theta$, JV, JO, LD, $(x,y,z)$</td><td style='text-align: center; word-wrap: break-word;'>Multi-sensor systems (IMU + camera)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>[^25], [^18]</td><td style='text-align: center; word-wrap: break-word;'>JC, KCS, JA $\theta$, BAC</td><td style='text-align: center; word-wrap: break-word;'>Smartphone-based systems</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>[^34]</td><td style='text-align: center; word-wrap: break-word;'>JA $\theta$, JD, AW, PSE</td><td style='text-align: center; word-wrap: break-word;'>Hybrid sensing (GPU + EMG sensors)</td></tr></table>

表IV对在嵌入式和受限计算设备上开展的HPE与SBAR研究中所用的特征和硬件平台进行了对比分析。分析结果显示，最常用的特征为JC、(x, y)、(x, y, z)、HR、KCS、JA $\theta$、JD、AW和PSE。图3展示了本次综述研究中最常用的特征。

![Image](images/3a37a2bca0b3f18cc1625faeaaaaf29e26c01f09e0d0c58d3089417c0f0b1369.jpg)

<div style="text-align: center;">Fig. 3. The ten most frequently used features in the reviewed studies.</div>

分析结果表明，计算复杂度和实时性要求是运行在嵌入式设备上的HPE和SBAR系统选择特征的决定性因素。尽管图域特征精度更高，但其计算复杂度也更高，需要性能强劲的GPU或专用硬件平台才能有效运行。因此，嵌入式系统中的特征选择是基于精度和计算效率之间的平衡做出的。

### IV. 嵌入式系统上的HPE

HPE是计算机视觉和生物医学工程领域的重要任务之一。基于人工智能的算法被广泛用于执行该任务，因为这类算法能够检测图像和视频数据中复杂的空间与ST运动模式 [^44]。

然而，这类算法的实现通常需要较高的计算能力。因此，许多研究采用了服务器或高性能工作站这类资源密集型计算平台。但这种情况限制了HPE方案在日常生活中的应用可能性。

---

这一问题对于实时应用而言尤为突出，这类应用包括智能康复系统、运动分析、人机交互和监控系统。因此近年来，研究方向转向了节能紧凑型硬件平台，尤其是嵌入式设备。

嵌入式系统中广泛采用的一种有效方案是在设备本身上执行模型推理。该方法可实现实时运行，而模型训练过程通常在高性能计算系统上完成。

<div style="text-align: center;">TABLE V. ARCHITECTURES EMPLOYED FOR HPE.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Model</td><td style='text-align: center; word-wrap: break-word;'>Complete Model Description</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>OpenPose</td><td style='text-align: center; word-wrap: break-word;'>Multi-person 2D human pose estimation framework</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>BlazePose</td><td style='text-align: center; word-wrap: break-word;'>Lightweight real-time pose estimation model</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>MediaPipe Pose</td><td style='text-align: center; word-wrap: break-word;'>Real-time pose tracking framework by Google</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HRNet</td><td style='text-align: center; word-wrap: break-word;'>High-Resolution Network for accurate pose estimation</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>AlphaPose</td><td style='text-align: center; word-wrap: break-word;'>Top-down multi-person pose estimation framework</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>MoveNet</td><td style='text-align: center; word-wrap: break-word;'>Fast and efficient PE model for edge devices</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>VideoPose3D</td><td style='text-align: center; word-wrap: break-word;'>Temporal convolutional network for 3D pose estimation</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>GAST-Net</td><td style='text-align: center; word-wrap: break-word;'>Graph Attention ST Network for pose estimation</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>ST-GCN</td><td style='text-align: center; word-wrap: break-word;'>ST Graph Convolutional Network for action recognition</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>SMPL</td><td style='text-align: center; word-wrap: break-word;'>Parametric human body modeling framework</td></tr></table>

表V列出了HPE系统中使用的主要模型架构。表中显示，近年来除卷积神经网络外，时间模型和基于图的模型也得到了积极开发。尽管这些模型精度很高，但它们的计算复杂度较高，要在嵌入式系统中使用还需要额外优化。

<div style="text-align: center;">TABLE VI. PERFORMANCE METRICS OF EMBEDDED AND SENSOR-BASED HPE SYSTEMS.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Ref.</td><td style='text-align: center; word-wrap: break-word;'>Device</td><td style='text-align: center; word-wrap: break-word;'>Joint Keypoints</td><td style='text-align: center; word-wrap: break-word;'>Performance (mm)</td><td style='text-align: center; word-wrap: break-word;'>Model</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>[^26]</td><td style='text-align: center; word-wrap: break-word;'>RGB camera</td><td style='text-align: center; word-wrap: break-word;'>17</td><td style='text-align: center; word-wrap: break-word;'>MPJPE = 44.9</td><td style='text-align: center; word-wrap: break-word;'>GAST-Net</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>[^27]</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>17</td><td style='text-align: center; word-wrap: break-word;'>MPJPE = 34.5</td><td style='text-align: center; word-wrap: break-word;'>VideoPose3D</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>[^27]</td><td style='text-align: center; word-wrap: break-word;'>Smartphone</td><td style='text-align: center; word-wrap: break-word;'>17</td><td style='text-align: center; word-wrap: break-word;'>RMSE = $46.8 \pm 58.2$</td><td style='text-align: center; word-wrap: break-word;'>BlazePose, OpenPose</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>[^38]</td><td style='text-align: center; word-wrap: break-word;'>RGB camera</td><td style='text-align: center; word-wrap: break-word;'>17</td><td style='text-align: center; word-wrap: break-word;'>MPJPE = 97</td><td style='text-align: center; word-wrap: break-word;'>MediaPipe Pose</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>[^39]</td><td style='text-align: center; word-wrap: break-word;'>RGB camera</td><td style='text-align: center; word-wrap: break-word;'>17</td><td style='text-align: center; word-wrap: break-word;'>MPJPE = 44.9</td><td style='text-align: center; word-wrap: break-word;'>Root-GAST-Net</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>[^40]</td><td style='text-align: center; word-wrap: break-word;'>RGB camera</td><td style='text-align: center; word-wrap: break-word;'>18</td><td style='text-align: center; word-wrap: break-word;'>MPJPE = 100</td><td style='text-align: center; word-wrap: break-word;'>OpenPose</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>[^24]</td><td style='text-align: center; word-wrap: break-word;'>Totalcapture, IMU</td><td style='text-align: center; word-wrap: break-word;'>17</td><td style='text-align: center; word-wrap: break-word;'>MPJPE = 20.7</td><td style='text-align: center; word-wrap: break-word;'>SimpleNet</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>[^35]</td><td style='text-align: center; word-wrap: break-word;'>Lidar sensor</td><td style='text-align: center; word-wrap: break-word;'>17</td><td style='text-align: center; word-wrap: break-word;'>MPJPE = 82</td><td style='text-align: center; word-wrap: break-word;'>OpenPose</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>[^16]</td><td style='text-align: center; word-wrap: break-word;'>Jetson TX2</td><td style='text-align: center; word-wrap: break-word;'>17</td><td style='text-align: center; word-wrap: break-word;'>MPJPE = 48.4</td><td style='text-align: center; word-wrap: break-word;'>TSHDC (MSA + THDC)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>[^9]</td><td style='text-align: center; word-wrap: break-word;'>RGB camera</td><td style='text-align: center; word-wrap: break-word;'>17</td><td style='text-align: center; word-wrap: break-word;'>MPJPE = 52.6</td><td style='text-align: center; word-wrap: break-word;'>ST-GCN</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>[^41]</td><td style='text-align: center; word-wrap: break-word;'>RGB camera</td><td style='text-align: center; word-wrap: break-word;'>18</td><td style='text-align: center; word-wrap: break-word;'>MPJPE = 100</td><td style='text-align: center; word-wrap: break-word;'>OpenPose Heterogeneous</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>[^42]</td><td style='text-align: center; word-wrap: break-word;'>LiDAR, IMU</td><td style='text-align: center; word-wrap: break-word;'>16</td><td style='text-align: center; word-wrap: break-word;'>RMSE = 107.5</td><td style='text-align: center; word-wrap: break-word;'>Multi-Sensor Fusion</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>[^43]</td><td style='text-align: center; word-wrap: break-word;'>Azure Kinect RGB-D</td><td style='text-align: center; word-wrap: break-word;'>32</td><td style='text-align: center; word-wrap: break-word;'>RMSE = 28.4</td><td style='text-align: center; word-wrap: break-word;'>Azure Kinect</td></tr></table>

表VI给出了基于嵌入式和传感器的HPE系统的性能指标。结果表明，系统精度极大依赖于所用设备类型和传感器配置。尽管基于RGB相机的方法在实际中得到广泛应用，但结合了IMU、LiDAR和RGB-D传感器的多模态系统通过更低的MPJPE或RMSE值实现了更高的精度。总体而言，要在嵌入式系统中有效实现HPE算法，需要在精度、计算复杂度和能效之间取得平衡。尽管现代深度学习模型精度很高，但若要将其应用于实时场景和资源受限设备，仍需要进行模型简化和适配硬件的优化方法。

### 五、结论

本系统综述分析了用于HPE和SBAR领域的最新2D和3D深度学习方法。结果表明，HPE和SBAR系统的性能直接取决于数据采集方法、骨骼拓扑结构以及空间和ST特征的选择。2D HPE模型计算简单，是实时运行和应用于资源受限嵌入式设备的便捷方案，而3D HPE虽然能在生物力学和临床分析中实现高精度，但需要大量计算资源。基于图的方法可以有效对复杂运动模式建模，但其计算复杂度限制了它们在嵌入式系统中的应用，而多模态方法在提升精度的同时也增加了系统复杂度。总体而言，在嵌入式系统中实现HPE和SBAR方案时，平衡精度、计算复杂度和能效十分重要，未来研究应聚焦于简化模型架构、减少冗余参数、量化，以及探索硬件层面的优化技术。本综述为在实时场景和实际环境中有效实现HPE和SBAR系统指明了有前景的科学与工程方向。

## 参考文献

[^1]: Alderink, G.; Öunpuu, S. Biomechanics of Human Motion and Its Clinical Applications: Instrumented Gait Analysis. Bioengineering 2025, 12, 1076. <https://doi.org/10.3390/bioengineering12101076>

[^2]: He, C.; Fu, H.; Ma, C.Z.-H. Biomechanics and Motion Analysis: From Human Performance to Clinical Practice. Bioengineering 2025, 12, 1114. <https://doi.org/10.3390/bioengineering12101114>

[^3]: Samkari, E.; Arif, M.; Alghamdi, M.; Al Ghamdi, M.A. Human Pose Estimation Using Deep Learning: A Systematic Literature Review. Mach. Learn. Knowl. Extr. 2023, 5, 1612-1659. <https://doi.org/10.3390/make5040081>

[^4]: Sun, R.; Lin, Z.; Leng, S.; Wang, A.; Zhao, L. An In-Depth Analysis of 2D and 3D Pose Estimation Techniques in Deep Learning: Methodologies and Advances. Electronics 2025, 14, 1307. <https://doi.org/10.3390/electronics14071307>

[^5]: Nguyen, H.-C.; Nguyen, T.-H.; Scherer, R.; Le, V.-H. Deep Learning for Human Activity Recognition on 3D Human Skeleton: Survey and Comparative Study. Sensors 2023, 23, 5121. <https://doi.org/10.3390/s23115121>

[^6]: De Marchi, Mirco & Turetta, Cristian & Pravadelli, Graziano & Bombieri, Nicola. (2024). Combining 3D Human Pose Estimation and IMU Sensors for Human Identification and Tracking in Multi-Person Environments. IEEE Sensors Letters. PP. 1-4. 10.1109/LSENS.2024.3400614.

[^7]: Grant MJ, Booth A. A typology of reviews: an analysis of 14 review types and associated methodologies. Health Info Libr J. 2009 Jun;26(2):91-108. doi: 10.1111/j.1471-1842.2009.00848.x. PMID: 19490148.


## [^8]: Guo, Y.; Gao, T.; Dong, A.; Jiang, X.; Zhu, Z.; Wang, F. A Survey of the State of the Art in Monocular 3D Human Pose Estimation: Methods, Benchmarks, and Challenges. Sensors 2025, 25, 2409. <https://doi.org/10.3390/s25082409>


---

[^9]: Cheng, Z.; Zhang, Y.; Zhang, L. Quantitative Evaluation and Optimization of Museum Fatigue Using Computer Vision Human Pose Estimation. Sensors 2026, 26, 729. <https://doi.org/10.3390/s26020729>

[^10]: Elshami, N.E.; Salah, A.; Abdellatif, A.; Mohsen, H. Toward Robust Human Pose Estimation Under Real-World Image Degradations and Restoration Scenarios. Information 2025, 16, 970. <https://doi.org/10.3390/info16110970>

[^11]: Shi, Y.; Liu, Z.; Jiang, B.; Dai, T.; Lian, Y. A Fine-Tuning Method via Adaptive Symmetric Fusion and Multi-Graph Aggregation for Human Pose Estimation. Symmetry 2025, 17, 1098. <https://doi.org/10.3390/sym17071098>

[^12]: Lee, D.; Kim, J. HDPose: Post-Hierarchical Diffusion with Conditioning for 3D Human Pose Estimation. Sensors 2024, 24, 829. <https://doi.org/10.3390/s24030829>

[^13]: Jalal, A.; Akhtar, I.; Kim, K. Human Posture Estimation and Sustainable Events Classification via Pseudo-2D Stick Model and K-ary Tree Hashing. Sustainability 2020, 12, 9814. <https://doi.org/10.3390/su12239814>

[^14]: Jia, W.; Wang, H.; Chen, Q.; Bao, T.; Sun, Y. Analysis of Kinect-Based Human Motion Capture Accuracy Using Skeletal Cosine Similarity Metrics. Sensors 2025, 25, 1047. <https://doi.org/10.3390/s25041047>

[^15]: Xing, H.; Yang, J. WPL-Based Constraint for 3D Human Pose Estimation from a Single Depth Image. Sensors 2022, 22, 9040. <https://doi.org/10.3390/s22239040>

[^16]: Reale, G.; Giovannini, S.; Iacovelli, C.; Castiglia, S.F.; Picerno, P.; Zauli, A.; Rabuffetti, M.; Ferrarin, M.; Maccauro, G.; Caliandro, P. Actigraphic Measurement of the Upper Limbs for the Prediction of Ischemic Stroke Prognosis: An Observational Study. Sensors 2021, 21, 2479. <https://doi.org/10.3390/s21072479>

[^17]: Furmonas, J.; Liobe, J.; Barzdenas, V. Analytical Review of Event-Based Camera Depth Estimation Methods and Systems. Sensors 2022, 22, 1201. <https://doi.org/10.3390/s22031201>

[^18]: Dill, S.; Ahmadi, A.; Grimmer, M.; Haufe, D.; Rohr, M.; Zhao, Y.; Sharbafi, M.; Hoog Antink, C. Accuracy Evaluation of 3D Pose Reconstruction Algorithms Through Stereo Camera Information Fusion for Physical Exercises with MediaPipe Pose. Sensors 2024, 24, 7772. <https://doi.org/10.3390/s24237772>

[^19]: Zhang, L.; Dai, S.; She, L.; Huo, S. Human Pose Intelligent Detection Algorithm Based on Spatiotemporal Hybrid Dilated Convolution Model. Electronics 2025, 14, 4798. <https://doi.org/10.3390/electronics14244798>

[^20]: Yoon, J.-h.; Kwon, S.-k. Robust Human Pose Estimation Method for Body-to-Body Occlusion Using RGB-D Fusion Neural Network. Appl. Sci. 2025, 15, 8746. <https://doi.org/10.3390/app15158746>

[^21]: Cruz, M.H.d.l.; Solache, U.; Luna-Álvarez, A.; Zagal-Barrera, S.R.; Morales López, D.A.; Mujica-Vargas, D. CNN 1D: A Robust Model for Human Pose Estimation. Information 2025, 16, 129. <https://doi.org/10.3390/info16020129>

[^22]: Zakir, A.; Salman, S.A.; Takahashi, H. SOCA-PRNet: Spatially Oriented Attention-Infused Structured-Feature-Enabled PoseResNet for 2D Human Pose Estimation. Sensors 2024, 24, 110. <https://doi.org/10.3390/s24010110>

[^23]: Kim, M.; Lee, S. Fusion Poser: 3D Human Pose Estimation Using Sparse IMUs and Head Trackers in Real Time. Sensors 2022, 22, 4846. <https://doi.org/10.3390/s22134846>

[^24]: Chen, M.; Tan, G. 3D Human Pose Estimation Based on Wearable IMUs and Multiple Camera Views. Electronics 2024, 13, 2926. <https://doi.org/10.3390/electronics13152926>

[^25]: Moreira, R.; Teixeira, S.; Fialho, R.; Miranda, A.; Lima, L.D.B.; Carvalho, M.B.; Alves, A.B.; Bastos, V.H.V.; Teles, A.S. Validity Analysis of Monocular Human Pose Estimation Models Interfaced with a Mobile Application for Assessing Upper Limb Range of Motion. Sensors 2024, 24, 7983. <https://doi.org/10.3390/s24247983>

[^26]: J. Liu et al., "A Graph Attention Spatio-temporal Convolutional Network for 3D Human Pose Estimation in Video," 2021 IEEE International

机器人与自动化会议（ICRA），中国西安，2021年，第3374-3380页，doi: 10.1109/ICRA48506.2021.9561605。

[^27]: H. Bai, "A Training Method For VideoPose3D with Ideology of Action Recognition," 2021 International Conference on Signal Processing and Machine Learning (CONF-SPML), Stanford, CA, USA, 2021, pp. 169-174, doi: 10.1109/CONF-SPML54095.2021.00041.

[^28]: S. Mroz et al., "Comparing the Quality of Human Pose Estimation with BlazePose or OpenPose," 2021 4th International Conference on BioEngineering for Smart Technologies (BioSMART), Paris / Créteil, France, 2021, pp. 1-4, doi: 10.1109/BioSMART54244.2021.9677850.

[^29]: Chung, J.-L.; Ong, L.-Y.; Leow, M.-C. Comparative Analysis of Skeleton-Based Human Pose Estimation. Future Internet 2022, 14, 380. <https://doi.org/10.3390/fi14120380>

[^30]: Li, Y.; Shi, Q.; Song, J.; Yang, F. Human Pose Estimation via Dynamic Information Transfer. Electronics 2023, 12, 695. <https://doi.org/10.3390/electronics12030695>

[^31]: Feng, M.; Meunier, J. Skeleton Graph-Neural-Network-Based Human Action Recognition: A Survey. Sensors 2022, 22, 2091. <https://doi.org/10.3390/s2206209>

[^32]: Zhang, W.; Shi, Y.; Lin, J. AFJ-PoseNet: Enhancing Simple Baselines with Attention-Guided Fusion and Joint-Aware Positional Encoding. Electronics 2025, 14, 3150. <https://doi.org/10.3390/electronics14153150>

[^33]: Tu, H.; Qiu, Z.; Yang, K.; Tan, X.; Zheng, X. HP-YOLO: A Lightweight Real-Time Human Pose Estimation Method. Appl. Sci. 2025, 15, 3025. <https://doi.org/10.3390/app15063025>

[^34]: Du, G.; Zhu, H.; Ding, Z.; Huang, H.; Bie, X.; Jiang, F. Meta-Transfer-Learning-Based Multimodal Human Pose Estimation for Lower Limbs. Sensors 2025, 25, 1613. <https://doi.org/10.3390/s25051613>

[^35]: Kovács, L.; Bódis, B.M.; Benedek, C. LidPose: Real-Time 3D Human Pose Estimation in Sparse Lidar Point Clouds with Non-Repetitive Circular Scanning Pattern. Sensors 2024, 24, 3427. <https://doi.org/10.3390/s24113427>

[^36]: Choi, J.-Y.; Ha, E.; Son, M.; Jeon, J.-H.; Kim, J.-W. Human Joint Angle Estimation Using Deep Learning-Based Three-Dimensional Human Pose Estimation for Application in a Real Environment. Sensors 2024, 24, 3823. <https://doi.org/10.3390/s24123823>

[^37]: Liao, J.; Xu, J.; Shen, Y.; Lin, S. THANet: Transferring Human Pose Estimation to Animal Pose Estimation. Electronics 2023, 12, 4210. <https://doi.org/10.3390/electronics12204210>

[^38]: Kim, J.-W.; Choi, J.-Y.; Ha, E.-J.; Choi, J.-H. Human Pose Estimation Using MediaPipe Pose and Optimization Method Based on a Humanoid Model. Appl. Sci. 2023, 13, 2700. <https://doi.org/10.3390/app13042700>

[^39]: El Kaid, A.; Brazey, D.; Barra, V.; Baína, K. Top-Down System for Multi-Person 3D Absolute Pose Estimation from Monocular Videos. Sensors 2022, 22, 4109. <https://doi.org/10.3390/s22114109>

[^40]: Yan, G.; Yan, H.; Yao, Z.; Lin, Z.; Wang, G.; Liu, C.; Yang, X. Monocular 3D Multi-Person Pose Estimation for On-Site Joint Flexion Assessment: A Case of Extreme Knee Flexion Detection. Sensors 2024, 24, 6187. <https://doi.org/10.3390/s24196187>

[^41]: Bao, W.; Ma, Z.; Liang, D.; Yang, X.; Niu, T. Pose ResNet: 3D Human Pose Estimation Based on Self-Supervision. Sensors 2023, 23, 3057. <https://doi.org/10.3390/s23063057>

[^42]: Patil, A.K.; Balasubramanyam, A.; Ryu, J.Y.; Chakravarthi, B.; Chai, Y.H. An Open-Source Platform for Human Pose Estimation and Tracking Using a Heterogeneous Multi-Sensor System. Sensors 2021, 21, 2340. <https://doi.org/10.3390/s21072340>

[^43]: Eichler, N.; Hel-Or, H.; Shimshoni, I. Spatio-Temporal Calibration of Multiple Kinect Cameras Using 3D Human Pose. Sensors 2022, 22, 8900. <https://doi.org/10.3390/s22228900>

[^44]: Zou, Y.: "hicle Tracking via R" ___ss Policy.
