# 基于3D激光雷达的锻炼姿态检测：人体运动映射 Mitchell Zinck、Ray Huda、Evan Webster、Marzieh Amini $^{*}$ 信息技术学院 $^{*}$系统与计算机工程系 加拿大渥太华卡尔顿大学 {mitchellzinck, rayhuda, EvanTWebster}@cmail.carleton.ca, * 摘要—近年来，激光探测与测距（LiDAR，激光雷达）技术已成为增强传感系统的一种极具前景的方案，尤其在人类活动识别（HAR）领域。计算机视觉与激光雷达传感器领域的发展正革新着人类活动识别系统。本文提出一种使用3D激光雷达技术、结合深度学习方法检测和分类人类锻炼姿态的新方法。我们采用Point Pillars网络进行3D目标检测，运用伪图像变换实现高效的3D到2D数据转换，提升了2D卷积神经网络在3D点云数据分析中的适用性。为处理3D点云数据流中的时间相关性，我们采用了“smush”技术，该技术会对连续几帧3D激光雷达点云进行处理。该方法显著提升了动态锻炼的检测准确率，凸显了我们的方案在改进健身监测技术方面的潜力。本研究不仅验证了3D激光雷达在捕捉复杂活动方面的有效性，也为未来基于3D激光雷达的人体运动映射技术发展奠定了基础。 $^{1}$ 关键词—LiDAR、3D点云、锻炼姿态检测、卷积神经网络、人类活动识别 ## 一、引言 将激光雷达技术与先进深度学习模型相结合，为人类活动识别（HAR）开辟了极具前景的发展方向，克服了传统基于摄像头的系统的局限性 [^1]。用于日常活动监测的激光雷达或雷达传感器相比其他技术具备显著优势，尤其在隐私保护和非配合式监测能力方面表现突出 [^2], [^3]。具体而言，环境传感器（尤其是基于视觉的环境传感器）会引发数据保密和患者隐私方面的担忧，这类问题在可穿戴传感器中并不常见。但可穿戴传感器需要用户配合，必须佩戴或携带，这不仅会带来使用问题，还会让用户产生不适感 [^4]。 本研究的动因是需要借助3D激光雷达在深度感知、隐私保护和低光照性能方面的优势，实现对人体运动更复杂精细的分析。本文详细介绍了我们的神经网络模型从最初构想到未来研究方向的整个开发过程，阐述了我们的研究方法、实验结果，重点探讨了本研究在健康监测和健身技术领域的潜在价值。本工作的主要贡献是开发了一种全新的多帧分析方法模型，能够检测人体，并将动作分类为六种主要的徒手健身锻炼动作。次要贡献包括开发了高精度的人体检测器模型，以及开发了可对三种静态动作的徒手健身锻炼进行分类的三姿态检测器。通过实现这些目标，我们旨在填补当前利用激光雷达开展人类活动识别研究中的空白，为锻炼监测与分析提供一种更准确、更具隐私保护性的方法。 本文其余部分的组织结构如下：第II节讨论相关工作，第III节说明数据采集细节，第IV节概述项目研究方法与框架开发过程，第V节汇报所开发框架得到的结果，第VI节展开结果讨论并梳理未来值得研究的方向，第VII节总结全文。 ### II. 相关工作 我们的研究从全面梳理视觉、雷达、激光雷达（LiDAR）多模态人类行为识别（HAR）领域的现有工作展开，这帮助我们评估了前沿技术，明确了各类方法的独特优势。在基于视觉的系统中，Li等人采用BiLSTM网络，在行为检测任务上取得了96%的准确率，证明了该模型在有效处理视觉序列与时序数据方面的优势 [^5]。基于雷达的系统在用户隐私方面具备优势，无需采集可识别图像就能达到90%以上的准确率，因此非常适合隐私敏感型应用 [^6]。另一方面，现有基于激光雷达的方法大多聚焦于车辆跟踪等非人类目标检测任务，或是借助额外传感器提升检测准确率 [^7]。 随后文献综述聚焦于用于激光雷达点云处理的Point Pillars和PointNet模型 [^10]。Point Pillars网络将原始三维数据处理为与卷积神经网络（CNN）兼容的结构化格式，支持高效检测与分类。认识到CNN在时序分析方面的局限性，我们探索了循环模型，具体来说是基于RNN的TimePillars方法，并研究了LSTM为点云数据添加上下文时序信息的潜力 [^8], [^9]。尽管我们因为Point Pillars和PointNet适用于基于激光雷达的HAR任务而选择了它们，但该方法最初缺乏时序 --- ![Image](images/89a6e75ccbdb6eae6244f67214d13e15f23ecebd405d7ed2b2918043fede1f35.jpg)
Fig. 1: Overview of the proposed method.
信息。不过，我们在后文中通过一种创新方法解决了这一挑战，该方法能够捕获三维点云中的时序特征，提升了模型在动态场景下人类行为识别任务的准确率。 Point Pillars网络将原始三维激光雷达数据处理为结构化格式，供CNN开展分析。其核心步骤如下： 三维目标检测：识别并分类激光雷达点云数据中的目标；点云划分：将三维空间划分为柱体网格，简化点云处理；柱体特征学习：使用小型PointNet学习每个柱体内部的特征，捕获形状、运动等属性；伪图像生成：将学习到的特征整理为二维伪图像，供二维CNN开展分析；目标检测深度学习：对伪图像应用卷积层，识别特定行为；行为识别精度：在识别和分类人类动作方面实现高精度；实时数据处理：支持实时分析与反馈，这对健身监测等应用至关重要；适应性与可扩展性：可适配多样环境与行为，能将框架扩展到各类应用场景。该架构极大推进了利用三维激光雷达数据进行动作检测与复杂人类动作分析的发展。 ### III. 数据采集 在本节中，我们介绍数据采集的流程。我们首先将3D velodyne puck 16通道LiDAR安装在一个相对开阔的房间内（ $5m \times 10m$），多次采集了单个人员在该空间内进行常规活动的数据。随后我们使用Matlab工具LiDARLabeler对数据进行标注。标注最初仅基于人员的位置完成（人体检测器），之后再对人员正在进行的活动进行分类标注。我们使用相同设置采集了单个测试对象完成3种动作的数据（三姿态检测器）。最后，我们在大型绿棚房间（ $10m \times 12m$）内采集数据，以扩大检测范围，并新增了12名不同的测试对象（总计13名）来提升数据集的多样性。这些测试对象也以随机顺序完成全部六种动作（六姿态检测器），确保数据集存在差异性。下文的图2展示了已完成采集和分类的6种活动各自的示例（a-f）。 如表I所示，我们的完整数据库总计包含28614帧数据。该全新数据库可免费开源提供给获得适当授权的个人和研究人员使用 [^14]。
TABLE I: Number of Frames per Dataset
DatasetFrames
VLP-1611505
Alpha Prime-1289938
WalkStandCrouch5752
Human Detection1086
Misc333
Total28614
### 四、研究方法 我们开发过程的第一阶段是构建一个能够在LiDAR点云中高精度识别人体轮廓的人体检测器模型。该模型通过精准定位和分类人员存在，为后续的活动检测奠定了基础。 在人体检测器的基础上，我们开发了可识别三种基础姿态的模型：站立、行走和蹲伏，随后又将模型扩展为可检测六种动作：行走、站立、深蹲、俯卧撑、仰卧起坐和开合跳。该扩展需要对网络架构进行大幅修改，以适应动作复杂度提升带来的变化。 为了提升动态活动的检测精度，我们引入了"smush"技术，这是一种多帧分析方法。该方法通过融入连续三维点云帧的时序信息，提升了模型对连续运动的识别和分类能力。我们的技术受"TransPillars"方法 [^12]启发：该方法采用从粗到细的聚合策略，通过停留时间获取更丰富的目标信息，实现多帧三维目标检测；而我们的技术采用了更简化的方案，直接拼接LiDAR帧来提供额外的上下文信息。图1展示了所提方法的整体框架。 --- ![Image](images/594aaa249ed2c6a11422ccfe1a61d259a64e6ca524168aaac2497e86fba3e760.jpg)
(a) Jumping Jacks
![Image](images/b51e40e8109e2e682e8c7c37be2961aaff5953c70c5b4b74c55e03b734e2e844.jpg)
(b) Push Ups
![Image](images/080717ccd2346d1f3cbc65a77d1db4e506bc9607d7ffc257ebdf7ec7805991f1.jpg)
(c) Standing
![Image](images/04347e8d55d9e84694afe03b718375dc1d4f42a8e43766d1e1fe6b83254e8b9d.jpg) ![Image](images/878329361c75bcf11803a647b228820ce57768ef3fe8a1973f906bcb193674e1.jpg)
(e) Sit Ups
(d) Squatting
![Image](images/11df27734f3e89bb29069f8732a88bd7efda20e16c686a36b834581b897fb0d5.jpg)
(f) Walking
Fig. 2: (a-f) Examples of the 6 different classified activities.
### 五、实验结果 ### A. 检测器的设计与结构 本研究在MATLAB中完成实现，原因在于其可与我们的硬件Velodyne 16通道LiDAR良好集成，同时具备强大的LiDAR数据处理能力、内置工具包与函数库，以及可用于预处理阶段数据标注的LiDARLabeler算法与应用 [^13]。这些优势让本项目能够专注于基础动作识别平台的开发与优化。 ### B. 模型训练与验证 我们从收集到的点云中按70%训练、30%测试的比例划分数据集。训练过程中我们调整了置信度阈值、训练轮次（epochs）等参数，以通过以下指标优化模型性能：AOS（平均重叠率，Average Overlap Score），衡量 bounding box 定位的准确率；AP（平均精度，Average Precision），衡量运动分类的平均正确率。我们对模型进行了严格验证，确保其在运动检测任务中的准确性和鲁棒性。 a) 参数优化：在整个开发过程中，我们通过改变参数、引入反馈循环不断优化模型。这种迭代方法让我们能够系统性提升模型性能，确保运动检测的高准确率和高召回率。我们的最终模型使用了5430帧数据，置信度阈值设置为25%，训练共进行了100轮。 b) 实现挑战：我们遇到的主要挑战之一是确保模型在不同个体、不同环境条件下的泛化能力。通过持续扩展数据集、迭代测试和优化，我们致力于开发一个足够稳健的系统，能够处理实际应用中存在的固有变异性。另一个核心挑战与数据格式有关：记录LiDAR数据的程序输出文件格式为.PCAP，而我们需要的是.PCD格式，因此在使用数据前需要额外进行数据预处理和格式转换。 c) 结果：如表II所示，结果显示对于站立、蹲起这类高度静态的运动，模型在应用"smush"技术之前就已经具备较高精度，AOS和AP值均高于0.90即可证明这一点。
TABLE II: Exercise Poses and resulting AOS and AP values for three-pose detection without smush
Exercise PoseAOSAP
Standing0.905320.98498
Walking0.784250.78499
Crouching0.998821.00000
AVERAGE0.896130.92332
如表III所示，利用被称为"smush"技术的多帧分析，大幅提升了我们的模型在所有运动上的性能。具体而言，该方法提高了动态运动的检测准确率，而这正是早期模型一直存在的难题。应用"smush"技术后，平均重叠率（AOS）和平均精度（AP）都得到了显著提升。对比得到的平均准确率，五帧smush模型的性能约比未使用smush的模型好十倍，表明该模型对运动的时间序列拥有更为细致的理解。 ### 第六节 讨论 ### A. 结果分析 表III呈现的结果证明了我们"smush"技术的有效性，尤其在俯卧撑、仰卧起坐这类动态运动中效果格外明显，AOS和AP值都得到了显著提升。提升后的性能指标证明该方法能够更准确地解读运动的时间序列。与我们之前的系统对比分析表明，我们的姿态检测方法在准确率和可靠性上都实现了大幅飞跃。 ---
TABLE III: Exercise Poses and resulting AOS and AP values for six-pose detection without smush (left) and five frame smush (right)
No SmushFive-Frame Smush
Exercise PoseAOSAPAOSAP
Standing0.006160.006220.235210.23529
Walking0.021530.021530.145340.14534
Squatting0.046230.046230.193410.19341
Push-ups0.0058060.0058060.288670.28867
Sit-ups0.023310.023340.287230.28726
Jumping Jacks0.024570.02460.116190.11619
AVERAGE0.0212670.0212890.211010.21103
我们研究中最具说服力的洞见之一，就是时间上下文在人体姿态识别中的关键作用。当起始阶段相似的训练动作（例如从站立到深蹲的转换）被错误分类时，静态帧分析的局限性就清晰显现。而“smush”技术的多帧分析提供了更广阔的时间范围，让模型能够识别动作的连续性，从而大幅减少误报。与我们此前未考虑时间因素的旧模型相比，新方法在持续准确识别姿态方面展现出了良好的发展势头，尤其是在光照条件不佳，以及隐私顾虑导致无法使用摄像头的场景中表现更加出色。我们的方法与传统基于摄像头的系统相比优势明显，这凸显了LiDAR在光学设备无法发挥作用的场景（例如隐私敏感区域）中的优势。此外，我们的研究结果表明，静态姿态和动态姿态的检测难度存在差异，后者在时间分析和动作流畅性方面带来的挑战更大。这种差异也强调，我们需要先进的建模技术，能够在不牺牲实时分析能力的前提下捕捉人体动作的复杂细节。 ### B. 挑战与洞见 在研究过程中，我们遇到了人体姿态估计领域固有的诸多挑战。一个核心问题是初始模型无法区分动作模式重叠的相似训练动作。例如，从站立到深蹲的转换偶尔会出现错误分类。“smush”技术的应用对解决这一问题起到了关键作用，它为空间数据补充了更全面的时间上下文，基于动作的发展过程而非孤立帧来区分动作，从而为研究对象的动作提供了更完整的整体视角。本研究得到的洞见对基于LiDAR的训练动作检测系统开发具有重要意义。 ### VII. 结论 本研究是利用LiDAR和深度学习进行训练动作姿态检测的一项重大进展。我们开发的人体检测器以及后续的动作检测模型，展现了3D LiDAR技术在精准映射人体动作方面的潜力。“smush”技术的成功应用凸显了时间分析在理解动态活动中的重要性。通过考虑多帧点云之间的时间相关性，我们在各类动作姿态上的AP和AOS平均提升了891%，充分展现了该方法的显著效果。展望未来，集成更成熟的神经网络架构、探索高分辨率3D LiDAR数据，是动作检测领域进一步发展的可行方向。通过解决当前挑战并运用我们的研究发现，本研究为不断发展的健康监测和健身技术领域提供了宝贵的参考。我们的工作不仅证明了3D LiDAR在动作检测中所能发挥的重要作用，也为未来的创新奠定了基础——这些创新有望重新定义体能训练、康复治疗和个人健身监测，同时始终将用户隐私作为核心优先事项。 ## 参考文献 [^1]: J. Roche, V. De-Silva, J. Hook, M. Moencks and A. Kondoz, "A Multimodal Data Processing System for LiDAR-Based Human Activity Recognition," in IEEE Transactions on Cybernetics, vol. 52, no. 10, pp. 10027-10040, Oct. 2022. [^2]: H. Sadreazami, M. Amini, M. Bolic and S. Rajan, "Unsupervised Learning of Fall Incidents using Radar-based Sensing," 2025 IEEE International Symposium on Circuits and Systems (ISCAS), pp. 1-5, 2025. [^3]: H. Sadreazami, A. Khoyani, M. Amini, S. Rajan and M. Bolic, "Radar Based Fall Detection with Imbalance Data Handling and Data Augmentation," 2023 IEEE Sensors Applications Symposium (SAS), pp. 1-4, 2023. [^4]: H. Sadreazami, M. Bolic and S. Rajan, "Contactless Fall Detection Using Time-Frequency Analysis and Convolutional Neural Networks," in IEEE Transactions on Industrial Informatics, vol. 17, no. 10, pp. 6842-6851, 2021. [^5]: O. Rinchi, H. Ghazzai, A. Alsharoa, and Y. Massoud, “LiDAR technology for Human Activity Recognition: Outlooks and challenges,” IEEE Internet of Things Magazine, vol. 6, no. 2, pp. 143–150, Jun. 2023. [^6]: A. D. Singh, S. S. Sandha, L. Garcia, and M. Srivastava, "Radhar," Proceedings of the 3rd ACM Workshop on Millimeter-wave Networks and Sensing Systems, Oct. 2019. [^7]: H. Li, A. Shrestha, H. Heidari, J. Le Kernec, and F. Fioranelli, “BiLSTM Network for multimodal continuous human activity recognition and fall detection,” IEEE Sensors Journal, vol. 20, no. 3, pp. 1191–1201, Feb. 2020. [^8]: E. L. Calvo et al., “Timepillars: Temporally-recurrent 3D LiDAR object detection,”, 2023. . [^9]: R. Huang et al., “An LSTM approach to temporal 3D object detection in LiDAR point clouds,” In Computer Vision–ECCV, pp. 266-282. Springer International Publishing, 2020. [^10]: “LiDAR 3-D Object Detection Using Point Pillars Deep Learning - MATLAB & Simulink,” . (accessed Nov. 14, 2023). [^11]: “Point Cloud Classification Using PointNet Deep Learning - MATLAB & Simulink,” . (accessed Nov. 14, 2023). [^12]: Z. Luo et al., "Transpillars: Coarse-to-fine aggregation for multi-frame 3D object detection," in 2023 IEEE/CVF Winter Conference on Applications of Computer Vision (WACV), pp. 4219-4228, 2023. [^13]: “Puck LiDAR Sensor, High-Value Surround LiDAR,” Velodyne LiDAR. (accessed Nov. 14, 2023). [^14]: M. Amini, R. Huda, E. Webster, and M. Zinck, 3D LiDAR Exercise Pose Detection Dataset, . [^15]: Gupta, N., Gupta, S.K., Pathak, R.K. et al. Human activity recognition in artificial intelligence framework: a narrative review. Artif Intell Rev 55, 4755–4808 (2022).