# 基于 LiDAR 点云的三维人体姿态和形状估计：综述萨尔玛·加拉维 $^{*}\dagger$，爱德华多·瓦莱 $^{*}$，大卫·皮卡德 $^{\dagger}$，内尔明·萨梅特 $^{*}$ 摘要：本文对从野生环境中采集的 LiDAR 点云中进行三维人体姿态估计和人体网格恢复的研究进行了全面回顾。我们比较了现有方法在多个关键维度上的表现，并提出了一种结构化的分类方法来对这些方法进行分类。在这种分类方法的基础上，我们分析了每种方法的优点、局限性和设计选择。此外，(i) 我们对三个最常用的数据集进行了定量比较，详细介绍了它们的特性；(ii) 我们统一了所有评估指标的定义；(iii) 我们建立了这些数据集上姿态估计和网格恢复任务的基准表格，以实现公平的比较并促进该领域的发展。我们还概述了推进基于 LiDAR 的 3D 人体理解的关键挑战和研究方向。此外，我们维护了一个随附的网页，该网页根据我们的分类组织了论文，并不断更新以包含新的研究：关键词：3D 人体网格恢复、3D 人体姿态估计、基于 LiDAR 的 3D 人体姿态估计、基于 LiDAR 的 3D 人体恢复、人体姿态估计基准、人体姿态估计指标、人体网格恢复基准、LiDAR 点云、基于 LiDAR 的人体姿态估计数据集、基于点云的人体建模、综述、调查。 ## I. 引言 3D 人体姿态估计和人体网格恢复是计算机视觉中的关键任务，在理解和建模人体运动和外观方面发挥着至关重要的作用。准确地表示人体姿势和形状对于人工智能应用至关重要，例如虚拟和增强现实 [^1]、人机交互 [^2]、运动分析 [^3]、医疗保健 [^4]、安全的自动驾驶 [^5] 和城市环境中行为识别 [^6]。 3D 人体姿态估计 (3D HPE) 从图像、视频、深度图和点云等输入中预测人体关节的 3D 坐标。与仅跟踪平面上的关节位置的 2D 姿态估计相比，3D HPE 提供了对 3D 空间中空间关系的更深入理解。通过捕获深度和透视信息，3D HPE 克服了肢体遮挡造成的歧义，对于推动以人为本的人工智能技术至关重要。 ![Image](images/a82d82d0438fe855d9c4f83ce17585988dc7be0548ea13639073b904567bcdf6.jpg)

Fig. 1. LiDAR human point cloud challenges include noise, occlusions, and significant variations in point cloud density. The top rows show raw images and their corresponding human point clouds extracted from Waymo Open Dataset [^7]. The subject of interest is marked with a red dot on the chest. The bottom row indicates the distance to the sensor (in meters) and the corresponding number of LiDAR points (pts). Occlusion of the right shin in the first frame; persistent noise near the feet; and point density is observed to increase as the subject moves closer to the sensor.

3D HPE 通过提供深度和透视信息，克服了肢体遮挡造成的歧义，对于推动以人为本的人工智能技术至关重要。与此同时，人体网格恢复 (HMR) 生成人体运动范围之外的 3D 表示，包括详细的表面几何形状、形状，有时还包括纹理。在自动驾驶中，LiDAR 传感器捕获的点云对于检测和分析动态环境中的人体姿势至关重要，这有助于准确预测行人行为并提高安全性。从稀疏的 LiDAR 点云中提取详细的骨架和形状是 3D HPE 和 HMR 的一个新兴前沿领域，它在图像和视频的密度与点云的几何精度之间取得了平衡。历史上， --- 由于缺乏充分标注的 LiDAR 数据集，RGB-D 相机被更广泛地用于提供姿态估计任务的深度信息 [^8] [^9] [^10] [^11]。然而，最近的数据集，如 Waymo [^7] 和 SLOPER4D [^12]，提供了带有 2D 和 3D 人体姿势标注的点云数据，这使得研究人员能够训练和验证他们的模型，并提高了对基于 LiDAR 的 3D 人体姿态估计和人体模型重建的兴趣。尽管如此，数据多样性仍然是一个挑战，研究人员通过利用其他模态，如图像和深度图，以及利用未标记数据，采用无监督和弱监督训练来解决这个问题。 LiDAR 点云具有独特的优势，如固有的 3D 几何信息、准确的距离测量、对光照条件的鲁棒性以及固有的隐私保护。它们也带来了重要的挑战，如图 1 所示：点云是稀疏和不规则采样的，通常会导致人体扫描不完整；扫描模式取决于所使用的 LiDAR 技术，传感器相关的噪声可能很显著；点云对遮挡很敏感。提取准确的人体姿态或重建详细的模型需要解决这些挑战。 ![Image](images/03c4c49455e6210b553171f2ac78f3f916922375ff0c8f10e92a0c10ad758753.jpg) ![Image](images/a9910af7c5e761f922d96d4ebaa372bbc353daa341534bcbf12ac23d1d29cabf.jpg)

Fig. 2. The growing interest in 3D human pose estimation from LiDAR point clouds. (a) The number of publications per year. (b) The yearly count of citations. This data was retrieved from www.dimensions.ai using the query: 3D human pose estimation from LiDAR point clouds.

### A. 范围、目标和阅读指南最近，为 3D 人体姿态估计和人体模型重建的标注 LiDAR 点云数据集的发布，推动了直接从 LiDAR 数据进行这些任务的研究和应用兴趣（图 2）。鉴于这种趋势，我们回顾了从户外 LiDAR 点云中进行 3D 人体姿态估计和人体模型重建的深度学习模型，特别关注自动驾驶和城市环境中人类行为分析。本文的主要目标是对该领域的现有方法进行全面分析和讨论。为了实现这一目标， 1) 我们对 3D 人体姿态估计/人体模型重建任务中使用的传感器进行分类，提出一种分类方法，该方法突出显示相机、LiDAR 和雷达的优势和局限性。鉴于我们调查的重点是 LiDAR，我们详细介绍了其类型和底层技术（第 2 节）。 2) 我们对现有方法进行比较总结，分析它们的网络架构，并提出一种用于系统分类的分类方法（第 3 节）。 3) 我们对 2019 年至 2025 年发表的 32 篇研究进行了广泛的回顾。这项回顾提供了对方法的详细分析，重点介绍了它们的设计选择、优点和缺点，以及从 LiDAR 点云中进行 3D 人体姿态估计和人体模型重建（第 4 节和第 5 节）。 4) 我们描述了三个最常用的数据集，概述了它们的关键统计数据和特征，并简要总结了其余的公共数据集，以供参考（第 6 节）。 5) 我们编译并正式定义了用于评估从 LiDAR 点云中进行 3D 人体姿态估计和人体模型重建方法的所有指标（第 7 节）。 6) 我们在三个最常用的数据集上建立了基准，对当前最先进的技术进行了全面评估（第 7 节）。 7) 我们讨论了从 LiDAR 点云中进行 3D 人体姿态估计和人体模型重建的关键挑战和未解决的问题，并对未来的研究方向提出了见解（第 8 节）。 8) 最后，我们提供了一个配套的仓库 $^{1}$，其中包含关于基于 LiDAR 点云的 3D 人体姿态估计和人体模型重建的研究。该资源将不断更新，以包含新的研究进展。本综述的每个部分都设计为独立的部分，以便于阅读。对于已经熟悉 LiDAR 点云和 3D 人体姿态估计/人体模型重建任务的读者，我们建议直接阅读第三部分，并使用图 7 作为指南，根据我们的分类来了解各种方法。对于不太熟悉这些主题的读者，我们建议从第二部分开始；对于那些需要更全面的背景信息的读者，我们建议参考第二部分中引用的深入综述。 ### B. 之前的综述关于 3D 人体姿态估计的最新综述 [^13] [^14] [^15] [^16] [^17] [^18] [^19] [^20] [^21] 主要关注应用于图像或视频的深度学习方法，以及单目或多视图设置。读者可以在这些综述中找到 3D 人体姿态估计的分类，以及对人体表示 [^16]、学习策略 [^15]、姿态数据增强 [^15] 等关键方面的综合分析。这些参考资料还提供了关于流行数据集、评估指标和该领域应用的详细讨论。 --- [^22]，3D HPE在追踪和动作识别任务中的作用 [^19]，以及视觉变换器、大语言模型和多模态融合等工具的应用 [^20]。这些参考文献还对该领域内的热门数据集、评价指标和应用场景进行了详细讨论。人体模型重建可能乍一看似乎与 3D 人体姿态估计综述相关 [^13]、[^16]，但读者会发现更详细的内容在专门的人体模型重建综述中：Tian 等人 [^23]，这是一篇专注于显式模型的全面综述，而 Chen 等人 [^24] 侧重于隐式渲染技术。Liu 等人 [^21] 详细回顾了参数化和非参数化的人体模型重建方法。机器学习方法在深度学习时代之前，有 [^25] [^26] [^27] 进行回顾。 LiDAR 传感器在现有的综述中明显缺失。少数文献会泛泛地提及超出相机的传感器。基于深度传感器、惯性测量单元 (IMU) 和射频设备的 3D 人体姿态估计，在 [^13] 和 [^22] 中进行了总结，而 [^17] 概述了诸如 RGB-D 和 ToF 等替代相机以及诸如 RF 和 Wi-Fi 等无线传感器。相比之下，我们的工作深入研究了基于 LiDAR 点云的 3D 人体姿态估计和人体模型重建，旨在应用于户外场景的实际应用，并使用“野外”数据集。 ### II. 背景知识 ### A. 基于图像和视频的 3D 人体姿态和形状估计基于图像和视频的 3D 人体姿态估计是研究的重点，并且仍然是该领域的前沿，同时也影响了基于 LiDAR 点云数据的 3D 人体姿态估计。基于单目 3D 人体姿态估计的方法通常分为两类：确定性方法和生成性方法。早期确定性方法直接从图像中预测 3D 关键点，采用端到端的方式 [^28] [^29] [^30] [^31]。随后，两阶段方法变得流行，首先检测 2D 关键点，然后使用专门的神经网络将它们“提升”到 3D 空间 [^32]。为了利用时间信息，研究人员探索了基于视频的方法，利用连续帧之间的时序依赖关系。大多数基于视频的方法 [^33] [^34] [^35] [^36] [^37] [^38] [^39] [^40] 采用一个两阶段的流程：首先，使用 2D 姿态检测器从视频帧中提取 2D 姿态，然后，利用这些姿态序列中的时空信息进行 3D 估计。用于编码时空信息的有卷积神经网络 (CNN) [^37] 到图卷积网络 (GCN) [^33]，以及其他方法 [^41] [^42] [^43] [^44]。最近，基于注意力的时空Transformer架构也越来越受到关注 [^38]，[^40]，[^45]。将二维姿态提升到三维空间的核心挑战在于其固有的歧义性：多个三维姿态可以对应同一个二维输入。确定性方法通常难以有效解决这种歧义性。为了克服这一局限，研究人员将重点放在了能够生成多假设的生成方法上。这类方法包括变分自编码器（VAEs） [^46]、归一化流 [^47]，以及近年来出现的扩散模型 [^48] [^49] [^50] [^51] [^52]。当前最先进的方法已经融合了时间范式和生成范式 [^48] [^49] [^50]、[^52]、[^53]。例如，D3DP [^49] 使用MixSTE骨干网络作为去噪器，以原始二维关键点为条件。DiffPose [^48] 采用了基于高斯混合模型的扩散方法，该模型在二维热图上训练得到。尽管取得了这些进展，从图像和视频中开展3D HPE仍存在无源传感器带来的固有局限。例如，绝对尺度估计仍然颇具挑战性，并且在没有多相机设置的情况下无法实现精确的距离测量。三维人体网格重建旨在重建精细的三维人体流形，通常采用两种方法：一种是参数化方法，预测潜在参数后由预训练模型将其映射为网格；另一种是非参数化方法，直接从数据中推理得到稠密网格。参数化模型，尤其是SMPL（Skinned Multi-Person Linear）[^54]，现已成为人体网格重建的基础。SMPL将人体表示为可学习的蒙皮网格模型，其中姿态参数（ $\theta$）定义关节角度和整体姿势，形状参数（ $\beta$）捕捉身体形态。在此框架的基础上，已有多项扩展工作被提出以增强它的表示能力。MANO [^55]专注于精细手部建模，FLAME [^56]面向面部表示，SMPL-X [^57]则将身体、面部和手部统一到单个模型中。为了从二维观测中实现准确的全身网格重建，SMPLify-X [^57]会将SMPL-X迭代拟合到身体、面部和手部关键点上。多种方法侧重于基于 SMPL 的网格恢复，探索了诸如直接参数回归 [^58] [^59] [^60] [^61]、使用图卷积神经网络 (Graph-CNN) 的网格顶点预测 [^62] 以及自监督对比学习框架 [^63] 等方法。时序一致性通过循环模型（如 TCMR）得到解决 [^64]，而概率公式和轻量级基于转换器的设计进一步提高了准确性和效率 [^65] [^66] [^67] [^68]。除了参数模型，非参数方法为灵活性而发展。 --- 基于体素的方法，如 BodyNet [^69]，可以从单张图像预测人体形状的体积。隐式表面表示，如 TetraTSDF [^70]，解决了在宽松服装下的重建问题，而 PaMIR [^71] 利用图像特征和 SMPL 先验进行高质量的重建。对于那些希望深入了解 3D 人体姿态估计和人体运动捕捉的人，我们建议参考以下综述 [^13] [^14] [^15] [^16] [^17] [^18] [^19] [^20] [^21]。 ### B. 传感器和数据采集人工智能系统需要对环境及其中的所有参与者（在本例中为人类）有深入的了解，才能有效地和安全地进行交互。这些系统依赖于输入信号来支持决策和规划。通常，外感是指通过适当的传感器感知外部环境，从而对周围环境形成全面和准确的理解。这种感知能力是人工智能的核心。传统的相机传感器通常不足以提取场景的空间信息，因为它在二维平面上的投影会丢失深度信息。虽然强大的深度学习算法可以使相机以可承受的价格检测物体的姿态和位置，但 2D 传感器的固有缺乏深度测量使其容易受到物理对抗攻击 [^72]。深度相机、雷达和激光雷达等技术可以克服这些困难。传感器可以是主动的或被动的（图 3）。我们简要介绍大多数传感器，重点关注与户外应用（如自动驾驶）最相关的传感器。 ![Image](images/ab5c74964165a938e0548560cf8d6a8b7288549babe212489b0f619eb7c1a8bd.jpg)

Fig. 3. Taxonomy of spatial sensors. ToF stands for time-of-flight.

a) 深度相机：深度相机有三种不同的技术：立体视觉、主动结构光和主动飞行时间。立体视觉依赖于两个经过良好校准（对于内部和外部参数）的相机传感器，利用两个图像中视觉特征的视差来计算深度 [^74]。结构光结合了单目相机和一个 ![Image](images/5503cc20daa9aaf83ef1bc714a17c51dd3385df123af914600f0c2543607d3af.jpg)

Fig. 4. Taxonomy of LiDAR sensors. ToF stands for time-of-flight.

将已知图案投影到场景上的红外光源，其变形（反射到物体上）可以推断出深度。最后，飞行时间通过测量投影到场景上的调制红外光的往返时间来计算深度。 b) 雷达传感器：雷达通过发射高频电磁波并分析其反射来确定物体距离，而多普勒效应则提供相对速度的测量。雷达广泛应用于军事系统，并广泛集成到自动驾驶汽车 (AV) 和高级驾驶辅助系统 (ADAS) 中，支持诸如泊车辅助和自适应巡航控制等功能。 c) LiDAR 传感器：LiDAR（光探测与测距）使用激光脉冲来测量物体距离，基于飞行时间原理。对 LiDAR 的分类具有挑战性，但三个（非正交）分析轴非常重要：扫描模式、光束偏转技术和传感技术（图 4）。传感器调查 [^75]-II.B、[^74] 和 [^76] 提供了关于固态解决方案的详细分类，考虑了激光源、波长、光电探测器和扫描系统。我们遵循他们的大部分术语。扫描模式是我们最重要的方面。非重复扫描 (NRS) 通过投射非重复图案逐步覆盖视野。旋转多波束 (RMB) 以均匀的方向扫描视野 (FoV)。与这两种扫描模式不同 --- ![Image](images/cf5021359372f3e307f23e0e14c93f770c7e2e81d538f14bd8d68b890296e76a.jpg)

Fig. 5. Comparison of scanning patterns: RMB rotating pattern and NRS rosette pattern, simulated at 25 m from an infinite wall.

的是，闪存 LiDAR 是一种传感器类型，它不需要扫描，它使用光学扩散器来照亮场景，而光电探测器阵列在单次拍摄中捕获整个目标场景。两种最常见的 NRS 和 RMB 模式的示例如图 5 所示。光束偏转技术表示如何实现扫描，即控制激光束路径的方法，使其在视野中扫描。机械偏转依赖于振荡镜、棱镜，或者，在旋转 LiDAR 中，整个传感器。准固态偏转依赖于由微型（电动-）机械设备控制的微型镜子或棱镜。最后，光学相控阵通过固态相移器移动光束。传感技术是指获取距离信息，主要分为三大类。脉冲 LiDAR 和幅度调制连续波都依赖于飞行时间 [^73]。前者使用光学脉冲在场景上反射后的往返延迟，而后者使用发射和接收幅度调制信号之间的相位差。最后，频率调制连续波 LiDAR 频率调制发射信号，并从目标返回信号推断出距离和速度。 LiDAR 已成为一项核心技术，可实现从户外环境到室内空间的应用，在这些环境中，准确的感知对于部署智能自主系统非常重要。户外和大型空间 LiDAR 应用主要使用中程和远程传感器，用于自动驾驶汽车/ADAS、交通管理、监控，甚至用于园艺等任务。RoboSense [^77] 提供使用微机电系统 (MEMS)、闪存和机械旋转技术的中程（30-75 米）和远程（高达 200 米） LiDAR，用于自动驾驶汽车/ADAS、安全和机器人。其传感器已部署在吉利和丰田汽车 [^78] 中，并支持 Oursight 的智慧城市解决方案 [^79]。 ![Image](images/8d2df798a90f76e15ceaf644abc9b4a08308f5b3a7b65ef7a862b0505adce72d.jpg)

Fig. 6. Comparison of Radar, LiDAR, and Camera across different criteria, based on the surveys [^74], [^94], [^95]. A higher rank along an axis indicates a more advantageous performance of a sensor with respect to that criterion. Since specifications may vary across application domains, we limit the comparison to the Autonomous Driving domain to ensure fairness.

[^80]. Luminar [^81] 提供用于自动驾驶/高级驾驶辅助系统 (AV/ADAS) 的远距离 MEMS LiDAR，包括 IRIS（最远 300 米）和 Sentinel 平台，这些系统由丰田 [^82]、沃尔沃 [^83] 和梅赛德斯-奔驰 [^84] 使用。Continental [^85] 提供用于 AV/ADAS 的中程 (50 米) Flash (HFL110 [^86]) 和远距离 MEMS (HRL131 [^87]) LiDAR。该公司还在测试其传感器在机场运营中的应用，计划为客运巴士、加油车、行李车，甚至飞机配备传感器，以提高自适应巡航控制和碰撞避免能力 [^88]。Waymo [^89] 之前与 Velodyne（现为 Ouster）合作，使用旋转式远距离 LiDAR，但现在正在为其新一代车辆开发自己的中程和远距离传感器。Ouster [^90] 提供机械旋转的 OS1（中程）[^91] 和 OS2（远距离）[^92]，使用旋转多光束模式，用于安全、交通管理和 AV/ADAS 应用。Livox 提供 MID 系列 [^93] LiDAR，其中 MID-40 的最大范围可达 260 米，并采用专有的非重复 rosette 式扫描模式，通过旋转的 Risley 棱镜实现。室内和封闭空间 LiDAR 应用包括扫地机器人、室内配送机器人和其他在楼层上运行的辅助系统。Ouster 提供 35 米的 OS0 [^96]，适用于割草机器人和仓库管理等应用。低成本机器人 LoCoBot 配备 12 米的 RPLIDAR A2 [^97]，这是一种单光束 2D LiDAR，用于定位和映射。Intel RealSense L515 [^98] 是一种紧凑的 9 米 MEMS LiDAR，广泛应用于室内机器人。Unitree 在其 L1（20 米）[^99] 和 L2（30 米）[^100] LiDAR 中使用专有的 NRS 模式， ---

TABLE I

COMPARATIVE SUMMARY OF 3D HPE AND HMR METHODS.

Paper	Modality	Aux. Modality	Temporal	Supervision	Task	Data	Paper type	LiDAR	Real-time	Sensor type
HPE Methods
DAPT [^101]	LiDAR	V	✗	supervised	multi	Real+Synth	M	single	?	RMB + NRS
FusionPose [^102]	CAM+LiDAR		✓	weakly-supervised	single	Real	M+D	single	?	RMB
GC-KPL [^103]	LiDAR		✓	unsupervised	multi	Real+Synth	M	single	?	RMB
HPERL [^104]	CAM+LiDAR	B	✗	weakly-supervised	single	Real	M	single	?	RMB
HUM3DIL [^5]	CAM+LiDAR	D	✗	weakly-supervised	single	Real	M	single	?	RMB
LiCamPose [^105]	CAM+LiDAR	V	✗	weakly-supervised	single	Real+Synth	M	multi	?	NRS
LiDAR-HMP [^106]	LiDAR		✓	supervised	multi	Real	M	single	✓	RMB
LiPose [^107]	LiDAR	RI	✗	supervised	single	Real	M+D	single	✓	NRS
LPFormer [^108]	LiDAR	B+V	✗	supervised	multi	Real	M	single	?	RMB
MMVP [^109]	CAM+LiDAR	V	✗	supervised	single	Real	M+D	multi	?	NRS
UniPVU-Human [^110]	LiDAR		✓	supervised	multi	Real+Synth	M	single	?	RMB
VoxelKP [^111]	LiDAR	B+V	✗	supervised	single	Real	M	single	✗	RMB
WS-HPE [^112]	CAM+LiDAR		✗	weakly-supervised	multi	Real	M	single	?	RMB
WS-Fusion [^113]	CAM+LiDAR		✗	weakly-supervised	single	Real	M	single	✓	RMB
HPE & HMR Methods
LiDARCap [^114]	LiDAR		✓	supervised	multi	Real	M+D	single	?	RMB
LiDARCapV2 [^115]	LiDAR		✓	supervised	multi	Real	M+D	single	?	RMB
LiDAR-HMR [^116]	LiDAR		✗	supervised	multi	Real	M	single	?	RMB + NRS
LIP [^117]	IMU+LiDAR		✓	supervised	multi	Real	M+D	single	?	RMB
HMR Methods
CIMI4D [^118]*	CAM+IMU+LiDAR		✓	weakly-supervised	single	Real	M+D	single	?	RMB
FreeCap [^119]	CAM+LiDAR		✓	supervised	single	Real	M	single	✗	RMB + NRS
HSC4D [^120]*	IMU+LiDAR		✓	weakly-supervised	single	Real	M+D	single	?	RMB
Human-M3 [^109]*	CAM+LiDAR		✓	weakly-supervised	single	Real	M+D	multi	?	NRS
LiveHPS [^121]	LiDAR		✓	supervised	multi	Real	M+D	single	✓	RMB
LiveHPS++ [^122]	LiDAR		✓	supervised	multi	Real+Synth	M	single	✓	RMB
NE-3D-HPE [^123]	LiDAR		✓	supervised	multi	Real	M	single	?	RMB
PEAR-Proj [^124]	CAM+LiDAR		✓	supervised	multi	Real	M+D	single	?	RMB
ReMP [^125]	IMU/LiDAR		✓	weakly-supervised	multi	Real+Synth	M	single	?	RMB
SLOPER4D [^12]*	CAM+IMU+LiDAR		✓	weakly-supervised	single	Real	M+D	single	?	RMB
SMPLify-3D [^126]	CAM+LiDAR		✗	supervised	single	Real+Synth	M	single	?	RMB + NRS

模态：CAM 代表相机。+ 表示联合使用模态，/ 表示任一模态。辅助模态：RI 代表深度图像，B 代表 BEV，V 代表体素，D 代表深度。论文类型：M 代表方法，D 代表数据集。传感器类型：NRS 代表非重复扫描，RMB 代表旋转多光束。* 表示所提出的 HMR 方法利用弱监督来为提出的数据集中的 3D 数据进行标注。使用类似于 MEMS 的旋转镜。 d) 数据采集中传感器的局限性：在实际部署中，LiDAR 尤其容易受到恶劣天气的影响，如雾、雨、雪，甚至灰尘，这些统称为文献中描述的“天气引起的噪声”[^146]。在这些条件下，发射的激光束会发生背向散射和信号衰减，导致点云稀疏且产生大量噪声。除了天气之外，另一个局限性来自于玻璃表面，这与 LiDAR 运行的核心原理（反射率）相悖，因此会带来额外的挑战。雷达通常比 LiDAR 在恶劣天气中更可靠，因为它们使用更长的波长。但是，它们的性能在很大程度上取决于目标材料和反射率，并且分辨率有限，因此在远距离区分不同类型的障碍物时不可靠[^74]。例如，金属表面会增强雷达信号，而木材和玻璃等材料可能几乎不可见。相机提供高分辨率图像，但存在视野范围受限以及对光照条件高度敏感的问题，例如眩光或曝光不足/过曝。图 6 以比较的可视形式总结了这些与传感器相关的局限性。大多数现代自动驾驶系统集成了多个板载本体感知传感器，以更准确地了解周围环境。这个过程，称为多传感器融合 [^147]，汇总了超声波传感器、相机、激光雷达、雷达等的数据，以弥补单个传感器的局限性。有关传感技术及其挑战的全面概述，尤其是在自动驾驶/高级驾驶辅助系统 (ADAS) 中，请参阅以下综述 [^72]、[^74]、[^75]。 ---

TABLE II

COMPARATIVE ANALYSIS OF 3D HPE AND HMR METHODS BASED ON NETWORK ARCHITECTURES.

Method	3D Sp. Conv.	Atten. Mech.	CNN	GCN	GRU	MLP	Optim. Phase	PointNet	Point Trans.	Trans.	Off-the-shelf Component
HPE Methods
DAPT [^101]		☑				☑
FusionPose [^102]		☑				☑	☑		☑
GC-KPL [^103]							☑				2D detector (YOLO v5) [^127], 3D detector (STCrowd) [^128], 2D pose estimator OpenPose [^129], 2D feature extractor HRNet [^130]
HPERL [^104]			☑				☑				3D flow estimator Scene Flow Prior [^131]
HUM3DIL [^5]			☑								2D feature extractor VGG-16 [^132]
LiCamPose [^105]			☑								☑
LiDAR-HMP [^106]			☑				☑		☑		3D detector PointPillars [^133], 2D pose estimators [^130], [^134], [^135]
LiDPose [^107]											☑
LPFormer [^108]	☑ $\dagger$										3D Feature extractor LidarMultiNet [^136]. $\dagger$ from LidarMultiNet
MMVP [^109]				☑							2D keypoint feature extractor OpenPIFPAF [^137]
UniPVU-Human [^110]									☑		☑
VoxelKP [^111]	☑	☑					☑
WS-HPE [^112]				☑					☑
WS-Fusion [^113]							☑		☑		2D pose estimator AlphaPose [^135]
HPE & HMR Methods
LiDARCap [^114]				☑	☑	☑					SMPL module
LiDARCapV2 [^115]				☑	☑	☑		☑			SMPL module
LiDAR-HMR [^116]		☑		☑	☑	☑			☑
LIP [^117]			☑		☑	☑			☑		SMPL module
HMR Methods
CIMI4D [^12]							☑
FreeCap [^119]		☑				☑	☑				2D pose estimator RTMPose [^138], image-based SMPL pose estimator WHAM [^139], 3D pose estimator LiveHPS [^121]
HSC4D [^120]							☑				Ground points extractor CSF [^140], plane fitter RANSAC [^141]
Human-M3 [^109]							☑				3D detector PointPillars [^133], tracker AB3DMOT [^142], 2D Pose estimator ViTPose [^134], VPoser [^57]
LiveHPS [^121]		☑			☑	☑		☑
LiveHPS++ [^122]		☑			☑	☑		☑
NE-3D-HPE [^123]		☑		☑	☑	☑		☑
PEAR-Proj [^124]			☑	☑	☑	☑		☑			SMPL module
ReMP [^125]		☑				☑					2D feature extractor HRNet [^130]
SLOPER4D [^12]							☑				off-the-shelf SMPL
SMPLify-3D [^126]							☑				2D detector Detector [^143], tracker Deepsort [^144]
Image-based SMPL pose estimator CLIFF [^145], SMPL module

Optim. 表示优化 (Optimization)，Trans. 表示变换器 (Transformer)，Atten. Mech. 表示注意力机制 (Attention Mechanism)。Sp. Conv. 表示稀疏卷积 (Sparse Convolution)。由于注意力是变换器的固有属性，因此我们仅在单独使用时报告它。 ### III. 概述在表 I 中，我们对现有用于野外激光雷达点云的 3D 人体姿态估计和人体运动估计方法进行了全面总结。该比较按以下几个关键维度进行：输入模态；点云的辅助表示，例如鸟瞰图 (BEV)、深度图；使用时序信息；采用的监督类型；学习类型，指示模型是针对单个任务进行训练，还是同时进行多个任务的训练；使用合成数据；贡献是方法学方面的还是数据集方面的；激光雷达传感器的配置（单视图或多视图）；以及，如果可用，实时推理能力。我们还包括使用的激光雷达传感器类型，主要区分非重复扫描 (NRS) 和旋转多波束 (RMB) 传感器。在表 II 中，我们概述了所回顾方法的架构设计。值得注意的是，PointNet 及其变体经常被使用，因为它们具有天然处理无序点集的优势。一些较新的方法不再使用卷积模型，而是采用变换器，利用其能够对复杂空间关系进行建模的能力，这对于非结构化激光雷达数据至关重要。我们观察到变换器的使用方式多种多样：从以变换器为中心的架构到混合系统，后者使用变换器来处理解码或运动推理。此外，一些方法集成了开箱即用的组件，用于执行有针对性的子任务，例如 2D/3D 人体检测、2D/3D 特征提取和 2D 姿态估计。 --- ![Image](images/341495b4be90ab4eda6980cd21dc16fda030591529d175c7a13c5f1487571416.jpg)

Fig. 7. Systematic categorization of 3D HPE and HMR methods from LiDAR point clouds. We note that a single method may fall into multiple categories.

最后，图 7 呈现了我们的分类，该分类是根据现有方法中的常见趋势得出的。此外，图 8 详细说明了输入模态与学习范式的交互方式，为潜在的未来研究方向提供了见解。 ### IV. 基于激光雷达的 3D 人体姿态估计我们根据学习范式，将 3D 人体姿态估计方法分为三大类：监督学习、弱监督学习和无监督学习。具有全 3D 监督的监督人体姿态估计方法，即它们使用带有 3D 姿态标注的真实数据进行训练。相反，弱监督方法通过仅依赖 2D 关键点标注来放宽此要求，这些 2D 关键点更容易收集，无论是通过手动标注还是利用开箱即用的 2D 姿态检测器。最后，无监督方法在训练过程中完全避免使用任何人工姿态标注，而是利用替代的监督信号，例如自一致性、几何先验和合成数据。 ### A. 基于监督的、面向人类的姿态估计随着对强大且注重隐私的人体感知系统的需求不断增长，基于 LiDAR 的 3D 人体姿态估计已成为传统基于图像或多模态方法的有前景的替代方案。与相机不同，LiDAR 传感器提供丰富的深度信息，并且在注重隐私的环境中不太具有侵入性。尽管仅利用 LiDAR 点云进行准确的人体姿态估计具有挑战性，因为它们固有的稀疏性、非均匀性和不完整性，但最近的研究通过使用监督学习、新架构、训练策略和数据表示来解决此问题。 a) 针对稀疏性的设计：这些方法旨在应对 LiDAR 点云的稀疏性和不规则性，这会严重影响鲁棒性。 LidPose [^107] 针对非重复扫描 (NRS) LiDAR，该 LiDAR 会产生非均匀、稀疏且带有运动伪影的帧。LidPose 将场景点云映射到 2D 范围图像，并使用高斯混合模型将前景与背景分离。对前景进行处理以提取单个的人体实例，然后将这些实例投影到地面上以估计边界框。然后，它在一个受 ViTPose 启发的 Transformer [^134] 上处理实例级别的结构化多通道（全局坐标、深度、强度）表示。 LPFormer [^108] 采用一种两阶段的自上而下的设计，首先通过 LiDAR-MultiNet [^136] 进行检测和分割，该网络捕获全局的 BEV 和点级别的稀疏 3D 体素，从而捕获整个场景。这种特征的组合有助于克服非均匀密度。然后，通过在预测的 3D 人体框内的特征上条件化 Transformer 来进行关键点预测。 VoxelKP [^111] 拥抱稀疏性，通过将整个场景体素化为高分辨率的体素点云，并使用稀疏 3D 卷积进行学习。它集成了不同的注意力机制，以在无需密集监督或中间图像投影的情况下收集细粒度的空间上下文。Sparse-Selective-Kernel 注意力通过聚合多尺度的特征来收集空间上下文，而 Sparse-Box 注意力捕获属于非重叠场景分区之间的依赖关系。混合 MLP 和卷积特征用于学习精细到粗糙的融合。VoxelKP 放弃了先前的边界框检测。 LiDAR-HMP [^106] 侧重于使用原始的人体实例点云序列进行端到端的运动预测。它使用基于点网络的全局和感知部分特征来编码人体结构，然后使用运动查询对这些特征进行关注。生成的时空 --- ![Image](images/2828877823cbff6ca27e5e4017a221c5ed16e67234808b6b48fadf3c7b9d7ac9.jpg)

Fig. 8. Distribution of 3D HPE and HMR methods across input modalities and supervision levels. We observe that supervised HPE methods rely on LiDAR, whereas weakly supervised approaches tend to incorporate additional modalities alongside LiDAR. Notably, the use of reduced supervision remains largely unexplored in HMR. $*$ indicates that the proposed HMR methods leverage weak supervision for 3D data annotation in their proposed datasets.

特征提供粗略的关节估计，然后通过时空 Transformer 层逐步细化。它旨在从未过滤的、稀疏的和部分输入中进行学习，并依赖于辅助的点对点身体部分分割和特征融合来构建鲁棒的运动表示。 MMVP [^109] 和 HUM3DIL [^5] 通过模态融合来解决 LiDAR 的稀疏性问题。Human-M3 [^109] 将 MMVP 引入为 3D 人体姿态估计的多模态基准测试中的一个简单基线。MMVP 构建了一种结构化的体素表示，通过结合 RGB 数据来弥补不完整的 3D 信息，从而检测人体实例。它首先使用 OpenPIFPAF [^137] 从 RGB 图像中提取 2D 关键点热图，然后将其投影到 3D 空间，这需要使用相机-LiDAR 校准，从而有效地将基于图像的密集姿态线索提升到 3D。同时，它通过将 LiDAR 体积化为占用体积，从而结合了正则性和空间上下文。3D 热图和体素化地图通过结合 RGB 衍生的线索的空间完整性和 LiDAR 的几何精度，从而获得人体实例的建议。然后，这些融合的表示通过 3D CNN 进行处理，以回归最终的关节热图。类似地，HUM3DIL [^5] 融合了 2D 和 3D 特征，并通过视觉上下文丰富 LiDAR 点。在将 RGB 图像与点云的深度表示相结合后，HUM3DIL 使用 U-Net [^148] 从 RGB-D 输入中生成密集特征图。然后，通过 2D 投影，该特征图由点云查询，以获得像素对齐的特征。同时，使用 Random Fourier Encoding 提取 LiDAR 点特征。这些像素对齐的特征、每个点的特征以及相机内参组合在一起，并用作输入令牌，用于预测 3D 姿态。 UniPVU-Human [^110] 和 DAPT [^101] 首先学习具有强大特征的可泛化人类表示，所得特征随后会被迁移到人体姿态估计这类下游任务中。UniPVU-Human 通过多阶段框架解决稀疏性问题，在估计姿态之前先提取结构化的特定人体先验知识。初始的先验知识提取步骤在基于SMPL的合成点云上训练身体部位分割和运动流估计，从而借助人体中心先验支撑表示学习过程。随后进行语义引导的时空学习，对已完成部位分割的人体序列应用时域和空域掩码，再通过Mini PointNet [^149] 将其嵌入为部件级特征。这些特征被用于人体点云序列重建，使模型能够解决输入稀疏性问题。另一方面，DAPT [^101] 通过密度感知姿态变换器解决不规则性问题，通过多密度交换解决稀疏性问题，这使得可学习的关节特定嵌入能够与不同密度下的人体点特征进行交互。DAPT不对数值坐标进行处理，而是将人体实例点云 --- 沿每个空间轴输出一维热图，因此避免了在稀疏条件下不稳定的坐标回归问题。该设计能够耐受严重的点丢失、遮挡和密度变化。总的来说，这些方法展现了一系列稀疏性处理策略：结构化投影（LidPose [^107]）、BEV+体素混合融合（LPFormer [^108]）、全稀疏体素处理（VoxelKP [^111]）、直接序列建模（LiDAR-HMP [^106]）、RGB-LiDAR模态融合（MMVP [^109], HUM3DIL [^5]）、自监督掩码表示学习（UniPVU-Human [^110]）以及密度感知联合注意力Transformer（DAPT [^101]）。 b) Transformer 作为骨干：基于 LiDAR 的 3D 人体姿态估计 (HPE) 遵循了计算机视觉的趋势，利用 Transformer 来建模长程依赖关系和不规则的输入结构。之前提到的 LiDAR 点云的挑战促使使用 Transformer，因为它们提供了全局感受野和基于注意力的信息融合。在 [^5]、[^107]、[^108] 中，Transformer 通过对结构化局部特征进行注意力处理来优化每个实例或每个框的预测。 LidPose [^107] 采用受 ViT 启发的架构来处理人类的每个实例的多通道表示，并预测 3D 骨骼，从而利用 Transformer 的能力来模拟人体关节之间的关系，即使在某些关节部分或完全缺失的情况下也能实现。 LPFormer [^108] 首先检测人体边界框并提取体素级别和俯视特征。在第二阶段，其 Keypoint Transformer 采用这些局部空间特征以及关键点查询，使用多头注意力进行融合，并预测关节位置和可见性。虽然 [^107]、[^108] 仅将 Transformer 应用于 LiDAR 特征，但 HUM3DIL [^5] 结合了像素对齐的 RGB-D 特征和相机内参，以及 LiDAR 点云特征，以预测 3D 人体姿态。对于全局端到端的建模，Transformer 驱动整个流程，包括特征编码和关节估计，并根据密度调整注意力。更具体地说，DAPT [^101] 专注于一个完全基于 Transformer 的编码器-解码器。它使用一种 U-Net 风格的 Transformer 架构（基于 PTv3 [^150]），其中编码器和解码器都由在稀疏 LiDAR 点云上运行的点 Transformer 组成。它引入了可学习的关节锚点，以稳定不同点密度区域的学习。在这里，Transformer 不仅被动地聚合特征，而且主动地学习在哪里关注，从而在存在遮挡关节的场景中实现鲁棒性。同样，UniPVU-Human [^110] 也采用完全基于 Transformer 的编码器-解码器。基于 Transformer 的时空自注意力模块用于语义引导的表示自学习阶段。该模型遮蔽表示特定身体部位的令牌，然后在时间和空间上进行重建。对于人体运动预测 [^106]，Transformer 用于空间解码和时间建模。 LiDAR-HMP [^106] 通过 PointNet 和聚类从分割的人体点云中提取结构感知的身体描述符，并交替应用空间和时间 Transformer 来预测未来的姿态和点云。 STFormer（空间 Transformer）捕获帧内依赖关系（例如，手臂和腿部的运动关系）。 TTFormer（时间 Transformer）模拟跨帧的动态，根据观察到的片段预测合理未来的运动。在这里，Transformer 的注意力机制对于时间一致性和精细的运动预测至关重要，尤其是在历史帧稀疏或部分遮挡的情况下。即使没有显式的转换器 [^111]，类似于注意力机制的模块有助于捕捉对关键点估计至关重要的上下文关系。 VoxelKP [^111] 通过模块（如稀疏框注意力，它以结构化的网格捕获局部体素依赖关系，以及选择性核模块，它选择性地聚合不同感受野的特征）体现了注意力的理念。尽管没有被标记为转换器，但它们表明，无论是显式的还是架构上的注意力机制，都可以处理 LiDAR 点云的不规则性。 c) 扩展 3D 姿势的监督：许多工作使用辅助任务（例如，身体部位分割、人体运动预测或关键点预测）来引导学习，从而获得更结构化和可重用的特征。 LPFormer [^108] 利用人体部位分割的辅助任务。通过同时学习识别人体区域和预测关键点，它可以更稳健地处理遮挡和部分视图。 LiDAR-HMP [^106] 进一步扩展了这个想法，通过预测未来的点云序列来进行辅助监督。最终输出包括预测的关节和未来的人体点云帧。 HUM3DIL [^5] 利用 2D 注释作为辅助信号，以强化在人体实例级别的 3D 监督。它使用已知的相机参数将 3D 预测投影到图像平面，并使用 2D 注释进行监督。诸如 [^101] 和 [^110] 等工作使用辅助监督来进行预训练。 UniPVU-Human [^110] 使用先验知识提取来训练两个辅助模块，这些模块在 --- 在学习主干表示之前，需要先基于合成数据集进行预处理。人体分割（HBSeg）模块使用PointNeXt-L [^151]将每一帧分割为九个解剖结构上独立的身体部位。人体运动流估计（HMFlow）模块通过估计帧间运动，并使用基于FLOT的最优传输 [^152]学习软逐点对应关系，捕捉时间动态信息。类似地，DAPT [^101]通过对合成生成的人体点云完成关键点回归和身体部位分割任务，提取人体先验信息。这些预训练模块丰富了token表示，将显式的几何先验和时间先验注入到表示学习过程中。 d) 从合成数据中学习：仅使用 LiDAR 的人体姿态估计面临的关键挑战是缺乏大规模的标注数据集，这主要通过合成数据生成和积极的数据增强来解决。 DAPT [^101] 和 UniPVU-Human [^110] 具有基于 SMPL 参数模型的合成流水线。 DAPT [^101] 将人体网格放置在随机姿势和环境中，然后通过光线投射模拟扫描它们。它们的身体和形状参数是从 LiDAR Human26M [^114] 中提供的真实 SMPL 数据中采样的，这些数据使用 IMU 进行标注。此过程生成逼真且多样化的点云。此外，SMPL 的面部标签图用于为点分配身体部位标签，而遮挡是通过激光遮蔽来模拟的。 UniPVU-Human [^110] 采用与射线投射和激光雷达点云中逐点部分标注类似的流程，其中身体和形状参数是从 AMASS 运动数据集 [^153] 中采样的。此外，它利用连续帧中的 SMPL 顶点作为代理，以估计生成的点云的运动流。这两种方法都通过在合成数据上进行预训练并在真实数据上进行微调，显著提高了性能。图 9 描述了生成逼真合成激光雷达点云数据集的关键步骤。此流程通常用于 HPE 和 HMR 方法，这些方法将合成数据用作其整体训练策略的一部分。与此同时，VoxelKP [^111]、LPFormer [^108] 和 LidPose [^107] 依靠诸如视锥体删除、帧混合、随机上/下半身裁剪和随机变换等数据增强技术来增加样本多样性。它们专注于扰动真实的激光雷达场景，以模拟运动、遮挡和噪声。 ### B. 弱监督人体姿态估计在自主系统中，利用激光雷达和 RGB 数据的多传感器融合开辟了新的可能性。 ![Image](images/2b08af89bdd30c31984091a860ce50e795bafc1cf20136c0418225416d3ab367.jpg)

Fig. 9. Overview of a synthetic LiDAR point cloud generation pipeline. SMPL meshes are sampled from a database such as AMASS [^153] and scanned using a simulated LiDAR via ray casting. This pipeline is commonly adopted by 3D HPE and HMR methods covered in this survey that leverage synthetic data for training.

用于 3D 人体姿态估计。然而，密集 3D 标注的成本仍然是一个主要瓶颈。最近的研究侧重于利用 2D 标注来避免需要大量的 3D 标签，从而实现弱监督。这些 2D 标注可以是地面真实标签或从预训练的离线网络获得的伪标签。模态融合和时序线索集成是用于从激光雷达数据进行弱监督 3D 人体姿态估计的关键策略。我们展示了一个典型的弱监督方法流程，常见组件如图 10 所示。 a) 通过弱监督弥合标注差距：如图 8 所示，所有弱监督方法都依赖于多模态输入。伪标记、投影一致性、辅助任务以及损失函数的设计都是减轻标注瓶颈的策略。 HPERL [^104] 输出 2D 和 3D 预测结果，完全受 2D 标注的监督。该方法使用 LCRNet [^154] 中预定义的 2D 和 3D 姿态锚点的一个子集，并将它们与从整个激光雷达场景和图像输入中提取的感兴趣区域相结合。接下来，它使用模型预测的姿态增量来优化锚定姿态。该弱监督方法结合了 2D 和基于投影的 3D 损失，并对 2D 关键点应用平滑 L1 损失。相比之下，WS-HPE [^112] 在人体实例级别运行，并通过投影直接从 2D 关键点生成 3D 伪标签。该方法需要可靠的相机内参和外参，以便将激光雷达点投影到图像平面，然后将每个 2D 地面真实关键点与 --- ![Image](images/46f07c390df5e43ed180b6b8adf5bff0080bfeaef0be6e9417ccdf3655e92612.jpg)

Fig. 10. Overview of key components in weakly-supervised methods. An essential component in these pipelines is the use of 2D pose information. This may take the form of 2D poses ( $P_{2D}$), either from ground-truth annotations or obtained via an off-the-shelf detector, or 2D features ( $F_{2D}$) extracted by an off-the-shelf 2D pose estimator. These 2D cues are then fused with 3D features ( $F_{3D}$) through a dedicated fusion network, which can be implemented as an attention mechanism, a dense layer, or a transformer-based module to predict 3D poses $\hat{P}_{3D}$. Dashed lines indicate optional blocks.

最近投影的激光雷达点关联。WS-HPE 采用基于伪点云 3D 标签的部分分割任务。姿态估计分支使用生成的 3D 标签进行回归 Huber 损失训练，而分割分支使用交叉熵进行训练。辅助分割分支引入了密集学习信号，以补偿姿态监督的稀疏性。 WS-Fusion [^113] 在人类实例级别运行，它通过在目标数据集上无需任何地面真实标签进行训练，进一步推进弱监督。唯一的监督信号来自在输入图像上预测的 2D 关键点。这些预测使用开箱即用的提取器 AlphaPose [^135] 获得，并通过将人体 LiDAR 点投影到图像空间并计算每个 2D 关键点注释附近的 3D 坐标的加权平均值，将其提升为 3D 伪标签。与 WS-HPE [^112] 相比，WS-Fusion 建议在点云空间而不是图像平面中直接进行加权，认为 3D 空间结构应指导伪标签的构建。生成的 3D 关键点通过 MPJPE 损失来监督网络。 FusionPose [^102] 在时间结构设置中应用弱监督。它放弃了 3D 姿势注释，而采用了由 OpenPose [^129] 生成的 2D 多人伪标签。这些 2D 预测通过三种损失来指导训练，这些损失分别监督关键点运动图、预测的 3D 姿势的投影与 2D 检测之间的一致性，以及通过将预测的关节限制在随时间窗口计算的平均值来强制预测关节的稳定性。此外，该方法通过预测的 3D 关键点与观察到的人体点云之间的 Chamfer 距离来强化输出的几何一致性。 LiCamPose [^105] 采用一种混合方法，结合了弱监督和领域自适应。它首先在合成数据上进行有监督的预训练，其中使用标准姿势数据集的 3D 注释来动画化人类头像骨架。然后，通过基于 NRS 的光线投射来模拟 LiDAR 点云。最后，在真实世界数据上使用无监督损失进行微调。关键思想是一种基于熵的过滤策略，用于选择 3D 热图中的置信预测作为用于下一轮的 3D 伪标签。它通过对称损失、骨骼长度和合理角度约束以及使用来自 RGB 输入的 2D 伪标签的投影损失来监督学习。这些 2D 伪标签由 ViT-Pose [^134] 或 AlphaPose [^135] 提取。在 LiCamPose [^105] 的基础上，SA-VR 系统 [^155] 通过多视图跟踪来增强该流程，以支持场景范围内的运动分析和 VR 可视化。它采用一种基于检测的跟踪范式，具有两个分支。首先，点云分支同步和合并多视图 LiDAR 扫描，将云光栅化为 BEV 表示，并使用 Point-Pillars [^133] 处理它。其次，图像分支通过 CNN 处理同步的多视图图像，并将它们投影到共享的 BEV 空间。这些 BEV 对齐的特征被联合用于检测 3D 边界框，从而实现帧之间一致的玩家定位。然后，将外观 (RGB) 和几何 (LiDAR) 特征融合，以进行多模态数据关联和时间跟踪。该系统表明，通过 LiCamPose 实现的鲁棒 3D HPE 如何在现实世界的应用中扩展和部署，例如运动分析和沉浸式 VR 观看。与 HPERL [^104] 和 WS-HPE [^112] 不同，后者依赖于地面真实 2D 注释，WS-Fusion [^113]、FusionPose [^102] 和 LiCamPose [^105] 将弱监督推向极致，完全依赖于 2D 伪标签。 --- 从市售模型和几何投影中获取的标签，用于引导3D学习。值得注意的是，这些市售模型（例如ViT-Pose [^134]、AlphaPose [^135]、OpenPose [^129]）是在监督模式下，使用2D地面真值标注进行训练的。时序推理。激光雷达驱动人体姿态估计的最大挑战之一是数据稀疏性。虽然空间融合有所帮助，但加入时序一致性效果更佳。FusionPose [^102] 通过一个图像到点交叉注意力模块和GRU编码器，融合RGB和激光雷达特征，对一系列帧进行处理，从而提取时间一致的关节特征，以解决大规模多人人体姿态估计问题。最终的姿态预测通过运动和一致性约束来优化初步的3D关节。FusionPose展示了运动作为监督，即使在数据稀疏或噪声的情况下，时序一致性也有助于学习鲁棒的表示。 b) 通过融合连接模态：结合2D和3D特征是多模态人体姿态估计的核心，如图8所示，所有弱监督方法都是多模态的。大多数策略的不同之处在于，它们在流水线中尽早还是尽晚地合并模态。一些方法通过学习的注意力隐式地对模态之间的特征进行对齐。 HPERL [^104] 在流水线中较晚地融合2D和3D特征。它将激光雷达场景点云编码为BEV地图，并使用标准的卷积骨干网络处理图像。每个模态的特征图会经过两个步骤。首先，使用预定义的锚点网格从地图中提取区域，方法是RoI对齐，然后进行跨模态特征平均。一个区域提议网络预测对象性得分，并优化区域。其次，使用更新后的区域再次进行RoI对齐，以重新提取特征图，然后进行跨模态特征连接。融合后的特征用于对锚点姿态进行分类，并使用受LCRNet启发的架构进行优化。HPERL在对象级别运行，将从每个模态的相应空间区域中提取的高级表示进行组合。 WS-HPE [^112] 通过直接将2D关键点热图与激光雷达点集成，执行低级别的特征融合。首先，一个2D姿态估计网络处理RGB图像，生成关键点热图，这些热图经过高斯平滑，并在3D激光雷达点的投影位置进行查询。这用纹理信息丰富了几何激光雷达点。WS-HPE为每个点提取一个K维向量（K是关节关键点的数量），表示该点靠近每个关节的可能性，并将这些向量与原始3D坐标连接。一个基于PointNet的网络使用完整的（K+3）维特征进行3D姿态回归，以及辅助的身体分割任务。这种早期融合产生点级别的特征，该特征将几何结构与姿势特定的语义线索结合在一起。 WS-Fusion [^113] 分别处理2D和3D特征，并在预测3D关键点之前进行后期融合。一个独立的模块处理激光雷达数据，使用点网络生成3D关节预测，而另一个模块将预训练的姿态估计器获得的2D关键点提升到3D。最终的姿态预测通过一个密集层组合两个3D输出，该密集层对每个模态的贡献进行加权。这种高级融合策略使网络保持模块化和灵活。 FusionPose [^102] 是一种将多模态特征组合起来最具动态性和灵活性的方法，它引入了交叉注意力机制，可以在无需校准的情况下融合图像和点云特征。该架构包括一个名为 IPAFusion 的专用图像到点注意力融合模块，该模块无需显式投影即可学习图像派生的特征和 LiDAR 点云特征之间的对应关系。一个 PointNet [^149] 处理点云，一个 HRNet [^130] 处理图像。自注意力层使用由此产生的特征来捕获全局上下文，而点查询与图像键/值的交叉注意力产生每个点的融合描述符。这种方法使系统能够学习如何以及在哪里从图像空间传输信息到点空间，从而自适应地融合局部几何信息和语义内容。一个时序模块进一步优化融合输出。 LiCamPose [^105] 实现了基于体素融合的架构，其中来自两种模态的特征在并行分支中进行处理。RGB 热图（通过多视图 2D 姿态检测器获得，然后投影回 3D 空间）和分割的人体 LiDAR 点云分别进行体素化，并使用 V2V-Net [^10] 进行编码。然后连接这些体素特征，并通过一个融合模块来预测关节位置的热图。通过在共享的 3D 体素空间中运行，LiCamPose 即使在模态对齐不完美的情况下也能实现融合。最终的关节位置是通过对融合热图进行软最大池化来推断的。这种体素融合策略虽然计算成本高昂，但已被证明在处理遮挡和扫描模式引起的稀疏性方面具有鲁棒性。LiCamPose 不仅融合了多模态数据（RGB + LiDAR），还融合了多 LiDAR 输入，汇总来自多个视图的信息，以构建场景的更完整体素表示。这种多 LiDAR 融合设计在单 LiDAR 传感器可能由于自遮挡或视场限制而无法捕捉到人体某些部分的情况下，特别有效。 --- ![Image](images/afc44169d73c9d1155e3b2e12310df6a89930fe82743680c6525b34becf7cfe0.jpg)

Fig. 11. Overview of synthetic pretraining used in GC-KPL [^103], ReMP [^125], and UniPVU-Human [^110]. These approaches typically follow a two-stage training strategy. In the first stage, the models are pretrained on synthetic datasets to learn generalizable features through prior task learning. In the second stage, the pretrained weights are fine-tuned on real LiDAR datasets, with the objective of adapting the models to downstream tasks such as 3D HPE, 3D HMR, and action recognition.

单个激光雷达传感器可能会因自遮挡或视场范围有限，遗漏人体的部分区域。总而言之，这些方法不仅在融合 2D 和 3D 特征的时间上有所不同，无论是早期阶段（WS-HPE [^112]）、中期阶段（HPERL [^104]）还是晚期阶段（WS-Fusion [^113]、LiCamPose [^105]），而且还在它们对齐的显式程度方面有所不同。一些方法依赖于精确的几何投影，另一些方法依赖于对象级别的区域，而另一些方法（如 FusionPose [^102]）通过注意力学习对应关系，而无需直接投影。它们共同代表了一组用于在统一学习流水线中集成稀疏深度信息和密集语义信息的多样化策略。神经网络架构的选择因模态的融合位置和方式而异，从 CNN 和 PointNet 到 Transformer 和基于注意力的模块。WS-HPE [^112]、WS-Fusion [^113] 和 FusionPose [^102] 采用 PointNet [^149]、[^156] 作为 LiDAR 的骨干网络，但 FusionPose 集成了交叉注意力机制和一个 GRU 时序模块，以捕获语义对齐和运动一致性。较早的 HPERL 使用 VGG-16 [^132] 编码器从图像和 LiDAR BEV 映射中提取特征，并通过 RoI 对齐融合结果。WS-Fusion 采用双分支网络，独立地从 3D 提升的 2D 关节和 LiDAR 中预测 3D 姿态，并通过一个简单的密集层在最终嵌入级别进行融合。这些研究共同强调了伪标签生成可靠训练信号的几个常见主题：3D到2D投影、2D到3D提升以及相机-激光雷达校准。辅助任务（例如分割）有助于在稀疏监督条件下强化学习。预训练的2D网络充当“教师”，从而可以在没有昂贵标签的情况下实现3D推理。Transformer和基于注意力的架构可以对跨模态和时间的长程依赖关系进行建模。 ### C. 无监督人体姿态估计与监督和弱监督方法相比，无监督学习仍然相对较少被探索，只有GC-KPL [^103] 通过精心设计无监督损失函数来显式解决这个问题。 GC-KPL [^103] 采用两阶段流水线，首先在受监督的合成数据上进行预训练，然后通过自监督方法在未标记的真实激光雷达序列上进行细化（图 11），它通过几何先验而不是标注来学习人体结构。一个流损失鼓励时间一致性，确保肢体表面点在帧之间保持径向和轴向坐标。一个点到肢体损失最小化每个肢体段中的点与其预测的肢体轴之间的距离，并根据分割置信度进行加权。一个对称性损失进一步正则化肢体预测，要求具有相同轴向坐标（沿肢体）的表面点具有相似的径向距离。最后，一个关节到部分的损失鼓励预测的关键点靠近其相关表面点的几何中心，即使真实的关节位置可能并不完全位于中心，这是一种非常规的约束，可以在没有标签的情况下提高鲁棒性。这些损失的加权组合形成学习目标，引导网络利用仅有未标记的数据开发人类姿态的有意义、解剖学上一致的内部表示。在后续评估中，GC-KPL [^103] 在无监督设置和数据高效学习场景中均表现出强大的性能。对于HPE的无监督评估，他们报告了通过匈牙利匹配在预测和标注的关键点之间建立对应关系后，在匹配的关键点上的MPJPE。为了展示其预训练网络在数据高效训练中的有效性，GC-KPL使用1%或10%的标注数据对预训练模型进行微调，表明自监督预训练可以显着提高性能，尤其是在低数据条件下。 ### V. 从激光雷达恢复3D人体网格 ### A. 仅使用激光雷达进行人体网格恢复尽管存在由稀疏、噪声和遮挡的点云带来的挑战，但单模态基于激光雷达的人体网格恢复显示出很有前景的结果。 --- ![Image](images/8f02a719b6fe5cfc0083887d8cf2fd214ba26728a5a2297e02d91cb5a4d35385.jpg)

Fig. 12. Common Training Pipeline of a LiDAR-based Mesh Recovery. The HMR methods typically leverage temporal information and, in many cases, incorporate additional modalities such as images or IMUs. The pipeline generally begins with the extraction of spatio-temporal features from the input data. For LiDAR point clouds, PointNet and variants [^149], [^156] are widely used to obtain spatial representations $F_{3D}(t)$, while bi-GRU $^r$ capture temporal dependencies, producing enhanced features $F_{3D}(t)$ and global descriptors $F_{3D_{global}}^{r}$. When multiple modalities are available, a fusion step combines their representations before proceeding to preliminary 3D keypoint estimation. These keypoints, $\tilde{P}_{3D}(t)$, are predicted via an MLP decoder applied to the spatio-temporal features. The estimates are then refined by a Pose Optimizer, which employs either ST-GCNs [^159] or spatio-temporal attention mechanisms to produce refined predictions $\tilde{P}_{3D_{refined}}(t)$. Finally, the refined keypoints are mapped to SMPL parameters through a dedicated module. This module can vary across approaches, ranging from off-the-shelf SMPL regression networks to attention-based designs or inverse-kinematics solvers, ultimately yielding the reconstructed human mesh.

a) 稀疏到密集重建：在基于激光雷达的网格恢复中的一项基本挑战是从稀疏和不完整的点云转换成全身密集3D网格。LiDAR-HMR [^116] 提出了一种两阶段级联架构，该架构逐步从原始激光雷达稀疏姿态估计中重建密集网格。姿态回归网络 (PRN) 利用 PointTransformer-v2 [^157] 作为骨干网络，并结合投票模块来估计一组稀疏的人体关键点，这些关键点被细化并发送到网格重建网络，使用 Graphormer [^158] 迭代地密集化网格。使用降采样的地面真相网格的中间监督可以提高稳定性和质量。 b) 空间-时间建模以提高鲁棒性：为了使基于 LiDAR 的人体姿态估计更接近实际应用，最近的研究引入了空间-时间建模，以利用上下文推理，并克服遮挡和人与物体交互的问题。这些方法在时间上利用局部和全局特征，结合上下文和时间线索，并从嘈杂和不完整的原始 LiDAR 数据中重建网格。常见流程如图 12 所示。 NE-3D-HPE [^123] 通过构建两个空间结构来显式地建模上下文：3D 扫描邻域 (3SN) 和 3D 背景邻域 (3BN)。对于每个分割的人体点云，3BN 收集在人体中心 2 米欧氏距离范围内的周围点，而 3SN 将人体点云转换为极坐标，并在给定的角度窗口和径向范围内选择点。完整的输入由一系列人体点及其相关的 3BN 和 3SN 上下文组成，这些上下文以局部坐标表示。使用三个 PointNet++ [^156] 编码器独立地为每个模态提取特征，然后通过一个具有 3SN 的自注意力、模态间的交叉注意力以及全局自注意力的相干融合模块进行融合。融合后的特征用于回归 3D 关键点，这些关键点以及一个全局描述符，允许一个空间-时间条件图神经网络 (ST-CGN) [^159] 预测关节旋转。该网络使用中间损失函数进行端到端训练，这些损失函数应用于关键点、SMPL 回归关节和身体姿势。 LiDARCap [^114] 通过时间图建模来解决运动捕捉问题。其三阶段架构从一个时间编码器开始，该编码器使用 PointNet++ [^156] 处理分割的人体 LiDAR 帧序列以提取每个帧的特征，然后使用双向循环神经网络 (bi-GRU) 融合时间信息。使用多层感知机 (MLP) 解码编码序列，以生成稀疏的关键点预测。这些预测以及时间嵌入被馈送到一个逆运动学求解器，该求解器构建一个图来捕捉帧内和帧间关键点之间的关系。一个 ST-GCN [^159] 回归关节旋转，这些旋转随后传递到一个现成的 SMPL 模型以回归网格。同样，损失函数应用于中间关键点、SMPL 回归关节和身体姿势。在真实的户外环境中，遮挡和与物体的交互会降低 LiDAR 点云的质量，并对现有方法构成挑战。为了提高在遮挡和人与物体交互情况下的鲁棒性，LiDARCapV2 [^115] 在 LiDARCap [^114] 的基础上，通过引入一个抗噪的、增强噪声的分割模块 (AgNoiseSegment)。该组件在训练过程中注入逐渐衰减的高斯噪声，以帮助分割网络区分人和附近的物体。一个 bi-GRU 骨架提取器和一个基于 ST-GCN 的逆运动学模块可以优化姿势估计，以在部分可见的情况下进行姿势估计。ST-GCN 随后与 LiDARCap [^114] 和 NE-3D-HPE [^123] 相同的 SMPL 模块配合使用，并使用相同的损失信号。 LiveHPS [^121] 旨在在不受约束的环境中实现实际部署，它通过结合运动优化和场景级别的 SMPL 估计，构建一个轻量级的流程。该方法从一个基于 PointNet-GRU 的 --- (灵感来自 LiP [^117]) 身体跟踪器，用于从非结构化点云中预测人体关节。为了在受遮挡和不同帧中点数变化影响的 LiDAR 场景中引入规律性，它引入了基于顶点引导的自适应蒸馏：通过 k-NN 匹配，将地面真实网格顶点与 LiDAR 点对齐，并通过 KL 散度和关节 MSE 损失将顶点特征蒸馏到点特征中。引入了连续姿态优化器，以提高时间上的连贯性。对于每个帧，每个关节都会学习关注其骨骼中的相邻关节以及自身在时间窗口内的信息。最终阶段，一个基于多头注意力的 SMPL 求解器，用于回归形状参数、身体姿态和全局平移。整个模型通过关节、顶点、SMPL 参数的 MSE 损失以及从点云到网格顶点的单向 Chamfer 距离进行监督。 LiveHPS++ [^122] 扩展了 LiveHPS [^121]，以应对极端噪声和动态交互造成的运动鲁棒性问题。它引入了基于轨迹的身体跟踪器，其中人类轨迹和人类点云序列是联合编码的。一个冻结的预训练特征编码器，从地面真实网格顶点和轨迹中提取特征，使用基于顶点轨迹的自适应蒸馏将结构化特征蒸馏到主模型中。为了防止由于嘈杂的父关节预测而引起的运动学不一致性，一个对噪声不敏感的模型使用交叉注意力来预测预测的关键点的速度向量和全局平移特征，并使用交叉注意力将它们与原始点关联起来。此外，一个具有运动学意识的姿态优化器会从先前的步骤生成多个关节候选值，并对其进行优化。最终的 SMPL 求解器阶段与 LiveHPS 相同。 c) 基于蒸馏的潜在先验学习：与前述方法不同，这些方法依赖于密集监督和真实世界的标注 LiDAR 扫描，ReMP [^125] 引入了一种基于弱监督的学习方法，该方法基于在各种运动捕获来源中训练的可重用运动先验。它利用基于 Transformer 的变分自编码器，使用来自 AMASS [^153] 数据集的 SMPL 参数来学习人类运动序列的时空潜在空间。一旦训练完成，此运动先验将保持冻结状态，并泛化到不同的模态，包括 LiDAR。在下游的 HMR 任务中使用 LiDAR 数据时，ReMP 通过一个蒸馏流程，将原始点云序列映射到可重用的潜在运动空间。一个基于 PointNet 的编码器从每个 LiDAR 输入帧中提取高级空间特征。一个基于 Transformer 的蒸馏模块将这些特征与冻结的 Transformer-VAE 运动先验学习的潜在分布对齐。这种对齐使用合成 LiDAR 数据进行训练，该数据是从运动捕获数据集（如 CMU [^160]）生成的，其中以已知 SMPL 网格序列渲染出类似于 LiDAR 的点云（图 9）。由于合成数据具有地面真实姿态、平移和形状参数，因此可以进行自监督训练，从而训练点编码器和潜在映射器。在训练过程中，模型使用身体姿态、角速度、根平移和速度以及与运动先验的潜在空间的一致性（使用 KL 散度）进行优化，并对 SMPL 顶点和关节进行重建损失优化。训练完成后，该模型可以直接在真实 LiDAR 数据集上进行测试，展示了 ReMP 从合成到真实数据的强大泛化能力。我们注意到，ReMP 也可以接受 IMU 或深度图，并将学习到的先验蒸馏到这些模态中，这表明基于 SMPL 的先验可以轻松地转移到不同的模态，从而在推理时可以灵活地仅使用 IMU 或深度数据。 ### B. 将激光雷达与其他模态融合以进行人体网格重建为了应对运动捕捉的长期挑战，包括遮挡、校准依赖性和大型环境中全局定位，现在将激光雷达与其他传感器模态（如RGB相机和惯性测量单元）集成变得越来越流行。这些方法可以归纳为三种方法范式：在动态场景中进行无校准融合、具有惯性信号的分层传感器融合以及用于大规模注释的场景感知优化流程。 a) 无校准融合：无校准系统利用RGB和激光雷达在开放和不受约束的环境中进行人体网格重建。 FreeCap [^119] 从姿势感知跨传感器匹配算法开始，以在激光雷达点云和多视图图像之间关联人体实例。它使用来自WHAM [^139]和RTMPose [^138]的2D SMPL身体姿势参数和关键点，以及来自LiveHPS [^121]的3D对应关系。匹配通过使用局部2D和3D姿势的余弦相似性进行匈牙利匹配进行初始化，然后根据局部和全局身体姿势的3D到2D重投影误差作为目标函数，使用透视-n-点法来获得相机姿势进行细化。对齐的序列被传递到可扩展传感器姿势优化器，其中MLP编码2D运动、图像、3D运动和点云特征。自注意力模型捕获每个模态内的时序交互，而双向交叉注意力捕获跨模态关系。最后，丰富的2D/3D特征 --- 被解码为2D/3D关节，并使用时序注意力网络估计SMPL参数。 SMPLify-3D [^126] 通过一个无校准框架来补充FreeCap [^119]，该框架可以利用激光雷达线索来优化基于图像的预测，例如来自CLIFF [^145]的预测。它应用了一个受反向裁剪算法启发的可见性过滤器，并通过迭代最近点法将可见网格面与稀疏激光雷达点对齐。随后，它通过优化和受先验和可见性感知损失引导的对齐来进一步细化。这种设计可以在遮挡情况下实现鲁棒的性能，从而优于仅基于图像的方法。 b) 激光雷达和IMU/RGB的融合：这些方法探索了这些模态的分层融合，从而可以在时间和空间上实现鲁棒的运动捕捉，特别是在远距离或遮挡情况下。激光雷达辅助惯性定位仪 (LiP) [^117] 提出了一种轻量级且可扩展的运动捕捉流程，该流程使用单个激光雷达传感器和四个稀疏惯性测量单元。该方法从全局时序姿势先验蒸馏步骤开始，其中使用PointNet [^149]和双向GRU对随时间变化的激光雷达点云进行编码，以推断粗略的关节位置和根方向。然后，使用分层反向运动学网络进一步细化这些参数，该网络集成惯性测量单元读数以预测准确的关节旋转。为了解决惯性测量单元的漂移和定位限制，LiP引入了一种轨迹引导的翻译校正机制，该机制使用时序激光雷达序列来预测人体实例的估计根和全局位置之间的差异。 LiP通过引入LiPD数据集来提供支持，该数据集是一个长程激光雷达-惯性测量数据集。 HmPEAR [^124] 提出了一个大型的多模态数据集，用于 3D 人体姿态估计和人体动作识别。为了展示该数据集的实用性，作者引入了 PEAR-Proj，这是一种模型，它联合学习 RGB 图像和点云序列的姿态和动作表示。 PEAR-Proj 使用 HRNet [^130] 和 PointNet++ [^156] 来提取多模态 RGB 和点云特征，并使用一个时序双向 GRU 编码器，该编码器对多模态特征进行操作，以提取帧级和序列级特征。帧级特征被映射到 3D 关键点预测，然后 ST-GCN [^159] 使用这些特征和关键点的连接来生成每个帧的动作标签。另一方面，序列级特征被解码为形状，并与 3D 预测关键点结合，然后输入到 HybrIK [^161] 以获得 SMPL 网格。训练在姿势和动作标记的片段之间交替进行，联合优化姿势和交叉熵损失。他们表明，联合训练可以提高姿势和动作识别的准确性。 ![Image](images/8a72bfc63cbe3334f199fbdea0064bf875ac18c81abc4b8c8565aec360ffd268.jpg)

Fig. 13. The common multi-model optimization pipeline for HMR methods. Optimization-based HMR is mostly used in dataset papers for their annotation pipeline, which mainly relies on a temporal optimization loop. The pipeline begins by capturing multiple modalities through well-synchronized and calibrated sensors. These inputs are then processed according to their type. For instance, if image data is available, a 2D pose sequence $P_{2D}(t)$ is extracted using an off-the-shelf pose estimator. When IMU data is present, a MoCap-based solution provides an initial estimate of the SMPL mesh parameters $\theta_{init}(t)$. In scenarios where scene-level mesh reconstruction is required, LiDAR SLAM or graph optimization techniques are applied to jointly process LiDAR and IMU inputs. Finally, an optimization loop refines the SMPL parameters by integrating cues from the 2D poses, LiDAR point clouds, and the initial SMPL estimates. This process is guided by task-specific losses and priors, and typically relies on optimization methods such as gradient descent or L-BFGS [^162].

c) 多模态优化流程：这些流程是场景感知的，通常用于数据集生成或精细标注。它们通常结合使用 LiDAR、RGB 和 IMU 数据，以确保全局一致性、流畅的运动和合理的人体与场景交互。它们的常见流程如图 13 所示。 SLOPER4D [^12] 和 HSC4D [^120] 共享一个通用的优化流程。 HSC4D 使用可穿戴 LiDAR 和 IMU 捕捉人体运动和 3D 场景。这是一个用于所提出的同名数据集的数据标注框架。它通过 LiDAR 驱动的 SLAM 构建完整的 3D 场景地图，并通过基于图的优化过程融合 IMU 和 LiDAR 轨迹。图的节点表示 IMU 姿态，而边编码相对变换。在对齐这些轨迹后，一个联合优化过程迭代地优化整个运动序列，并受物理启发约束的引导，例如脚与地面的接触、方向平滑以及减少脚的滑动。最终结果包括与一致的 3D 场景对齐的时序 SMPL 网格序列，从而产生高质量的人体与场景交互标注。 SLOPER4D [^12] 扩展了 HSC4D [^120] 数据标注框架，以标注其新提出的 --- ![Image](images/29c917c4f9ebde2f3fa16f2c69029fc267757c4c6363de6eb20a26b77dfbafc3.jpg)

Fig. 14. Comparison of LiDAR point cloud datasets for 3D HPE and HMR. For each dataset, we show an example scene and a person instance, which is depicted with a red bounding box in the scene. The figure shows differences in scanning patterns across datasets. For example, while both WOD [^7] and SLOPER4D [^12] are captured using RMB pattern LiDARs, SLOPER4D achieves a denser scene due to its sensor having twice as many beams. In contrast, Human-M3 [^109] produces the sparsest point clouds, as its NRS pattern requires longer integration times for higher density. Self-occlusion is visible in WOD (e.g., cars) and SLOPER4D (e.g., humans), where only surfaces facing the sensor are captured. Human-M3, however, shows no self-occlusion because it fuses four LiDAR views in a post-processing step, covering all sides of the scene. Note that the humans shown in each example are at different distances from their respective sensors, which partly affects point density. This figure should be used primarily to compare scanning patterns and general scene characteristics; for fair comparisons of human point cloud density, refer to Section VI-D and particularly Table V.

SLOPER4D 数据集。为了实现这一点，他们还利用 RGB 数据。图像使用 Detectron [^143] 和 DeepSort [^144] 进行人体检测、2D 关键点和跟踪，同时使用 VDB-Fusion [^163] 构建融合的 LiDAR 场景，以确保消除移动伪影。然后使用类似于 HSC4D 的损失来优化 MoCap 的 SMPL 参数，此外还包括网格到点的对齐和相机重投影损失。这种网格到点的对齐实现了基于可见性的注册，从而在遮挡情况下提高了准确性。 CIMI4D [^118] 是另一个扩展 HSC4D [^120] 的框架，用于捕捉参与攀登活动的受试者。与基于 SLAM 的流程不同，背景的静态特性使得构建场景网格和点云序列变得简单。类似于 SLOPER4D [^12]，它进一步地通过结合 RGB 数据来扩展模态。此外，CIMI4D 在帧级别同步模态，与 HSC4D 和 SLOPER4D 使用的序列级别同步不同。受 SLOPER4D 的注释流程的启发 [^12]，SMPLify-3D [^126] 在图像驱动的网格恢复模型（如 CLIFF [^145]）的基础上，通过 LiDAR 驱动的优化来改进预测。该框架首先使用 CLIFF 生成初始的 SMPL 网格预测。受到背面裁剪算法的启发，它然后应用一个由可用的 2D 置信度得分和 SMPL 身体部位到面的映射引导的可见性过滤器。这确保了在优化过程中不考虑不可见的网格面。它使用迭代最近点法 (Iterative Closest Point) 将可见的网格面与稀疏的 LiDAR 点对齐。然后，通过一个扩展的优化过程来改进这种对齐，该过程通过优化 SMPL 参数来变形 SMPL 网格，使其更好地拟合人体点云。它结合了多个损失项，包括关节重投影、姿势和形状先验、不自然的关节弯曲惩罚，以及用于 3D 对齐的具有可见性意识的 Chamfer 距离。另一个以数据集为中心的成果是 HmPEAR [^124]，其中数据集采用受 SLOPER4D [^12] 启发的注释流程，并结合了类似的损失项。 Human-M3 [^109] 引入了一个多视图、多 LiDAR 数据集，并提出了一种专门的基于 HMR 的注释流程来生成 3D 姿势和网格标签。该过程首先通过手动匹配 LiDAR 和相机来计算模态之间的准确外参校准参数。使用校准的设置，通过 PointPillars [^133] 检测器直接在 LiDAR 点云中检测行人，并使用 AB3DMOT [^142] 多目标跟踪框架跟踪它们。这些 3D 检测结果随后投影到相应的 RGB 图像中。在投影的图像区域内，应用 ViTPose [^134] 以估计高分辨率的 2D 人体关键点，为后续优化阶段提供基础。为了恢复全身姿势和形状，Human-M3 采用一种时间优化策略，为每个个体在序列中预测和优化 SMPL 参数。这种优化旨在同时求解根部平移、身体形状和姿势参数，通过最小化一个复合目标。损失函数包括：(1) 一个 2D 关键点重投影损失，该损失强制 3D 关节与所有视图中的检测到的 2D 关键点对齐；(2) 一个 Chamfer 距离损失，该损失测量网格表面与观察到的人体点云片段之间的几何一致性；(3) 来自 VPoser [^57] 的形状和姿势先验，用于正则化解剖学上有效的身体配置；以及 (4) --- 一个时间平滑项，该项惩罚帧之间的突然姿势变化。整个目标使用 L-BFGS 算法 [^162] 进行优化，以确保时间上的一致和几何上可靠的 3D 注释。为了确保注释质量，自动注释流程的结果会进行手动审查和校正。 ### VI. 数据集所有这些方法都遵循一个通用流程：它们首先集成和同步多个输入模态，然后通过一个优化循环来改进预测，该循环利用定制的损失函数、先验和特定于场景的约束。这一过程可以产生更准确、更稳健的人体网格重建结果。在本节中，我们提供了关于 Waymo Open Dataset [^7] (第 VI 节 A)、SLOPER4D [^12] (第 VI 节 B) 和 Human-M3 [^109] (第 VI 节 C) 数据的详细描述。这些数据集因其受欢迎程度、与自动驾驶和户外场景的相关性、高质量的注释以及包含各种 LiDAR 扫描模式而广受欢迎。图 14 展示了场景级别和人类实例级别的视觉比较，突出了捕获环境以及 LiDAR 特征（包括点密度和扫描模式）的差异。接下来，在第 VI 节 D 中，我们提供了一项专门的比较研究，其中我们提取和分析数据集的特征、内在属性和多样性。最后，第 VI 节 E 提供了其他公开的 LiDAR 点云数据集的简要概述。如表 I 所示，尽管在文献中介绍了许多数据集，但并非所有数据集都是公开可用的。有关数据集的更多信息，请参阅我们的 GitHub 页面 $^{2}$。 ### A. Waymo 开放数据集 Waymo Open Dataset (WOD) [^7] 是一个用于自动驾驶研究的大型资源，包含两个主要组成部分：运动数据集和感知数据集，本综述重点关注后者。感知数据集提供了丰富的多模态注释，支持广泛的 2D 和 3D 计算机视觉任务，包括以人类为中心的应用程序，例如 2D/3D 人体姿态估计和分割。数据收集感知数据集是使用安装在 Waymo 车辆上的 LiDAR 传感器和高分辨率 RGB 相机收集的。每辆车都配备五个自研的 LiDAR 单元：一个中程车顶

TABLE III

EXTRINSIC CHARACTERISTICS OF LIDAR POINT CLOUD DATASETS.

Datasets	WOD [^7]	SLOPER4D [^12]	Human-M3 [^109]
Area coverage $m^{2}$	76M	2-13k	111.5k
Sequence length (s)	20	102-441	12-45
# scenes	998	6	4
# subjects	23.6k	12	237
# 3D human instances	9.9k	33k	89k
# LiDAR frames	230k	42.3k	12.2k

由我们计算得出，无颜色表示原始论文中报告的信息。对于 SLOPER4D，仅公开了 15 个序列中的 6 个；因此，我们的统计数据仅基于这些序列，结果为 42.3k 个 LiDAR 帧，而不是原始论文中报告的 100k 个帧。传感器（70 米范围，$25.2^{\circ} \times 120^{\circ}$ 视场角）和四个短程传感器，分别安装在前部、后部和侧面（20 米范围，$25.2^{\circ} \times 20^{\circ}$ 视场角）。为了确保质量和一致性，每个 LiDAR 束仅保留前两次返回。除了 LiDAR 之外，五个 RGB 相机以正面、左前、右前、左侧和右侧方向捕获图像。这些图像以 JPEG 格式存储，并包含 LiDAR-相机融合的校准数据。所有传感器以 10 Hz 的频率运行。该数据集于 2019 年发布，并于 2024 年 4 月更新 [^7]，包含来自旧金山、凤凰城和山景城的光照和夜间录像，提供了地理上多样的城市和郊区驾驶场景。数据格式和结构该数据集按注释类型组织到文件夹中，包括人体关键点、边界框和相机标签。注释以 Apache Parquet 格式存储，以便高效处理大规模数据。数据分为 20 秒的序列，采样频率为 10 Hz，支持同步的多传感器处理和时间分析。 SLOPER4D [^12] 是一个大型数据集，旨在用于城市环境中进行三维人体姿态估计。它是第一个提供校准和同步的多模态数据的，它结合了惯性测量单元 (IMU)、激光雷达点云和 RGB 图像，用于每个受试者。该数据集包含丰富的 3D 注解，例如 SMPL 参数化身体模型、在全局坐标系中的精确受试者位置以及周围场景的完整 3D 网格。由于其多样化的传感器输入和详细的注释，SLOPER4D 支持广泛的人类相关 2D 和 3D 感知任务，包括人体跟踪、分割和姿态估计。数据收集数据是使用移动设置收集的，其中一名操作员佩戴着头部 --- 安装激光雷达-相机系统的，跟踪受试者执行日常动作。受试者佩戴多个 IMU 以进行精确的身体运动捕捉。激光雷达是安装在 45° 角度上的 Ouster OS-1 中型型号 (360°× 45° FOV)，以最佳方式捕捉表演者的全身运动。所有传感器模式都同步并采样到激光雷达的 20 Hz 帧速率，以确保高质量的空间和时间对齐。该数据集于 2023 年发布，是在一个未指定的中国城市收集的。城市环境带来了真实世界的挑战，例如遮挡、动态背景和多变的光照，这使其对于 3D 人体姿态估计 (HPE) 和人体运动恢复 (HMR) 研究非常有价值。数据格式和结构 SLOPER4D 组织在文件夹中，每个文件夹包含一个完整序列，其中包含激光雷达点云（PCD 格式）、跟踪轨迹、原始轨迹数据、运动捕捉记录（BVH 格式）以及序列的视频。每个文件夹还包含一个 JSON 元数据文件，其中包含上下文和校准详细信息，以促进可重复性和集成到机器学习管道中。 ### C. Human-M3 Human-M3 [^109] 是一个室外、多模态、多人、多视角的基准数据集，旨在用于 3D 人体姿态估计和人体运动恢复。它使用四个对角相位的相机-激光雷达对捕捉多人交互场景，从而提供融合和后处理的场景点云（来自所有四个激光雷达的点云），以及与其相对应的相机视图。该数据集包含稀疏的 2D 关键点和通过类似于 SMPLify-X [^57] 的优化过程生成的伪 3D SMPL 注解。与以车辆为中心的 WOD [^7] 或以人为中心的 SLOPER4D [^12] 不同，Human-M3 [^109] 使用固定的传感器设置进行整个采集过程，允许参与者在场景中自由移动和交互。这种设计提供了丰富的人与人以及人与场景的交互，并且具有不同的扫描模式，这为评估 HPE/HMR 算法带来了独特的挑战。数据收集采用类似于 [^164] 的方法，使用四个相机-激光雷达单元，每个相机直接安装在其对应的激光雷达上方，以对齐其视场。使用 Livox MID-100 [^93] 传感器（$100^{\circ} \times 40^{\circ}$ FOV）以 NRS 模式捕获点云，所有传感器流都同步并采样为 10 Hz，并且测试集经过手动注释以确保可靠性。基于 [^164] 中的设置，我们推断数据是在 2022 年在中国的一个城市收集的，

TABLE IV

ACQUISITION-RELATED CHARACTERISTICS OF LIDAR POINT CLOUD DATASETS.

Datasets	WOD [^7]	SLOPER4D [^12]	Human-M3 [^109]
# beams	64	128	3 $^{\dagger}$
PC resolution	169600	131072	80928
Range (m)	20/75	90	90
Framerate (Hz)	10	20	10
FOV (hfov $\times$ vfov)	25.2° $\times$ 120/20°	360° $\times$ 42.2°	98.4° $\times$ 38.4°

由我们根据数据表/规格计算得出，并且没有颜色指示在原始论文中报告的信息。† 传感器使用具有三个激光束的 NRS 模式，扫描速度为 300,000 点/秒。我们报告了 SLOPER4D 和 Human-M3 的 10% 反射率范围。对于 WOD，我们报告了他们内部传感器限制范围的数据。标注于2024年发布。该数据集包含四个场景：两个为篮球场上的球员跟踪场景，一个位于城市大型交叉口，一个位于广场中。数据格式与结构数据先按划分（90%训练，10%测试）分组存入文件夹，再按序列分类。每个序列文件夹包含每一帧PCD格式的点云，以及对应的RGB图像、相机标定文件、3D稀疏关键点标注和SMPL标签，所有内容均以JSON格式提供。 ### D. 数据集属性对比分析本节我们对数据集开展详细分析，并给出一系列统计汇总。我们首先考察每个数据集的外在特征，包括：区域覆盖范围，即数据采集过程中的实际覆盖区域；以秒为单位的序列长度，若时长固定则以单个数值表示，若不固定则以记录的最短和最长序列构成的区间表示；场景数量，代表采集到的总序列数，在部分数据集中也指代不同的采集位置；受试者数量，对应所有序列中被单独追踪的表演者、演员或个体；3D人体实例数量，表示带标注的3D人体标注总数量；以及LiDAR总帧数。这些数据集外在属性汇总于表III中。我们还报告了与采集相关的统计信息，包括以光束数量和测距（单位：米）衡量的点云分辨率、采集帧率以及视场（FOV）。这些数值汇总于表IV中。所有统计数据来源于多个渠道：原始数据集论文、传感器数据手册，以及数据集作者引用的相关搭建和流程描述。我们通过人工检查和自动化脚本对这些数值进行了验证，并且，当需要保证一致性和公 ---

TABLE V

INTRINSIC CHARACTERISTICS AND DIVERSITY OF THE LIDAR POINT CLOUD DATASETS.

Datasets	WOD [^7]	SLOPER4D [^12]	Human-M3 [^109]
# Human keypoints	14	21	15
Avg. points per instance	384.1	967.8	369.1
Avg. bounding box size (px)	10340.7	37471.1	N/A
Avg. human-sensor dist (m)	14.5	2.8	N/A
3D pose diversity (cm)	22.0	22.9	22.3

需要注意的是，Human-M3的统计结果无法包含平均 bounding box 尺寸，因为该数据集没有提供二维信息。同理，平均人体-传感器距离也无法计算，因为点云场景是通过融合四个LiDAR视图生成的。我们推导出了原始发表文献中未报告的额外统计数据用于对比。第二组统计数据汇总于表V中，反映了数据集的固有属性和多样性。这些统计量包括：标注的人体关键点数量，代表数据集采用的标注标准；每个人体实例的平均LiDAR点数，代表捕获实例上的平均点密度；人体实例的平均 bounding box 尺寸，与图像分辨率密切相关；以及平均人体-传感器距离。我们还评估了3D姿态多样性，该指标衡量每个数据集内人体姿态的变异性。为计算该指标，我们将每个带姿态的SMPL模型与T姿态的模板模型对齐，然后计算对应关节之间的均方误差（MSE）。形式上，令 $N_{jts}$ 和 $N_{verts}$ 分别表示关节数量和顶点数量。$\hat{J} \in \mathbb{R}^{N_{jts} \times 3}$ 和 $J^T \in \mathbb{R}^{N_{jts} \times 3}$ 分别表示预测的关节和模板关节。姿势关节通过 $\hat{J} = J_{reg} \cdot \hat{M}$ 获得，其中 $\hat{M} \in \mathbb{R}^{N_{verts} \times 3}$ 是仅使用姿势参数生成的预测 SMPL 网格，而模板关节通过 $J^T = J_{reg} \cdot M^T$ 获得，其中 $\hat{M}^T \in \mathbb{R}^{N_{verts} \times 3}$ 是 T 姿势下的 SMPL 模板网格。这里，$J_{reg} \in \mathbb{R}^{N_{jts} \times N_{verts}}$ 是由官方 SMPL 模型提供的 SMPL 关节回归矩阵。3D 姿势多样性然后计算如下： $$ \mathrm{dist}(\hat{\boldsymbol{J}},\boldsymbol{J}^{T})=\frac{1}{N_{j t s}}\sum_{i=1}^{N_{j t s}}\left\|\hat{\boldsymbol{J}}_{i}-\boldsymbol{J}_{i}^{T}\right\|_{2}^{2} $$ > 我们选择这些特征，以便为 3D 人体姿态估计和人体运动识别方法的基准测试提供更深入的见解，从而能够更准确地解释数据集之间的性能差异。在我们的 GitHub 仓库中，我们提供了关于如何为每个数据集提取这些统计数据的详细说明，以及相应的代码和每个关键点的多样性指标。 > ### E. 更多公开数据集的概述 > 下面，我们提供其他公开可用数据集的摘要。 > LiDAR Human26M 数据集 [^114] 包含 184,048 帧同步的 LiDAR 点云、RGB 图像和来自基于 IMU 的系统的 3D 人体运动数据。每个帧都包含全身 3D 关节和 SMPL 参数（姿势、形状、全局平移）以进行网格恢复。它包含 13 名受试者在 12-28 米的距离内执行 20 种日常活动，并经过预处理以去除背景点和校正 IMU 定位误差。 > HmPEAR 数据集 [^124] 是一个大型、多模态数据集，用于在复杂户外环境中进行 3D 人体姿态估计和人体动作识别 (HAR)，包含 30 万多帧来自 128 束 LiDAR 和三个 RGB 相机的同步数据。超过 25 万帧具有来自运动捕捉的精细 3D 姿势，并且 6 万个片段涵盖 25 名受试者在 10 个场景中，在不同光照条件下执行 40 种日常动作。注释包括动作、边界框、SMPL 网格以及手动对齐的姿势-动作数据。 > HSC4D 数据集 [^120] 提供 25 万帧 IMU 数据（100 Hz）以及 SMPL 参数（全局平移、24 个关节旋转、10 维形状）和 5 万帧 LiDAR 数据（20 Hz）以及密集点云和基于 SLAM 的轨迹。所有数据都已同步、校准并通过关节优化进行细化，以获得全局准确、平滑的人体运动，其坐标位于世界坐标系中。额外的注释包括来自 Trimble TX5 扫描仪的足接触状态和彩色 3D 地图，以增强场景可视化。 > PedX 数据集 [^165] 是一个大型多模态基准，用于在复杂城市环境中进行 3D 行人姿态估计。该数据集由一辆固定车辆配备四个同步的 RGB 相机和四个车顶 LiDAR 传感器捕获，它提供了高分辨率的三重图像、立体合并的 LiDAR 点云，以及包括 2D/3D 关键点、SMPL 身体模型和实例分割的注释。该数据集包含 5k 对立体图像和 2.5k 个 3D LiDAR 帧，以及 1.4 万个人类实例，每个实例都带有 2D 和 3D 姿态标签。 > ### VII. 基准测试 > 在本节中，我们首先介绍用于 LiDAR 数据进行 3D 人体姿态估计和人体运动识别的指标。然后，我们提供总结了所有关于 WOD [^7]、SLOPER4D [^12] 和 Human-M3 [^109] 数据集的 HPE 和 HMR 任务的论文的基准表格。 --- > ### A. 指标我们整理了激光雷达 3D 人体姿态估计和网格恢复领域中广泛使用和最近引入的指标。为了确保一致性，我们从调查的论文中整理指标，并统一其定义。我们首先在表 VI 中介绍了初步符号，然后是正式的指标方程。我们使用每个指标标题旁边的箭头来指示较低值更好（$\downarrow$）或较高值更好（$\uparrow$）。

TABLE VI

PRELIMINARY NOTATIONS USED IN THE METRICS.

Symbol	Denotes
P	Ground-truth keypoints
$\hat{P}$	Predicted keypoints
$p_i$	Ground-truth positions of the i-th keypoint
$\hat{p}_i$	Predicted positions of the i-th keypoint
$\hat{V}$	Ground-truth mesh vertices
$\hat{V}$	Predicted mesh vertices
$v_i$	Ground-truth positions of the i-th vertex
$\hat{v}_i$	Predicted positions of the i-th vertex
$e_i$	Ground-truth length of i-th edge in mesh
$\hat{e}_i$	Predicted length of i-th edge in mesh
$l_i$	Ground-truth length of i-th limb in skeleton
$l_i$	Predicted length of i-th limb in skeleton
$\delta$	A threshold distance or size
$\mathbb{I}(\cdot)$	Indicator function, which equals 1 if the condition inside holds true, and 0 otherwise
$Tr(\cdot)$	A transformation applied to the points
A	Total number of angles in the skeleton
E	Total number of edges in the mesh
N	Total number of keypoints
M	Total number of vertices in the mesh
T	Total number of frames in the motion sequence

a) 平均每关节位置误差（Mean Per-Joint Position Error, MPJPE） $\downarrow$：MPJPE测量骨骼中所有对应关节的预测关节位置与真值关节位置之间的平均欧氏距离。对于时序方法，误差还会额外在所有帧上取平均。在全局人体姿态估计范式中，该指标被称为G-MPJPE，此时关节位置在全局坐标系下进行评估。误差通常以毫米为单位报告。 $$ \mathbf{MPJPE}(P,\hat{P})=\frac{1}{N}\sum_{i=1}^{N}\|\hat{p}_{i}-p_{i}\|_{2} $$ 在部分研究工作中，该指标被称为J Err (PST)，其中PST表示关节位置是利用姿态、形状和平移参数从SMPL模型中得到的。 b) 普洛克路斯忒斯对齐平均每关节位置误差（PA-MPJPE）↓：PA-MPJPE衡量的是对预测姿态与真实姿态进行对齐变换$T_r$（通常包含平移、旋转和缩放）后得到的MPJPE。这保证了该误差仅反映姿态预测的准确率，而非对齐偏差。该指标使用的普洛克路斯忒斯对齐（PA）可限制为仅刚性变换（仅平移和旋转），不包含缩放。该误差通常以毫米为单位报告。 $$ \mathbf{P A-M P J P E}(P,\hat{P})=\frac{1}{N}\sum_{i=1}^{N}\lVert T r(\hat{p}_{i})-p_{i}\rVert_{2} $$ 在部分研究工作中，PA-MPJPE也被称为J Err (P/PS)，其中P和PS分别表示关节位置是仅使用姿态参数，或同时使用姿态和形状参数从SMPL模型中得到的。 ## c) 正确关键点百分比（PCK/PCK@ $\delta$）↑ 该指标衡量预测关键点落在对应真实位置指定误差阈值$\delta$范围内的百分比。常见的绝对阈值包括30毫米或50毫米（或厘米）。另外，阈值也可经过归一化，表示为目标尺寸的百分比。对于时序方法，该百分比会在所有帧上取平均。 $$ \mathbf{P C K}@\delta(P,\hat{P})=\frac{100}{N}\sum_{i=1}^{N}\mathbb{I}\left(\|\hat{p}_{i}-p_{i}\|_{2}\leq\delta\right) $$ d) 姿态估计指标（PEM）↓：PEM是专门为WOD估计挑战赛开发的指标。它通过已匹配关键点的MPJPE之和加上未匹配关键点的惩罚项，来衡量关键点匹配的准确率。 $$ \mathbf{PEM}(P,\hat{P})=\frac{\sum_{i\in X}\|\hat{p}_{i}-p_{i}\|_{2}+C|Y|}{|X|+|Y|} $$ 其中X和Y分别是已匹配和未匹配关键点的集合，C是一个常数。需要注意的是，Y既包含没有对应预测关键点的真值关键点，也包含没有对应真值关键点的预测关键点。 e) 平均逐顶点位置误差（MPVPE/PA-MPVPE）$\downarrow$：MPVPE是人体网格恢复中MPJPE在基于网格任务上的对应指标。它衡量预测网格顶点与真值网格顶点之间的平均欧氏距离，在时序方法中会对所有帧取平均值。该指标有时记为V Err (PST)，其中PST表示顶点位置 --- 是通过姿态、形状和平移参数从SMPL模型中得到的。 $$ \mathbf{MPVPE}(V,\hat{V})=\frac{1}{M}\sum_{i=1}^{M}\|\hat{v}_{i}-v_{i}\|_{2} $$ 经过PA对齐的变体PA-MPVPE有时记为V Err (P/PS)，其中P和PS分别表示顶点位置是仅使用姿态、或同时使用姿态和形状参数从SMPL模型中提取得到的。 $$ \mathrm{MPERE}=\frac{1}{E}\sum_{i=1}^{E}\frac{\left|\hat{e}_{i}-e_{i}\right|}{e_{i}} $$ f) 平均每边相对误差 (MPERE) $\downarrow$: MPERE 对于评估非参数方法中的网格重建质量特别有用，在这些方法中，顶点连接性和空间关系是固定的。它对于评估网格中密集连接区域中的短边精度特别有效。MPERE 的计算方法是将预测边缘长度和地面真实边缘长度之间的曼哈顿距离之比，然后对所有网格边缘取平均值。在时序方法中，该指标也对所有帧进行平均。 g) 角度误差 (Ang Err) $\downarrow$: 该指标通过测量预测和地面真实关节旋转之间的平均角度差异来评估局部姿态精度。它通常计算所有关节的预测旋转矩阵 $\hat{R}_i$ 和地面真实旋转矩阵 $R_i$ 之间的平均大地距离： $$ \mathrm{Ang\ Err}=\frac{1}{N}\sum_{i=1}^{N}\cos^{-1}\left(\frac{\mathrm{tr}(R_{i}^\top\hat{R}_{i})-1}{2}\right) $$ 其中 $\mathrm{tr}(\cdot)$ 表示矩阵的迹。结果通常用度或弧度表示。 h) 对象关键点相似度 (OKS) $\uparrow$: OKS 通过考虑关键点之间的距离、对象的整体大小（例如，人体）以及每个关键点的可见性，来评估预测的和可见的地面真实关键点之间的相似度。 $$ \mathrm{OKS}=\frac{1}{N}\sum_{i=1}^{N}\exp\left(-\frac{\left\|\hat{p}_{i}-p_{i}\right\|_{2}^{2}}{2s^{2}k_{i}^{2}}\right) $$ 这里，$k_{i}$ 是 COCO 定义的每个关节常量，它考虑了关键点的可见性和定位不确定性，而 s 表示检测到的人的比例。需要注意的是，在基于 LiDAR 的 HPE/HMR 文献中，通常使用两种 OKS 变体：OKS-AP，它计算多个 OKS 阈值上的平均精度，以及 OKS-Acc，它报告高于固定 OKS 阈值的关键点的百分比。 i) 平均位移误差 (ADE)↓: ADE 测量预测轨迹随时间的变化，并计算预测和地面真实轨迹之间的平均欧几里得距离。它对于评估时间一致性和动态运动精度特别重要： $$ \mathrm{A D E}=\frac{1}{T\cdot N}\sum_{t=1}^{T}\sum_{i=1}^{N}\left\|\hat{p}_{t,i}-p_{t,i}\right\|_{2} $$ 其中 $\hat{p}_{t,i}$ 是在时间 t 处关键点 i 的预测 3D 位置，而 $p_{t,i}$ 是在时间 t 处关键点 i 的地面真实 3D 位置。 j) 肢体角度误差 (LAE) $\downarrow$: LAE 衡量预测肢体方向 $\hat{\theta}$ 和地面真实方向 $\theta$ 之间的平均角度差异，适用于对应肢体，例如手臂和腿部 [^107]。 $$ \mathrm{LAE}=\frac{1}{A}\sum_{i=1}^{A}\left|\hat{\theta}_{i}-\theta_{i}\right| $$ k) 肢体长度误差 (LLE) $\downarrow$: LLE 评估网络在多大程度上准确地预测肢体的整体长度，例如手臂和腿。只要总肢体长度估计正确，它就不惩罚关节级别的误差（例如，在肘部或膝盖处）[^107]。 $$ \mathrm{L L E}=\frac{1}{L}\sum_{i=1}^{L}\left|\hat{l}_{i}-l_{i}\right| $$ l) 加速度误差 (Accel Err)↓: 加速度误差，以米每平方秒 ( $m/s^{2}$) 或厘米每平方秒 ( $cm/s^{2}$) 表示，作为评估时序数据的指标，反映了预测运动的时间平滑性和物理合理性。 $$ Accel Err=\frac{1}{T}\sum_{t=1}^{T}\left|\hat{a}(t)-a(t)\right| $$ 这里，$a(\hat{t})$ 和 $a(t)$ 分别表示预测的加速度和地面真实的加速度，这些加速度是从关键点或顶点在时间 t 处的位置计算得出的。 m) 距离 (CD/SU-CD) $\downarrow$: CD 测量两个 3D 点集之间的相似度，通过计算集合 R 中的每个点到集合 Q 中最近邻点的平均距离，以及反之，来计算。它通常用于评估预测网格之间的距离。 --- 顶点或3D关键点，以及3D人体点云输入。常用指标通常以毫米为单位报告。 $$ \begin{aligned}\mathbf{C D}=&\frac{1}{|R|}\sum_{r_{i}\in R}\min_{q_{j}\in Q}\|r_{i}-q_{j}\|^{2}\\&+\frac{1}{|Q|}\sum_{q_{j}\in Q}\min_{r_{i}\in R}\|q_{j}-r_{i}\|^{2}\end{aligned} $$ 顾名思义，场景级单向室体距离 (SU-CD) 是 Chamfer Distance 的一种单向变体，在 LiveHPS [^121] 中被引入。它对于评估全局翻译误差特别有用。在 LiveHPS 中，它用于测量原始输入点云与预测网格之间的位移。 $$ \mathrm{SU-CD}=\frac{1}{\left|R\right|}\sum_{r_{i}\in R}\min_{q_{j}\in Q}\left\|r_{i}-q_{j}\right\|^{2} $$ ### B. 3D 人体姿态估计和网格恢复基准测试在本节中，我们提供了 WOD [^7]、SLOPER4D [^12] 和 Human-M3 [^109] 的详细基准测试表，涵盖了人体姿态估计和人体网格恢复任务。我们在表 VII 中为 HPE 提供了 WOD 的基准测试表，在表 VIII 中为 HMR 提供了 WOD 的基准测试表。 SLOPER4D 的基准测试结果在表 IX 中（HPE）和表 X 中（HMR）展示。最后，对于 Human-M3，HPE 基准测试结果在表 XI 中，HMR 基准测试结果在表 XII 中。除了各种评估指标之外，我们还包括“参考论文”和“训练/评估设置”列。 “参考论文”部分强调了当相同方法在基准测试中产生不同结果时，这是由于原始参考论文使用的训练设置或评估方案存在差异。 “训练/评估设置”列总结了作者报告的关键训练和测试程序细节。这包括数据集特定的实践，例如数据拆分、混合或清理，以及使用伪标签或对评估指标进行任何修改。在可用时，会指定数据集版本，如果作者没有明确说明，我们会尽力指出是否有官方数据可供访问。重要的是要注意，对于 SLOPER4D 和 Human-M3（如表 X 和 XII 所示），一些研究使用从 SMPL(-X) 模型回归的关节来评估 MPJPE、MPVPE 和 PA 类似指标。在编译 SLOPER4D 和 Human-M3 上的 HMR 任务的结果时，我们注意到没有标准方法来对齐预测网格和地面真实网格，以进行局部姿态评估。为了避免混淆，我们使用更广泛的术语 MPJPE Align. 和 MPVPE Align. 来涵盖三种对齐约定：广泛使用的 PA-MPJPE/PA-MPVPE，以及在相关论文中表示为 J/V Err(P) 和 J/V Err(PS) 的另外两种约定。对于使用 J/V Err(P)、J/V Err(PS) 以及 J/V Err(PST) 约定的论文：J 表示关节，V 表示网格顶点，Err 表示计算的误差。字母 P、PS 和 PST 表示用于生成预测输出的 SMPL 参数：P 表示仅使用姿态，PS 表示姿态和形状，PST 表示姿态、形状和翻译。因此，J/V Err(PST) 直接对应于 MPJPE 和 MPVPE，因为它将预测关节和顶点与地面真实值在全局坐标中进行比较。对于对齐的指标，如果可用，我们将使用 J/V Err(P)；否则，我们将回退到 J/V Err(PS)。下标 p、s 和 t 表示误差是使用 P、PS 或 PST 计算的，遵循原始论文的约定。 WOD 大约有 800 个场景用于训练，200 个场景用于验证。对于 SLOPER4D，原始论文引入了官方的训练和测试拆分，其中有 11 个序列用于训练，4 个序列用于测试，但此拆分未包含在公开可用数据中。发布版本 v1.0 仅包含论文中提到的 15 个序列中的 6 个序列。对于 Human-M3，官方拆分将每个序列的 90% 数据用于训练，并将最后 10% 的帧预留用于测试。我们认为，这些基准测试表格将作为共同的参考点，帮助研究人员建立联系，并在公平和透明的条件下推动该领域的发展。 ### VIII. 未来方向在本节中，我们探讨了从野生环境中获取的 LiDAR 数据进行 3D 人体理解的关键挑战和潜在的研究方向。 ### A. 解决数据稀缺问题 3D 人体姿态估计和人体模型重建 (HMR) 从 LiDAR 数据的核心挑战之一是标注数据集的稀缺。为了解决这个问题，研究人员开始探索弱监督学习策略。然而，大多数现有的弱监督方法仍然依赖于辅助数据模态，例如 RGB 图像或 IMU 信号。我们认为，一个有希望的研究方向是减少对这些额外模态的依赖，通过研究如何仅使用 LiDAR 数据实现弱监督人体姿态估计和人体模型重建。 --- a) 利用不带姿态标注的现有 LiDAR 数据集：为了最大限度地减少对额外模态的依赖，可以利用包含人类（但不带 2D/3D 姿态标签）的现有 LiDAR 点云数据集。这些数据集可以通过伪标签、自训练或对比学习范式来支持弱监督策略。 b) 整合时间信息：时间一致性提供了丰富的运动动态信息。弱监督方法可以受益于对 LiDAR 帧序列的建模，通过提取时间线索来提高姿态估计的准确性，而无需额外的监督。 ## c) 迈向逼真的合成数据生成另一个方向是生成高质量的、逼真的合成数据。当前的合成管道使用 AMASS [^153] 通过光线追踪来模拟人类 LiDAR 点云。但是，这会产生两个主要问题。第一个问题是领域不匹配，AMASS 主要包含受控的室内姿势，而像 WOD [^7] 或 SLOPER4D [^12] 这样的数据集涉及户外环境。第二个问题是真实感差距，光线追踪可能无法完全捕捉到真实 LiDAR 传感器的噪声、稀疏性和视点特征。为了克服这些问题，直接从真实世界分布中学习生成合成 LiDAR 数据可能更有效。随着生成模型的进步，特别是扩散模型，这是一个值得探索的领域。 d) 数据高效的 3D 人体姿态估计和人体模型重建：目前，很少有方法（例如 GC-KPL [^103]）解决了基于 LiDAR 的姿态估计中的数据效率问题。受到 2D/3D 视觉方法启发的，一个有希望的途径是在自监督的方式下预训练模型，然后针对下游任务（3D 人体姿态估计/人体模型重建）进行少量监督的微调。 e) 弱监督 3D 人体模型重建：虽然 3D 人体姿态估计已经尝试了弱监督方法，但所有现有的 3D 人体模型重建方法仍然是完全监督的（除了数据标注管道之外）。开发专门用于人体模型重建的弱监督方法是一个尚未探索但很有前途的研究方向。 ### B. 消除相机参数依赖性目前使用 LiDAR 和 RGB 数据的多模态方法大多严重依赖于准确的相机参数来对齐 2D-3D 对应关系。这会给实际数据集带来重大的挑战。未来的一个方向是使用可学习的模块来代替这种依赖性，从而实现端到端的对齐，而无需显式校准。 C. 基于 LiDAR 的 3D 人体姿态估计和人体模型重建中的领域自适应 a) 弥合传感器之间的领域差距：基于 LiDAR 的 HPE 和 HMR 的一个挑战是，使用不同 LiDAR 传感器特性的数据集之间的领域差距。例如，在 WOD [^7] 数据集上训练的模型通常无法泛化到 SLOPER4D [^12] 等数据集，因为传感器特性存在差异，例如点密度、范围和噪声模式。一个有前景的研究方向是开发领域自适应技术，使模型能够在不进行大量重新标注的情况下，跨越这些传感器差异进行泛化。 b) 弥合 LiDAR 扫描模式之间的领域差距：LiDAR 传感器采用不同的扫描模式，其中 NRS（例如 Human-M3 $^{[109]}$）和 RMB（例如 WOD $^{[7]}$ 和 SLOPER4D $^{[12]}$）是最常见的。这些模式会产生结构上不同的点云分布。开发能够有效处理两种扫描类型的鲁棒架构或自适应策略，对于构建通用的基于 LiDAR 的姿态估计和网格恢复系统非常重要。 ### IX. 结论在本文中，我们对来自野外 LiDAR 点云的 3D HPE 和 HMR 方法进行了全面回顾。为了提供完整和连贯的视角，我们在多个维度上比较了现有方法，从传感模态到网络架构，并提出了这些方法的结构化分类。在遵循此分类的基础上，我们讨论了每种方法，重点介绍了其优点和局限性。除了对 3D HPE 和 HMR 方法的深入讨论之外，我们还对三个最常用的数据集进行了定量分析，重点介绍了它们的特性。我们还编制并展示了用于评估 LiDAR 点云中 3D HPE/HMR 性能的指标的统一定义。我们工作的另一个关键贡献是创建了这三个数据集的 3D HPE 和 HMR 的基准表，我们相信这将促进公平的比较并推动该领域的发展。最后，我们确定并详细阐述了几个关键的开放挑战，这些挑战对于提高基于 LiDAR 数据的 3D 人体理解性能至关重要。作为一篇综述论文，我们的工作旨在帮助研究界了解该领域的现状、确定其差距，并指导开发更好的基于 LiDAR 点云的 3D HPE 和 HMR 解决方案。 ---

TABLE VII BENCHMARK RESULTS FOR 3D HPE ON THE WOD [^7] VALIDATION SPLIT.

Paper	M	Reference Paper	Training/Evaluation Setup	Data %			PEM	OKS %	MPJPE
Paper	M	Reference Paper	Training/Evaluation Setup	1	10	100	PEM	OKS %	MPJPE
LPFormer [^108]	L	LPFormer [^108]	WOD v.1.4.2 - It is trained on the combined training and validation splits, and results are reported on the test set.			✓	0.1524	-	5.94
LPFormer [^108]	L	DAPT [^101]	WOD v.1.4.2 - Results are reported on the full val set.			✓	0.0976	-	6.16
WS-HPE [^112]	L	WS-HPE [^112]	WOD v. ? - LiDAR Branch Evaluation. Trained on 155,182 objects from internal data using 13 keypoints for 2D ground truth labeling. Evaluated on a WOD subset with 986 pedestrians manually annotated in 3D using the same 13 keypoints. Paired 2D/3D ground truth boxes were used for evaluation.			✓	-	59.58	10.80
WS-HPE [^112]	CL	WS-HPE [^112]	Same as above			✓	-	63.14	10.32
HUM3DIL [^5]	CL	HUM3DIL [^5]	WOD v.1.3.2 - Randomly split the WOD-val subset into 50% for validation and 50% for testing. Ground-truth camera and LiDAR bounding boxes are used for both training and evaluation.			✓	-	-	6.72
HUM3DIL [^5]	CL	HUM3DIL [^5]	WOD v.1.3.2 - Evaluation of the fully supervised variant by removing the $\lambda$ term corresponding to weak 2D supervision.			✓	-	-	8.62
HUM3DIL [^5]	L	GC-KPL [^103]	WOD v.? - For a fair comparison with GC-KPL [^103], the model uses only the LiDAR branch with a randomly initialized backbone.	✓			-	-	19.57
					✓		-	-	16.36
						✓	-	-	12.21
GC-KPL [^103]	L	GC-KPL [^103]	WOD v.? - The model is pretrained on synthetic data only and fine-tuned on (cf. Data) % of the ground-truth training set. For evaluation, 50% of the WOD-val set is randomly selected for validation, and the remaining 50% is used as the test split for benchmarking.	✓			-	-	18.52
					✓		-	-	15.10
						✓	-	-	11.27
GC-KPL [^103]	L	GC-KPL [^103]	WOD v.? - The model is pretrained on synthetic data and 5,000 samples from WOD-train, then fine-tuned on (cf. Data) % of the ground-truth training set. For evaluation, 50% of the WOD-val set is randomly selected for validation, with the remaining 50% used as the test split for benchmarking.	✓			-	-	17.87
					✓		-	-	14.51
						✓	-	-	10.73
GC-KPL [^103]	L	GC-KPL [^103]	WOD v.? - The model is pretrained on synthetic data and 200,000 samples from WOD-train, then fine-tuned on (cf. Data) % of the ground-truth training set. For evaluation, 50% of the WOD-val set is randomly selected for validation, and the remaining 50% is used as the test set for benchmarking.	✓			-	-	17.80 $^{{*}}$
					✓		-	-	14.30 $^{{*}}$
						✓	-	-	10.60 $^{{*}}$
					✓		-	-	17.20
						✓	-	-	13.40
			$^{{*}}KMeans$ clustering is used to label body parts in Stage I.			✓	-	-	10.10
GC-KPL [^103]	L	GC-KPL [^103]	WOD v.? - Fully unsupervised setup with Stage I trained on solely synthetic data. Predicted keypoints are evaluated using Hungarian matching against ground truth.				-	-	17.7
GC-KPL [^103]	L	GC-KPL [^103]	WOD v.? - Fully unsupervised setup with Stage I trained on 5,000 WOD samples. Predicted keypoints are evaluated using Hungarian matching against ground truth.				-	-	14.64
GC-KPL [^103]	L	GC-KPL [^103]	WOD v.? - Fully unsupervised setup with Stage I trained on 200,000 WOD samples. Predicted keypoints are evaluated using Hungarian matching against ground truth.				-	-	13.92
DAPT [^101]	L	DAPT [^101]	WOD v.2.0 - Trained and evaluated on WOD following pretraining on LiDAR Human26M [^114].			✓	-	-	5.16
VoxelKP [^111]	L	VoxelKP [^111]	WOD v.1.4.2 - To address limited training data, ground truth sampling is used to insert target objects from other frames into sampled frames.			✓	0.1695	73.00	8.87
PRN [^116]	L	LiDAR-HMR [^116]	WOD v.2.0			✓	-	-	6.78
WS-Fusion [^113]	CL	WS-Fusion [^113]	WOD 1.4.2 - Evaluation of the fully supervised approach using LiDAR point clouds and image-extracted 2D keypoints.			✓	-	-	8.58
WS-Fusion [^113]	CL	WS-Fusion [^113]	WOD 1.4.2 - Evaluation of the weakly supervised approach using a 2D keypoint predictor to extract weak labels.			✓	-	-	9.01

L 表示 LiDAR，C 表示相机，M 表示输入模态。MPJPE 以厘米为单位报告。 ---

TABLE VIII

BENCHMARK RESULTS FOR 3D HMR ON THE WOD [^7] VALIDATION SPLIT.

Paper	M	Reference Paper	Training/Evaluation Setup	MPJPE	MPVPE	MPERE
LiDAR-HMR [^116]	L	LiDAR-HMR [^116]	WOD v.2.0. They used keypoint annotations and input point clouds to reconstruct pseudo-human mesh labels, following a process similar to SMPLify-X [^57].	6.28	8.24	0.119

L 表示 LiDAR，M 表示输入模态。公开版本 1.0 仅包含论文中描述的 15 个序列中的 6 个，并且不提供任何数据分割。MPJPE、MPVPE 和 MPERE 以厘米为单位报告。

TABLE IX

BENCHMARK RESULTS FOR 3D HPE ON SLOPER4D [^12].

Paper	M	Reference Paper	Training/Evaluation Setup	MPJPE	PA-MPJPE
PRN [^116]	L	LiDAR-HMR [^116]	SLOPER4D v.1.0 - A data fragment was selected as the test set, containing 8,064 annotated human meshes, while the training set includes 24,936 annotations.	5.70	-
PRN [^116]	L	DAPT [^101]	SLOPER4D v.? - pretrained on LiDARHuman26M [^114] using a custom data synthesis pipeline. For fair comparison, DAPT replaces PRN's point cloud backbone with PTv3 [^150]. Following NE-3D-HPE [^123], each sequence is split into 16-frame patches, randomly shuffled, and the dataset is divided into training and testing sets with a 7:3 ratio.	4.88	-
DAPT [^101]	L	DAPT [^101]	SLOPER4D v.? - pretrained on LiDARHuman26M [^114] using a custom data synthesis pipeline. Following NE-3D-HPE [^123], each sequence is split into 16-frame patches, randomly shuffled, and the dataset is divided into training and testing sets in a 7:3 ratio.	2.80	2.15

L 表示 LiDAR，M 表示输入模态。公开版本 1.0 包含 15 个序列中的 6 个，并且不提供任何数据分割。MPJPE 和 PA-MPJPE 以厘米为单位报告。 ---

TABLE X

BENCHMARK RESULTS FOR 3D HMR ON SLOPER4D [^12].

Paper	M	Reference Paper	Training/Evaluation Setup	MPJPE No Align.	MPVPE No Align.	MPJPE Align.	MPVPE Align.	MPERE	Ang Err	Accel Err
LiDAR-HMR [^116]	L	LiDAR-HMR [^116]	SLOPER4D v.1.0 - They select a data fragment as the test set, with 24,936 annotated human meshes in the train set and 8,064 in the test set.	5.10	5.19	-	-	0.094	-	-
SMPLify-3D [^126]	CL	SMPLify-3D [^126]	SLOPER4D v.1.0 - They follow the splits proposed by LiDAR-HMR [^116].	5.58	6.44	4.35	-	0.06	-	-
LiveHPS [^121]	L	LiveHPS [^121]	SLOPER4D v.2 - Global acceleration error is reported. Accel Err is taken from LiveHPS++ [^122]. LiveHPS and SLOPER4D share authors, suggesting potential but unverified access to the full dataset and official splits.	$7.77_{{t}}$	$8.58_{{t}}$	$4.62_{{p}}$	$5.67_{{p}}$	-	12.77	564
LiveHPS [^121]	L	LiveHPS++ [^122]	SLOPER4D v.2 - Same as above.	$8.84_{{t}}$	$9.59_{{t}}$	$5.34_{{a}}$	$6.32_{{a}}$	-	13.08	588
LiveHPS++ [^122]	L	LiveHPS++ [^122]	SLOPER4D v.2 - Same as above.	$7.70_{{t}}$	$8.17_{{t}}$	$4.27_{{a}}$	$5.06_{{a}}$	-	11.92	434
ReMP [^125]	L	ReMP [^125]	SLOPER4D v.2 - No data preparation details provided. This model is trained on synthetic AMASS [^153] data without using motion prior.	87.46	96.94	-	-	-	9.96	-
ReMP [^125]	L	ReMP [^125]	SLOPER4D v.2 - No data preparation details provided.	21.66	22.03	-	-	-	8.58	-
PE-Proj [^124]	CL	HmPear [^124]	SLOPER4D official - Trained on a mix of SLOPER4D and HmPEAR, evaluated on SLOPER4D to explore cross-task synergies. The authors state they use SLOPER4D's official splits (first 11 sequences for training, remaining 4 for testing) without further clarification.	5.55	-	3.89	-	-	-	-
Pear-Proj (BestPE) [^124]	CL	HmPear [^124]	SLOPER4D official - Trained on HmPEAR and evaluated on SLOPER4D's official test split, using only the optimal HPE model with the Action Recognition branch removed.	8.00	-	4.42	-	-	-	-
PEAR-Proj (BestAR) [^124]	CL	HmPear [^124]	SLOPER4D official - Trained on HmPEAR and evaluated on SLOPER4D's official test split, using only the optimal Action Recognition model with the HPE branch removed.	7.96	-	4.52	-	-	-	-
NE-3D-HPE [^123]	L	NE-3D-HPE [^123]	SLOPER4D v.2 - Each SLOPER4D sequence is segmented into 16-frame patches, which are then randomly shuffled. The data is split into training and testing sets in a 7:3 ratio. Note: NE-3D-HPE and SLOPER4D share authors, indicating possible though unverified access to the full dataset and official splits.	9.68	-	7.67	-	-	-	38.55
LiDARCap [^114]	L	LiveHPS [^121]	SLOPER4D v.2 - Implemented by LiveHPS for comparison, with a shape regression head added, mirroring the architecture of their pose regression head. Note: LiveHPS and SLOPER4D share authors, suggesting possible but unverified access to the full dataset and official splits.	$17.93_{{t}}$	$18.54_{{t}}$	$6.74_{{p}}$	$8.01_{{p}}$	-	15.92	-
LiDARCap [^114]	L	LiveHPS++ [^122]	SLOPER4D v.2 - Global acceleration error is reported. LiveHPS++ and SLOPER4D share authors, suggesting possible but unverified access to the full dataset and official splits.	$13.87_{{t}}$	$14.78_{{t}}$	$7.16_{{a}}$	$8.42_{{a}}$	-	13.72	616
LiDARCap [^114]	L	NE-3D-HPE [^123] & DAPT [^101]	SLOPER4D v.2 - Each SLOPER4D sequence is segmented into 16-frame patches, which are then randomly shuffled. The data is split into training and testing sets in a 7:3 ratio. NE-3D-HPE and SLOPER4D share authors, suggesting possible but unverified access to the full dataset and official splits.	10.19	-	7.89	-	-	-	40.09
LiDARCap [^114]	L	SLOPER4D [^12] & HmPear [^124]	SLOPER4D official - Reported by SLOPER4D paper.	8.61	-	6.51	-	-	-	-
LiDARCap [^114]	L	SMPLify-3D [^126]	SLOPER4D v.1.0 - They follow LiDAR-HMR's [^116] proposed splits.	15.83	-	14.81	-	0.05	-	-
LIP [^117]	IL	LiveHPS [^121]	SLOPER4D v.2 - Implemented by LiveHPS for comparison, using only the LiDAR branch of LIP and adding a shape regression head mirroring the pose head architecture. LiveHPS and SLOPER4D share authors, suggesting possible but unverified access to the full dataset and official splits.	$9.48_{{t}}$	$10.63_{{t}}$	$6.01_{{p}}$	$7.49_{{p}}$	-	19.95	-
LIP [^117]	IL	LiveHPS++ [^122]	SLOPER4D v.2 - Global acceleration error is reported. LiveHPS++ and SLOPER4D share authors, suggesting possible but unverified access to the full dataset and official splits.	$13.47_{{t}}$	$14.69_{{t}}$	$7.44_{{a}}$	$9.19_{{a}}$	-	20.53	659

L 表示激光雷达，C 表示相机，I 表示惯性测量单元，M 表示输入模态。官方的 SLOPER4D 分割包括 11 个训练序列和 4 个测试序列。公开版本 1.0 仅包含论文中描述的 15 个序列中的 6 个序列，并且不提供任何数据分割。对于报告使用 SMPL 姿态回归的关节 J/V Err(P/PS/PST) 的论文，我们将 J Err(PST) 视为 MPJPE，将 V Err(PST) 视为 MPVPE。如果可用，我们使用 J Err(P) 和 V Err(P) 作为 MPJPE Align 和 MPVPE Align。如果 J Err(P) 和 V Err(P) 不可用，则分别使用 J Err(PS) 和 V Err(PS)。子脚本 p、s 和 t 表示原始论文中报告的，使用 P、PS 和 PST 关节计算的 J/V Err。MPJPE、MPVPE 及其对齐变体以厘米为单位。Accel Err 以厘米/秒 $^{2}$ 为单位。 ---

TABLE XI

BENCHMARK RESULTS FOR 3D HPE ON HUMAN-M3 [^109].

Paper	M	Reference Paper	Training/Evaluation Setup	MPJPE
PRN [^116]	L	LiDAR-HMR [^116]	The training set contains 80,103 annotated human keypoints, and the test set contains 8,951. This appears to follow the official 90–10% split described in the Human-M3 paper.	8.22
SMPLify-3D [^126]	CL	SMPLify-3D [^126]	SMPLify-3D appears to follow the LiDAR-HMR [^116] protocol, based on the reported test set size. This likely corresponds to the official 90–10% split described in the Human-M3 paper.	8.39
LiDARCap [^114]	L	SMPLify-3D [^126]	Same as above.	17.58
DAPT [^101]	L	DAPT [^101]	Given the large dataset size and minimal variation between consecutive frames, only 20% of the data is used for training.	5.98
LPFormer [^108]	L	DAPT [^101]	Same as above.	8.37
PRN [^116]	L	DAPT [^101]	Same as above.	7.06
MMVP [^109]	CL	Human-M3 [^109]	-	7.90

L 表示激光雷达，C 表示相机，M 表示输入模态。MPJPE 以厘米为单位报告。

TABLE XII

BENCHMARK RESULTS FOR 3D HMR ON HUMAN-M3 [^109].

Paper	M	Reference Paper	Training/Evaluation Setup	MPJPE\nNo Align.	MPVPE\nNo Align.	MPJPE\nAlign.	MPVPE\nAlign.	MPVPE\nAlign.	MPERE	Ang Err	Accel Err
LiveHPS [^121]	L	FreeCap [^119]	They use a single camera. No details are provided regarding dataset splits.	$9.71^{{t}}$	$10.31^{{t}}$	$5.78^{{s}}$	$7.13^{{s}}$	-	10.44	1258
FreeCap [^119]	CL	FreeCap [^119]	Same as above.	$9.65^{{s}}$	$10.27^{{t}}$	$5.55^{{s}}$	$6.85^{{s}}$	-	9.14	960
LiDAR-HMR [^116]	L	LiDAR-HMR [^116]	The training set contains 80,103 annotated human key points, and the test set contains 8,951. This appears to follow the official 90–10% split described in the Human-M3 paper. They use keypoint annotations and point clouds to reconstruct pseudo ground-truth human meshes, following a process similar to SMPLify-X [^57].	7.76	8.95	-	-	0.088	-	-

L 表示激光雷达，C 表示相机，M 表示输入模态。对于报告使用 SMPL 姿态回归的关节 J/V Err (P/PS/PST) 的论文，我们将 J Err (PST) 视为 MPJPE，将 V Err (PST) 视为 MPVPE。如果可用，我们使用 J Err (P) 和 V Err (P) 作为 MPJPE Align。和 MPVPE Align。，分别。如果 J Err (P) 不可用，则使用 J Err (PS) 和 V Err (PS)。子脚本 p、s 和 t 表示原始论文中报告的，使用 p、pS 和 PST 关节计算的 J/V Err。MPJPE、MPVPE 及其对齐变体以厘米为单位。Accel Err 以 $cm/s^{2}$ 为单位报告。 --- ## 参考文献 [^1]: Ta Huynh Duy Nguyen, Tran Cong Thien Qui, Ke Xu, Adrian David Cheok, Sze Lee Teo, ZhiYing Zhou, Asitha Mallawaarachchi, Shang Ping Lee, Wei Liu, Hui Siang Teo, et al. Real-Time 3D Human Capture System for Mixed-Reality Art and Entertainment. IEEE Transactions on Visualization and Computer Graphics, 11(6):706–721, 2005. [^2]: Nathaniel Rossol, Irene Cheng, and Anup Basu. A Multisensor Technique for Gesture Recognition Through Intelligent Skeletal Pose Analysis. IEEE Transactions on Human-Machine Systems, 46(3):350–359, 2015. [^3]: Pranshu Sharma, Bishesh Bikram Shah, and Chandra Prakash. A Pilot Study on Human Pose Estimation for Sports Analysis. In Pattern Recognition and Data Analysis with Applications, pages 533–544. Springer, 2022. [^4]: Jiaming Chua, Lee-Yeng Ong, and Meng-Chew Leow. Telehealth Using PoseNet-Based System for In-Home Rehabilitation. Future Internet, 13(7):173, 2021. [^5]: Andrei Zanfir, Mihai Zanfir, Alexander Gorban, Jingwei Ji, Yin Zhou, Dragomir Anguelov, and Cristian Sminchisescu. HUM3DIL: Semi-supervised Multi-modal 3D Human Pose Estimation for Autonomous Driving. In 6th Annual Conference on Robot Learning CoRL, 2022. [^6]: Weiming Hu, Tieniu Tan, Liang Wang, and Steve Maybank. A Survey on Visual Surveillance of Object Motion and Behaviors. IEEE Transactions on Systems, Man, and Cybernetics, Part C (Applications and Reviews), 34(3):334–352, 2004. [^7]: Pei Sun, Henrik Kretzschmar, Xerxes Dotiwalla, Aurelien Chouard, Vijaysai Patnaik, Paul Tsui, James Guo, Yin Zhou, Yuning Chai, Benjamin Caine, Vijay Vasudevan, Wei Han, Jiquan Ngiam, Hang Zhao, Aleksei Timofeev, Scott Ettinger, Maxim Krivokon, Amy Gao, Aditya Joshi, Yu Zhang, Jonathon Shlens, Zhifeng Chen, and Dragomir Anguelov. Scalability in Perception for Autonomous Driving: Waymo Open Dataset. In 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 2443–2451. [^8]: Varun Ganapathi, Christian Plagemann, Daphne Koller, and Sebastian Thrun. Real-Time Human Pose Tracking from Range Data. In Computer Vision–ECCV 2012: 12th European Conference on Computer Vision, 2012. [^9]: Ross Girshick, Jamie Shotton, Pushmeet Kohli, Antonio Criminisi, and Andrew Fitzgibbon. Efficient regression of general-activity human poses from depth images. In 2011 International Conference on Computer Vision. IEEE, 2011. [^10]: Gyeongsik Moon, Ju Yong Chang, and Kyoung Mu Lee. V2V-PoseNet: Voxel-to-Voxel Prediction Network for Accurate 3D Hand and Human Pose Estimation from a Single Depth Map. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 5079–5088, 2018. [^11]: Jamie Shotton, Andrew Fitzgibbon, Mat Cook, Toby Sharp, Mark Finocchio, Richard Moore, Alex Kipman, and Andrew Blake. Real-time human pose recognition in parts from single depth images. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition CVPR. IEEE, 2011. [^12]: Yudi Dai, Yitai Lin, Xiping Lin, Chenglu Wen, Lan Xu, Hongwei Yi, Siqi Shen, Yuexin Ma, and Cheng Wang. SLOPER4D: A Scene-Aware Dataset for Global 4D Human Pose Estimation in Urban Environments. In 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). IEEE. [^13]: Ce Zheng, Wenhan Wu, Chen Chen, Taojiannan Yang, Sijie Zhu, Ju Shen, Nasser Kehtarnavaz, and Mubarak Shah. Deep learning-based human pose estimation: A survey. ACM Computing Surveys, 56(1):1–37, 2023. [^14]: Yucheng Chen, Yingli Tian, and Mingyi He. Monocular human pose estimation: A survey of deep learning-based methods. Computer vision and image understanding, 192:102897, 2020. [^15]: Rama Bastola Neupane, Kan Li, and Tesfaye Fenta Boka. A survey on deep 3d human pose estimation. Artificial Intelligence Review, 58(1):24, 2024. [^16]: Pawel Knap. Human Modelling and Pose Estimation Overview. arXiv preprint arXiv:2406.19290, 2024. [^17]: Ana Filipa Rodrigues Nogueira, Hélder P. Oliveira, and Luís F. Teixeira. Markerless multi-view 3d human pose estimation: A survey. Image and Vision Computing, 155:105437, 2025. [^18]: Md Mushfiqur Azam and Kevin Desai. A survey on 3d egocentric human pose estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 1643–1654, 2024. [^19]: Lijuan Zhou, Xiang Meng, Zhihuan Liu, Mengqi Wu, Zhimin Gao, and Pichao Wang. Human pose-based estimation, tracking and action recognition with deep learning: A survey. arXiv preprint arXiv:2310.13039, 2023. [^20]: Benji Peng, Ziqian Bi, Pohsun Feng, Qian Niu, Junyu Liu, and Keyu Chen. Emerging techniques in vision-based human posture detection: Machine learning methods and applications. Authorea Preprints, 2024. [^21]: Yang Liu, Changzhen Qiu, and Zhiyong Zhang. Deep learning for 3d human pose estimation and mesh recovery: A survey. Neurocomputing, page 128049, 2024. [^22]: Gongjin Lan, Yu Wu, Fei Hu, and Qi Hao. Vision-based human pose estimation via deep learning: A survey. IEEE Transactions on Human-Machine Systems, 53(1):253–268, 2022. [^23]: Yating Tian, Hongwen Zhang, Yebin Liu, and Limin Wang. Recovering 3d human mesh from monocular images: A survey. IEEE transactions on pattern analysis and machine intelligence, 2023. [^24]: Lu Chen, Sida Peng, and Xiaowei Zhou. Towards efficient and photorealistic 3d human reconstruction: a brief survey. Visual Informatics, 5(4):11–19, 2021. [^25]: Zhao Liu, Jianke Zhu, Jiajun Bu, and Chun Chen. A survey of human pose estimation: the body parts parsing based methods. Journal of Visual Communication and Image Representation, 32:10–19, 2015. [^26]: Wenjuan Gong, Xuena Zhang, Jordi González, Andrews Sobral, Thierry Bouwmans, Changhe Tu, and El-hadi Zahzah. Human pose estimation from monocular images: A comprehensive survey. Sensors, 16(12):1966, 2016. [^27]: Nikolaos Sarafianos, Bogdan Boteanu, Bogdan Ionescu, and Ioannis A Kakadiaris. 3d human pose estimation: A review of the literature and analysis of covariates. Computer Vision and Image Understanding, 152:1–20, 2016. [^28]: Georgios Pavlakos, Xiaowei Zhou, Konstantinos G Derpanis, and Kostas Daniilidis. Coarse-to-fine volumetric prediction for single-image 3d human pose. In Proceedings of the IEEE conference on computer vision and pattern recognition, 2017. [^29]: Francesc Moreno-Noguer. 3d human pose estimation from a single image via distance matrix regression. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 2823–2832, 2017. [^30]: Dushyant Mehta, Srinath Sridhar, Oleksandr Sotnychenko, Helge Rhodin, Mohammad Shafiei, Hans-Peter Seidel, Weipeng Xu, Dan Casas, and Christian Theobalt. Vnect: Real-time 3d human pose estimation with a single rgb camera. ACM Transactions on Graphics (TOG), 36(4):1–14, 2017. [^31]: Xiao Sun, Jiaxiang Shang, Shuang Liang, and Yichen Wei. Compositional human pose regression. In Proceedings of the IEEE international conference on computer vision, 2017. [^32]: Julieta Martinez, Rayat Hossain, Javier Romero, and James J. Little. A simple yet effective baseline for 3d human pose estimation. In ICCV, 2017. ## [^33]: Yujun Cai, Liuhao Ge, Jun Liu, Jianfei Cai, Tat-Jen Cham, Junsong Yuan, and Nadia Magnenat Thalmann. Exploiting spatial-temporal relationships for 3d pose estimation via graph convolutional networks. In Proceedings of the IEEE/CVF international conference on computer vision, 2019. --- [^34]: Tianlang Chen, Chen Fang, Xiaohui Shen, Yiheng Zhu, Zhili Chen, and Jiebo Luo. Anatomy-aware 3d human pose estimation with bone-based pose decomposition. IEEE Transactions on Circuits and Systems for Video Technology, 32(1):198–209, 2021. [^35]: Lin Geng Foo, Tianjiao Li, Hossein Rahmani, Qiuhong Ke, and Jun Liu. Unified pose sequence modeling. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 13019–13030, 2023. [^36]: Wenbo Hu, Changgong Zhang, Fangneng Zhan, Lei Zhang, and Tien-Tsin Wong. Conditional directed graph convolution for 3d human pose estimation. In Proceedings of the 29th ACM International Conference on Multimedia, pages 602–611, 2021. [^37]: Dario Pavllo, Christoph Feichtenhofer, David Grangier, and Michael Auli. 3d human pose estimation in video with temporal convolutions and semi-supervised training. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 7753–7762, 2019. [^38]: Wenkang Shan, Zhenhua Liu, Xinfeng Zhang, Shanshe Wang, Siwei Ma, and Wen Gao. P-stmo: Pre-trained spatial temporal many-to-one model for 3d human pose estimation. In European Conference on Computer Vision. Springer, 2022. [^39]: Jingwei Xu, Zhenbo Yu, Bingbing Ni, Jiancheng Yang, Xiaokang Yang, and Wenjun Zhang. Deep kinematics analysis for monocular 3d human pose estimation. In Proceedings of the IEEE/CVF Conference on computer vision and Pattern recognition, pages 899–908, 2020. [^40]: Ce Zheng, Sijie Zhu, Matias Mendieta, Taojiannan Yang, Chen Chen, and Zhengming Ding. 3d human pose estimation with spatial and temporal transformers. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 11656–11665, 2021. [^41]: Long Zhao, Xi Peng, Yu Tian, Mubbasir Kapadia, and Dimitris N Metaxas. Semantic graph convolutional networks for 3d human pose regression. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 3425–3435, 2019. [^42]: Kenkun Liu, Rongqi Ding, Zhiming Zou, Le Wang, and Wei Tang. A comprehensive study of weight sharing in graph networks for 3d human pose estimation. In Computer Vision–ECCV 2020: 16th European Conference, pages 318–334. Springer, 2020. [^43]: Zhiming Zou and Wei Tang. Modulated graph convolutional network for 3d human pose estimation. In Proceedings of the IEEE/CVF international conference on computer vision, pages 11477–11487, 2021. [^44]: Tianhan Xu and Wataru Takano. Graph stacked hourglass networks for 3d human pose estimation. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 16105–16114, 2021. [^45]: Jinlu Zhang, Zhigang Tu, Jianyu Yang, Yujin Chen, and Junsong Yuan. Mixste: Seq2seq mixed spatio-temporal encoder for 3d human pose estimation in video. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 13232–13242, 2022. [^46]: Saurabh Sharma, Pavan Teja Varigonda, Prashast Bindal, Abhishek Sharma, and Arjun Jain. Monocular 3d human pose estimation by generation and ordinal ranking. In Proceedings of the IEEE/CVF international conference on computer vision, pages 2325–2334, 2019. [^47]: Nikos Kolotouros, Georgios Pavlakos, Dinesh Jayaraman, and Kostas Daniilidis. Probabilistic modeling for human mesh recovery. In Proceedings of the IEEE/CVF international conference on computer vision, pages 11605–11614, 2021. [^48]: Karl Holmquist and Bastian Wandt. Diffpose: Multi-hypothesis human pose estimation using diffusion models. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 15977–15987, 2023. [^49]: Wenkang Shan, Zhenhua Liu, Xinfeng Zhang, Zhao Wang, Kai Han, Shanshe Wang, Siwei Ma, and Wen Gao. Diffusion-Based 3D Human Pose Estimation with Multi-hypothesis Aggregation. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 14761–14771, 2023. [^50]: Cédric Rommel, Eduardo Valle, Mickaël Chen, Souhaiel Khalfaoui, Renaud Marlet, Matthieu Cord, and Patrick Pérez. Diffhpe: Robust, coherent 3d human pose lifting with diffusion. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 3220–3229, 2023. [^51]: Yue Zhu, Nermin Samet, and David Picard. H3wb: Human3.6m 3d wholebody dataset and benchmark. In ICCV, 2023. [^52]: Cédric Rommel, Victor Letzelter, Nermin Samet, Renaud Marlet, Matthieu Cord, Patrick Pérez, and Eduardo Valle. Manipose: Manifold-constrained multi-hypothesis 3d human pose estimation. In Advances in Neural Information Processing Systems, volume 37. Curran Associates, Inc., 2024. [^53]: Nermin Samet, Cédric Rommel, David Picard, and Eduardo Valle. Pafuse: Part-based diffusion for 3d whole-body pose estimation. In European Conference on Computer Vision (ECCV), 2024. [^54]: Matthew Loper, Naureen Mahmood, Javier Romero, Gerard Pons-Moll, and Michael J Black. Smpl: A skinned multiperson linear model. In Seminal Graphics Papers: Pushing the Boundaries, Volume 2, pages 851–866. 2023. [^55]: Javier Romero, Dimitrios Tzionas, and Michael J Black. Embodied hands: Modeling and capturing hands and bodies together. arXiv preprint arXiv:2201.02610, 2022. [^56]: Tianye Li, Timo Bolkart, Michael J Black, Hao Li, and Javier Romero. Learning a model of facial shape and expression from 4d scans. ACM Trans. Graph., 36(6):194–1, 2017. [^57]: Georgios Pavlakos, Vasileios Choutas, Nima Ghorbani, Timo Bolkart, Ahmed AA Osman, Dimitrios Tzionas, and Michael J Black. Expressive Body Capture: 3D Hands, Face, and Body from a Single Image. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 10975–10985, 2019. [^58]: Jun Kai Vince Tan, Ignas Budvytis, and Roberto Cipolla. Indirect deep structured learning for 3d human body shape and pose prediction. 2017. [^59]: Hsiao-Yu Tung, Hsiao-Wei Tung, Ersin Yumer, and Katerina Fragkiadaki. Self-supervised learning of motion capture. Advances in neural information processing systems, 30, 2017. [^60]: Georgios Pavlakos, Luyang Zhu, Xiaowei Zhou, and Kostas Daniilidis. Learning to estimate 3d human pose and shape from a single color image. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 459–468, 2018. [^61]: Mohamed Omran, Christoph Lassner, Gerard Pons-Moll, Peter Gehler, and Bernt Schiele. Neural body fitting: Unifying deep learning and model based human pose and shape estimation. In 2018 international conference on 3D vision (3DV), pages 484–494. IEEE, 2018. [^62]: Nikos Kolotouros, Georgios Pavlakos, and Kostas Daniilidis. Convolutional mesh regression for single-image human shape reconstruction. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 4501–4510, 2019. [^63]: Xiangyu Xu, Hao Chen, Francesc Moreno-Noguer, László A Jeni, and Fernando De la Torre. 3d human shape and pose from a single low-resolution image with self-supervised learning. In European Conference on Computer Vision, pages 284–300. Springer, 2020. [^64]: Hongsuk Choi, Gyeongsik Moon, Ju Yong Chang, and Ky-oung Mu Lee. Beyond static features for temporally consistent 3d human pose and shape from a video. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 1964–1973, 2021. ## [^65]: Ce Zheng, Matias Mendieta, Pu Wang, Aidong Lu, and Chen Chen. A lightweight graph transformer network for human mesh --- reconstruction from 2d human pose. In Proceedings of the 30th ACM international conference on multimedia, pages 5496–5507, 2022. [^66]: Hongsuk Choi, Gyeongsik Moon, and Kyoung Mu Lee. Pose2mesh: Graph convolutional network for 3d human pose and mesh recovery from a 2d human pose. In European Conference on Computer Vision, pages 769–787. Springer, 2020. [^67]: Romain Brégier, Fabien Baradel, Thomas Lucas, Salma Galaaoui, Matthieu Armando, Philippe Weinzaepfel, and Grégory Rogez. Condimen: Conditional multi-person mesh recovery. In Proceedings of the Computer Vision and Pattern Recognition Conference, pages 3880–3890, 2025. [^68]: Fabien Baradel, Matthieu Armando, Salma Galaaoui, Romain Brégier, Philippe Weinzaepfel, Grégory Rogez, and Thomas Lucas. Multi-hmr: Multi-person whole-body human mesh recovery in a single shot. In European Conference on Computer Vision, pages 202–218. Springer, 2024. [^69]: Gul Varol, Duygu Ceylan, Bryan Russell, Jimei Yang, Ersin Yumer, Ivan Laptev, and Cordelia Schmid. Bodynet: Volumetric inference of 3d human body shapes. In Proceedings of the European conference on computer vision (ECCV), pages 20–36, 2018. [^70]: Hayato Onizuka, Zehra Hayirci, Diego Thomas, Akihiro Sugimoto, Hideaki Uchiyama, and Rin-ichiro Taniguchi. Tetratsdf: 3d human reconstruction from a single image with a tetrahedral outer shell. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 6011–6020, 2020. [^71]: Zerong Zheng, Tao Yu, Yebin Liu, and Qionghai Dai. Pamir: Parametric model-conditioned implicit representation for image-based human reconstruction. IEEE Transactions on Pattern Analysis and Machine Intelligence, 44(6):3170–3184, 2021. [^72]: Amira Guesmi and Muhammad Shafique. Navigating Threats: A Survey of Physical Adversarial Attacks on LiDAR Perception Systems in Autonomous Vehicles, September 2024. [^73]: Miles Hansard, Seungkyu Lee, Ouk Choi, and Radu Horaud. Time-of-Flight Cameras: Principles, Methods and Applications. Springer Briefs in Computer Science. Springer London. [^74]: Enrique Marti, Miguel Angel De Miguel, Fernando Garcia, and Joshua Perez. A Review of Sensor Technologies for Perception in Automated Driving. IEEE Intelligent Transportation Systems Magazine, 11(4):94–108, 2019. [^75]: You Li and Javier Ibanez-Guzman. Lidar for Autonomous Driving: The principles, challenges, and trends for automotive lidar and perception systems. IEEE Signal Processing Magazine, 37(4):50–61, July 2020. [^76]: Nanxi Li, Chong Pei Ho, Jin Xue, Leh Woon Lim, Guanyu Chen, Yuan Hsing Fu, and Lennon Yao Ting Lee. A Progress Review on Solid-State LiDAR and Nanophotonics-Based LiDAR Sensors. Laser & Photonics Reviews, 16(11), November 2022. [^77]: RoboSense - RoboSense — Safer world, Smarter life — robosense.ai. . [Accessed 22-07-2025]. [^78]: RoboSense Ranked No. 1 in Global Passenger Car LiDAR Market Share, Annual and Cumulative Sales in 2024 — Yole Annual Report - RoboSense — Safer world, Smarter life — robosense.ai. . [Accessed 22-07-2025]. [^79]: Shift Perception - Real-Time LiDAR data processing software — outsight.ai. . [Accessed 22-07-2025]. [^80]: Outsight and Robosense Partner Up — insights.outsight.ai. . [Accessed 22-07-2025]. [^81]: Luminar. Luminar's Technologies — luminartech.com. . [Accessed 22-07-2025]. [^82]: Andrew J. Hawkins. The federal government says Bird got at least a $5 million bailout loan, but the company denies it — theverge.com. . [访问日期：2025 年 7 月 22 日]。 [^83]: Volve es90 press release. . [Accessed 22-07-2025]. [^84]: Luminar. Luminar & Mercedes-Benz Announce Broad Deal Across Next-Gen Production Vehicle Lines — luminartech.com. . [Accessed 22-07-2025]. [^85]: Home — Continental — continental.com. . [Accessed 22-07-2025]. [^86]: Continental Aftermarket — continental-aftermarket.com . [Accessed 22-07-2025]. [^87]: Continental Automotive — HRL131 High Performance LiDAR — publish.stage.continental-automotive.com. . [Accessed 22-07-2025]. [^88]: Innovations from Continental for Aircraft and Airports — continental.com. 22-07-2025]. [^89]: Waymo - Self-Driving Cars - Autonomous Vehicles - Ride-Hail — waymo.com. . [Accessed 22-07-2025]. [^90]: Digital Lidar Sensors for Automation, Drones & Robotics — Ouster — Ouster — ouster.com. . [Accessed 22-07-2025]. [^91]: OS1: High-Res Mid-Range Lidar Sensor for Automation & Security — Ouster — ouster.com. . [Accessed 22-07-2025]. [^92]: Ouster OS2: High-Precision Long-Range Lidar for Autonomous Systems — Ouster — ouster.com. . [Accessed 22-07-2025]. [^93]: Mid-40 lidar sensor - Livox — livoxtech.com. . [Accessed 22-07-2025]. [^94]: Jorge Vargas, Suleiman Alsweiss, Onur Toker, Rahul Razdan, and Joshua Santos. An Overview of Autonomous Vehicles. Sensors and Their Vulnerability to Weather Conditions. Sensors, 21(16):5397. [^95]: Xinran Li, Kuo-Yi Lin, Min Meng, Xiuxian Li, Li Li, Yiguang Hong, and Jie Chen. Composition and Application of Current Advanced Driving Assistance System: A Review, June 2021. [^96]: Ouster OS0: High-Precision Ultra-Wide Short-Range Lidar Sensor — Ouster — ouster.com. . [Accessed 22-07-2025]. [^97]: Tony Huang. RPLIDAR-A2 Solid Industrial 360°; Lidar Sensor — SLAMTEC — slamtec.com. Lidar/A2. [Accessed 22-07-2025]. [^98]: RealSense LiDAR Camera L515 Datasheet — dev.realsenseai.com. . [Accessed 22-07-2025]. [^99]: 4D Lidar L1 Application Scenarios_4D Lidar L1 Efficacy — Unitree Robotics — unitree.com. . [Accessed 22-07-2025]. [^100]: Unitree 4D LiDAR L2 — Unitree Robotics — unitree.com. . [Accessed 22-07-2025]. [^101]: Xiaoqi An, Lin Zhao, Chen Gong, Jun Li, and Jian Yang. Pretraining a Density-Aware Pose Transformer for Robust LiDAR-based 3D Human Pose Estimation. In AAAI-25, Association for the Advancement of Artificial Intelligence, pages 1755–1763. AAAI Press. ## [^102]: Peishan Cong, Yiteng Xu, Yiming Ren, Juze Zhang, Lan Xu, Jingya Wang, Jingyi Yu, and Yuexin Ma. Weakly Supervised --- 《基于单目相机与单个激光雷达的大规模场景三维多人姿态估计》。AAAI人工智能会议论文集，37(1):461–469。 [^103]: Zhenzhen Weng, Alexander S. Gorban, Jingwei Ji, Mahyar Najibi, Yin Zhou, and Dragomir Anguelov. 3D Human Keypoints Estimation from Point Clouds in the Wild without Human Labels. In 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 1158–1167. IEEE. [^104]: Michael Furst, Shriya T. P. Gupta, Rene Schuster, Oliver Wasenmuller, and Didier Stricker. HPERL: 3D Human Pose Estimation from RGB and LiDAR. In 2020 25th International Conference on Pattern Recognition, pages 7321–7327. IEEE. [^105]: Zhiyu Pan, Zhicheng Zhong, Wenxuan Guo, Yifan Chen, Jianjiang Feng, and Jie Zhou. LiCamPose: Combining Multi-View LiDAR and RGB Cameras for Robust Single-timestamp 3D Human Pose Estimation. In 2025 IEEE/CVF Winter Conference on Applications of Computer Vision, pages 2484–2494. IEEE. [^106]: Xiao Han, Yiming Ren, Yichen Yao, Yujing Sun, and Yuexin Ma. Towards Practical Human Motion Prediction with LiDAR Point Clouds. In Proceedings of the 32nd ACM International Conference on Multimedia, pages 7629–7638. ACM. [^107]: Lóránt Kovács, Balázs M. Bódis, and Csaba Benedek. LidPose: Real-Time 3D Human Pose Estimation in Sparse Lidar Point Clouds with Non-Repetitive Circular Scanning Pattern. Sensors, 24(11):3427, 2024. [^108]: Dongqiangzi Ye, Yufei Xie, Weijia Chen, Zixiang Zhou, Lingting Ge, and Hassan Foroosh. LPFormer: LiDAR Pose Estimation Transformer with Multi-Task Network. In 2024 IEEE International Conference on Robotics and Automation (ICRA). IEEE. [^109]: Bohao Fan, Siqi Wang, Wenzhao Zheng, Jianjiang Feng, and Jie Zhou. Human-m3: A multi-view multi-modal dataset for 3d human pose estimation in outdoor scenes. arXiv preprint arXiv:2308.00628, 2023. [^110]: Yiteng Xu, Kecheng Ye, Xiao Han, Yiming Ren, Xinge Zhu, and Yuexin Ma. A Unified Framework for Human-centric Point Cloud Video Understanding. In IEEE/CVF Conference on Computer Vision and Pattern Recognition, CVPR, pages 1155–1164. IEEE. [^111]: Jian Shi and Peter Wonka. VoxelKP: A Voxel-based Network Architecture for Human Keypoint Estimation in LiDAR Data. In 2025 IEEE/CVF International Conference on Computer Vision (ICCV). IEEE, 2025. [^112]: Jingxiao Zheng, Xinwei Shi, Alexander Gorban, Junhua Mao, Yang Song, Charles R. Qi, Ting Liu, Visesh Chari, Andre Cornman, Yin Zhou, Congcong Li, and Dragomir Anguelov. Multimodal 3D Human Pose Estimation with 2D Weak Supervision in Autonomous Driving. In 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), pages 4477–4486. IEEE. [^113]: Peter Bauer, Arij Bouazizi, Ulrich Kressel, and Fabian B. Flohr. Weakly Supervised Multi-Modal 3D Human Body Pose Estimation for Autonomous Driving. In 2023 IEEE Intelligent Vehicles Symposium (IV), pages 1–7. IEEE. [^114]: Jialian Li, Jingyi Zhang, Zhiyong Wang, Siqi Shen, Chenglu Wen, Yuexin Ma, Lan Xu, Jingyi Yu, and Cheng Wang. LiDARCap: Long-range Markerless 3D Human Motion Capture with LiDAR Point Clouds. In 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 20470–20480. IEEE. [^115]: Jingyi Zhang, Qihong Mao, Siqi Shen, Chenglu Wen, Lan Xu, and Cheng Wang. LiDARCapV2: 3D Human Pose Estimation with Human–Object Interaction from LiDAR Point Clouds. Pattern Recognition, 156:110848. [^116]: Bohao Fan, Wenzhao Zheng, Jianjiang Feng, and Jie Zhou. LiDAR-HMR: 3D Human Mesh Recovery from LiDAR. IEEE Transactions on Multimedia, pages 1–14. [^117]: Yiming Ren, Chengfeng Zhao, Yannan He, Peishan Cong, Han Liang, Jingyi Yu, Lan Xu, and Yuexin Ma. LiDAR-aid Inertial Poser: Large-scale Human Motion Capture by Sparse Inertial and LiDAR Sensors. IEEE Transactions on Visualization and Computer Graphics, 29(5):2337–2347. [^118]: Ming Yan, Xin Wang, Yudi Dai, Siqi Shen, Chenglu Wen, Lan Xu, Yuexin Ma, and Cheng Wang. CIMI4D: A Large Multimodal Climbing Motion Dataset under Human-scene Interactions. In IEEE/CVF Conference on Computer Vision and Pattern Recognition, CVPR, pages 12977–12988. IEEE. [^119]: Aoru Xue, Yiming Ren, Zining Song, Mao Ye, Xinge Zhu, and Yuexin Ma. FreeCap: Hybrid Calibration-Free Motion Capture in Open Environments. In AAAI-25, Association for the Advancement of Artificial Intelligence, pages 9032–9040. AAAI Press. [^120]: Yudi Dai, Yitai Lin, Chenglu Wen, Siqi Shen, Lan Xu, Jingyi Yu, Yuexin Ma, and Cheng Wang. HSC4D: Human-centered 4D Scene Capture in Large-scale Indoor-outdoor Space Using Wearable IMUs and LiDAR. In 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 6782–6792. IEEE. [^121]: Yiming Ren, Xiao Han, Chengfeng Zhao, Jingya Wang, Lan Xu, Jingyi Yu, and Yuexin Ma. LiveHPS: LiDAR-Based Scene-Level Human Pose and Shape Estimation in Free Environment. In 2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 1281–1291. IEEE. [^122]: Yiming Ren, Xiao Han, Yichen Yao, Xiaoxiao Long, Yujing Sun, and Yuexin Ma. LiveHPS++: Robust and Coherent Motion Capture in Dynamic Free Environment. In Computer Vision - ECCV 2024 - 18th European Conference, volume 15087 of Lecture Notes in Computer Science, pages 127–144. Springer. [^123]: Jingyi Zhang, Qihong Mao, Guosheng Hu, Siqi Shen, and Cheng Wang. Neighborhood-Enhanced 3D Human Pose Estimation with Monocular LiDAR in Long-Range Outdoor Scenes. Proceedings of the AAAI Conference on Artificial Intelligence, 38(7):7169–7177, Mar. 2024. [^124]: Yitai Lin, Zhijie Wei, Wanfa Zhang, Xiping Lin, Yudi Dai, Chenglu Wen, Siqi Shen, Lan Xu, and Cheng Wang. HmPEAR: A Dataset for Human Pose Estimation and Action Recognition. In ACM Multimedia 2024. [^125]: Hojun Jang and Young Min Kim. ReMP: Reusable Motion Prior for Multi-domain 3D Human Pose Estimation and Motion Inbetweening. In 2025 IEEE/CVF Winter Conference on Applications of Computer Vision, pages 2474–2483. IEEE. [^126]: Guido Dumont. Improving image-based 3D Human Mesh Recovery with LiDAR data. [^127]: Glenn Jocher. Yolov5 by ultralytics, 2020. [^128]: Peishan Cong, Xinge Zhu, Feng Qiao, Yiming Ren, Xidong Peng, Yuenan Hou, Lan Xu, Ruigang Yang, Dinesh Manocha, and Yuexin Ma. STCrowd: A Multimodal Dataset for Pedestrian Perception in Crowded Scenes. In 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 19576–19585, Los Alamitos, CA, USA, June 2022. IEEE Computer Society. [^129]: Zhe Cao, Gines Hidalgo, Tomas Simon, Shih-En Wei, and Yaser Sheikh. Openpose: Realtime multi-person 2d pose estimation using part affinity fields. IEEE transactions on pattern analysis and machine intelligence, 43(1):172–186, 2019. [^130]: Ke Sun, Bin Xiao, Dong Liu, and Jingdong Wang. Deep high-resolution representation learning for human pose estimation. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 5693–5703, 2019. [^131]: Xueqian Li, Jhony Kaesemodel Pontes, and Simon Lucey. Neural scene flow prior. Advances in Neural Information Processing Systems, NeurIPS, 34, 2021. [^132]: Karen Simonyan and Andrew Zisserman. Very deep convolutional networks for large-scale image recognition. CoRR, abs/1409.1556, 2014. ## [^133]: Alex H Lang, Sourabh Vora, Holger Caesar, Lubing Zhou, Jiong Yang, and Oscar Beijbom. Pointpillars: Fast encoders for object detection from point clouds. In Proceedings of the IEEE/CVF --- 计算机视觉与模式识别会议论文集，页码12697–12705，2019年。 [^134]: Yufei Xu, Jing Zhang, Qiming Zhang, and Dacheng Tao. ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation. Proceedings of the 36th International Conference on Neural Information Processing Systems, 35:38571–38584, 2022. [^135]: Hao-Shu Fang, Jiefeng Li, Hongyang Tang, Chao Xu, Haoyi Zhu, Yuliang Xiu, Yong-Lu Li, and Cewu Lu. AlphaPose: Whole-Body Regional Multi-Person Pose Estimation and Tracking in Real-Time. IEEE Transactions Pattern Analysis Machine Intelligence, 45(6):7157–7173, June 2023. [^136]: Dongqiangzi Ye, Zixiang Zhou, Weijia Chen, Yufei Xie, Yu Wang, Panqu Wang, and Hassan Foroosh. Lidar MultiNet: Towards a Unified Multi-Task Network for LiDAR Perception. In Proceedings of the AAAI Conference on Artificial Intelligence, volume 37, pages 3231–3240, 2023. [^137]: Sven Kreiss, Lorenzo Bertoni, and Alexandre Alahi. Open-pifpaf: Composite fields for semantic keypoint detection and spatio-temporal association. IEEE Transactions on Intelligent Transportation Systems, 23(8):13498–13511, 2021. [^138]: Tao Jiang, Peng Lu, Li Zhang, Ningsheng Ma, Rui Han, Chengqi Lyu, Yining Li, and Kai Chen. RTMPose: Real-Time Multi-Person Pose Estimation based on MMPose. arXiv preprint arXiv:2303.07399, 2023. [^139]: Soyong Shin, Juyong Kim, Eni Halilaj, and Michael J. Black. WHAM: Reconstructing world-grounded humans with accurate 3D motion. In IEEE/CVF Conf. on Computer Vision and Pattern Recognition (CVPR), June 2024. [^140]: Wuming Zhang, Jianbo Qi, Peng Wan, Hongtao Wang, Donghui Xie, Xiaoyan Wang, and Guangjian Yan. An easy-to-use airborne lidar data filtering method based on cloth simulation. Remote sensing, 8(6):501, 2016. [^141]: Ruwen Schnabel, Roland Wahl, and Reinhard Klein. Efficient ransac for point-cloud shape detection. In Computer graphics forum, volume 26, pages 214–226. Wiley Online Library, 2007. [^142]: Xinshuo Weng, Jianren Wang, David Held, and Kris Kitani. AB3DMOT: A Baseline for 3D Multi-Object Tracking and New Evaluation Metrics. Computer Vision–ECCV: 16th European Conference Workshops (CVPRW), 2020. [^143]: Yuxin Wu, Alexander Kirillov, Francisco Massa, Wan-Yen Lo, and Ross Girshick. Detectron2. , 2019. [^144]: Nicolai Wojke, Alex Bewley, and Dietrich Paulus. Simple Online and Realtime Tracking with a Deep Association Metric. In 2017 IEEE International Conference on Image Processing (ICIP), pages 3645–3649. IEEE, 2017. [^145]: Zhihao Li, Jianzhuang Liu, Zhensong Zhang, Songcen Xu, and Youliang Yan. Cliff: Carrying location information in full frames into human pose and shape estimation. In European Conference on Computer Vision, pages 590–606, 2022. [^146]: Mariella Dreissig, Dominik Scheuble, Florian Piewak, and Joschka Boedecker. Survey on LiDAR Perception in Adverse Weather Conditions, June 2023. [^147]: Zhangjing Wang, Yu Wu, and Qingqing Niu. Multi-Sensor Fusion in Automated Driving: A Survey. IEEE Access, 8:2847–2868. [^148]: Olaf Ronneberger, Philipp Fischer, and Thomas Brox. U-net: Convolutional networks for biomedical image segmentation. In International Conference on Medical image computing and computer-assisted intervention, pages 234–241, 2015. [^149]: Charles R Qi, Hao Su, Kaichun Mo, and Leonidas J Guibas. Pointnet: Deep learning on point sets for 3d classification and segmentation. In Proceedings of the IEEE conference on Computer Vision and Pattern Recognition, pages 652–660, 2017. [^150]: Xiaoyang Wu, Li Jiang, Peng-Shuai Wang, Zhijian Liu, Xihui Liu, Yu Qiao, Wanli Ouyang, Tong He, and Hengshuang Zhao. Point Transformer V3: Simpler, Faster, Stronger. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 4840–4851, 2024. [^151]: Guocheng Qian, Yuchen Li, Houwen Peng, Jinjie Mai, Hasan Hammoud, Mohamed Elhoseiny, and Bernard Ghanem. Point-next: Revisiting pointnet++ with improved training and scaling strategies. Advances in neural information processing systems, 35:23192–23204, 2022. [^152]: Gilles Puy, Alexandre Boulch, and Renaud Marlet. Flot: Scene flow on Point Clouds Guided by Optimal Transport. In European conference on computer vision, pages 527–544. Springer, 2020. [^153]: Naureen Mahmood, Nima Ghorbani, Nikolaus F. Troje, Gerard Pons-Moll, and Michael J. Black. AMASS: Archive of Motion Capture as Surface Shapes. In International Conference on Computer Vision, pages 5442–5451, October 2019. [^154]: Gregory Rogez, Philippe Weinzaepfel, and Cordelia Schmid. LCR-Net: Localization-Classification-Regression for Human Pose. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 3433–3441, 2017. [^155]: Wenxuan Guo, Zhiyu Pan, Ziheng Xi, Alapati Tuerxun, Jianjiang Feng, and Jie Zhou. Sports analysis and vr viewing system based on player tracking and pose estimation with multimodal and multiview sensors. arXiv preprint arXiv:2405.01112, 2024. [^156]: Peiyuan Ni, Wenguang Zhang, Xiaoxiao Zhu, and Qixin Cao. Pointnet++ grasping: Learning an end-to-end spatial grasp generation algorithm from sparse point clouds. In 2020 IEEE International Conference on Robotics and Automation (ICRA), pages 3619–3625. IEEE, 2020. [^157]: Xiaoyang Wu, Yixing Lao, Li Jiang, Xihui Liu, and Hengshuang Zhao. Point Transformer V2: Grouped Vector Attention and Partition-based Pooling. Advances in Neural Information Processing Systems, 35:33330–33342, 2022. [^158]: Kevin Lin, Lijuan Wang, and Zicheng Liu. Mesh Graphormer. In Proceedings of the IEEE/CVF international conference on computer vision, pages 12939–12948, 2021. [^159]: Sijie Yan, Yuanjun Xiong, and Dahua Lin. Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recognition. In Proceedings of the AAAI Conference on Artificial Intelligence, volume 32, 2018. [^160]: Hanbyul Joo, Hao Liu, Lei Tan, Lin Gui, Bart Nabbe, Iain Matthews, Takeo Kanade, Shohei Nobuhara, and Yaser Sheikh. Panoptic Studio: A Massively Multiview System for Social Motion Capture. In The IEEE International Conference on Computer Vision (ICCV), 2015. [^161]: Jiefeng Li, Chao Xu, Zhicun Chen, Siyuan Bian, Lixin Yang, and Cewu Lu. Hybrik: A hybrid analytical-neural inverse kinematics solution for 3d human pose and shape estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 3383–3393, 2021. [^162]: Dong C Liu and Jorge Nocedal. On the limited memory bfgs method for large scale optimization. Mathematical programming, 45(1):503–528, 1989. [^163]: Ignacio Vizzo, Tiziano Guadagnino, Jens Behley, and Cyrill Stachniss. VDBFusion: Flexible and Efficient TSDF Integration of Range Sensor Data. Sensors, 22(3), 2022. [^164]: Meng Zhang, Wenxuan Guo, Bohao Fan, Yifan Chen, Jianjiang Feng, and Jie Zhou. A Flexible Multi-view Multi-modal Imaging System for Outdoor Scenes. In 2022 International Conference on 3D Vision (3DV), pages 322–331. IEEE. [^165]: Wonhui Kim, Manikandasriram Srinivasan Ramanagopal, Charles Barto, Ming-Yuan Yu, Karl Rosaen, Nick Goumas, Ram Vasudevan, and Matthew Johnson-Roberson. PedX: Benchmark Dataset for Metric 3-D Pose Estimation of Pedestrians in Complex Urban Intersections. IEEE Robotics and Automation Letters 2019, 4(2):1940–1947.