# 预训练用于鲁棒 LiDAR 3D 人体姿态估计的感知密度的人体姿态 Transformer 安晓琪$^{1}$，赵林$^{1*}$，龚晨$^{1}$，李军$^{1}$，杨健$^{1*}$ $^{1}$PCA 实验室，南京大学科学技术学院智能感知与高维信息系统重点实验室，{xiaoqi.an, linzhao, chen.gong, junli, csiyang}@njust.edu.cn ## 摘要随着自动驾驶的快速发展，基于 LiDAR 的 3D 人体姿态估计 (3D HPE) 成为研究重点。然而，由于 LiDAR 捕获的点云存在噪声和稀疏性，鲁棒的人体姿态估计仍然具有挑战性。大多数现有方法使用时间信息、多模态融合或 SMPL 优化来纠正偏差的结果。在这项工作中，我们试图仅通过对低质量点云的内在属性进行建模来获得 3D HPE 的足够信息。因此，我们提出了一种简单但强大的方法，该方法既能深入了解点云的建模，又能增强点云。具体来说，我们首先提出了一种简洁有效的感知密度的人体姿态 Transformer (DAPT)，以获得稳定的关键点表示。通过使用一组关节锚点和一个精心设计的交换模块，可以从具有不同密度的点云中提取有效信息。然后使用 1D 热图来表示关键点的位置。其次，提出了一种全面的 LiDAR 人体合成和增强方法，用于预训练模型，从而使其能够获得更好的人体先验知识。我们通过随机采样人体位置和方向以及通过添加激光级掩码来模拟遮挡，来增加点云的多样性。我们在多个数据集上进行了广泛的实验，包括带有 IMU 注释的 LidarHuman26M、SLOPER4D 以及手动注释的 Waymo Open Dataset v2. 2.0 (Waymo) 和 HumanM3。我们的方法在所有场景中都表现出 SOTA 性能。值得注意的是，与 Waymo 上的 LPFormer 相比，我们减少了平均 MPJPE 10.0 毫米。与 SLOPER4D 上的 PRN 相比，我们显著减少了平均 MPJPE 20.7 毫米。代码 — ## 1 介绍 3D 人体姿态估计 (3D HPE) 是一项基本的计算机视觉任务，在许多下游应用中都发挥着重要作用，例如人体行为理解、轨迹预测、自动驾驶 (Cong et al. 2022; Lian et al. 2022) 等。为了实现 3D HPE，一种简单直接的方法是从 2D HPE 直接回归 3D 关键点坐标。 ![Image](images/7c95d3f897e30c64a4b97f05a5d40c7b669d45ad7ab4db65ba539545fdac2031.jpg)

Figure 1: We propose a novel framework for LiDAR-based 3D HPE. With comprehensive LiDAR human synthesis & augmentation for model pre-training as well as the learning of stable joint representations, our method produces robust results from low-quality point clouds.

结果 (Kang et al. 2023; Gong, Zhang, and Feng 2021)。然而，这些方法难以预测世界坐标，并且在真实场景中实现鲁棒的姿态估计仍然具有挑战性。为了获得全局 3D 关键点，大多数传统的 3D HPE 方法基于多视 RGB 图像 (Simon et al. 2017; Iskakov et al. 2019; Tu, Wang, and Zeng 2020; Ye et al. 2022) 或 RGB-D 图像 (Ying and Zhao 2021; Hong and Kim 2018)，这需要复杂的室内实验室环境和校准 (Su et al. 2020; Zheng et al. 2022)。此外，LiDAR 传感器可以在复杂的环境中获得准确的点级别深度，这更适用于开放世界场景中的长距离 3D HPE。然而，与由RGB-D图像生成的清晰且密集的点云相比（Fan et al. 2018; Ionescu et al. 2014），LiDAR捕获的点云存在各种不一致之处，这使得它们难以直接通过现有方法进行学习。如图2所示，Waymo Open Dataset中的样本具有各种点密度，并且来自环境的噪声点可能导致歧义和不稳定的预测。因此，为了实现鲁棒的姿态估计，(Li et al. 2022a; Yan et al. 2024; Zhao et al. 2024) 集成了时空图卷积网络 (ST-GCN) 以从多个LiDAR帧中获得稳定的姿态结果。(Cong et al. 2023; Fürst et al. 2021) 采用多模态融合来缓解稀疏点云中的信息不足，而 (Li et al. 2022a; Yan et al. 2024; Zhang et al. 2024) 引入了SMPL (Loper et al. 2015) 作为先验知识，以进一步对齐人体网格和点云。尽管这些方法取得了成功，但它们不可避免地会引入额外的采集数据或耗时的优化过程，这会使整个框架复杂化，使其不太适合实际应用。 --- ![Image](images/6d815f43d8655cc3fb7d33b556661a00d1200e87a9e572fb79ea4050ec76dd4d.jpg)

a) Noisy b) Occluded

c) Various density

Figure 2: Difficulties of LiDAR-based 3D HPE, mainly lie in samples with noisy, occluded, or sparse point clouds.

![Image](images/72714189327799dfa46d900790c94fccb2cd9a86ef707267a769a82825256ebf.jpg)

Figure 3: Results of the segment-regression-based methods. The color of the point indicates which joint it belongs to. The wrong segmentation leads to a biased joint location.

本文提出了一种新颖的框架，仅使用单帧低质量LiDAR点云来学习用于3D人体姿态估计的稳定表示。我们的方法简单但有效。具体而言，我们深入探讨了用于准确姿态估计的模型设计以及用于有效人体先验学习的模型预训练。首先，我们设计了一种密度感知姿态转换器 (DAPT)，它提供了关节的稳定和明确表示。大多数现有模型尝试从全局或聚类点特征中回归关节坐标。这使得模型高度容易受到点云密度和空间分布的影响。如图3所示，当关节附近的点云稀疏或噪声时，网络无法正确识别该点属于哪个身体部位，从而导致关节位置偏差。为了解决这个问题，我们引入了一组可学习的关节锚点。在提取点云特征时，它们可以通过精心设计的交换模块显式地集成来自多个密度级别的的信息。然后，我们使用XYZ轴上的1D热图来表示关节位置，这使得模型可以获得稳定的输出。其次，我们引入了一种全面的预训练方法，该方法对LiDAR人体进行彻底的合成和增强。由于标注LiDAR数据成本高昂，因此，我们受(Weng et al. 2023a)的启发，在通过光线追踪合成的SMPL网格样本上进行训练。为了应对真实场景中的噪声和稀疏点云，我们添加了一个可以以小幅度变化的方形表面，例如地面表面，并将人体网格放置在场景中，采用随机姿势和位置。另一方面，由于光束容易受到前景物体的遮挡，因此，我们使用补丁遮挡范围图像，以模拟遮挡。因此，该模型将学习人体先验知识，并在低质量点云中挖掘有关姿势的重要线索。其次，我们介绍一种全面的预训练方法，该方法对 LiDAR 人体进行彻底的合成和增强。由于标注 LiDAR 数据成本高昂，我们受 (Weng et al. 2023a) 的启发，在通过光线追踪生成的 SMPL 网格样本上进行训练。为了应对现实场景中嘈杂和稀疏的点云，我们添加了一个可以进行小幅度变化的平面，例如地面，并将人体网格放置在场景中，采用随机的姿势和位置。另一方面，由于光束容易受到前景物体的遮挡，我们使用补丁遮挡范围图像，以模拟遮挡。因此，模型将学习人体先验知识，并在低质量点云中挖掘关于姿势的重要线索。通过预训练和DAPT的协同作用，我们的方法提供了一种稳健的方式来理解户外环境中人体姿态。尽管我们提出的方法不使用优化，也不使用来自其他模态或时间序列的信息，但我们仍然在多个数据集上优于最先进的方法。具体来说，与LPFormer（Ye等人，2024年）在手动标注的Waymo Open数据集（Sun等人，2020年）上的比较，平均每个关节位置误差（MPJPE）降低了10毫米（$\downarrow$16%）。与PRN（Fan等人，2023b）在IMU标注的SLOPER4D数据集（Dai等人，2023年）上的比较，MPJPE降低了20.7毫米（$\downarrow$58%）。总之，我们的贡献在于三个主要方面： - 我们提出了一种密度感知的姿态Transformer，该Transformer可以稳健地从稀疏和噪声的点云中提取姿态线索。 - 我们深入研究了使用LiDAR数据估计人体姿态的困难，并设计了一种全面的预训练方法。 - 我们的方法大大提高了单帧仅使用LiDAR的人体姿态估计的稳定性和准确性，并在多种场景中实现了最先进的性能。 ## 2 相关工作 ### 2.1 基于LiDAR的3D人体姿态估计近年来，随着LiDAR点云的实际应用价值的探索，提出了许多基于LiDAR点云的3D人体姿态估计方法。（Li等人，2022a）提供了第一个LiDAR人体姿态估计数据集，并提出了第一个用于基于LiDAR的运动捕捉的完全监督基线。关键点坐标通过一个时序编码器获得，并使用逆运动学和SMPL进行优化。（Yan等人，2023）提供了一个包含显式场景交互的攀爬数据集，并尝试执行场景感知的3D人体姿态估计，随后是（Zhang等人，2024），该方法使用背景中采样到的3D邻居的环境信息来增强姿态学习。（Ren等人，2024b,a）通过利用时间性和空间一致性来实现准确的运动跟踪。另一方面，(Cong等人，2023; Zheng等人，2022; Fürst等人，2021; Hu等人，2024)执行多模态融合，利用2D图像提供的关键点线索和几何约束进行弱监督3D人体姿态学习。（Ye等人，2024）提出了一种多任务架构，通过增强模型学习，结合分割和目标检测任务，并使用关键点Transformer进行多人3D人体姿态估计。尽管这些方法取得了成功，但大多数方法不可避免地会使用来自其他模态的信息，或者利用SMPL提供的身体结构先验来弥补 --- ![Image](images/c51389840ee0e2d3804ecde09274005f0b7d955a834678839d1127ecbba47c06.jpg)

Figure 4: Overall structure of our method. It mainly consists of (a) a comprehensive LiDAR human synthesis and augmentation framework to provide internal human priors, and (b) a Density Aware Pose Transformer that uses the multi-density exchange (MDE) module to extract stable joint representations from point cloud features.

在稀疏或噪声LiDAR点云上的不稳定结果。这会导致系统复杂性和延迟的增加。因此，我们认为一种不使用优化的、仅基于单帧LiDAR的方法更实用。这促使我们学习一种用于基于LiDAR的3D人体姿态估计的稳定关节表示，这提高了结果的可靠性，并避免了繁琐的后期处理。 ### 2.2 人体姿态估计的预训练由于预训练允许模型学习通用且与数据集无关的表示，因此它已成为提高下游任务性能的重要技术（Devlin 等，2019；He 等，2020；Wang 等，2021；Li 等，2021、2022b）。一方面，人们试图使用现有数据进行增强表示学习。（Xu 等，2022；An 等，2024）通过掩码自监督预训练，提高了基于视觉Transformer的二维姿态估计的准确性（He 等，2022）。（Qiu 等，2023）利用计算摄影提供的物理约束来进行弱监督的三维姿态预训练，并提高模型的泛化能力。（Shan 等，2022）通过应用骨骼的空间-时间掩码，提高了二维到三维重建方法的准确性。另一方面，一些方法试图使用合成数据来弥补缺乏标注姿态数据的不足。（Lin 等，2024）利用多摄像头投影的SMPL模型来生成足够的标注样本，用于预训练。（Weng 等，2023b）提出了一种基于人体网格的LiDAR场景生成方法。（Ren 等，2023、2024b、a）构建了大规模的合成数据集，基于（Mahmood 等，2019），以获得丰富的先验人体信息。然而，这种方法受到限制，因为它没有考虑人体和LiDAR传感器的相对位置，并且忽略了遮挡的多样性。在本文中，我们进行更丰富、更合理的空间位置采样，以便模型可以从更多方面学习点云表示。此外，我们构建了更复杂的遮挡和噪声点云，以模拟真实环境。 ## 3 方法论我们的方法由两部分组成：a) 用于稳定关节表示学习的密度感知姿态Transformer (DAPT)，b) 用于模型预训练的全面LiDAR人体合成与增强。我们采用两阶段的训练方案，如图4所示，我们首先在合成样本上预训练模型，这些样本是通过随机增强和遮挡进行的射线追踪生成。当样本被输入到 proposed 模型时，它们首先被编码为稀疏点特征。然后，通过多密度交换 (MDE) 模块逐步提取有效的关节信息，并解码为一维热图。最后，我们将真实样本输入到模型中进行微调。注意，预训练和微调之间的网络架构是共享的，只有损失函数略有不同。在本节中，我们逐模块地介绍 proposed 的方法。 ### 3.1 LiDAR 人体合成用于预训练的样本的质量和多样性将直接影响下游微调的效果。受（Weng 等，2023b）的启发，我们提出一种更全面的策略来采样和增强场景。场景采样通过从真实世界捕获的SMPL数据库（Li 等，2022a）中采样形状参数 $\vec{\beta} \in \mathbb{R}^{10}$ 和姿态参数 $\vec{\theta} \in \mathbb{R}^{72}$，简单地通过SMPL模型生成一个人体实例： $$ \left\{\mathbf{M}_{h},\hat{\mathbf{J}}\right\}=\mathrm{S M P L}(\overrightarrow{\beta},\overrightarrow{\theta}), $$ 其中，$\mathbf{M}_h = \{\mathbf{V}_h \in \mathbb{R}^{N_V \times 3}, \mathbf{F}_h \in \mathbb{Z}^{N_F \times 3}\}$ 是具有 $N_V$ 个顶点 $\mathbf{V}_h$ 和 $N_F$ 个三角形面的人体网格 $\mathbf{F}_h$。$\hat{\mathbf{J}} \in \mathbb{R}^{K \times 3}$ 是人体关节。为了模拟真实的地面，通过一个随机法向量 $\mathbf{M}_g = \{\mathbf{V}_g, \mathbf{F}_g\}$，其大小为 $\vec{n}$，生成一个地面网格 $s_g$，该法向量位于 $\mathbf{V}_h$ 中的 Z 轴最小值点。然后，我们随机采样一个极坐标，距离为 $r \in [4m, 20m]$，方位角为 $\theta \in [-\pi, \pi]$，并将其转换为 --- 笛卡尔坐标，转换成过渡点 $\vec{t}$。最后，将该变换应用于 $M_h$ 和 $M_g$，以获得场景网格： $$ \mathbf{M}=\{\mathbf{V}=(\mathbf{V}_{h}\cup\mathbf{V}_{g})+\vec{t},\mathbf{F}=\mathbf{F}_{h}\cup\mathbf{F}_{g}\}. $$ 光线投射：LiDAR传感器通过在不同高度角上进行 $360^{\circ}$ 次扫描来获取深度信息。因此，它捕获的3D点可以用极坐标 $(r, \theta_l, \delta_l)$ 表示，位于激光网格 $\mathcal{G} = \{\theta_i\}_{i=1}^{N_{\theta}} \times \{\delta_j\}_{j=1}^{\tilde{N}_{\delta}}$ 中。由于合成网格仅占用一个小角度范围，为了更快地生成样本并促进后续应用激光级掩码，我们仅截取有效方位角和俯仰角范围内的激光： $$ \begin{align*}\boldsymbol{\Theta}&=[{\boldsymbol{\theta}}_{min}(\mathbf{V}),{\boldsymbol{\theta}}_{max}(\mathbf{V})]\cap\{\theta_{i}\}_{i=1}^{N_{\theta}},\\\boldsymbol{\delta}&=[{\boldsymbol{\delta}}_{min}(\mathbf{V}),{\boldsymbol{\delta}}_{max}(\mathbf{V})]\cap\{\delta_{j}\}_{j=1}^{N_{\delta}},\\\mathbf{R}&=\{(\theta_{l},\delta_{l})|{\boldsymbol{\theta}}_{l}\in\boldsymbol{\Theta},\delta_{l}\in\boldsymbol{\delta}\},\end{align*} $$ 其中，$\theta_{min}(\cdot), \theta_{max}(\cdot)$ 取顶点最小和最大方位角，对于俯仰角，相应的数值由 $\delta_{min}(\cdot), \delta_{max}(\cdot)$ 给出。然后，使用网格进行光线投射，以获得点云 $\mathbf{P} \in \mathbb{R}^{N \times 3}$ 以及激光击中的面 $\mathbf{H} \in \mathbb{Z}^N$： $$ \mathbf{(P,H)}=\operatorname{RayCast}(\mathbf{M};\mathbf{R}). $$ 注意，SMLP模型提供了一个描述三角形面所属关节的标签图。因此，$\hat{\mathbf{S}} \in [0,1]^{N \times (K+1)}$ 的地面真实分割 $\mathbf{P}$ 可以通过 $\mathbf{H}$ 计算得出，其中 $\hat{\mathbf{S}}_{i,j} = 1$ 表示激光点 $p_i \in \mathbf{P}$ 属于第 j 个关节。激光级掩码：为了更好地模拟真实环境中的遮挡，我们将激光网格中有效激光网格划分为经验大小为 $s_p = \lfloor \min \{ \max \theta - \min \theta, \max \delta - \min \delta \} / 8 \rfloor$ 的补丁。然后，将总补丁的 $1 - r_{keep}$ 比率进行掩码，这些补丁表示为 $\mathcal{M}$。最后，通过以下公式过滤点云： $$ {\bf P}_{{s y n}}=\left\{p_{i}|p_{i}\in{\bf P},r_{i}\notin\mathcal{M}\right\}, $$ 其中，$r_i \in \mathbf{R}$ 是产生命中点的射线 $p_i$。 ### 3.2 密度感知姿态变换器我们提出了一种基于 UNet 样式的点云变换器（Wu et al. 2024），用于获得不同密度的稳定关节表示。具体来说，首先将点云编码为稀疏点云特征，然后将这些特征馈入解码器以恢复为点特征。在解码过程中，我们使用 MDE 模块从不同的池化层导出有效信息，并使用 1D 热图表示点位置，因为热图通常比坐标回归更适合神经网络。带有 MDE 的点云特征推导：给定输入点云 $\mathbf{P} \in \mathbb{R}^{N_0 \times 3}$，它通过编码器 $f_M$ 编码为潜在点特征 $\mathcal{E} : \mathbb{R}^{N_0 \times 3} \to \mathbb{R}^{N_M \times D_M}$。其中，$N_0$ 是初始点数，$N_M, D_M$ 是 M 级池化的池点数和池点特征维度。如图 4 所示，可以看出，在更深层的池化级别，池化点云显示出更稀疏的空间分布，这启发我们对与关节相关的特征在这些级别上进行建模。因此，引入一组可学习的关节锚点 $\mathbf{A}_M \in \mathbb{R}^{K \times D_M}$。随着点云变换器块的进行，MDE 逐渐在点特征 $f_m$ 和关节锚点之间交换信息。然后，它通过以下公式更新关节特征： $$ \mathbf{A}_{m-1}=\mathrm{MDE}_{m}(\mathbf{A}_{m},f_{m}),m=M,M-1,\cdots,1. $$ $A_{m-1} = \text{MDE}_m(A_m, J_m), m = M, M-1, \cdots, 1.$ (6) MDE 模块首先通过 MLP 将关节特征 $A_m$ 的维度与 $f_m$ 的维度对齐，然后对其进行自注意力处理，同时使用填充的 $f_m$ 进行交叉注意力。热图解码器用于关节。已经证明，两个一维热图可以有效地表示二维关键点坐标 (Li et al. 2022c)。受到此启发，我们将它扩展到表示关节的三维坐标。针对给定范围和的 bin 数量 $N_{\{x,y,z\}}$，第 i 个关节的热图 $h_{\{x,y,z\};i}$ 可以通过 MLP 在相应的轴上进行预测。为了获得目标坐标，我们通过取一维热图的峰值位置 $h_{\{x,y,z\};i}$，并将它们映射回坐标，该映射通过计算的范围和 bin 来实现。预训练。预训练的目标是使模型能够获得 LiDAR 捕获的点云中的人体先验知识，并理解人体结构。因此，在这个阶段，为了避免因监督强度差异而引起的偏好，我们遵循 (Weng et al. 2023a)，仍然使用关节特征上的坐标回归和点特征上的分割进行监督。关节回归损失 $\mathcal{L}_{reg}$ 定义如下： $$ \mathcal{L}_{r e g}=\sum_{i=1}^{K}\left\|\mathbf{J}_{i}-\hat{\mathbf{J}}_{i}\right\|_{2}\cdot v_{i}/\sum_{i=1}^{K}v_{i}, $$ 其中 $\mathbf{J}$ 是通过共享解码器 $\mathbf{A}_0$ 从 $\mathcal{D}_{reg} : \mathbb{R}^{D_0} \to \mathbb{R}^3$ 解码的关节坐标，$\hat{\mathbf{J}}$ 是对应的地面真值，$v_i$ 是关节可见性。分割损失 $\mathcal{L}_{seg}$ 定义如下： $$ \mathcal{L}_{s e g}=-\sum_{i=1}^{N_{0}}\sum_{j=1}^{K+1}\mathbf{S}_{i,j}\log(\hat{\mathbf{S}}_{i,j}), $$ 其中 $\mathbf{S}$ 是通过共享解码器 $f_0$ 从 $\mathcal{D}_{seg} : \mathbb{R}^{D_0} \to \mathbb{R}^{K+1}$ 解码的点部分的分割。总体而言，我们输入合成数据并最小化： $$ \mathcal{L}_{\mathrm{p r e}}=\lambda_{r e g}\mathcal{L}_{r e g}+\lambda_{s e g}\mathcal{L}_{s e g}, $$ 其中 $\lambda_{reg}$ 和 $\lambda_{seg}$ 是损失权重。微调。微调阶段的目标是使模型适应于不同数据集的关节标注及其特定的分布。因此，在这个阶段，我们只启用热图损失。我们输入真实数据并最小化： $$ \mathcal{L}_{\mathrm{f t}}=\mathcal{L}_{h m}=\sum_{c\in\{x,y,z\}}\sum_{j=1}^{K+1}D_{\mathrm{K L}}(h_{c;j}\|\hat{h}_{c;j}), $$ 其中 $D_{KL}$ 是 GT 和预测的一维热图之间的 Kullback–Leibler 散度。 --- ![Image](images/2cc8cc721a33048d12f97711d1ce44e2c7ea8639dcec59a71f042d0399ab5102.jpg)

Figure 5: Visualization results on common datasets with challenging samples. Our method demonstrates strong stability on low-quality point clouds including occlusion, noise, and sparsity.

Dataset Metrics	Waymo			HumanM3			LiDARHuman26M				SLOPER4D
Dataset Metrics	MPJPE	PCK3	PCK5	MPJPE	PCK3	PCK5	MPJPE	PA-	PCK3	PCK5	MPJPE	PA-	PCK3	PCK5
LidarCap	-	-	-	-	-	-	79.31	66.72	86.00	95.00	101.89	78.93	78.15	89.77
NE	-	-	-	-	-	-	72.23	61.67	87.94	95.79	96.80	76.70	79.22	90.51
LPFormer	61.60	94.52	98.04	83.69	89.54	96.85	95.72	79.03	84.38	94.87	49.31	38.92	97.22	99.44
PRN	68.48	93.60	97.87	70.56	93.18	97.80	80.01	63.67	88.77	96.54	48.76	39.42	97.38	99.45
DAPT(ours)	51.59	97.34	98.98	59.76	95.39	98.30	73.47	58.40	90.54	97.06	28.01	21.52	99.30	99.87

Table 1: Comparison with other methods on IMU-annotated LidarHuman26M, SLOPER4D, and manually annotated Waymo Open Dataset, HumanM3. PA- stands for PA-MPJPE, and the units of MPJPE and PA-MPJPE are mm. The best results are highlighted in bold. For the same dataset, the skeleton structures are aligned to ensure fair comparison.

## 4 实验 ### 4.1 实现细节对于模型规范，我们遵循 PTv3 的典型配置 (Wu et al. 2024)，体素化网格大小为 0.01。对于数据合成，SMPL 模型来自 (Li et al. 2022a)，并使用具有 64 条线和 2650 个角度的模拟 LiDAR 传感器执行光线投射，$r_{keep}$ 设置为 0.6 用于激光级遮蔽。在模型训练中，我们以 50 个 epoch 的方式进行预训练和微调，使用 AdamW (Loshchilov and Hutter 2019) 优化器，在 2 个 RTX 4090 上运行。我们将批次大小设置为 64，并应用余弦退火衰减策略。对于预训练，我们将学习率设置为 $3 \times 10^{-4}$，并将 $\lambda_{reg} = 0.5$ 和 $\lambda_{seg} = 1.0$ 设置为。对于微调，学习率设置为 $5 \times 10^{-4}$。 ### 4.2 数据集我们使用四个具有不同场景和标注方法的的数据集来评估我们的方法： LiDAR Human26M (Li et al. 2022a) 这是一个使用惯性测量单元 (IMU) 捕获人体姿势到 SMPL 格式的多模态数据集。它使用固定 LiDAR 传感器在 12m 到 24m 的范围内捕获各种日常动作。场景清晰且理想。 SLOPER4D (Dai et al. 2023) 这是一个在更真实的场景中捕获的，带有 IMU 标注的数据集。使用移动 LiDAR 传感器跟踪行走的人，以捕获点云数据。由于官方的训练-测试拆分不可用，我们使用与 (Zhang et al. 2024) 相同的拆分。 HumanM3 (Fan 等，2023a) 是一个利用自动标注和人工复查的多人姿态数据集，用于获得准确的地面真值姿态。它主要包括运动场上的多人场景，通过多个 RGB-LiDAR 单元捕捉点云和图像。由于其规模庞大，并且相邻帧之间存在细微差异，我们仅使用 20% 的数据进行训练。 Waymo Open Dataset v2 (Mei 等，2022) 是一个大型多任务自动驾驶数据集，包含带有手动 3D 姿态标注的 10,000 个人体实例。 ### 4.3 指标根据常见做法，为了评估模型性能，我们报告 MPJPE↓ (Mean Per Joint Position Error，平均每个关节位置误差)，PA-MPJPE↓ (Procrustes-Aligned Mean Per Joint Position Error，Procrustes 对齐平均每个关节位置误差)，PCK-3↑ (Percentage of Correct Keypoints with distance to GT lower than 30% of torsal length，距离地面真值小于躯干长度 30% 的正确关键点的百分比)，PCK-5↑ (Percentage of Correct Keypoints with distance to GT lower than 50% of torsal length，距离地面真值小于躯干长度 50% 的正确关键点的百分比)。请注意，我们未在 Waymo 和 HumanM3 数据集上评估 PA-MPJPE，因为关节的可视性标签会干扰刚体对齐过程。 ---

Pre-training dataset	Waymo	LiDARH26M
w/o	59.2	76.5
LIPD (Ren et al. 2023)	58.7	75.6
FreeMotion (Ren et al. 2024b)	57.9	74.3
NoiseMotion (Ren et al. 2024a)	59.0	76.3
FreeMotion $^{\dagger}$	54.6	73.2
LiDARH26M $^{\dagger}$	51.6	73.4

Table 2: The effectiveness of our enhanced pre-training method, † means applying our data synthesis pipeline rather than the point cloud provided by the dataset.

Anchor	MDE	Heatmaps	MPJPE (gain)
PRN Baseline			68.5
✓			54.3 (-14.2)
✓	✓		52.3 (-16.2)
✓		✓	53.8 (-14.7)
✓	✓	✓	51.7 (-16.8)

Table 3: Ablation study of progressively enabling our proposed components.

### 4.4 比较方法我们与几种最先进的方法进行比较。具体来说，我们首先评估与基于 Transformer 的高级模型 LPFormer (Ye 等，2024) 和 PRN (Fan 等，2023b) 进行比较，这两种模型都能够从单帧 LiDAR 数据推断出完整的人体姿态。此外，我们还与 LiDARCap (Li 等，2022a) 进行比较，该方法利用 SMPL 优化和时序信息。我们还包括 Neighbor Enhanced (NE) 3HPE (Zhang 等，2024)，该方法整合了周围场景的信息。为了确保一致的比较，我们将 PRN 中的点云骨干替换为 PTv3。我们注意到 LiDARCap 和 NE 需要连续帧和地面真值 SMPL 参数，这限制了它们在 Waymo 和 HumanM3 数据集上的评估过程。因此，未包含这些结果。 ### 4.5 实验结果表 1 呈现了比较结果，我们的方法在四个数据集上始终获得出色的结果。在具有清晰场景的 LiDAR Human26M 数据集上，我们的方法获得了与当前最佳 NE 相当的 MPJPE，但 PA-MPJPE 更低 ( $-3.2mm$)，表明与地面真值的对齐程度更高。在更具挑战性的 SLOPER4D 数据集上，我们的方法实现了 28.01 毫米的显著 MPJPE，比当前最佳 PRN ( $-20.7mm$) 提高了很大一部分。在运动场景数据集 HumanM3 上，我们的方法记录了 59.76 毫米的 MPJPE，比 PRN 高 10.8 毫米。最后，在以自动驾驶场景为中心的 Waymo 数据集上，我们的方法实现了 51.59 毫米的 MPJPE，比最先进的方法 LPFormer 提高了 10.0 毫米。总的来说，我们的方法始终获得更高的 PCK-30 和 PCK-50 分数，表明其具有更高的鲁棒性和实用价值。

Method	MPJPE (gain)	$r_{keep}$	MPJPE
scratch	59.2	0.5	53.0
+pre-training	52.9 (-6.3)	0.6	51.7
+scene sampling	52.4 (-6.8)	0.7	51.9
+laser masking	51.7 (-7.5)	0.8	52.5
		0.9	52.4

(a) Influence of augmentations (b) Influence of $r_{keep}$

Table 4: Ablation study of pre-training related components.

### 4.6 稳定性评估为了评估我们方法的稳定性，我们引入了各种类型的噪声，对点云进行扰动，并重新评估模型的性能。具体来说，我们在不同位置添加了噪声点簇，并将偏移量应用于每个点。结果见图 7。点抖动：我们向输入中每个点的坐标添加噪声，并使用不同的阈值进行裁剪。结果如图 7a 所示。可以观察到，与基线方法相比，我们的方法性能下降较小，提出的 MDE 模块在处理扰动方面也起到了积极作用。噪声簇：我们通过向输入点云添加包含不同数量噪声点的簇来模拟极端输入条件。如图 7b 所示，随着每个簇中噪声点数量的增加，我们的方法产生更稳定的结果。值得注意的是，我们的预训练显著增强了模型处理带噪声点云的能力。端关节的误差：我们评估最难的端关节的误差，结果如图 8 所示。我们的方法在这些关节上表现出更小的平均误差和方差。特别是，我们提出的预训练方法有效地稳定了对脚踝和手腕的预测。 ### 4.7 消融研究模型组件：在表 3 中，我们在 Waymo 数据集上进行消融研究，以评估关键组件的贡献，通过逐步启用每个提出的模块。具体来说，第 1 行表示 PRN 基线。第 2 行显示在基于市售 PTv3 的基础上引入关节锚点和 4 层 Transformer 后的结果。第 3 行演示了在多尺度点云特征上启用我们提出的 MDE 模块的效果。第 4 行用基于热图的解码替换基于坐标的解码。最后一行显示了启用所有模块的结果。关节锚点和 MDE 模块的综合作用导致 MPJPE 提高了 16.2 毫米，比基线有显著提升。将解码器替换为基于热图的解码器，可进一步提高 0.6 毫米。预训练。在表 4 中，我们进行消融研究，以评估我们提出的预训练策略的影响。表 4a 评估了增强效果：第一行表示不进行任何预训练的情况，第二行使用与 (Weng --- ![Image](images/0c2f9ad98f5f000064ed20ba8e8742b6f9fcbff3e3eeeebb55d72d197764e0e8.jpg)

Figure 6: Visualization of synthesis samples. For the same SMPL human body, our method can produce diverse point clouds, and the laser level mask introduces extreme cases, which equips the model with more robust human priors and the ability to recover human pose from low-quality point clouds.

![Image](images/439a4071bb8b137c9c74f9dc2f7032f546725c6f3f8208ec71f26585f41b1f74.jpg)

(a) Point jittering

![Image](images/1edaa6ffdfb7d6e7117f70d68b773cb72ab36e5e1924a220ccd98294894a08ef.jpg)

(b) Noise point clusters

Figure 7: Stability evaluation of our method. We observe that the performance degradation of the proposed method is within a more acceptable range.

![Image](images/49af9cc98e50f32fd3d8b7451bdf6fcfef53cccc3dd580179fb8855833f398f4.jpg)

Figure 8: Errors comparison of the most challenging human end joints. The worst 600 instances of each method are included in the statistics.

et al. 2023a），第三行实现场景重采样，第四行进一步融入了本文提出的激光层级掩码。对比第1行和第2行，加入预训练后MPJPE降低了6.3mm。进一步对比第1行和第4行可见，同时融入场景重采样和激光层级掩码带来了幅度更大的提升，MPJPE降幅达到7.5mm。此外，如表4b所示，为了在为人体姿态重建提供充足信息和让模型从遮挡点云中恢复人体结构之间取得平衡，我们将激光层级掩码$r_{keep}$的占比从0.5调整至0.9，以确定最优参数。另外，如表2所示，我们还将本文的合成流水线与同样使用合成数据的LIPD（Ren et al. 2023）、FreeMotion（Ren et al. 2024b）和NoiseMotion（Ren et al. 2024a）进行了对比。使用本文方法合成的数据进行预训练可以带来更大的性能提升。 ### 4.8 可视化图 5 呈现了我们方法的可视化结果。我们从数据集选择了一些具有挑战性的样本，我们的方法始终产生更稳定的结果。左上图显示了来自 Waymo 数据集的行走人物，但身体的左右对称性不明显。一种基于分割回归的方法会产生错误的结果，试图忽略人体刚性结构，以减轻由于左右歧义造成的推理错误。相比之下，我们的方法在热图中对这种歧义进行惩罚，从而有效避免了这个问题。第 2 行说明了在 LiDAR 的稀疏点云上的检测结果，来自 Human26M 数据集。在这种情况下，我们的方法能够有效地从有限的线索中识别人体姿态。最后，如图 1 右侧和第 3 行左侧所示，当人类检测器意外地引入多个人体实例时，我们的方法不会将这两个个体混淆。总的来说，我们的方法在鲁棒推理方面表现出强大的能力。合成样本我们在图 6 中展示了我们方法的合成样本。显而易见的是，场景重采样会生成各种多样的合成样本，从而有效地生成人体实例的稀疏和密集点云。此外，激光级掩码会引入更复杂的遮挡，这反过来可以为模型提供更强大的人体先验和点云表示。 ## 5 结论我们提出了一种用于鲁棒 LiDAR 3D 人体姿态估计的新方法，具有两个主要贡献。首先，我们引入了一种基于密度的姿态转换器，该转换器采用关节锚点和特殊交换模块，以从不同密度的点云中提取有效的特征，从而能够显式地学习稳定的关键点表示。其次，我们提出了一种全面的基于 LiDAR 的人体合成和增强方法，用于模型预训练。通过集成更多随机化的位置采样、地面建模和激光级掩码，我们生成了高度逼真且具有挑战性的样本。定性和定量评估表明，通过我们提出的模型和预训练策略的协同作用，我们的方法在多个数据集上实现了最先进的性能。总而言之，我们的方法为基于 LiDAR 的 3D 人体姿态估计提供了一个综合的解决方案。未来工作可以尝试解决左右反转和多帧抖动问题，或者执行基于姿态的人体行为理解任务。 --- ## 致谢本工作由国家自然科学基金资助，项目编号为 U24A20330、62172222、，以及中国国家重点研发计划（国际合作专项，编号 SQ2023YFE0102775）。 ## 参考文献 An, X.; Zhao, L.; Gong, C.; Wang, N.; Wang, D.; and Yang, J. 2024. SHaRPose：面向人体姿态估计的稀疏高分辨率表示。《AAAI人工智能大会论文集》，38(2): 691–699. Cong, P.; Xu, Y.; Ren, Y.; Zhang, J.; Xu, L.; Wang, J.; Yu, J.; and Ma, Y. 2023. 基于单目相机与单个激光雷达的大场景弱监督三维多人姿态估计。《AAAI人工智能大会论文集》，37(1): 461–469. Cong, P.; Zhu, X.; Qiao, F.; Ren, Y.; Peng, X.; Hou, Y.; Xu, L.; Yang, R.; Manocha, D.; and Ma, Y. 2022. STCrowd: A Multimodal Dataset for Pedestrian Perception in Crowded Scenes. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 19608–19617. Dai, Y.; Lin, Y.; Lin, X.; Wen, C.; Xu, L.; Yi, H.; Shen, S.; Ma, Y.; 和 Wang, C. 2023. SLOPER4D: 用于在城市环境中进行全局 4D 人体姿态估计的场景感知数据集。发表于 IEEE/CVF 计算机视觉与模式识别会议论文集，682–692。 Devlin, J.; Chang, M.-W.; Lee, K.; 和 Toutanova, K. 2019. BERT: 用于语言理解的深度双向 Transformer 的预训练。arXiv:1810.04805。 Fan, B.; Wang, S.; Guo, W.; Zheng, W.; Feng, J.; 和 Zhou, J. 2023a. Human-M3：一个用于在户外场景中进行 3D 人体姿态估计的多视角多模态数据集。arXiv:2308.00628。 Fan, B.; Zheng, W.; Feng, J.; 和 Zhou, J. 2023b. LiDAR-HMR：基于 LiDAR 点云的 3D 人体网格恢复。arXiv:2311.11971。 Fan, L.; Zhu, Y.; Zhu, J.; Liu, Z.; Zeng, O.; Gupta, A.; Creus-Costa, J.; Savarese, S.; 和 Fei-Fei, L. 2018. SURREAL：开源强化学习框架和机器人操作基准。发表于机器人学习第二届会议论文集，767–782。 Fürst, M.; Gupta, S. T. P.; Schuster, R.; Wasenmüller, O.; 和 Stricker, D. 2021. HPERL：基于 RGB 和 LiDAR 的 3D 人体姿态估计。发表于国际模式识别会议论文集，7321–7327。 Gong, K.; Zhang, J.; 和 Feng, J. 2021. PoseAug：一种用于 3D 人体姿态估计的可微分姿态增强框架。发表于 IEEE/CVF 计算机视觉与模式识别会议论文集，8575–8584。 He, K.; Chen, X.; Xie, S.; Li, Y.; Dollár, P.; 和 Girshick, R. 2022. 掩蔽自动编码器是可扩展的视觉学习器。发表于 IEEE/CVF 计算机视觉与模式识别会议论文集，15979–15988。 He, K.; Fan, H.; Wu, Y.; Xie, S.; 和 Girshick, R. 2020. Momentum Contrast 用于无监督视觉表示学习。发表于 IEEE/CVF 计算机视觉与模式识别会议论文集，9729–9738。 Hong, S.; 和 Kim, Y. 2018. 使用多个 RGB-D 摄像头进行动态姿态估计。传感器，18(11): 3865。 Hu, X.; Zhong, B.; Liang, Q.; Zhang, S.; Li, N.; 和 Li, X. 2024. 面向 RGB-T 跟踪的模态相关性研究。IEEE 视频技术电路与系统汇刊。 Ionescu, C.; Papava, D.; Olaru, V.; 和 Sminchisescu, C. 2014. Human3.6M：大规模数据集和用于自然环境中 3D 人体感知的预测方法。IEEE 模式分析与机器学习汇刊，36(7): 1325–1339。 Iskakov, K.; Burkov, E.; Lempitsky, V.; 和 Malkov, Y. 2019. 可学习的人体姿态三角测量。发表于 IEEE/CVF 国际计算机视觉会议论文集，7718–7727。 Kang, Y.; Liu, Y.; Yao, A.; Wang, S.; 和 Wu, E. 2023. 使用网格卷积进行 3D 人体姿态提升。人工智能美国人工智能协会会议论文集，37(1): 1105–1113。 Li, J.; Zhang, J.; Wang, Z.; Shen, S.; Wen, C.; Ma, Y.; Xu, L.; Yu, J.; 和 Wang, C. 2022a. LiDAR Cap：使用 LiDAR 点云的远程无标记 3D 人体运动捕捉。发表于 IEEE/CVF 计算机视觉与模式识别会议论文集，20470–20480。 Li, X.; Wang, W.; Yang, L.; 和 Yang, J. 2022b. 统一掩码：用于具有局部性的金字塔式视觉 Transformer 的 MAE 预训练。arXiv:2205.10063。 Li, Y.; Yang, S.; Liu, P.; Zhang, S.; Wang, Y.; Wang, Z.; Yang, W.; 和 Xia, S.-T. 2022c. SimCC：用于人体姿态估计的简单坐标分类视角。在 ECCV，89–106。 Li, Z.; Ye, J.; Song, M.; Huang, Y.; and Pan, Z. 2021. 在线知识蒸馏用于高效姿态估计. 在IEEE/CVF国际计算机视觉会议论文集，第11740-11750页. Lian, J.; Wang, D.; Zhu, S.; Wu, Y.; and Li, C. 2022. 基于Transformer的注意力网络用于车辆重识别. 电子学，11(7). Lin, K.; Lin, C.-C.; Liang, L.; Liu, Z.; and Wang, L. 2024. MPT：用于人体姿态和网格重构的网格预训练. 在IEEE/CVF冬季计算机视觉应用会议论文集，第3415-3425页. Loper, M.; Mahmood, N.; Romero, J.; Pons-Moll, G.; and Black, M. J. 2015. SMPL：一种带骨骼的多元人体线性模型. ACM计算机图形学交易，34(6): 248:1–248:16. Loshchilov, I.; and Hutter, F. 2019. 解耦权重衰减正则化. arXiv:1711.05101. Mahmood, N.; Ghorbani, N.; Troje, N. F.; Pons-Moll, G.; and Black, M. J. 2019. AMASS：运动捕捉档案. 在IEEE/CVF国际计算机视觉会议论文集，第5442-5451页. --- Mei, J.; Zhu, A. Z.; Yan, X.; Yan, H.; Qiao, S.; Zhu, Y.; Chen, L.-C.; Kretzschmar, H.; and Anguelov, D. 2022. Waymo开放数据集：全景视频全景分割. arXiv:2206.07704. Qiu, Z.; Qiu, K.; Fu, J.; and Fu, D. 2023. 弱监督预训练用于3D人体姿态估计，通过透视知识. 模式识别，139: 109497. Ren, Y.; Han, X.; Yao, Y.; Long, X.; Sun, Y.; and Ma, Y. 2024a. LiveHPS++：在动态自由环境中鲁棒且连贯的运动捕捉. 在ECCV，第127-144页. Ren, Y.; Han, X.; Zhao, C.; Wang, J.; Xu, L.; Yu, J.; and Ma, Y. 2024b. LiveHPS：基于激光雷达的场景级人体姿态和形状估计. 在IEEE/CVF计算机视觉与模式识别会议论文集，第1281-1291页. Ren, Y.; Zhao, C.; He, Y.; Cong, P.; Liang, H.; Yu, J.; Xu, L.; and Ma, Y. 2023. 基于激光雷达辅助惯性定位：通过稀疏惯性传感器和激光雷达传感器实现大规模人体运动捕捉. IEEE可视化和计算机图形学交易，29(5): 2337–2347. Shan, W.; Liu, Z.; Zhang, X.; Wang, S.; Ma, S.; and Gao, W. 2022. P-STMO：用于3D人体姿态估计的预训练空间时间多对一模型. 在ECCV，第461-478页. Simon, T.; Joo, H.; Matthews, I.; and Sheikh, Y. 2017. 使用多视角引导的单图像手关键点检测. 在IEEE/CVF计算机视觉与模式识别会议论文集，第4645-4653页. Su, Z.; Xu, L.; Zheng, Z.; Yu, T.; Liu, Y.; and Fang, L. 2020. RobustFusion：使用RGBD相机的数据驱动视觉线索的人体体素捕捉. 在ECCV，第246-264页. Sun, P.; Kretzschmar, H.; Dotiwalla, X.; Chouard, A.; Patnaik, V.; Tsui, P.; Guo, J.; Zhou, Y.; Chai, Y.; Caine, B.; Vasudevan, V.; Han, W.; Ngiam, J.; Zhao, H.; Timofeev, A.; Ettinger, S.; Krivokon, M.; Gao, A.; Joshi, A.; Zhang, Y.; Shlens, J.; Chen, Z.; and Anguelov, D. 2020. 用于自动驾驶的感知可扩展性：Waymo开放数据集. 在IEEE/CVF计算机视觉与模式识别会议论文集，第2446-2454页. Tu, H.; Wang, C.; and Zeng, W. 2020. VoxelPose：面向野外环境的多相机3D人体姿态估计. 在ECCV，第197-212页. Wang, H.; Liu, Q.; Yue, X.; Lasenby, J.; and Kusner, M. J. 2021. 通过遮挡补全的无监督点云预训练。发表于IEEE/CVF国际计算机视觉会议论文集，9782–9792. Weng, Z.; Gorban, A. S.; Ji, J.; Najibi, M.; Zhou, Y.; and Anguelov, D. 2023a. 在野外无需人工标签的3D人体关键点估计。发表于IEEE/CVF计算机视觉与模式识别会议论文集，1158–1167。 Weng, Z.; Gorban, A. S.; Ji, J.; Najibi, M.; Zhou, Y.; and Anguelov, D. 2023b. 在野外无需人工标签的3D人体关键点估计。发表于IEEE/CVF计算机视觉与模式识别会议论文集，1158–1167。 Wu, X.; Jiang, L.; Wang, P.-S.; Liu, Z.; Liu, X.; Qiao, Y.; Ouyang, W.; He, T.; and Zhao, H. 2024. Point Transformer V3: 简单、快速、强大。发表于IEEE/CVF计算机视觉与模式识别会议论文集，4840–4851。 Xu, Y.; Zhang, J.; ZHANG, Q.; and Tao, D. 2022. ViTPose: 用于人体姿态估计的简单视觉Transformer基线。发表于Advances in Neural Information Processing Systems，卷35，38571–38584。 Yan, M.; Wang, X.; Dai, Y.; Shen, S.; Wen, C.; Xu, L.; Ma, Y.; and Wang, C. 2023. CIMI4D: 一个大型的多模态攀岩运动数据集，具有人类-场景交互。发表于IEEE/CVF计算机视觉与模式识别会议论文集，12977–12988。 Yan, M.; Zhang, Y.; Cai, S.; Fan, S.; Lin, X.; Dai, Y.; Shen, S.; Wen, C.; Xu, L.; Ma, Y.; and Wang, C. 2024. RELI11D: 一个全面的多模态人体运动数据集和方法。发表于IEEE/CVF计算机视觉与模式识别会议论文集。2250–2262。 Ye, D.; Xie, Y.; Chen, W.; Zhou, Z.; Ge, L.; and Foroosh, H. 2024. LPFormer: 基于LiDAR姿态估计Transformer，具有多任务网络。发表于IEEE国际机器人与自动化会议，16432–16438。 Ye, H.; Zhu, W.; Wang, C.; Wu, R.; and Wang, Y. 2022. Faster VoxelPose: 通过正交投影实现实时3D人体姿态估计。发表于ECCV，142–159。 Ying, J.; and Zhao, X. 2021. 基于点云的三维人体姿态估计的RGB-D融合。发表于IEEE国际图像处理会议论文集，3108–3112。 Zhang, J.; Mao, Q.; Hu, G.; Shen, S.; and Wang, C. 2024. 使用单目LiDAR进行远距离户外场景的邻域增强3D人体姿态估计。发表于人工智能的AAAI会议论文集，38(7)：7169–7177。 Zhao, Z.; Luo, L.; Pan, S.; Zhang, C.; and Gong, C. 2024. 图随机神经网络用于归纳少样本知识图谱补全。arXiv预印本arXiv:2408.01784。 Zheng, J.; Shi, X.; Gorban, A.; Mao, J.; Song, Y.; Qi, C. R.; Liu, T.; Chari, V.; Cornman, A.; Zhou, Y.; Li, C.; and Anguelov, D. 2022. 具有2D弱监督的自动驾驶中的多模态3D人体姿态估计。发表于IEEE/CVF计算机视觉与模式识别会议研讨会论文集，4477–4486。