# LiDAR-HMR: 基于 LiDAR 的 3D 人体网格恢复
Bohao Fan $^{ID}$, Wenzhao Zheng $^{ID}$, 成员, IEEE, Jianjiang Feng $^{ID}$, 成员, IEEE, 和 Jie Zhou $^{ID}$, 院士, IEEE
摘要：人体网格恢复 (HMR) 在许多应用中具有重要价值。 研究涉及各种传感器的 HMR 非常重要，因为它可以在各种场景中获取人体网格。 与基于 RGB 图像的 HMR 相比，基于 LiDAR 的 HMR 在以往的研究中受到较少的关注。 从稀疏点云估计人体姿势和网格的主要挑战在于 LiDAR 点云的稀疏性、噪声和不完整性。 为了应对这些挑战，我们提出了一种基于 LiDAR 的 3D 人体网格恢复算法，称为 LiDAR-HMR。 该算法涉及估计人体的一个稀疏表示（3D 人体姿势），并逐步重建身体网格。 为了更好地利用点云的 3D 结构信息，我们提出了一种点云到 SMPL 的流程，该流程使用原始点云特征来指导重建。 在四个公开可用数据集上的实验结果表明了 LiDAR-HMR 的有效性。
关键词：3D 人体姿势估计，人体网格恢复 (HMR)，点云处理。
## I. 引言
在不受约束的场景中，3D 人体姿势估计 (HPE) 和人体网格恢复 (HMR) 长期以来一直是计算机视觉的目标。 与 HPE 相比，HMR 包含有关人体形状和细节的额外信息，这扩展到更广泛的应用，例如人机交互和身份识别。 主流的 3D HMR 或 HPE 方法主要侧重于 RGB 输入 [^3]，[^13]，[^17]，[^25]，[^26]，[^27]，[^29]，[^41]，[^46]，[^52]，或多模式融合 [^2]，[^4]，[^39]，[^47]，[^51]，其中对基于点云的输入的专门研究较少。 尤其，LiDAR 点云通常被用作多模式设置中的 RGB 图像的辅助。 然而，与 RGB 图像相比，点云对光照条件更稳健，并提供更好的隐私保护，因此值得进行更多的研究。 随着几个基于点云的数据集 [^5]，[^7]，[^36] 和 3D HPE 或 HMR 算法（例如 LPFormer [^44] 和 LiDARCap [^24]）的引入，使用 LiDAR 点云单独感知人体网格的可行性已得到证明。
基于单帧点云的现有3D人体姿态重建方法[^16]，[^28]主要关注从深度图中获得的密集点云。在室内环境中，通过RGB-D扫描仪捕获的点云通常是完整和密集的，而通过LiDAR在室外场景中捕获的点云是稀疏的。其他方法[^24]，[^38]利用序列LiDAR点云进行人体姿态重建。然而，这些方法必须处理完整的点云序列，这意味着算法无法实时输出人体网格，并且无法使用仅有单帧标签的点云进行训练，例如Waymo数据集[^36]。在这里，我们考虑一种更实用和重要的场景：从单帧LiDAR点云进行3D人体姿态重建。这种场景类似于基于图像的人体姿态重建，它是基于视频的人体姿态重建的基础。这种场景非常具有挑战性，如图1所示，单帧LiDAR点云具有明显的特征：它们通常是稀疏的、不完整的、自遮挡的，有时甚至是非常嘈杂的。如图2所示，大多数基于点云的人体姿态重建方法[^16]，[^24]，[^25]，[^28]依赖于神经网络来提取全局特征并回归SMPL参数。然而，SMPL参数到网格顶点的映射本质上是非线性的。直接从全局特征回归SMPL参数会丢失点云和人体网格顶点之间的对应关系，从而导致信息丢失，并降低其拟合数据的能力。这会导致不令人满意的人体姿态重建性能，尤其是在稀疏点云的情况下。具体来说，[^38]采用了一种粗到精重建框架，并回归网格顶点，这在一定程度上减轻了上述问题。他们从输入数据中获取全局特征表示，逐步添加局部细节以重建人体网格。然而，全局特征提取通常会导致局部细节的丢失，而随后的粗到精重建依赖于人体网格先验知识来填充缺失的顶点，而不是参考输入点云中的局部表面细节，这会导致特定局部细节的丢失。此外，他们的输出不包含显式的人体姿态语义，而仅包含网格顶点坐标，这限制了其潜在的应用。
为了有效地从稀疏点云中重建人体姿态，我们旨在更全面地利用输入点云中的局部细节。因此，我们开发了一个从点云到SMPL的密集重建流程，该流程遵循稀疏到密集的重建过程。我们使用一个姿态回归网络（PRN），这是一个基于点云的分析网络，用于提取模板人体3D姿态，并进行
---
(a) Incomplete.
(b) Noise.
(c) Sparse.
Fig. 1. Three challenges in 3D human mesh reconstruction from single frame sparse LiDAR point cloud. (Point clouds together with corresponding ground-truth meshes (front view and side view).).
Fig. 2. Top: Most 3D HMR methods from point cloud inputs utilize the sparse global feature extracted from the initial point cloud, which will cause information loss in local details. Down: The proposed point-cloud-to-SMPL pipeline for 3D HMR. Point cloud features are utilized to guide the coarse-to-fine process of human meshes to obtain better local details, and point features from coarse meshes are propagated rather than upsampled to obtain features in the fine meshes. Finally, a differentiable module, named MeshIK, can obtain SMPL parameters from fine meshes.
对点云进行逐点分割，并提取相应的点云特征。提取的点云特征可以直接用于后续的网格重建网络 (MRN) 中的网格重建，从而构建一个端到端的训练网络，该网络结合了点云分析、姿态估计和网格重建。具体来说，不同分辨率的网格之间的特征是在其关系的基础上进行传播的，而不是进行上采样。最后，我们提出了一个可微分的 MeshIK 模块，用于从估计的 3D 人体网格中解决 SMPL 姿态和形状参数。整个网络可以进行端到端的训练，我们使用端到端的多任务 (HPE 和 HMR) 训练来训练整个网络。如图 3 所示，我们的 LiDAR-HMR 可以处理各种类型的户外场景。与基于 RGB 的方法相比，它不受低光照的影响，这在某些应用中可能是一个重要的优势。在四个公共数据集上的实验结果表明，LiDAR-HMR 不仅在 HMR 方面取得了最佳性能，而且在 HPE 方面也取得了优异的性能。
总而言之，本文的贡献如下：从点云到重建过程，以最大限度地保留局部特征。
1) 我们提出了一种基于点云的新型人体网格恢复流程，该流程有效地整合了局部细节。
2) 我们设计了一个分辨率一致的特征传播模块，该模块有效地继承并约束了重建过程中不同分辨率网格之间的特征关系，从稀疏到密集。
3) 我们强调并量化了非参数网格重建方法中普遍存在的局部细节塌陷问题，并引入了一种新的模块 MeshIK 来解决此问题。
4) 提出的网络 LiDAR-HMR 在多个公开可用数据集上实现了最先进的性能。
### II. 相关工作
近年来，人体姿态估计 (HPE) 和人体网格恢复 (HMR) 已成为一个重要的研究课题，涵盖了诸如 2D HPE [^1]、[^43]、3D HPE [^11]、[^31]、[^32]、[^42]、[^44]、[^47]、[^50] 和人体网格恢复 (HMR) [^18]、[^21]、[^27]、[^34] 等各个领域。在本节中，我们重点介绍基于点云输入的 3D HPE 和 HMR 方法。由于针对点云输入的 3D HMR 研究相对较少，因此我们还概述了基于 RGB 图像的 3D HMR 算法，以供参考网格恢复技术。
从点云中提取三维人体姿态：从深度图像中提取三维人体姿态是一个长期研究的课题 [^8], [^9], [^12], [^20], [^31], [^35], [^45]. 然而，基于深度图像的方法只能用于室内场景。最近，随着针对点云场景的三维人体姿态数据集的提出 [^5], [^24], [^36], 出现了几种基于 LiDAR 点云的三维姿态估计算法。Zheng 等人 [^51] 首先提出了一种多模态三维人体姿态网络，将 RGB 图像和点云融合在一起，使用二维标签作为弱监督信号进行三维姿态估计。在后续工作中，Weng 等人 [^39] 使用模拟数据训练了一个基于 Transformer 的姿态估计网络，然后提出了一种对称性损失函数，用于使用实际的 LiDAR 点云输入进行微调。Ye 等人 [^44] 提出了一种多任务结构，并使用目标检测任务进行预训练。他们使用 Transformer 作为点云编码器来回归人体姿态，并在 Waymo [^36] 数据集上取得了最先进的效果。这些方法成功地证明了从稀疏的 LiDAR 点云中估计人体信息的可行性。
基于点云的3D HMR：当前面向点云的HMR算法主要基于密集点云[^16]、[^28]或序列点云[^24]、[^38]。具体而言，Jiang等人[^16]利用基于PointNet的网络获取点云特征，并用其回归SMPL姿态和形状参数。Liu等人[^28]采用投票机制获取人体骨架的稀疏特征，再用其回归SMPL姿态和形状参数。Li等人[^24]利用点云视频，提出了一种面向序列点云处理的基于GRU的流程，通过时空图卷积网络（ST-GCN）得到序列SMPL参数。这些算法无法有效整合点云中的局部细节，对
---
(a) Day scene in Waymo.
(b) Night scene in Waymo.
Fig. 3. Example results of LiDAR-HMR on multiperson scenes in the Waymo [^36] dataset. RGB images are not utilized in the algorithm but they are illustrated for better visualization. LiDAR-HMR can reconstruct accurate human meshes under different illumination conditions.
稀疏点云输入的效果较差。具体而言，Wang等人[^38]提出了一种由粗到精的机制，通过时空网格注意力卷积重构序列人体网格。重构过程主要依赖序列的连续性和人体表面的先验信息。其他研究工作尝试解决点云本身固有的特定问题。Jang等人[^15]提出了一种基于条件变分自编码器的网络，以模拟得到的完整点云为引导，从部分点云中学习有效特征。Zuo等人[^53]提出了一种基于高斯混合模型的自监督HMR算法，该算法学习有效的条件后验概率来剔除噪声点。这些方法高度依赖模拟数据；在真实场景中，很难获得足够密集的点云来完成完整的学习与建模。
从 RGB 图像进行 3D 人体姿态估计：从 RGB 图像进行 3D 人体姿态估计的算法通常可以分为参数化和非参数化方法。 大多数之前的作品 [^18]，[^22]，[^25]，[^37] 使用参数化的人体模型，例如 SMPL [^30]，并侧重于回归参数而不是网格本身。 鉴于姿势和形状系数，SMPL 稳定且适用于创建人体网格。 然而，如这些论文所述 [^3]，[^23]，[^33]，[^48]，直接从特征估计参数并不容易，因为输入数据到目标参数之间存在非线性映射。 与直接回归参数系数不同，非参数化方法 [^3]，[^26]，[^27] 直接从输入数据回归顶点。 在之前的研究中，图卷积神经网络 (GCNN) [^3]，[^23] 是一个流行的选择，因为它们能够对相邻顶点之间的局部交互进行建模。 然而，它们在捕获顶点和身体关节之间的全局特征方面效果不佳。 为了克服这一局限性，METRO [^26] 提出了一组基于 Transformer 的架构来建模顶点的全局特征。 然而，与基于 GNN 的方法相比 [^3]，[^23]，它不太方便对局部交互进行建模。 在后续工作中，mesh graphormer [^27] 使用图卷积和 Transformer 的组合，以获得更好的结果。
在基于粗到细机制的先前 HMR 方法中，稀疏网格表示是从全局特征获得的，并且缺乏足够的 3D 表示。 在重建和微调过程中，输入数据中的原始特征没有很好地编码到人体网格重建过程中。 具体来说，点云包含足够的 3D 占用线索和可靠的人体表面细节。 我们将点云输入到网格重建过程中，以指导中间网格的局部细节。
### III. 方法
提出的 LiDAR-HMR 网络可以分为三个部分。 如第 4 图所示，PRN 使用 Point Transformerv2 [^40] 作为特征提取器，以编码点云，并解码点特征以重建人体姿势模板。 鉴于姿势模板和每个点的特征，MRN 利用点云逐步重建精细的人体网格。 最后，我们提出了 MeshIK，用于从估计的 3D 网格顶点中获得 SMPL 姿势和形状参数。
### A. 姿势回归网络
概率建模：对于输入点云 $\hat{P}$ 的 n 个点 $(p_0, p_1, \ldots, p_{n-1})$，我们对从点云 $(j_0, \ldots, j_{m-1})$ 估计 3D 姿势 J 的 m 个关键点 $\hat{P}$ 的问题进行建模，如下所示：
$$ \max_{J}P(J|p_{0},p_{2},\ldots,p_{n-1}). $$
如果没有关键点之间的连接关系，我们有：
$$ P(J|p_{0},p_{2},\ldots,p_{n-1})=\prod_{k=0}^{m-1}P(j_{k}|p_{0},p_{2},\ldots,p_{n-1}). $$
对于 $j_{k}$ 的联合后验分布，我们假设它是独立同分布的，概率分布可以
---
(a) PRN structure.
(b) MRN structure.
Fig. 4. The overall structure of the proposed modules. (a) For the pose regression network (PRN), the input point clouds are encoded by PointTransformer-v2 and decoded into q and $\mu$ to obtain a predicted human pose. The predicted pose is subsequently fed into two self-attention layers for refinement and completion. The red arrows indicate the loss functions for q and $\mu$. The shape of the intermediate features is denoted as $(x, y)$. Specifically, N denotes the number of input points, J denotes the number of key points, and D denotes the fixed feature dimension for attention. (b) The MRN receives the point cloud features, which estimates a template pose from the PRN and gradually reconstructs the complete human mesh. We utilize a point cloud-based graphormer [^27] for each intermediate resolution to introduce point cloud features during the reconstruction. Vertex features are inherited with a propagation module to model the parent-children relationship during the coarsening process. Finally, a fully connected layer is utilized to obtain the fine human mesh. The shape of the intermediate features is denoted as $(x, y)$. Specifically, N denotes the number of input points, V denotes the number of vertices, and D denotes the fixed feature dimension for attention.
描述如下：
$$ \begin{align*}P(j_{k}|p_{0},p_{2},\ldots,p_{n-1})&=\prod_{i=0}^{n-1}P(j_{k}|p_{i})\\&=\prod_{i=0}^{n-1}\frac{1}{\sqrt{2\pi}\sigma_{ik}}e^{-\frac{(j_{k}-\mu_{ik})^{2}}{\sigma_{ik}^{2}}},\end{align*} $$
其中：
$$ \mu_{i k}=p_{i}+d_{i k},p_{i}\in R_{3},d_{i k}\in R_{3}. $$
我们假设 $d_i = d_{i0} = d_{i1} = \ldots = d_{im-1}$ 是统一的点偏移，并且 $\mu_{ik}$ 和 $\sigma_{ik}$ 是参数。 我们使用高斯分布来近似联合后验分布，如下所示：
$$ \begin{align*}P(j_{k}|p_{0},p_{2},\ldots,p_{n-1})&=e^{C}\prod_{i=0}^{n-1}e^{-\frac{(j_{k}-\mu_{ik})^{2}}{\sigma_{ik}^{2}}}\\&=e^{C}e^{\frac{(j_{k}-\hat{\mu}_{k})^{2}}{\hat{\sigma}_{k}^{2}}},\end{align*} $$
$$ \frac{(j_{k}-\hat{\mu}_{k})^{2}}{\hat{\sigma_{k}}^{2}}=-\sum_{i=0}^{n-1}\frac{(j_{k}-\mu_{i k})^{2}}{\sigma_{i k}{}^{2}}, $$
$$ C=-\frac{n}{2}l n(2\pi)-\sum_{i=0}^{n-1}l n(\sigma_{i k}). $$
令 $q_{ik} = \frac{1}{\sigma_{ik}^2}$，我们有：
$$ \hat{\mu}_{k}=\frac{\sum_{i=0}^{n-1}q_{i k}\mu_{i k}}{\sum_{i=0}^{n-1}q_{i k}}. $$
通过 $\sigma_{ik} \geq 1$，我们得到 $q_{ik} \in (0, 1]$，它描述了 $p_i$ 投票支持关键点位置 $j_k$ 的置信度。 估计的模型参数 $\hat{\mu} = (\hat{\mu}_0, \hat{\mu}_1, \ldots, \hat{\mu}_{m-1})$ 表示具有最大概率的估计模板姿态 $J_0$。
估计和完善人体姿态：PRN 的总体结构如图 4(a) 所示。 我们使用 PointTransformerv2 [^40] 作为每个点的特征提取器，并使用两个解码器来回归 $\mu_{ik}$ 和 $q_{ik}$。 这种过程类似于 VoteNet [^6] 中的“投票”操作；因此，我们将其称为投票模块。 我们进一步发现，由于点云的不完整性，人体的一个或多个关键点可能没有被点云观察到，从而导致模板姿态的估计不完整。 为了解决此问题，我们引入了一个基于自注意力的细化模块，用于完善和修正，它由两个自注意层组成。 值得注意的是，细化模块没有点云或相应的特征输入。 而是，它依赖于从数据中学习的姿势先验。
损失：我们使用 L2 损失来约束估计的姿态 J 和地面真实的人体姿态 $J^{gt}$:
$$ L_{J}=||J-J^{g t}||_{2}. $$
为了直接约束每个点的特征，我们约束投票模块的输出。 具体来说，对于输入点云中的每个点 $p_i$，我们可以从地面真实姿态中获得地面真实值 $\tilde{\mu}_i$ 和 $\tilde{q}_i$。 然后我们使用 L2 损失和交叉熵损失来约束它们：
$$ L_{\mu}=\sum_{i=1}^{N}||\mu_{i}-\check{\mu}_{i}||_{2},L_{q}=\sum_{i=1}^{N}C r o s s E n t r o p y(Q_{i},\check{Q}_{i}), $$
其中 $\mu_i$ 和 $Q_i$ 是估计值，$Q_i = (q_{i1}, \ldots, q_{iJ})$ 和 $\tilde{Q}_i = (q_{i1}, \ldots, q_{iJ})$，J 是关键点数。 提出的 PRN 的总体损失函数如下：
$$ \begin{array}{r}{L_{\mathrm{P R N}}=L_{J}+L_{\mu}+L_{q},}\end{array} $$
### B. 网格重建网络
如图 5 所示，我们使用边缘匹配来对完整的身体网格进行降采样，总共进行 9 次，以获得一组在不同分辨率的人体骨架结构。
---
Fig. 5. The mesh coarsening gradually generates multiple coarse graphs with heavy edge matching (HEM) following [^3]. Specifically, we perform reverse reconstruction with the MRN, which utilizes the parent-children relationship during coarsening. The vertex features are propagated following the parent-children edge to generate a higher-resolution mesh.
最稀疏的骨架对应于 24 个顶点，而最密集的网格包含 6890 个顶点。 这个过程构成了从稀疏到密集的过渡。 MRN 使用输入模板姿态和来自 PRN 的点云特征来估计稀疏的顶点，并逐步重建完整的身体网格。 MRN 的总体结构如图 4(b) 所示。
用于单分辨率处理的 Graphormer：模板姿态输入到全连接层，该层输出稀疏的顶点特征。 然后，我们使用 graphormer 传播模块，该模块由一个基于点的 graphormer [^27] 和一个传播模块组成。 基于点的 graphormer 包含一个级联的自注意层，后跟一个图卷积层。 它用于处理点云与网格顶点的关系。 顶点和点云特征被连接起来并输入到自注意层，以引入细粒度的局部点云特征。 网格顶点在自注意模块后的特征被输入到图卷积层，以建模顶点之间的链接关系。 值得注意的是，初始的点云特征来自 PRN，并且在自注意模块后更新点云特征。
用于不同分辨率之间的连接的传播模块：为了获得更高分辨率的顶点特征，Pose2Mesh [^3] 使用一种上采样方法，这种方法在随机方式下，没有考虑来自不同分辨率网格的顶点之间的对应关系。我们发现，在点云上采样过程中，对应关系和连接关系保持不变。具体来说，如图 5 所示，每个父顶点在更精细的分辨率下有 1-2 个子顶点。我们在基于这种对应关系的基础上，对不同分辨率网格之间的点特征进行建模，假设子顶点的特征是通过从其父顶点特征的特定偏移量获得的。这与降采样的逆过程一致。我们使用两个不同的全连接层来对不同分辨率网格之间的关系进行建模，这就是传播模块。
对于前七个分辨率，我们使用一个 Graphormer 模块和一个传播模块进行上采样。对于具有 3679 和 6890 个顶点的最后两个分辨率，由于顶点数量很大，使用 Graphormer 模块会导致过大的计算负担。因此，我们使用两层全连接层来获得精细的人体网格。值得注意的是，我们使用一个统一的解码器来解码顶点特征，从而可以将每个分辨率的网格特征解码为相应的 3D 坐标。这确保了 MRN 在不同分辨率下学习到的特征的一致性。此外，我们不仅可以对最终的网格输出进行监督，还可以对每个中间分辨率进行监督。
损失：最终输出网格的损失 $L_{F}$ 与 [^3] 中的损失一致，包括顶点坐标损失、关节坐标损失、表面法线损失和表面边损失。此外，我们还应用了一种基于中间分辨率的网格损失。在中间分辨率 i (从 1 到 8)，使用 L1 损失：
$$ L_{v\_{i}}=||M_{i}-\check{M}_{i}||_{1}, $$
其中 $M_{i}$ 是估计的网格，$M_{i}$ 是相应的地面真实网格。然后，我们可以获得中间分辨率的总体网格损失：
$$ L_{inter}=\sum_{i=1}^{N}L_{v_{-}i}. $$
最后，整个网络是端到端地训练的，因此 PRN 中的损失也参与了训练：
$$ \begin{array}{r}{L_{\mathrm{M R N}}=L_{\mathrm{P R N}}+L_{F}+L_{\mathrm{i n t e r}}.}\end{array} $$
### C. MeshIK：基于 3D 人体网格的反向运动学
诸如 MRN、Pose2Mesh [^3] 和 MeshGraphormer [^27] 这样的非参数算法输出网格顶点位置，而
---
Fig. 6. MeshIK reconstructs the SMPL pose and shape parameters from the unconstrained mesh estimated by MRN (gray mesh). Specifically, the template vertices (light mesh) are overlapped with the unconstrained vertices for better visualization. MeshIK follows the inference order of the SMPL model and gradually regresses each rotation matrix from the root. Here, we present an example of a left arm with key points: the left shoulder, left elbow, and left hand. Pink vertices indicate the selected local vertices for SVD in the template pose and the corresponding vertices in the unconstrained mesh are in light blue. ( $R_{ls}$: rotation matrix of the left shoulder; $R_{le}$: rotation matrix of the left elbow; $R_{lh}$: rotation matrix of the left hand; $R_{o}$: rotation matrices of all other poses, which are obtained in the same way as the aforementioned three key points.).
没有约束，这可能会导致不令人满意的局部细节。这里，我们提出了一种基于局部点匹配的算法，MeshIK，用于从估计的网格顶点估计 SMPL [^30] 的姿势和形状参数。如图 6 所示，我们首先使用一个 MLP 来估计人体形状的 SMPL 形状参数。通过形状参数，我们可以获得 SMPL 模板顶点。利用 SMPL 模型的级联骨架驱动顺序，我们可以解决相关的旋转矩阵，以确保变量的局部表面点坐标和模板的局部表面点坐标尽可能地匹配。幸运的是，这可以使用奇异值分解 (SVD) 来完成。具体来说，对于预测的局部网格顶点 $v = [v_0, \ldots, v_{N-1}]$ 和局部模板顶点 $t = [t_0, \ldots, t_{N-1}]$，要解决的局部旋转矩阵 $R_\theta$ 如下：
$$ R_{\theta}=\arg\min_{R}\sum_{i=0}^{N-1}w_{i}||v_{i}-R t_{i}||_{2}^{2}, $$
其中 $w_{i}$ 是从 SMPL 模型参数计算出的逐顶点权重。注意：
$$ \begin{aligned}\min\sum_{i=0}^{N-1}w_{i}||v_{i}-R t_{i}||_{2}^{2}&=\min\sum_{i=0}^{N-1}||w_{i}p_{i}-R(w_{i}t_{i})||_{2}^{2}\\&\Leftrightarrow\min||V_{o}-R T_{o}||_{F}^{2}\\&\Leftrightarrow\min\operatorname{trace}((V_{o}-R T_{o})^{T}(V_{o}-R T_{o}))\\&\Leftrightarrow\max\operatorname{trace}(V_{o}^{T}R T_{o})\\&\Leftrightarrow\max\operatorname{trace}(R T_{o}V_{o}^{T}),\tag{1}\end{aligned} $$
其中
$$ \begin{aligned}&V_{o}=[w_{0}v_{0},w_{1}v_{1},\ldots,w_{N-1}v_{N-1}],\\&T_{o}=[w_{0}t_{0},w_{1}t_{1},\ldots,w_{N-1}t_{N-1}].\\ \end{aligned} $$
||·||_F 表示 Frobenius 范数，$V_o$ 和 $T_o$ 是加权坐标矩阵。我们可以得到 $T_oV_o^T$ 的奇异值分解，记为 V 和 U:
$$ T_{o}V_{o}^{T}=U D V^{T}, $$
其中 D 是一个对角矩阵，并且 D 的每个元素为 $d_{ii} \geq 0$。然后:
$$ \begin{aligned}\max trace(\boldsymbol{R}\boldsymbol{T}_{o}\boldsymbol{V}_{o}^{T})&\Leftrightarrow\max trace(\boldsymbol{R}\boldsymbol{U}\boldsymbol{D}\boldsymbol{V}^{T})\\&\Leftrightarrow\max trace(\boldsymbol{D}\boldsymbol{V}^{T}\boldsymbol{R}\boldsymbol{U}).\end{aligned} $$
注意，$M = V^T R U$ 是一个正交矩阵。因此，M 中的每个元素为 $|m_{ij}| \leq 1$。然后:
$$ \mathrm{trace}(DV^{T}RU)=\mathrm{trace}(DM)=\sum_{i=1}^{3}d_{ii}m_{ii}\leq d_{ii}. $$
当 $m_{ii} = 1, \forall 1 \leq i \leq 3$ 时，trace 被最大化，其中 M 是单位矩阵。因此:
$$ V^{T}R U=I\Rightarrow R_{\theta}=V U^{T}. $$
算法和伪代码：值得注意的是，由于人体骨骼的旋转关系，父节点的旋转矩阵会影响其所有子节点，因此实现方式因不同的姿势而异。具体来说，SMPL [^30] 模型推理过程遵循 SMPL 关节的人体骨骼树，用于关键点 i 的线性混合形状 (LBS) 的全局旋转矩阵 $A_{i}$ 是通过以下方式获得的
---
// Algorithm 1: MeshIK in a PyTorch-Like Style
Input: M, T, W, Ind, R, R_r, Pa, A
Output: R, $\theta$
R[^0] = R_r, A[^0] = R_r
for i $\leftarrow$ 1 to len(Pa) - 1 do
M_ = M[Ind[i]], T_ = T[Ind[i]]
W_ = W[:, Ind[i]]
WA_P = (W_ * A)@T_
### 移除其他关键点的影响
P_0 = M_ - A[Pa[i]]@WA_P
T_0 = W_ [i] * T_
S = T_0@P_0
U_ , V = SVD(S)
A[i] = V@U, R[i] = A[Pa[i]]^{-1}@A[i]
end
$\theta = \text{Rotmat\_to\_axis\_angle}(R)$
通过将所有父级关键点的局部旋转矩阵相乘来计算 $R_{i}$。MeshIK 逐步确定 $R_{i}$，并根据骨架树进行计算。伪代码的简化版本如图 1 所示，其中省略了矩阵形状调整的步骤。
具体来说，M 是估计的网格顶点，形状为 (6890, 3)；T 是从形状参数估计的模板网格顶点，T 的形状与 M 相同；W 是 SMPL 模型的 LBS 权重，形状为 (24, 6890)；Ind 是选定顶点的索引列表，类型为布尔，长度为 24；R 是估计的局部旋转矩阵，形状为 (24, 3, 3)，初始值为零；$R_r$ 是通过与 HybrIK [^25] 相同的方法估计的根旋转矩阵；Pa 是父索引列表，形状为 (24)，例如 $Pa[3] = 0$；A 是 LBS 旋转矩阵，形状为 (24, 3, 3)，初始值为零，$\theta$ 是估计的 SMPL 姿势参数，形状为 (72)。@ 表示矩阵乘法，* 表示逐元素乘法。
具体来说，在实现过程中，M 和 T 被归一化为当前关键点 i 的相应局部坐标，最后，用于 LBS 的矩阵 $\hat{A}$ 的形状为 (24, 4, 4) 如下：
$$ \hat{A}_{i}=\begin{pmatrix}A_{i}&t_{i}\\ 0&1\end{pmatrix}, $$
其中，$t_{i}$ 是模板关键点的局部偏移量，可以通过 $A_{i}$ 计算得出，模板骨架长度为 $l_{t}$。
最后，通过对 LBS 权重 W 进行阈值处理，获得每个关节的局部顶点索引 Ind。对于每个关节 i 和顶点 j，我们筛选满足 $W_{ij} > 0.85$ 的顶点，作为选定的顶点，从而得到 Ind。
损失：对于 MeshIK 的输入网格 $M_{inp}$，以及相应的输出 $M_{out}$ 和地面真实值 $\tilde{M}$，MeshIK 的总体损失定义如下：
$$ {\cal L}_{\mathrm{M I K}}={\cal L}_{\mathrm{M R N}}+||M_{\mathrm{i n p}}-M_{\mathrm{o u t}}||_{2}^{2}+{\cal L}_{F}(M_{\mathrm{o u t}},\check{M}). $$
最终输出网格的损失 $L_{F}$ 与 [^3] 中的一致。
本质上，MeshIK 建立了人体网格顶点与 SMPL 姿态参数之间的关系，并将学习 SMPL 姿态参数的任务与回归网格顶点等同起来，这在很大程度上降低了点云场景中的学习难度。
### D. 实施细节
输入点数设置为 1024。 整个 LiDAR-HMR 可以在端到端进行训练。 在实际训练过程中，我们将训练过程分为两个步骤，以实现更好的收敛性。 首先，我们使用批次大小为 64，epochs 为 50，使用 $L_{PRN}$ 对 PRN 进行预训练，直到收敛。 然后，我们以批次大小为 8，epochs 为 50，使用 $L_{MIK}$ 对 PRN、MRN 和 MeshIK 共同进行端到端训练。 网络参数通过 Adam [^19] 进行更新，学习率设置为 $5 \times 10^{-4}$。 具体来说，在后续的端到端训练中，学习率在第 10 个和 20 个 epochs 时降低一个因子。
### IV. 实验
### A. 数据集
我们在一组公开数据集上进行实验：Waymo [^36]、Human-M3 [^7]、SLOPER4D [^5] 和 LiDAR Human26M [^24]。
Waymo 公开数据集 [^36] 提供了 v1.3.2 数据集的每个对象的 14 个关键点标注，其中包含 LiDAR 范围图像和相关的摄像头图像。 我们使用 v2.0 进行训练和验证。 它为每个对象提供了 14 个关键点标注。 训练集中有 8125 个标注的人体关键点，测试集中有 1873 个。
Human-M3 数据集 [^7] 是一个多模态数据集，它捕捉了四个不同场景中的户外多人活动。 它为每个对象提供 15 个关键点标注。 训练集中有 80103 个标注的人体关键点，测试集中有 8951 个。
SLOPER4D 数据集 [^5] 是一个户外人体运动捕捉数据集，它基于 LiDAR 点云和 RGB 图像捕捉了多个对象。 通过运动捕捉设备获得地面真值网格。 总体来说，发布的部分包含六个运动片段。 由于作者没有手动分配训练集和测试集，我们选择一个片段作为测试集。 因此，训练集中有 24936 个标注的人体网格，测试集中有 8064 个。
LiDAR Human26M 数据集 [^24] 是一个人体运动捕捉数据集，它基于 LiDAR 点云和 RGB 图像捕捉了多个对象。 通过运动捕捉设备获得地面真值网格。 训练集中大约有 160,000 个标注的人体网格，测试集中有 24,000 个。
由于 Waymo 和 Human-M3 数据集中缺乏 3D 网格标注，我们使用关键点标注和输入点云来重建人体网格的伪标签。 该过程类似于 Smplify-X [^34]，名为 Smplify-Cloud。 对于输入点云 Q 和地面真值关节标注 $P = [p_1, \ldots, p_N]$，N 是点的数量。
---
TABLEI
EVALUATION OF SMPLIFY-CLOUD IN THE SLOPER4D DATASET
| SLOPER4D | MPJPE | MPVPE | MPERE |
| Simplify-Cloud | 1.06 | 2.26 | 0.061 |
指标包括 MPJPE (cm)、MPVPE (cm) 和 MPERE。
我们估计 SMPL $\theta$ 模型的姿态参数 $\beta$ 和形状参数 [^30] 以及相应的根部平移 r。 具体来说，伪标签是通过最小化约束观测值和先验的损失函数获得的：
$$ [r_{p},\theta_{p},\beta_{p}]=\mathop{\operatorname{a r g}\operatorname*{m i n}}_{r,\beta,\theta}(L_{o p}), $$
$$ P_{M},M=S_{-}(r,\beta,\theta), $$
$$ L_{op}=\lambda_{J}L_{J}(P_{M},P)+\lambda_{p}L_{p}(M,\beta,\theta), $$
$$ L_{p}(M,\beta,\theta)=L_{s p}(\beta)+L_{p p}(\theta)+L_{c p}(M), $$
其中，$S_-$ 表示 SMPL 模型推理，M 表示 3D 网格顶点，$P_M$ 表示由 SMPL 模型处理的 3D 人体姿态关节。$L_J$ 是估计的 3D 关节与标注关节之间的 12-loss。$L_p$ 是从 Smplify-X [^34] 继承的先验损失。具体来说，$L_{sp}$ 约束人体形状，$L_{pp}$ 约束人体姿态和角度，$L_{cp}$ 是估计网格的碰撞惩罚，$\lambda_J$ 和 $\lambda_p$ 是超参数。伪标签可以通过 L-BFGS 优化算法获得。
具体来说，为了检查生成的伪标签的质量，我们使用 Smplify-Cloud 在 SLOPER4D 数据集上生成伪标签，并使用地面真实标注进行评估。评估结果如图表 I 所示，指标处于较低水平，因此可以保证伪标签的质量。
对于 Waymo-v2 和 Human-M3 数据集，我们使用每个行人的标注骨盆关节作为中心，并选择包含在边长为 2 米的立方体内的点云作为网络的输入。当应用于大型场景数据时，我们期望可以通过现有的最先进的行人定位网络来估计行人的 3D 位置。具体来说，为了模拟实际应用中行人定位所涉及的估计误差，以及随机旋转，我们在网络训练过程中应用范围在 $[-0.2\ m, 0.2\ m]$ 范围内的随机平移和范围在 $[-0.25\pi, 0.25\pi]$ 范围内的随机旋转。
### B. 评估指标
对于 HPE，我们使用 MPJPE [^14] 和 PA-MPJPE [^3]，[^10]，以及平均每顶点位置误差 (MPVPE) 用于 HMR。此外，我们提出了一种新的指标，用于非参数方法评估，即平均每边相对误差 (MPERE)。对于非参数方法，顶点之间的位置关系不是固定的，MPERE 可以表示局部细节的重建质量。
对于具有边长设置为 $(l_1, \ldots, l_m)$ 的预测网格 M，以及具有边长设置为 $\check{M}$ 的地面真实网格 $(\check{l}_1, \ldots, \check{l}_m)$，MPERE 的定义如下：
$$ M P E R E=\sum_{i=1}^{m}\frac{1}{m}\frac{||l_{i}-\check{l}_{i}||_{1}}{\check{l}_{i}}, $$
其中 m 是网格中的边数。MPERE 测量边长误差与网格边长度的真实值之间的比率，并判断局部细节的重建质量。如图 7 所示，MPVPE 可能不足以衡量重建质量。在这种情况下，需要使用 MPERE 作为补充指标。
此外，我们评估了所有算法的网络训练期间的计算成本（GFLOPs）和推理期间的吞吐量（每秒帧数，fps），以比较算法的效率和轻量性。具体来说，我们使用 GeForce RTX 3090 GPU 作为平台，并记录在 Waymo-v2 数据集的测试集中，批量大小为 1 的网络推理速度。对于 V2V-PoseNet 和 LPFormer，我们遵循原始设置，其中体积立方体的尺寸设置为 $88 \times 88 \times 88$。
### C. 与最先进技术的比较
对于 3D HPE，我们比较 V2V-Posenet [^31] (V2V) 和重新实现的 LPFormer [^44] (LP)。对于 3D HMR，我们比较 Pose2Mesh [^3] (P2M)、HybrIK [^25]、LiDARCap [^24] (使用单帧输入)、重新实现的 SAHSR [^16] 和 VoteHMR [^28]。
为了评估 PRN 在点云提取中的作用，我们设计并使用 LP+MRN+MeshIK 设置进行比较。LPFormer 经过预训练，然后与 LiDAR-HMR 一样，对整个网络进行端到端训练。此外，Pose2Mesh 需要一个准确估计的 3D 人体骨骼；因此，我们使用对应数据集中最优秀的 3D 人体姿态估计模型的输出作为输入姿态，称为“P2M”。为了进行公平的比较，我们还使用我们提出的 PRN（预训练）与 MeshNet 在 Pose2Mesh 网络中进行端到端训练（与 LiDAR-HMR 相同），称为“PRN+P2M”和“PRN+P2M+MeshIK”。
定量评估结果如图 II 所示。特别是对于人体姿态估计 (HPE)，PRN 在不同数据集上实现了与最先进方法相当的结果，但计算资源需求大大降低。它们依赖于点云的体素化和 3D CNN 来提取 3D 特征，这会导致一些计算冗余并消耗更多的计算资源。此外，3D CNN 提取的 3D 特征在后续的人体网格恢复中没有提供太多帮助。此外，“V2V+P2M”的重建性能不如比较组“PRN+P2M”，这进一步证明了我们提出的 PRN 网络的有效性。比较“LP+MRN+MeshIK”和“LiDAR-HMR”的性能表明，虽然 LPFormer 可以实现良好的姿态估计性能，但当它用作网格重建网络的组成部分时，仅输出姿态骨骼是不够的。因此，PRN 可以有效地从输入点云中提取有效的特征
---
Fig. 7. Two examples of estimated human meshes, and point clouds are illustrated by the blue points. Meshes with low VE (MPVPE) may not have the best reconstruction quality. Therefore, we introduce the ERE (MPERE) to measure the reconstruction results from another perspective.
TABLE II
EVALUATION RESULTS ON THE SLOPER4D, WAYMO, HUMAN-M3 AND LiDAR HUMAN26 M DATASETS
| SLOPER4D | Waymo | Human-M3 | LiDARHuman26M | GFLOPs | FPS |
| Model | JE | VE | ERE | JE | VE | ERE | JE | VE | ERE | JE | VE | ERE |
| Pose | V2V | 5.07 | - | - | 7.03 | - | - | 8.30 | - | - | 8.78 | - | - | 61.803 | 22.51 |
| LP | 7.71 | - | - | 6.39 | - | - | 7.75 | - | - | 7.93 | - | - | 62.197 | 23.92 |
| PRN | 5.70 | - | - | 6.78 | - | - | 8.22 | - | - | 8.46 | - | - | 0.672 | 23.92 |
| Mesh | HybrIK | 5.63 | 8.82 | 0.097 | 6.96 | 9.00 | 0.073 | 8.53 | 12.06 | 0.096 | 10.66 | 15.97 | 0.125 | 0.780 | 12.56 |
| SAHSR | 7.26 | 8.12 | 0.085 | 9.66 | 11.68 | 0.163 | 10.55 | 13.15 | 0.291 | 10.70 | 13.34 | 0.111 | 0.427 | 24.39 |
| VoteHMR | 5.46 | 6.09 | 0.079 | 9.76 | 12.08 | 0.194 | 10.58 | 12.54 | 0.189 | 13.14 | 16.22 | 0.211 | 0.663 | 21.81 |
| LiDARCap | 9.79 | 10.56 | 0.06 | 11.10 | 13.19 | 0.061 | 10.12 | 11.51 | 0.032 | 9.35 | 12.52 | 0.036 | 0.522 | 77.32 |
| V2V+P2M | 5.07 | 5.98 | 0.126 | 9.77 | 8.56 | 0.150 | 10.44 | 9.35 | 0.111 | 12.88 | 13.13 | 0.113 | 3.756 | 13.61 |
| PRN+P2M | 5.66 | 6.53 | 0.132 | 8.74 | 9.04 | 0.150 | 8.06 | 8.96 | 0.091 | 7.44 | 10.20 | 0.113 | 4.096 | 14.38 |
| PRN+P2M+MeshIK | 6.36 | 6.27 | 0.042 | 7.65 | 9.24 | 0.067 | 8.12 | 9.02 | 0.034 | 7.54 | 10.18 | 0.089 | 4.180 | 7.55 |
| LP+MRN+MeshIK | 4.31 | 5.46 | 0.063 | 6.86 | 8.82 | 0.067 | 7.84 | 9.22 | 0.047 | 7.57 | 10.39 | 0.045 | 63.854 | 7.52 |
| PRN+MRN | 4.76 | 5.19 | 0.094 | 7.01 | 8.24 | 0.119 | 7.94 | 8.95 | 0.088 | 7.63 | 10.39 | 0.079 | 2.225 | 12.35 |
| LiDAR-HMR | 4.77 | 4.97 | 0.039 | 6.62 | 7.80 | 0.062 | 7.60 | 8.64 | 0.044 | 7.62 | 10.25 | 0.075 | 2.309 | 7.45 |
指标包括 JE（MPJPE，厘米）、VE（MPVPE，厘米）和 ERE（MPERE），以及训练时的计算成本（GFLOPs）和批次大小设置为 1 时的推理效率（FPS）。所提出的方法以粗体显示，最佳值以粗体显示。
这有助于后续的网格重建。
对于HMR，定性和定量评估结果分别如图8和表II所示。HybrIK和LiDARCap都基于骨架重建SMPL姿态参数，但它们在局部细节方面存在不准确，通常表现为在正确的骨架下，骨骼的轴向旋转不真实。这主要是因为它们无法从点云中提取精确的局部细节。VoteHMR和SAHSR没有达到令人满意的结果。这两种方法都直接从点云中回归人体网格，而没有进行稀疏到密集的建模。它们是参数化方法，在有效建模点云与相应人体网格之间的关系方面面临困难。对于更具挑战性的数据集，如Waymo和Human-M3，更大的误差会导致不令人满意的MPERE分数。比较上述两种方法，可以突出所提出的点云到SMPL重建流程的有效性。具体来说，LiDARMR在重建更复杂和多样的姿态方面也表现良好，这表明其具有足够的鲁棒性和可移植性。网络的最终吞吐量约为7.5帧每秒（fps），这接近于Pose2Mesh+MeshIK的吞吐量。特别地，当排除MeshIK网络结构时，网络的吞吐能力为12.35 fps，略低于Pose2Mesh的14.38 fps。这主要归因于MRN引入的更深层和更复杂的特征处理。但是，重要的是要注意，常用LiDAR系统的典型数据帧率为约10 fps。因此，网络的吞吐能力可以满足应用要求。
对于 Pose2mesh，虽然这两种方法都基于类似的稀疏到密集的建模流程，但 MRN 将点云作为输入，以辅助重建。在相同的骨干网络和训练条件下，MRN 的性能优于 Pose2mesh 中提出的 MeshNet，同时消耗更少的计算资源。此外，对中间重建结果施加了约束，使整个重建过程更加合理和有效。如图 8 所示，无法通过指标进行量化的是，Pose2mesh 经常出现不合理的身体局部细节。虽然 LiDAR-HMR 在 LiDAR Human26 M 数据集上的 MPJPE 和 MPVPE 性能更好，但其较高的 MPERE 也表明了一种常见的回归人体姿势的不合理情况。这主要是因为在上采样过程中没有考虑顶点之间的连接关系，这使得网络难以对每个顶点进行语义信息的建模。
---
Fig. 8. Comparisons with the state-of-the-art methods on the Waymo, SLOPER4D and Human-M3 datasets. The meshes are visualized with the input point clouds (blue points) for better comparison. The top three rows show examples corresponding to challenges of incomplete point clouds (low leg missing), noise, and sparse point clouds. The bottom two rows show more diverse human poses that exist in the Human-M3 dataset. (GT: ground-truth, GT_V: ground-truth (alternative view), LMR: LiDAR-HMR (PRN+MRN+MeshIK), PM: PRN+MRN, P2M: Pose2Mesh [^3], PP: PRN+P2M, and PPM: PRN+P2M+MeshIK).
最后，MeshIK 的含义是明确的，并且在 MeshIK 的处理后，估计姿势的合理性和准确性得到提高。这体现在 MPERE 的改进以及结果更合理的可视化上。在 MeshIK 之后，模型的原始顶点坐标输出被转换为语义 SMPL 形状和姿势参数，这些参数描述了人体姿势。与原始表示相比，这种表示可用于其他任务，例如时间处理或动作识别。总的来说，所提出的 LiDAR-HMR 在四个数据集和不同设置下，以更少的计算资源实现了最佳结果。
最终，MeshIK的含义变得清晰，并且经过MeshIK处理后，估计姿势的合理性和准确性得到了提高。 这体现在MPERE的改进以及结果更合理的可视化上。 在MeshIK之后，模型的原始顶点坐标输出被转换为语义化的SMPL形状和姿势参数，这些参数描述了人体姿势。 与原始表示相比，这种表示可用于其他任务，例如时序处理或运动识别。 总的来说，所提出的LiDAR-HMR在四个数据集和不同设置下，以较少的计算资源实现了最佳结果。
### D. 消融研究
我们在 Waymo 数据集 [^36] 上进行了消融研究。
PRN消融实验：我们对比以下不同设置：(1) 不使用投票模块，将PointTransformer-v2的输出特征输入全连接层，直接输出人体姿态（记为“no_vote”）；(2) 移除精炼模块（记为“no_refine”）；(3) 在“no_vote”的基础上移除精炼模块（记为“no_all”）；(4) 从(11)式的$L_{\mu}$中移除$L_{q}$和$L_{PRN}$对应的损失项（记为“no_voteloss”）。
定量评估结果如表 III 所示。与“no_all”设置相比，引入投票
---
TABLE III ABLATION EVALUATION OF THE PRN ON THE WAYMO DATASET
| Group | MPJPE | PA-MPJPE | GFLOPs |
| no_vote | 6.89 | 5.07 | 0.751 |
| no_refine | 7.05 | 5.62 | 0.475 |
| no_all | 10.14 | 7.31 | 0.347 |
| no_voteloss | 6.94 | 5.09 | 0.672 |
| PRN | 6.78 | 5.20 | 0.672 |
指标包括 MPJPE（厘米）、PA-MPJPE（厘米）以及在批量大小设置为 1 时训练时的计算成本（GFLOPs）。最佳值以粗体显示。
模块可使 MPJPE 提高 3.09 厘米，PA-MPJPE 提高 1.69 厘米。同样，添加细化模块也可分别使 MPJPE 和 PA-MPJPE 提高 3.25 厘米和 2.24 厘米。值得注意的是，细化模块和投票模块在单独使用时都可获得良好的结果。它们从“更准确的估计”和“更准确的调整”两个方面提高了人体姿势的质量。即使如此，引入投票模块仍然可以减少网络的计算消耗。(11) 中的投票损失项对 PRN 的性能有轻微的益处，并且对于有监督的骨干网络学习点对点特征来说，这是一种更自然和直接的方法。
PA-MPJPE 仅衡量人体骨骼的相对误差，反映了网络感知整体人体姿势的能力。从直观的角度来看，在“no_vote”设置下，网络无法访问更详细的人体局部信息，因此更侧重于重建整体的相对 3D 骨骼；这导致了 PA-MPJPE 的性能得到提升。然而，重要的是要注意，PA-MPJPE 没有考虑到在全局坐标中身体位置的误差。在实际应用中，尤其是在后续的人体网格重建过程中，获得在全局坐标中准确的 3D 骨骼至关重要。
MRN 的消融实验：我们从三个不同的方面比较 MRN 的性能：PRN 原始点云特征的利用、姿势到网格 (P2M) 重建过程的不同结构以及 MRN 的不同损失函数。具体来说，对于 PRN 特征的利用，我们使用了以下设置：（1）PRN 使用预训练权重，不再参与端到端的训练，并且损失函数不包括 PRN 的姿势估计损失（称为“no_PRN”）。（2）PRN 未预训练，使用随机权重初始化（称为“no_pretrain”）。（3）原始点云特征不输入到 MRN 的重建过程中，并且在每个分辨率上的自注意力模块仅计算顶点特征之间的对应关系（称为“no_pcd”）。对于 P2M 结构，我们使用了以下设置：（1）PRN 的输出特征直接输入到基于 MLP 的网络中，以回归 SMPL 的姿势和形状参数（称为“no_MRN”）。（2）PRN 的输出特征输入到与 [^27] 中一致的基于图神经网络的网络中，以进行上采样和回归顶点坐标（称为“graphormer”）。（3）MRN 网络中的不同分辨率使用上采样（与 Pose2Mesh 一致）。
TABLE IV ABLATION EVALUATION OF THE MRN ON THE WAYMO DATASET
| Group | MPJPE (PRN) | MPVPE | MPERE | GFLOPs |
| PRN Features | no_PRN | - | 28.03 | 0.306 | 2.225 |
| no_pretrain | 6.62 | 8.53 | 0.128 | 2.225 |
| no_pcd | 7.05 | 9.05 | 0.145 | 2.103 |
| P2M Structures | no_MRN | 6.86 | 10.22 | 0.057 | 0.750 |
| graphormer | 8.05 | 9.83 | 1.760 | 9.150 |
| upsample | 6.49 | 8.34 | 0.127 | 2.164 |
| MRN Losses | no_mid | 6.53 | 8.89 | 0.123 | 2.212 |
| edge_mid | 6.31 | 8.31 | 0.165 | 2.225 |
| PRN+MRN | 6.28 | 8.24 | 0.119 | 2.225 |
指标包括 MPJPE（厘米）、MPVPE（厘米）、MPERE 以及在批次大小设置为 1 时训练的计算成本（GFLOPs）。最佳值以粗体显示。
对于损失，我们使用了以下设置：（1）损失函数不包括中间分辨率上的网格重建损失（称为“no_mid”），以及（2）中间分辨率上的重建损失不仅约束角点位置，还引入了对边长的约束（Section III-B 中的 $L_{F}$ 项）（称为“edge_mid”）。
定量的评估结果如图 IV 所示。对于 PRN 原始点云特征的利用，首先，端到端的训练对于 MRN 至关重要。当骨干网络不参与端到端的训练时，MRN 的性能会大幅下降，这表明从姿势估计预训练中学习的特征无法表示 3D 网格重建。因此，权重更新对于 MRN 训练的骨干网络非常重要。其次，使用原始点云特征的效果是显而易见的；当比较“PRN+MRN”和“no_pcd”设置时，MPVPE 和 MPERE 分别减少了 0.81 厘米和 0.026，分别占 8.95% 和 17.93%。这证明了将点云集成到重建过程中的策略是有效的。最后，预训练过程也有利于网格重建；MPVPE 和 MPERE 分别减少了 0.29 厘米和 0.009，分别占 3.39% 和 7.03%。这个发现表明，预训练策略可以为网格重建提供更多的语义和先验信息，这很有帮助。
关于姿势到网格网络的结构：首先，稀疏到密集的建模至关重要。直接从PRN特征回归参数会导致性能不佳。其次，在稀疏到密集的重建中，所提出的在不同网格分辨率下进行特征传播的方法，在MPVPE和MPERE方面分别比Pose2Mesh和Graphormer中的上采样方法提高了0.1厘米和0.008，这表明所提出的特征传播模块在特征传递过程中更有效地继承了不同分辨率之间的信息，并取得了更好的结果。
对于中间网格的MRN损失，观察到监督中间分辨率的网格对算法的性能有轻微影响。这可能是因为这为模型在中间阶段提供了一个更合理的重建过程，从而促进了更好的学习。有趣的是，对中间分辨率网格长度施加约束会对模型的性能产生轻微的负面影响，这可能是因为在中间重建过程中施加过多的约束会导致最终网格重建的自由度降低。
---
(a) MPVPE
(b) MPERE
Fig. 9. Analysis of the relationship between performance and the number of points.
(a) Human-M3 dataset.
(b) Waymo dataset.
(c) THU-MultiLiCa dataset.
Fig. 10. More visual results of LiDAR-HMR in multiperson scenes. (a) Human-M3 dataset. (b) Waymo dataset. (c) THU-MultiLiCa [^49] dataset (top: RGB images; bottom left: point clouds; bottom right: estimated meshes overlapping with the point clouds).
分析点数：如图9所示，当点数超过100时，LiDAR-HMR的性能相对稳定。当点数少于100时，LiDAR-HMR在Human-M3和Waymo数据集上在MPVPE和MPERE方面表现出显著的波动。当输入点云稀疏时，LiDAR-HMR的性能确实会受到影响，并且在这些情况下，问题更具挑战性。我们发现，三个公开数据集中的样本数量有限，点数少于100，这可能是导致这种现象的一个因素，因为学习过程在处理这些情况时不够全面。可以通过提取具有挑战性的样本来解决此问题。
### E. 局限性和失败案例
### E. 局限性和失败案例
失败案例如图11所示。具体来说，虽然非参数表示比参数表示能够更准确、更直观地重建人类网格，但MRN回归的网格顶点在某些情况下仍然存在令人不满意的局部细节，这些细节被压缩并且不平滑（图11(a)）。
(a) Collapsed local details.
(b) Partial missing.
Fig. 11. Two kinds of typical failure cases. In (a), red ellipses mark the collapsed details.
此外，输入点云的不完整可能会导致整体网格出现错误。LiDAR-HMR在一定程度上可以缓解由于点云缺失部分而导致的问题，特别是通过网络利用从训练数据中学习到的有效的姿势先验来重建缺失的部分。然而，当某个身体部位完全缺失时，LiDAR-HMR仍然难以获得完全准确的结果。具体来说，在图11(b)中，身体下半部分几乎完全缺失，这导致LiDAR-HMR的估计不准确。这些具有挑战性的情况确实存在于实际应用中，并且很难避免。不幸的是，这些情况是模棱两可的，引入额外的姿势连续性时序约束可能对解决这些问题有益。
此外，输入点云的不完整可能会导致整体网格出现错误。 LiDAR-HMR能够减轻因点云缺失部分而产生的问题。
---
在一定程度上，云技术可以通过网络重构姿势的缺失部分，这得益于从训练数据中学习到的有效的姿势先验知识。然而，当身体的某个部分完全缺失时，LiDAR-HMR仍然难以获得完全准确的结果。具体来说，如图11(b)所示，身体的下半部分几乎完全缺失，这导致LiDAR-HMR的估计不准确。在实际应用中，确实存在这种具有挑战性的情况，并且很难避免。不幸的是，这些情况是模棱两可的，引入额外的姿势连续性时序约束可能有助于解决这类问题。
值得注意的是，有效的先验人体网格（例如 VPoser [^34]）是基于参数化表示的。 假设可以将更多的人体网格先验知识引入网络训练中，或者对网络输出的表面网格施加约束。 这种方法可以产生更合理、更逼真的人体表面，同时确保准确性。
## F. 更多可视化结果
除了图 3 之外，图 10 还展示了 LiDAR-HMR 在广阔户外场景中的更多可视化结果。 LiDAR-HMR 在不同的户外场景中提供稳健且令人满意的结果，而基于 RGB 图像的 HMR 方法通常难以实现。 如图 10(c) 所示，在 THU-MultiLiCa [^49] 数据集的夜间场景中，光照太弱，无法区分人体，但 LiDAR-HMR 不受影响。 具体来说，该数据集不提供人体姿态的地面真实值，因此我们使用在 Waymo-v2 数据集中训练的权重进行推理，这表明 LiDAR-HMR 在不同场景中的稳健性和可移植性。
### V. 结论
我们首次尝试基于单帧稀疏 LiDAR 点云进行 3D 人体姿态估计和网格恢复。 我们通过提出一种稀疏到密集的重建流程来解决此问题。 我们将输入点云引入以辅助整个重建过程，这会对重建的中间结果施加约束，并获得良好的结果。 此外，我们提出了 MeshIK，该方法可以从不受约束的网格顶点回归 SMPL 参数，这不仅提高了网格的合理性，而且为输出网格赋予了语义。 但是，所提出的方法在某些非常稀疏的场景中仍然会失败，并且可能会输出不合理且相互交叉的网格。 一个可能的解决方案是在重建过程中考虑更多的人体姿势先验知识。 我们希望我们的工作能够激发后续关于稀疏点云或多模态人体感知的研究。
### 参考文献
[^1]: Z. Cao, T. Simon, S.-E. Wei, and Y. Sheikh, "Realtime multi-person 2D pose estimation using part affinity fields," in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2017, pp. 7291–7299.
[^2]: A. Chen et al., “Towards weather-robust 3D human body reconstruction: Millimeter-wave radar-based dataset, benchmark, and multi-modal fusion,” IEEE Trans. Circuits Syst. Video Technol., vol. 35, no. 1, pp. 273–286, Jan. 2025.
[^3]: H. Choi, G. Moon, and K.M. Lee, “Pose2Mesh: Graph convolutional network for 3D human pose and mesh recovery from a 2D human pose,” in Proc. Eur. Conf. Comput. Vis., 2020, pp. 769–787.
[^4]: P. Cong et al., “Weakly supervised 3D multi-person pose estimation for large-scale scenes based on monocular camera and single LiDAR,” in Proc. AAAI Conf. Artif. Intell., 2023, pp. 461–469.
[^5]: Y. Dai et al., “SLOPER4D: A scene-aware dataset for global 4D human pose estimation in urban environments,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., 2023, pp. 682–692.
[^6]: Z. Ding, X. Han, and M. Niethammer, “VoteNet: A deep learning label fusion method for multi-atlas segmentation,” in Proc. 22nd Int. Conf. Med. Image Comput. Comput.-Assist. Intervention, Shenzhen, China, 2019, pp. 202–210.
[^7]: B. Fan, S. Wang, W. Zheng, J. Feng, and J. Zhou, “Human-M3: A multi-view multi-modal dataset for 3D human pose estimation in outdoor scenes, 2023, arXiv:2308.00628.
[^8]: V. Ganapathi, C. Plagemann, D. Koller, and S. Thrun, “Real-time human pose tracking from range data,” in Proc. Eur. Conf. Comput. Vis., 2012, pp. 738–751.
[^9]: R. Girshick, J. Shotton, P. Kohli, A. Criminisi, and A. Fitzgibbon, “Efficient regression of general-activity human poses from depth images,” in Proc. IEEE Int. Conf. Comput. Vis., 2011, pp. 415–422.
[^10]: J. C. Gower, “Generalized procrustes analysis,” Psychometrika, vol. 40, pp. 33–51, 1975.
[^11]: A. Haque et al., “Towards viewpoint invariant 3D human pose estimation,” in Proc. Eur. Conf. Comput. Vis., 2016, pp. 160–177.
[^12]: T. Helten et al., “Personalization and evaluation of a real-time depth-based full body tracker,” in Proc. 2013 Int. Conf. 3D Vis., 2013, pp. 279–286.
[^13]: J. Hu, H. Zhang, Y. Wang, M. Ren, and Z. Sun, “Personalized graph generation for monocular 3D human pose and shape estimation,” IEEE Trans. Circuits Syst. Video Technol., vol. 34, no. 4, pp. 2399–2413, Apr. 2024.
[^14]: C. Ionescu, D. Papava, V. Olaru, and C. Sminchisescu, “Human3.6M: Large scale datasets and predictive methods for 3D human sensing in natural environments,” IEEE Trans. Pattern Anal. Mach. Intell. vol. 36, no. 7, pp. 1325–1339, Jul. 2014.
[^15]: H. Jang, M. Kim, J. Bae, and Y. M. Kim, "Dynamic mesh recovery from partial point cloud sequence," in Proc. IEEE/CVF Int. Conf. Comput. Vis., 2023, pp. 15074–15084.
[^16]: H. Jiang, J. Cai, and J. Zheng, “Skeleton-aware 3D human shape reconstruction from point clouds,” in Proc. IEEE Int. Conf. Comput. Vis., 2019, pp. 5431–5441.
[^17]: A. Kamel, B. Sheng, P. Li, J. Kim, and D. D. Feng, “Hybrid refinement-correction heatmaps for human pose estimation,” IEEE Trans. Multimedia, vol. 23, pp. 1330–1342, 2021.
[^18]: A. Kanazawa, M.J. Black, D.W. Jacobs, and J. Malik, “End-to-end recovery of human shape and pose,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2018, pp. 7122–7131.
[^19]: D. P. Kingma and J. Ba, “Adam: A method for stochastic optimization,” 2014, arXiv:1412.6980.
[^20]: S. Knoop, S. Vacek, and R. Dillmann, “Sensor fusion for 3D human body tracking with an articulated 3D body model,” in Proc. IEEE Int. Conf. Robot. Automat., 2006, pp. 1686–1691.
[^21]: M. Kocabas, N. Athanasiou, and M. J. Black, “VIBE: Video inference for human body pose and shape estimation,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., 2020, pp. 5253–5263.
[^22]: N. Kolotouros, G. Pavlakos, M. J. Black, and K. Daniilidis, “Learning to reconstruct 3D human pose and shape via model-fitting in the loop,” in Proc. IEEE/CVF Int. Conf. Comput. Vis., 2019, pp. 2252–2261.
[^23]: N. Kolotouros, G. Pavlakos, and K. Daniilidis, “Convolutional mesh regression for single-image human shape reconstruction,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., 2019, pp. 4501–4510.
[^24]: J. Li et al., "LiDARCap: Long-range markerless 3D human motion capture with LiDAR point clouds," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., 2022, pp. 20502–20512.
[^25]: J. Li et al., “HybrIK: A hybrid analytical-neural inverse kinematics solution for 3D human pose and shape estimation,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., 2021, pp. 3383–3393.
[^26]: K. Lin, L. Wang, and Z. Liu, “End-to-end human pose and mesh reconstruction with transformers,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., 2021, pp. 1954–1963.
[^27]: K. Lin, L. Wang, and Z. Liu, "Mesh graphormer," in Proc. IEEE/CVF Int. Conf. Comput. Vis., 2021, pp. 12939–12948.
## [^28]: G. Liu, Y. Rong, and L. Sheng, “VoteHMR: Occlusion-aware voting network for robust 3D human mesh recovery from partial point clouds,” in Proc. 29th ACM Int. Conf. Multimedia, 2021, pp. 955–964.
---
[^29]: H. Liu et al., “Fast human pose estimation in compressed videos,” IEEE Trans. Multimedia, vol. 25, pp. 1390–1400, 2023.
[^30]: M. Loper, N. Mahmood, J. Romero, G. Pons-Moll, and M. J. Black, “SMPL: A skinned multi-person linear model,” Seminal Graph. Papers, Pushing Boundaries, vol. 2, pp. 851–866, 2023.
[^31]: G. Moon, J. Y. Chang, and K. M. Lee, “V2V-PoseNet: Voxel-to-voxel prediction network for accurate 3D hand and human pose estimation from a single depth map,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2018, pp. 5079–5088.
[^32]: G. Moon, J. Y. Chang, and K. M. Lee, “Camera distance-aware top-down approach for 3D multi-person pose estimation from a single RGB image,” in Proc. IEEE/CVF Int. Conf. Comput. Vis., 2019, pp. 10133–10142.
[^33]: M. Omran, C. Lassner, G. Pons-Moll, P. Gehler, and B. Schiele, “Neural body fitting: Unifying deep learning and model based human pose and shape estimation,” in Proc. Int. Conf. 3D Vis., 2018, pp. 484–494.
[^34]: G. Pavlakos et al., “Expressive body capture: 3D hands, face, and body from a single image,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., 2019, pp. 10975–10985.
[^35]: J. Shotton et al., “Real-time human pose recognition in parts from single depth images,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2011, pp. 1297–1304.
[^36]: P. Sun et al., “Scalability in perception for autonomous driving: Waymo open dataset,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., 2020, pp. 2446–2454.
[^37]: H.Y. Tung, H.W. Tung, E. Yumer, and K. Fragkiadaki, “Self-supervised learning of motion capture,” in Proc. Adv. Neural Inf. Process. Syst., pp. 5242–5252, 2017.
[^38]: K. Wang, J. Xie, G. Zhang, L. Liu, and J. Yang, “Sequential 3D human pose and shape estimation from point clouds,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., 2020, pp. 7275–7284.
[^39]: Z. Weng et al., “3D human keypoints estimation from point clouds in the wild without human labels,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., 2023, pp. 1158–1167.
[^40]: X. Wu, Y. Lao, L. Jiang, X. Liu, and H. Zhao, “Point transformer V2: Grouped vector attention and partition-based pooling,” in Proc. Adv. Neural Inf. Process. Syst., 2022, pp. 33330–33342.
[^41]: Y. Wu, D. Kong, S. Wang, J. Li, and B. Yin, “An unsupervised real-time framework of human pose tracking from range image sequences,” IEEE Trans. Multimedia, vol. 22, no. 8, pp. 2177–2190, Aug. 2020.
[^42]: F. Xiong et al., “A2J: Anchor-to-joint regression network for 3D articulated pose estimation from a single depth image,” in Proc. IEEE/CVF Int. Conf. Comput. Vis., 2019, pp. 793–802.
[^43]: Y. Xu, J. Zhang, Q. Zhang, and D. Tao, "ViTPose: Simple vision transformer baselines for human pose estimation," in Proc. Adv. Neural Inf. Process. Syst., 2022, pp. 38571–38584.
[^44]: D. Ye, Y. Xie, W. Chen, Z. Zhou, and H. Foroosh, “LPFormer: LiDAR pose estimation transformer with multi-task network,” in Proc. IEEE Int. Conf. on Robot. Automat.. pp. 16432–16438, 2024.
[^45]: M. Ye and R. Yang, “Real-time simultaneous pose and shape estimation for articulated objects using a single depth camera,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2014, pp. 2345–2352.
[^46]: Y. Yoshiyasu, “Deformable mesh transformer for 3D human mesh recovery,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., 2023, pp. 17006–17015.
[^47]: A. Zanfir et al., “HUM3DIL: Semi-supervised multi-modal 3D human pose estimation for autonomous driving,” in Proc. 6th Conf. Robot Learn., 2023, pp. 1114–1124.
[^48]: H. Zhang, J. Cao, G. Lu, and W. Ouyang, and Z. Sun, “Learning 3D human shape and pose from dense body parts,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 44, no. 5, pp. 2610–2627, May 2022.
[^49]: M. Zhang et al., “A flexible multi-view multi-modal imaging system for outdoor scenes,” in Proc. 2022 Int. Conf. 3D Vis., 2022, pp. 322–331.
[^50]: J. Zhen et al., “SMAP: Single-shot multi-person absolute 3D pose estimation,” in Proc. Eur. Conf. Comput. Vis., 2020, pp. 550–566.
[^51]: J. Zheng et al., “Multi-modal 3D human pose estimation with 2D weak supervision in autonomous driving,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., 2022, pp. 4478–4487.
[^52]: S. Zou et al., “Human pose and shape estimation from single polarization images,” IEEE Trans. Multimedia, vol. 25, pp. 3560–3572, 2023.
[^53]: X. Zuo, S. Wang, Q. Sun, M. Gong, and L. Cheng, “Self-supervised 3D human mesh recovery from noisy point clouds,” 2021, arXiv:2107.07539.
范博浩于 2019 年获得清华大学自动化系学士学位，目前正在该系攻读博士学位。 他的研究兴趣包括人体姿态估计和点云处理。
郑文昭（电气工程师，IEEE 成员）于 2018 年和 2023 年分别获得北京清华大学物理系学士学位和自动化系博士学位。 他的研究兴趣包括无监督表示学习、以视觉为中心的自动驾驶和可解释人工智能。
冯建江（电气工程师，IEEE 成员）于 2000 年和 2007 年分别获得北京邮电大学电信工程学院学士和博士学位。 他目前是清华大学自动化系副教授。 他的研究兴趣包括指纹识别和计算机视觉。 他是 IEEE TRANSACTION ON INFORMATION FORENSICS AND SECURITY 和 IEEE TRANSACTION ON BIOMETRICS 的副编辑。
行为、身份和科学。
Jie Zhou (IEEE 会员) 1990 年和 1992 年分别获得天津南开大学数学系本科和硕士学位，1995 年获得华中科技大学模式识别与人工智能研究所博士学位。自 1997 年以来，他一直在清华大学自动化系担任博士后研究员，自 2003 年起在该系担任教授。他的研究兴趣包括计算机视觉、模式识别和图像处理。他是 IEEE 模式分析与机器智能期刊的副编辑。