# LiveHPS：自由环境下基于LiDAR的场景级人体姿态与形状估计
任一鸣 $^{1}$，韩啸 $^{1}$，赵程峰 $^{1}$，王静雅 $^{1}$，徐澜 $^{1}$，于景义 $^{1}$，马跃新 $^{1,*}$
$^{1}$ 上海科技大学
{renym2022,mayuexin}@shanghaitech.edu.cn
Figure 1. We propose a novel single-LiDAR-based approach for 3D HPS in large-scale scenarios, which is not limited to fixed studios, light conditions, and wearable devices. Our method predicts full human SMPL parameters(pose, shape, translation) from consecutive LiDAR point clouds and performs well for challenging poses and occlusion situations.
## 摘要
对于以人为中心的大规模场景，对三维人体全局姿态与形状进行细粒度建模对场景理解意义重大，还能赋能众多实际应用。本文提出了LiveHPS，这是一种全新的基于单LiDAR的场景级人体姿态与形状估计方法，不受光照条件和可穿戴设备的限制。具体而言，我们设计了一种蒸馏机制来缓解LiDAR点云的分布变化效应，并利用连续帧中蕴含的时空几何与动态信息解决遮挡和噪声干扰问题。LiveHPS凭借高效的架构设计和高质量输出，非常适合落地实际应用。此外，我们构建了一个大规模人体运动数据集FreeMotion，采集自多种场景，包含多样的人体姿态、体型与全局平移。该数据集由经过标定和同步的LiDAR、相机与IMU采集的多模态多视角数据组成。在我们的新数据集和其他公开
数据集上的大量实验证明，我们的方法具备SOTA性能与鲁棒性。
### 1. 引言
人体姿态与形状估计（HPS）旨在利用传感器采集的数据重建人体的三维数字表示，例如SMPL [^32]。该方向主要有两大核心应用场景：一是娱乐行业的动作捕捉，涵盖电影、增强现实、虚拟现实、混合现实等；二是机器人行业的行为理解，覆盖社交机器人、辅助机器人、自动驾驶、人机交互等诸多领域。
近年来，基于光学的方法 [^15] [^16] [^26] [^28] [^41] 已经取得了显著进展，但由于相机传感器天生对光照变化敏感，这类方法的效果受到限制，无法在无约束的开放环境中使用。相比之下，基于惯性的方法 [^37] [^55] [^60] [^61] 利用佩戴在身体上的惯性测量单元（IMU）获取三维姿态，不受光照和遮挡影响。但这类方法要求使用者佩戴可穿戴设备，长期使用存在漂移问题，也无法捕捉人体体型和精准的全局平移。
LiDAR是机器人和自动驾驶汽车常用的感知传感器 [^9] [^33] [^65] [^66]，凭借其精-
---
可实现无光照干扰的速率深度传感。近年来HPS领域的最新进展[^42]开始利用LiDAR在自然场景中捕捉高质量SMPL。LiDARCap [^30]提出了一种基于GRU的方法，仅从LiDAR点云中估计人体姿态参数。MOVIN [^20]使用CVAE框架将点云与人体姿态关联，可同时估计人体姿态和全局平移。尽管如此，这些方法不具备估计人体形状的能力，此外，它们忽略了LiDAR点云本身的复杂特性，导致在真实场景中性能不稳定。首先，LiDAR点云的分布和模式会随采集距离和设备的不同而变化。其次，LiDAR的视角依赖特性会导致人体点云不完整，易受自遮挡或外部障碍物遮挡的影响。第三，真实采集的LiDAR点云在复杂场景中总是存在噪声，这些噪声由反射干扰或随身物体导致。上述特性都给在大范围、非受控环境中实现准确鲁棒的HPS带来了挑战。
针对上述LiDAR点云难以解决的问题，我们提出LiveHPS，这是一种基于单LiDAR的全新方法，可在大规模自由环境中捕捉高质量的人体姿态、形状和全局平移，如图1所示。这种便于部署的单LiDAR设置不受采集场地、光照条件和可穿戴设备的限制，适用于众多实际应用场景。为了提升应对点分布变化的鲁棒性，我们设计了自适应顶点引导蒸馏模块，通过先验一致性损失让不同的点分布在高层特征空间中与规则SMPL网格顶点分布对齐。此外，为了降低遮挡和噪声的影响，我们提出了连续姿态优化器，通过基于注意力的特征增强，挖掘时空维度中的几何和动态信息来优化姿态。我们还提出了感知骨架的平移求解器，消除不完整、含噪声的点云对人体全局平移准确估计的影响。特别地，我们引入了场景级单向倒角距离（SUCD），将全局坐标系下从输入点云到估计人体网格顶点的距离作为基于LiDAR的HPS的全新评价指标，它能够反映预测结果与真值之间的细粒度几何误差和平移误差。
在FreeMotion及其他公开数据集上，我们的方法大幅优于其他方法。
值得注意的是，我们还推出了FreeMotion，这是一个全新的大规模运动数据集，采集于多样的大规模真实多人场景，包含多模态数据（LiDAR点云、RGB图像和IMU）、多视角数据（前、后、侧）以及完整的SMPL参数（姿态、形状和全局平移）。经过大量实验和消融研究，我们的主要贡献总结如下：
- 我们提出了一种适用于大规模自由环境下3D HPS的全新基于单LiDAR的方法，取得了当前最优性能。
- 我们提出了有效的顶点引导自适应蒸馏模块、连续姿态优化器和感知骨架的平移求解器，用以处理分布多变、不完整且含噪声的LiDAR点云问题。
- 我们提供了一个采集于多样真实场景的新型运动数据集，包含丰富的模态和标注，可为自然场景下HPS的进一步研究提供助力。
### 2. 相关工作
#### 2.1. 基于光学的方法
光学动作捕捉技术已经从最初基于标记点的系统 [^38] [^49] [^50]（这类系统依赖相机追踪标记点重建三维网格）发展到无标记点系统 [^1] [^5] [^12] [^21] [^34] [^39] [^43] [^44] [^47]。尽管这类方法能够得到高精度结果，但这些系统通常成本高昂，且需要繁琐的设备布置与校准流程。为缓解这些挑战，基于优化 [^4] [^17] [^27] [^29] 和回归 [^22] [^23] [^25] [^64] 的单目动作捕捉方法，以及基于模板的概率方法[14–16, 56, 57]和语义建模技术 [^26]，相继出现以解决单目系统的局限性。尽管如此，这些方法仍然存在固有的光照敏感性和深度歧义性问题。部分研究策略 [^2] [^13] [^45] [^54] [^63] 使用深度相机，但这类相机感知范围有限，无法在户外场景中有效工作。
#### 2.2. 基于惯性的方法
与光学系统不同，惯性动作捕捉系统 [^55] 不受光照条件和遮挡的影响。这类系统通常需要将大量IMU固定在贴身服上，这种布置方式重量大且使用不便，因此推动了对更稀疏配置方案的研究，例如6-IMU设置 [^18] [^51] [^60] [^61] 和4-IMU设置 [^42]。但这类方法会随时间累积漂移误差，无法提供精确的形状和全局平移信息，且要求用户佩戴可穿戴设备，不适合日常生活场景使用。
#### 2.3. 基于激光雷达的方法
凭借精准的远距离深度感知能力，激光雷达（LiDAR）已经成为机器人技术和自动驾驶领域的核心传感器 [^8] [^40] [^62] [^65] [^66]。激光雷达能够在开阔环境中提供精准的深度信息和全局平移，且不受光照条件影响，可实现鲁棒的三维人体姿态形状估计（3D HPS）。近年来，PointHPS [^7] 提出了一种级联网络架构，用于从点云估计姿态和形状。然而，它仅适用于稠密
---
点云，而非稀疏激光雷达点云。LiDARCap [^30] 采用基于图的卷积网络预测激光雷达捕获的大规模场景中的日常人体姿态。MOVIN [^20] 提出了一种生成式方法，可以同时估计姿态和全局平移。但这些方法无法预测完整的SMPL参数（姿态、形状和全局平移），在存在遮挡和噪声的复杂真实场景中稳定性较差。
#### 2.4. 三维人体运动数据集
近年来，得益于海量标注数据集，数据驱动的3D HPS在近年得到了广泛发展。室内基于标记点的数据集[^19] [^46]使用多视角相机系统记录日常动作。AMASS [^35]整合了这些数据集，为网络训练提供了标准化基准。无标记数据集如MPI-INF-3DHP [^36]和AIST++ [^31]无需穿戴设备即可捕获更复杂的姿态，但上述所有数据集仍局限于室内场景。室外动作捕捉数据集[^24] [^52]可以捕获野外环境中的动作，但缺乏准确的深度信息，阻碍了场景级人体动作研究。HuMMan [^6]构建了可提供受试者高分辨率扫描的超大规模数据库，MOVIN [^20]提供了来自多相机采集系统带点云的动作数据，但这两个数据集都局限于短距场景。[^10] [^11] [^59]针对大场景人体动作捕捉提出了结合环境信息的优化方法，但它们仅局限于单人场景。近年来，LiDAR Human26M [^30]和LIP [^42]提供了大场景下激光雷达采集的动作数据集，但两个数据集都仅提供单人场景下的SMPL姿态参数。相比之下，我们提出了一个带有完整SMPL参数标注的大规模基于激光雷达的动作数据集，它包含了存在遮挡、多人物与物体交互的挑战性场景，具有重要的实践意义。
### 3. 研究方法
我们提出了一种基于单激光雷达的方法LiveHPS，用于大规模开放环境下的场景级三维人体姿态与形状估计。我们的方法流水线概览如图2所示。我们以连续的三维单人点云作为输入，目标是在不受采集场地、光照条件和可穿戴设备限制的前提下，获得持续准确的局部姿态、人体形状和全局平移。我们的网络包含三个主要模块，分别是基于点的人体追踪器（第3.2节）、连续姿态优化器（第3.3节）和基于注意力的多头SMPL求解器（第3.4节）。首先，我们利用基于点的人体追踪器提取逐点特征，预测人体关节位置。其次，我们提出基于注意力的时空特征增强机制，利用关节级几何特征和关系特征获得优化后的关节位置。最后，我们设计了基于注意力的多头求解器，从优化后的人体骨架回归得到包含局部人体姿态、形状和全局平移在内的SMPL参数。
#### 3.1. 预备知识
LiveHPS以包含T帧的连续单人点云序列作为输入。由于原始点云在不同时刻t的点数不固定，我们执行归一化处理：使用最远点采样算法（FPS）将每一帧重采样为固定的$N_{fps} = 256$个点，并减去原始数据的平均位置$\mathbf{loc}(t) \in \mathbb{R}^3$。$\mathbf{P}(t) \in \mathbb{R}^{3N_{fps}}$表示t时刻经过预处理的输入。
我们将$N_J$定义为身体关节数量，$N_V$定义为SMPL网格上的身体顶点数量；$\hat{\mathbf{J}}(t)$、$\hat{\mathbf{J}}^{GT}(t) \in \mathbb{R}^{3N_J}$分别为时刻t下预测得到和真实的相对根关节的关节位置；$\hat{\mathbf{V}}(t)$、$\hat{\mathbf{V}}^{GT}(t) \in \mathbb{R}^{3N_V}$分别为预测得到和真实的顶点位置。我们网络的预测结果由$\hat{\theta}(t) \in \mathbb{R}^{6N_J}$、$\hat{\beta} \in \mathbb{R}^{10}$和$\hat{T}_r(t) \in \mathbb{R}^3$组成，分别对应SMPL的姿态、形状和全局平移参数。$\theta^{GT}(t)$、$\beta^{GT}$和$T_r^{GT}(t)$是对应的真实值。我们采用基于6D旋转的姿态表示方法。
#### 3.2. 基于点的人体追踪器
针对输入的经过预处理的连续点云，我们遵循LIP [^42]提出的PointNet-GRU结构提取逐点特征，并通过MLP解码器回归人体关节位置。考虑到激光雷达点云分布不规则，会随采集距离和设备的不同而变化，同时还会受到遮挡和噪声的影响（图1），我们设计了顶点引导自适应蒸馏（Vertex-guided Adaptive Distillation, VAD）机制来统一点分布，以促进网络训练并提升鲁棒性。由于SMPL网格的顶点具有相对规则的表示，我们通过蒸馏让不同的点分布在高层特征空间中与网格顶点分布对齐，如图2所示。
首先，我们利用全局平移$Tr^{GT}(t)$将激光雷达点云$\mathbf{P}(t)$与真实网格顶点$\widetilde{\mathbf{V}}^{GT}(t)$对齐，并使用k近邻（k-Nearest-Neighbours, kNN）算法采样得到对应的顶点，记为$\widetilde{\mathbf{V}}_{pc}^{GT}(t)$。随后，我们使用$\widetilde{\mathbf{V}}_{pc}^{GT}(t)$预训练一个顶点人体追踪器来回归关节位置$\hat{\mathbf{J}}_{v}(t)$。我们采用均方误差（mean squared error, MSE）损失$L_{mse}(\hat{\mathbf{J}}_{v})$进行监督：
$$ \mathcal{L}_{m s e}(\hat{\mathbf{J}}_{v})=\sum_{t}\parallel\hat{\mathbf{J}}_{v}(t)-\widetilde{\mathbf{J}}^{G T}(t)\parallel_{2}^{2}. $$
随后，我们将连续点云$\mathbf{P}(t)$和其对应的顶点数据$\widetilde{\mathbf{V}}_{pc}^{GT}(t)$输入两个独立的人体追踪器，得到逐点特征$F_p(t) \in \mathbb{R}^k$
---
Figure 2. The pipeline of LiveHPS. With sequential LiDAR point clouds as input, LiveHPS consists of three critical modules to obtain human SMPL parameters, including a point-based body tracker to distill the pose-prior information, a consecutive pose optimizer to refine the pose via utilizing joint-wise features, and a multi-head SMPL solver to regress parameters of human models.
和$F_v(t) \in \mathbb{R}^k$，其中$k = 1024$。值得注意的是，两个基于点的人体追踪器网络采用不同的权重，我们在训练过程中冻结顶点人体追踪器的预训练参数。为了让真实点分布与规则顶点分布对齐，我们使用姿态先验一致性损失$\mathcal{L}_{pc}$来最小化激光雷达点云和引导顶点之间的高层特征距离。该蒸馏过程让我们的特征提取器能够在差异极大的数据分布下保持不敏感性。最后，我们借助MLP解码器预测关节位置$\hat{\mathbf{J}}_p$。我们使用由$\mathcal{L}_{prior}$和$\mathcal{L}_{mse}(\hat{\mathbf{J}}_p)$组成的组合损失$\mathcal{L}_{pc}$训练网络，公式如下
$$ \mathcal{L}_{m s e}(\hat{\mathbf{J}}_{p})=\sum_{t}\parallel\hat{\mathbf{J}}_{p}(t)-\widetilde{\mathbf{J}}^{G T}(t)\parallel_{2}^{2}, $$
$$ \mathcal{L}_{p c}=\sum_{t}F_{v}(t)\log(\frac{F_{v}(t)}{F_{p}(t)}), $$
$$ \mathcal{L}_{p r i o r}=\lambda_{1}\mathcal{L}_{m s e}(\hat{\mathbf{J}}_{p})+\lambda_{2}\mathcal{L}_{P C}, $$
其中$\lambda_{1}$和$\lambda_{2}$是超参数，我们在实验中设置$\lambda_{1}=1$和$\lambda_{2}=10^{3}$。推理阶段不需要VAD过程。
#### 3.3. 连续姿态优化器
我们已经从基于点的人体追踪器中获得了人体姿态的关节位置。考虑到人体运动在时间序列上具有连贯性，且人体不同关节执行动作时通常存在相对动态约束，我们提出了连续姿态优化器（Consecutive Pose Optimizer, CPO）（图3），利用时间和空间维度的连续关节几何特征与关系特征对人体骨架进行优化，可进一步降低不完整和带噪声点云的影响。具体来说，我们将点特征$F_p(t) \in \mathbb{R}^k$和预测关节位置$\hat{\mathbf{J}}_p(t)$拼接后，作为初始关节特征输入。为捕捉运动
Figure 3. The detailed feature interaction mechanism in CPO. The same network architecture is applied in both consecutive pose optimizer and multi-head solver (pose and shape) except the decoder. Here we take the consecutive pose optimizer as the reference.
序列中的一致性，我们通过线性变换在每一帧生成$Q(t)$、$K(t)$和$V(t)$，并进行时间交互学习得到每个关节的运动一致性特征$F_t(t) \in \mathbb{R}^{k_2}$，其中$k_2 = 256$。这种时间交互过程可指导我们估计更合理的连续人体运动，尤其是在存在遮挡的场景中。随后，我们利用关节间的动态约束和几何约束，通过空间特征交互进一步增强关节特征。输入$F_j(n_j \in N_J) \in \mathbb{R}^{k+k_2+3}$由点特征$F_p(t) \in \mathbb{R}^k$、时间交互特征$F_t(t) \in \mathbb{R}^{k_2}$和各关节特征$\mathbf{J}_p(n_j \in N_J) \in \mathbf{J}_p(t)$组成。我们对每个关节通过线性映射生成$Q(n_j)$、$K(n_j)$和$V(n_j)$，并进行空间关节间交互得到增强特征$F_{ts}(t) \in \mathbb{R}^{k_3}$，其中$k_3 = 512$。特征交互矩阵可以表示为：
$$ \mathcal{F}_{i n t e r a c t i o n}=\operatorname{s o f t m a x}\left(\frac{Q K^{T}}{\sqrt{d_{k}}}\right)V. $$
最后，我们从增强特征回归得到优化后的关节位置$\hat{\mathbf{J}}_{refine}(t)$，损失函数为
$$ \mathcal{L}_{m s e}(\hat{\mathbf{J}}_{r e f i n e})=\sum_{t}\parallel\hat{\mathbf{J}}_{r e f i n e}(t)-\widetilde{\mathbf{J}}^{G T}(t)\parallel_{2}^{2}. $$
---
#### 3.4 多头SMPL求解器
在最后一个阶段，我们提出了一种基于注意力机制的多头求解器，从优化后的关节位置和输入点云回归得到SMPL [^32]参数 $\hat{\theta}(t)$、$\hat{\beta}$、$\hat{T}r(t)$。由于姿态和形状反映了人体的局部几何特征，二者可以由上一阶段得到的根关节相对关节特征确定。我们采用与CPO相同的网络结构作为姿态求解器和形状求解器，以得到 $\hat{\theta}(t)$ 和 $\hat{\beta}$。而全局平移只能通过根关节相对的局部几何特征得到。现有方法 [^30] [^42] 通常将人体点云的平均位置作为全局位置，或者直接回归全局平移。但由于遮挡和噪声的干扰，这些方法在连续帧中的预测结果并不稳定。相比之下，我们将预测全局平移的任务简化为预测点云平均位置与真实三维位置之间的偏差。因此，我们提出了一种基于交叉注意力架构的骨架感知平移求解器，该求解器智能整合了骨架信息与原始点云数据，以得到更准确的平移估计。我们将点云 $\mathbf{P}(t)$ 和优化后的根关节相对关节位置 $\hat{\mathbf{J}}_{refine}(t)$ 作为输入，利用交叉注意力匹配关节几何信息与点云。我们从优化后的关节位置生成 $Q(t)$，从点云生成 $K(t)$、$V(t)$。特征交互矩阵可以表示为式 5。解码器输出偏差，将该偏差加到原始点云的平均位置 $\mathrm{loc}(t)$ 上即可得到全局平移 $\hat{T}r(t)$。最后，我们使用SMPL模型生成人体骨架关节位置和网格顶点位置，如下所示。
$$ \begin{array}{r}{\hat{\mathbf{J}}_{s m p l}(t),\hat{\mathbf{V}}_{s m p l}(t)=\mathrm{S M P L}(\hat{\theta}(t),\hat{\beta},\hat{T r}(t)).}\end{array} $$
多头求解器的损失函数形式如下：
$$ \begin{aligned}\mathcal{L}_{solver}=&\lambda_{3}\mathcal{L}_{mse}(\hat{\mathbf{J}}_{smpl})+\lambda_{4}\mathcal{L}_{mse}(\hat{\mathbf{V}}_{smpl})\\+&\lambda_{5}\mathcal{L}_{mse}(\hat{\boldsymbol{\theta}}(t))+\lambda_{6}\mathcal{L}_{mse}(\hat{\boldsymbol{\beta}})\\+&\lambda_{7}\mathcal{L}_{mse}(\hat{T}\boldsymbol{r}(t))+\lambda_{8}\mathcal{L}_{SUCD},\end{aligned} $$
其中 $\lambda_{3}$、$\lambda_{4}$、$\lambda_{5}$、$\lambda_{6}$、$\lambda_{7}$ 是超参数，满足 $\lambda_{3}=\frac{100}{N_{i}}$、$\lambda_{4}=\frac{100}{N_{v}}$、$\lambda_{5}=\frac{1}{5}$、$\lambda_{6}=1$、$\lambda_{7}=1$ 以及 $\lambda_{8}=10^{3}$。
由于原始点云包含真实的姿态、形状和全局平移信息，因此它可以作为额外监督信号，而这一点被现有方法所忽略。具体来说，我们通过计算从原始点云到预测网格顶点的单向Chamfer距离，提出了一种新颖的场景级单向Chamfer距离（SUCD）损失。它对所有预测的SMPL参数提供了全面评估，可表示为
$$ \mathcal{L}_{S U C D}=\sum_{t}\frac{1}{|\mathbf{P}(t)|}\sum_{x\in\mathbf{P}(t)}\min_{y\in\hat{\mathbf{V}}_{s m p l}(t)}|x-y|_{2}^{2}, $$
### 4. FreeMotion数据集
现有与激光雷达相关的人体运动数据集通常仅包含单个执行者完成常见动作，且SMPL参数不完整，在评估HPS方法应用于日常复杂场景时的泛化能力和鲁棒性方面存在局限性。为了推动大规模自由环境下高质量人体动作捕捉的研究，我们提供了FreeMotion，这是首个具备多视图、多模态视觉数据和完整SMPL标注的运动数据集，在包含自然遮挡和噪声的多种真实场景中完成采集。它包含578,775帧数据与标注，每个场景中有1 ~ 7名执行者。
Figure 4. The capture systems of FreeMotion. In (a), we use a dense-camera capture system with LiDARs for accurate pose and shape capture. In (b), we set LiDARs and cameras at three views to capture human motions.
#### 4.1. 数据采集
鉴于室内多相机全景工作室能够提供高精度的完整SMPL参数标注，而户外场景规模大，更适用于实际应用，因此我们搭建了如图4所示的两套采集系统。第一套系统中，我们搭建了76-Z-CAM系统来获取SMPL真值，并在不同距离布置三台OUSTER-1激光雷达来获取LiDAR数据。值得注意的是，我们安排其他表演者在工作室外部，模拟真实场景中的遮挡情况。第二套系统中，我们在不同位置搭建了三套激光雷达-相机采集装置，每套包含一台128线OUSTER-1激光雷达和一台佳能单目相机，用来采集多视角、多距离的视觉数据，并提供全局平移真值。表演者配备全套Notiom设备（17个IMU）来获取姿态真值，特别地，户外表演者的形状参数会提前在全景工作室中完成采集。激光雷达、Z-CAM、佳能相机和IMU的采集频率
---
Table 1. Comparison with public human motion datasets from four different aspects. “Capture distance” means the maximum distance between performer and capture device, which is approximately calculated with the data published. “Multi-person” indicates the capture scenes involve multiple persons. “HOI” denotes the human-object interaction scenarios.
| Dataset | Statistics | Scenarios | Data | SMPL annotation |
| Frame | Capture distance(m) | Multi-person | In the wild | HOI | Point cloud | IMU | Image | Multi-view | Pose | Shape | Translation |
| AMASS [^35] | 16M | 3.42 | ✗ | ✗ | ✗ | ✗ | ✗ | ✓ | ✓ | ✓ | ✓ | ✓ |
| HuMMan [^6] | 60M | 3.00 | ✗ | ✗ | ✗ | ✓ | ✗ | ✓ | ✓ | ✓ | ✓ | ✓ |
| SURREAL [^48] | 6M | N/A | ✓ | ✗ | ✗ | ✗ | ✗ | ✓ | ✗ | ✓ | ✓ | ✓ |
| AIST++ [^31] | 10M | 4.23 | ✗ | ✗ | ✗ | ✗ | ✗ | ✓ | ✓ | ✓ | ✗ | ✓ |
| 3DPW [^52] | 51k | N/A | ✓ | ✓ | ✓ | ✗ | ✓ | ✓ | ✗ | ✓ | ✓ | ✓ |
| LiDARHuman26M [^30] | 184k | 28.05 | ✗ | ✓ | ✗ | ✓ | ✓ | ✓ | ✗ | ✓ | ✗ | ✗ |
| LIPD [^42] | 62k | 30.04 | ✗ | ✓ | ✗ | ✓ | ✓ | ✓ | ✗ | ✓ | ✗ | ✗ |
| MOVIN [^20] | 161k | N/A | ✗ | ✗ | ✗ | ✓ | ✗ | ✓ | ✓ | ✓ | ✗ | ✓ |
| Slope4D [^11] | 100k | N/A | ✗ | ✓ | ✗ | ✓ | ✓ | ✓ | ✗ | ✓ | ✓ | ✓ |
| CIMI4D [^59] | 180k | 16.61 | ✗ | ✓ | ✗ | ✓ | ✓ | ✓ | ✗ | ✓ | ✓ | ✓ |
| FreeMotion | 578k | 39.85 | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ |
分别设置为10Hz、25Hz、60Hz和60Hz。所有数据都经过校准和同步处理。
#### 4.2. 数据集特性
与现有公开数据集的详细对比见表1。FreeMotion具有多个鲜明特点，我们在此总结三个主要亮点如下。
自由采集场景。与以往聚焦单人HPS的数据集不同，FreeMotion采集于真实无约束环境，涵盖多样的采集规模、多人活动以及人-物交互场景。大尺度人体轨迹、遮挡和噪声都给精准的人体全局姿态与形状估计带来了挑战，从而能够推动HPS技术拓展适用范围，落地真实应用。
多样数据模态与视角。FreeMotion提供多视角多模态采集数据，包括激光雷达点云、RGB图像和IMU测量值，为探索单模态、多模态、单视角、多视角HPS解决方案提供了丰富资源。
完整场景级SMPL标注。现有基于激光雷达的运动数据集通常仅通过密集IMU提供姿态标注，缺少人体形状和全局平移的标注。FreeMotion弥补了这一不足，提供完整的SMPL参数标注，如图4所示。FreeMotion包含20名不同体型的受试者，完成了40类动作，详细信息见附录。丰富场景下准确完整的标注能够为算法提供全面评估，助力众多下游应用。
#### 4.3. 数据扩展
为了给预训练扩充更多样的姿态和形状数据，我们遵循LIP [^42]的方法，基于SURREAL [^48]、AIST++ [^31]以及AMASS [^35]的部分子集（包括ACCAD和BMLMovi）生成合成点云。该合成数据集包含237.8万帧数据和3118种不同体型。需要说明的是
Figure 5. Qualitative comparisons. The point cloud matches the result better, representing more accurate estimation for pose, shape, and translation. Point cloud is far from results of MOVIN.
表1中的统计数据不包含该合成数据，详细流程见附录。
### 5. 实验
在本节中，我们将本文方法与当前SOTA方法在FreeMotion和多个公开数据集上进行定
---
Table 2. Comparison with state-of-the-art methods on various datasets. Lower values represent better performance for all metrics.
| SURREAL [^48] | Slope4D [^11] | FreeMotion |
| J/N Er(P)Lj | J/N Er(PS)Lj | J/V Er(PS)Lj | Ang ErrL | SUCDL | J/V Err(P)Lj | J/V Err(PS)Lj | J/V Er(PS)Lj | Ang ErrL | SUCDL | J/V Err(P)Lj | J/V Er(PS)Lj | J/V Err(PS)Lj | Ang ErrL | SUCDL |
| LiDARCap [^30] | 42.82/54.05 | 51.05/62.42 | 118.51/123.84 | 9.90 | 3.02 | 67.40/80.08 | 71.99/86.58 | 179.33/185.39 | 15.92 | 4.54 | 87.58/105.97 | 88.98/107.64 | 186.55/196.06 | 16.79 | 5.00 |
| LIP [^42] | 31.72/42.40 | 32.71/43.02 | 45.22/53.18 | 12.17 | 0.95 | 60.11/74.90 | 62.03/77.26 | 94.81/106.34 | 19.95 | 2.27 | 81.13/98.65 | 81.99/99.58 | 129.88/141.77 | 18.76 | 4.24 |
| MOVIN [^20] | 97.34/120.49 | 103.37/125.64 | - | 26.98 | - | 123.80/146.25 | 126.19/148.69 | 45559.25/45564.41 | 32.12 | 3311762.48 | 109.62/128.66 | 113.47/132.25 | 2853.87/2863.89 | 27.34 | 9252.86 |
| LiveHPS | 23.99/30.81 | 24.75/31.81 | 34.45/40.14 | 9.49 | 0.67 | 46.22/56.72 | 48.28/59.02 | 77.73/85.83 | 12.77 | 1.67 | 68.88/83.20 | 69.43/83.90 | 119.27/128.61 | 15.79 | 2.85 |
Table 3. The cross-dataset evaluation on various datasets. We use applicable metrics for each dataset according to its annotations.
| LiDAR Human26M [^30] | LIPD [^42] | CIMI4D [^59] | SemanticKITTI [^3] | HuCenLife [^58] |
| J/V Err(P) $\downarrow$ | Avg Err $\downarrow$ | SUCD $\downarrow$ | J/V Err(P) $\downarrow$ | Avg Err $\downarrow$ | SUCD $\downarrow$ | J/V Err(P) $\downarrow$ | J/V Err(P) $\downarrow$ | Avg Err $\downarrow$ | SUCD $\downarrow$ | SUCD $\downarrow$ | SUCD $\downarrow$ |
| LiDARCap [^30] | 123.09/115.5 | 26.41 | 5.81 | 97.41/119.89 | 18.48 | 4.30 | 205.24/253.58 | 205.51/255.58 | 32.68 | 14.40 | 10.07 | 6.01 |
| LIP [^42] | 103.48/124.18 | 24.14 | 3.93 | 83.38/102.25 | 18.73 | 2.81 | 162.28/205.25 | 166.38/211.10 | 33.03 | 8.47 | 9.93 | 5.06 |
| MOVIN [^20] | 104.89/127.32 | 32.56 | 188906.16 | 101.78/121.67 | 28.82 | 66400.65 | 178.48/214.16 | 182.29/218.07 | 42.41 | 39681.84 | 1647852.73 | 58655.42 |
| LiveHPS | 101.33/121.74 | 23.58 | 2.67 | 78.63/97.45 | 18.36 | 1.98 | 142.00/181.21 | 149.42/190.60 | 32.17 | 4.26 | 7.28 | 3.14 |
Figure 6. Qualitative comparisons in cross-dataset evaluation. SemanticKITTI and HucenLife do not provide SMPL annotations.
从定性和定量层面证明了我们方法的优越性与泛化能力。我们还针对网络的各个模块开展了详细的消融研究，以验证各模块的有效性。我们的评估指标包括：1) J/V 误差(P/PS/PST) $\downarrow$：单位为毫米的平均单关节/顶点位置误差，我们通过姿态/姿态-形状/姿态-形状-平移参数从SMPL模型生成关节/顶点；2) 角度误差 $\downarrow$：单位为度的平均全局关节旋转误差，用于评估局部姿态；3) SUCD $\downarrow$：单位为毫米的场景级单向Chamfer距离。
#### 5.1 实现细节
我们基于PyTorch 1.8.1和CUDA 11.1搭建网络，共训练200轮，批量大小为32，序列长度为32，初始学习率为$10^{-3}$。实验在搭载Intel(R) Xeon(R) E5-2678 CPU和8块NVIDIA RTX3090 GPU的服务器上运行。训练阶段我们使用从原始数据中聚类得到并手动标注的人体点云序列，测试阶段则使用由预训练分割模型处理得到的人体实例序列点云[^53]。数据集划分方面，我们采用FreeMotion、Sloper4D的训练集，以及包含SURREAL、AIST++、ACCAD和BMLMovi训练集的合成数据集用于训练。
#### 5.2 对比实验
我们在FreeMotion和多个公开数据集[^20] [^30] [^42] [^3] [^11] [^30] [^42] [^48] [^58] [^59]上将LiveHPS与其他最先进（SOTA）的激光雷达相关方法进行对比，以证明其在大规模自由环境中捕捉人体全局姿态和形状的优越性，即使在存在严重遮挡和噪声的场景下也表现出色。如表2所示，我们的LiveHPS取得了SOTA性能。J/V误差(P)和角度误差仅与姿态参数估计相关，我们以明显优势超越了LiDAR-Cap [^30]、LIP [^42]和MOVIN [^20]。为保证对比公平，我们仅使用LIP的激光雷达分支。作为首个针对基于激光雷达的HPS任务完整估计SMPL参数的工作，我们构建了一个与现有方法姿态回归头结构相同的形状回归头，以实现与其他方法[^20] [^30] [^42]的公平对比；LiDARCap的平移预测是点云的平均值。图5中的可视化对比进一步凸显了我们方法在全局姿态和形状估计上的优越性，我们得到的结果与真值高度接近。其他方法在存在遮挡和噪声的场景中表现不佳，正如图5中来自Sloper4D [^11]和FreeMotion的挑战性场景所示。MOVIN [^20]基于速度回归估计平移，无法应用于没有真实轨迹的合成数据集SURREAL。正如图5左侧FreeMotion的案例所示，我们的LiveHPS对携带物体这类噪声也表现出优异的鲁棒性。
表3展示了我们的跨数据集评估，通过直接在其他数据集上测试验证LiveHPS的泛化能力。LiDARHuman26M [^30]和LIPD [^42]仅提供姿态参数。CIMI4D [^59]提供了姿态、形状和平移参数，但平移参数的精度不足。
---
Table 4. Ablation studies for our network modules. We also evaluate the internal details of each module.
| Network Module | Consecutive Pose Optimizer | Multi-head SMPL(Pose and Shape) Solver | Skeleton-aware Translation Solver | Ours |
| w/o VAD | w/o CPO | w/o Temporal | w/o Spatial | ST-GCN | GRU | Average | MOVIN | LIP |
| J/V Err(PST) | 129.19/140.42 | 127.44/140.87 | 121.93/155.56 | 120.20/129.51 | 124.37/135.38 | 120.63/130.83 | 177.66/184.57 | 1296.48/1310.95 | 1654/172.36 | 119.27/128.61 |
| Ang Err | 16.95 | 25.20 | 27.58 | 18.09 | 19.40 | 18.34 | - | - | - | 15.79 |
| SUCD | 3.17 | 4.08 | 3.51 | 2.95 | 3.28 | 3.08 | 4.25 | 8569.68 | 3.07 | 2.85 |
Table 5. More results on different lengths of input sequence and different point numbers on humans on FreeMotion dataset.
| Frames | 1 | 4 | 8 | 16 | 32 |
| J/V Err(PST) $\downarrow$ | 142.88/155.58 | 130.73/141.10 | 126.23/135.60 | 123.08/132.14 | 119.27/128.61 |
| Ang Err $\downarrow$ | 19.22 | 17.31 | 16.53 | 16.05 | 15.79 |
| SUCD $\downarrow$ | 5.22 | 3.03 | 3.01 | 3.02 | 2.85 |
| Points | 0 ~ 100 | 100 ~ 200 | 200 ~ 300 | 300 ~ 1000 | > 1000 |
| J/V Err(PST) $\downarrow$ | 156.01/168.42 | 106.03/114.00 | 106.81/113.98 | 103.96/110.37 | 81.01/87.70 |
| Ang Err $\downarrow$ | 16.78 | 16.34 | 15.17 | 13.64 | 12.84 |
| SUCD $\downarrow$ | 4.54 | 2.31 | 2.25 | 2.52 | 2.63 |
如图6第三行所示。SemanticKITTI [^3] 和HuCenLife [^58] 是面向三维感知的大规模数据集，不提供SMPL标注。得益于我们的VAD模块能够协调不同人体点云分布，且CPO模块能够对人体的几何和动态特征建模，我们的方法可以在这些跨域数据集上取得SOTA性能，即便在存在极端遮挡的挑战性场景中也依然如此，如图6所示。
#### 5.3 消融实验
我们首先验证了LiveHPS中各个模块的有效性，随后对每个模块的内部设计开展评估，验证细节结构的有效性。
表4展示了我们的方法搭配不同网络模块时的性能，证明了我们提出的顶点引导自适应蒸馏（VAD）模块和连续姿态优化器（CPO）模块的必要性。我们还展示了CPO中基于注意力的时空特征增强的消融细节，结果表明时序特征与空间特征交互的组合取得了最佳性能。我们也开展实验验证了所提基于注意力的多头SMPL求解器。我们的姿态和形状求解器采用与CPO相同的网络，通过充分利用连续人体关节中存在的全局时序上下文和局部空间关系，性能优于LiDARCap [^30]中的ST-GCN和LIP [^42]中的GRU。对于平移求解器，点云均值能够反映粗略的平移，但会随着点云分布的变化变得非常不稳定。与MOVIN [^20]采用的全局速度估计方法相比，我们的骨骼感知平移求解器直接估计平移，不存在误差累积问题。此外，LIP [^42]中基于GRU的姿态引导校正器忽略了骨骼与点云之间的关系，而我们的方法通过考虑该关系和更多空间信息，取得了更优的性能。
#### 5.4 泛化能力测试
如表5所示，我们评估了LiveHPS在不同长度的输入点云序列、以及每帧人体包含不同点数条件下的泛化能力。我们的方法性能随序列长度增加而提升，且即便在短输入下仍能保持良好的准确率。此外，我们的方法即使在人体仅包含100个点的场景下也保持了相对鲁棒的性能，这种场景对应距离激光雷达约15米的远距离场景或是严重遮挡场景。图1和图7表明，我们的方法适用于开放野生场景，能够在大规模场景中昼夜捕捉人体运动，实时性能可达45fps。这有力证明了我们的方法在实际应用中的可行性和优越性，更多应用结果见附录。
Figure 7. Performance of LiveHPS on real-time-captured scenes.
### 6. 结论
本文提出了一种新颖的基于单激光雷达的方法，用于在大规模开放环境中预测人体姿态、形状和平移。为解决遮挡和噪声干扰问题，我们设计了全新的蒸馏机制和时空特征交互优化器。重要的是，我们构建了一个大规模多人人体运动数据集，对未来开放场景下的HPS研究具有重要意义。在多个不同数据集上开展的大量实验证明了我们方法的鲁棒性和有效性。
局限性：当人体在大尺度场景中长时间保持静止时，我们的模型无法充分利用连续帧中的动态信息，进而导致人体全局方向的误判，最终得到与真实姿态方向相反的错误结果。
---
## 参考文献
[^1]: Sikander Amin, Mykhaylo Andriluka, Marcus Rohrbach, and Bernt Schiele. Multi-view pictorial structures for 3D human pose estimation. In BMVC, 2009. 2
[^2]: Andreas Baak, Meinard Müller, Gaurav Bharaj, Hans-Peter Seidel, and Christian Theobalt. A data-driven approach for real-time full body pose reconstruction from a depth camera. In ICCV, 2011. 2
[^3]: Jens Behley, Martin Garbade, Andres Milioto, Jan Quenzel, Sven Behnke, Cyrill Stachniss, and Jurgen Gall. Semantickitti: A dataset for semantic scene understanding of lidar sequences. In Proceedings of the IEEE/CVF international conference on computer vision, pages 9297–9307, 2019. 7, 8
[^4]: Federica Bogo, Angjoo Kanazawa, Christoph Lassner, Peter Gehler, Javier Romero, and Michael J Black. Keep it smpl: Automatic estimation of 3d human pose and shape from a single image. In Computer Vision–ECCV 2016: 14th European Conference, Amsterdam, The Netherlands, October 11-14, 2016, Proceedings, Part V 14, pages 561–578. Springer, 2016. 2
[^5]: Magnus Burenius, Josephine Sullivan, and Stefan Carlsson. 3D pictorial structures for multiple view articulated pose estimation. In CVPR, 2013. 2
[^6]: Zhongang Cai, Daxuan Ren, Ailing Zeng, Zhengyu Lin, Tao Yu, Wenjia Wang, Xiangyu Fan, Yang Gao, Yifan Yu, Liang Pan, et al. Human: Multi-modal 4d human dataset for versatile sensing and modeling. In European Conference on Computer Vision, pages 557–577. Springer, 2022. 3, 6
[^7]: Zhongang Cai, Liang Pan, Chen Wei, Wanqi Yin, Fangzhou Hong, Mingyuan Zhang, Chen Change Loy, Lei Yang, and Ziwei Liu. Pointhps: Cascaded 3d human pose and shape estimation from point clouds. arXiv preprint arXiv:2308.14492, 2023. 2
[^8]: Peishan Cong, Xinge Zhu, Feng Qiao, Yiming Ren, Xidong Peng, Yuenan Hou, Lan Xu, Ruigang Yang, Dinesh Manocha, and Yuexin Ma. Stcrowd: A multimodal dataset for pedestrian perception in crowded scenes. In CVPR, pages 19608–19617, 2022. 2
[^9]: Peishan Cong, Xinge Zhu, Feng Qiao, Yiming Ren, Xidong Peng, Yuenan Hou, Lan Xu, Ruigang Yang, Dinesh Manocha, and Yuexin Ma. Stcrowd: A multimodal dataset for pedestrian perception in crowded scenes. arXiv preprint arXiv:2204.01026, 2022. 1
[^10]: Yudi Dai, Yitai Lin, Chenglu Wen, Siqi Shen, Lan Xu, Jingyi Yu, Yuexin Ma, and Cheng Wang. Hsc4d: Human-centered 4d scene capture in large-scale indoor-outdoor space using wearable imus and lidar. In CVPR, pages 6792–6802, 2022. 3
[^11]: Yudi Dai, Yitai Lin, Xiping Lin, Chenglu Wen, Lan Xu, Hongwei Yi, Siqi Shen, Yuexin Ma, and Cheng Wang. Sloper4d: A scene-aware dataset for global 4d human pose estimation in urban environments. arXiv preprint arXiv:2303.09095, 2023. 3, 6, 7
[^12]: Ahmed Elhayek, Edilson de Aguiar, Arjun Jain, Jonathan Tompson, Leonid Pishchulin, Mykhaylo Andriluka, Chris Bregler, Bernt Schiele, and Christian Theobalt. Efficient
基于ConvNet、少相机配置通用场景下的无标记运动捕捉。发表于CVPR，2015年。 2
[^13]: Kaiwen Guo, Jonathan Taylor, Sean Fanello, Andrea Tagliasacchi, Mingsong Dou, Philip Davidson, Adarsh Kowdle, and Shahram Izadi. Twinfusion: High framerate nonrigid fusion through fast correspondence tracking. In 3DV, pages 596–605, 2018. 2
[^14]: Marc Habermann, Weipeng Xu, Michael Zollhöfer, Gerard Pons-Moll, and Christian Theobalt. Livecap: Real-time human performance capture from monocular video. ACM Transactions on Graphics (TOG), 38(2):14:1–14:17, 2019.
[^15]: Marc Habermann, Weipeng Xu, Michael Zollhofer, Gerard Pons-Moll, and Christian Theobalt. Deepcap: Monocular human performance capture using weak supervision. In CVPR, 2020. 1
[^16]: Yannan He, Anqi Pang, Xin Chen, Han Liang, Minye Wu, Yuexin Ma, and Lan Xu. Challenges: Monocular 3d capture of challenging human performances using multi-modal references. In CVPR, pages 11400–11411, 2021. 1,2
[^17]: Y. Huang, F. Bogo, C. Lassner, A. Kanazawa, P. V. Gehler, J. Romero, I. Akhter, and M. J. Black. Towards accurate marker-less human shape and pose estimation over time. In 3DV, pages 421–430, 2017. 2
[^18]: Yinghao Huang, Manuel Kaufmann, Emre Aksan, Michael J Black, Otmar Hilliges, and Gerard Pons-Moll. Deep inertial poser: Learning to reconstruct human pose from sparse inertial measurements in real time. ACM Transactions on Graphics (TOG), 37(6):1–15, 2018. 2
[^19]: Catalin Ionescu, Dragos Papava, Vlad Olaru, and Cristian Sminchisescu. Human3.6m: Large scale datasets and predictive methods for 3d human sensing in natural environments. TPAMI, 36(7):1325–1339, 2013. 3
[^20]: Deok-Kyeong Jang, Dongseok Yang, Deok-Yun Jang, Byeoli Choi, Taeil Jin, and Sung-Hee Lee. Movin: Real-time motion capture using a single lidar. arXiv preprint arXiv:2309.09314, 2023. 2, 3, 6, 7, 8
[^21]: Hanbyul Joo, Hao Liu, Lei Tan, Lin Gui, Bart Nabbe, Iain Matthews, Takeo Kanade, Shohei Nobuhara, and Yaser Sheikh. Panoptic studio: A massively multiview system for social motion capture. In ICCV, 2015. 2
[^22]: Angjoo Kanazawa, Michael J. Black, David W. Jacobs, and Jitendra Malik. End-to-end recovery of human shape and pose. In CVPR, 2018. 2
[^23]: Angjoo Kanazawa, Jason Y. Zhang, Panna Felsen, and Jitendra Malik. Learning 3d human dynamics from video. In CVPR, 2019. 2
[^24]: Wonhui Kim, Manikandasriram Srinivasan Ramanagopal, Charles Barto, Ming-Yuan Yu, Karl Rosaen, Nick Goumas, Ram Vasudevan, and Matthew Johnson-Roberson. Pedx: Benchmark dataset for metric 3-d pose estimation of pedestrians in complex urban intersections. IRAL, 4(2):1940–1947, 2019. 3
[^25]: Muhammed Kocabas, Nikos Athanasiou, and Michael J. Black. Vibe: Video inference for human body pose and shape estimation. In CVPR, 2020. 2
## [^26]: Muhammed Kocabas, Chun-Hao P. Huang, Otmar Hilliges, and Michael J. Black. Pare: Part attention regressor for
---
3d人体估计。发表于ICCV，页码11127–11137，2021年。 1, 2
[^27]: Nikos Kolotouros, Georgios Pavlakos, and Kostas Danilidis. Convolutional mesh regression for single-image human shape reconstruction. In CVPR, 2019. 2
[^28]: Nikos Kolotouros, Georgios Pavlakos, Dinesh Jayaraman, and Kostas Daniilidis. Probabilistic modeling for human mesh recovery. In ICCV, pages 11605–11614, 2021. 1
[^29]: Christoph Lassner, Javier Romero, Martin Kiefel, Federica Bogo, Michael J Black, and Peter V Gehler. Unite the people: Closing the loop between 3d and 2d human representations. In CVPR, pages 6050–6059, 2017. 2
[^30]: Jialian Li, Jingyi Zhang, Zhiyong Wang, Siqi Shen, Chenglu Wen, Yuexin Ma, Lan Xu, Jingyi Yu, and Cheng Wang. Lidarcap: Long-range marker-less 3d human motion capture with lidar point clouds. arXiv preprint arXiv:2203.14698, 2022. 2, 3, 5, 6, 7, 8
[^31]: Ruilong Li, Shan Yang, David A. Ross, and Angjoo Kanazawa. Ai choreographer: Music conditioned 3d dance generation with aist++, 2021. 3, 6
[^32]: Matthew Loper, Naureen Mahmood, Javier Romero, Gerard Pons-Moll, and Michael J. Black. Smpl: A skinned multiperson linear model. ACM Trans. Graph., 34(6):248:1–248:16, 2015. 1, 5
[^33]: Yuhang Lu, Qi Jiang, Runnan Chen, Yuenan Hou, Xinge Zhu, and Yuexin Ma. See more and know more: Zero-shot point cloud segmentation via multi-modal visual data. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), pages 21674–21684, 2023. 1
[^34]: Zhengyi Luo, Ryo Hachiuma, Ye Yuan, and Kris Kitani. Dynamics-regulated kinematic policy for egocentric pose estimation. Advances in Neural Information Processing Systems, 34, 2021. 2
[^35]: Naureen Mahmood, Nima Ghorbani, Nikolaus F. Troje, Gerard Pons-Moll, and Michael J. Black. Amass: Archive of motion capture as surface shapes. In ICCV, 2019. 3, 6
[^36]: Dushyant Mehta, Helge Rhodin, Dan Casas, Pascal Fua, Oleksandr Sotnychenko, Weipeng Xu, and Christian Theobalt. Monocular 3d human pose estimation in the wild using improved cnn supervision. In 3DV, pages 506–516. IEEE, 2017. 3
[^37]: Noitom. Noitom Motion Capture Systems. , 2015.1
[^38]: OptiTrack. OptiTrack Motion Capture Systems. , 2009. 2
[^39]: Georgios Pavlakos, Xiaowei Zhou, Konstantinos G Derpanis, and Kostas Daniilidis. Harvesting multiple views for marker-less 3d human pose annotations. In CVPR, 2017. 2
[^40]: Xidong Peng, Xinge Zhu, and Yuexin Ma. Cl3d: Unsupervised domain adaptation for cross-lidar 3d detection. AAAI, 2023. 2
[^41]: Davis Rempe, Tolga Birdal, Aaron Hertzmann, Jimei Yang, Srinath Sridhar, and Leonidas J. Guibas. Humor: 3d human motion model for robust pose estimation. In ICCV, pages 11488–11499, 2021. 1
[^42]: Yiming Ren, Chengfeng Zhao, Yannan He, Peishan Cong, Han Liang, Jingyi Yu, Lan Xu, and Yuexin Ma. Lidar-aid
Inertial Poser：基于稀疏惯性传感器与激光雷达的大规模人体运动捕捉。发表于TVCG，2023年。 2, 3, 5, 6, 7, 8
[^43]: Helge Rhodin, Nadia Robertini, Christian Richardt, Hans-Peter Seidel, and Christian Theobalt. A versatile scene model with differentiable visibility applied to generative pose estimation. In ICCV, 2015. 2
[^44]: Nadia Robertini, Dan Casas, Helge Rhodin, Hans-Peter Seidel, and Christian Theobalt. Model-based outdoor performance capture. In 3DV, 2016. 2
[^45]: Jamie Shotton, Andrew Fitzgibbon, Mat Cook, Toby Sharp, Mark Finocchio, Richard Moore, Alex Kipman, and Andrew Blake. Real-time human pose recognition in parts from single depth images. In CVPR, 2011. 2
[^46]: Leonid Sigal, Alexandru O. Bălan, and Michael J. Black. HumanEva: Synchronized video and motion capture dataset and baseline algorithm for evaluation of articulated human motion. IJCV, 2010. 3
[^47]: Tomas Simon, Hanbyul Joo, Iain Matthews, and Yaser Sheikh. Hand keypoint detection in single images using multiview bootstrapping. In CVPR, 2017. 2
[^48]: Gul Varol, Javier Romero, Xavier Martin, Naureen Mahmood, Michael J Black, Ivan Laptev, and Cordelia Schmid. Learning from synthetic humans. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 109–117, 2017. 6, 7
[^49]: Vicon. Vicon Motion Capture Systems. , 2010. 2
[^50]: Daniel Vlasic, Rolf Adelsberger, Giovanni Vannucci, John Barnwell, Markus Gross, Wojciech Matusik, and Jovan Popović. Practical motion capture in everyday surroundings. TOG, 26(3):35–es, 2007. 2
[^51]: Timo Von Marcard, Bodo Rosenhahn, Michael J Black, and Gerard Pons-Moll. Sparse inertial poser: Automatic 3d human pose estimation from sparse imus. In Computer Graphics Forum, pages 349–360. Wiley Online Library, 2017. 2
[^52]: Timo Von Marcard, Roberto Henschel, Michael J Black, Bodo Rosenhahn, and Gerard Pons-Moll. Recovering accurate 3d human pose in the wild using imus and a moving camera. In ECCV, pages 601–617, 2018. 3, 6
[^53]: Thang Vu, Kookhoi Kim, Tung M Luu, Thanh Nguyen, and Chang D Yoo. Softgroup for 3d instance segmentation on point clouds. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 2708–2717, 2022. 7
[^54]: Xiaolin Wei, Peizhao Zhang, and Jinxiang Chai. Accurate realtime full-body motion capture using a single depth camera. SIGGRAPH Asia, 31(6):188:1–12, 2012. 2
[^55]: XSENS. Xsens Technologies B.V. , 2011. 1, 2
[^56]: Lan Xu, Weipeng Xu, Vladislav Golyanik, Marc Habermann, Lu Fang, and Christian Theobalt. Eventcap: Monocular 3d capture of high-speed human motions using an event camera. In CVPR, 2020. 2
## [^57]: Weipeng Xu, Avishek Chatterjee, Michael Zollhöfer, Helge Rhodin, Dushyant Mehta, Hans-Peter Seidel, and Christian Theobalt. Monoperfcap: Human performance capture from monocular video. ACM Transactions on Graphics (TOG), 37(2):27:1–27:15, 2018. 2
---
[^58]: Yiteng Xu, Peishan Cong, Yichen Yao, Runnan Chen, Yuen-nan Hou, Xinge Zhu, Xuming He, Jingyi Yu, and Yuexin Ma. Human-centric scene understanding for 3d large-scale scenarios. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 20349–20359, 2023. 7, 8
[^59]: Ming Yan, Xin Wang, Yudi Dai, Siqi Shen, Chenglu Wen, Lan Xu, Yuexin Ma, and Cheng Wang. Cimi4d: A large multimodal climbing motion dataset under human-scene interactions. arXiv preprint arXiv:2303.17948, 2023. 3, 6, 7
[^60]: Xinyu Yi, Yuxiao Zhou, and Feng Xu. Transpose: Real-time 3d human translation and pose estimation with six inertial sensors. ACM Transactions on Graphics (TOG), 40(4):1–13, 2021. 1, 2
[^61]: Xinyu Yi, Yuxiao Zhou, Marc Habermann, Soshi Shimada, Vladislav Golyanik, Christian Theobalt, and Feng Xu. Physical inertial poser (pip): Physics-aware real-time human motion tracking from sparse inertial sensors. In CVPR, 2022. 1, 2
[^62]: Tianwei Yin, Xingyi Zhou, and Philipp Krähenbühl. Center-based 3d object detection and tracking. CVPR, 2021. 2
[^63]: Tao Yu, Zerong Zheng, Kaiwen Guo, Jianhui Zhao, Qionghai Dai, Hao Li, Gerard Pons-Moll, and Yebin Liu. Doublefusion: Real-time capture of human performances with innerbody shapes from a single depth sensor. TPAMI, 2019. 2
[^64]: Andrei Zanfir, Eduard Gabriel Bazavan, Mihai Zanfir, William T Freeman, Rahul Sukthankar, and Cristian Sminchisescu. Neural descent for visual 3d human pose and shape. arXiv preprint arXiv:2008.06910, 2020. 2
[^65]: Xinge Zhu, Yuexin Ma, Tai Wang, Yan Xu, Jianping Shi, and Dahua Lin. Ssn: Shape signature networks for multi-class object detection from point clouds. In ECCV, pages 581–597. Springer, 2020. 1, 2
[^66]: Xinge Zhu, Hui Zhou, Tai Wang, Fangzhou Hong, Wei Li, Yuexin Ma, Hongsheng Li, Ruigang Yang, and Dahua Lin. Cylindrical and asymmetrical 3d convolution networks for lidar-based perception. TPAMI, 2021. 1, 2