# 远距离户外场景下基于单目激光雷达的邻域增强三维人体姿态估计张靖宜 $^{1,2}$, 毛祺泓 $^{1,2}$, 胡国生 $^{3}$, 沈思奇 $^{1,2}$, 王成 $^{1,2*}$ $^{1}$中国厦门大学福建省智慧城市传感与计算重点实验室 $^{2}$中国厦门大学信息学院，教育部多媒体可信感知与高效计算重点实验室 {zhangjingyi1, maoqihong}@stu.xmu.edu.cn; {siqishen, cwang}@xmu.edu.cn; ## 摘要利用商用激光雷达在大规模户外场景中开展三维人体姿态估计（3HPE）研究，因其在实际生活应用中的巨大潜力受到了广泛关注。然而，现有基于激光雷达的3HPE方法主要依赖从单个点云恢复三维人体姿态，并未充分利用邻域中存在的一致性线索。本文探索了邻域中包含的空间与上下文一致性线索，该线索可显著提升3HPE的性能。具体而言，首先，我们深入研究了背景中的三维邻域（3BN），它为推断可靠运动提供空间一致性线索，可通过物理规律约束运动目标。其次，我们引入了一种在数据采集过程中生成的新型三维扫描邻域（3SN），3SN蕴含结构边缘一致性线索。我们利用3SN解决激光雷达点云稀疏性变化特性导致的性能退化与数据质量问题。为了有效对不同线索之间的互补性建模，并建立人体运动间一致的时间关系，我们提出了一种新型基于Transformer的模块，称为CoherenceFuse模块。我们在多个公开数据集（LidarHuman26M、CIMI4D、SLOPER4D和Waymo Open Dataset v2.0）上开展了大量实验，实验结果证明了本文所提方法的优越性与有效性。具体而言，在LidarHuman26M数据集上与LidarCap方法相比，我们的方法平均MPJPE指标降低了7.08毫米，距离超过25米场景下的MPJPE指标降低了16.55毫米。代码与模型已发布在。 ## 引言非约束环境下的三维人体姿态估计（3HPE）是一个发展迅速的领域，涌现出了诸多极具前景的研究工作（Kim 等，2022；Joo, Neverova, 和 Vedaldi，2020；Zhang 等，2021；Jin 等，2020；Wang 等，2022；Zhan 等，2022）。然而，在远距离户外场景中实现精准的3HPE仍然充满挑战，该方向在动作识别、运动分析、AR/VR、自动驾驶等领域拥有多样且影响深远的应用。 ![Image](images/db6f4515252095234b0076b9425419610cf699a0b158a11bc3ad3e8db588cf14.jpg)

Figure 1: The visualization of 3SN and 3BN. Our method treats 3SN sequence, 3BN sequence, and human sequence as input to predict 3D human motions.

为了有效解决远距离3HPE问题，不同研究模态都存在需要特定方案解决的独特挑战。部分研究者（Xu et al. 2021, 2020b; Wan et al. 2021）聚焦于从因光照不佳、相机与受试者距离较远等因素导致的退化低分辨率图像中恢复三维人体运动。另一部分研究者（Zhang et al. 2022b; Sun et al. 2020; Li et al. 2020; Zhang et al. 2022a）则专注于缓解不适定问题对从RGB图像进行全局位置预测的影响，因为相机无法提供准确的深度信息。基于RGBD的方法同样不适用于远距离3HPE，原因是其有效作用范围有限（小于5 m）。与之相对，惯性测量单元（Inertial Measurement Units, IMU）这类可穿戴人体传感器具有不受环境影响的特性，基于IMU的方法（Yi et al. 2022; Yi, Zhou, and Xu 2021b; Marcard et al. 2017; Huang et al. 2018b）致力于通过减少可穿戴设备的数量来实现便捷的3HPE。HSC4D（Dai et al. 2022）利用LiDAR传感器获取深度信息，校正IMU在远距离户外场景工作时产生的累积全局漂移伪影。尽管上述各类传感器都取得了一定成果，但得益于LiDAR本身对光照条件不敏感、可获取精准深度信息、探测距离远的优势，基于LiDAR的方法成为大距离、大空间日常场景下开展动作捕捉的首选方案。近年来，研究者开始探索将LiDAR传感器应用于人体动作捕捉领域。LidarCap（Li et al. 2022a）仅依靠单个人体点云，就在30米范围内的三维人体动作捕捉任务中取得了出色成果。 --- 该数据来自单目LiDAR传感器，展现了该方案出色的应用潜力。多模态融合方法（Ren et al. 2022; Fürst et al. 2020; Kim et al. 2019）通过将LiDAR数据与其他模态的数据结合，提升了算法的鲁棒性与准确率。但以往方法都忽略了一个事实：LiDAR传感器采集的数据不仅包含人体，也包含环境信息。我们假设，与人类行为相关的环境信息是解决由稀疏性导致的动作捕捉结果不稳定问题的关键因素。SLOPER4D（Dai et al. 2023）和CIMI4D（Yan et al. 2023）在后优化阶段加入了环境信息，将环境信息作为物理约束来优化动作捕捉系统采集的初始人体姿态。但额外加入物理约束项会导致计算时间大幅增加，因此这类方法不适用于实时应用场景。为实现高效准确的基于LiDAR的3HPE，本文利用邻域内与人类行为相关的空间和上下文一致性线索，提升基于LiDAR的3HPE方法的性能。具体来说，我们引入了两种邻域内的一致性线索。首先，背景三维邻域（3D neighbor in the background, 3BN）从周边场景中提取，保留了真实世界的准确分布。3BN中蕴含的空间一致性线索对3HPE十分重要，这类线索很难从图像或IMU数据中获取。它为运动目标提供了物理规律和空间优先级。因此，当人体运动估计结果不可靠时，可从3BN包含的空间一致性线索中推导出目标姿态。其次，三维扫描邻域（3D scanning neighbor, 3SN）是基于激光雷达点云的特征定义的。由于激光束会散射形成一定大小，照射在人体边缘的部分光束会继续传播，直到击中更远的物体（Robosense 2023）。因此，3SN提供了与人体结构到背景过渡相关的上下文一致性线索。利用这一额外信息，我们的方法可以解决大捕获距离下激光雷达点云退化导致的运动捕获不稳定问题。引入3SN的最初目标是缓解远距离区域的点云退化问题。我们观察到，当近距离场景下人体点云密度较高时，将3SN投影到平面上更具优势。这一观察让我们推测，3SN不仅封装了结构边缘一致性线索，还包含了关键的人体运动线索。据此，我们设计了一种专门适配3SN的自注意力机制。此外，我们认识到3BN中的空间一致性线索、3SN中的丰富一致性线索以及人体点中的运动线索之间存在潜在协同效应，因此引入了交叉注意力结构来和谐融合这些不同的线索。整个基于transformer的模块被命名为“CoherenceFuse”模块。综上，通过将3SN与3BN结合，我们的方法为远距离户外场景下的人体行为理解与预测提供了一种更全面、更可靠的方案。尽管我们的方法十分简洁，但它无需额外模态数据或物理约束项，在4个公开数据集上的表现均优于现有最优（SOTA）的基于学习和基于优化的方法。具体而言，在LidarHuman26M数据集（Li et al. 2022a）上，与基线方法LidarCap（Li et al. 2022a）相比，我们的方法将平均关节位置误差（mean per joint position error, MPJPE）指标降低了7.08mm，将正确关键点百分比（Percentage of Correct Keypoints, PCK30）指标提升了1.94%。对于远距离目标（>25m），我们的方法取得了更显著的提升：MPJPE指标降低约16.55mm，PCK30指标提升5.64%。这些结果证明，即使在具有挑战性的环境中，我们的方法也能有效利用邻域包含的一致性线索，准确预测和捕获人体运动。总结而言，本文的主要贡献如下： • 我们深入研究了背景三维邻域（3D neighbor in the background, 3BN），该方法可有效利用空间一致性线索预测可靠的三维人体运动。此外，我们提出了三维扫描邻域（3D scanning neighbor, 3SN），创新性地利用上下文一致性线索补偿距离增加带来的数据退化问题，即使在长距离场景下也能实现准确的人体运动估计。 • 我们引入了CoherenceFuse模块，用于在人体运动之间构建一致的时序关系，并高效整合3BN、3SN和人体点云包含的信息，使这些不同的线索能够实现互补。 • 我们的方法充分利用邻域包含的空间和结构一致性线索，在近距离和远距离场景下的表现均显著优于基线方法，为基于三维LiDAR的3HPE提供了一种简单有效的实现方案。 ## 相关工作过去十年间，3HPE领域发展迅速。惯性方法（Huang et al. 2018a; Yi, Zhou, and Xu 2021b; Yi et al. 2022）使用惯性测量单元（IMU）恢复人体运动，该类方法具备不受环境干扰的特性。基于图像的方法（Xie, Bhatnagar, and Pons-Moll 2023; Zanfir, Marinoiu, and Sminchisescu 2018; Xu et al. 2018, 2020a; Habermann et al. 2020; Kocabas, Athanasiou, and Black 2020）从图像重建三维人体，这类方法在光照充足、距离适中的条件下应用时更加实用且更具吸引力。基于RGBD的方法（Su et al. 2020, 2021; Bhatnagar et al. 2022）使用RGBD传感器，适用于近距离人体运动捕捉。由于我们的研究目标是单目LiDAR远距离户外场景下的3HPE，本文对与我们方法相关性最高的前人研究进行梳理。 ## 基于LiDAR的3HPE方法随着人们对远距离场景下便捷人体运动捕捉的关注度不断提升，基于LiDAR的运动捕捉方法越来越受到欢迎。LidarCap（Li et al. 2022a）利用单个静态LiDAR传感器在30米范围内采集的人体点云，预测对应人体 --- ![Image](images/9c24eb9973a613d817600fb0eba01444d810f3dbdffcfc5e35b5d61600e9dcf5.jpg)

Figure 2: Overall pipeline. Given input point clouds of the 3BN, the 3SN and an individual human with XYZ coordinates, PointNet++ (Qi et al. 2017) extracts features separately, and then those features are aggregated by a fully connected layer. Multhead self-attention layers and multi-head cross-attention layers are utilized to predict joints' location, where n=8. ST-GCN (Yan, Xiong, and Lin 2018) is utilized to predict joints' rotation. At last, SMPL (Bogo et al. 2016) template corrects the final joints' location.

运动。LIP（Ren et al. 2022）从点云中提取粗略的全局人体姿态，再利用IMU优化局部动态运动。此外，还有许多基于LiDAR-相机融合的传感器方法用于3D HPE。FusionPose（Cong et al. 2022）利用点云的固有几何约束和图像中的二维关键点进行自监督学习。HPERL（Fürst et al. 2020）融合图像与点云特征，获得了更高的精度。Zheng 等人（Zheng et al. 2021）利用从二维图像预测得到的二维关键点热图来增强点云数据。尽管上述方法在远距离三维人体运动捕捉中已经展现出优异性能，但它们仅利用采集到的人体数据，忽略了环境中包含的关联线索；我们认为，当人体数据严重退化时，这类线索是估算人体运动的关键信息。 ## 感知场景的三维人体运动捕捉现有许多算法采用多阶段优化来估算全局人体姿态和人-场景交互。SLOPER4D（Dai et al. 2023）提供了重建得到的场景点云，并结合场景几何与多个基于物理的约束项进行联合优化。CIMI4D（Yan et al. 2023）聚焦于离地动作，通过混合优化流程实现对人-场景交互的详细探索。但这类多阶段优化方法不适用于对时间要求严格的应用场景。Luo 等人（Luo et al. 2022）提出了一种单阶段具身感知场景的3HPE方法，该方法基于模拟智能体的本体感受、场景感知以及外部第三人称观测。PORX（Hassan et al. 2019）构建了互穿约束模型并融合三维场景信息。尽管如此，这类方法需要预先获取指定环境，不适用于大规模场景。 ## 基于Transformer的三维人体运动捕捉目前已有大量研究围绕基于transformer的三维人体运动估计方法展开（Xu 等人，2022；Yi、Zhou 和 Xu，2021a）。LPFformer（Ye 等人，2023）采用多个多头自注意力模块，通过融合点体素特征、点特征和框特征，从激光雷达点云中回归三维人体关节位置。MHFormer（Li 等人，2021）被提出用于缓解存在多个可行解的逆问题，它利用自注意力捕捉不同解特征之间的关联，随后通过交叉注意力聚合多假设特征，预测最终的三维人体姿态。 ## 研究方法我们的任务是利用单目激光雷达估计人体运动。我们方法的输入是序列点云，输出是以关节角、全局关节位置和全局旋转表示的三维人体运动序列。整体流程如图2所示，包含两个模块：(1) CoherenceFuse 模块：基于transformer的特征融合模块，它将三维扫描邻域（3SN）和背景三维邻域（3BN）整合到3HPE网络中，3SN和3BN如图1所示；(2) 运动学模块：神经运动估计器。为了提供更有说服力的证据，证明引入3SN和3BN带来的优势，运动学模块的结构沿用了LidarCap（Li 等人，2022a）的设计，其中包含ST-GCN（Yan、Xiong 和 Lin，2018）和SMPL优化器。 ## 背景三维邻域（3BN）给定t帧$p_{ht} = \{p_{1t}, p_{2t}, ..., p_{nt}\}$中的单个人体激光雷达点云，我们通过$p_{ct}$计算人体的全局位置$p_{ct} = \frac{1}{n} * \sum p_{it}$，其中$i=1$从1到n。环境中所有位于$p_{ct}$两米半径范围内的点都 --- ![Image](images/ac07df77052bb82230913a667e8999fdbef17633ca1f3da896b2fd41a9834333.jpg)

Figure 3: Quantitative results on 3 public datasets. The blue points mean human points. The red points mean 3BN. The green points mean 3SN.

Dataset Method	LidarHuman26M					CIMI4D					SLOPER4D
Metric	MPJPE	PA-	PCK3	PCK5	AE	MPJPE	PA-	PCK3	PCK5	AE	MPJPE	PA-	PCK3	PCK5	AE
LidarCap	79.31	66.72	86.0	95.0	45.2	130.43	97.95	70.22	87.44	31.11	101.89	78.93	78.15	89.77	40.09
HSC2	79.48	68.9	85.33	94.35	29.49	-	-	-	-	-	-	-	-	-	-
P4T	127.77	98.44	72.58	85.64	151.67	146.93	108.94	65.26	83.96	97.13	103.56	79.34	77.42	90.04	66.62
CLIFF	80.55	60.03	86.03	94.64	92.48	-	-	-	-	-	-	-	-	-	-
Ours	72.23	61.67	87.94	95.79	38.28	121.77	93.15	72.81	89.03	25.81	96.80	76.70	79.22	90.51	38.55

Table 1: Comparison results on LidarHuman26M, CIMI4D and SLOPER4D with learning-based method LidarCap, P4T and optimized-based method HSC2.

被定义为3BN（$p_{bt}$）。两米半径参数是根据人体臂展约为1米设定的。因此，$p_{ct}$一米半径范围内的区域为交互区域，该区域包含的空间相干线索可以为3HPE提供物理参考，例如足部和手掌关节的位置。而一米半径外、两米半径内的区域是即将发生人体交互的区域，该区域的空间相干线索可以为3HPE提供交互先验，对运动目标进行约束。 ## 三维扫描邻域（3SN）给定t帧笛卡尔坐标系下表示人体的一组三维点$p_{ht}$，我们可以将每个点$p_{it} = (x_{it}, y_{it}, z_{it})$转换为对应的球坐标$(r_{it}, \theta_{it}, \delta_{it})$，转换方式如下：$r_{it} = \sqrt{x_{it}^{2} + y_{it}^{2} + z_{it}^{2}}$，极角为$\theta_{it} = \arctan \frac{z_{it}}{\sqrt{x_{it}^{2} + y_{it}^{2}}}$，方位角为$\delta_{it} = \arctan \frac{y_{it}}{x_{it}}$。随后，我们按如下方式得到三维扫描邻域球坐标的最小值和最大值： $$ \begin{aligned}\theta_{min}&=\min_{p_{it}\in p_{ht}}(\theta_{it})-1^{\circ},\theta_{max}=\max_{p_{it}\in p_{ht}}(\theta_{it})+1^{\circ};\\\delta_{min}&=\min_{p_{it}\in p_{ht}}(\delta_{it})-1^{\circ},\delta_{max}=\max_{p_{it}\in p_{ht}}(\delta_{it})+1^{\circ};\end{aligned} $$ 最终，我们将3SN点集$p_{st}$定义为环境中满足以下条件的点子集： $$ \min_{p_{it}\in p_{ht}}\left(r_{it}\right)3BN3SNself-attentionCFMPJPE (mm) $\downarrow$PA- (mm) $\downarrow$PCK3 (%) $\uparrow$PCK5 (%) $\uparrow$AE (cm/s $^{2}$) $\downarrow$$\times$$\times$$\times$$\times$79.3166.7286.0095.0045.20$\checkmark$$\times$$\times$$\times$75.3064.5786.9295.3543.50$\times$$\checkmark$$\times$$\times$75.9964.7586.7495.2443.37$\checkmark$$\checkmark$$\times$$\times$74.6763.3387.2095.5543.84Stack$\times$$\times$77.8766.6086.1894.9844.62$\checkmark$$\checkmark$$\checkmark$$\times$73.6862.9087.4095.6739.21$\checkmark$$\checkmark$$\times$$\checkmark$72.2361.6787.9495.7938.28

Table 2: Ablation study of different components of our framework. CF means CoherenceFuse module. Based on the metrics, shows that each component in the neighborhood-enhanced method is effective.

Radius	MPJPE $\downarrow$	PA- $\downarrow$	PCK3 $\uparrow$	PCK5 $\uparrow$	AE $\downarrow$
2m	74.47	63.34	87.31	95.71	41.59
3m	76.31	64.45	86.68	95.39	44.04
5m	76.03	64.89	86.69	95.26	43.19
10m	75.24	63.71	87.06	95.50	42.77
20m	75.71	64.67	86.83	95.27	43.05

Table 3: Ablation study of radius parameter in 3BN on Lidar human 26m. It shows that the two-meter radius parameter is reasonable.

泛化性测试。我们还在Waymo Open Dataset v2.0上将本文方法与LidarCap和P4T进行对比。由于Waymo Open Dataset v2.0未提供动作捕捉系统记录的每个关节的旋转矩阵，我们将本文方法、LidarCap和P4T都在LidarHuman26M训练集上训练，然后在Waymo验证集上验证。我们利用Waymo提供的三维检测框提取人体点云。此外，由于Waymo定义的骨架关节的数量和类别与SMPL不一致，我们选择CD作为定量指标。同时，Waymo Open Dataset v2.0的帧率为1，而LidarHuman26M的帧率为10。为了消除不同帧率对泛化能力的影响，我们将Waymo Open Dataset v2.0的每一帧重复16次作为输入，并选取每个序列的第9帧作为输出。结果如图4(A)所示。在Waymo Open Dataset v2.0上，本文方法相比LidarCap的CD指标提升了4.79mm，相比P4T的CD指标提升了7.02mm，这说明我们的算法在真实场景中具备更强的泛化能力。距离分析。我们在不同距离下对比了LidarCap、HSC2与本文方法，结果如图4(B)所示。仅通过引入3BN和3SN，该网络在短距离和长距离动捕精度上都取得了显著提升。这进一步凸显了在基于LiDAR的3HPE任务中利用邻域一致性线索的重要性。在第一组和最后一组案例中，本文方法估计出的全局朝向更准确。我们选取了4个不同距离的样本进行可视化，结果如图4(C)所示。在 ![Image](images/f05588ecbfc1347c5c921f770f88eaae30d5e64a5ae49720bcd6b9eabad66ca5.jpg)

(B)

(C)

Figure 4: (A): Comparison results on Waymo Open Dataset v2.0 with LidarCap. (B): Comparison with LidarCap, HSC2, and our method in different distances. We show different MPJPE values of different methods. (C): Visualization of methods at different distances.

第二组和第三组案例中，本文方法预测的手臂运动更可靠。尽管我们估计出的人体运动与真值存在微小偏差，但结果仍优于其他方法。结合指标结果与可视化分析，我们得出结论：邻域增强方法在近距和远距场景下都能获得更优的动捕结果。定性结果。图3展示了本文方法与LidarCap、P4T在LidarHuman26M、CIMI4D和SLOPER4D数据集上的定性对比结果。在第一行和第二行的案例中，与另外两种方法相比，本文方法能估计出可靠的运动。尤其是当激光雷达点云因远距离和自遮挡出现严重退化，手臂和脚部的大部分点云缺失时，本文方法仍能估计出更稳定的人体运动。这一效果得益于利用了3SN中的结构边缘一致性线索。即使人体表面采集到的信息不足，接触人体边缘的激光射线会继续向前传播，直到与远处环境发生碰撞。因此，缺失部分的信息被记录在3SN中。在所有案例中，本文方法对与环境接触关节的估计效果都优于LidarCap和P4T，我们将这种优势归因于 --- 3BN中包含的空间一致性线索。 ## 消融实验模型组件的影响。在Tab.2中，我们对本文框架的主要组件进行了消融实验。R1（Row 1）代表基线方法LidarCap（Li et al. 2022a）。R2（Row 2）额外使用PointNet++提取3BN的特征，并输入LidarCap。R3（Row 3）与R2相比，仅将3BN替换为3SN。通过分析R1、R2、R3的结果，我们得出结论：3BN和3SN为3HPE网络提供了更有效的线索。R4（Row 4）仅在输入部分与LidarCap不同：新增了两个独立的PointNet++分别对3BN和3SN进行编码。之后将二者的特征与原始人体特征聚合，得到全局输入特征。R6（Row 6）将LidarCap中的GRU替换为多头自注意力层来融合这三种不同特征，输入与R4相同，整个网络仍命名为LidarCap。R7（Row 7）将LidarCap中的GRU替换为CoherenceFuse模块。对比R2、R3、R4和R6可以发现，使用多头自注意力层对三个分支进行信息融合能取得最优性能。R5（Row 5）的网络结构与LidarCap没有差异，唯一区别是R5将三个分支的输入堆叠在一起，仅使用一个PointNet++提取全局特征。因此，分别提取3BN、3SN和单个人体点的特征是有必要的。通过对比R5和R6，我们发现CoherenceFuse模块是有效的。 3BN参数的影响研究。我们在最终实验架构中移除了3SN分支，并在LidarHuman26M数据集上通过改变3BN的半径范围开展实验。我们设置了2m、3m、5m、10m和20m共5种半径值，结果如表3所示。由于当半径设置为1m时，可提取的背景点云数量较少，因此我们未设置半径为1m的实验。通过分析表中数据可以得出结论：背景包含的信息对3HPE的影响有限。背景点覆盖范围更大并不意味着它能为3HPE提供更多有用信息。 ## 评估为了进一步研究3SN包含的信息并非仅仅是人体运动轮廓，我们开展了一组与阴影相关的对比实验。首先，我们通过在3BN中拟合平面得到平面公式$ax + by + cz - d = 0$。给定3SN中的一组点$p_s = \{p_{s1}, p_{s2}, \ldots, p_{sn}\}$，其中$p_{si} = (x_{si}, y_{si}, z_{si})$，我们得到阴影点$p_n = \{p_{n1}, p_{n2}, \ldots, p_{nm}\}$，其中$p_{ni} = (k \times x_{si}, k \times y_{si}, k \times z_{si})$和$k = \frac{d}{(a \times x_{si} + b \times y_{si} + x \times z_{si})}$。为了研究3BN和3SN在提升3HPE性能中的作用，我们对实验结果进行了分析，如图5所示。标记为3BN的曲线代表在消融研究中定义的、将3BN作为LidarCaps额外输入的设置。曲线3BN & 3SN表示同时将3SN和3BN作为输入。曲线3BN & shadow表示将 ![Image](images/5870f97bedc98bc39c9a577af63e1190ca250ca5c313ed25f959a0f0a5319188.jpg)

Figure 5: The role of the 3SN and 3BN in different distance scenes. Reduction calculated using the formulation: $MPJPE_{LidarCap} - MPJPE_{eachcurve}$.

阴影和3BN作为输入。3BN中的空间相干线索有助于提升整个场景的性能，而3SN中的结构边缘相干线索在远距离下表现出更显著的增强效果。特别是在远距离场景中，3SN性能优于阴影这一结果表明，3SN并非仅仅是运动轮廓的另一种表示形式。同时我们发现，在近距离场景中，3SN引入的增量信息效果不如阴影。但我们方法的曲线性能优于其他三条曲线，因此CoherenceFuse模块能够让3SN在近距离和远距离场景下都拥有良好表现。 ## 结论本研究提出了背景三维邻域（3BN）的概念，该方法利用空间相干线索提升三维人体姿态估计的可靠性。此外，我们基于LiDAR传感器的固有特性提取了三维扫描邻域（3SN）。这类邻域提供结构边缘相干线索，可帮助在远距离场景下实现准确的三维人体姿态估计——在远距离场景中，人体LiDAR点云过于稀疏，无法为可靠估计提供足够信息。为了更好地融合具有不同特征的输入，我们提出了一个基于Transformer的模块，命名为CoherenceFuse模块。通过与阴影点的全面对比实验，我们证明3SN并非只是运动轮廓，而是LiDAR的一种独有特征。此外，我们的研究表明，CoherenceFuse模块能够有效分离3SN中的运动线索和结构边缘相干线索。定量和定性实验均表明，无论被测人物处于近距离还是远距离场景，我们的方法性能均优于基线方法。但目前我们的算法仅专注于处理理想的前景人体点云输入，并未对整个数据帧开展全面的分割或检测任务。针对这一问题，我们未来的工作将把二值分割网络整合到基于LiDAR的3HPE方法中，以实现更全面、准确的分析。 --- ## 参考文献 Bhatnagar, B. L.; Xie, X.; Petrov, I. A.; Sminchisescu, C.; Theobalt, C.; 和 Pons-Moll, G. 2022。BEHAVE：用于追踪人与物体交互的数据集与方法。2022 IEEE/CVF计算机视觉与模式识别会议（CVPR），15914–15925。 Bogo, F.; Kanazawa, A.; Lassner, C.; Gehler, P. V.; Romero, J.; 和 Black, M. J. 2016。保持SMPL：从单张图像自动估计三维人体姿态与形状。发表于ECCV。 Cong, P.; Xu, Y.; Ren, Y.; Zhang, J.; Xu, L.; Wang, J.; Yu, J.; 和 Ma, Y. 2022。基于单目相机与单个激光雷达的大场景弱监督三维多人姿态估计。ArXiv，abs/2211.16951。 Dai, Y.; Lin, Y.; Lin, X.; Wen, C.; Xu, L.; Yi, H.; Shen, S.; Ma, Y.; University, C. W. X.; 中国; University, S. J. T.; 复杂系统物理马克斯·普朗克研究所; 和德国。2023。SLOPER4D：面向城市场景全局四维人体姿态估计的场景感知数据集。ArXiv，abs/2303.09095。 Dai, Y.; Lin, Y.; Wen, C.; Shen, S.; Xu, L.; Yu, J.; Ma, Y.; 和 Wang, C. 2022。HSC4D：基于可穿戴IMU与激光雷达的大规模室内外空间以人为中心的四维场景捕获。 Fan, H.; Yang, Y.; 和 Kankanhalli, M. S. 2021。面向点云视频时空建模的点四维变换网络。2021 IEEE/CVF计算机视觉与模式识别会议（CVPR），14199–14208。 Fürst, M.; Gupta, S. T. P.; Schuster, R.; Wasenmüller, O.; 和 Stricker, D. 2020。HPERL：从RGB与激光雷达进行三维人体姿态估计。2020第25届国际模式识别会议（ICPR），7321–7327。 Habermann, M.; Xu, W.; Zollhofer, M.; Pons-Moll, G.; 和 Theobalt, C. 2020。DeepCap：弱监督下单目人体性能捕获。发表于IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集。 Hassan, M.; Choutas, V.; Tzionas, D.; 和 Black, M. J. 2019。利用三维场景约束解决三维人体姿态歧义问题。发表于IEEE/CVF国际计算机视觉会议（ICCV）论文集。 Huang, Y.; Kaufmann, M.; Aksan, E.; Black, M. J.; Hilliges, O.; 和 Pons-Moll, G. 2018a。Deep惯性姿态器：学习从稀疏惯性测量实时重建人体姿态。ACM《图形汇刊》(TOG)，37(6):1–15。 Huang, Y.; Kaufmann, M.; Aksan, E.; Black, M. J.; 和 Pons-Moll, G. 2018b。Deep Inertial Poser：从稀疏惯性测量中学习实时重建人体姿态。 Jin, S.; Xu, L.; Xu, J.; Wang, C.; Liu, W.; Qian, C.; Ouyang, W.; 和 Luo, P. 2020。ZoomNAS：在野外搜索适用于全身人体姿态估计的结构。IEEE《模式分析与机器智能汇刊》，45: 5296–5313。 Joo, H.; Neverova, N.; 和 Vedaldi, A. 2020。面向野外三维人体姿态估计的三维人体模型拟合示例微调三维人体姿态估计。2021年国际三维视觉会议（3DV），42–52。 Kim, H.-W.; Lee, G.-H.; Oh, M.-S.; 和 Lee, S. 2022。面向野外三维人体姿态估计的跨视图自融合自监督方法。发表于亚洲计算机视觉会议。 Kim, W.; Ramanagopal, M. S.; Barto, C.; Yu, M.-Y.; Rosaen, K.; Goumas, N.; Vasudevan, R.; 和 Johnson-Roberson, M. 2019。PedX：复杂城市交叉口行人度量三维姿态估计基准数据集。IEEE机器人与自动化快报，4: 1940–1947。 Kingma, D. P.; Ba, J. 2015. 《Adam：一种随机优化方法》. CoRR, abs/1412.6980. Kocabas, M.; Athanasiou, N.; Black, M. J. 2020. 《VIBE：人体姿态与形状估计视频推理》. 收录于 IEEE/CVF 计算机视觉与模式识别会议论文集（CVPR）. Li, J.; Xu, C.; Chen, Z.; Bian, S.; Yang, L.; Lu, C. 2020. 《HybrIK：面向三维人体姿态与形状估计的混合分析-神经逆运动学方案》. 2021年 IEEE/CVF 计算机视觉与模式识别会议（CVPR），3382–3392. Li, J.; Zhang, J.; Wang, Z.; Shen, S.; Wen, C.; Ma, Y.; Xu, L.; Yu, J.; Wang, C. 2022a. 《LiDAR Cap：基于激光雷达点云的远距离无标记三维人体动作捕捉》. 2022年 IEEE/CVF 计算机视觉与模式识别会议（CVPR），2047–2048. Li, W.; Liu, H.; Tang, H.; Wang, P.; Gool, L. V. 2021. 《MHFormer：面向三维人体姿态估计的多假设Transformer》. 2022年 IEEE/CVF 计算机视觉与模式识别会议（CVPR），13137–13146. Li, Z.; Liu, J.; Zhang, Z.; Xu, S.; Yan, Y. 2022b. 《CLIFF：将全帧位置信息引入人体姿态与形状估计》. 收录于欧洲计算机视觉会议. Luo, Z.; Iwase, S.; Yuan, Y.; Kitani, K. 2022. 《具身场景感知人体姿态估计》. 收录于《神经信息处理系统进展》. Marcard, T. V.; Rosenhahn, B.; Black, M. J.; Pons-Moll, G. 2017. 《Sparse Inertial Poser：基于稀疏IMU的自动三维人体姿态估计》. 《计算机图形学论坛》. Qi, C. R.; Yi, L.; Su, H.; Guibas, L. J. 2017. 《PointNet++：度量空间中点集的深度分层特征学习》. 收录于《神经信息处理系统进展》，5099–5108. Ren, Y.; Zhao, C.; He, Y.; Cong, P.; Liang, H.; Yu, J.; Xu, L.; Ma, Y. 2022. 《LiDAR-aid Inertial Poser：基于稀疏惯性与激光雷达传感器的大规模人体动作捕捉》. IEEE 可视化与计算机图形汇刊，29卷：2337–2347. Robosense. 2023. RS-LiDAR-M1 英文宣传册. . 访问时间：2023-7-14. Su, Z.; Xu, L.; Zheng, Z.; Yu, T.; Liu, Y.; Fang, L. 2020. 《RobustFusion：基于RGBD相机和数据驱动视觉提示的人体体积捕捉》. 收录于ECCV. --- Su, Z.; Xu, L.; Zhong, D.; Li, Z.; Deng, F.; Quan, S.; Fang, L. 2021. 《RobustFusion：单目RGBD流中人物交互下的鲁棒体积性能重建》. IEEE 模式分析与机器智能汇刊，45卷：6196–6213. Sun, P.; Kretzschmar, H.; Dotiwalla, X.; Chouard, A.; Patnaik, V.; Tsui, P.; Guo, J.; Zhou, Y.; Chai, Y.; Caine, B.; Vasudevan, V.; Han, W.; Ngiam, J.; Zhao, H.; Timofeev, A.; Ettinger, S. M.; Krivokon, M.; Gao, A.; Joshi, A.; Zhang, Y.; Shlens, J.; Chen, Z.; Anguelov, D. 2019. 《自动驾驶感知可扩展性：Waymo开放数据集》. 2020年 IEEE/CVF 计算机视觉与模式识别会议（CVPR），2443–2451. Sun, Y.; Bao, Q.; Liu, W.; Fu, Y.; Black, M. J.; Mei, T. 2020. 《单目一阶段多三维人体回归》. 2021年 IEEE/CVF 国际计算机视觉会议（ICCV），11159–11168. Wan, Z.; Li, Z.; Tian, M.; Liu, J.; Yi, S.; Li, H. 2021. 《面向三维人体形状与姿态估计的带多级注意力的编解码器》. 2021年 IEEE/CVF 国际计算机视觉会议（ICCV），13013–13022. Wang, J.; Liu, L.; Xu, W.; Sarkar, K.; Luvizon, D. C.; and Theobalt, C. 2022. 《基于外部弱监督的野外第一人称三维人体姿态估计》。2022年IEEE/CVF计算机视觉与模式识别会议（CVPR），13147–13156页。 Xie, X.; Bhatnagar, B. L.; and Pons-Moll, G. 2023. 《单RGB相机下的可见性感知人与物体交互跟踪》。发表于IEEE计算机视觉与模式识别会议（CVPR）。 Xu, L.; Xu, W.; Golyanik, V.; Habermann, M.; Fang, L.; and Theobalt, C. 2020a. EventCap：基于事件相机的高速人体运动单目三维捕捉。发表于IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集。 Xu, W.; Chatterjee, A.; Zollhöfer, M.; Rhodin, H.; Mehta, D.; Seidel, H.-P.; and Theobalt, C. 2018. MonoPerfCap：单目视频人体性能捕捉。ACM《图形汇刊》(TOG)，37(2): 27:1–27:15。 Xu, X.; Chen, H.; Moreno-Noguer, F.; Jeni, L. A.; and De la Torre, F. 2020b. 《自监督学习下单张低分辨率图像的三维人体形状与姿态估计》。发表于ECCV。 Xu, X.; Chen, H.; Moreno-Noguer, F.; Jeni, L. A.; and De la Torre, F. 2021. 《低分辨率图像与视频的三维人体姿态、形状与纹理获取》。TPAMI。 Xu, Y.; Zhang, J.; Zhang, Q.; and Tao, D. 2022. ViTPose：面向人体姿态估计的简单视觉Transformer基线。ArXiv，abs/2204.12484。 Yan, M.; Wang, X.; Dai, Y.; Shen, S.; Wen, C.; Xu, L.; Ma, Y.; and Wang, C. 2023. CIMI4D：大规模人与场景交互下的多模态攀爬运动数据集。ArXiv，abs/2303.17948。 Yan, S.; Xiong, Y.; and Lin, D. 2018. 《基于骨架动作识别的时空图卷积网络》。发表于AAAI。 Ye, D.; Xie, Y.; Chen, W.; Zhou, Z.; and Foroosh, H. 2023. LPFormer：面向激光雷达姿态估计的多任务网络Transformer。ArXiv，abs/2306.12525。 Yi, X.; Zhou, Y.; Habermann, M.; Shimada, S.; Golyanik, V.; Theobalt, C.; and Xu, F. 2022. 物理惯性姿态估计器（PIP）：基于稀疏惯性传感器的物理感知实时人体运动跟踪。 Yi, X.; Zhou, Y.; and Xu, F. 2021a. TransPose。ACM《图形汇刊》(TOG)，40: 1–13。 Yi, X.; Zhou, Y.; and Xu, F. 2021b. TransPose：基于六个惯性传感器的实时三维人体平移与姿态估计。ACM Trans. Graph., 40: 86:1–86:13。 Zanfir, A.; Marinoiu, E.; and Sminchisescu, C. 2018. 《自然场景中多人的单目三维姿态与形状估计：多场景约束的重要性》。2018年IEEE/CVF计算机视觉与模式识别会议，2148–2157页。 Zhan, Y.-W.; Li, F.; Weng, R.; and Choi, W. 2022. Ray3D：面向单目绝对三维定位的基于射线的三维人体姿态估计。2022年IEEE/CVF计算机视觉与模式识别会议（CVPR），13106–13115页。 Zhang, J.; Tu, Z.; Yang, J.; Chen, Y.; and Yuan, J. 2022a. MixSTE：面向视频三维人体姿态估计的序列到序列混合时空编码器。2022年IEEE/CVF计算机视觉与模式识别会议（CVPR），13222–13232页。 Zhang, J.; Wang, J.; Shi, Y.; Gao, F.; Xu, L.; and Yu, J. 2022b. 《单目三维多人姿态估计的互适应推理》。第30届ACM国际多媒体会议论文集。 Zhang, Y.; Wang, C.; Wang, X.; Liu, W.; Zeng, W. 2021。VoxelTrack：野外多人三维人体姿态估计与跟踪。IEEE《模式分析与机器智能汇刊》，45卷：2613–2626。 Zheng, J.; Shi, X. Y.; Gorban, A. N.; Mao, J.; Song, Y.; Qi, C.; Liu, T.; Chari, V.; Cornman, A.; Zhou, Y.; Li, C.; Anguelov, D. 2021。自动驾驶场景下基于二维弱监督的多模态三维人体姿态估计。2022年IEEE/CVF计算机视觉与模式识别会议研讨会（CVPRW）：4477–4486。