# 面向基于LiDAR点云的实用人体运动预测韩啸上海科技大学中国上海任一鸣上海科技大学中国上海姚逸辰上海科技大学中国上海孙宇靖香港大学中国香港马跃鑫 $^{*}$ 上海科技大学中国上海 ![Image](images/b59b9067cfce6cca553a2b5d814cf12d231108052acff5458672e070c277471a.jpg)

Figure 1: Visualization of our motion prediction performance. The top figure demonstrates the comparison of our LiDAR-HMP and two-stage method on LIPD test set. The bottom figure highlights LiDAR-HMP's practicality in real-world deployment, unfettered by lighting conditions, where markers 1, 2, and 3 indicate the current moment and predicted poses for the future 0.4s and 1.0s, respectively. With online captured LiDAR point cloud, our method achieves real-time promising prediction results, which is significant for real-world applications.

## 摘要人体运动预测对于以人为中心的多媒体理解与交互至关重要。现有方法通常依赖真值人体姿态作为观测输入，这在仅能获取原始视觉传感器数据的真实场景中并不实用。若要在实际场景中应用这些方法，必须先完成姿态估计步骤。然而，这种两阶段方法往往会因误差累积导致性能下降。此外，将原始视觉数据压缩为稀疏关键点表示会大幅降低信息密度，造成细粒度特征丢失。本文提出了首个基于单激光雷达的三维人体运动预测方法LiDAR-HMP，该方法以原始激光雷达点云为输入，直接预测未来三维人体姿态。基于我们全新的结构感知身体特征描述子，LiDAR-HMP可将观测得到的运动流形自适应映射为未来姿态，并有效建模人体运动的时空相关性，进一步优化预测结果。大量实验表明，我们的方法取得了 --- 在两个公开基准数据集上达到了当前最优性能，并且在实际部署中表现出出色的鲁棒性与有效性。 ## CCS 概念 • 计算方法学 $\rightarrow$ 时间推理；活动识别与理解。 ## 关键词人体运动预测、多媒体理解、激光雷达点云 ## ACM 参考文献格式肖寒、任一鸣、姚一宸、孙宇靖、马跃新. 2024. 《面向基于激光雷达点云的实用人体运动预测》. 收录于第32届ACM国际多媒体会议论文集（MM'24），2024年10月28日-11月1日，澳大利亚维多利亚州墨尔本. ACM，美国纽约州纽约市，共10页. ## 1 引言人体运动预测弥合了人类行为与数字交互之间的鸿沟，是不断发展的多媒体领域的一项关键创新。通过分析过往运动序列来准确预测人类未来动作，人们能够打造出更直观、响应更迅速、更具吸引力的多媒体内容。例如，健身应用可以根据预测得到的用户未来动作，实时提供个性化的指导与反馈；辅助机器人可以预测人类意图，在用户伸手时主动递出物品，而非等到用户停止动作后再行动。当前的人体运动预测方法 [^1] [^13] [^30] [^43] [^45] [^50] [^52] [^53] [^60] 通过显式建模连续人体骨架序列中固有的身体结构与动态特征，已经取得了显著成果。然而，这些方法高度依赖精确的历史人体姿态，需要多视角相机或密集部署的可穿戴IMU这类复杂设置，因此给它们的实际应用和部署带来了极大限制。在增强现实（AR）环境这类多媒体应用中，系统需要依靠自身机载传感器实时解读人类动作与手势，原始数据通常仅包含单一视角的图像或点云。对过往运动估计技术精度的依赖 [^18] [^23] [^41] [^51] [^58] [^63] 会导致累积误差（如图1右上角所示），还会造成原始视觉数据中细粒度特征的丢失。为推进实用化人体运动预测发展，直接将原始视觉数据作为输入是一种更可行的策略。已有部分研究 [^44] [^59] 探索了使用视频输入提升适用性的方案，但由于缺乏精确深度信息且对光照条件敏感，这类方法在无约束环境中经常得到模糊、不一致的预测结果。近年来，激光雷达（LiDAR）凭借远距离深度感知与不受光照干扰的特性，已经成为自动驾驶[^4] [^24] [^35] [^49]以及各类以人为中心的应用场景[^18] [^22] [^41] [^42] [^61]中不可或缺的传感器，这类场景包括三维姿态估计、人体动作捕捉、步态识别、行为识别等。相关领域研究已经证明了激光雷达相较于传统相机的优越性：由于它能够在开放环境中提供精准的人体三维几何信息与动态运动信息，因此具备出色的鲁棒性与有效性。尤为关键的是，激光雷达不受光照条件影响，这为其在真实场景中的落地部署带来了显著优势。基于此，我们提出了首个基于激光雷达的人体运动预测方案LiDAR-HMP，该方案可直接从原始激光雷达点云预测未来人体姿态，更适配真实场景下的多媒体应用需求。我们的方法以三个精心设计的模块为基础，可有效挖掘原始输入点云中蕴含的宝贵信息，实现对未来人体运动的精准预测，如图1所示。首先，结构感知人体特征描述子深入提取点云观测中隐含的人体结构隐式语义，融合了分部位人体特征与全局人体特征。这确保我们能够得到丰富细致的人体结构表示，而这正是实现精准运动预测的必要基础。随后，我们的自适应运动隐式映射模块采用一组可学习查询，每个查询对应一个未来运动帧。这些查询从观测得到的点云帧中动态提取关键信息，为精准运动预测奠定了基础。最后，时空相关性优化模块将粗略运动预测结果与分部位人体特征嵌入到高维空间中。该模块利用预测姿态之间的时空相关性对预测得到的关键点进行精细优化，提升了预测精度。这些模块共同体现了我们同时捕捉人体运动空间结构与时间动态特性的设计理念，为真实场景机器人应用中基于LiDAR的人体运动预测树立了全新基准。值得注意的是，考虑到人体运动本身具有不可预测性，且可能发生突发变化，我们扩展了模型以支持多样化运动预测[^10] [^25] [^29] [^34] [^57]，从而拓宽了模型的适用范围，提升了预测的可靠性与鲁棒性。我们的实验结果与可视化分析均表明，多样化预测不仅能够提升预测的鲁棒性与可靠性，还能为需要深入理解人体动态的应用提供宝贵见解。例如，在交互系统与自主导航领域，预测一系列潜在运动的能力能够显著优化决策流程。我们在两个公开的基于激光雷达的人体运动数据集（包含LiDARHuman26M [^18] 和 LIPD [^61]）上分别开展了短期与长期人体运动预测实验。我们的方法在平均关节位置误差（MPJPE）指标上大幅优于现有方法，例如短期预测的平均误差分别为17.42mm和7.86mm，长期预测的平均误差分别为11.62mm和9.12mm。我们还评估了该方法在远距离、遮挡和噪声场景下的鲁棒性与泛化能力。具体而言，我们已经将该方法部署到真实场景中，实现了实时人体运动预测，为后续机器人应用提供了可行的交互接口。我们的贡献总结如下： - 我们提出了首个面向实际应用的基于激光雷达的3D人体运动预测方法，通过充分利用细粒度的 --- 原始激光雷达点云中的运动细节，该方法与真实应用场景高度契合。 - 我们提出了一种结构感知的身体特征描述符，该描述符根据解剖结构的语义将整体人体点云解耦为不同的身体部位，能够实现细粒度动态运动细节的捕获。我们将过去的运动流形自适应映射到未来运动流形，并充分利用运动的时空相关性进一步优化预测结果。 - 我们的方法在两个公开的基于LiDAR的人体运动数据集上取得了当前最优性能。 ## 2 相关工作 ### 2.1 人体运动预测现有的人体运动预测方法专注于基于通过多视角相机或密集IMU捕获的过去真实观测来预测未来人体运动，这类方法采用专门的网络结构处理结构化骨骼序列中的空间与时间依赖关系。若干方法[^12] [^14] [^17] [^26] [^33] [^53] 已经探索了使用RNN和TCN结构对人体运动预测中的时间依赖关系建模，但这类方法往往忽略空间关系。近年来的研究进展[^3] [^9] [^20] [^48] [^60] 显示，GCN通过可学习权重学习关节之间的空间依赖关系，取得了当前最优的结果。在GCN框架的基础上，DMGNN [^20] 和MSR-GCN [^9] 引入了多尺度人体图来同时捕获局部与全局空间特征。PGBIG [^30] 对该方法进行了扩展，加入时间图卷积来提取时空特征。SPGSN [^19] 引入了图散射网络，通过多个图谱带增强对时间依赖关系的建模能力。DMAG [^13] 分别使用频率分解和特征聚合对信息进行编码。除了基于GCN的方法，Transformer架构[^1] [^2] [^32] 也被用于建模成对的时空依赖关系，这表明学界对捕获人体运动预测中的复杂时空关系有着广泛的研究兴趣。AuxFormer [^52] 引入了一种带有辅助任务的模型学习框架，该框架可以根据其余坐标恢复受损坐标。[^50] 结合了自注意力机制的建模能力和图神经网络的有效性。然而，这些方法主要针对真实观测骨骼输入设计，当输入为来自3D姿态估计方法[^15] [^18] [^23] [^27] [^36] [^41] [^51] [^58] [^63] 的估计骨骼时，性能会出现下降，due to theūm {u} ### 2.2 基于LiDAR的以人为中心应用由于LiDAR在远距离场景中具备精准深度感知能力且不受光照影响，它已经成为机器人与自动驾驶领域极为重要的感知传感器 [^4] [^16] [^24] [^28] [^35] [^37] [^38] [^49] [^56] [^62]。近年来，姿态估计、动作捕捉、行为识别、步态识别、场景重建等大量以人为中心的应用[5–8, 18, 22, 40–42, 54, 55, 61]都引入了LiDAR，借助LiDAR点云精准的几何特性拓展使用场景、提升方案性能。尤其近期的研究 [^18] [^41] [^61] 已经充分证明了单LiDAR系统在人体动作捕捉领域的有效性。鉴于LiDAR在大规模人体相关应用中已经取得成功，我们首次尝试将LiDAR用于实用的3D人体运动预测任务，充分挖掘观测序列LiDAR点云之间的动态时空相关性。 ## 3 研究方法在本节中，我们介绍我们提出的基于单激光雷达的三维人体运动预测方法LiDAR-HMP的详细内容。在3.1节完成问题定义后，我们将依次介绍各个模块。在3.2节，我们介绍结构感知人体特征描述符来提取全面的人体特征。随后，在3.3节，我们采用自适应运动潜在映射来实现对精准运动预测至关重要的动态交互。在得到初始预测的三维骨骼关节后，时空相关性优化模块（3.4节）进一步优化不同身体关节之间的相关性。最后，3.5节概述了网络的解码与监督方式，3.6节则展示了我们的方法在多种不同设置下的应用潜力。 ### 3.1 问题定义三维人体运动预测指基于若干观测帧，预测未来若干帧的三维人体运动姿态。设$\mathbf{P}_{1:T_o} = \{P_1, P_2, \ldots, P_{T_o}\}$表示长度为$T_o$的历史点云观测，其中$P_t$表示时刻t的点云帧。此外，将$\mathbf{J}_{T_o+1:T_o+T_p} = \{J_{T_o+1}, J_{T_o+2}, \ldots, J_{T_o+T_p}\}$记为长度为$T_p$的预测三维姿态序列。其中$J_t \in \mathbb{R}^{24 \times 3}$表示时刻t的未来人体姿态，由24个三维关键点坐标表示。我们的方法旨在从$T_p$帧已观测的人体激光雷达点云，预测$T_o$帧未来的三维人体运动姿态。 ### 3.2 结构感知人体特征描述符与本身固有结构化的基于骨架的人体运动表示不同，激光雷达点云稀疏无序的特性为高效特征提取带来了巨大挑战。现有聚焦人体研究的方法 [^41] [^61] 通常采用PointNet [^39] 从点云中提取人体特征，利用最大池化从激光雷达数据中提炼关键特征。这类方法虽然高效且已广泛应用于现有基于激光雷达的人体分析中，但忽略了三维点云数据中丰富的几何和结构细节，而这些细节对于提取能够准确表征人体结构的表达性特征至关重要。为了克服这些局限，我们提出了结构感知人体特征描述符。我们的方法将整个人体的全局整体特征，与捕获大腿、小腿、手臂等人体解剖部位语义信息的精细局部特征相结合。这种分解能够 --- ![Image](images/3cd251e255eb1ba5e2b66fd85083b9a0a747736dbfb1539723e271235efd5608.jpg)

Figure 2: The pipeline of our LiDAR-HMP. First, we obtain the structure-aware body feature descriptor from the observed LiDAR point cloud frames. Then, we adaptively predict the human motion with learnable queries for initial predictions and explicitly model the spatial-temporal correlations among them to refine the predicted motions. Finally, we decode the joint-wise results and point-wise results for auxiliary supervision.

对人体运动形成细致全面的表征，助力更深入地理解复杂动作。具体而言，给定历史人体运动的一帧点云观测 $P_i = \{p_1, ..., p_N\} \in \mathbf{P}_{1:T_o}$，我们通过预训练人体部位分割模型 $\Phi(\cdot)$ 将人体点云分割为K个具备语义意义的解剖部位。预训练人体解析模型的细节在补充材料中给出说明。我们从全局最大池化前的PointNet编码器中提取逐点特征 $F_i = \{f_1, f_2, \ldots, f_N\}$。随后这些逐点特征被分配到对应不同人体部位分割块的K个分箱中。在每个分箱内，我们对所有点执行最大池化，得到部位级特征 $H_{part} \in \mathbb{R}^{T_o \times K \times d_1}$： $$ H_{{p a r t}}=\big\{H_{{p a r t}}^{k}=\operatorname{M a x P o o l}(\{f_{i}|\Phi(p_{i})==k\}\big|k=1,2,\ldots,K\big\}. $$ 随后我们将PointNet编码器生成的全局人体特征$H_{glo}$与部件级特征融合，得到结构感知的人体特征描述子H： $$ H=\left[H_{{g l o}}\oplus H_{{p a r t}}\right]\in\mathbb{R}^{T_{o}\times(K+1)\times d_{1}}, $$ 其中$\oplus$表示拼接操作。该特征描述子通过时空Transformer层进一步增强，该层对不同帧间人体部件之间的非线性依赖关系进行建模，进一步提升了描述子捕捉复杂人体动态的能力。 ### 3.3 自适应运动潜在映射基于观测得到的激光雷达点云帧的高表达力特征描述子，我们进一步开展从历史运动观测预测未来三维人体运动的研究。具体而言，我们为每个观测帧和预测帧初始化了一组服从正态分布$H_q \in \mathbb{R}^{(T_0 + T_p) \times (K+1) \times d_i}$的可学习运动查询$N(0, 0.02)$。这些查询在Transformer解码器层中选择性地从过往帧描述子中吸收信息，将过往帧特征转换为同时封装过往观测与未来预测信息的综合特征集，从而为准确的人体运动预测奠定基础： $$ \boldsymbol{F}=\mathrm{M H C A}\left(\mathsf{Q}:\boldsymbol{W}_{q}\boldsymbol{H}_{q},\mathrm{~K}:\boldsymbol{W}_{k}\boldsymbol{H},\mathrm{V}:\boldsymbol{W}_{v}\boldsymbol{H}\right), $$ 其中MHCA(⋅ query, ⋅ key, ⋅ value)表示多头交叉注意力层[^47]，$W_q, W_k, W_v$分别是查询、键和值的线性投影。为了进一步增强更新后人体特征的时空一致性，我们应用空间与时序Transformer层，将预测运动特征F逐步精炼为$F'$。最后，我们通过精炼后的运动特征$\hat{J}_t \in \mathbb{R}^{24 \times 3}$回归得到粗略三维关节$F'$。损失函数可表示如下： $$ \mathcal{L}_{\mathrm{i n i t i a l}}=\sum_{t=1}^{T_{o}+T_{p}}\left\|\hat{J}_{t}-J_{t}\right\|^{2}. $$ ### 3.4 时空相关性优化利用上述模块，我们得到了初始预测的三维骨骼关节点。然而，由于人体关节运动具有结构化特性，为实现准确的运动预测，必须对不同人体关节之间的时空相关性进行显式建模。为此，我们采用时空变换器来整合关节特征、局部语义特征和全局几何特征。这有助于对这些相关性进行动态优化，有效建模时空上下文信息。具体而言，我们首先通过一个多层感知机（Multilayer Perceptron, MLP）层将粗粒度三维姿态预测$\hat{J} = \{\hat{f}_1, \hat{f}_2, \ldots, \hat{f}_T\}$嵌入为逐关节特征： $$ E_joint=MLP(\mathbf{\hat{J}})\in\mathbb{R}^{T\times24\times d_2}, $$ 其中$T = T_{o} + T_{p}$。类似地，我们将优化后的运动特征$F'$变换到相同维度： $$ E_{F}=\operatorname{M L P}(F^{\prime})\in\mathbb{R}^{T\times(K+1)\times d_{2}}. $$ 我们将这些特征拼接，形成变换器层的输入tokens $TK = [E_{joint} \oplus E_{F}]$。为了挖掘这些tokens中的隐式信息，我们分别部署空间变换器（STFormer）$F_{STF}$和时间变换器（TTFormer）$F_{TTF}$，分别捕获空间维度和时间维度内的依赖关系。STFormer旨在对单帧内所有tokens之间的空间依赖关系进行建模。我们在空间维度对token嵌入TK进行切片，并在进入STFormer处理之前，使用可学习的空间位置编码对$i^{th}$ token $TK^{i}$进行编码，以标记每个token的相对空间位置 ---

Table 1: Short-term motion prediction results of MPJPE(mm) on LIPD [^61] and LiDAR Human26M [^18] datasets. "AVG" means the average MPJPE results of 100ms, 200ms, 300ms and 400ms.

Methods	Publication Year	LIPD [^61]					LiDARHuman26M [^18]
Methods	Publication Year	100ms $\downarrow$	200ms $\downarrow$	300ms $\downarrow$	400ms $\downarrow$	AVG $\downarrow$	100ms $\downarrow$	200ms $\downarrow$	300ms $\downarrow$	400ms $\downarrow$	AVG $\downarrow$
LiDARCap [^18]+SPGCN [^30]	2022 / 2022	82.63	100.98	116.71	128.67	107.25	83.69	94.68	105.09	113.97	99.35
LiDARCap [^18]+Eqmotion [^53]	2022 / 2023	81.27	97.26	111.28	122.79	103.15	83.01	91.66	101.15	109.91	96.43
LiDARCap [^18]+AuxFormer [^52]	2022 / 2023	82.09	99.19	113.80	124.89	104.99	83.77	94.90	105.36	113.96	99.50
LIP [^61]+SPGCN [^30]	2023 / 2022	77.75	95.67	111.40	123.68	102.12	81.20	91.43	101.22	110.07	95.98
LIP [^61]+Eqmotion [^53]	2023 / 2023	77.34	93.78	108.19	120.18	99.87	81.14	89.76	98.80	107.49	94.30
LIP [^61]+AuxFormer [^52]	2023 / 2023	77.81	95.00	109.85	121.18	100.96	81.31	91.70	101.77	110.25	96.26
LiveHPS [^41]+SPGCN [^30]	2024 / 2022	70.40	87.83	103.62	116.21	94.51	76.29	84.87	93.89	101.73	89.20
LiveHPS [^41]+Eqmotion [^53]	2024 / 2023	71.60	87.75	102.67	115.40	94.22	76.97	84.17	92.50	101.14	88.69
LiveHPS [^41]+AuxFormer [^52]	2024 / 2023	70.89	88.31	103.69	115.55	94.61	77.13	86.65	96.62	104.40	91.20
MDM [^46]	2023	77.38	89.28	100.73	110.66	94.51	73.12	78.21	85.65	92.68	82.41
Ours		60.05	70.84	82.65	93.70	76.80	67.09	69.88	76.57	84.64	74.55

处理。利用自注意力机制，STFormer对每一帧所有token之间的依赖关系进行建模，得到空间连续的逐token特征如下： $$ H_{s}=\left\{F_{S T F}\left(T K^{1:(K+25)}\right)_{t}\Big|_{t=1}^{T}\right\}\in\mathbb{R}^{T\times(K+25)\times d_{2}}. $$ 相反，TTFormer的任务是识别时间相关性，以保证时间一致性和运动准确性。它将序列中的每个特征视作令牌，生成共包含T个令牌的特征$TK_t \in \mathbb{R}^{(K+25) \times d_2}$，其中$TK_t$表示沿时间维度切片后的令牌嵌入TK的$t^{\text{th}}$个令牌。此外，我们向$TK^i$添加了可学习的时间位置编码，以标记每个令牌在序列中的时间位置。随后TTFormer对经过时间建模的运动特征编码如下： $$ H_{t}=\left\{F_{T T F}\left(T K_{1:T}\right)^{i}\biggr|_{i=1}^{\left(K+25\right)}\right\}\in\mathbb{R}^{T\times\left(K+25\right)\times d_{2}}. $$ 我们交替使用STFormer层和TTFormer层，从而实现对时空相关性的全面建模。STFormer层可有效捕捉数据中存在的复杂空间关系，而TTFormer层则能出色地对人体运动的时间动态进行建模。通过同时关注空间和时间两个维度，也就是运动本质上的“位置”和“时间”信息，我们的方法实现了全面的分析与整合，最终得到更准确、更连贯的运动预测结果。 ### 3.5 运动预测头在网络的最终阶段，我们采用双头部结构，利用多层感知机（MLP）同时解码人体骨骼和点云。关节级回归头部使用三个MLP层解码得到最终关节$\hat{f}_t' \in \mathbb{R}^{24 \times 3}$。为了监督该头部的训练，我们采用了$L_2$损失： $$ \mathcal{L}_{\mathrm{f i n a l}}=\sum_{t=1}^{T_{o}+T_{p}}\left\|\hat{J}_{t}^{\prime}-J_{t}\right\|^{2}. $$ 对于逐点回归头，我们采用三个MLP层将每个局部语义特征解码为对应每个人体部位的点。在预设K个人体部位的情况下，我们得到最终的点云表示 $\hat{P}_t \in \mathbb{R}^{K \times 32 \times 3}$。我们通过倒角距离（Chamfer Distance）将网络输出得到的点云 $\hat{P}_t = \{\hat{p} \in \mathbb{R}^3\}, \left|\hat{P}_t\right| = N$， $\hat{P}_t$ 与真值点云 $P_t = \{p \in \mathbb{R}^3\}, \left|P_t\right| = M$ 进行比较，如下所示： $$ \mathcal{L}_{\mathrm{C D},t}=\frac{1}{N}\sum_{\substack{\hat{p}\in\hat{P}_{t}}}\min_{p\in P_{t}}\|\hat{p}-p\|_{2}^{2}+\frac{1}{M}\sum_{p\in P_{t}}\min_{\hat{p}\in\hat{P}_{t}}\|\hat{p}-p\|_{2}^{2}. $$ 总损失为： $$ \mathcal{L}=\mathcal{L}_{\mathrm{i n i t i a l}}+\mathcal{L}_{\mathrm{f i n a l}}+\mathcal{L}_{\mathrm{C D},t}. $$ ### 3.6 多样化运动预测扩展由于人类行为具有高度主观性，运动预测需要生成多种潜在的未来预测结果。我们将本文方法扩展到多样化人体运动预测场景。遵循上述框架，我们在自适应运动意图预测模块中设置了M = 4个可学习运动查询。每个可能的运动特征在训练过程中共享全部网络权重。我们可以将每个可学习查询视作不同的运动模式，能够将历史运动映射到具有不同运动模式的多个未来运动潜在空间中。本文采用“赢家通吃”（WTA）训练策略 [^11] [^21]，该策略仅优化对真值人体运动平均预测误差最小的最优预测结果。 ## 4 实验 ### 4.1 实现细节我们基于PyTorch 2.1.0和CUDA 12.1搭建网络，共训练100个epoch，批量大小为128，初始学习率为 $10^{-4}$。所有实验中我们将模型的超参数设置为 $\{K = 9, d_1 = 1024, d_2 = 512\}$。实验在搭载两颗Intel(R) Xeon(R) E5-2678的服务器上运行 ---

Table 2: Long-term motion prediction results of MPJPE(mm) on LIPD[^61] and LiDAR Human26M [^18] datasets. "AVG" means the average MPJPE results of 600ms, 800ms and 1000ms.

Methods	Publication Year	LIPD [^61]				LiDARHuman26M [^18]
Methods	Publication Year	600ms $\downarrow$	800ms $\downarrow$	1000ms $\downarrow$	AVG $\downarrow$	600ms $\downarrow$	800ms $\downarrow$	1000ms $\downarrow$	AVG $\downarrow$
LiDARCap [^18]+SPGCN [^30]	2022 / 2022	142.82	153.70	159.64	152.05	125.42	134.03	137.89	132.44
LiDARCap [^18]+Eqmotion [^53]	2022 / 2023	138.83	147.95	154.44	146.91	120.93	126.85	131.36	126.38
LiDARCap [^18]+AuxFormer [^52]	2022 / 2023	137.10	147.15	153.54	145.93	122.86	129.72	134.05	128.87
LIP [^61]+SPGCN [^30]	2023 / 2022	138.08	149.46	155.76	147.76	120.79	129.18	133.27	127.75
LIP [^61]+Eqmotion [^53]	2023 / 2023	136.03	146.18	153.04	145.08	118.84	125.25	129.81	126.63
LIP [^61]+AuxFormer [^52]	2023 / 2023	133.79	144.11	150.79	142.89	118.73	125.60	130.39	124.91
LiveHPS [^41]+SPGCN [^30]	2024 / 2022	130.66	142.65	150.07	141.13	111.79	119.97	124.71	118.82
LiveHPS [^41]+Eqmotion [^53]	2024 / 2023	132.21	143.41	151.30	142.31	113.37	120.30	125.74	119.80
LiveHPS [^41]+AuxFormer [^52]	2024 / 2023	127.03	137.92	145.74	136.90	112.40	119.39	124.22	118.67
MDM [^46]	2023	139.58	162.51	173.69	158.59	124.05	149.01	158.39	143.82
Ours		112.84	125.51	135.11	124.49	100.85	110.81	117.00	109.55

Table 3: Ablation studies for network design on LIPD dataset, where “SBFD” denotes our structure-aware body feature descriptor module, and “STCR” represents the spatial-temporal correlations refinement module.

Network Module				short-term					long-term
Baseline	SBFD	STCR	point prediction	100ms	200ms	300ms	400ms	AVG	600ms	800ms	1000ms	AVG
✓				64.49	75.44	87.48	98.71	81.53	116.60	128.96	138.08	127.88
✓	✓			61.91	73.11	84.64	95.87	78.88	114.44	126.91	136.17	125.84
✓	✓	✓		60.46	71.30	83.08	94.21	77.26	113.10	125.78	135.33	124.74
✓	✓	✓	✓	60.05	70.84	82.65	93.70	76.80	112.84	125.51	135.11	124.49

CPU和4块NVIDIA RTX3090 GPU。我们通过最远点采样算法将输入点云的每一帧$P_i$重采样为固定的$N = 256$个点，随后减去点云的中心坐标对输入数据进行归一化处理。遵循基于骨架的人体运动预测方法[^19] [^30]，我们的模型以0.4秒的连续点云作为输入（帧率为10fps的激光雷达对应4帧），分别预测未来0.4秒（4帧）和1.0秒（10帧）的人体运动，对应短期预测和长期预测。对于对比方法，我们保留了原论文中相同的训练策略。训练数据方面，我们采用激光雷达相关人体运动数据集LIPD [^61]、LiDARHuman26M [^18]的训练集，以及AMASS子集的合成数据集[^31]，遵循LIP的设置[^61]，包含ACCAD、BMLMovi、CMU。我们采用单位为毫米的平均每关节位置误差（MPJPE）作为评估指标，该指标计算每个预测时间戳下各关节的真实位置与对应预测关节位置之间的平均三维欧氏距离。 ### 4.2 实验结果我们在两个公开数据集（LIPD [^18]和LiDARHuman26M [^30]）上将LiDAR-HMP与多种当前最优方法[^41] [^46] [^52] [^53] [^61] [^61] [^18]进行对比，以验证其在三维人体运动预测中的优越性。短期和长期人体运动预测的结果分别如表1和表2所示。（1）与两阶段方法的对比。传统人体运动预测方法通常依赖历史真实骨架作为输入。相比之下，我们的方法仅使用历史LiDAR帧。我们将最先进的基于LiDAR的3D人体姿态估计方法的结果整合到这些基于骨架的方法中。由于累积误差和细粒度特征的丢失，仅依赖原始传感器数据的两阶段方法在真实场景中往往性能下降。相比之下，我们的方法展现出显著提升，在LIPD和LiDAR的短期人体运动预测中平均提升分别为17.42mm和7.86mm，长期预测中平均提升分别为11.62mm和9.12mm。 ---

Table 4: Ablation of structure-aware body feature descriptor on LIPD dataset.

global	local	100	200	300	400	600	800	1000
✓		63.40	74.65	86.88	98.08	116.28	128.74	137.78
	✓	60.67	71.42	82.93	93.90	114.26	127.05	136.57
✓	✓	60.05	70.84	82.65	93.70	112.84	125.51	135.11

Table 5: Ablation of adaptive motion latent mapping module on LIPD dataset.

	100	200	300	400	600	800	1000
static padding	60.95	71.47	83.11	94.27	113.21	126.33	136.39
linear mapping	60.94	71.93	83.62	94.70	113.58	126.29	136.49
ours	60.05	70.84	82.65	93.70	112.84	125.51	135.11

![Image](images/67adae76bd9e60d12811b4bda8aa5b517a87cabe85b33c7250a93f07d27413da.jpg)

Figure 3: Qualitative comparisons of long-term predictions on LIPD and LiDAR Human26M dataset. “GT” denotes the future ground truth skeletons. The green arrow denotes the motion trace.

这源于我们的方法能够从原始LiDAR点云中完整捕获动态时空运动特征。我们的方法不仅规避了3D姿态估计方法生成中间骨架带来的误差，还保留了原始LiDAR数据中细粒度的点级特征。（2）与基于扩散模型的方法的对比。此外，我们还将Motion Diffusion Model (MDM) [^46]方法适配到基于LiDAR的人体运动预测任务中，将其文本编码器替换为PointNet [^39]编码器进行对比。从Tab. 1和Tab. 2中可以观察到，基于扩散的方法性能有限。这主要是因为扩散类方法依赖逐步对信号去噪来生成连贯输出，难以处理点云数据固有的可变性和噪声。人体运动的细微差别，尤其是微小动作，在扩散过程中会丢失或无法被充分捕获。此外，图3中的视觉对比凸显了我们的方法在预测长期复杂运动方面的优越性。例如在预测LIPD中的弯腰起身动作，以及LiDAR Human26M中的左手下落、右手抬起动作时，MDM和两阶段方法仅能预测短期运动，或是保持与历史运动一致。通过对原始视觉输入得到的结构感知运动特征之间的动态时空相关性进行有效建模，我们的方法在3D人体运动预测的真实场景中具备更高的精度与适用性。 ### 4.3 网络与模块设计的消融实验 (1) 整体网络设计消融实验。我们在LIPD [^61]数据集上通过全面的消融研究评估了我们所提模块的有效性，详细结果见表3。值得注意的是，我们的基线模型仅专注于全局几何特征提取，并集成了自适应运动潜映射模块。加入细粒度局部语义特征后，短期预测和长期预测分别平均获得了2.65mm和2.04mm的精度提升。我们新增的时空相关性细化模块对不同身体关节与结构感知运动特征之间的时空关系进行显式建模，进一步优化了3D人体运动预测结果。引入辅助点回归头也通过提供额外监督提升了性能，增强了网络的预测能力。 (2) 结构感知人体特征描述子。Tab. 4中的分析凸显了细粒度局部语义特征建模的重要性，尤其在捕捉细微人体动作方面更是如此。我们的方法有效利用了整体全局几何运动特征与详细的局部语义信息，能够得到更鲁棒、更精确的人体运动预测结果。 (3) 自适应运动隐映射。为了验证我们的自适应运动隐映射模块的有效性，我们开展了对比实验：将该模块的可学习运动查询替换为通过MLP实现的时序维度线性映射。此外，我们还将我们的方法与「静态填充」方法进行对比，该方法在输入阶段通过复制已观测运动的最后一帧来外推未来运动。如Tab. 5所示，我们的方法取得了更优异的性能。这得益于我们的可学习运动查询能够选择性地从历史运动特征中吸收信息，并将其更准确地投影到未来运动隐空间中。 ---

Table 6: MinMPJPE(mm) results of diverse motion prediction extension. "AVG" means the average MPJPE(mm).

motions	LIPD [^61]						LiDARHuman26M [^18]
motions	200ms $\downarrow$	400ms $\downarrow$	600ms $\downarrow$	800ms $\downarrow$	1000ms $\downarrow$	AVG $\downarrow$	200ms $\downarrow$	400ms $\downarrow$	600ms $\downarrow$	800ms $\downarrow$	1000ms $\downarrow$	AVG $\downarrow$
1	70.84	93.70	113.24	126.49	136.10	108.07	69.88	84.64	102.16	112.51	118.40	97.51
4	68.61	87.49	98.25	106.03	117.68	95.61	64.57	78.09	91.16	98.25	107.21	87.85

Table 7: Ablation on LIPD with simulated occlusion.

occlusion ratio	100	200	300	400	600	800	1000
0%	60.05	70.84	82.65	93.70	112.84	125.51	135.11
20%	61.60	72.60	84.48	95.68	114.66	127.31	136.72
40%	62.96	74.22	86.34	97.70	116.16	128.62	137.88
80%	66.57	78.29	90.75	102.20	120.28	132.59	141.40

### 4.4 泛化能力测试 (1) 距离。为了评估我们的LiDAR-HMP在不同稀疏度、不同距离点云上的泛化能力，我们在LIPD测试集上对该方法开展了评估。图4展示了不同距离下0.4秒短期运动预测和1.0秒长期运动预测的性能表现。尽管随着距离增加，激光雷达获取的人体点云密度下降，导致表示变得更稀疏，但我们的方法在远至17米的长距离范围内仍能保持稳定性能。这种稳定性对于自动驾驶、机器人避障这类需要长距离运动预测的大规模应用至关重要。在约20米距离处，点云数量可能减少到仅30个左右，仅能捕捉到基础的人体轮廓，这给捕捉细节动作带来了挑战。尽管如此，即使在这类极端条件下，我们的方法始终能实现最优性能。 ![Image](images/888812b9f97b0c76feabe732316ad007686ebc8dbb177857af0a6e2dbaaeff6c.jpg) ![Image](images/d5eb85ad2d09dc6a3886fb3b9a51f5f19e08e0844aaa7e2dcbb438d018438044.jpg)

Figure 4: Evaluation for the generalization capability on various distances on LIPD.

(2) 遮挡与噪声。为了评估我们的算法对遮挡和噪声的鲁棒性，我们在LIPD数据集上开展了仿真实验。我们通过在人体点云周围添加30个噪声点引入随机噪声，并分别对20%、40%和80%的帧添加噪声。在遮挡仿真中，我们在人体上随机遮挡一个边长为0.4米的立方区域内的点，分别影响20%、40%和80%的帧。结果如表7和表8所示，

Table 8: Ablation on LIPD with simulated noise.

noise ratio	100	200	300	400	600	800	1000
0%	60.05	70.84	82.65	93.70	112.84	125.51	135.11
20%	61.49	72.52	84.55	95.81	113.97	126.63	136.18
40%	62.29	73.29	85.24	96.42	114.43	127.27	136.96
80%	63.02	74.02	85.93	97.13	115.47	128.21	137.55

结果表明，即使在80%噪声或遮挡的严峻条件下，我们算法的性能仅出现轻微下降，突显了其对噪声和遮挡的鲁棒性。更多噪声和遮挡场景的可视化结果详见我们的补充材料。 (3) 实际应用。图1表明，本文方法适用于野生场景，能够在昼夜真实场景中捕捉人体运动，实时性能约为40 fps。这充分证明了我们的方法在实际应用中的可行性和优越性。 ### 4.5 多样化运动预测扩展由于人类行为本身具有自发性和不可预测性，仅输出单一结果的确定性动作预测，对于需要预判多种可能结果以做出准确决策的场景而言并非最优方案。为解决这一问题，我们将本文框架扩展至多样化人体运动预测，最多可覆盖四种潜在的未来运动。我们对确定性运动预测和多样化运动预测进行了对比分析，详细结果见表6。我们遵循现有多样化人体运动预测方法 [^10]，计算真实值与最接近真实值的预测结果之间的MPJPE。结果表明，随着预测时间范围增加，人体运动的不确定性也会随之上升。这凸显了采用多样化预测的优势，在长期预测中尤为明显。这些多样化运动预测结果的可视化可在我们的补充材料中查看。 ## 5 结论我们提出了首个适用于实际场景的基于单LiDAR的三维人体运动预测方法。依托我们设计的高效结构感知人体特征描述子，我们的方法将观测到的运动流形自适应映射到未来，并对人体运动的时空相关性进行建模以实现进一步优化。此外，我们扩展了该方法以支持多样性预测，可适配多种潜在未来运动，从而提升实际应用中的决策效果。大量实验验证了我们的方法在实际人体运动预测场景中具备优异的性能和泛化能力。 --- ## 参考文献 [^1]: Emre Aksan, Manuel Kaufmann, Peng Cao, and Otmar Hilliges. 2021. A spatiotemporal transformer for 3d human motion prediction. In 2021 International Conference on 3D Vision (3DV). IEEE, 565–574. [^2]: Yujun Cai, Lin Huang, Yiwei Wang, Tat-Jen Cham, Jianfei Cai, Junsong Yuan, Jun Liu, Xu Yang, Yiheng Zhu, Xiaohui Shen, et al. 2020. Learning progressive joint propagation for human motion prediction. In Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part VII 16. Springer, 226–242. [^3]: Ming Chen, Zhewei Wei, Zengfeng Huang, Bolin Ding, and Yaliang Li. 2020. Simple and deep graph convolutional networks. In International conference on machine learning. PMLR, 1725–1735. [^4]: Runnan Chen, Xinge Zhu, Nenglun Chen, Wei Li, Yuexin Ma, Ruigang Yang, and Wenping Wang. 2023. Bridging Language and Geometric Primitives for Zero-shot Point Cloud Segmentation. In Proceedings of the 31st ACM International Conference on Multimedia. 5380–5388. [^5]: Xiaodong Chen, Wu Liu, Xinchen Liu, Yongdong Zhang, Jungong Han, and Tao Mei. 2022. Maple: Masked pseudo-labeling autoencoder for semi-supervised point cloud action recognition. In Proceedings of the 30th ACM International Conference on Multimedia. 708–718. [^6]: Peishan Cong, Ziyi WangZhiyang Dou, Yiming Ren, Wei Yin, Kai Cheng, Yujing Sun, Xiaoxiao Long, Xinge Zhu, and Yuexin Ma. 2024. LaserHuman: Language-guided Scene-aware Human Motion Generation in Free Environment. arXiv preprint arXiv:2403.13307 (2024). [^7]: Peishan Cong, Yiteng Xu, Yiming Ren, Juze Zhang, Lan Xu, Jingya Wang, Jingyi Yu, and Yuexin Ma. 2022. Weakly Supervised 3D Multi-person Pose Estimation for Large-scale Scenes based on Monocular Camera and Single LiDAR. arXiv preprint arXiv:2211.16951 (2022). [^8]: Yudi Dai, Yi Lin, Chenglu Wen, Siqi Shen, Lan Xu, Jingyi Yu, Yuexin Ma, and Cheng Wang. 2022. HSC4D: Human-centered 4D Scene Capture in Large-scale Indoor-outdoor Space Using Wearable IMUs and LiDAR. CVPR (2022), 6782–6792. [^9]: Lingwei Dang, Yongwei Nie, Chengjiang Long, Qing Zhang, and Guiqing Li. 2021. Msr-gcn: Multi-scale residual graph convolution networks for human motion prediction. In Proceedings of the IEEE/CVF international conference on computer vision. 11467–11476. [^10]: Lingwei Dang, Yongwei Nie, Chengjiang Long, Qing Zhang, and Guiqing Li. 2022. Diverse human motion prediction via gumbel-softmax sampling from an auxiliary space. In Proceedings of the 30th ACM International Conference on Multimedia. 5162–5171. [^11]: Nemanja Djuric, Vladan Radosavljevic, Henggang Cui, Thi Nguyen, Fang-Chieh Chou, Tsung-Han Lin, Nitin Singh, and Jeff Schneider. 2020. Uncertainty-aware short-term motion prediction of traffic actors for autonomous driving. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision. 2095–2104. [^12]: Katerina Fragkiadaki, Sergey Levine, Panna Felsen, and Jitendra Malik. 2015. Recurrent network models for human dynamics. In Proceedings of the IEEE international conference on computer vision. 4346–4354. [^13]: Xuehao Gao, Shaoyi Du, Yang Wu, and Yang Yang. 2023. Decompose more and aggregate better: Two closer looks at frequency representation learning for human motion prediction. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 6451–6460. [^14]: Liang-Yan Gui, Yu-Xiong Wang, Xiaodan Liang, and José MF Moura. 2018. Adversarial geometry-aware human motion prediction. In Proceedings of the European Conference on Computer Vision (ECCV). 786–803. [^15]: Wenbo Hu, Changgong Zhang, Fangneng Zhan, Lei Zhang, and Tien-Tsin Wong. 2021. Conditional directed graph convolution for 3d human pose estimation. In Proceedings of the 29th ACM International Conference on Multimedia. 602–611. [^16]: Siyuan Huang, Bo Zhang, Botian Shi, Hongsheng Li, Yikang Li, and Peng Gao. 2023. Sug: Single-dataset unified generalization for 3d point cloud classification. In Proceedings of the 31st ACM International Conference on Multimedia. 8644–8652. [^17]: Ashesh Jain, Amir R Zamir, Silvio Savarese, and Ashutosh Saxena. 2016. Structural-rnn: Deep learning on spatio-temporal graphs. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 5308–5317. [^18]: Jialian Li and etc. 2022. LiDARCap: Long-range Marker-less 3D Human Motion Capture with LiDAR Point Clouds. In CVPR. 20502–20512. [^19]: Maosen Li, Siheng Chen, Zijing Zhang, Lingxi Xie, Qi Tian, and Ya Zhang. 2022. Skeleton-parted graph scattering networks for 3d human motion prediction. In European conference on computer vision. Springer, 18–36. [^20]: Maosen Li, Siheng Chen, Yangheng Zhao, Ya Zhang, Yanfeng Wang, and Qi Tian. 2020. Dynamic multiscale graph neural networks for 3d skeleton based human motion prediction. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 214–223. [^21]: Ming Liang, Bin Yang, Rui Hu, Yun Chen, Renjie Liao, Song Feng, and Raquel Urtasun. 2020. Learning lane graph representations for motion forecasting. In Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part II 16. Springer, 541–556. [^22]: Guanze Liu, Yu Rong, and Lu Sheng. 2021. Votehmr: Occlusion-aware voting network for robust 3d human mesh recovery from partial point clouds. In Proceedings of the 29th ACM International Conference on Multimedia. 955–964. [^23]: Hanbing Liu, Jun-Yan He, Zhi-Qi Cheng, Wangmeng Xiang, Qize Yang, Wenhao Chai, Gaoang Wang, Xu Bao, Bin Luo, Yifeng Geng, et al. 2023. Posynda: Multi-hypothesis pose synthesis domain adaptation for robust 3d human pose estimation. In Proceedings of the 31st ACM International Conference on Multimedia. 5542–5551. [^24]: Jiaming Liu, Yue Wu, Maoguo Gong, Qiguang Miao, Wenping Ma, and Cai Xu. 2023. Exploring Dual Representations in Large-Scale Point Clouds: A Simple Weakly Supervised Semantic Segmentation Framework. In Proceedings of the 31st ACM International Conference on Multimedia. 2371–2380. [^25]: Yicheng Liu, Jinghuai Zhang, Liangji Fang, Qinhong Jiang, and Bolei Zhou. 2021. Multimodal motion prediction with stacked transformers. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 7577–7586. [^26]: Zhenguang Liu, Shuang Wu, Shuyuan Jin, Shouling Ji, Qi Liu, Shijian Lu, and Li Cheng. 2022. Investigating pose representations and motion contexts modeling for 3D motion prediction. IEEE transactions on pattern analysis and machine intelligence 45, 1 (2022), 681–697. [^27]: Zhiwei Liu, Xiangyu Zhu, Lu Yang, Xiang Yan, Ming Tang, Zhen Lei, Guibo Zhu, Xuetao Feng, Yan Wang, and Jinqiao Wang. 2021. Multi-initialization optimization network for accurate 3d human pose and shape estimation. In Proceedings of the 29th ACM International Conference on Multimedia. 1976–1984. [^28]: Yuhang Lu, Qi Jiang, Runnan Chen, Yuenan Hou, Xinge Zhu, and Yuexin Ma. 2023. See more and know more: Zero-shot point cloud segmentation via multi-modal visual data. In Proceedings of the IEEE/CVF International Conference on Computer Vision. 21674–21684. [^29]: Kedi Lyu, Zhenguang Liu, Shuang Wu, Haipeng Chen, Xuhong Zhang, and Yuyu Yin. 2021. Learning human motion prediction via stochastic differential equations. In Proceedings of the 29th ACM International Conference on Multimedia. 4976–4984. [^30]: Tiezheng Ma, Yongwei Nie, Chengjiang Long, Qing Zhang, and Guiqing Li. 2022. Progressively generating better initial guesses towards next stages for high-quality human motion prediction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 6437–6446. [^31]: Naureen Mahmood, Nima Ghorbani, Nikolaus F Troje, Gerard Pons-Moll, and Michael J Black. 2019. AMASS: Archive of motion capture as surface shapes. In Proceedings of the IEEE/CVF international conference on computer vision. 5442–5451. [^32]: Wei Mao, Miaomiao Liu, and Mathieu Salzmann. 2020. History repeats itself: Human motion prediction via motion attention. In Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part XIV 16. Springer, 474–489. [^33]: Julieta Martinez, Michael J Black, and Javier Romero. 2017. On human motion prediction using recurrent neural networks. In Proceedings of the IEEE conference on computer vision and pattern recognition. 2891–2900. [^34]: Nigamaa Nayakanti, Rami Al-Rfou, Aurick Zhou, Kratarth Goel, Khaled S Refaat, and Benjamin Sapp. 2023. Wayformer: Motion forecasting via simple & efficient attention networks. In 2023 IEEE International Conference on Robotics and Automation (ICRA). IEEE, 2980–2987. [^35]: Zhenhua Ning, Zhuotao Tian, Guangming Lu, and Wenjie Pei. 2023. Boosting Few-shot 3D Point Cloud Segmentation via Query-Guided Enhancement. In Proceedings of the 31st ACM International Conference on Multimedia. 1895–1904. [^36]: Zehai Niu, Ke Lu, Jian Xue, Haifeng Ma, and Runchen Wei. 2021. Multi-view 3D Smooth Human Pose Estimation based on Heatmap Filtering and Spatiotemporal Information. In Proceedings of the 29th ACM International Conference on Multimedia. 442–450. [^37]: Xidong Peng, Runnan Chen, Feng Qiao, Lingdong Kong, Youquan Liu, Tai Wang, Xinge Zhu, and Yuexin Ma. 2023. Sam-guided unsupervised domain adaptation for 3d segmentation. arXiv preprint arXiv:2310.08820 (2023). [^38]: Xidong Peng, Xinge Zhu, and Yuexin Ma. 2023. Cl3d: Unsupervised domain adaptation for cross-lidar 3d detection. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 37. 2047–2055. [^39]: Charles R Qi, Hao Su, Kaichun Mo, and Leonidas J Guibas. 2017. Pointnet: Deep learning on point sets for 3d classification and segmentation. In Proceedings of the IEEE conference on computer vision and pattern recognition. 652–660. [^40]: Yiming Ren, Xiao Han, Yichen Yao, Xiaoxiao Long, Yujing Sun, and Yuexin Ma. 2024. LiveHPS++: Robust and Coherent Motion Capture in Dynamic Free Environment. arXiv preprint arXiv:2407.09833 (2024). [^41]: Yiming Ren, Xiao Han, Chengfeng Zhao, Jingya Wang, Lan Xu, Jingyi Yu, and Yuexin Ma. 2024. LiveHPS: LiDAR-based Scene-level Human Pose and Shape Estimation in Free Environment. arXiv preprint arXiv:2402.17171 (2024). [^42]: Chuanfu Shen, Chao Fan, Wei Wu, Rui Wang, George Q Huang, and Shiqi Yu. 2023. Lidargait: Benchmarking 3d gait recognition with point clouds. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 1054–1063. ## [^43]: Pengxiang Su, Zhenguang Liu, Shuang Wu, Lei Zhu, Yifang Yin, and Xuanjing Shen. 2021. Motion prediction via joint dependency modeling in phase space. In Proceedings of the 29th ACM International Conference on Multimedia. 713–721. --- [^44]: Jiangxin Sun, Zihang Lin, Xintong Han, Jian-Fang Hu, Jia Xu, and Wei-Shi Zheng. 2021. Action-guided 3d human motion prediction. Advances in Neural Information Processing Systems 34 (2021), 30169–30180. [^45]: Jianwei Tang, Jieming Wang, and Jian-Fang Hu. 2023. Predicting human poses via recurrent attention network. Visual Intelligence 1, 1 (2023), 18. [^46]: Guy Tevet, Sigal Raab, Brian Gordon, Yoni Shafir, Daniel Cohen-or, and Amit Haim Bermano. 2023. Human Motion Diffusion Model. In The Eleventh International Conference on Learning Representations. [^47]: Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. 2017. Attention is all you need. Advances in neural information processing systems 30 (2017). [^48]: Jiexin Wang, Yujie Zhou, Wenwen Qiang, Ying Ba, Bing Su, and Ji-Rong Wen. 2023. Spatio-Temporal Branching for Motion Prediction using Motion Increments. In Proceedings of the 31st ACM International Conference on Multimedia. 4290–4299. [^49]: Yuanbin Wang, Shaofei Huang, Yulu Gao, Zhen Wang, Rui Wang, Kehua Sheng, Bo Zhang, and Si Liu. 2023. Transferring CLIP's Knowledge into Zero-Shot Point Cloud Semantic Segmentation. In Proceedings of the 31st ACM International Conference on Multimedia. 3745–3754. [^50]: Zhihao Wang, Yulin Zhou, Ningyu Zhang, Xiaosong Yang, Jun Xiao, and Zhao Wang. 2024. Existence Is Chaos: Enhancing 3D Human Motion Prediction with Uncertainty Consideration. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 38. 5841–5849. [^51]: Peng Wu, Xiankai Lu, Jianbing Shen, and Yilong Yin. 2023. Clip Fusion with Bi-level Optimization for Human Mesh Reconstruction from Monocular Videos. In Proceedings of the 31st ACM International Conference on Multimedia. 105–115. [^52]: Chenxin Xu, Robby T Tan, Yuhong Tan, Siheng Chen, Xinchao Wang, and Yanfeng Wang. 2023. Auxiliary tasks benefit 3d skeleton-based human motion prediction. In Proceedings of the IEEE/CVF International Conference on Computer Vision. 9509–9520. [^53]: Chenxin Xu, Robby T Tan, Yuhong Tan, Siheng Chen, Yu Guang Wang, Xinchao Wang, and Yanfeng Wang. 2023. Eqmotion: Equivariant multi-agent motion prediction with invariant interaction reasoning. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 1410–1420. [^54]: Yiteng Xu, Peishan Cong, Yichen Yao, Runnan Chen, Yuenan Hou, Xinge Zhu, Xuming He, Jingyi Yu, and Yuexin Ma. 2023. Human-centric scene understanding for 3d large-scale scenarios. In Proceedings of the IEEE/CVF International 计算机视觉会议。20349–20359。 [^55]: Yiteng Xu, Kecheng Ye, Xiao Han, Yiming Ren, Xinge Zhu, and Yuexin Ma. 2024. A Unified Framework for Human-centric Point Cloud Video Understanding. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 1155–1164. [^56]: Yichen Yao, Zimo Jiang, Yujing Sun, Zhencai Zhu, Xinge Zhu, Runnan Chen, and Yuexin Ma. 2024. HUNTER: Unsupervised Human-centric 3D Detection via Transferring Knowledge from Synthetic Instances to Real Scenes. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 28120–28129. [^57]: Maosheng Ye, Jiamiao Xu, Xunnong Xu, Tengfei Wang, Tongyi Cao, and Qifeng Chen. 2023. Bootstrap motion forecasting with self-consistent constraints. In Proceedings of the IEEE/CVF International Conference on Computer Vision. 8504–8514. [^58]: Jinlu Zhang, Yujin Chen, and Zhigang Tu. 2022. Uncertainty-aware 3d human pose estimation from monocular video. In Proceedings of the 30th ACM International Conference on Multimedia. 5102–5113. [^59]: Jason Y Zhang, Panna Felsen, Angjoo Kanazawa, and Jitendra Malik. 2019. Predicting 3d human dynamics from video. In Proceedings of the IEEE/CVF International Conference on Computer Vision. 7114–7123. [^60]: Wanying Zhang, Shen Zhao, Fanyang Meng, Songtao Wu, and Mengyuan Liu. 2023. Dynamic Compositional Graph Convolutional Network for Efficient Composite Human Motion Prediction. In Proceedings of the 31st ACM International Conference on Multimedia. 2856–2864. [^61]: Chengfeng Zhao, Yiming Ren, Yannan He, Peishan Cong, Han Liang, Jingyi Yu, Lan Xu, and Yuexin Ma. 2022. LiDAR-aid Inertial Poser: Large-scale Human Motion Capture by Sparse Inertial and LiDAR Sensors. arXiv preprint arXiv:2205.15410 (2022). [^62]: Ziyu Zhao, Zhenyao Wu, Xinyi Wu, Canyu Zhang, and Song Wang. 2022. Crossmodal few-shot 3d point cloud semantic segmentation. In Proceedings of the 30th ACM international conference on multimedia. 4760–4768. [^63]: Kangkang Zhou, Lijun Zhang, Feng Lu, Xiang-Dong Zhou, and Yu Shi. 2023. Efficient Hierarchical Multi-view Fusion Transformer for 3D Human Pose Estimation. In Proceedings of the 31st ACM International Conference on Multimedia. 7512–7520.