# Motion-X：一个大规模的三维表现力全身人体运动数据集林静 $^{1,2,*}$、曾爱玲 $^{1,*}\dagger$、陆顺林 $^{1,3,*}$、蔡远浩 $^{2}$、张瑞茂 $^{3}$、王浩谦 $^{2}$、张磊 $^{1}$ $^{1}$国际数字经济研究院（IDEA） $^{2}$清华大学深圳国际研究生院 $^{3}$香港中文大学（深圳） ## 摘要本文介绍了Motion-X，一个大规模的三维表现力全身运动数据集。现有的运动数据集主要包含仅限身体的姿态数据，缺乏面部表情、手部动作以及细粒度的姿态描述。此外，这些数据集大多来自有限的实验室场景，且文本描述为人工标注，这极大地限制了其可扩展性。为了克服这些局限，我们开发了一套全身运动与文本标注流程，能够自动从单视角或多视角视频中标注运动数据，并为每个视频提供全面的语义标签，为每个帧提供细粒度的全身姿态描述。该流程精度高、成本低且具备进一步研究的可扩展性。基于该流程，我们构建了Motion-X数据集，其中包含1560万个精确的SMPL-X三维全身姿态标注，涵盖来自海量场景的8.11万条运动序列。此外，Motion-X还提供了1560万个帧级全身姿态描述以及8.11万个序列级语义标签。大量实验验证了该标注流程的准确性，也证明了Motion-X在提升表现力强、多样性丰富且自然的运动生成效果，以及三维全身人体网格恢复方面具有显著优势。 ## 1 引言人体运动生成旨在自动合成自然的人体动作，它在机器人、动画、游戏及生成式创作领域有着广泛的应用。给定文本描述或音频指令后，运动生成过程可被控制以获得所需的人体运动序列。近年来，文本条件驱动的运动生成受到了越来越多的关注，因为它能实现更自然的交互方式 [^1] [^2] [^3] [^4] [^5] [^6] [^7] [^8] [^9] [^10]。尽管现有的文本-动作数据集[^4] [^11] [^6] [^8]极大地促进了动作生成技术的发展[^2] [^12] [^13] [^14] [^9]，但其规模、多样性和表现力仍不尽如人意。以图1(a)中描绘的“一个男人正开心地弹钢琴”为例，现有数据集[^4]中的动作仅包含身体运动，缺乏手指动作或面部表情。缺失的手部动作和面部表情严重制约了动作的表现力和真实感。此外，某些特殊动作，如高水平滑雪、高空作业和骑乘等，很难在室内场景中捕捉到。总而言之，现有数据集存在四大局限：1）仅有身体动作，缺少面部表情和手部姿态；2）多样性和数量不足，且仅覆盖室内场景；3）缺乏多样化且长时序的动作序列；4）人工标注的文本标签难以扩展、专业性差且耗时费力。这些局限阻碍了现有生成方法合成具有多样化动作类型的富有表现力的全身动作。因此，如何从多场景中获取大规模的全身动作与文本标注，对于解决数据稀缺问题至关重要。 --- ![Image](images/bddf6427d1920c7c8a7ad601fb8636de026cbf639310c46aa3f0ced20851ef59.jpg)

(a) HumanML3D

![Image](images/f857611245895a2ecda2f0b47528ca476c54d0109e82f1a3fb0deb4bc1f19f43.jpg)

(b) Motion-X (Ours)

Figure 1: Different from (a) previous motion dataset [^4] [^8], (b) our dataset captures body, facial expressions, and hand gestures. We highlight the comparisons of facial expressions and hand gestures.

与基于标记的室内动作捕捉系统相比，无标记的基于视觉的动作捕捉方法[^15] [^16] [^17] [^18] [^19] [^20]在从大量视频中捕捉大规模动作方面展现出巨大潜力。同时，人体动作可被视为一系列运动学结构，利用基于规则的技术[^3]即可将其自动转化为姿态脚本。更重要的是，尽管无标记捕捉（如伪标签）的精度不及基于标记的方法，但收集大量且信息丰富的动作数据，尤其是局部动作，仍具有积极意义[^21] [^15] [^22] [^23] [^24]。此外，文本驱动的动作生成任务需要语义上对应的动作标签，而非与顶点对应的网格标签，因此对动作捕捉误差的容忍度更高。基于上述考量，我们设计了一套可扩展且系统化的流程，用于多视角及单视角视频中的动作与文本标注。首先，我们从各种场景中收集并筛选大量包含具有挑战性、高质量、多风格动作的视频记录，并为其添加序列级的语义标签。随后，我们估算并优化SMPL-X模型[^25]的参数，以实现全身动作标注。由于深度模糊以及不同场景中的各类挑战，现有的单目估计模型往往无法给出令人满意的结果。为解决这一问题，我们系统性地设计了一个高性能框架，融合了多项创新技术，包括用于全身关键点估计的分层方法、基于评分引导的自适应时间平滑与优化方案，以及基于学习的三维人体模型拟合过程。通过整合这些技术，我们能够准确高效地捕捉到最终的三维动作。最后，我们设计了自动算法来为全身姿态生成帧级描述。我们依据SMPL-X参数计算身体部位与手指间的空间关系，从而获取身体和手部脚本；再利用情感分类器提取面部表情，随后将低层次的姿态信息汇总并转化为文本形式的姿态描述。基于该流程，我们收集了一个名为Motion-X的大规模全身动作表达数据集，其中包含1560万帧和8.11万条序列，配有精确的3D全身动作标注、姿态描述以及语义标签。为构建这一数据集，我们从互联网上采集了大量视频，尤其侧重于游戏与动画动作、专业表演以及各种户外动作。此外，我们还纳入了来自八个现有动作数据集的数据 [^26] [^27] [^28] [^11] [^29] [^30] [^31] [^32]。利用Motion-X，我们建立了一个用于评估几种最先进（SOTA）动作生成方法的基准测试。全面的实验证明了Motion-X在生成多样化、富有表现力且逼真的动作方面的优势（如图1(b)所示）。此外，我们还在全身网格恢复任务上验证了Motion-X的通用性与质量。我们的贡献可总结如下： - 我们提出了一个大规模的动作表达数据集，其中包含精确的3D全身动作以及对应的序列级和帧级文本描述。 - 我们精心设计了自动化的动作与文本标注流程，能够高效地大规模获取高质量的人体文本-动作数据。 - 全面的实验证明了该动作标注流程的准确性，以及Motion-X在3D全身动作生成和网格恢复任务中的优势。 ## 2 preliminaries及相关工作在本节中，我们重点介绍用于人体动作生成的`datasets`。关于动作生成方法的更多细节，请参阅附录。 ---

Dataset	Clip	Hour	Motion Annotation		Source	Text Annotation			Scene
Dataset	Clip	Hour	Whole-body?	Source	Motion	Pose	Whole-body?	Indoor	Outdoor	RGB
KIT-ML'16 [^6]	3911	11.2	✗	Marker-based MoCap	6278	0	✗	✓	✗	✗	✗
AMASS'19 [^11]	11265	40.0	✗	Marker-based MoCap	0	0	✗	✓	✗	✗	✗
BABEL'21 [^8]	13220	43.5	✗	Marker-based MoCap	91408	0	✗	✓	✗	✗	✗
Posescript'22 [^3]	-	-	✗	Marker-based MoCap	0	120k	✗	✓	✓	✗	✗
HumanML3D'22 [^4]	14616	28.6	✗	Marker-based MoCap	44970	0	✗	✓	✗	✗	✗
Motion-X (Ours)	81804	144.2	✓	Pseudo GT & MoCap	81084	15.6M	✓	✓	✓	✓	✓

Table 1: Comparisons between Motion-X and existing text-motion datasets. The first column shows the name and public year of datasets. Motion-X provides both indoor and outdoor whole-body motion and text annotations.

标注有序列人体动作与文本的基准测试主要服务于三类任务：动作识别 [^33] [^27] [^34] [^28] [^35] [^36]、人机交互 [^37] [^38] [^39] [^29] [^32] [^40]，以及动作生成 [^4] [^41] [^11] [^6] [^8] [^24]。具体而言，KIT Motion-Language Dataset [^6]是首个包含人体动作与语言描述的公开数据集，能够实现多模态动作生成 [^1] [^5]。尽管已经开发出若干室内人体动作捕捉（mocap）数据集 [^42] [^43] [^44] [^45]，但它们较为零散。其中，AMASS [^11]尤为值得关注，它收集并整合了15个不同的基于光学标记的动作捕捉数据集，通过统一的框架和SMPL参数化方式构建了大规模动作数据集 [^46]。这一重要成果对动作建模及其下游任务大有裨益。此外，BABEL [^8]和HumanML3D [^4]通过众包数据收集来提供语言标签。BABEL针对序列动作提供序列标签或子序列标签，而HumanML3D则从不同工作者处为每段动作剪辑收集三种文本描述。得益于这些文本-动作数据集，各种动作生成方法得以迅速发展，并在生成多样化、逼真且细粒度的动作方面展现出优势 [^2] [^14] [^47] [^48] [^9] [^10]。不过，现有的文本-动作数据集存在诸多局限，比如缺少面部表情和手部动作、数据量不足、动作与场景多样性有限、描述较为粗略且含糊不清，以及缺乏长序列动作。为弥补这些不足，我们开发了一个大规模全身表达性动作数据集，该数据集包含全面的序列级和帧级文本标签。我们的目标是解决这些局限，为未来的研究开辟新途径。我们在表1中提供了Motion-X与现有数据集的定量对比结果。 ## 3 Motion-X数据集 ### 3.1 概述如表2所示，我们从八个数据集和在线视频中收集Motion-X数据，并提供了以下动作与文本标注：1560万个3D全身SMPL-X标注、8.11万个序列级语义描述（如“边走路边挥手并大笑”），以及帧级全身姿态描述。值得注意的是，原始子数据集要么缺少全身动作数据，要么缺少文本标签，而我们仅使用了其他数据集的文本标注。所有标注都经过人工检查以确保质量。在图2中，我们展示了各子数据集的身体、手部和面部关键点的平均时间标准差，凸显了手部动作和面部表情的多样性，从而填补了以往仅包含身体动作的数据集的空白。

Data	Clip	Frame	GT Motion	P-GT Motion	Text
AMASS [^4]	26.3K	5.4M	B	H, F	S
HAA500 [^27]	5.2K	0.3M	-	B, H, F	S
AIST [^30]	1.4K	0.3M	-	B, H, F	S
HuMMan [^26]	0.7K	0.1M	-	B, H, F	S
GRAB [^29]	1.3K	0.4M	B,H	F	S
EgoBody [^32]	1.0K	0.4M	B,H	F	-
BAUM [^31]	1.4K	0.2M	-	F	S
IDEA400 $^{{*}}$	12.5K	2.6M	-	B, H, F	-
Online Videos $^{{*}}$	32.5K	6.0M	-	B, H, F	-
Motion-X	81.1K	15.6M	B, H	B,H,F	S,P

Table 2: Statistics of sub-datasets. B, H, F are body, hand, and face. S and P are semantic and pose texts. P-GT is pseudo ground truth. * denotes videos are collected by us.

![Image](images/fab4686d4b31d569c64f800bc0198ec34d27acf03f19470e2a1d75dcd5c97b41.jpg)

Figure 2: Diversity statistics of the face, hand, and body motions in each subdatasets.

--- ![Image](images/1f0fa96855ca718c160f575feb0186dd33043f7a9ebc1f3cfbd2eef0288e3284.jpg) ![Image](images/60494680c8641badcd9689e00581eb5a1e59fba4a980a92670e17f7dbad9caf0.jpg)

Figure 4: Overview of Motion-X. It includes: (a) diverse facial expressions extracted from BAUM [^31], (b) indoor motion with expressive face and hand motions, (c) outdoor motion with diverse and challenging poses, and (d) several motion sequences. Purple SMPL-X is the observed frame, and the others are neighboring poses.

### 3.2 数据收集如图3所示，整体数据收集流程包含六个关键步骤：1）通过大型语言模型（LLM）[^49]设计并获取动作文本提示；2）收集视频；3）通过人体检测和视频转场检测对候选视频进行预处理；4）捕捉全身动作（见第4.1节）；5）为序列级语义标签和帧级全身姿态描述添加标注（见第4.2节）；6）进行人工检查。我们利用所提出的统一标注框架，从现有数据集中采集了3.7万个动作序列，这些数据集包括多视角数据集（AIST [^30]）、人机交互数据集（EgoBody [^32]和GRAB [^29]）、单视角动作识别数据集（HAA500 [^27]、HuMMan [^26]）以及仅含身体动作的动作捕捉数据集（AMASS [^11]）。对于这类数据集，我们跳过第1步和第2步。值得注意的是，只有EgoBody和GRAB数据集提供包含身体和手部姿态的SMPL-X标签，因此我们对其他动作补充标注SMPL-X标签。对于包含身体动作且手部动作较为静态的AMASS数据集，我们跳过第4步，并通过数据增强机制补充面部表情。面部表情数据来自面部数据集BAUM [^31]，通过面部捕捉与动画模型EMOCA [^50]生成。为了丰富表达性全身动作，我们录制了IDEA400数据集，该数据集包含1.3万个涵盖400种不同动作的动作序列。关于各子数据集及IDEA400的处理细节，详见附录。为了改善外观和运动多样性，我们从网络资源中收集了32.5K段单目视频，涵盖了图4中所展示的各种现实生活场景。由于人类的运动和行为依赖于具体情境且随场景变化而不同，我们借助大语言模型，根据场景和动作功能设计出作为运动提示的动作类别。为确保全面覆盖人类动作，我们的数据集既包含通用场景，也包含特定领域场景。通用场景包括日常动作（如梳头、戴眼镜、涂面霜）、体育活动（如高抬腿、踢腿、俯卧撑）、各种乐器演奏以及户外场景（如骑BMX、心肺复苏、堆雪人）。纳入这些通用场景有助于缩小现有数据与真实生活场景之间的差距。此外，我们还加入了需要高超专业技能的特定领域场景，如舞蹈、武术、太极、表演艺术、奥运会赛事以及娱乐活动。 --- ![Image](images/ac0a287e8b6e19faccfd89b894eb8e7a988ddce55424a9fe4ae44662804f1b42.jpg)

Figure 5: The automatic pipeline for the whole-body motion capture from massive videos, including 2D and 3D whole-body keypoints estimation, local pose optimization, and global translation optimization. This pipeline supports both single- and multi-view inputs. Dashed lines represent the handling of multi-view data exclusively.

这些场景还包括演出、游戏和动画中的动作。基于描述上述场景的提示词，我们运行数据收集流程，从网络资源中采集数据以构建我们的数据集。 ## 4 自动标注流程 ### 4.1 通用全身运动标注概述。为了从海量视频中高效提取大量潜在运动，我们提出了一种用于高质量全身运动捕捉的标注流程，其中包含三项创新技术：(i) 分层式全身关键点估计；(ii) 基于评分引导的自适应时间平滑处理，用于优化抖动运动；(iii) 基于学习的3D人体模型拟合，以实现精准的运动捕捉。 2D关键点估计。由于手部和面部区域尺寸较小，2D全身关键点估计面临较大挑战。尽管近期的研究采用独立网络来解码不同身体部位的特征[^51] [^52]，但这些方法在手部缺失检测方面往往表现不佳，且容易因遮挡或相互作用而产生误差。为克服这些局限，我们设计了一种新颖的分层式关键点标注方法，如图5中的蓝色框所示。我们以COCO-Wholebody数据集[^18]为基础，训练基于ViT模型的ViT-WholeBody[^51]，从而估算出初始全身关键点$\mathbf{K}^{2D} \in \mathbb{R}^{133 \times 2}$及其置信度分数。利用ViT模型建模全身各部位语义关系的能力，我们即便在严重遮挡情况下也能增强手部和面部的检测鲁棒性。随后，我们根据关键点获取手部和面部的边界框，并通过IoU匹配操作利用BodyHands检测器[^53]对这些边界框进行优化。最后，我们将裁剪出的身体、手部和面部区域分别输入三个预先训练好的ViT网络，以估算身体、手部和面部关键点，进而更新$\mathbf{K}^{2D}$。基于评分引导的自适应平滑处理。为解决在严重遮挡、截断和运动模糊等复杂场景下因逐帧姿态估计而产生的抖动问题，同时保留运动细节，我们在传统的Savitzky-Golay滤波器[^54]中引入了新颖的基于评分引导的自适应平滑技术。该滤波器应用于某一运动的2D关键点序列： $$ \bar{\mathbf{K}}_{i}^{\mathrm{2D}}=\sum_{j=-w}^{w}c_{j}\mathbf{K}_{i+j}^{\mathrm{2D}}, $$ 其中 $\mathbf{K}_i^{2\mathrm{D}}$ 是 $i_{\mathrm{th}}$ 帧的原始关键点，$\mathbf{K}_i^{2\mathrm{D}}$ 为平滑后的关键点，w 对应滤波窗口大小的一半，而 $c_j$ 则是滤波系数。与采用固定窗口大小的现有平滑方法不同 [^55] [^56] [^54]，我们利用关键点的置信度分数来自适应地调整窗口大小，以在平滑度和运动细节之间取得平衡。对于置信度较低的关键点，采用更大的窗口大小能够减轻异常值的影响。 3D关键点标注。精确的3D关键点能够提升SMPL-X的估计效果。我们利用大规模预训练模型提供的新信息。因此，对于单视图视频，我们采用在海量3D数据集上训练的预训练模型 [^57] 来估计精确的3D关键点。对于多视图视频，我们利用束调整方法来校准和优化相机参数， --- 随后基于多视图2D关键点来三角测量出3D关键点 $\mathbf{K}^{3D}$。为了增强稳定性，我们在三角测量过程中采用时间平滑处理，并施加3D骨骼长度约束。局部姿态优化。获得关键点后，我们进行局部姿态优化，以对齐每一帧的整体人体模型SMPL-X [^25]。传统的基于优化的方法 [^58] [^25] 往往耗时较长，且由于忽略了图像线索和运动先验，可能得到不理想的结果。我们提出了一种渐进式的学习型人体网格拟合方法来解决这些局限。首先，我们利用最先进的人体网格恢复方法OSX $\Theta$ 和面部重建模型EMOCA [^15] 来预测SMPL-X参数 [^50]。接着，通过迭代优化网络参数，我们最小化以下函数，使人体模型参数 $\hat{\Theta}$ 与目标2D及3D关节位置相匹配，从而实现更高的对齐精度： $$ {\cal L}_{\mathrm{j o i n t}}=\|\hat{\mathbf{K}}^{\mathrm{3D}}-\bar{\mathbf{K}}^{\mathrm{3D}}\|_{1}+\|\hat{\mathbf{K}}^{\mathrm{2D}}-\bar{\mathbf{K}}^{\mathrm{2D}}\|_{1}+\|\hat{\Theta}-\Theta\|_{1}. $$ 这里，$\hat{\mathbf{K}}^{3\mathrm{D}}$ 表示通过对SMPL-X模型生成的3D网格应用线性回归器得到的预测3D关节位置。$\hat{\mathbf{K}}^{2\mathrm{D}}$ 是通过对3D关键点进行透视投影得到的。损失函数的最后一项基于初始参数提供显式的监督，作为3D运动先验。为了减轻潜在的生物物理伪影（如穿透现象和足部滑动），我们加入了一组物理优化约束： $$ L=\lambda_{\mathrm{j o i n t}}L_{\mathrm{j o i n t}}+\lambda_{\mathrm{s m o o t h}}L_{\mathrm{s m o o t h}}+\lambda_{\mathrm{p e n}}L_{\mathrm{p e n}}+\lambda_{\mathrm{p h y}}L_{\mathrm{p h y}}. $$ 这里，$\lambda$ 是每个损失函数的权重因子，而 $L_{smooth}$ 是一阶平滑项： $$ L_{\mathrm{s m o o t h}}=\sum_{t}\|\hat{\Theta}_{2:t}-\hat{\Theta}_{1:t-1}\|_{1}+\sum_{t}\|\hat{\mathbf{K}}_{2:t}^{\mathrm{3D}}-\hat{\mathbf{K}}_{1:t-1}^{\mathrm{3D}}\|_{1}, $$ 其中 $\hat{\Theta}_i$ 和 $\hat{\mathbf{K}}_i^{\mathrm{3D}}$ 分别表示第i帧的SMPL-X参数和关节。为了减轻网格穿透现象，我们使用了碰撞惩罚项 [^59]，记为 $L_{\mathrm{pen}}$。此外，我们还引入了基于PhysCap $L_{\mathrm{phy}}$ 的物理损失 [^60]，以防止出现不合理的姿态。全局运动优化。为了提高估计出的全局轨迹的一致性和真实感，我们基于GLAMR [^19] 进行全局运动优化，同时优化全局运动和相机姿态，使其与视频中的证据（如2D关键点）保持一致： $$ L_{g}=\lambda_{\mathrm{2D}}L_{\mathrm{2D}}+\lambda_{\mathrm{t r a j}}L_{\mathrm{t r a j}}+\lambda_{\mathrm{c a m}}L_{\mathrm{c a m}}+\lambda_{\mathrm{r e g}}L_{\mathrm{r e g}}, $$ 其中 $L_{2D}$ 表示 2D 关键点距离损失，$L_{traj}$ 量化优化后的全局轨迹与 Kama [^61] 估计的轨迹之间的差异。$L_{reg}$ 对全局轨迹施加正则化，$L_{cam}$ 对相机参数施加平滑约束。人工校验。为确保数据质量，我们手动检查了标注结果，剔除了与视频证据不符或存在明显生物物理伪影的动作。 ### 4.2 获取全身动作描述序列动作标签。Motion-X 中的视频来源于网络及现有数据集。对于与动作相关的数据集 [^26]、[^27]、[^16]、[^28]、[^11]、[^29]，我们直接采用其中的动作标签作为序列语义标签之一。同时，我们将视频输入 Video-LLaMA [^62] 模型，筛选出人体动作描述作为补充文本。若视频中包含语义字幕，EasyOCR 会自动提取相关语义信息；对于网络视频，我们还会利用 LLM 生成的搜索查询词 [^49] 作为语义标签。对于没有现成语义信息的视频（如 EgoBody [^32]），则使用 VGG Image Annotator (VIA) [^63] 进行人工标注。至于人脸数据库 BAUM [^31]，我们直接使用原作者提供的面部表情标签。 ![Image](images/e9ca7ba5f62cad704fc20b2371d57e7e2e83ea8fe9761b8773afb85189ff2e4c.jpg)

(a) Whole-body Pose Caption

![Image](images/bd4d806531a20fbfb65a0da750b4fe343718678a081494127213a6c4888d601c.jpg)

Sequence label: Shaolin Kung Fu Wushu Tsunami Kick

(b) Example of the Annotation Result

Figure 6: Illustration of (a) annotation of the whole-body pose description, and (b) an example of the text labels.

--- 全身姿态描述。为每种姿态生成细粒度的姿态描述需涉及三个部分：面部、身体和手部，如图 6(a) 所示。面部表情标注采用在 AffectNet [^50] 上预训练的情感识别模型 EMOCA [^64] 来进行情感分类。针对身体的描述则借助 PoseScript [^3] 的captioning流程，该流程能基于三维关键点生成自然语言形式的低层次描述，这类信息的单元被称为posecodes，例如“膝盖完全弯曲”。我们依据不同身体部位的细粒度类别关系，通过一套通用规则来筛选并整合这些低层次的姿态信息，随后再利用语言聚合原则将整合后的posecodes转化为自然语言文本描述。手部手势描述则是将预先定义的身体部位posecodes扩展至细粒度的手势范畴：我们通过手指弯曲程度和手指间距离定义了六种基础手指姿态，以此生成描述，比如“弯曲”和“分开”。我们根据三维手部关键点计算各关节的角度并确定对应的范围；例如，若 $\vec{V}(\mathbf{K}_{\text{wrist}}, \mathbf{K}_{\text{fingertip}})$ 与 $\vec{V}(\mathbf{K}_{\text{fingertip}}, \mathbf{K}_{\text{fingeroot}})$ 之间的角度介于 120 到 160 度之间，则该手指姿态被标记为“轻微弯曲”。图 6(b) 展示了标注文本标签的示例。总结。基于上述标注工作，我们构建了 Motion-X 数据集，其中包含 81.1K 个视频片段、15.6M 个 SMPL-X 姿态数据，以及对应的姿态和语义文本标签。 ## 5 实验本节中，我们首先在二维关键点和三维 SMPL-X 数据集上验证运动标注流程的准确性；接着基于 Motion-X 构建文本驱动的全身运动生成基准测试；最后展示 Motion-X 在全身人体网格恢复任务中的有效性。 ![Image](images/c470d2e98a4b2fc50be22942635af7c57ab9c128b6339d9d5102b4c756dc3c77.jpg)

(a) 2D Whole-body Keypoints Annotation

输入图像

(b) 3D Whole-body Mesh Annotation

Figure 7: Qualitative comparisons of (a) 2D keypoints annotation with widely used methods [^65] [^66] and (b) the 3D mesh annotation with the popular fitting method [^25] with ours.

Method	hand $\uparrow$		face $\uparrow$		whole-body $\uparrow$
Method	AP	AR	AP	AR	AP	AR
OpenPose [^65]	38.6	43.3	76.5	84.0	44.2	52.3
HRNet [^67]	50.3	60.2	73.7	80.9	58.2	67.1
ViTPose [^18]	47.4	59.4	59.8	70.7	57.7	69.4
RTMPose-1 [^68]	52.3	60.0	84.4	87.6	63.2	69.4
Ours	64.9	74.0	91.6	94.4	73.5 $\uparrow$16.3%	80.3 $\uparrow$15.7%

Method	PA-MPJPE $\downarrow$	PA-MPVPE $\downarrow$	MPVPE $\downarrow$
Hand4Whole [^17]	58.9	50.3	79.2
OSX [^15]	55.6	48.7	70.8
PyMAF-X [^69]	52.8	50.2	64.9
SMPLify-X [^25]	62.6	52.9	-
Ours	33.5	31.8	44.7 $\downarrow$ $30.1\%$
Ours w/GT 3Dkpt	23.9	19.7	30.7 $\downarrow$ $52.7\%$

(a) Evaluation result on COCO-Wholebody [^51] dataset.

(b) Reconstruction error on EHF [^25] dataset.

Table 3: Evaluation of motion annotation pipeline on (a) 2D keypoints and (b) 3D SMPL-X datasets.

### 5.1 运动标注流程的评估二维关键点标注。我们在COCO-WholeBody [^51]数据集上评估所提出的二维关键点标注方法，并将评估结果与四种最先进的关键点估计方法 [^65] [^67] [^18] [^68]进行比较。为确保公平比较，所有方法均采用相同的输入图像尺寸 $256 \times 192$。从表3(a)可以看出，我们的标注流程在平均精度上比现有方法高出15%以上。此外，我们在图7(a)中提供了定性比较结果，展示了该方法在复杂和遮挡场景下强大且优越的性能。三维SMPL-X标注。我们在EHF [^25]数据集上评估我们基于学习的拟合方法，并将其与四种开源的人体网格恢复方法进行比较。遵循以往的研究，我们采用顶点平均误差（MPVPE）、Procrustes对齐的顶点平均误差（PA-MPVPE）以及Procrustes对齐的关节平均误差（PA-MPJPE）作为评估指标（单位：毫米）。表3(b)中的结果显示，我们的渐进式拟合方法优势明显（误差降低超过30%）。具体而言，当以真实三维关键点作为监督信息时，PA-MPVPE仅为19.71毫米。图7(b)展示了从前视图和侧视图看到的标注网格，表明三维SMPL-X标注可靠，且深度模糊问题得到缓解。由于篇幅限制，更多结果详见附录。 ---

Methods	R Precision $\uparrow$			FID $\downarrow$	MM Dist $\downarrow$	Diversity $\rightarrow$	MModality
Methods	Top 1	Top 2	Top 3	FID $\downarrow$	MM Dist $\downarrow$	Diversity $\rightarrow$	MModality
Real	0.573 $\pm$0.005	0.765 $\pm$0.003	0.850 $\pm$0.005	0.001 $\pm$0.001	2.476 $\pm$0.002	13.174 $\pm$0.227	-
MDM [^14]	0.290 $\pm$0.011	0.459 $\pm$0.010	0.577 $\pm$0.008	2.094 $\pm$0.230	6.221 $\pm$0.115	11.895 $\pm$0.354	2.624 $\pm$0.083
MLD [^2]	0.440 $\pm$0.002	0.624 $\pm$0.004	0.733 $\pm$0.003	0.914 $\pm$0.056	3.407 $\pm$0.020	13.001 $\pm$0.245	2.558 $\pm$0.084
T2M-GPT [^48]	0.502 $\pm$0.004	0.697 $\pm$0.005	0.791 $\pm$0.007	0.699 $\pm$0.012	3.192 $\pm$0.035	13.132 $\pm$0.127	2.510 $\pm$0.027
MotionDiffuse [^9]	0.559 $\pm$0.001	0.748 $\pm$0.004	0.842 $\pm$0.003	0.457 $\pm$0.007	2.542 $\pm$0.018	13.576 $\pm$0.161	1.620 $\pm$0.152

Table 4: Benchmark of text-driven motion generation on Motion-X test set. ‘→’ means results are better if the metric is closer to the real motions and $\pm$ indicates the 95% confidence interval. The best results are in bold.

Train Set	R-Precision $\uparrow$	HumanML3D (Test)			R-Precision $\uparrow$	Motion-X (Test)
Train Set	R-Precision $\uparrow$	FID $\downarrow$	Diversity $\rightarrow$	MModality	R-Precision $\uparrow$	FID $\downarrow$	Diversity $\rightarrow$	MModality
Real (GT)	0.749 $\pm$0.002	0.002 $\pm$0.001	9.837 $\pm$0.084	-	0.850 $\pm$0.005	0.001 $\pm$0.001	13.174 $\pm$0.227	-
HumanML3D	0.657 $\pm$0.004	1.579 $\pm$0.050	10.098 $\pm$0.052	2.701 $\pm$0.143	0.570 $\pm$0.003	12.309 $\pm$0.127	9.529 $\pm$0.165	2.960 $\pm$0.066
Motion-X	0.695 $\pm$0.005	0.999 $\pm$0.042	9.871 $\pm$0.099	2.827 $\pm$0.138	0.733 $\pm$0.003	0.914 $\pm$0.056	13.001 $\pm$0.245	2.558 $\pm$0.084

表5：HumanML3D与Motion-X的跨数据集比较。我们分别用HumanML3D和Motion-X的训练集训练MLD，随后在其测试集上进行评估。 ### 5.2 对文本驱动全身动作生成的影响实验设置。我们将Motion-X随机划分为训练集（80%）、验证集（5%）和测试集（15%）。采用SMPL-X作为表达性动作生成的动作表示形式。评估指标。我们采用了与 [^4] 相同的评估指标，包括Frechet Inception距离（FID）、多模态性、多样性、R-精度以及多模态距离。由于篇幅限制，关于实验设置和评估指标的更多细节详见附录。 Motion-X基准测试。我们在该数据集上训练并评估四种基于扩散的动作生成方法，包括MDM [^14]、MLD [^2]、MotionDiffuse [^9] 和 T2M-GPT [^48]。由于以往的数据集仅包含序列级的动作描述，我们保持了类似的设置以尽量减少模型适配工作，并将语义标签作为文本输入。评估共进行了20次（多模态性评估为5次），置信区间为95%。从表4可以看出，MotionDiffuse在大多数指标上表现优异；不过其在多模态性方面的得分最低，表明它生成的动作多样性较差。值得注意的是，T2M-GPT在我们数据集上的表现可与MotionDiffuse媲美，同时还能保持较高的多样性，这显示出我们的大规模数据集在提升基于GPT的方法效能方面具有广阔前景。MDM的多模态性得分最高，但精度最低，说明其生成的动作较为嘈杂且不稳定。最高的Top-1精度仅为55.9%，反映出Motion-X数据集的挑战性。MLD采用了潜空间设计，在保持良好效果的同时速度较快。因此，我们选用MLD开展后续实验，以将Motion-X与现有最大的动作数据集HumanML3D进行比较，并进行消融研究。与HumanML3D的比较。为了验证我们数据集的丰富性、表现力和有效性，我们对Motion-X和HumanML3D进行了对比分析，后者是现有最大的带有文本-动作标签的数据集。我们将HumanML3D中原本以向量形式表示的姿态替换为来自AMASS的对应SMPL-X参数[^11]，并从BAUM中随机提取面部表情来填充面部参数[^31]。我们分别在Motion-X和HumanML3D的训练集上训练MLD模型，随后在两个测试集上评估这两个模型。表5中的结果揭示了一些有价值的发现。首先，Motion-X展现出的多样性（13.174）高于HumanML3D（9.837），这一点从真实值（GT）行中可以看出。这表明Motion-X捕捉到的动作类型范围更广。其次，先在Motion-X上预训练，再在HumanML3D子集上微调的模型，在HumanML3D测试集上的表现十分出色 ![Image](images/a777f754a70b300f415bf8c26a6f29e2aeecd581898cb4676cb7de54ab6a4576.jpg)

Figure 8: Visual comparisons of motions generated by MLD [^2] trained on HumanML3D (in purple) or MotionX (in blue). Please zoom in for a detailed comparison. The model trained with Motion-X can generate more accurate and semantic-corresponded motions.

---

Semantic Label	Pose Discription			FID $\downarrow$
Semantic Label	face text	body text	hand text	FID $\downarrow$
✓				0.914 $\pm$.056
✓	✓			0.784 $\pm$.032
✓	✓	✓		0.671 $\pm$.016
✓	✓	✓	✓	0.565 $\pm$.036

Table 6: Ablation study of text inputs.

Method	EHF [^25] $\downarrow$			AGORA [^70] $\downarrow$
Method	all	hand	face	all	hand	face
w/o Motion-X	79.2	43.2	25.0	185.6	73.7	82.0
w/ Motion-X	73.0	41.0	22.6	184.1	73.3	81.4

Table 7: Mesh recovery errors of Hand4Whole [^17] using different training datasets. MPVPE (mm) is reported.

甚至在数据内部训练的效果之上。这种优异的表现源于Motion-X涵盖了大量室外和室内场景中的多样化动作类型。为了进行更直观的对比，我们在图8中展示了生成动作的视觉效果，可以明显看出在Motion-X上训练的模型在根据文本输入合成语义对应的动作方面表现更佳。这些结果证明了Motion-X在提升动作的表现力、多样性和自然度方面具有显著优势。文本标签的消融研究。除了序列级的语义标签外，MotionX中的文本标签还包含帧级姿态描述，这是本数据集的重要特征。为了评估姿态描述的有效性，我们对文本标签开展了消融研究。基线模型仅将语义标签作为文本输入。由于没有专门利用这些标签的方法，我们随机从姿态描述中抽取一句话，将其与语义标签拼接后，再把组合后的输入送入CLIP文本编码器。有趣的是，从表6中可以看出，添加额外的面部和身体姿态文本能够带来稳定的性能提升，而结合全身姿态描述后，FID值更是降低了38%。这些结果证实，所提出的全身姿态描述有助于生成更精准、更逼真的人体动作。未来还可以探索利用这些标签的更有效方法。 ### 5.3 对全身人体网格恢复的影响正如本次基准测试中所发现的那样[^21]，利用高质量的伪SMPL标签能够显著提升网格恢复方法的性能。Motion-X提供了大量的RGB图像以及标注完善的SMPL-X标签。为了验证其在3D全身网格恢复任务中的实用性，我们以Hand4Whole为例[^17]，在广泛使用的AGORA验证集[^71]和EHF数据集[^25]上对MPVPE进行评估。对于基线模型，我们使用常用的COCO[^51]、Human3.6M[^72]和MPII[^73]数据集对其进行训练。接着，在保持其他设置不变的情况下，我们再训练另一个模型，该模型额外加入了从Motion-X中采样的10%单视图数据。如表7所示，与基线模型相比，用Motion-X训练的模型在EHF和AGORA上的MPVPE值降低了7.8%。性能的提升源于Motion-X中多样化的外观和姿态，这也体现了Motion-X中动作注释的有效性和准确性，以及其对3D重建任务的助力作用。 ## 6 结论在本文中，我们提出了Motion-X——一个全面且大规模的三维表现力人体全身动作数据集。该数据集解决了现有动作捕捉数据集的局限性，这些数据集主要聚焦于室内环境下的仅限身体的动作，且动作类型有限。该数据集包含144.2小时的全身动作数据以及对应的文本标签。为了构建该数据集，我们开发了一套系统的标注流程，用于标注81.1K个三维全身动作、序列级别的动作语义标签以及1560万个帧级别的全身姿态描述。全面的实验验证了该动作标注流程的准确性，也证明了Motion-X在提升动作的表现力、多样性及自然度，以及三维人体全身网格恢复方面具有显著优势。局限性与未来工作。我们的研究存在两个主要局限：首先，无标记动作标注流程生成的动作质量不可避免地逊于基于多视角标记的动作捕捉系统；其次，我们在实验中发现现有的评估指标与视觉结果并不总是一致。因此，需要进一步优化动作生成模型和评估指标。作为包含动作、文本、视频和音频等多种模态的大规模数据集，Motion-X在推动下游任务发展方面潜力巨大，例如动作先验学习、动作理解以及多模态预训练。此外，我们的大规模数据集和可扩展的标注流程为将该任务与大型语言模型（LLM）相结合以实现令人期待的动作生成成果创造了可能。借助Motion-X，我们希望能为相关领域的进一步研究提供帮助与支持。 --- ## 致谢本研究部分受国家重点研发计划（项目编号2022YFB36066）、深圳市科技项目（资助编号JCYJ20220818101001004、JSGG20210802153150005）、国家自然科学基金（62271414）、国家自然科学基金青年科学基金项目（资助编号62106154）、广东省自然科学基金（一般项目，资助编号2022A1515011524），以及深圳市科技计划项目JCYJ20220818103001002和深圳市科技计划项目ZDSYS20211021111415025资助。感谢所有参与IDEA400数据集拍摄及讨论的人员。感谢陈凌浩在图标和网页设计方面的协助。 --- ## 附录 ## A Motion-X：补充细节由于篇幅限制，本节将提供主论文中未包含的关于Motion-X的更多细节，包括统计分析、数据预处理以及动作增强机制。 ### A.1 统计分析图9(a)展示了各个子数据集的身体、手部和面部关节的标准差。我们的数据集在手部和面部关节方面具有极高的多样性，弥补了以往仅限身体数据集在表现力方面的不足。此外，如图9(b)所示，Motion-X包含了大量长度超过240帧的长动作数据，这将对长期动作生成大有裨益。 ![Image](images/b1ba121004ad55ccaab9a596ff50313c7d2d2b8ef1c51c5d08f38bed08e51984.jpg) ![Image](images/fd3876e58a547b9609d821b1ed2d66b55049ac9caeef63578e2988b251bec45c.jpg)

(b) The number of frames per sequence

Figure 9: Statistics of motion diversity and length.

### A.2 各子数据集的处理我们通过所提出的标注流程，从七个现有数据集以及大量在线视频中收集了81.1K个运动序列。如表8所示，由于这些原始数据集缺乏全面的标注，我们为所有数据集提供了标注完善的整体身体运动数据、全面的语义标签以及整体身体姿态描述。接下来我们将详细介绍每个子数据集的数据预处理过程。

Dataset	Clip Number	Frame Number	Motion Annotation	Text Annotation	RGB
AMASS [^4]	26.3K	5.4M	B,H	S	✗
AIST [^30]	1.4K	0.3M	B	S	✓
HAA500 [^27]	5.2K	0.3M	-	S	✓
HuMMan [^26]	0.7K	0.1M	B	S	✓
GRAB [^29]	1.3K	0.4M	B,H	S	✗
EgoBody [^32]	1.0K	0.4M	B,H	-	✓
BAUM [^31]	1.4K	0.2M	F	S	✓
IDEA400 $^{{*}}$	12.5K	2.6M	-	-	✓
Online Videos $^{{*}}$	32.5K	6.0M	-	-	✓
Motion-X	81.1K	15.6M	B,H,F	S,P	✓

表8：各子数据集的统计信息。B、H、F分别代表身体、手和面部；S和P分别表示语义文本和姿态文本。请注意，不同数据集的语义文本标注存在差异。部分动作数据集[^28] [^11] [^27] [^31]仅提供动作级别的文本而非完整句子。大多数语义标签为人工标注，因此难以精确标注特定领域的描述（如特定乐器）。*表示相关视频为本研究新采集的。 AMASS[^11]是现有规模最大的运动捕捉数据集，它提供了身体运动数据以及几乎静止的手部运动数据。为了补充面部参数，我们采用最先进的面部重建方法EMOCA[^31]从面部数据集BAUM[^50]中提取面部表情数据，并进行了数据增强处理（详见第A.3节）。对于文本标签，我们采用了HumanML3D[^4]中的语义标签，并利用我们的整体身体姿态描述生成模块来标注姿态描述。 IDEA400是我们自行采集的高质量且富有表现力的动作数据集，包含1.3万个动作序列和260万帧数据。它继承了NTU120的 [^28] 类别，并将其扩展至400种动作。 --- 这些动作还包括人体自身接触动作、人与物体接触动作以及富有表现力的全身动作（如丰富的面部表情和精细的手部手势）。该数据集包含36名外貌和着装各异的演员。对于每种动作，演员需分别进行三次站立、三次行走和四次坐姿表演，共计十次。我们利用所提出动作标注流程来标注SMPL-X格式的伪标签，从而生成高质量的全身动作数据。为获取语义标签，我们采用设计好的动作标签，并借助大型语言模型（LLM）[^49] 对其进行扩展。姿势描述则通过我们的全身姿势描述方法进行标注。在该子集中，我们提供了单目视频、身体关键点、SMPL-X参数以及动作标签。更多细节和可视化效果请查看我们网站上的视频。 AIST [^30] 是一个大规模舞蹈数据集，包含多视角视频和舞蹈类型标签。我们不使用来自 AIST++ [^16] 的仅身体 SMPL 标注，而是通过我们的运动标注流程来标注全身运动。我们通过扩展舞蹈类型标签并提供帧级姿态描述来获得语义标签。 HAA500 [^27] 是一个大规模的人体中心原子动作数据集，包含人工标注的标签和用于动作识别的视频。该数据集包含500个类别的细粒度原子动作标签，涵盖了体育、演奏乐器以及日常动作。不过，它并不包含运动标签。我们借助自己的流程对全身三维运动进行标注。我们将提供的原子动作标签用作语义标签。此外，我们将视频输入到video-LLaMA [^62] 中，筛选出人体动作描述作为补充文本。姿态描述则由我们的自动姿态标注方法生成。 HuMMan [^26]是一个包含多模态数据的人类数据集，其中包括多视角视频、关键点、SMPL参数、动作标签等。该数据集并不提供全身姿态标签。我们借助自己的标注流程来估算SMPL-X参数。此外，我们还利用大语言模型将动作标签扩展为语义标签，并通过所提出的描述生成流程来获取姿态描述。 GRAB [^29]是一个包含人体和手部运动的人类抓取数据集。同时，它提供了每种抓取动作的文本描述，但没有对应的视频。因此，与AMASS类似，我们从BAUM中提取面部表情来补充相关内容。我们将提供的文本描述作为语义标签，并基于SMPL-X参数来标注姿态描述。 EgoBody [^32]是一个大规模数据集，用于捕捉社交互动场景中的真实3D人体运动。它提供了高质量的身体和手部运动标注，但缺少面部表情数据。因此，我们通过运动增强技术来获得富有表现力的全身运动。由于EgoBody没有提供文本信息，我们借助VGG图像标注工具（VIA）[^63]手动标注语义描述，并通过自动姿态描述生成流程来标注姿态描述。 BAUM [^31]是一个面部数据集，包含1400个音视频片段以及13种情绪类别。我们利用最先进的面部重建方法EMOCA对BAUM中的面部表情进行标注。在线视频。为了丰富外观和运动多样性，尤其是专业动作方面，我们从网络资源中收集了33000段单目视频，涵盖各种现实生活场景。我们设定动作类别作为运动提示输入给大语言模型，然后根据模型的回答从网上选取视频，再通过过渡检测筛选出候选视频，最后为选中的视频标注全身运动、语义标签和姿态描述。 ### A.3 运动增强机制下半身运动增强。Motion-X中包含一些从在线视频中采集的上半身视频，比如UBody [^15]中的视频，这类视频的下半身部分不可见。为这些视频估算精确的下半身运动和全局轨迹颇具挑战性。得益于AMASS中提供的精准下半身运动数据，我们可以简单地对这些序列进行下半身运动增强——即根据SMPL-X参数从AMASS中选择最接近的运动，用它来替换原视频的下半身运动。同时，我们会在文本描述中加入相关关键词（如坐着、站立、行走）。图10(a)展示了语义标签为“一个人开心地弹吉他”的运动序列的三种合理的下半身增强结果。 --- 面部表情增强。如表8所示，AMASS、GRAB和EgoBody这些动作捕捉数据集均不提供面部表情数据。因此，我们通过从BAUM [^31]数据集中随机选取面部表情序列来填补空白，并在语义描述中加入情绪标签（如开心、悲伤、惊讶）。我们对选取的序列进行插值处理，以确保其长度与原始运动一致。图10(b)展示了面部表情增强的一个示例。 ![Image](images/18f084b067c4a44b7f39439a9f44aed8f3dbf98e243e6b0867a6e8e11fb123fe.jpg) (a) “一个人开心地弹吉他”的下半身增强效果。

(b) Facial Expression Augmentation of "A man is drinking from a straw".

Figure 10: Illustration of two motion augmentation methods: (a) lower-body augmentation. (b) facial expression augmentation.

--- ## B 更多标注可视化结果在本节中，我们展示了2D关键点、SMPL-X参数和运动序列的一些可视化结果，以证明我们所提出的运动标注流程的有效性。 ### B.1 2D关键点正如主论文中所提到的，我们提出了一种基于分层Transformer的2D关键点估计模型。为了证明该方法的优越性，我们将其与两种广泛使用的方法——Openpose [^65] 和 MediaPipe [^66] 进行了比较。我们使用PyTorch版本的Openpose，且仅估计身体和手部关键点，因为它不提供面部估计功能。如图11所示，Openpose和MediaPipe在某些复杂姿态下无法得到准确的结果。此外，Openpose和MediaPipe存在严重的手部关键点漏检问题。相比之下，我们的方法表现明显更优，尤其是在手部关键点的定位方面。 ### B.2 SMPL-X参数为了获取精确的SMPL-X参数，我们精心设计了基于学习的拟合方法，并采用了多种训练损失函数。我们将该方法与两种当前最先进的基于学习的方法——Hand4Whole [^17] 和 OSX [^15] 进行了比较。如图12所示，我们的方法比其他模型取得了更好的对齐效果，尤其是在一些复杂姿态下，这得益于迭代拟合过程。值得注意的是，Hand4Whole [^17] 和 OSX [^15] 只能估计局部位置，而无法优化全局位置，因此会导致全局估计不稳定且出现抖动现象。此外，我们在图13中将我们的方法与广泛使用的拟合方法SMPLify-X [^25] 进行了比较，我们使用了其官方发布的代码。我们的方法比SMPLify-X更具鲁棒性，能够获得更符合物理规律的姿态结果，尤其是在复杂场景（如复杂姿态、低分辨率输入、严重遮挡）中。侧视图的结果表明，我们的方法能够妥善处理深度歧义问题，并避免倾斜现象。 ### B.3 运动序列为了凸显我们所提出运动的表现力和多样性，我们在图14中展示了同一语义标签（如芭蕾舞）下六种不同风格的运动示例。这种一对多（文本到运动）的信息能够提升运动生成的多样性。接着，我们在图15和图16中展示了不同运动场景下的更多运动可视化结果。这些运动呈现出不同的面部表情、手部姿态和身体动作。 ## C 实验 ### C.1 实验设置运动表示。为了捕捉具有表现力的3D全身运动，我们采用SMPL-X [^25] 作为运动表示方式。姿态状态可表示为： $$ \mathbf{x}=\{\theta_{b},\theta_{h},\theta_{f},\psi,\mathbf{r}\}. $$ 此处，$\theta_b \in \mathbb{R}^{22 \times 3}$ 和 $\theta_h \in \mathbb{R}^{30 \times 3}$ 分别表示3D身体旋转和手部旋转；$\theta_f \in \mathbb{R}^3$ 和 $\psi \in \mathbb{R}^{50}$ 代表下颌姿态和面部表情；$\mathbf{r} \in \mathbb{R}^3$ 则是全局平移量。评估指标。我们采用与[^4]、[^41]相同的评估指标，包括Frechet Inception Distance（FID）、多模态性、多样性、R-precision以及多模态距离。针对新的动作表示形式，我们先通过对比损失函数预训练动作特征提取器和文本特征提取器，将文本和动作映射到特征空间，随后计算文本-动作对之间的距离。对于每一个生成的动作，其对应的真实文本描述以及从测试集中随机选取的31个不匹配的文本描述共同构成描述池。我们会对生成的动作与该池中每个文本之间的欧几里得距离进行排序，再计算前k个位置的平均准确率，从而得到R-precision值。多模态距离则是通过计算生成动作与其在测试集中的对应文本描述的特征向量之间的欧几里得距离来得出的。此外，我们还将平均时间标准差作为补充指标，用于评估全身动作的多样性和时间变化特性。 --- ![Image](images/fd4decfaadea1bb280dece64426c32aa12107ff8df3e3930bfa5367ff6f4574c.jpg)

(a) Input Image

(b) Openpose

(d) Ours

Figure 11: Comparisons of the 2D keypoints annotation quality with widely used methods Openpose [^65] and MediaPipe [^66].

计算成本。我们使用8块NVIDIA A100 GPU进行动作标注，4块GPU用于动作生成实验。利用我们的标注流程标注100万帧数据大约需要72小时。 ### C.2 更多消融研究与HumanML3D的进一步对比。以往的动作生成数据集在表现丰富的手部及面部动作方面存在局限，因为它们仅包含身体及极少量的手部运动信息。为了 --- ![Image](images/026f0d96797567ec720df3776e045df1528d26766bfa74d227ca83f7eb903c8d.jpg)

Figure 12: Comparisons of the 3D SMPL-X annotation quality with SOTA methods Hand4Whole [^17] and OSX [^15].

展示我们数据集的表现力，我们分别针对面部、手部和身体部位，对HumanML3D与Motion-X进行对比。具体而言，我们在每个数据集上训练MLD [^2]，并通过计算SMPL-X参数及关节位置的平均时间标准差，来评估生成动作与真实动作的多样性。SMPL-X参数包括身体姿态、手部姿态以及面部表情；身体、手部和面部关节位置则分别以根节点相对、手腕相对和颈部相对的方式表示。我们从验证集中随机选取300个生成样本，重复实验10次以得出平均值。 --- ![Image](images/d743e3b676b93b5aa0d54410c2fafef823bff3b8a0b505a3a4f52c9fecf12c54.jpg)

(a) SMPLify-X

(b) Input image

![Image](images/aa4b564c5939918f9802266bfe9edb1f0a8e3163712ddf00b8fdf48d9874b229.jpg)

(a) SMPLify-X

(b) Input image

Figure 13: Comparisons of the 3D SMPL-X annotation quality with wide-used fitting methods SMPLify-X [^25].

结果如表9所示，Motion-X中的生成动作与真实动作偏差更大，尤其是在手部和面部参数方面，这表明随时间推移手部和面部运动更为显著。这些结果证明，用Motion-X训练的模型能够生成更多样化的面部表情和手部动作，体现出我们的全身动作模型捕捉精细手部、面部运动及 expressive 动作的能力。

Method	Joints Position $\uparrow$			SMPL-X Param ( $10^{-2}$) $\uparrow$
Method	Face	Hand	Body	Face	Hand	Body
HumanML3D (GT)	0.00	0.00	88.7	0.00	0.00	9.01
Motion-X (GT)	1.60	8.82	92.2	13.4	5.24	9.95
HumanML3D	0.00	0.00	64.8	0.00	0.00	7.23
Motion-X	1.33	11.4	66.0	7.28	5.30	7.41

Table 9: Temporal standard deviation of the SMPL-X parameters and joint positions on HumanML3D and Motion-X. We compare the GT and generated motions with the MLD model trained on HumanML3D and Motion-X, respectively.

## D 相关工作在这一部分，我们将介绍与人类动作生成相关的研究方法。根据输入的不同，人类动作生成可分为两类：从零开始的一般动作合成 [^74] [^75] [^76] [^77]，以及以给定文本、音频和音乐为条件的可控动作生成 [^78] [^5] [^10] [^9] [^2] [^4] [^1] [^79]。动作合成涵盖多项任务，如动作预测、补全和插值 [^77]，这些任务经过多年发展已经日趋成熟。 --- 在计算机视觉和图形学领域已有数十年的研究。这类任务往往利用具有时空相关性的邻近帧，以确定性方式推断估计帧 [^80] [^81] [^82] [^83] [^84] [^85] [^86] [^87]。另一方面，运动生成是一项更具挑战性的任务，其目标是合成长期、多样且自然的人体运动。人们已经探索了诸多生成模型，比如GAN、VAE以及近期的扩散模型 [^88] [^89] [^70] [^41] [^90]。本研究主要探讨文本条件下的运动生成。该领域的发展经历了从输入动作类别 [^70] [^41] 到句子描述 [^4] [^2] [^9]，再到从2D关键点生成3D关键点，直至新兴的参数化模型（如SMPL [^46] [^4] [^2]）。得益于相关基准测试的发展，这些模型在应对现实场景时表现得更加灵活且全面。近期，基于扩散模型的方法迅速发展，在生成多样、逼真且细节丰富的运动方面展现出优势 [^9] [^2] [^10] [^14] [^47]。一些同期研究 [^14] [^9] [^2] 提出了新颖的基于扩散模型的运动生成框架，从而实现了最先进的生成质量。例如，MLD [^2] 提出了一种基于运动潜变量的扩散模型，并搭配具有代表性的运动变分自编码器，展现了其高效性。基于所提出的Motion-X，HumanTOMATO [^91] 推出了首个与文本对齐的全身体运动生成模型，能够同时生成高质量、多样化且连贯的面部表情、手部动作和身体运动。 ## E. 局限性与更广泛影响 ### E.1 局限性主要存在两方面局限性。(i) 我们提出的无标记运动标注流程所产生的运动质量，不可避免地逊于基于多视角标记的运动捕捉系统。不过，定量与定性结果均表明，由于该方法采用了在海量2D和3D关键点数据集上预训练的大规模模型，加之精心设计的拟合流程，其表现远优于现有的无标记方法。此外，对于文本驱动的运动生成任务而言，30毫米的PA-MPVPE误差是可接受的，因为该任务的目标是合成与文本输入语义一致的自然且逼真的运动。进一步而言，网格恢复任务的实验证明，我们的数据集也能为对标注质量要求更高的人体重建任务提供帮助。因此，更精准的运动标注将大有裨益，我们将此作为未来的研究方向。(ii) 实验过程中我们发现，现有的评估指标往往与视觉结果不一致。此外，SMPL-X参数或许并非表达性全身体运动的最佳表征方式。因此，针对表达性运动生成任务，还需在评估指标、运动表征及模型设计方面开展进一步研究，这些也都将作为未来的工作方向。 ### E.2 更广泛影响基于本文提出的可扩展且自动化的标注方式，尽管难免会出现一些错误，但大规模数据仍能发挥重要作用。同时，这种方式能够推动相关任务中“从含噪标签中学习”的研究方向，例如基于文本的全身动作生成。一个大规模的3D人体动作数据集将拥有众多应用场景，并能促进动画、游戏、虚拟现实以及人机交互等各个领域的新研究课题。迄今为止，人体动作数据集尚未产生任何负面社会影响。我们提出的Motion-X将严格遵循以往数据集的许可协议，也不会带来任何可预见的负面社会后果。 ## F许可证所有数据均依据CC BY-NC-SA（署名-非商业性使用-相同方式共享）许可证进行分发。详细的许可证说明可在页面上查看。此外，我们将提供GitHub仓库，以便数据用户反馈可能存在的标注错误。对于子数据集，我们要求用户阅读各原始数据集的许可协议，我们仅在获得原机构授权后，才会向用户提供我们的标注结果。以下是所用资源的简要许可证说明： --- - HumanML3D数据集[^4]源自HumanAct12[^41]和AMASS[^11]数据集，这两个数据集仅用于学术研究，面向教育机构或研究机构的研究人员免费开放，且仅限非商业用途。 • BAUM数据集[^31]采用CC-BY 4.0许可证。 - HAA500数据集[^27]采用MIT许可证。 - IDEA400数据集隶属于国际数字经济研究院（IDEA），采用署名-非商业性使用-相同方式共享4.0国际许可证（CC-BY-NC-SA 4.0）。 • HuMMan数据集[^26]采用S-Lab许可证v1.0。 • AIST数据集[^16]采用CC-BY 4.0许可证。 • GRAB数据集[^29]仅用于学术研究，面向教育机构或研究机构的研究人员免费开放，且仅限非商业用途。 • EgoBody[^32]采用CC-BY-NC-SA 4.0许可证。 • 其他数据采用CC BY-SA 4.0许可证。 • SMPLify-X[^25]代码仅用于学术研究，面向教育机构或研究机构的研究人员免费开放，且仅限非商业用途。 • 预处理和训练代码采用MIT许可证。 --- ![Image](images/7a2f4cb116aa3c4d67eb0cdab71738a2fce831f7f25d7d84d7db9b0e6033d43b.jpg) 语义动作标签：芭蕾舞

Figure 14: Examples of the same semantic label “dance ballet” with different styles to enhance the motion diversity.

--- ![Image](images/334fbb2221ae246a77894a545985064ff0e25c8fb4730da5bed79abe07fda039.jpg)

Figure 15: Visualization of the dance and perform motion sequences of Motion-X.

--- ![Image](images/509b40e798ec0987c25e352ebec863e6439fdb28b8ceb147e6ad2b7e20d5e69d.jpg)

Figure 16: Visualization of the fitness and game motion sequences of Motion-X.

--- ## 参考文献 [^1]: C. Ahuja and L.-P. Morency, “Language2pose: Natural language grounded pose forecasting,” in 3DV, 2019. [^2]: X. Chen, B. Jiang, W. Liu, Z. Huang, B. Fu, T. Chen, J. Yu, and G. Yu, “Executing your commands via motion diffusion in latent space,” in CVPR, 2023. [^3]: G. Delmas, P. Weinzaepfel, T. Lucas, F. Moreno-Noguer, and G. Rogez, “Posescript: 3d human poses from natural language,” in ECCV, 2022. [^4]: C. Guo, S. Zou, X. Zuo, S. Wang, W. Ji, X. Li, and L. Cheng, “Generating diverse and natural 3d human motions from text,” in CVPR, 2022. [^5]: M. Petrovich, M. J. Black, and G. Varol, “Temos: Generating diverse human motions from textual descriptions,” in ECCV, 2022. [^6]: M. Plappert, C. Mandery, and T. Asfour, "The kit motion-language dataset," Big data, 2016. [^7]: M. Plappert, C. Mandery, and T. Asfour, “Learning a bidirectional mapping between human whole-body motion and natural language using deep recurrent neural networks,” Robotics and Autonomous Systems, 2018. [^8]: A. R. Punnakkal, A. Chandrasekaran, N. Athanasiou, A. Quiros-Ramirez, and M. J. Black, "Babel: bodies, action and behavior with english labels," in CVPR, 2021. [^9]: M. Zhang, Z. Cai, L. Pan, F. Hong, X. Guo, L. Yang, and Z. Liu, "Motiondiffuse: Text-driven human motion generation with diffusion model," arXiv preprint arXiv:2208.15001, 2022. [^10]: M. Zhao, M. Liu, B. Ren, S. Dai, and N. Sebe, “Modiff: Action-conditioned 3d motion generation with denoising diffusion probabilistic models,” arXiv preprint arXiv:2301.03949, 2023. [^11]: N. Mahmood, N. Ghorbani, N. F. Troje, G. Pons-Moll, and M. J. Black, “Amass: Archive of motion capture as surface shapes,” in ICCV, 2019. [^12]: J. Ho, A. Jain, and P. Abbeel, “Denoising diffusion probabilistic models,” NeurIPS, 2020. [^13]: J. Song, C. Meng, and S. Ermon, “Denoising diffusion implicit models,” in ICLR, 2020. [^14]: G. Tevet, S. Raab, B. Gordon, Y. Shafir, D. Cohen-Or, and A. H. Bermano, “Human motion diffusion model,” in ICLR, 2023. [^15]: J. Lin, A. Zeng, H. Wang, L. Zhang, and Y. Li, “One-stage 3d whole-body mesh recovery with component aware transformer,” in CVPR, 2023. [^16]: R. Li, S. Yang, D. A. Ross, and A. Kanazawa, “Ai choreographer: Music conditioned 3d dance generation with aist++,” in ICCV, 2021. [^17]: G. Moon, H. Choi, and K. M. Lee, “Accurate 3d hand pose estimation for whole-body 3d human mesh estimation,” in CVPRW, 2020. [^18]: Y. Xu, J. Zhang, Q. Zhang, and D. Tao, “Vitpose: Simple vision transformer baselines for human pose estimation,” in NeurIPS, 2022. [^19]: Y. Yuan, U. Iqbal, P. Molchanov, K. Kitani, and J. Kautz, “Glamr: Global occlusion-aware human mesh recovery with dynamic cameras,” in CVPR, 2022. [^20]: J. Yang, A. Zeng, S. Liu, F. Li, R. Zhang, and L. Zhang, “Explicit box detection unifies end-to-end multi-person pose estimation,” in ICLR, 2023. [^21]: H. E. Pang, Z. Cai, L. Yang, T. Zhang, and Z. Liu, “Benchmarking and analyzing 3d human pose and shape estimation beyond algorithms,” in NeurIPS Datasets and Benchmarks Track, 2022. [^22]: G. Moon, H. Choi, and K. M. Lee, “Neuralannot: Neural annotator for 3d human mesh training sets,” in CVPR, 2022. [^23]: G. Moon, H. Choi, S. Chun, J. Lee, and S. Yun, “Three recipes for better 3d pseudo-gts of 3d human mesh estimation in the wild,” in CVPR, 2023. ## [^24]: H. Yi, H. Liang, Y. Liu, Q. Cao, Y. Wen, T. Bolkart, D. Tao, and M. J. Black, “Generating holistic 3d human motion from speech,” in CVPR, 2023 --- [^25]: G. Pavlakos, V. Choutas, N. Ghorbani, T. Bolkart, A. A. Osman, D. Tzionas, and M. J. Black, “Expressive body capture: 3d hands, face, and body from a single image,” in CVPR, 2019. [^26]: Z. Cai, D. Ren, A. Zeng, Z. Lin, T. Yu, W. Wang, X. Fan, Y. Gao, Y. Yu, L. Pan, F. Hong, M. Zhang, C. C. Loy, L. Yang, and Z. Liu, “Humman: Multi-modal 4d human dataset for versatile sensing and modeling,” in ECCV, 2022. [^27]: J. Chung, C.-h. Wuu, H.-r. Yang, Y.-W. Tai, and C.-K. Tang, “Haa500: Human-centric atomic action dataset with curated videos,” in ICCV, 2021. [^28]: J. Liu, A. Shahroudy, M. Perez, G. Wang, L.-Y. Duan, and A. C. Kot, “Ntu гб+ d 120: A large-scale benchmark for 3d human activity understanding,” in TPAMI, 2019. [^29]: O. Taheri, N. Ghorbani, M. J. Black, and D. Tzionas, “Grab: A dataset of whole-body human grasping of objects,” in ECCV, 2020. [^30]: S. Tsuchida, S. Fukayama, M. Hamasaki, and M. Goto, “Aist dance video database: Multi-genre, multi-dancer, and multi-camera database for dance information processing.” in ISMIR, 2019. [^31]: S. Zhalehpour, O. Onder, Z. Akhtar, and C. E. Erdem, “Baum-1: A spontaneous audio-visual face database of affective and mental states,” IEEE Transactions on Affective Computing, 2016. [^32]: S. Zhang, Q. Ma, Y. Zhang, Z. Qian, T. Kwon, M. Pollefeys, F. Bogo, and S. Tang, “Egobody: Human body shape and motion of interacting people from head-mounted devices,” in ECCV, 2022. [^33]: J. Carreira, E. Noland, C. Hillier, and A. Zisserman, “A short note on the kinetics-700 human action dataset,” arXiv preprint arXiv:1907.06987, 2019. [^34]: C. Gu, C. Sun, D. A. Ross, C. Vondrick, C. Pantofaru, Y. Li, S. Vijayanarasimhan, G. Toderici, S. Ricco, R. Sukthankar, et al., “Ava: A video dataset of spatio-temporally localized atomic visual actions,” in CVPR, 2018. [^35]: A. Shahroudy, J. Liu, T.-T. Ng, and G. Wang, “Ntu rgb+ d: A large scale dataset for 3d human activity analysis,” in CVPR, 2016. [^36]: N. Trivedi, A. Thatipelli, and R. K. Sarvadevabhatla, “Ntu-x: an enhanced large-scale dataset for improving pose-based recognition of subtle human actions,” in ICVGIP, 2021. [^37]: M. Hassan, D. Ceylan, R. Villegas, J. Saito, J. Yang, Y. Zhou, and M. J. Black, “Stochastic scene-aware motion prediction,” in ICCV, 2021. [^38]: M. Hassan, V. Choutas, D. Tzionas, and M. J. Black, “Resolving 3d human pose ambiguities with 3d scene constraints,” in ICCV, 2019. [^39]: Y.-L. Li, X. Liu, X. Wu, Y. Li, Z. Qiu, L. Xu, Y. Xu, H.-S. Fang, and C. Lu, “Hake: a knowledge engine foundation for human activity understanding,” in TPAMI, 2022. [^40]: Y. Zheng, Y. Yang, K. Mo, J. Li, T. Yu, Y. Liu, C. K. Liu, and L. J. Guibas, “Gimo: Gaze-informed human motion prediction in context,” in ECCV, 2022. [^41]: C. Guo, X. Zuo, S. Wang, S. Zou, Q. Sun, A. Deng, M. Gong, and L. Cheng, “Action2motion: Conditioned generation of 3d human motions,” in ACM MM, 2020. [^42]: R. Gross and J. Shi, “The cmu motion of body (mobo) database,” 2001. [^43]: C. Ionescu, D. Papava, V. Olaru, and C. Sminchisescu, “Human3.6M: Large scale datasets and predictive methods for 3d human sensing in natural environments,” in TPAMI, 2014. [^44]: L. Sigal, A. O. Balan, and M. J. Black, “Humaneva: Synchronized video and motion capture dataset and baseline algorithm for evaluation of articulated human motion,” IJCV, 2010. [^45]: M. Trumble, A. Gilbert, C. Malleson, A. Hilton, and J. P. Collomosse, “Total capture: 3d human pose estimation fusing video and inertial sensors,” in BMVC, 2017. [^46]: M. Loper, N. Mahmood, J. Romero, G. Pons-Moll, and M. J. Black, “Smpl: A skinned multi-person linear model,” ACM TOG, 2015. [^47]: Y. Yuan, J. Song, U. Iqbal, A. Vahdat, and J. Kautz, “Physdiff: Physics-guided human motion diffusion model,” in ICCV, 2023. ## [^48]: J. Zhang, Y. Zhang, X. Cun, S. Huang, Y. Zhang, H. Zhao, H. Lu, and X. Shen, "T2m-gpt: Generating human motion from textual descriptions with discrete representations," in CVPR, 2023 --- [^49]: W. Jiao, W. Wang, J.-t. Huang, X. Wang, and Z. Tu, “Is chatgpt a good translator? a preliminary study,” arXiv preprint arXiv:2301.08745, 2023. [^50]: R. Daněček, M. J. Black, and T. Bolkart, “Emoca: Emotion driven monocular face capture and animation,” in CVPR, 2022. [^51]: S. Jin, L. Xu, J. Xu, C. Wang, W. Liu, C. Qian, W. Ouyang, and P. Luo, “Whole-body human pose estimation in the wild,” in ECCV, 2020. [^52]: L. Xu, S. Jin, W. Liu, C. Qian, W. Ouyang, P. Luo, and X. Wang, “Zoomnas: searching for whole-body human pose estimation in the wild,” TPAMI, 2022. [^53]: S. Narasimhaswamy, T. Nguyen, M. Huang, and M. Hoai, “Whose hands are these? hand detection and hand-body association in the wild,” in CVPR, 2022. [^54]: A. Savitzky and M. J. Golay, “Smoothing and differentiation of data by simplified least squares procedures.” Analytical chemistry, 1964. [^55]: A. Zeng, X. Ju, L. Yang, R. Gao, X. Zhu, B. Dai, and Q. Xu, “Deciwatch: A simple baseline for 10x efficient 2d and 3d pose estimation,” in ECCV, 2022. [^56]: A. Zeng, L. Yang, X. Ju, J. Li, J. Wang, and Q. Xu, “Smoothnet: A plug-and-play network for refining human poses in videos,” in ECCV, 2022. [^57]: I. Sárándi, A. Hermans, and B. Leibe, “Learning 3d human pose estimation from dozens of datasets using a geometry-aware autoencoder to bridge between skeleton formats,” in WACV, 2023. [^58]: F. Bogo, A. Kanazawa, C. Lassner, P. Gehler, J. Romero, and M. J. Black, “Keep it smpl: Automatic estimation of 3d human pose and shape from a single image,” in ECCV, 2016. [^59]: G. Pavlakos, V. Choutas, N. Ghorbani, T. Bolkart, A. A. Osman, D. Tzionas, and M. J. Black, “Expressive body capture: 3d hands, face, and body from a single image,” in CVPR, 2019. [^60]: S. Shimada, V. Golyanik, W. Xu, and C. Theobalt, “Physcap: Physically plausible monocular 3d motion capture in real time,” ACM ToG, 2020. [^61]: U. Iqbal, K. Xie, Y. Guo, J. Kautz, and P. Molchanov, “Kama: 3d keypoint aware body mesh articulation,” in 3DV, 2021. [^62]: H. Zhang, X. Li, and L. Bing, “Video-llama: An instruction-finetuned visual language model for video understanding,” 2023. [^63]: A. Dutta and A. Zisserman, “The VIA annotation software for images, audio and video,” in ACM MM, 2019. [^64]: A. Mollahosseini, B. Hasani, and M. H. Mahoor, “Affectnet: A database for facial expression, valence, and arousal computing in the wild,” IEEE Transactions on Affective Computing, 2017. [^65]: Z. Cao, T. Simon, S.-E. Wei, and Y. Sheikh, “Realtime multi-person 2d pose estimation using part affinity fields,” in CVPR, 2017. [^66]: F. Zhang, V. Bazarevsky, A. Vakunov, A. Tkachenka, G. Sung, C.-L. Chang, and M. Grundmann, "Mediapipe hands: On-device real-time hand tracking," arXiv preprint arXiv:2006.10214, 2020. [^67]: K. Sun, B. Xiao, D. Liu, and J. Wang, “Deep high-resolution representation learning for human pose estimation,” in CVPR, 2019. [^68]: J. Zhang, D. Zhang, X. Xu, F. Jia, Y. Liu, X. Liu, J. Ren, and Y. Zhang, "Mobipose: Real-time multi-person pose estimation on mobile devices," in SenSys, 2020. [^69]: H. Zhang, Y. Tian, Y. Zhang, M. Li, L. An, Z. Sun, and Y. Liu, "Pymaf-x: Towards well-aligned full-body model regression from monocular images," in TPAMI, 2023. [^70]: C. Guo, X. Zuo, S. Wang, X. Liu, S. Zou, M. Gong, and L. Cheng, “Action2video: Generating videos of human 3d actions,” IJCV, 2022. [^71]: P. Patel, C.-H. P. Huang, J. Tesch, D. T. Hoffmann, S. Tripathi, and M. J. Black, “AGORA: Avatars in geography optimized for regression analysis,” in CVPR, 2021. [^72]: C. Ionescu, D. Papava, V. Olaru, and C. Sminchisescu, “Human3.6M: Large scale datasets and predictive methods for 3d human sensing in natural environments,” in TPAMI, 2014. ## [^73]: M. Andriluka, L. Pishchulin, P. Gehler, and B. Schiele, “2d human pose estimation: New benchmark and state of the art analysis,” in CVPR, 2014 --- [^74]: S. Yan, Z. Li, Y. Xiong, H. Yan, and D. Lin, “Convolutional sequence generation for skeleton-based action synthesis,” in ICCV, 2019. [^75]: R. Zhao, H. Su, and Q. Ji, "Bayesian adversarial human motion synthesis," in CVPR, 2020. [^76]: Y. Zhang, M. J. Black, and S. Tang, “Perpetual motion: Generating unbounded human motion,” arXiv preprint arXiv:2007.13886, 2020. [^77]: Y. Cai, Y. Wang, Y. Zhu, T.-J. Cham, J. Cai, J. Yuan, J. Liu, C. Zheng, S. Yan, H. Ding, et al., “A unified 3d human motion synthesis model via conditional variational auto-encoder,” in ICCV, 2021. [^78]: H. Ahn, T. Ha, Y. Choi, H. Yoo, and S. Oh, “Text2action: Generative adversarial synthesis from language to action,” in ICRA, 2018. [^79]: A. Ghosh, N. Cheema, C. Oguz, C. Theobalt, and P. Slusallek, “Synthesis of compositional animations from textual descriptions,” in ICCV, 2021. [^80]: J. Martinez, M. J. Black, and J. Romero, “On human motion prediction using recurrent neural networks,” in CVPR, 2017. [^81]: J. Butepage, M. J. Black, D. Kragic, and H. Kjellstrom, “Deep representation learning for human motion prediction and classification,” in CVPR, 2017. [^82]: Y. Cai, L. Huang, Y. Wang, T.-J. Cham, J. Cai, J. Yuan, J. Liu, X. Yang, Y. Zhu, X. Shen, et al., “Learning progressive joint propagation for human motion prediction,” in ECCV, 2020. [^83]: K. Fragkiadaki, S. Levine, P. Felsen, and J. Malik, “Recurrent network models for human dynamics,” in ICCV, 2015. [^84]: P. Ghosh, J. Song, E. Aksan, and O. Hilliges, “Learning human motion models for long-term predictions,” in 3DV, 2017. [^85]: M. Kaufmann, E. Aksan, J. Song, F. Pece, R. Ziegler, and O. Hilliges, “Convolutional autoencoders for human motion infilling,” in 3DV, 2020. [^86]: W. Mao, M. Liu, M. Salzmann, and H. Li, “Learning trajectory dependencies for human motion prediction,” in ICCV, 2019. [^87]: W. Mao, M. Liu, and M. Salzmann, “History repeats itself: Human motion prediction via motion attention,” in ECCV, 2020. [^88]: Z. Wang, P. Yu, Y. Zhao, R. Zhang, Y. Zhou, J. Yuan, and C. Chen, “Learning diverse stochastic human-action generators by learning smooth latent transitions,” in AAAI, 2020. [^89]: P. Yu, Y. Zhao, C. Li, J. Yuan, and C. Chen, “Structure-aware human-action generation,” in ECCV, 2020. [^90]: M. Petrovich, M. J. Black, and G. Varol, “Action-conditioned 3d human motion synthesis with transformer vae,” in ICCV, 2021. [^91]: S. Lu, L.-H. Chen, A. Zeng, J. Lin, R. Zhang, L. Zhang, and H.-Y. Shum, “Humantomato: Text-aligned whole-body motion generation,” arxiv:2310.12978, 2023.