# MOVIN：基于单个LiDAR的实时动作捕捉
Deok-Kyeong Jang $^{\dagger 1,2}$ $^{ID}$, Dongseok Yang $^{\dagger 1,2}$ $^{ID}$, Deok-Yun Jang $^{\dagger 1,3}$ $^{ID}$, Byeoli Choi $^{\dagger 1,2}$ $^{ID}$, Taeil Jin $^{2}$ $^{ID}$ 及 Sung-Hee Lee $^{\ddagger 2}$ $^{ID}$
$^{2}$韩国科学技术院（KAIST）
$^{3}$光州科学技术院（GIST）
Figure 1: Our MOVIN framework enables real-time full-body motion capture with global translation from 3D LiDAR point cloud.
## 摘要
近年来技术进步催生了各类新型交互式应用，例如社交元宇宙，终端用户可通过自己的虚拟化身在其中与他人互动。在这类应用中，精准的全身追踪是实现沉浸式体验、让用户对虚拟化身产生具身感必不可少的条件。然而，当前动作捕捉系统成本高昂，操作需要专业技能，配套可穿戴设备还会带来不适感，因此难以面向普通终端用户普及使用。本文提出MOVIN，这是一种使用单个LiDAR传感器、支持全局追踪的数据驱动实时动作捕捉生成方法。我们的自回归条件变分自编码器（CVAE）模型，以LiDAR获取的给定三维点云为条件，学习姿态变化的分布。作为实现高精度动作捕捉的核心设计，我们提出一种全新的特征编码器来学习历史三维点云数据与全局、局部姿态特征之间的关联，从而实现对姿态先验的有效学习。其中全局姿态特征包含根平移、旋转和足部接触信息，局部特征则包含关节位置与旋转信息。随后，姿态生成器结合采样得到的潜变量以及来自前一帧的特征，生成符合逻辑的当前姿态。我们的框架能够准确预测表演者的三维全局信息与局部关节细节，同时有效兼顾跨帧动作的时间一致性。我们通过与现有前沿方法进行定量、定性的对比评估，验证了本文架构的有效性。此外，我们还实现了一个实时应用，在真实场景中展示了我们的方法。MOVIN数据集可从获取。
CCS 概念
• 计算方法 → 动作捕捉；运动处理；神经网络；
### 1. 引言
随着影视、动画和元宇宙领域对沉浸式交互体验的需求不断增长，实时动作捕捉已成为驱动虚拟角色、实现虚拟角色与虚拟环境以及用户之间交互的核心技术。然而，包括光学传感器和惯性传感器在内的当前最先进动作捕捉技术，受价格高昂与使用不便的限制，普通用户难以负担。
为解决这些局限，研究人员专注于利用常-
---
见的通用传感器，例如相机和VR追踪设备，来实时实现高质量动作捕捉。近年来的深度学习方法依靠单路RGB视频流[LLZ $^{*}$22]、稀疏IMU传感器组[HKA $^{*}$18]或稀疏VR追踪器配置[YKL21]，能够稳定预测全身姿态。尽管这些方法已经取得了不错的效果，但仍存在明显的不足需要改进；基于二维图像的方法存在全局平移估算不准确的问题，而稀疏追踪器只能提供欠定约束，无法区分相同追踪器配置下的不同姿态。此外，这类传感器通常存在固有缺陷，例如会受到周边电子设备的磁干扰，在复杂室内环境中还会出现光学遮挡，这些都会降低捕获运动数据的准确性和可靠性。
本文介绍了MOVIN，这是一种使用单个LiDAR传感器实现实时动作捕捉的全新框架，如图1所示。据我们所知，我们的框架是首个支持全局平移的基于LiDAR的实时全身动作捕捉方案。
近年来LiDAR传感器在自动驾驶的物体与人体检测任务中取得的成功[ZTJF21]表明，LiDAR具备大幅提升现有动作捕捉技术性能与可用性的潜力。与传统2D相机系统不同，LiDAR传感器能够以点云形式提供跟踪目标可靠且精确的三维位置信息。此外，LiDAR生成的点云可以提供拍摄对象的全身信息，这是稀疏配置的可穿戴追踪器无法实现的。已有开创性研究证明，LiDAR传感器可以辅助现有动作捕捉技术，提升远距离人体姿态检测的精度[LZW $^{*}$22]。此外，随着LiDAR技术在包括安防、智慧城市在内的多个工业领域得到应用，需求增长推动了大规模生产，进而降低了LiDAR的成本。
我们的模型采用自回归条件变分自编码器（CVAE）架构，在考虑前序输出运动的前提下，建立输入点云与输出全身运动之间的关联。基于Transformer架构的编码器组件将编码后的特征映射到多元高斯分布。同时，解码器组件遵循混合专家（Mixture-of-Expert）架构，通过从分布中采样并融合条件特征生成输出特征。
针对输入和条件的不同特性，我们精心设计了输入/输出以及特征嵌入/扩展模块。输入的三维点云融合了当前与过去1秒区间内的下采样数据，以保证输出运动的时间一致性。我们将代表前一帧输出的条件信息分别处理为局部和全局位姿特征：关节局部变换对应的局部位姿特征由可保留人体固有部位结构的骨骼感知图卷积网络处理；包含根节点位置、旋转和足部接触信息的全局位姿特征则由多层感知机处理。这样的设计使我们的框架能够有效表示并融合三维点云、骨骼位姿、全局平移和接触信息等多种不同输入源。
为了对我们的框架进行训练和评估，我们采集了经过精确同步的数据集，其中包含LiDAR点云和光学动作捕捉数据。该数据集共有10名身形、动作风格各不相同的受试者，完成了涵盖原地运动与移动运动在内的多种类别的动作。
为了验证我们方法的有效性，我们在未参与训练的受试者身上开展了全面测试，受试者不仅完成了日常活动，还完成了弓步、坐地、下蹲等具有挑战性的动作。此外，我们展示了该框架基于单个LiDAR传感器的实时应用（该应用在商业游戏引擎中实现），以此凸显了我们框架的实用性。
综上所述，本文的主要贡献如下：
- 基于单个LiDAR的实时全身动作捕捉框架，集成了全局平移跟踪功能。
- 针对不同输入源的特征编解码提出了一种新颖设计，利用自回归条件变分自编码器（CVAE）架构从三维点云数据生成全身姿态。
- 一个涵盖多样受试者的高质量数据集，包含适用于多种动作的同步LiDAR点云和光学动作捕捉数据。
### 2. 相关工作
#### 2.1. 动作捕捉
采用光学标记[opt09, vic10, VAV*07]和惯性测量单元（IMUs）[xse11]的高质量动作捕捉技术已成为业内领先的解决方案，可为人体运动分析和角色动画提供精确可靠的数据。对于终端用户而言，Vive追踪器[viv11]是一种高性价比的方案。但现有技术需要在身体上布置大量标记或传感器，且部署过程十分耗时。因此，研究人员探索了采用稀疏布置IMU[VMRBM17, YZX21, JYG*22, YZH*22]和追踪器[ACB*22, JSQ*22, WWY22]的替代方案。尽管这些方法取得了可观的成果，但它们在跟踪精度和动作类别覆盖范围方面仍存在局限性。
无标记运动捕捉技术已得到广泛研究[BM98, ATS $^{*}$08, HTTM12]，旨在通过降低成本、提升可用性来提高动作捕捉技术的可及性。尽管多视角相机算法[AARS13, BSC13, DFJ $^{*}$22]已实现更高的精度，但这类方法通常需要繁琐的相机系统标定工作。采用优化技术[BKL $^{*}$16, KPD19]的单相机方案以及基于神经网络[PZDD17, WLL22, HPY $^{*}$22]的单相机方法缺少深度信息，难以跟踪全局平移。尽管基于RGBD的方案[BMB $^{*}$11, MSS $^{*}$17, YZ21]多提供了一个深度通道，但它们受限于有限的相机分辨率和视场（FOV），这导致它们无法适用于产品级应用。
#### 2.2. 基于LiDAR的三维人体姿态估计
三维人体姿态估计领域近年来的发展中，涌现出了VIBE [KAB20]和Mo
---
tionBERT [ZML *22]。这些方法遵循两阶段流程：提取2D关键点并拟合SMPL模型[LMR*15]来估计3D关键点。然而，依赖2D拟合存在局限性，会降低3D关键点的精度。此外，缺少深度信息为准确的全局跟踪带来了挑战。
为应对这些挑战，研究人员已探索将LiDAR传感器集成到三维人体姿态估计中。LiDAR能够提供精准的深度测量，非常适合自动驾驶场景下的大规模环境测量工作[LVC $^{*}$ 19, SGI $^{*}$ 20]。近年已有研究深入探索利用LiDAR捕获精细的三维人体姿态[RZH $^{*}$ 23]。此外，学界还提出了结合LiDAR与相机的传感器融合方案[CXR $^{*}$ 22, RZH $^{*}$ 23]，以充分发挥两类传感器的互补优势。但这些方法主要聚焦于人体检测、分割等场景级任务，而非捕获带有精准全局平移的骨骼运动。
#### 2.3. 用于运动合成的神经生成模型
运动合成一直是热门研究领域，目标是用最低成本生成高质量运动。早期研究采用概率方法，包括主成分分析（PCA）[SHP04, CH05, LZWM06]、高斯混合模型（GMMs）[MC12]和高斯过程[GMHP04, WFH08, LWH $^{*}$12]。
近年来，生成神经网络因在角色动作合成领域取得亮眼成果，受到了学界的广泛关注。已有多种方法将生成对抗网络（GANs [GPAM $^{*}$14]）应用于语音到手势合成[FNM19]、动作控制[WCX21]以及单动作片段生成任务[LAZ $^{*}$22]。变分自编码器（VAE）是另一种常用的生成架构，支持从指定分布中进行随机采样。此外，基于条件变分自编码器（CVAE）[SLY15]的方法会利用运动历史[LZCVDP20a]、运动类别[PBV21]和语音[LYL $^{*}$19, LYC $^{*}$20]等约束条件完成生成。Henter等人[HAB20]提出将归一化流用于动作生成，实现了基于精确极大似然的高效训练。Aliakbarian等人[ACB $^{*}$22]在该研究基础上新增了一个潜在区域近似器模型对工作进行扩展。受扩散模型近年来在计算机视觉领域取得突破的启发，Tevet等人[TRG $^{*}$23]和Zhang等人[ZCP $^{*}$22]提出了语言驱动的动作合成技术，而Tseng等人[TCL23]则专注于实现从音乐到舞蹈动作的合成。
### 3. MOVIN 数据集
目前大多数公开可用的动作数据集，如Human3.6M [IPOS13]和3DPW [VMHB $^{*}$18]，主要用于从二维图像进行三维姿态估计任务，PROX [VMHB $^{*}$18]和LH26M [LZW $^{*}$22]则分别提供了来自RGBD相机和激光雷达传感器的深度数据。但受传感器性能限制，PROX数据集的深度数据噪声相对较大，而LH26M数据集由于是远距离采集，得到的点云通常较为稀疏。在本文工作中，我们推出了MOVIN数据集
Figure 2: The integrated optical motion capture and LiDAR system, with representations of resulting point cloud data and skeletal motion capture.
包含同步配对的三维点云与运动数据，专为基于三维点云数据的全身动作捕捉设计。
| Train set | Test set |
| # Subjects | 8 | 2 |
| Motion type | Static | Locomotion | Static | Locomotion |
| # Frames | 56,535 | 75,134 | 12,472 | 17,038 |
| Elapsed time $_{min}$ | 47 | 62 | 10 | 14 |
| Static | Locomotion |
| T-pose, A-pose, Idle, Hands on waist | Walking |
| Elbows bent up, down | Jogging |
| Bow, Look, Roll head | Running |
| Windmill arms, Touch toes | Crouching |
| Twist torso, Hula hoop, Lean | Transitions |
| Lunge, Squat, Jumping Jack | Moving backward |
| Kick, Turn | Jumping |
| Walk / Run in place | Sitting on the floor |
Table 1: Dataset composition details and motion categories.
动作捕捉系统。我们采用了由21台PRIME 13高速红外相机组成的OptiTrack系统[opt09]来采集人体运动。通过追踪放置在受试者身体关键点上的被动反光标记，该系统可精准记录关节的位置与朝向。使用光学式动作捕捉系统的优势在于能够避免长时间录制过程中产生的全局定位误差，而这类误差正是基于IMU的动作捕捉系统普遍存在的问题。由于我们的Movin数据集需要长时间采集运动数据，因此光学式动作捕捉系统非常适合该任务。
LiDAR传感器。LiDAR传感器发射激光来精准测量距离，生成周围环境及环境中物体的高分辨率三维地图，最终得到的三维点云数据可提供物体几何结构的详细信息。
---
Figure 3: Illustration of the input and output in inference time. The gray skeleton represents the output joint positions, rotations, and velocities at the current time frame. Blue particles represent the 3D point cloud sampled in the current and the past 1-second time window. The green arrow and red sphere on the ground denote the global translation of the root and foot contacts, respectively.
为了捕获运动对象的三维点云数据，我们使用了SOSLAB推出的ML-X型号[SOS23]，这是一款工作频率为20 Hz的高性能固态激光雷达。ML-X拥有宽广的视场，水平覆盖范围120度，垂直覆盖范围35度，能够生成分辨率为$56 \times 192$的精细点云。该点云可提供精确的三维全局坐标以及光强值。这款固态激光雷达系统的一个显著优势是能够同时以三维和二维图像格式捕获深度与强度信息，这让我们可以类比图像运动数据集中的图像来处理点云数据。此外，与其他旋转式激光雷达系统相比，ML-X的畸变极小，因此非常适合捕获存在身体重叠的快速复杂运动。
数据采集。运动数据与点云数据同步采集，如图2所示。受试者完成了两大类动作：静态动作与移动动作。数据集构成和动作类别的详细信息见表1。
为了仅提取属于人体受试者的点，我们对采集到的点云进行了背景滤波处理。处理后的点云每帧大约包含200至300个点。我们仅记录三维位置数据，舍弃了强度数据，因为对于穿着统一黑色动作捕捉服的受试者而言，强度数据不具备区分意义；此外，这类强度数据也无法提供与典型人类衣着相关的信息。
将采集到的运动数据与点云数据对齐到统一的全局坐标系后，我们对时间帧进行了同步，并将运动数据下采样至20Hz，与激光雷达传感器的工作频率相匹配。
### 4. 输入/输出表示
图3展示了我们的框架在推理阶段当前帧t的输入与输出。输入由当前3D点云数据以及经过下采样的过去1秒点云数据组成（采样频率为20 Hz）。每一帧包含256个3D点，我们选取了当前帧之前第5、10、15、20帧中采样得到的四个历史点云。为保证输入维度一致，对于点数量超过256的帧，我们随机丢弃多余点，对于点数量不足256的帧，我们执行零位置填充。最终得到输入$\mathbf{p}_t = [p_t; p_{t-5}, p_{t-10}, p_{t-15}, p_{t-20}]$，其中$p_t \in \mathbb{R}^{256 \times 3}$。引入历史点云可显著提升结果质量（第7.2节）。
当前帧t的输出由全局姿态特征$\mathbf{g}_t$和局部姿态特征$\mathbf{x}_t$组成。全局姿态特征包含角色根节点的位置、旋转、线速度、角速度和足部接触信息，表示为$\mathbf{g}_t = [r^l, r^r, r^j, r^r, c] \in \mathbb{R}^{17}$，其中$r^l \in \mathbb{R}^3$、$r^r \in \mathbb{R}^6$、$r^j \in \mathbb{R}^3$、$r^r \in \mathbb{R}^3$和$c \in \mathbb{R}^2$。局部姿态特征由关节相对于父关节的局部位置、旋转、线速度和角速度组成，记为$\mathbf{x}_t = [x^l, x^r, x^j, x^r] \in \mathbb{R}^{n_j \times 15}$，其中$x^l \in \mathbb{R}^{n_j \times 3}$、$x^r \in \mathbb{R}^{n_j \times 6}$、$x^j \in \mathbb{R}^{n_j \times 3}$和$x^r \in \mathbb{R}^{n_j \times 3}$。此处$n_j$表示关节的数量。
### 5. MOVIN 框架
如图4所示，MOVIN框架基于自回归条件变分自动编码器（CVAE）架构。在训练阶段，MOVIN利用3D点云历史$\mathbf{g}$以及先前的全局和局部姿态特征$\mathbf{x}_t$和$\mathbf{p}_t$，重构分别记为$\mathbf{g}_{t-1}$和$\mathbf{x}_{t-1}$的当前全局与局部姿态特征。此外，该模型被训练将隐变量z拟合为高斯分布。该框架包含两个组件：负责将输入特征映射到隐分布的特征编码器，以及生成全局和局部姿态特征的姿态生成器。
在推理阶段，仅使用特征编码器和姿态生成器的嵌入模块，生成当前时间步的输出姿态特征$\hat{\mathbf{x}}_t$和$\hat{\mathbf{g}}_t$。模型输入为随机采样得到的隐变量z，条件输入包括3D点云历史$\mathbf{p}_t$以及前一帧的输出姿态特征$\hat{\mathbf{x}}_{t-1}$和$\hat{\mathbf{g}}_{t-1}$。
#### 5.1. 特征编码器
特征编码器将先前的输出姿态特征$\mathbf{g}_{t-1}$、$\mathbf{x}_{t-1}$，3D点云数据历史$\mathbf{p}_{t}$，以及当前目标姿态特征$\mathbf{g}_{t}$、$\mathbf{x}_{t}$作为输入，将其编码为服从高斯分布$\mathcal{N}(\boldsymbol{\mu}, \boldsymbol{\sigma})$的隐变量z。特征编码器由分别嵌入各输入特征的嵌入模块，以及捕捉嵌入向量之间关联关系的Transformer编码器组成，该结构让模型能够学习当前时间帧下所有可能姿态特征的分布。
嵌入模块。为了捕捉输入三维点云数据中不同尺度的上下文信息，我们采用PointNet++ [QYSG17]从历史点云$f_t^p$中提取嵌入向量$\mathbf{p}_t$：
$$ f_{t}^{\mathbf{p}}=\operatorname{PointNet}+\left(\mathbf{p}_{t}\right)\in\mathbb{R}^{5\times C}, $$
其中C表示通道数量。
对于位姿特征，我们为全局采用独立嵌入
---
Figure 4: Overview of MOVIN framework. The model separates into the Feature Encoder and the Pose Generator. At inference time, only the Pose Generator and the embedding modules of Feature Encoder are used. Given the sampled point cloud sequence $\mathbf{p}_t$, our model generates current global and local pose features $\hat{\mathbf{g}}_t$, $\hat{\mathbf{x}}_t$, which is used as a condition on the next time frame.
和局部位姿特征（如第4节所述）。图卷积网络（Graph Convolution Network，GCN）[YLX $^{*}$19, LCC $^{*}$19, SZCL19, JPL22]用于在保留身体部位结构的同时，降低输入局部特征$\mathbf{x}_t$和$\mathbf{x}_{t-1}$的空间分辨率。此外，我们采用两层MLP对全局位姿特征$\mathbf{g}_t$和$\mathbf{g}_{t-1}$进行嵌入。位姿特征嵌入过程可定义如下：
$$ \begin{array}{r}{f_{t}^{\mathbf{x}}=\mathbf{G C N}(\mathbf{x}_{t})\in\mathbb{R}^{C},\quad f_{t}^{\mathbf{g}}=\mathbf{M L P}(\mathbf{g}_{t})\in\mathbb{R}^{C}}\end{array} $$
通过对$\mathbf{x}_{t-1}$和$\mathbf{g}_{t-1}$应用相同的处理流程，我们得到$f_t^x$和$f_t^{-1}$。
完成特征嵌入后，我们得到五个嵌入向量：$f_t^p$、$f_t^x$、$f_{t-1}^x$、$f_t^g$和$f_{t-1}^g$。这些向量作为后续Transformer编码器的输入。此外，$[f_t^p, f_{t-1}^x, f_{t-1}^g]$被用作位姿生成器的条件。
Transformer编码器。为了对人体关节与对应点云中局部聚类之间的相关性建模，我们采用了Transformer架构[VSP $^{*}$17]。Transformer编码器E将可学习 tokens $[\mu^{token}, \sigma^{token}]$ 和拼接后的嵌入向量 $[f_t^{\mathbf{p}}, f_t^{\mathbf{x}}^{-1}, f_t^{\mathbf{g}}^{-1}, f_t^{\mathbf{x}}, f_t^{\mathbf{g}}]$ 作为输入。对这些输入编码后得到高斯分布的参数 $\mathcal{N}(\mu, \sigma)$。随后应用重参数化技巧变换这些参数，得到解码器输入分布 $z \in \mathbb{R}^{C}$：
$$ \begin{array}{r}{E(z|f_{t}^{\mathbf{p}},~f_{t-1}^{\mathbf{x}},~f_{t-1}^{\mathbf{g}},~f_{t}^{\mathbf{x}},~f_{t}^{\mathbf{g}})=\mathcal{N}(z,\mathbf{\mu},\mathbf{\sigma})}\end{array} $$
#### 5.2. 姿态生成器
给定采样得到的隐变量z，姿态生成器是一个自回归模型，它以采样点云历史的嵌入向量和先前姿态特征 $\left[\hat{\mathbf{x}}_{t},\ \hat{\mathbf{g}}_{t}\right]$ 为条件，生成当前全局和局部姿态特征 $\left[f_{t}^{\mathbf{p}}, f_{t-1}^{\mathbf{x}}, f_{t-1}^{\mathbf{g}}\right]$。由于单个LiDAR传感器经常会遇到身体部位间的自遮挡问题，这会增大获取到的点云与真值全身姿态之间的模糊性。为解决这一问题，我们从先验分布中采样得到隐向量z，并以点云为条件生成合理的人体运动。
受motionVAE [LZCVDP20b]启发，我们引入了混合专家（Mixture-of-Expert, MoE）解码器，经实验验证，该解码器能够提升姿态构建质量并减少视觉伪影。MoE方法通常用于将问题空间划分为不同分区，分配给固定数量的神经网络专家。随后使用门控网络确定各专家预测在计算最终输出或预测结果时的相对贡献。在我们的框架中，MoE解码器生成输出后，会通过扩展模块对该输出进一步扩张，最终得到全身姿态和足部接触信息。这些扩展模块采用了特征编码器中嵌入模块的逆结构。
混合专家解码器 MoE解码器D由8个结构相同的专家网络组成。我们引入了单个共享门控网络来融合各专家的权重，从而确定解码器网络的权重。给定隐变量z和条件特征集合$[f_t^{\mathbf{p}}, f_{t-1}^{\mathbf{x}}, f_{t-1}^{\mathbf{g}}]$，MoE解码器D按如下方式计算输出$f_t^d$：
$$ f_{t}^{d}=D(z,f_{t}^{\mathbf{p}},f_{t-1}^{\mathbf{x}},f_{t-1}^{\mathbf{g}})\in\mathbb{R}^{2C}, $$
其中$f_{t}^{\mathbf{p}}$表示当前点云的嵌入向量，$f_{t-1}^{\mathbf{x}}$、$f_{t-1}^{\mathbf{g}}$表示历史姿态特征的嵌入向量。
扩展模块。MoE解码器的输出$f_{t}^{d}$由De-GCN和De-MLP模块进一步处理，这两个模块的结构与嵌入模块对称。这些模块对输出维度进行扩展，得到最终的全局与局部
---
姿态特征$\hat{\mathbf{g}}_t$和$\hat{\mathbf{x}}_t$，如下所示：
$$ \hat{\mathbf{x}}_{t}=\operatorname{D e-G C N}(f_{t}^{d}\left[:C\right]),\quad\hat{\mathbf{g}}_{t}=\operatorname{D e-M L P}(f_{t}^{d}\left[C:\right]) $$
### 6. 训练
整个模型通过最小化重构$\mathcal{L}_{rec}$和KL散度$\mathcal{L}_{kl}$损失进行训练。重构损失同时包含局部姿态特征重构损失与全局姿态特征重构损失。局部重构损失量化了关节空间中相对于父关节、以及角色空间中相对于角色根节点的L1误差。同理，全局重构损失衡量生成结果与真值全局根节点位置、旋转、速度和足部接触之间的L1误差。此外，KL散度损失$\mathcal{L}_{kl}$对潜变量z的分布进行正则化，使其接近先验分布$\mathcal{N}(0, I)$。
因此，总损失函数为：
$$ \begin{aligned}\mathcal{L}_{total}=&\mathcal{L}_{rec}+w_{kl}\mathcal{L}_{kl}\\\mathcal{L}_{rec}=&\|\hat{\mathbf{x}}_{t}-\mathbf{x}_{t}\|_{1}+\|FK(\hat{\mathbf{x}}_{t})-FK(\mathbf{x}_{t})\|_{1}+\|\hat{\mathbf{g}}_{t}-\mathbf{g}_{t}\|_{1},\end{aligned} $$
其中$\mathcal{L}_{rec}$的前两项表示局部重构损失，最后一项对应全局重构损失。$w_{kl}$是KL散度损失的权重。
实现细节：我们使用AdamW优化器训练120个epoch，学习率为$10^{-4}$，损失权重$w_k$设为1。在嵌入模块中，GCN层包含1个空间卷积层与身体部位池化。两层MLP为具有256个隐藏单元、ReLU激活函数的前馈网络。PointNet++由3个集合抽象层构成。Transformer编码器E包含2层结构，共64个通道、4个注意力头；MoE解码器D由8个结构一致的专家网络和1个门控网络组成，门控网络同样是具有256个隐藏单元的三层前馈网络。扩展模块采用与嵌入模块对称的架构。为避免自回归推理过程中出现协变量偏移，我们在训练阶段将预测长度设置为8帧。我们的模型还采用了计划采样，让模型对自身生成的误差更鲁棒，从而支持长序列生成。使用四块配备12GB显存的2080ti GPU进行端到端训练，总耗时约为60小时。
为验证我们方法的有效性，我们与当前最优方法进行了全面的定量和定性对比评估。我们选择VIBE [KAB20]和MotionBERT [ZML $^{*}$22]作为代表性基线方法，二者均为基于视觉的方案。为统一骨骼层级结构以便对比，我们对基线方法的输出参数进行了BVH转换和基于优化的重定向[JKL18]。此外，我们将重定向后的输出下采样至20fps，以匹配我们方法的输出帧率。我们禁用了所有方法的后处理，确保网络架构对比的公平性。关于可视化动画结果，请参考补充视频。
| $MJP E_{cm}$ | $MJRE^{\circ}$ | $MJLV E_{cm}$ | $MJAVE^{\circ}$ | Jitt. |
| GT | — | — | — | — | 446.87 |
| VIBE | 10.86 | 18.39 | 2.39 | 3.16 | 1103.15 |
| MotionBERT | 10.62 | 18.05 | 1.75 | 2.24 | 395.11 |
| MOVIN | 6.21 | 10.12 | 1.89 | 2.75 | 871.53 |
| $MPPE_{cm}$ | $MPRE^{\circ}$ | $MPLVE_{cm}$ | $MPAVE^{\circ}$ | Cont.% |
| MOVIN | 4.42 | 11.64 | 2.46 | 4.94 | 94.28 |
Table 2: Quantitative measures of MOVIN and state-of-the-art methods. Pelvis (P) errors are only measured for MOVIN since the baselines cannot accurately capture global translation.
由于目前不存在包含同步视频、LiDAR点云和动作捕捉数据的公开数据集，我们的实验仅在我们留存的测试集上开展。该测试集包含两名身高分别为162厘米和170厘米的受试者，每名受试者都完成了静态动作和行进运动两类动作，整个测试集总时长约为25分钟。
此外，我们开展了消融实验，以探究我们各项设计选择的影响，包括点云历史信息的利用以及自回归方案的实现。
定量指标包括骨盆（P）和其他身体关节（J）的平均位置误差（M*PE）、旋转误差（M*RE）、线速度误差（M*LVE）和角速度误差（M*AVE）。关节位置误差和线速度误差在骨盆坐标系中通过正向运动学计算得到。此外对于MOVIN，我们通过将真值标签与对预测接触概率应用0.5阈值得到的预测接触标签进行对比，评估了接触预测准确率。
最后，我们展示了一个针对开放环境中未见受试者的实时动作捕捉演示，并讨论了后处理的效果。
#### 7.1. 与最先进方法的比较
我们使用VIBE和MotionBERT的公开代码对两个模型开展了推理，结果显示这些基准方法均为离线方法，输入序列长度固定，分别为16和243。相比之下，我们的模型MOVIN采用大小为1的滑动窗口进行逐帧预测，以此模拟实时使用场景。我们专门测量了MOVIN的骨盆误差，这类误差会显著影响输出全身姿态的质量。由于上述基准方法不支持显式全局定位，我们没有测量它们的骨盆误差，而是为其提供了骨盆轨迹的真值，用于定性分析。
表2展示了MOVIN与当前最优方法的定量评估结果。相较于MotionBERT，MOVIN在平均关节位置误差和旋转误差上均有显著提升，提升幅度分别约为4.41厘米和7.93度。但在关节线速度和角速度方面，MotionBERT表现出略优的性能。这一优势源于MotionBERT使用了长度为243帧的更长输入窗口，使其能够保持输出的连续性，实现更平滑的过渡。值得注意的是，
---
| $MJPE_{cm}$ | $MJRE^{\circ}$ | $MJLVE_{cm}$ | $MJAVE^{\circ}$ | Jitt. |
| GT | — | — | — | — | 446.87 |
| w/o past pcd | 6.70 | 11.49 | 1.95 | 2.76 | 919.15 |
| w/ past poses | 7.25 | 12.67 | 1.80 | 2.44 | 708.08 |
| w/o autoreg. | 6.09 | 9.71 | 2.07 | 3.15 | 1118.68 |
| 512 points | 6.39 | 10.15 | 1.91 | 2.74 | 929.60 |
| MOVIN | 6.21 | 10.12 | 1.89 | 2.75 | 871.53 |
| $MPPE_{cm}$ | $MPRE^{\circ}$ | $MPLVE_{cm}$ | $MPAVE^{\circ}$ | $Cont._{\%}$ |
| w/o past pcd | 4.98 | 12.03 | 1.67 | 6.76 | 92.79 |
| w/ past poses | 5.44 | 12.34 | 1.58 | 5.68 | 93.93 |
| w/o autoreg. | 4.45 | 11.39 | 1.48 | 5.83 | 94.43 |
| 512 points | 4.35 | 11.83 | 1.51 | 5.90 | 94.38 |
| MOVIN | 4.42 | 11.64 | 1.50 | 4.94 | 94.28 |
Table 3: Quantitative measures of MOVIN and ablation models. The term "w/o past pcd" denotes the variant trained without incorporating point clouds sampled from a previous time window. "w/ past poses" refers to the version that includes past poses. "w/o autoreg" signifies the variant that employs a non-autoregressive pose generator. Lastly, "512 points" designates the model variant that utilizes a point cloud consisting of 512 points.
MotionBERT的输出运动与真值相比抖动值更低，这表明其存在过平滑效应，该效应可以在补充视频中被清晰观察到。VIBE的位置误差和旋转误差与MotionBERT相近，但输出姿态存在严重抖动，表2中的高抖动值也印证了这一点。
图8展示了两组（身高170cm的男性和身高162cm的女性）四列图像，分别对应真值（GT）、MOVIN、VIBE和MotionBERT输出的全身运动结果。MOVIN的鲁棒性十分突出：无论被测对象的体型如何，也无论动作类别如何多样，它都能生成合理的全身运动。总体而言，MOVIN保留了真值中的细节，并在输出的全身运动中保持了时间连续性。如需查看MOVIN与各基线方法的完整对比评估，请参考我们的补充视频。
在全局定位性能方面，MOVIN的骨盆位置平均误差和旋转平均误差分别为4.42cm和11.64度。图6展示了我们实时应用的截图，从中可以看出模型输出的全局轨迹与用户的实际轨迹对齐良好。
#### 7.2. 消融实验
本消融研究的目的是验证我们各项设计选择的有效性：将历史点云作为输入、不将历史姿态纳入输入、选择最优输入点数量，以及在训练和推理阶段均实现自回归机制。表3给出了五种不同消融模型的量化指标：无历史点云输入的模型、将历史姿态作为输入的模型、输入为512个点的模型、无自回归机制的模型，以及我们提出的模型MOVIN。
历史点云序列与姿态。不含历史点云序列的模型性能低于本文提出的
Figure 5: Visual comparisons of ablation models. Without past point clouds as input, the model exhibits abrupt changes in the global heading direction and incorrect movement. The model with a non-autoregressive Pose Generator produces outputs with unrelated poses between frames.
该模型的平均关节位置误差增加了0.5 cm，旋转误差增加了1.4度。具体到骨盆关节，平均位置误差和角速度误差分别增加了0.5 cm和1.8度。我们观察到，在输出运动序列中，该模型通常无法维持时间连续性，这一点在快速运动或部分身体部位被其他部位遮挡的场景（例如侧身行走或就坐）中尤为明显，如图5（第一行）所示；这种问题会导致全局朝向和身体姿态发生突变。
提供历史姿态的方法在所有对比方案中表现最差。我们推测，仅输入先前生成的姿态会导致模型在自回归输入中产生累积误差，因此很难从不准确的预测中恢复。
自回归设置：不使用自回归的模型与本文提出的模型相比，位置误差和旋转误差没有显著差异。但关节的线速度误差和角速度误差均出现明显上升，尤其是骨盆关节，其角速度误差上升了约0.9度。此外，抖动值增加了约250。这些结果表明，在训练过程中引入自回归、让模型接触累积预测误差，能够使模型在推理阶段稳健处理这类误差，最终在输出序列中生成稳定连续的姿态。图5（第二行）的结果显示，该消融模型在弓步动作过程中生成了不连续的姿态。
输入点的数量。将输入点的数量翻倍（从256增加到512）会使计算时间成比例增加，但不会带来显著的性能提升。为了匹配20Hz LiDAR传感器的速率实现实时推理，我们选择使用256个点作为输入。
---
Figure 6: Real-time motion capture results. For each user's pose, the left shows reference images and the right shows the corresponding captured full-body pose. Our framework robustly captures both body dimensions and a wide range of motions.
#### 7.3 实时动作捕捉演示
图6展示了我们在Unity3D中实现的单LiDAR实时动作捕捉系统的捕捉快照。与近期使用多个RGB相机的方法相比，我们的系统无需离线校准即可实时捕捉目标人物的动作，允许用户立即查看结果。第一行中，身高159cm的女性受试者完成了坐地、弓步等具有挑战性的动作，这些动作均被我们的系统准确捕捉。第二行展示了该系统捕捉身高175cm男性受试者动态动作的能力，包括跑步、开合跳、踢腿和深蹲。我们的框架不仅能够准确跟踪这些多样的动作，还可以有效捕捉受试者的身体尺寸。如需查看我们模型实时性能的完整演示，请参考我们的补充视频。
#### 7.4 后处理的效果
由于实时姿态生成方法无法考虑未来姿态，输出动作可能会出现脚滑动的问题。为了解决这个问题，我们使用预测的接触标签，借助逆运动学修正脚部位置。目标脚部位置通过对前一时刻和当前输出的脚部位置进行插值得到。我们的补充视频通过对比启用和未启用该后处理的输出动作，展示了该后处理的作用。
### 8 局限性与未来工作
尽管我们提出的模型MOVIN能够成功实时捕捉多种不同动作，但我们必须指出现有模型存在的局限性，为后续研究明确方向。
我们模型的一个局限性体现在遇到未见过的动作时，如图7所示的风车动作示例。在这类情况中，模型生成的姿态与对应的点云无法对齐，这说明我们需要提升模型对新颖或少见动作的泛化能力。通过纳入更多种类的动作变化来扩大训练数据集规模，是解决这一局限性的潜在方案。
另一个局限性在于我们当前实现的每秒帧数（fps）性能相对较低，这主要是由于操
Figure 7: An example of failure case. When the user performs an unseen motion (windmill), the model generates a pose that does not align with the corresponding point cloud.
作频率受LiDAR传感器的限制。为解决这一问题，未来研究可以探索点云上采样技术或是硬件改进来提升帧率。对点云数据进行上采样可以提供更密集、频次更高的输入信息，从而得到更平滑的输出动作和更高的帧率。
此外，尽管我们的模型对身体部位之间的自遮挡已经具备不错的处理能力，但在严重遮挡场景下仍存在不足，例如测试对象蜷缩起来，或是环境中布满杂乱物体时。为提升这类场景下的性能，考虑使用多个从不同角度布置的LiDAR传感器是一个可行方案。通过从多个视角捕捉对齐的点云，模型可以获取更详细的信息，进而提升动作捕捉性能。
### 9. 结论
我们提出了MOVIN，这是首个使用单个LiDAR传感器实现实时全身运动捕捉的数据驱动生成模型。我们的方法解决了全身追踪面临的挑战，无需穿戴人体紧身衣和专用设备，同时仍能保持高质量的运动捕捉效果。MOVIN利用自回归CVAE模型从三维点云数据中学习姿态变化的分布。通过分别嵌入全局姿态特征和局部姿态特征，我们的模型有效学习了姿态先验，并能准确预测表演者的三维全局信息和局部关节细
---
节。本文提出的自回归Mixture-of-Expert解码器保证了帧间的时间连贯性，能够生成自然真实的动作。我们的实时应用展示了MOVIN的鲁棒性，它可以准确捕捉不同体型受试者的各类动作，验证了其在真实场景中的有效性。
## 致谢
本工作得到韩国IITP、MSIT（项目编号：2022-0-00566）和韩国NRF（项目编号：2022R1A4A5033689）的资助。
## 参考文献
[AARS13] AMIN S., ANDRILUKA M., ROHRBACH M., SCHIELE B.：用于三维人体姿态估计的多视图图画结构模型。发表于英国机器视觉会议（2013年）。2
[ACB $^{*}$22] ALIAKBARIAN S., CAMERON P., BOGO F., FITZGIBBON A., CASHMAN T. J.: Flag: 基于流的从稀疏观测生成三维化身方法zhang22motiondiffuse。发表于IEEE/CVF计算机视觉与模式识别会议论文集（2022年），页码13253–13262。2, 3
[ATS*08] AGUIAR E., THEOBALT C., STOLL C., AHMED N., SEIDEL H.-P., THRUN S.：从稀疏多视角视频进行表演动态捕捉。ACM Transactions on Graphics（2008年2月）。doi:10.1145/1360612.1360697。2
[BKL $^{*}$16] BOGO F., KANAZAWA A., LASSNER C., GEHLER P., ROMERO J., BLACK M. J.：Keep it SMPL：从单张图像自动估计三维人体姿态和形状，2016。arXiv:1607.08128。2
[BM98] BREGLER C., MALIK J.：基于扭转和指数映射的人体跟踪。见：Proceedings. 1998 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (Cat. No.98CB36231)（1998），第8–15页。doi:10.1109/CVPR.1998.698581。2
[BMB*11] BAAK A., MÜLLER M., BHARAJ G., SEIDEL H.-P., THEOBALT C.：一种基于深度相机的实时全身姿态重建数据驱动方法。见：2011 International Conference on Computer Vision（2011），第1092–1099页。doi:10.1109/ICCV.2011.6126356。2
[BSC13] BURENIUS M., SULLIVAN J., CARLSSON S.：面向多视图关节姿态估计的三维图示结构。见：2013 IEEE Conference on Computer Vision and Pattern Recognition（2013），第3618–3625页。doi:10.1109/CVPR.2013.464。2
[CH05] CHAI J., HODGINS J. K.：基于低维控制信号的表演动画。见：ACM SIGGRAPH 2005 Papers。2005，第686–696页。3
[CXR*22] CONG P., XU Y., REN Y., ZHANG J., XU L., WANG J., YU J., MA Y.：大规模场景下基于单目相机与单激光雷达的弱监督三维多人姿态估计，2022。arXiv:2211.16951。3
[DFJ*22] DONG J., FANG Q., JIANG W., YANG Y., HUANG Q., BAO H., ZHOU X.：快速鲁棒的多视图多人三维姿态估计与跟踪。IEEE Transactions on Pattern Analysis and Machine Intelligence 第44卷第10期（2022），第6981–6992页。doi:10.1109/TPAMI.2021.3098052。2
[FNM19] FERSTL Y.、NEFF M.、MCDONNELL R.：多目标对抗手势生成。见第12届ACM SIGGRAPH运动、交互与游戏会议论文集（美国纽约州纽约市，2019年），MIG '19，美国计算机协会。3
[GMHP04] GROCHOW K.、MARTIN S. L.、HERTZMANN A.、POPOVIC Z.：基于风格的逆运动学。见ACM SIGGRAPH 2004论文集。2004年，第522–531页。3
[GPAM $^{*}$14] GOODFELLOW I.、POUGET-ABADIE J.、MIRZA M.、XU B.、WARDE-FARLEY D.、OZAIR S.、COURVILLE A.、BENGIO Y.：生成对抗网络。见《神经信息处理系统进展》（2014年），Ghahramani Z.、Welling M.、Cortes C.、Lawrence N.、Weinberger K.（编），第27卷，Curran Associates出版公司。3
[HAB20] HENTER G. E.、ALEXANDERSON S.、BESKOW J.：Moglow：基于归一化流的概率可控运动合成。ACM Transactions on Graphics (TOG) 39，6（2020年），1–14。3
[HKA*18] HUANG Y.、KAUFMANN M.、AKSAN E.、BLACK M. J.、HILLIGES O.、PONS-MOLL G.：深度惯性姿态估计器：学习从稀疏惯性测量中实时重建人体姿态。ACM Transactions on Graphics (TOG) 37，6（2018年），1–15。2
[HPY $^{*}$22] HUANG B.、PAN L.、YANG Y.、JU J.、WANG Y.：物理可信人体动作捕捉的神经运动控制，2022年。arXiv:2203.14065。2
[HTTM12] HOLTE M. B.、TRAN C.、TRIVEDI M. M.、MOESLUND T. B.：基于多视图视频的人体姿态估计与动作识别：近期进展的比较探究。IEEE Journal of Selected Topics in Signal Processing 6，5（2012年），538–552。doi:10.1109/JSTSP.2012.2196975。2
[IPOS13] IONESCU C., PAPAVA D., OLARU V., SMINCHISESCU C.：Human3.6m：自然环境中三维人体感知的大规模数据集与预测方法。《IEEE模式分析与机器智能汇刊》36卷，第7期（2013年），1325–1339。 3
[JKL18] JIN T., KIM M., LEE S.-H.：Aura Mesh：保留蒙皮角色空间关系的运动重定向。发表于《Computer Graphics Forum》（2018年），第37卷，Wiley Online Library，第311–320页。 6
[JPL22] JANG D.-K., PARK S., LEE S.-H.：Motion Puzzle：按身体部位实现任意运动风格迁移。ACM《图形汇刊》（TOG）41卷，第3期（2022年），1–16。 5
[JSQ*22] JIANG J., STRELI P., QIU H., FENDER A., LAICH L., SNAPE P., HOLZ C.：AvatarPoser：基于稀疏运动感知的关节化全身姿态跟踪。发表于《计算机视觉–ECCV 2022：第17届欧洲计算机视觉会议，以色列特拉维夫，2022年10月23–27日，会议录第五分册》（2022年），Springer，第443–460页。 2
[JYG*22] JIANG Y., YE Y., GOPINATH D., WON J., WINKLER A. W., LIU C. K.：Transformer Inertial Poser：基于稀疏IMU的注意力机制实时人体运动重建。arXiv预印本 arXiv:2203.15720（2022年）。 2
[KAB20] KOCABAS M., ATHANASIOU N., BLACK M. J.：VIBE：人体姿态与形状估计的视频推理。发表于《IEEE/CVF计算机视觉与模式识别会议论文集》（2020年），第5253–5263页。 2, 6
[KPD19] KOLOTOUROS N., PAVLAKOS G., DANIILIDIS K.：单幅图像人体形状重建的卷积网格回归，2019。arXiv:1905.03244。2
[LAZ*22] Li P., ABERMAN K., ZHANG Z., HANOCKA R., SORKINE-HORNUNG O.：GANimator：基于单序列的神经运动合成。ACM Trans. Graph. 41卷，第4期（2022年7月）。 3
[LCC $^{*}$19] Li M.、陈S.、陈X.、张Y.、王Y.、田Q.：面向基于骨架的动作识别的动作结构图卷积网络。收录于IEEE/CVF计算机视觉与模式识别会议论文集（2019年），第3595–3603页。 5
[LLZ*22] 李Z.、刘J.、张Z.、徐S.、严Y.：CLIFF：将全帧中的位置信息融入人体姿态与形状估计，2022。arXiv:2208.00571。 2
[LMR $^{*}$15] LOPER M.、MAHMOOD N.、ROMERO J.、PONS-MOLL G.、BLACK M. J.：SMPL：蒙皮多人物线性模型。ACM Transactions on Graphics (TOG) 34卷，第6期（2015年），第1–16页。 3
[LVC*19] LANG A. H.、VORA S.、CAESAR H.、周L.、杨J.、BEIJBOM O.：PointPillars：面向点云目标检测的快速编码器。收录于IEEE/CVF计算机视觉与模式识别会议论文集（2019年），第12697–12705页。 3
---
[LWH $^{*}$12] LEVINE S.、WANG J. M.、HARAUX A.、POPOVIĆ Z.、KOLTUN V.：基于低维嵌入的连续角色控制。ACM Transactions on Graphics (TOG) 31卷，第4期（2012年），第1–10页。 3
[LYC $^{*}$20] 李J.、殷Y.、储H.、周Y.、王T.、Fidler S.、李H.：使用Transformer学习生成多样化舞蹈动作。 3
[LYL $^{*19}$] LEE H.-Y.、YANG X.、LIU M.-Y.、WANG T.-C.、LU Y.-D.、YANG M.-H.、KAUTZ J.：随音乐起舞。收录于《神经信息处理系统进展》（2019年），Wallach H.、Larochelle H.、Beygelzimer A.、d'Alché-Buc F.、Fox E.、Garnett R.（主编），第32卷，Curran联合公司。网址：。 3
[LZCVDP20a] LING H. Y., ZINNO F., CHENG G., VAN DE PANNE M.: 基于运动VAE的角色控制器。ACM《图形汇刊》（TOG） 39卷，第4期（2020年），40–1。 3
[LZCVDP20b] LING H. Y., ZINNO F., CHENG G., VAN DE PANNE M.: 基于运动VAE的角色控制器。ACM《图形汇刊》（TOG） 39卷，第4期（2020年），40–1。 5
[LZW*22] LI J., ZHANG J., WANG Z., SHEN S., WEN C., MA Y., XU L., YU J., WANG C.: LidarCap：基于激光雷达点云的远距离无标记三维人体动作捕捉。发表于IEEE/CVF计算机视觉与模式识别会议论文集（2022年），第20502–20512页。 2, 3
[LZWM06] LIU G., ZHANG J., WANG W., MCMILLAN L.: 基于简化标记集的人体运动估计。发表于2006年交互式3D图形与游戏研讨会论文集（2006年），第35–42页。 3
[MC12] MIN J., CHAI J.: Motion graphs++：面向语义动作分析与合成的紧凑生成模型。ACM Trans. Graph. 31卷，第6期（2012年11月）。 3
[MSS $^{*}$17] MEHTA D., SRIDHAR S., SOTNYCHENKO O., RHODIN H., SHAFIEI M., SEIDEL H.-P., XU W., CASAS D., THEOBALT C.: Vnect：单RGB相机实时三维人体姿态估计。卷36。网址: , doi:10.1145/3072959.3073596。2
[opt09] Optitrack动作捕捉系统，2009年。网址: 。 2, 3
[PBV21] PETROVICH M., BLACK M. J., VAROL G.: 基于动作条件的Transformer VAE三维人体动作合成。发表于IEEE/CVF国际计算机视觉会议论文集（2021年），第10985–10995页。 3
[PZDD17] PAVLAKOS G., ZHOU X., DERPANIS K. G., DANIILIDIS K.: 单图像三维人体姿态由粗到细体积预测，2017。arXiv:1611.07828。2
[QYSG17] 齐 C.R.、易 L.、苏 H.、吉巴斯 L.J.：Pointnet++：度量空间中点集的深度分层特征学习。《神经信息处理系统进展》 30 (2017)。 4
[RZH $^{*}$23] 任 Y.、赵 C.、何 Y.、丛 P.、梁 H.、余 J.、徐 L.、马 Y.：Lidar-aid Inertial Poser：基于稀疏惯性传感器与激光雷达的大规模人体动作捕捉。《IEEE可视化与计算机图形汇刊》 29, 5 (2023), 2337–2347. 3
[SGJ*20] 石 S.、郭 C.、江 L.、王 Z.、石 J.、王 X.、李 H.：Pv-rcnn：面向三维目标检测的点-体素特征集抽象。收录于《IEEE/CVF计算机视觉与模式识别会议论文集》 (2020), pp. 10529–10538. 3
[SHP04] 萨福诺娃 A.、霍金斯 J.K.、波拉德 N.S.：在低维行为特定空间中合成物理真实的人体运动。ACM《计算机图形汇刊》(ToG) 23, 3 (2004), 514–521. 3
[SLY15] 孙 K.、李 H.、严 X.：基于深度条件生成模型学习结构化输出表示。《神经信息处理系统进展》 28 (2015). 3
[SOS23] SOSLAB：ML-X 型号激光雷达，2023。[在线；访问时间：2023年6月4日]。URL:
[SZCL19] 石 L.、张 Y.、程 J.、鲁 H.：基于有向图神经网络的骨骼动作识别。收录于《IEEE/CVF计算机视觉与模式识别会议论文集》 (2019), pp. 7912–7921. 5
[TCL23] 曾 J.、卡斯特隆 R.、刘 C.K.：Edge：从音乐生成可编辑舞蹈。收录于《IEEE/CVF计算机视觉与模式识别会议论文集》 (2023). 3
[TRG $^{*}$23] TEVET G.、RAAB S.、GORDON B.、SHAFIR Y.、BERMANO A. H.、COHEN-OR D.：《人类动作扩散模型》。收录于 ICLR（2023）。3
[VAV*07] VLASIC D.、ADELSBERGER R.、VANNUCCI G.、BARNWELL J.、GROSS M.、MATUSIK W.、POPOVIC J.：《日常环境中的实用动作捕捉》。ACM Trans. Graph. 26（2007年7月），35。doi:10.1145/1276377.1276421。2
[vic10] Vicon 动作捕捉系统，2010。网址：。2
[viv11] Xsens technologies b.v.，2011。网址：。2
[VMHB $^{*}$18] VON MARCARD T.、HENSCHEL R.、BLACK M. J.、ROSENHAHN B.、PONS-MOLL G.：《利用IMU和移动相机在户外恢复精准三维人体姿态》。收录于欧洲计算机视觉会议（ECCV）论文集（2018），第601–617页。3
[VMRBPM17] VON MARCARD T.、ROSENHAHN B.、BLACK M. J.、PONS-MOLL G.：《稀疏惯性姿态求解器：从稀疏IMU自动估计三维人体姿态》。收录于《Computer Graphics Forum》（2017），第36卷，Wiley Online Library，第349–360页。2
[VSP $^{*}$17] VASWANI A.、SHAZEER N.、PARMAR N.、USZKOREIT J.、JONES L.、GOMEZ A. N.、KAISER L.、POLOSUKHIN I.：《注意力就是一切》。《神经信息处理系统进展》30（2017）。5
[WCX21] WANG Z.、CHAI J.、XIA S.：《结合循环神经网络与对抗训练实现人体动作合成与控制》。IEEE 可视化与计算机图形汇刊 27，第1期（2021年1月），第14–28页。3
[WFH08] WANG J. M.、FLEET D. J.、HERTZMANN A.：《面向人体动作的高斯过程动力学模型》。IEEE 模式分析与机器智能汇刊 30，第2期（2008），第283–298页。doi:10.1109/TPAMI.2007.1167。3
[WLLL22] WEI W.-L., LIN J.-C., LIU T.-L., LIAO H.-Y. M.: 《捕捉运动中的人体：基于单目视频的时间注意力3D人体姿态与形状估计》，2022年。arXiv:2203.08534。2
[WWY22] WINKLER A., WON J., YE Y.: Questsim：基于带模拟化身的稀疏传感器的人体运动追踪，载SIGGRAPH Asia 2022会议论文集（2022年），第1–8页。2
[xse11] Xsens technologies b.v.，2011年。网址：。2
[YKL21] YANG D., KIM D., LEE S.-H.: Lobstr：基于稀疏上身追踪信号的实时下身姿态预测，载Computer Graphics Forum（2021年），第40卷，Wiley Online Library，第265–275页。2
[YLX $^{*}$19] YAN S., LI Z., XIONG Y., YAN H., LIN D.: 面向基于骨架的动作合成的卷积序列生成方法，载IEEE/CVF国际计算机视觉会议论文集（2019年），第4394–4402页。5
[YZ21] YING J., ZHAO X.: 面向基于点云的3D人体姿态估计的RGB-D融合方法，载2021年IEEE国际图像处理会议（ICIP）（2021年），第3108–3112页。doi:10.1109/ICIP42928.2021.9506588。2
[YZH $^{*}$22] Y1 X., ZHOU Y., HABERMANN M., SHIMADA S., GOLYANIK V., THEOBALT C., XU F.: 物理惯性姿态估计器（PIP）：基于稀疏惯性传感器的物理感知实时人体运动追踪，载IEEE/CVF计算机视觉与模式识别会议论文集（2022年），第13167–13178页。2
---
[YZX21] Y1 X., ZHOU Y., XU F.: Transpose：使用六个惯性传感器的实时3D人体平移与姿态估计，ACM Transactions on Graphics (TOG) 第40卷第4期（2021年），第1–13页。2
[ZCP $^{*}$22] ZHANG M., CAI Z., PAN L., HONG F., GUO X., YANG L., LIU Z.：Motiondiffuse：基于扩散模型的文本驱动人体动作生成。arXiv预印本 arXiv:2208.15001 (2022)。3
[ZML*22] ZHU W., MA X., LIU Z., LIU L., WU W., WANG Y.：Motionbert：人体动作分析的统一预训练。arXiv预印本 arXiv:2210.06551 (2022)。3, 6
[ZTJF21] ZHENG W., TANG W., JIANG L., FU C.-W.：Se-ssd：面向点云的自集成单阶段目标检测器。载于IEEE/CVF计算机视觉与模式识别会议论文集(2021)，第14494–14503页。2
---
(b) Female / 162 cm
Figure 8: Qualitative comparisons of full-body motion outputs: Ground Truth, MOVIN-Ours, VIBE, and MotionBERT (from left to right). Our model, MOVIN, accurately generates output motion that closely resembles the ground truth, with natural joint trajectories. In contrast, baseline methods often suffer from issues such as oversmoothing, inaccurate pose, or temporal discontinuities with noticeable jitter.