# LiDAR辅助惯性位姿估计器：基于稀疏惯性与LiDAR传感器的大规模人体动作捕获任义鸣 $^{\dagger}$, 赵程峰 $^{\dagger}$, 何彦男, 丛培珊, 梁晗, 于瀛, 徐兰 $^{\star}$, 马跃新 $^{\star}$ ![Image](images/2feef5ab81dc0cf6bca4abe24f8eccd1e7e836836a9c599cc5cbd60ba13a4e32.jpg)

Fig. 1: We propose a multi-modal motion capture approach, LIP, that estimates challenging human motions with accurate local pose and global translation in large-scale scenarios using single LiDAR and four inertial measurement units.

摘要— 本文提出一种多传感器融合方法，仅需使用单个LiDAR和4枚IMU即可在大规模场景中捕获兼具精准连续局部位姿与全局轨迹的高难度三维人体运动，该方案布置简便、佩戴负担轻。具体而言，为充分利用LiDAR捕获的全局几何信息和IMU捕获的局部动态运动，我们设计了由粗到精的两阶段位姿估计器：点云提供粗略的人体形体，IMU测量结果优化局部动作。此外，考虑到视角依赖的局部点云会导致平移偏差，我们提出了位姿引导的平移校正器，预测捕获点与真实根位置之间的偏移，使得连续运动和轨迹更加精准自然。我们还构建了一个LiDAR-IMU多模态动作捕捉数据集LIPD，涵盖长距离场景下的多种人体动作。在LIPD和其他公开数据集上开展的大量定量、定性实验均证明，本文方法能够在大规模场景下完成出色的动作捕捉，性能明显优于其他方法。我们将发布本文代码和采集的数据集，以推动后续研究。索引词—人体动作捕获、形状建模、虚拟现实、传感器融合 ## 1 引言近几十年来，随着VR/AR的兴起，人体动作捕捉（mocap）已发展成为一项前沿技术，让人类可以在虚拟世界中借助肢体语言完成互动与交流。尽管数据驱动的动作捕捉方案已经取得了长足进展，在大规模场景中准确便捷地捕获人体运动仍然充满挑战。该研究对于大型体育赛事、舞台表演、人群交互等场景的重建、模拟与生成至关重要，近年来已经获得了广泛关注。目前，基于光学的方案占据了人体动作捕捉领域的主流。高端的标记点方案 [^44] [^61] [^62] 需要外部布置多相机系统或密集光学标记，因此将表演者限制在受限的捕捉区域内，导致大规模捕捉无法实现。近年来，基于学习的单目方法 [^14] [^15] [^24] [^25] [^27] [^28] [^30] [^50] [^77] 能够在轻量化设置下实现鲁棒的动作捕捉。尽管这类方法缓解了对昂贵设备和固定捕捉区域的需求，它们仍然容易受遮挡、纹理缺失、环境光照剧烈变化等问题的影响。此外，这类方法本身缺乏深度测量，难以稳定准确地跟踪人体全局轨迹，在大规模场景下该问题尤为明显。相比之下，利用惯性测量单元（IMU）记录的惯性信息实现的动作捕捉不存在遮挡限制，也不依赖环境。高端解决方案[^43] [^68]需要在身体佩戴大量IMU（数量从8个到17个不等），这导致它们不适用于捕捉穿着日常衣物的人体运动。近年来数据驱动方向的最新进展[^19] [^73] [^74]实现了基于稀疏IMU的实时动作捕捉。这类方法可以通过累积IMU观测得到全局位置，甚至可以借助脚-地面接触或物理约束部分缓解漂移问题。但这类纯惯性方法本质上仍然无法避免全局定位的时间累积误差，在捕捉长持续时间的大规模运动时该问题尤其突出。直到近期，得益于激光雷达在大规模感知领域的巨大进步，基于激光雷达的动作捕捉正受到越来越多的关注[^7] [^8] [^81] [^82]。值得注意的是，LiDARCap [^32]借助基于图的卷积网络，由30米探测范围内激光雷达传感器捕获的点云预测日常人体姿态。然而，它很难捕捉带有强 --- 自遮挡和外部遮挡的挑战性人体运动或多人场景，这是由于激光雷达点云具有视角依赖、稀疏度变化的特性。为了解决上述挑战，我们提出了一种名为激光雷达辅助惯性定位器（LiDAR-aid Inertial Poser，LIP）的全新方法，用于在大规模场景中准确捕捉具有挑战性的人体运动。与以往的动作捕捉系统形成鲜明对比的是，我们的LIP采用了新颖的轻量硬件方案，仅使用单个激光雷达和4个IMU。这两种传感器互为补充，能够同时提供被捕捉表演者的全局几何信息和局部动力学信息。同时，该方案天然具备隐私保护性，且对光照不敏感，适合推广到全新场景。如图1所示，我们的系统在新型传感器融合框架下，能够精准重建表演者的局部骨骼姿态和全局轨迹。利用这类新型多模态输入生成鲁棒的动作捕捉结果并非易事。首先，点云仅能捕捉全局视觉信息，而IMU测量值则从物理层面编码了局部动作信息。此外，在表演者的不同姿态和视角下，部分采集得到的人体点云会发生显著变化，这会对精准定位和自然连续的动作捕捉产生负面影响。为此，我们在LIP方法中分别采用两个技术模块来分别精准估计人体姿态和平移量。针对第一个模块，我们提出了两阶段的多模态姿态估计模块，以由粗到细的方式完成传感器融合和局部人体运动估计。具体而言，我们首先在第一阶段通过卷积时间编码器（PointNet-GRU）回归参数化人体模型SMPL的24个关节[^35]以及根关节的6D旋转，从点云中提取姿态和运动模式。随后，在第二阶段，我们添加了融合IMU测量值的分层姿态估计流程，通过关节图估计器优化初始粗略骨架，并通过人体姿态估计器求解关节旋转的逆运动学（IK）问题。为了精准捕捉三维全局运动轨迹，我们引入了第二个模块，即姿态引导平移校正，用于学习部分采集点云与根关节真实位置之间的偏差。具体来说，考虑到不同姿态会影响偏差大小，我们采用另一个同构的PointNet-GRU结构，结合估计得到的关节旋转和优化后的骨架，对点云的形状和姿态特征进行建模。我们进一步利用融合后的姿态特征，消除采集点云固有的平移偏差和随机噪声。具体而言，为推动多模态人体动作捕捉任务的研究，我们构建了一个大规模激光雷达-IMU混合动作捕捉数据集LIPD，其中包含长距离场景下丰富且具有挑战性的单人及多人动作数据。这是首个为动作捕捉任务提供多模态激光雷达点云、IMU测量值以及真值SMPL姿态参数的数据集。我们在LIPD以及多个其他真实和合成数据集[^19] [^32] [^33] [^38]上开展了大量实验，验证了我们提出的LIP方法在各类大场景中捕捉高难度人体运动的能力。综上，本文的主要贡献如下： - 我们提出了首个面向大场景三维人体动作捕捉的激光雷达-IMU混合方法，取得了当前最优的性能。 - 我们提出了一种有效的两阶段由粗到细融合方法，能够充分利用多模态输入的互补特征实现精准姿态估计。我们提出了一种姿态引导的平移偏差消除方法，能够得到准确的全局运动轨迹和自然连续的动作。 - 我们提供了一个大规模基于激光雷达-IMU的多模态动作捕捉数据集，包含各类大场景下的多样人体动作，可为单模态和多模态动作捕捉研究提供支撑。 ## 2 相关工作光学动作捕捉。基于标记点的动作捕捉工作室[^44] [^61] [^62]能够捕捉高质量的专业动作，该技术已取得成功并在行业中得到广泛应用。然而，这类系统成本高昂、操作繁琐，表演者通常需要穿戴标记点服，因此无法用于日常场景。为解决这些问题，无标记点动作捕捉[^5] [^9] [^17] [^22] [^37] [^55] [^56] [^58] [^59] [^69] [^70] [^76]已经取得了巨大进展。以往的多视角算法[^1] [^6] [^10] [^47] [^51] [^52] [^57]证明即使在户外非受控场景下也能实现稳定的动作捕捉。虽然成本和侵入性已大幅降低，但对多相机系统进行同步和校准仍然十分繁琐。因此，研究者提出了多种单目动作捕捉方法，这类方法通过优化[^4] [^18] [^29] [^31]或直接回归[^24] [^25] [^27] [^77]来估计三维人体姿态与形状。为解决单目设置的各类缺陷，研究者提出了基于模板的方法[13–15, 71, 72]、概率方法[^30] [^50]以及语义建模方法[^28]。然而，固有的深度歧义性问题仍未得到解决。部分使用商用深度相机的方法[^3] [^12] [^54] [^66] [^75]能够缓解这一问题，但这类基于主动红外的相机不适合户外捕捉，且捕捉空间有限。近期，Li等人[^32]利用可提供大规模深度信息的消费级激光雷达，实现了大规模三维人体动作捕捉。然而，激光雷达点云具有视角依赖性和稀疏性变化，纯激光雷达方法会受严重遮挡问题的影响，这阻碍了该方法推广到更具挑战性的人体动作以及遮挡不可避免的多人场景中。惯性动作捕捉。与基于相机的光学方法不同，仅使用惯性测量单元（IMU）的纯惯性方法不受遮挡限制，也没有录制环境和空间的约束。然而，如Xsens MVN这类商用纯惯性方案[^68]依赖大量IMU。表演者通常需要穿着绑定了密集IMU的紧身服，这种方式侵入性强、操作繁琐且使用不便，因此推动学界向稀疏IMU设置发展。一项开创性工作SIP [^65]提出了一种仅使用6个IMU的基于优化的离线方法，取得了不错的效果。受该工作启发，近期采用相同设置的数据驱动方法[^19] [^73] [^74]在准确率和效率上都取得了大幅提升，能够实现实时姿态和平移估计。尽管如此，这类纯惯性方法在进行高速或大规模捕捉时仍然存在明显的漂移问题。混合动作捕捉。光学动作捕捉方案存在遮挡问题，惯性动作捕捉方案存在漂移问题，因此融合这两类传感器、利用二者互补性以获得更鲁棒动作捕捉的方法受到了广泛关注。已有方法提出将IMU与RGB相机相结合，可通过优化[23,39–41,48]或回归实现 [^11] [^60] [^64] [^78]。近年来，Liang等人 [^34] 提出了一种结合学习与优化的方法，仅融合单个相机和4个IMU，就在高难度动作捕捉中展现出优异的鲁棒性。此外，部分工作将IMU与深度相机 [^16] [^79] 或光学标记 [^2] 融合，取得了可观的效果。为提升AR/VR应用中的交互体验与沉浸感，使用头戴设备（HMD）结合其他稀疏传感器的动作追踪方法取得了很大进展 [^21] [^67]。尽管如此，这些方法仍受限于捕捉空间有限、对光照敏感，限制了其在大规模动作捕捉场景中的应用。此外，遵循传统优化框架的若干方法 [^46] [^83] 将密集IMU与多个激光雷达结合，不仅系统搭建不便，对表演者来说负担也过重。本文提出一种新型数据驱动分层动作捕捉方法，仅融合单个激光雷达和4个IMU，该方案轻量便捷，同时缓解了遮挡和漂移问题，能够在大规模场景中实现高精度的三维高难度动作捕捉。动作捕捉数据集。当前蓬勃发展的数据驱动动作捕捉方法依赖大规模标注数据集。目前已有多个开放数据集助力相关研究开展。Human3.6M [^20] 是一个被广泛使用的热门动作捕捉数据集，它由10台高速动作相机记录了360万帧数据，覆盖了11名表演者完成的17种日常动作，还有一个类似的数据集HumanEva [^55] --- 提供了6种常见动作。这些均为基于标记的数据集，依赖多视角环绕相机采集3D人体姿态，因此活动空间、着装、动作类型和光照条件都存在限制。AMASS [^38] 将这些数据集整合为一个统一元数据集，采用通用框架与参数化方案，用于数据驱动网络的训练。MPI-INF-3DHP [^42] 在多相机绿幕工作室中通过商用无标记动作捕捉系统采集真值，AIST++ [^33] 通过三维重建方法从多视角视频中获取真值。这类无标记数据集相比基于标记的数据集能够覆盖更复杂的人体姿态。TotalCapture [^60] 是首个利用IMU采集姿态的数据集，包含视频和对应的13组IMU传感器测量值。上述所有数据集都局限于室内场景。随着户外大尺度场景下动作捕捉需求的增长，一批户外数据集应运而生。PedX [^26] 是由立体相机和LiDAR采集的大规模户外三维数据集，但完整三维标签由二维标注生成。3DPW [^63] 通过手持智能手机相机和IMU传感器采集运动真值，DIP-IMU [^19] 则通过SIP方法使用17个IMU传感器生成真值。尽管如此，相机和IMU都无法提供准确的深度信息，导致这类方法难以重建整个场景中的人体运动。LiDAR Human26M [^32] 提出了首个同时包含LiDAR点云和IMU采集的人体运动真值的大规模基准数据集。它以LiDAR点云作为纯输入获取全局定位信息，消除局部姿态歧义。但该数据集不提供原始IMU测量值，且仅包含20种简单的日常单人动作，自遮挡样本很少。我们提出了一个基于LiDAR和IMU多传感器的动作捕捉数据集，包含各类大尺度场景下多样化的挑战性人体动作，适用于通用场景和专业场景。 ## 3 研究方法我们的目标是，使用单个LiDAR和4个IMS，在大尺度场景中捕捉具有挑战性的3D人体动作，同时实现持续准确的局部姿态估计和全局轨迹估计。图2展示了整个流程的整体架构，该流程包含两个协作模块，分别用于推理姿态和平移。在姿态推理模块中，我们提出了一种由粗到细的两阶段网络：首先从原始点云中提取粗略的人体骨骼和全局朝向，再从经IMU测量值优化的关节位置回归得到人体姿态（第3.2节）。在平移推理模块中，我们设计了一种姿态引导方法，学习LiDAR测量值与真实全局运动之间的潜在域偏差，借此消除点云固有的平移偏差和随机噪声（第3.3节）。 ### 3.1 预备知识本节我们将对网络设计进行详细说明。在此之前，我们先明确系统的输入预处理流程，以及下文最常使用的数学符号定义。系统输入预处理：由于不同时间帧$t$下的原始点云序列包含可变数量$N_p(t)$个点，存在时间不一致性，我们对每一帧$\widetilde{\mathbf{x}}^{(1)}(t) \in \mathbb{R}^{N_p(t) \times 3}$中的点云进行归一化处理得到$\mathbf{x}^{(1)}(t) \in \mathbb{R}^{N_{fp_2} \times 3}$：先减去点云的算术平均值，再使用最远点采样算法（FPS）重采样得到固定数量的$N_{fps}$个点。在我们的实现中，设置$N_{fps} = 256$。对于IMU测量值，我们将惯性坐标系下的传感器惯性变换到激光雷达坐标系下的骨骼惯性，并将单帧惯性输入构造为$\mathbf{x}^{(2)}(t) = [\mathbf{R}_{lw}, \mathbf{R}_{rw}, \mathbf{R}_{la}, \mathbf{R}_{ra}, \mathbf{a}_{lw}, \mathbf{a}_{rw}, \mathbf{a}_{la}, \mathbf{a}_{ra}] \in \mathbb{R}^{48}$，其中$\mathbf{R}$表示展平旋转矩阵形式的旋转，$\mathbf{a}$表示自由加速度，lw、rw、la、ra分别代表左手腕、右手腕、左脚踝和右脚踝。运动表示定义：我们定义$N_j$、$N_s$分别为身体关节和IMU传感器的数量；定义$\hat{\mathbf{J}}(t)$、$\mathbf{J}^{GT}(t)$、$\tilde{\mathbf{J}}^{GT}(t) \in \mathbb{R}^{3N_j}$分别为时间$t$时刻预测得到的根相对关节位置、真实根相对关节位置和真实绝对关节位置；定义$\hat{\Theta}(t)$、$\Theta^{GT}(t) \in \mathbb{R}^{6N_j}$分别为时间帧$t$时刻预测得到的关节旋转和基于6D旋转表示[^80]的真实关节旋转。请注意，下文定义的所有损失函数公式均省略了公共因子$\frac{1}{T}$，其中$T$为训练运动序列的总时间长度。 ### 3.2 多模态姿态估计纯惯性方法或纯激光雷达方法或多或少都存在观测信息不足的问题。首先，缺少全局视觉线索的情况下，从局部惯性信息重建三维关节位置存在歧义性，全局定位也不准确。其次，依赖视角的激光雷达点云缺少对不可见身体部位的表征，当发生严重遮挡时会给运动预测带来困难。因此，我们提出使用多模态输入估计人体姿态，该输入同时包含来自激光雷达点云的全局几何信息和来自惯性测量的局部动态运动信息。然而，点云属于空间形式数据，而IMU测量属于物理量，二者之间存在巨大的域差距，直接将$\mathbf{x}^{(1)}(t)$和$\mathbf{x}^{(2)}(t)$拼接作为网络输入并不合理。我们将该模块设计为一个由粗到精的两阶段网络，从而实现点云与运动惯性信息的高效融合。全局时间姿态先验蒸馏模块旨在从归一化点云中提取隐藏的几何特征和运动模式，并将其显式表达出来。在此之后，分层姿态估计模块融合IMU测量信息，从优化后的三维人体关节位置回归得到人体关节旋转。全局时间姿态先验蒸馏：考虑到原始点云可以直接表示粗略的人体形状和姿态信息，而稀疏IMU无法直接估计根关节方向，我们在第一阶段从点云中提取人体骨骼关节位置和根方向，随后利用布置在四肢的四个IMU传感器对结果进行细化，并回归形状参数。具体而言，我们提出全局时间姿态先验蒸馏方法来回归24个SMPL关节位置和6自由度根方向，该模块由全局特征提取器PointNet [^49] 和时间编码器双向GRU（bi-GRU）组成。我们使用PointNet作为编码器，从原始点云中提取人体骨骼几何信息，得到每一帧的特征向量$\nu(t) \in \mathbb{R}^k$ $F(t)$，其中$k = 1024$。我们将逐帧特征$\nu(t)$输入双向GRU（bi-GRU）生成隐变量$h(t)$，以此提取时间信息。随后我们使用MLP解码器预测关节位置$\hat{\mathbf{J}}_{prior}(t)$和根方向$\hat{\Theta}_{root}(t)$，这部分输出构成第二阶段输入的一部分。我们提取24个SMPL身体关节$\mathbf{J}^{GT}(t)$，并从SMPL姿态参数$\Theta_{root}^{GT}(t)$中选取6D根旋转作为真值。上述两个监督信息的损失可以表述为 $$ \mathcal{L}_{j o i n t-p r i o r}=\sum_{t}\parallel\hat{\mathbf{J}}_{p r i o r}(t)-\mathbf{J}^{G T}(t)\parallel_{2}^{2}, $$ $$ \mathcal{L}_{o r i-p r i o r}=\sum_{t}\parallel\hat{\mathbf{\Theta}}_{r o o t}(t)-\mathbf{\Theta}_{r o o t}^{G T}(t)\parallel_{2}^{2}, $$ $$ \mathcal{L}_{p r i o r}=\lambda_{1}\mathcal{L}_{j o i n t-p r i o r}+\lambda_{2}\mathcal{L}_{o r i-p r i o r}, $$ 其中$\lambda_{1}$和$\lambda_{2}$是超参数。分层姿态估计：尽管从点云蒸馏得到的显式姿态先验可供神经逆运动学（IK）求解器使用，但由于缺乏局部精确的运动观测，该先验过于粗糙，无法为具有挑战性的动作提供准确的3D关节位置和鲁棒推理。因此我们将该阶段分层组织为两个估计器：首先借助IMU测量值细化相对于根关节的3D关节位置，随后回归关节旋转。这两个估计器采用相同架构，由三个带跳跃连接的顺序连接GRU组成，该结构可以利用时间运动信息，在训练过程中保证深度网络反向传播的稳定性。第一个估计器是关节图估计器，它以$\mathbf{x}^{(3)}(t) = [\mathbf{x}^{(2)}(t), \mathbf{j}_{prior}(t), \hat{\Theta}_{root}(t)] \in \mathbb{R}^{12N_s + 3N_j + 6}$为输入，输出经过细化、位置更准确的相对根关节3D关节图$\hat{\mathbf{j}}_{fine}(t)$，由损失函数监督： $$ \mathcal{L}_{f i n e J}=\sum_{t}\parallel\hat{\mathbf{J}}_{f i n e}(t)-\mathbf{J}^{G T}(t)\parallel_{2}^{2}. $$ --- ![Image](images/35eb2f829e8613b2cbe16ad3cfb5af1b6afbe0ae6b688f24224ad3c08771a7a5.jpg)

Fig. 2: Overview of our pipeline. It consists of two cooperative modules: Multi-modal Pose Estimation(Module-I) and Pose-guided Translation Correction(Module-II) to estimate skeletal pose and global translation from sparse IMU and LiDAR inputs.

在此之后，$\mathbf{x}^{(4)}(t) = [\mathbf{x}^{(3)}(t), \mathbf{\hat{J}}_{fine}(t)] \in \mathbb{R}^{12N_i + 3N_j + 3N_j + 6}$被输入人体姿态估计器，该估计器学习求解类IK问题以回归关节旋转$\hat{\Theta}(t)$，由损失函数监督： $$ \mathcal{L}_{i k}=\sum_{t}\parallel\hat{\mathbf{\Theta}}(t)-\mathbf{\Theta}^{{G T}}(t)\parallel_{2}^{2}. $$ 由于关节旋转的表达能力有限，我们通过正向运动学（FK）为人体姿态估计器引入了损失公式6，以更好地重建3D关节位置。 $$ \mathcal{L}_{f k}=\sum_{t}\Vert\mathrm{F K}(\hat{\mathbf{\Theta}}(t))-\mathbf{J}^{G T}(t)\Vert_{2}^{2}. $$ 该模块的完整损失函数可表述为 $$ \begin{array}{r}{\mathcal{L}_{p o s e}=\lambda_{3}\mathcal{L}_{f i n e J}+\lambda_{4}\mathcal{L}_{i k}+\lambda_{5}\mathcal{L}_{f k}.}\end{array} $$ ### 3.3 姿态引导平移校正全局平移估计，尤其是在大规模场景下，对于纯惯性动作捕捉方法而言极具挑战性，因为IMU无法提供任何定位信息。此外，IMU存在漂移问题。即使在当前最优工作（TransPose [^74]）中，全局运动的捕捉也必须在水平地面、充足足地接触等强假设下才能进行。而LiDAR通过直接测量距离，为该任务带来了显著优势。LiDARCap [^32]将点的平均值作为全局平移，但扫描点云与实际运动位置之间存在偏差，原因是LiDAR仅能在捕捉视角中采集到表演者的部分点云。准确来说，该偏差随姿态不同而存在差异。例如，静止站立和弯腰得到的全局平移位置相近，但点的平均值不同。考虑到这一点，我们构建了姿态与平移偏差之间的关联，将平移偏差视为仅与当前执行的姿态相关的逐姿态变量。实际中，我们结合编码器和估计器模块，从点云中建模运动模式并学习该偏差，而非直接回归全局平移。真值平移偏差 $\mathbf{D}^{GT}(t) \in \mathbb{R}^{3}$ 可按下式计算： $$ \begin{array}{r}{\mathbf{D}^{G T}(t)=\widetilde{\mathbf{J}}_{r o o t}^{G T}(t)-\mathrm{a v g}(\widetilde{\mathbf{x}}^{(1)}(t)),}\end{array} $$ 式中 $\widetilde{\mathbf{J}}_{root}^{GT}(t)$ 是根关节的真值绝对位置，运算符 $avg(\cdot)$ 通过对所有点的位置取平均，计算给定点云的近似中心。最后，我们使用损失函数公式9训练该模块： $$ \mathcal{L}_{t r a n s}=\sum_{t}||\hat{\mathbf{D}}(t)-\mathbf{D}^{G T}(t)||_{2}^{2}, $$ 式中 $\hat{\mathbf{D}}(t)$ 表示预测得到的平移偏差结果。 ### 3.4 实现细节我们使用搭载CUDA 11.1的PyTorch 1.8.1实现了我们的网络。两个模块分开训练，批量大小为32，序列长度为32，学习率为 $10^{-4}$，衰减率为 $10^{-4}$，优化器采用AdamW [^36]。损失函数的权重分别为：$\lambda_1 = 1$、$\lambda_2 = 1$、$\lambda_3 = 0.2$、$\lambda_4 = 0.7$、$\lambda_5 = 0.7$。所有训练和评估均在搭载Intel(R) Xeon(R) E5-2678 CPU和NVIDIA RTX3090显卡的服务器上进行。此外，我们使用自由加速度输入，摆脱了惯性坐标系中重力的影响。 ## 4 数据集：LIPD

Table 1: Overview of datasets we use. The data mode of point cloud and IMU measurements for each dataset is reported. Moreover, "Capture distance" shows the maximum distance between performer and capture device; "Activity range" stands for the average 3D space size in which the performer moves. Both of them reflect the scale attribute of each dataset.

Dataset	Point cloud	IMU recording	Capture distance(m)	Activity range( $m^{3}$)
DIP-IMU [^19]	Syn	Real	N/A	N/A
AMASS [^38]	Syn	Syn	3.42	0.27
AIST++ [^33]	Syn	Syn	4.23	0.67
LiDAR Human26M [^32]	Real	Syn	28.05	142.95
LIPD	Real	Real	30.04	366.34

为了学习能够适用于大规模场景的局部姿态和全局平移估计器，我们需要一个大规模的LiDAR-IMU混合动作捕捉数据集，该数据集需要LiDAR捕捉点云数据，同时由密集IMU传感器提供真值。本文提出了首个长距离LiDAR-IMU混合动作捕捉数据集，该数据集聚焦于多种挑战性动作，包含大量运动类动作。数据集共包含15名表演者、约30种动作，总计62,341帧LiDAR点云以及对应的IMU测量数据。LIPD还提供了真值SMPL姿态参数和RGB图像。我们将数据划分为包含39,593帧的训练集和包含22,748帧的测试集。我们使用Noitom IMU传感器 [^43] 和OUSTER-1 LiDAR [^45]采集LIPD数据，表演者穿戴整套Notiom设备，在12-30米范围内采集各类挑战性主题动作。此外，为了验证我们方法的泛化能力，我们额外记录了8,193 --- ![Image](images/903c8910e13666650c21dd2adf7496b473420bf2c620ec016fd2179375e12c5f.jpg)

Fig. 3: LIPD dataset contains diverse human poses from daily actions to professional sports actions. We demonstrate the point cloud and corresponding ground-truth mesh for several action samples. Such complex poses, like crouching or having the back to LiDAR in the second row, bring challenges for accurate mcap due to severe self-occlusions. We also have multi-person scenarios with external occlusions, as the last basketball case shows, where the player's body is partially covered by others in the LiDAR's view.

我们提出的轻量配置（包含单个LiDAR和四个Xsens Dot IMU传感器 [^68]）在各类野外场景中采集了数据帧，用于可视化评估。Xsens提供了可在手机上离线记录IMU数据的专业应用，这意味着测试人员可以不受空间限制自由活动。测试人员仅需在四肢佩戴四个Xsens Dot IMU传感器即可开展测试，因此能够完成更具挑战性的动作。 ### 4.1 特性大尺度场景。如表1所述，LIPD拥有$366.34m^3$活动范围，不仅能提供长距离数据，还覆盖了不同高度的场景，例如楼梯攀爬动作。同时，相比仅包含俯视视角的LiDARHuman26M [^32]，LIPD为动作捕捉提供了更多视角。此外，我们还提供了黑暗环境下的场景，以证明LiDAR能够在极端环境中采集到准确的点云数据，性能优于相机。多样化动作。仅使用LiDAR的动作捕捉（mocap）数据集LiDARHuman26M [^32]仅包含约20种无明显遮挡的日常人体动作。由于LiDAR存在视角依赖特性，在处理带有明显遮挡的复杂动作时，性能会大幅下降。如图3所示，LIPD是针对包含各类挑战性姿态的大尺度场景动作捕捉的全新基准，它同时包含原始LiDAR点云和IMU测量数据，可助力基于多模态输入的大尺度场景高精度动作捕捉研究。 ### 4.2 扩展为了给数据集补充更多不同的动作，我们在DIP-IMU [^35]、LiDARHuman26M [^19]、AIST++ [^32]以及AMASS [^33]的子集（包括ACCAD、BML-Movi、CMU和TotalCapture [^38]）上，模拟生成了大量带真值SMPL [^60]姿态参数的合成LiDAR-IMU测量数据。合成数据共包含746267帧，涵盖4238种动作类型。在数据集划分方案中，我们使用DIP-IMU [^19]、TotalCapture [^60]、LiDARHuman26M [^32]的测试集以及LIPD的测试集进行评估，剩余数据用于训练。表1给出了所有数据集的总览。有关模拟细节和合理性分析，请参见附录。 ### 4.3 挑战 LIPD基于LiDAR和稀疏IMU，为大尺度场景动作捕捉提出了一种全新的轻量传感器设置方案。然而，重建高精度人体运动仍有两个主要挑战亟待解决：第一个是从稀疏度变化的LiDAR点云中提取有效特征，距离超过20米的人体在点云中仅包含少量点；第二个是找到有效的传感器融合方法，让LiDAR和IMU真正实现优势互补。我们针对这些问题探索了潜在解决方案，并提出LIP作为该任务的基线方法。 ## 5 实验在本节中，我们将在5.1节从定性和定量两个层面将本文方法与当前最优（State-Of-The-Art, SOTA）方法进行对比，以展示所提出LIP方法的优越性。此外，我们在5.2节开展了充分的消融研究，进一步验证多模态数据融合策略与本文架构设计的合理性。另外，我们测试了多种输入配置，证明单激光雷达搭配四个IMU传感器是合适的设置。评估指标方面，我们采用：1）MPJPE(mm)：平均根相对关节位置误差；2）Mesh Err(mm)：平均SMPL网格顶点位置误差；3）Ang Err(deg)：评估局部姿态的平均全局关节旋转误差；4）CD(cm)：SMPL网格结果顶点与原始点云之间的倒角距离，用于评估全局平移。所有指标均为数值越低，效果越好。 ### 5.1 对比实验我们开展对比实验说明，本文提出的LIP方法能够在大规模空间中实现更准确的挑战性动作捕捉与更精确的平移估计。我们选取当前SOTA方法TransPose [^74] 和LiDARCap [^32] 进行对比分析。我们使用了TransPose [^74] 官方提供的模型，并复现了LiDARCap [^32] 网络（该方法未发布预训练模型）用于对比。我们在LiDARCap [^32] 的设置下测试复现模型，得到了与其论文声明相当的性能，因此对比是公平的。不同评估指标下LIP的更优结果如表2所示。大规模动作捕捉场景的可视化评估如图4所示。得益于激光雷达-IMU混合模态输入与我们由粗到精的设计，本文方法性能明显优于其他方法。为了利用激光雷达点云的3D分辨能力，我们设计了姿态引导的平移校正模块。从全局视角来看，LIP能够提供更准确的定位与更自然的运动序列。对于每一帧的姿态重建，我们的结果与点云对齐效果良好。图5进一步展示了测试集上局部姿态估计的可视化结果，便于更细致的对比。本文方法明显优于其他方法，结果更接近真值，尤其是LIPD数据集中的挑战性动作。值得注意的是，LIP在存在严重自遮挡与外界遮挡的极端场景下仍然保持鲁棒性，正如图5最后一行展示的案例。此外，我们在图6中展示了本文方法在大规模场景动作捕捉中更多出色的结果，验证了LIP的泛化能力。 ---

Table 2: Quantitative comparisons between LIP and related methods on our evaluation dataset. Note that LiDAR Human26M [^32] and LIPD dataset only contains data with rate of 10fps, which is not applicable (N/A) for TransPose [^74]. Also, the CD metric is not used for DIP-IMU [^19] dataset since no translation is provided.

	TotalCapture [^60]				DIP-IMU [^19]				LiDARHuman26M [^32]				LiPD(Ours)
	MPJPE	Mesh Err	Ang Err	CD	MPJPE	Mesh Err	Ang Err	MPJPE	Mesh Err	Ang Err	CD	MPJPE	Mesh Err	Ang Err	CD
LiDARCap [^32]	45.0	56.6	8.5	6.4	41.5	54.9	12.4	78.7	94.8	21.0	8.1	69.4	85.5	12.5	7.9
TransPose [^74]	55.7	63.6	12.3	102.7	49.0	58.3	7.6	N/A	N/A	N/A	N/A	76.8	87.1	17.3	736.9
LIP	30.0	39.5	7.4	0.7	30.2	39.1	9.6	60.7	71.6	11.6	3.5	48.9	59.8	11.3	3.2

![Image](images/c65eedab538d0e6ccdf72a8c12a1e2bd6d3254b800c2922fc82776232f5a0a67.jpg) 本文方法 vs TransPose 局部姿态结果本文方法 vs LiDARCap

Fig. 4: Qualitative results of LIP (white) compared with TransPose [^74] (blue) and LiDARCap [^32] (pink). The trajectory is sketched by a grey curve. Detailed comparisons of some key frames are circled and zoomed in to show the local pose and alignment with point cloud. For intuitive visualization, we use the arithmetic mean of raw point cloud as the global translation for LiDARCap [^32] in which translation inference is not included.

Table 3: Ablation study of different fusion strategies and the Joint-map Estimator (JE) block in our network.

Local pose	TotalCapture [^60]			DIP-IMU [^19]			LiDARHuman26M [^32]			LIPD
Local pose	MPJPE	Mesh Err	Ang Err	MPJPE	Mesh Err	Ang Err	MPJPE	Mesh Err	Ang Err	MPJPE	Mesh Err	Ang Err
FM-1	43.2	55.1	12.9	43.6	54.9	15.4	59.4	72.7	17.3	49.5	61.4	13.2
FM-2	32.3	42.3	7.8	31.2	41.3	9.7	61.8	74.3	14.2	50.9	62.3	11.3
FM-3	47.8	62.3	8.1	44.6	58.3	11.4	67.6	83.4	14.2	54.9	67.3	11.5
FM-4	36.7	42.4	6.7	37.3	49.0	10.0	59.6	70.8	12.6	52.4	64.5	11.0
Ours	30.0	39.5	7.4	30.2	39.1	9.6	60.7	71.6	11.6	48.9	59.8	11.3
Ours w/o JE	35.5	45.5	8.6	34.3	43.3	10.2	61.2	72.5	11.6	51.4	62.8	11.3

### 5.2 消融实验我们通过消融实验验证了本文传感器融合方法、网络设计的有效性，以及多模态混合输入配置的合理性。网络设计的消融实验。基于激光雷达-IMU多传感器配置，充分利用两个传感器捕获的信息，设计有效的融合方法实现二者优势互补至关重要。因此，我们首先验证了本文提出的激光雷达-IMU传感器融合方法的优越性，并与另外四种融合策略进行对比：FM-1）在数据处理阶段直接合并点云数据和IMU数据，这是一种数据级融合策略；FM-2）使用GRU提取IMU数据的高维特征，并将其与第一阶段从点云数据估计得到的骨骼关节和根方向进行融合；FM-3）将从原始点云得到的时序特征直接与IMU数据结合，作为第二阶段的输入；FM-4）分别提取IMU数据和点云数据的特征，在高维特征空间融合不同模态的特征。 --- ![Image](images/0ca8d03e081400d513c55aac829c15ba82a2ca4f7905168239ccaeac80c3503a.jpg)

Fig. 5: Qualitative comparison of capture performance for local details. Our method outperforms state-of-the-art works by more accurate local pose estimation on three different synthetic datasets and LIPD. LIPD-OC means the data with severe occlusions in LIPD. Note that LiDAR Human26M [^32] is not applicable for TransPose [^74] since it only provides 10fps mcap data, while frame rate of 60fps is required by TransPose [^74].

Table 4: Ablation study of different global translation methods and our pose information guided processing (PG) in LIP. We demonstrate the evaluation results using CD metric.

Global translation	TotalCapture [^60]	LiDARHuman26M [^32]	LIPD
Average estimation	6.4	8.1	7.9
ICP estimation	2.0	4.7	4.1
Ours w/o PG	0.9	3.7	3.4
Ours	0.7	3.5	3.2

之后再对位姿参数进行回归。我们在表3提到的测试集上对上述实验方案进行对比。结果表明，由于两种模态数据之间存在较大的域差距，直接的数据级或特征级融合策略效果不佳。我们的由粗到精融合策略以粗粒度骨骼关节和根方向回归作为对齐两种模态的中间桥梁，取得了SOTA性能。我们网络的第二阶段细化进一步提升了关节和顶点估计结果的精度。为了验证位姿引导平移校正模块的有效性，我们与其他位置估计方法开展了对比实验和消融研究。如表4所示，偏差回归的设计和位姿特征的使用极大提升了模型性能。为了评估LIP对不同距离、不同稀疏性采集的点云的泛化能力，我们从TotalCapture [^60]数据集中模拟生成了多组虚拟采集距离在6米到25米区间内的点云。图8表明，我们的LIP在约20米的宽距离范围内始终表现良好。输入配置的消融实验。为了验证单激光雷达搭配4个IMU是实现高质量动作捕捉（mocap）的必要且紧凑的配置，我们在相同网络架构和训练策略下，对两种模态输入的多种组合进行了实验。表5的定量对比结果表明，激光雷达-IMU混合输入整体性能优于单模态输入。具体而言，激光雷达提供的三维场景直接测量减少了从稀疏局部惯导数据回归三维关节位置的歧义性，因此与纯惯导输入相比，平均MPJPE降低了30毫米以上，网格误差降低了40毫米以上，角度误差降低了2度。同时，借助局部惯导信息，点云估计得到的不准确关节位置和旋转结果可以得到精细校正。尤其对于LIPD数据集，其 --- ![Image](images/9701c940198b656a6f56f4f4ca72c45a45c77ce740581ead0b7790f1ca1e5530.jpg) ![Image](images/d30a02dc51750213feb68c3ce625381842358765dc8f397e1e6a31bee4b76546.jpg) ![Image](images/48a27d5650d53aaf2db6a493a4d8cf21894e468601af09f940cc8950a8c5d72a.jpg)

Fig. 6: Our results. We provide image reference, point cloud (pc) input, and mocap results in 3D scene in this figure. Some key frames are circled and zoomed in to show detailed local poses.

![Image](images/d33f2edd2ae56d5b1bc7be9bb12b7ad29d4eb5b58e06602ed31047a460e647b8.jpg)

Fig. 7: Qualitative evaluations of our network design. We provide (a) image reference and point cloud input; (b) local pose evaluation; (c) global translation evaluation; (d) results of other methods.

点云数据是真实且存在缺陷的，带有随机噪声，LIP将仅输入激光雷达的性能提升约10毫米MPJPE降低、15毫米网格误差降低以及3度角度误差降低。此外需要明确的是，仅激光雷达的性能来自与LiDAR+n IMU相同的流程，区别仅在于没有将IMU数据与点云信息融合。与作为单阶段方法的LiDARCap [^32]不同，我们流程中的模块I多模态姿态估计采用两阶段方式估计局部人体运动。此外，表5表明，与2-IMU辅助版本相比，4-IMU辅助配置仅增加两个传感器就带来了显著提升，并且与12-IMU辅助设置的性能差距也保持在可接受范围内。因此，考虑到捕捉系统的复杂度以及对表演者的便利性，4个IMU传感器是合适的选择，既能提供足够的惯性辅助，又能保持轻量的捕捉设置。 ### 5.3 讨论由于所用激光雷达的帧率较低（10fps），在捕捉极快速运动时会得到不平滑的结果。我们计划使用Transformer改进预测模块，以插 ---

Table 5: Ablation study for input configuration. We evaluate our choice of single LiDAR with 4 IMUs by experimenting the local motion estimation accuracy of various combinations of input modalities.

	TotalCapture [^60]			DIP-IMU [^19]			Lidarhuman26M [^32]			LIPD
	MPJPE	Mesh Err	Ang Err	MPJPE	Mesh Err	Ang Err	MPJPE	Mesh Err	Ang Err	MPJPE	Mesh Err	Ang Err
LiDAR Only	35.5	47.9	12.33	35.1	47.0	15.41	68.8	87.1	20.20	60.1	76.1	14.49
4 IMUs Only	76.3	93.2	10.65	91.4	103.1	14.04	90.0	106.6	14.14	69.1	83.8	12.77
5 IMUs only	59.9	74.0	9.59	79.0	88.8	11.96	71.9	87.4	12.86	50.3	60.7	11.65
LiDAR+2 IMUs	31.1	41.0	9.38	31.1	41.1	11.44	63.1	76.8	14.53	53.9	67.1	12.64
LiDAR+4 IMUs(Ours)	30.0	39.5	7.4	30.2	39.1	9.6	60.7	71.6	11.6	48.9	59.8	11.3
LiDAR+5 IMUs	30.1	39.7	7.4	30.7	39.9	9.7	57.9	69.0	11.2	44.9	55.4	10.6
LiDAR+12 IMUs	23.6	32.8	3.63	20.8	28.4	5.76	49.0	59.3	7.45	25.1	32.1	8.4

![Image](images/457e151c6e93ae0d1d06ffa183359aed52ace0f3911fb595cf6258308d525615.jpg)

(a)

![Image](images/7200fe39b00c2c0dd79ac6a0609ba1663517eeebf5e9d05958d48481cf64fa29.jpg)

(b)

Fig. 8: Evaluation for the generalization capability on various distances on MPJPE and Mesh Err.

值全局位姿，从而恢复高频运动细节。此外，尽管本文已经证明我们的方法可以泛化到不同类型的激光雷达（例如RS-LiDAR-M1 [^53]、OUSTER-0 [^45] 和 OUSTER-1 [^45]）以及不同IMU传感器（例如Xsens Dot [^68] 和 Noitom [^43]），进一步提升方法处理具有不同点分布和感知范围的多种激光雷达之间域差距的能力仍然值得研究，这依赖于未来采集规模更大的数据集。将我们的流程扩展到多人场景或人-物体交互场景也很有前景。 ## 6 结论本文针对大规模场景下的便捷人体运动捕捉提出了一种新方案——激光雷达辅助惯性定位器（LiDAR-aid Inertial Poser, LIP），该方案不受遮挡影响，也不依赖环境条件。如图9所示，本文恢复得到的人体姿态和全局平移进一步支持了各类混合现实应用，例如驱动虚拟场景中的化身。为探索这种新的多模态轻量设置（4个IMU加1台激光雷达），本文设计了有效的融合策略，能够同时利用激光雷达点云和IMU测量值的优势。我们还以姿态引导的方式消除了平移偏差，得到了准确的全局轨迹和自然的连续动作。重要的是，本文构建了一个大规模激光雷达-IMU混合动作捕捉数据集，可为未来的人体运动分析研究提供支撑。大量实验结果证明了本文方法和模块设计的有效性，能够在大场景中实现便捷、高质量的人体运动捕捉。我们相信，本文提出的方法和数据集是大规模场景下轻量全局人体动作捕捉研究的关键一步，在VR/AR、游戏、影视和娱乐领域拥有诸多潜在应用。 ![Image](images/126006ce703fc84ef2231e845b1dd8c97eefceaa85d28e60470a50fce27f25f2.jpg)

Fig. 9: Applications of LIP. It enables conveniently capturing large-scale human performances and driving avatars in various virtual scenes.

## 致谢本工作得到了国家自然科学基金（编号：62206173）、上海市青年科技启明星计划（编号：22YF1428700）以及上海以人为本人工智能前沿科学中心（ShangHAI）的资助。 ## 参考文献 [^1]: S. Amin, M. Andriluka, M. Rohrbach, and B. Schiele. Multi-view pictorial structures for 3D human pose estimation. In British Machine Vision Conference (BMVC), 2009. doi: 10.5244/C.27.45 [^2]: S. Andrews, I. Huerta, T. Komura, L. Sigal, and K. Mitchell. Real-time physics-based motion capture with sparse sensors. In Proceedings of the 13th European conference on visual media production (CVMP 2016), pp. 1–10, 2016. [^3]: A. Baak, M. Müller, G. Bharaj, H.-P. Seidel, and C. Theobalt. A data-driven approach for real-time full body pose reconstruction from a depth camera. In International Conference on Computer Vision (ICCV), 2011. doi: 10.1109/ICCV.2011.6126356 [^4]: F. Bogo, A. Kanazawa, C. Lassner, P. Gehler, J. Romero, and M. J. Black. Keep it smpl: Automatic estimation of 3d human pose and shape from a single image. In B. Leibe, J. Matas, N. Sebe, and M. Welling, eds., Computer Vision – ECCV 2016, pp. 561–578. Springer International Publishing, Cham, 2016. [^5]: C. Bregler and J. Malik. Tracking people with twists and exponential maps. In Computer Vision and Pattern Recognition (CVPR), 1998. doi:10.1109/CVPR.1998.698581 [^6]: M. Burenius, J. Sullivan, and S. Carlsson. 3D pictorial structures for multiple view articulated pose estimation. In Computer Vision and Pattern Recognition (CVPR), 2013. doi: 10.1109/CVPR.2013.464 [^7]: P. Cong, X. Zhu, F. Qiao, Y. Ren, X. Peng, Y. Hou, L. Xu, R. Yang, D. Manocha, and Y. Ma. Stcrowd: A multimodal dataset for pedestrian perception in crowded scenes. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 19608–19617, 2022. ## [^8]: Y. Dai, Y. Lin, C. Wen, S. Shen, L. Xu, J. Yu, Y. Ma, and C. Wang. Hsc4d: Human-centered 4d scene capture in large-scale indoor-outdoor space using wearable imus and lidar. In Proceedings of the IEEE/CVF --- 计算机视觉与模式识别会议，第6792–6802页，2022年。 [^9]: E. De Aguiar, C. Stoll, C. Theobalt, N. Ahmed, H.-P. Seidel, and S. Thrun. Performance capture from sparse multi-view video. In ACM SIGGRAPH 2008 papers, pp. 1–10. 2008. [^10]: A. Elhayek, E. de Aguiar, A. Jain, J. Tompson, L. Pishchulin, M. Andriluka, C. Bregler, B. Schiele, and C. Theobalt. Efficient ConvNet-based marker-less motion capture in general scenes with a low number of cameras. In Computer Vision and Pattern Recognition (CVPR), 2015. [^11]: A. Gilbert, M. Trumble, C. Malleson, A. Hilton, and J. Collomosse. Fusing visual and inertial sensors with semantics for 3d human pose estimation. International Journal of Computer Vision, 127(4):381–397, 2019. [^12]: K. Guo, J. Taylor, S. Fanello, A. Tagliasacchi, M. Dou, P. Davidson, A. Kowdle, and S. Izadi. Twinfusion: High framerate non-rigid fusion through fast correspondence tracking. In International Conference on 3D Vision (3DV), pp. 596–605, 2018. [^13]: M. Habermann, W. Xu, M. Zollhöfer, G. Pons-Moll, and C. Theobalt. Livecap: Real-time human performance capture from monocular video. ACM Transactions on Graphics (TOG), 38(2):14:1–14:17, 2019. [^14]: M. Habermann, W. Xu, M. Zollhofer, G. Pons-Moll, and C. Theobalt. Deepcap: Monocular human performance capture using weak supervision. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), June 2020. [^15]: Y. He, A. Pang, X. Chen, H. Liang, M. Wu, Y. Ma, and L. Xu. Challenges: Monocular 3d capture of challenging human performances using multi-modal references. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 11400–11411, 2021. [^16]: T. Helten, M. Muller, H.-P. Seidel, and C. Theobalt. Real-time body tracking with one depth camera and inertial sensors. In Proceedings of the IEEE international conference on computer vision, pp. 1105–1112, 2013. [^18]: Y. Huang, F. Bogo, C. Lassner, A. Kanazawa, P. V. Gehler, J. Romero, I. Akhter, and M. J. Black. Towards accurate marker-less human shape and pose estimation over time. In 2017 International Conference on 3D Vision (3DV), pp. 421–430, 2017. doi: 10.1109/3DV.2017.00055 [^17]: M. B. Holte, C. Tran, M. M. Trivedi, and T. B. Moeslund. Human pose estimation and activity recognition from multi-view videos: Comparative explorations of recent developments. Journal of Selected Topics in Signal Processing, 6(5):538–552, 2012. doi: 10.1109/JSTSP.2012.2196975 [^19]: Y. Huang, M. Kaufmann, E. Aksan, M. J. Black, O. Hilliges, and G. Pons-Moll. Deep inertial poser: Learning to reconstruct human pose from sparse inertial measurements in real time. ACM Transactions on Graphics (TOG), 37(6):1–15, 2018. [^20]: C. Ionescu, D. Papava, V. Olaru, and C. Sminchisescu. Human3.6m: Large scale datasets and predictive methods for 3d human sensing in natural environments. IEEE transactions on pattern analysis and machine intelligence, 36(7):1325–1339, 2013. [^21]: J. Jiang, P. Streli, H. Qiu, A. Fender, L. Laich, P. Snape, and C. Holz. Avatarposer: Articulated full-body pose tracking from sparse motion sensing. In European Conference on Computer Vision, pp. 443–460. Springer, 2022. [^22]: H. Joo, H. Liu, L. Tan, L. Gui, B. Nabbe, I. Matthews, T. Kanade, S. Nobuhara, and Y. Sheikh. Panoptic studio: A massively multiview system for social motion capture. In International Conference on Computer Vision (ICCV), 2015. doi: 10.1109/ICCV.2015.381 [^23]: T. Kaichi, T. Maruyama, M. Tada, and H. Saito. Resolving position ambiguity of imu-based human pose with a single rgb camera. Sensors, 20(19):5453, 2020. [^24]: A. Kanazawa, M. J. Black, D. W. Jacobs, and J. Malik. End-to-end recovery of human shape and pose. In Computer Vision and Pattern Regonition (CVPR), 2018. [^25]: A. Kanazawa, J. Y. Zhang, P. Felsen, and J. Malik. Learning 3d human dynamics from video. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), June 2019. [^26]: W. Kim, M. S. Ramanagopal, C. Barto, M.-Y. Yu, K. Rosaen, N. Goumas, R. Vasudevan, and M. Johnson-Roberson. Pedx: Benchmark dataset for metric 3-d pose estimation of pedestrians in complex urban intersections. IEEE Robotics and Automation Letters, 4(2):1940–1947, 2019. [^27]: M. Kocabas, N. Athanasiou, and M. J. Black. Vibe: Video inference for human body pose and shape estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), June 2020. [^28]: M. Kocabas, C.-H. P. Huang, O. Hilliges, and M. J. Black. Pare: Part attention regressor for 3d human body estimation. In Proceedings of IEEE/CVF国际计算机视觉会议（ICCV），第11127–11137页，2021年10月。 [^29]: N. Kolotouros, G. Pavlakos, and K. Daniilidis. Convolutional mesh regression for single-image human shape reconstruction. In Computer Vision and Pattern Recognition (CVPR), 2019. [^30]: N. Kolotouros, G. Pavlakos, D. Jayaraman, and K. Daniilidis. Probabilistic modeling for human mesh recovery. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 11605–11614, 2021. [^31]: C. Lassner, J. Romero, M. Kiefel, F. Bogo, M. J. Black, and P. V. Gehler. Unite the people: Closing the loop between 3d and 2d human representations. In Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 6050–6059, 2017. [^32]: J. Li, J. Zhang, Z. Wang, S. Shen, C. Wen, Y. Ma, L. Xu, J. Yu, and C. Wang. Lidarcap: Long-range marker-less 3d human motion capture with lidar point clouds. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 20502–20512, 2022. [^33]: R. Li, S. Yang, D. A. Ross, and A. Kanazawa. Ai choreographer: Music conditioned 3d dance generation with aist++. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 13401–13412, 2021. [^34]: H. Liang, Y. He, C. Zhao, M. Li, J. Wang, J. Yu, and L. Xu. Hybrid-cap: Inertia-aid monocular capture of challenging human motions. arXiv preprint arXiv:2203.09287, 2022. [^35]: M. Loper, N. Mahmood, J. Romero, G. Pons-Moll, and M. J. Black. Smpl: A skinned multi-person linear model. ACM Trans. Graph., 34(6):248:1–248:16, Oct. 2015. [^36]: I. Loshchilov and F. Hutter. Decoupled weight decay regularization. arXiv preprint arXiv:1711.05101, 2017. [^37]: Z. Luo, R. Hachiuma, Y. Yuan, and K. Kitani. Dynamics-regulated kinematic policy for egocentric pose estimation. Advances in Neural Information Processing Systems, 34, 2021. [^38]: N. Mahmood, N. Ghorbani, N. F. Troje, G. Pons-Moll, and M. J. Black. Amass: Archive of motion capture as surface shapes. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), October 2019. [^39]: C. Malleson, J. Collomosse, and A. Hilton. Real-time multi-person motion capture from multi-view video and imus. International Journal of Computer Vision, pp. 1–18, 2019. [^40]: C. Malleson, J. Collomosse, and A. Hilton. Real-time multi-person motion capture from multi-view video and imus. International Journal of Computer Vision, 128(6):1594–1611, 2020. [^41]: C. Malleson, A. Gilbert, M. Trumble, J. Collomosse, A. Hilton, and M. Volino. Real-time full-body motion capture from video and imus. In 2017 International Conference on 3D Vision (3DV), pp. 449–457. IEEE, 2017. [^42]: D. Mehta, H. Rhodin, D. Casas, P. Fua, O. Sotnychenko, W. Xu, and C. Theobalt. Monocular 3d human pose estimation in the wild using improved cnn supervision. In 2017 international conference on 3D vision (3DV), pp. 506–516. IEEE, 2017. [^43]: Noitom Motion Capture Systems. , 2015. [^44]: OptiTrack Motion Capture Systems. , 2009. [^45]: OUSTER High Performance Digital Lidar Solutions. , 2021. [^46]: A. K. Patil, A. Balasubramanyam, J. Y. Ryu, P. K. BN, B. Chakravarthi, and Y. H. Chai. Fusion of multiple lidars and inertial sensors for the real-time pose tracking of human motion. Sensors, 20(18):5342, 2020. [^47]: G. Pavlakos, X. Zhou, K. G. Derpanis, and K. Daniilidis. Harvesting multiple views for marker-less 3d human pose annotations. In Computer Vision and Pattern Recognition (CVPR), 2017. [^48]: G. Pons-Moll, A. Baak, T. Helten, M. Müller, H.-P. Seidel, and B. Rosenhahn. Multisensor-fusion for 3d full-body human motion capture. In 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pp. 663–670. IEEE, 2010. [^49]: C. R. Qi, H. Su, K. Mo, and L. J. Guibas. Pointnet: Deep learning on point sets for 3d classification and segmentation. In Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 652–660, 2017. [^50]: D. Rempe, T. Birdal, A. Hertzmann, J. Yang, S. Sridhar, and L. J. Guibas. Humor: 3d human motion model for robust pose estimation. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), pp. 11488–11499, October 2021. ## [^51]: H. Rhodin, N. Robertini, C. Richardt, H.-P. Seidel, and C. Theobalt. A --- 面向生成式姿态估计、应用可微可见性的通用场景模型。发表于国际计算机视觉会议（ICCV），2015年。doi: 10.1109/ICCV.2015.94 [^52]: N. Robertini, D. Casas, H. Rhodin, H.-P. Seidel, and C. Theobalt. Model-based outdoor performance capture. In International Conference on 3D Vision (3DV), 2016. [^53]: RS-LiDAR-M1 Leading the large-scale production of automotive-grade MEMS LiDAR. , 2019. [^54]: J. Shotton, A. Fitzgibbon, M. Cook, T. Sharp, M. Finocchio, R. Moore, A. Kipman, and A. Blake. Real-time human pose recognition in parts from single depth images. In Computer Vision and Pattern Recognition (CVPR), 2011. [^55]: L. Sigal, A. O. Bălan, and M. J. Black. HumanEva: Synchronized video and motion capture dataset and baseline algorithm for evaluation of articulated human motion. International Journal of Computer Vision (IJCV), 2010. doi: 10.1007/s11263-009-0273-6 [^56]: L. Sigal, M. Isard, H. Haussecker, and M. J. Black. Loose-limbed people: Estimating 3D human pose and motion using non-parametric belief propagation. International Journal of Computer Vision (IJCV), 98(1):15–48, 2012. doi: 10.1007/s11263-011-0493-4 [^57]: T. Simon, H. Joo, I. Matthews, and Y. Sheikh. Hand keypoint detection in single images using multiview bootstrapping. In Computer Vision and Pattern Recognition (CVPR), 2017. [^58]: C. Stoll, N. Hasler, J. Gall, H.-P. Seidel, and C. Theobalt. Fast articulated motion tracking using a sums of Gaussians body model. In International Conference on Computer Vision (ICCV), 2011. [^59]: C. Theobalt, E. de Aguiar, C. Stoll, H.-P. Seidel, and S. Thrun. Performance capture from multi-view video. In Image and Geometry Processing for 3-D Cinematography, pp. 127–149. Springer, 2010. [^60]: M. Trumble, A. Gilbert, C. Malleson, A. Hilton, and J. Collomosse. Total capture: 3d human pose estimation fusing video and inertial sensors. In Proceedings of 28th British Machine Vision Conference, pp. 1–13. University of Surrey, 2017. [^61]: Vicon Motion Capture Systems. , 2010. [^62]: D. Vlasic, R. Adelsberger, G. Vannucci, J. Barnwell, M. Gross, W. Matusik, and J. Popović. Practical motion capture in everyday surroundings. ACM transactions on graphics (TOG), 26(3):35–es, 2007. [^63]: T. Von Marcard, R. Henschel, M. J. Black, B. Rosenhahn, and G. Pons-Moll. Recovering accurate 3d human pose in the wild using imus and a moving camera. In Proceedings of the European Conference on Computer Vision (ECCV), pp. 601–617, 2018. [^64]: T. Von Marcard, G. Pons-Moll, and B. Rosenhahn. Human pose estimation from video and imus. IEEE transactions on pattern analysis and machine intelligence, 38(8):1533–1547, 2016. [^65]: T. Von Marcard, B. Rosenhahn, M. J. Black, and G. Pons-Moll. Sparse inertial poser: Automatic 3d human pose estimation from sparse imus. In Computer Graphics Forum, vol. 36, pp. 349–360. Wiley Online Library, 2017. [^66]: X. Wei, P. Zhang, and J. Chai. Accurate realtime full-body motion capture using a single depth camera. SIGGRAPH Asia, 31(6):188:1–12, 2012. [^67]: A. Winkler, J. Won, and Y. Ye. Questsim: Human motion tracking from sparse sensors with simulated avatars. In SIGGRAPH Asia 2022 Conference Papers, pp. 1–8, 2022. [^68]: Xsens Technologies B.V. , 2011. [^69]: L. Xu, Y. Liu, W. Cheng, K. Guo, G. Zhou, Q. Dai, and L. Fang. Flycap: Markerless motion capture using multiple autonomous flying cameras. IEEE Transactions on Visualization and Computer Graphics, 24(8):2284–2297, Aug 2018. [^70]: L. Xu, Z. Su, L. Han, T. Yu, Y. Liu, and L. FANG. Unstructured fusion: Realtime 4d geometry and texture reconstruction using commercial gbd cameras. IEEE Transactions on Pattern Analysis and Machine Intelligence, pp. 1–1, 2019. [^71]: L. Xu, W. Xu, V. Golyanik, M. Habermann, L. Fang, and C. Theobalt. Eventcap: Monocular 3d capture of high-speed human motions using an event camera. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), June 2020. [^72]: W. Xu, A. Chatterjee, M. Zollhöfer, H. Rhodin, D. Mehta, H.-P. Seidel, and C. Theobalt. Monoperfcap: Human performance capture from monocular video. ACM Transactions on Graphics (TOG), 37(2):27:1–27:15, 2018. [^73]: X. Yi, Y. Zhou, M. Habermann, S. Shimada, V. Golyanik, C. Theobalt, and F. Xu. Physical inertial poser (pip): Physics-aware real-time human motion tracking from sparse inertial sensors. In IEEE/CVF Conference on 计算机视觉与模式识别会议（CVPR），2022年6月。 [^74]: X. Yi, Y. Zhou, and F. Xu. Transpose: real-time 3d human translation and pose estimation with six inertial sensors. ACM Transactions on Graphics (TOG), 40(4):1–13, 2021. [^75]: T. Yu, Z. Zheng, K. Guo, J. Zhao, Q. Dai, H. Li, G. Pons-Moll, and Y. Liu. Doublefusion: Real-time capture of human performances with inner body shapes from a single depth sensor. Transactions on Pattern Analysis and Machine Intelligence (TPAMI), 2019. [^76]: Y. Yuan and K. Kitani. Residual force control for agile human behavior imitation and extended motion synthesis. Advances in Neural Information Processing Systems, 33:21763–21774, 2020. [^77]: A. Zanfir, E. G. Bazavan, M. Zanfir, W. T. Freeman, R. Sukthankar, and C. Sminchisescu. Neural descent for visual 3d human pose and shape. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 14484–14493, 2021. [^78]: Z. Zhang, C. Wang, W. Qin, and W. Zeng. Fusing wearable imus with multi-view images for human pose estimation: A geometric approach. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 2200–2209, 2020. [^79]: Z. Zheng, T. Yu, H. Li, K. Guo, Q. Dai, L. Fang, and Y. Liu. Hybridfusion: Real-time performance capture using a single depth sensor and sparse imus. In European Conference on Computer Vision (ECCV), Sept 2018. [^80]: Y. Zhou, C. Barnes, J. Lu, J. Yang, and H. Li. On the continuity of rotation representations in neural networks. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 5745–5753, 2019. [^81]: X. Zhu, Y. Ma, T. Wang, Y. Xu, J. Shi, and D. Lin. Ssn: Shape signature networks for multi-class object detection from point clouds. In European Conference on Computer Vision, pp. 581–597. Springer, 2020. [^82]: X. Zhu, H. Zhou, T. Wang, F. Hong, W. Li, Y. Ma, H. Li, R. Yang, and D. Lin. Cylindrical and asymmetrical 3d convolution networks for lidar-based perception. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2021. [^83]: J. Ziegler, H. Kretzschmar, C. Stachniss, G. Grisetti, and W. Burgard. Accurate human motion capture in large areas by combining imu-and laser-based people tracking. In 2011 IEEE/RSJ International Conference on Intelligent Robots and Systems, pp. 86–91. IEEE, 2011.