# SLOPER4D: 面向城市环境的全局4D人体姿态估计的场景感知数据集 Yudi Dai $^{1,2}$ Yitai Lin $^{1,2}$ Xiping Lin $^{1,2}$ Chenglu Wen $^{1,2,*}$ Lan Xu $^{3}$ Hongwei Yi $^{4}$ Siqi Shen $^{1,2}$ Yuexin Ma $^{3}$ Cheng Wang $^{1,2}$ $^{1}$ 厦门大学福建省智能城市感知计算重点实验室 $^{2}$ 中国教育部重点实验室，厦门大学信息科学与技术学院，多媒体可信感知与高效计算重点实验室 ![Image](images/e8f8bd58fcbaa4eb716f4221b831f36f1bb328ce8fb00236bf2f0d981e7251cd.jpg) 全局人体运动与场景
Figure 1. Using the head-mounted LiDAR and camera to scan the IMUs wearer, we construct SLOPER4D, a large scene-aware dataset for global 4D human pose estimation in urban environments.
## 摘要 我们提出了 SLOPER4D，这是一个在大型城市环境中收集的新型场景感知数据集，旨在促进野外环境中具有人与场景交互的全局人体姿态估计 (GHPE) 的研究。 我们使用集成 LiDAR 和相机的头戴设备，从第一人称视角记录了 12 名人体主体的活动，涵盖 10 个不同的城市场景。 我们提供了帧级别的 2D 关键点、3D 姿态参数和全局平移的注释，以及重建的场景点云。 为了在如此大且动态的场景中获得准确的 3D 真实值，我们提出了一种联合优化方法，该方法将局部 SMPL 网格拟合到场景，并在动态运动的每帧中微调相机校准，从而产生合理且与场景相符的 3D 人体姿态。 最终，SLOPER4D 包含 15 个人体运动序列，每个序列的轨迹长度超过 200 米（最高可达 1300 米），覆盖面积超过 200 平方米（最高可达 30,000 平方米），包括超过 10 万帧 LiDAR 数据、30 万帧视频数据和 50 万帧基于 IMU 的运动数据。 借助 SLOPER4D，我们提供了对两个关键任务的详细而全面的分析，包括基于相机的 3D 人体姿态估计和基于 LiDAR 的 3D 人体姿态估计，并在城市环境中，并对一项新的任务进行了基准测试，即 GHPE。 深入的分析表明，SLOPER4D 对现有方法提出了重大挑战，并为研究提供了宝贵的机会。 数据集和代码已发布在 上。 面向城市级别的全身动作捕捉越来越受到关注，其目标是获取连续的精细人体姿态表示，例如3D骨骼。 城市级别的运动捕捉越来越受到关注，其目标是获取连续的、精细的人体姿态表示，例如3D骨骼。 --- 以及参数化网格模型，并在物理世界中获得准确的全局位置。这对于人类行为识别、社会行为分析以及场景感知至关重要，并进一步促进许多下游应用，包括增强/虚拟现实、模拟、自动驾驶、智慧城市、社会学等。然而，捕获超大规模动态场景并对人体进行详细的3D表示并非易事。 在过去的几十年里，提出了大量的数据集和基准，极大地促进了3D人体姿态估计（HPE）的研究。 它们可以根据捕获环境分为两大类。 第一类通常利用基于标记的系统 [^16] [^33] [^45]、摄像头 [^14] [^59] [^60] 或RGB-D传感器 [^13] [^64] 来捕获受限环境中的人体局部姿态。 然而，光学系统对光线敏感，缺乏深度信息，使其在户外场景不稳定，并且难以提供全局变换；RGB-D传感器具有有限的范围，并且无法在户外工作。 第二类 [^39] [^49] 试图利用安装在身上的IMU来捕获自由环境中无遮挡的3D姿态。 然而，IMU在长期捕获中会受到严重的漂移，导致与人体不一致。 此外，一些方法利用额外的传感器，例如RGB摄像头 [^17]、RGB-D摄像头 [^46] [^57] [^67] 或LiDAR [^27] 来缓解这个问题，并取得明显的改进。 然而，它们都专注于HPE，而没有考虑场景约束，这限制了重建人类与场景的集成数字城市和人类与场景的自然交互。 为了同时捕获人体姿态和相关的静态场景，一些研究使用可穿戴的IMU和安装在身上的摄像头 [^12] 或LiDAR [^5] 来在大型真实场景中注册人体，这对于捕获人类参与的真实世界场景很有前景。 然而，由于视角限制，这些作品中人体姿态和场景是解耦的，其中使用辅助视觉传感器来收集场景数据，而IMU用于获取3D姿态。 与它们不同，我们提出了一种新的人体与场景捕获设置，使用可穿戴的IMU和全局视角的LiDAR和摄像头，可以提供多模态数据，从而实现更准确的3D HPE。 在本文中，我们提出了一个用于城市环境中序列人体姿态估计的大型场景感知数据集，名为SLOPER4D。 我们的知识是，这是第一个具有多模态捕获数据的城市级3D HPE数据集，包括校准和同步的IMU测量、LiDAR点云和每个主体的图像。 此外，该数据集提供了丰富的注释，包括3D姿态、SMPL [^32] 模型以及在世界坐标系中的位置、在图像坐标系中的2D姿态和边界框，以及重建的3D场景网格。 此外，我们提出了一种联合优化方法，通过利用多传感器互补和场景约束，获得准确和自然的运动表示，这也有助于动态采集过程中的全局定位和摄像头校准。 此外，SLOPER4D包含10个场景中超过15个序列，场景面积最大可达30k平方米，每个序列的轨迹长度为200~1000米。 通过提供多模态捕获数据和各种与人体和场景相关的注释，SLOPER4D为城市级HPE开辟了新途径。 我们进行了广泛的实验，以显示我们的联合优化方法在获取高质量的3D姿态注释方面的优势。 此外，基于我们提出的新数据集，我们对两个关键任务进行了基准测试：基于摄像头的3D HPE和基于LiDAR的3D HPE，并为GHPE提供了基准。 我们的贡献总结如下： - 我们提出了第一个大型、城市级别的、具有多模态捕获数据和丰富的人-场景注释的人体姿态数据集。 - 我们提出了一种有效的联合优化方法，通过整合 LiDAR SLAM 结果、IMU 姿态和场景约束，在局部和全局层面获取准确的人体运动。 - 我们在 SLOPER4D 上对两种 HPE 任务以及一种 GHPE 任务进行了基准测试，展示了其在促进城市级别 3D HPE 研究方面的潜力。 ### 2. 相关工作 ### 2.1. 3D 人体运动数据集 许多数据集已经提出，使用不同的传感器和设置来促进 3D 人体姿态估计的研究。H3.6M [^16] 是一个大型数据集，提供带有光学 MoCap 的同步视频，用于在工作室环境中进行捕捉。为了在不同的室内场景中进行无标记捕捉，PROX [^13] 使用 RGB-D 传感器扫描单个人物。EgoBody [^64] 使用多个 RGB-D 传感器预扫描房间，并扫描交互中的人物。LiDAR Human26M [^27] 可以使用静态 LiDAR 和 IMU 捕捉长范围的人体运动。但是，它们仅限于静态环境、人类活动和交互。3DPW [^49] 是第一个提供野生环境中 3D 注解的数据集，它使用单手持 RGB 相机，利用 IMU 在一段时间内优化人体姿态。它没有提供准确的全局翻译和 3D 场景。HPS [^12] 使用 IMU 重建人体姿态，并使用头戴式摄像头将其定位到大型 3D 场景中，但它严重依赖于预构建的地图。HSC4D [^5] 移除了对预构建地图的依赖，并在大型场景中实现了全局人体运动捕捉。 ---
DatasetIn the wildGlobal3D ScenePoint cloudVideoIMU# Scene# Area size ( $m^{{2}}$)# Subject# Frame
H3.6M [^16]✗✓✗✗✓✗-12113.6M
3DPW [^49]✓✗✗✗✓✓-< 300751k
PROX [^13]✗✓✓✗✓✗12< 302020k
HPS [^12]✓✓✓✗✓ $^{{*}}$✓8< 1,00077k
HSC4D [^5]✓✓✓✓ $^{{*}}$✗✓5< 5,000210k
LH26M [^27]✗✗✗✓✓✓-< 20013184k
EgoBody [^64]✗✓✓✗✓✗15< 5020153k
SLOPER4D✓✓✓✓✓✓10< 30,00012100k
Table 1. Comparisons with existing datasets. “Global” denotes to human poses with global translation. The “area size” is estimated with the published data. The * indicates the data modality is only used for human self-localization rather than for human-related data.
然而，HPS 中的摄像头和 HSC4D 中的 LiDAR 仅用于感知环境，而不是捕捉人体数据。通过我们提出的用于全局人体姿态估计的场景感知数据集，我们可以在 LiDAR 或相机模态下对野生环境中的 3D HPE 进行基准测试。 #### 2.2. 人体定位和场景映射 人体自定位旨在估计人体在全局坐标中的 6 自由度。基于图像的方法 [^21] [^37] [^52] 直接从单个图像中回归位置，并使用预构建的地图。由于场景特异性，它们难以推广到未知的场景。LiDAR 广泛用于同时定位与地图构建 (SLAM) [^4] [^28] [^41] [^62]，因为它具有鲁棒性和低漂移。为了解决漂移问题并提高动态运动中的鲁棒性，RGB 相机 [^40] [^44] [^63]、IMU [^10] [^36] [^42] 或两者 [^6] [^43] [^68] 已被集成到映射任务中。大多数关注点集中在具有第三方视角的自动驾驶 [^9] [^23] 或机器人中，并且通常不关注人类。为了实现自定位，LiDAR 被设计为背包式 [^20] [^31] [^54] 和手持式 [^2]。为了高效地捕捉人体运动和重建城市场景，我们使用内置 IMU 的 LiDAR（与用于运动捕捉的 IMU 不同），并提出了一种用于构建多模态数据的流程。这种方法提供了关于人体运动在局部和全局层面的准确信息，并能够在大范围的户外环境中进行地图构建。 #### 2.3. 全局 3D 人体姿态估计 大多数研究恢复人体网格模型，坐标系为相机坐标 [^26] [^66] 或以根节点为参考的姿态 [^18] [^24] [^25]。 在不受约束的场景中恢复全局人体运动是一个计算机视觉领域的难题，近年来受到越来越多的研究关注。 IMU 传感器广泛应用于商业产品 [^38] [^39] 和研究活动 [^15] [^48] [^51]，并安装在身体肢体上，以捕获在工作室环境中人体运动。 但它在野外环境中会受到严重的漂移。 一些方法依赖于额外的 RGB 信息 [^8] [^34] [^49] [^50] 或预扫描地图 [^12]，或 LiDAR [^5] 来补充大型场景中的 IMU 数据。 基于人与场景的交互，一些研究提出了使用静态摄像头 [^14] [^60] 的场景感知解决方案，以获得准确且与场景自然的__人体运动__。 4DCapture [^30] 使用动态头戴式摄像头进行自定位并重建场景，采用结构光方法。 然而，当野外环境中的照明发生变化时，它经常失败。 MOVER [^60] 使用单个摄像头优化静态场景中的 3D 对象，从而获得更好的 3D 场景重建和人体运动。 GLAMR [^61] 使用全局轨迹预测来约束人体运动和动态摄像头姿态，在野外视频上实现了最先进的结果。 然而，它缺乏一个用于在全局层面量化比较不同 HPE 方法的基准。 为了解决此限制，我们提出了 SLOPER4D，这是一个面向城市级别的、第一个大型人体姿态数据集，具有丰富的 2D/3D 注解。 #### 3. SLOPER4D 数据集 SLOPER4D 使用我们身体可穿戴的捕获系统，在城市环境中收集具有场景感知的 4D 人体数据。 在本节中，我们首先介绍数据采集过程（第 3.1 节），然后详细介绍数据构建和注释过程（第 3.2 节），接下来介绍基于全局优化的方法（第 3.3 节），以获得高质量的 3D/2D 数据，最后，我们与现有数据集进行比较（第 3.4 节），并突出我们的创新之处。 ### 3.1. 数据采集 硬件设置。 如第 1 图所示，在数据采集过程中，扫描人员跟随表演者（IMU 佩戴者），并使用头盔上的 LiDAR 和摄像头进行扫描。 此外，第 2 图显示了我们捕获系统的硬件细节。 至于传感器模块，128 束的 Ouster-os1 LiDAR 和 DJI-Action2 摄像头牢固地安装在头盔上。 为了捕获原始人体运动，我们使用 Noitom 的惯性运动捕捉产品 PN Studio，将 17 个无线 IMU 安装在 IMU 佩戴者的身体肢体、躯干和头部上。 摄像头的视场角 (FOV) 为 $116^\circ \times 84^\circ$，LiDAR 的 FOV 为 $360^\circ \times 45^\circ$。 为了使表演者尽可能地在 LiDAR 的视场角内 --- ![Image](images/def77b9a7628fe458b548fa0b5cd1187124c62d39b44d6057ccc1f441634ecda.jpg)
Figure 2. Our capturing system's hardware details. The sensor module includes a LiDAR, a camera, and 17 body-attached IMU sensors. The storage module consists of a NUC11, a receiver, and a battery in the backpack.
，我们向下倾斜 LiDAR 大约 $45^{\circ}$。 至于存储模块，扫描人员的背包放置了无线 IMU 数据接收器、24V 电池和 Intel NUC11。 迷你电脑 NUC11 实时存储来自无线接收器的 IMU 数据和 LiDAR 的点云数据。 视频存储在摄像头的本地。 LiDAR 和 NUC11 都由电池供电。 坐标系统。 我们定义了三个坐标系统：1) IMU 坐标系统 $\{I\}$: 原点位于 LiDAR 佩戴者的脊柱底部，起始时间为 X/Y/Z 轴指向佩戴者左侧/上方/前方。 2) LiDAR 坐标系统 $\{L\}$: 原点位于 LiDAR 的中心，X/Y/Z 轴指向 LiDAR 的右侧/前方/上方。 3) 全局/世界坐标系统 $\{W\}$: 原点位于 LiDAR 佩戴者的起始位置的地板上，X/Y/Z 轴指向 LiDAR 佩戴者的右侧/前方/上方。 校准。 遵循 [^53] 中的设置，我们使用棋盘来校准相机内参 $K_{in}$，并使用地面激光雷达 (TLS) 获取准确的相机外参 $K_{ex}$。 由于 LiDAR 点云过于稀疏，我们手动选择 2D 图像和注册到点云的 TLS 地图中的对应点，然后求解视角 n 点 (PnP) 问题以获得 $K_{in}$。 对于每个 3D 场景，校准 $R_{WL}$，该校准将 $\{L\}$ 转换为 $\{W\}$，被手动设置为使地面的 z 轴向上，高度为零，起始位置为零。 通过使用奇异值分解，计算校准 $R_{WI}$，该校准将 $\{I\}$ 转换为 $\{W\}$，通过 IMU 轨迹和 LiDAR 轨迹在 XY 平面上的相似性计算得出。 同步。 通过峰值检测实现来自多个传感器的同步。 在捕获之前和之后，要求受试者进行跳跃。 然后，自动检测 IMU 中的峰值高度时间，并在 LiDAR 和相机数据中手动识别峰值时间。 最后，通过峰值对齐所有模式，并将采样率调整为 20 Hz 的 LiDAR 帧率。 #### 3.2. 数据处理 2D 姿态检测。 我们使用 Detectron [^56] 检测，并使用 Deepsort [^55] 跟踪视频中的人体。 但是，由于 IMU 佩戴者的视线进入/退出视野或遮挡，跟踪有时会失败。 为了解决这个问题，我们手动为视频序列中跟踪的人分配相同的 ID。 对于 3D 点云参考，我们根据 $K_{ex}$ 将其投影到图像上。 然而，由于动态运动带来的抖动，相机和 LiDAR 并非完美地刚性连接。 因此，$K_{ex}$ 会在 3.3 节中进一步优化。 LiDAR-惯性定位和建图。 仅 LiDAR 的方法通常在建图中会失败，因为存在动态头部旋转和拥挤的城市环境。 结合 IMU 可以补偿 LiDAR 扫描中的运动失真 $p^L$，并提供准确的初始姿态。 使用集成了 IMU 的 LiDAR，并通过将基于卡尔曼滤波器的 LiDAR-惯性里程计 [^58] 与基于因子图的环检测优化 [^7] [^22] 结合，我们成功地估计了 LiDAR 的自身运动，并构建了具有 n 帧点云的全局一致的 3D 场景地图 $P_{1,n}^L = \{p_1^L, \ldots, p_n^L\}$。 为了在 3.3 节中提供准确的场景约束，我们使用 VDB-Fusion [^47] 生成干净的场景网格 S，该网格排除了移动对象。 IMU姿态估计。 我们使用SMPL [^32]来表示人体运动 $M^I = \Phi(\theta^I, t^I, \beta) \in \mathbb{R}^{6890 \times 3}$在IMU坐标系 $\{I\}$中的姿态，其中姿态参数 $\Theta_{1:n}^I = \{\theta_1^I, \ldots, \theta_n^I\} \in \mathbb{R}^{72 \times n}$由骨盆关节的姿态 $R_{1:n}^I = \{r_1^I, \ldots, r_n^I\} \in \mathbb{R}^{3 \times n}$以及其他23个关节相对于其父关节的旋转组成。 $T_{1:n}^I = \{t_1^I, \ldots, r_n^I\} \in \mathbb{R}^{3 \times n}$是骨盆关节的平移，$\beta \in \mathbb{R}^{10}$是一个常数值，表示人体的形状。 T和$\Theta$由商业运动捕捉产品估计，而$\beta$是通过使用IPNet [^3]来拟合iPhone13 Promax拍摄的扫描模型获得的。 由于IMU在局部是准确的，但在全局上会漂移，因此$T^I$用于原始校准$\{I\}$到$\{W\}$，初始的全局运动$M = M^W = R^{WI} M^I$将进一步优化。 #### 3.3. 数据优化 为了获得精确且符合场景的人体运动M在世界坐标系中，我们使用场景几何S以及几个基于物理的项来执行关节优化，以找到最佳的运动$M^*$，该运动可以最小化$\mathcal{L}$。 在一个k帧片段中，优化写为： --- ![Image](images/b03028c47e052bd712573fd2b46c561fc7f031bfa77817c66cf28ca9fa936ba3.jpg)
Data Collecting and Pre-Processing
Figure 3. The pipeline of the dataset construction. The capturing system simultaneously collects multimodal data, including LiDAR, camera, and IMU data. Then they are further processed. A joint optimization approach with multiple loss terms is then employed to optimize motion locally and globally. As a result, we obtain rich 2D/3D annotations with accurate global motion and scene information.
$$ \begin{aligned}&M^{*}_{1:k}=\arg\min_{M_{1:k}}\mathcal{L}(M_{1:k},\boldsymbol{S}),\\&\mathcal{L}=\mathcal{L}_{smt}+\lambda_{sc}\mathcal{L}_{sc}+\lambda_{pri}\mathcal{L}_{pri}+\lambda_{m2p}\mathcal{L}_{m2p},\\&\mathcal{L}_{smt}=\lambda_{trans}\mathcal{L}_{trans}+\lambda_{orit}\mathcal{L}_{orit}+\lambda_{jts}\mathcal{L}_{jts},\\ \end{aligned} $$ 其中$\mathcal{L}_{smt}$是一个平滑项，它由平移损失$\mathcal{L}_{trans}$、姿态损失$\mathcal{L}_{orit}$和关节损失$\mathcal{L}_{jts}$组成。 $\mathcal{L}_{sc}$是一个与场景相关的接触项，$\mathcal{L}_{pri}$是一个姿态先验项，$\mathcal{L}_{m2p}$是一个网格到点的项。 $\lambda_{sc}$、$\lambda_{pri}$、$\lambda_{trans}$、$\lambda_{orit}$、$\lambda_{jts}$和$\lambda_{m2p}$是损失项的系数。 $\mathcal{L}$使用梯度下降算法最小化。 平滑项。该项的目标是最小化骨盆关节的加速度，以及其他23个相对于骨盆的关节的加速度（记为$J_{1:k} = \{\jmath_1, \ldots, \jmath_k\} \in \mathbb{R}^{69 \times k}$），以及所有关节的角速度，以平滑人体运动。 与场景相关的接触项。 我们比较IMU运动中每个脚顶点$M_k^I$的运动，如果其速度小于$0.1 \, m/s^2$，则将该脚标记为稳定。 最后，该脚与其最近表面的距离用作场景接触损失$\mathcal{L}_{sc}$。 姿态先验项。 通过IMU估计的姿态大致准确，但由于累积误差，可能会导致身体肢体末端的轻微错位。 因此，$\mathcal{L}_{prior}$用于在优化开始时将$\Theta$限制在初始值附近。 网格到点项。 来自移动LiDAR的点云$p^L$提供了强大的深度先验信息。 然而，虽然SMPL网格是封闭且完整的，但人体点是稀疏的和部分的，这使得像ICP这样的注册方法不太理想。 为了解决这个问题，我们提出了一种基于视角的网格到点损失函数$\mathcal{L}_{m2p}$。 首先，我们从LiDAR的视点中删除隐藏的SMPL网格面。 然后，我们从剩余的面上采样点，记为$P'_{1:k} = \{p'_1, \ldots, p'_k\}$，采样点数由LiDAR分辨率决定。 损失定义为$P'_{1:k}$到$P_{1:k}$的Chamfer距离。 所有损失函数如下所示： $$ \begin{aligned}&\mathcal{L}_{trans}=\frac{1}{k-2}\sum_{i=1}^{k-2}\|t_{i+2}-2t_{i+1}+t_{i}\|_{2}^{2},\\&\mathcal{L}_{jts}=\frac{1}{k-2}\sum_{i=1}^{k-2}\|\jmath_{i+2}-2\jmath_{i+1}+\jmath_{i}\|_{2}^{2},\\&\mathcal{L}_{orit}=\frac{1}{k-1}\sum_{i=1}^{k-1}\|r_{i+1}-r_{i}\|_{2}^{2},\\&\mathcal{L}_{pri}=\frac{1}{k}\sum_{i=1}^{k}\|\theta_{i}-R^{WI}\theta_{i}^{I}\|_{2}^{2},\\&\mathcal{L}_{m2p}=\frac{1}{k}\sum_{i=1}^{k}\sum_{\substack{\hat{p}^{\prime}\in p^{\prime}_{i}}}\frac{1}{\left|p^{\prime}_{i}\right|}\min_{\hat{p}\in p_{i}}\|\hat{p}-\hat{p}^{\prime}\|_{2}^{2}.\\ \end{aligned} $$ --- ![Image](images/1f36cc86ba5c4a1af3893c4b7f37b55bde74c7f7386fa168428ce59b8d5b3050.jpg)
Figure 4. The diverse scenes and activities of our dataset. The images in the left column are our reconstructed scenes with human trajectories overlaid on them. The right images are the SMPL meshes overlaid on images / point clouds / scenes.
相机外参优化。我们的目标是通过最小化损失函数 $K_{ex}$，来优化每个帧的外参 $\mathcal{L}_{cam}$，该损失函数包括关键点损失 $\mathcal{L}_{kpt}$ 和边界框损失 $\mathcal{L}_{box}$。$\mathcal{L}_{kpt}$ 测量图像中 2D 人体关键点 $kpt^{2d}$ 与使用 $kpt^{3d}$ 将投影到图像的优化 SMPL 模型中 3D 人体关键点 $K_{ex}$ 之间的均方误差；$\mathcal{L}_{box}$ 计算图像中 2D 人体边界框 $box^{2d}$ 与使用 $box^{3d}$ 将投影到图像的 3D 人体边界框 $K_{ex}$ 之间的交并比损失。 $$ \begin{aligned}\boldsymbol{K}_{ex}^{*}=&\arg\min_{\boldsymbol{K}_{ex}\in S E(3)}\mathcal{L}_{c a m}(\boldsymbol{K}_{e x}),\\\mathcal{L}_{c a m}=&\lambda_{k p t}\mathcal{L}_{k p t}(k p t^{3d},k p t^{2d},\boldsymbol{K}_{e x})+\\&\lambda_{b o x}\mathcal{L}_{b o x}(b o x^{3d},b o x^{2d},\boldsymbol{K}_{e x}),\end{aligned} $$ 其中 $\lambda_{kpt}$ 和 $\lambda_{box}$ 是常数系数。 #### 3.4 数据集比较 SLOPER4D 是第一个大型城市级人体姿态数据集，具有多模态采集数据和丰富的用于 GHPE 的人机-场景注释。利用头戴式 LiDAR 和相机同时记录 IMU 佩戴者的活动，包括在户外跑步、踢足球、参观、阅读、上下楼梯、讨论、借书、问候等。该数据集包含来自 12 名人体主体的 15 个序列，分布在 10 个地点。总共有 10 万帧 LiDAR 数据、30 万帧视频数据和 50 万帧基于 IMU 的运动数据，采集的总距离超过 8 公里，面积高达 30,000 平方米 $^{2}$。 我们的数据集结果见图 4。 对于采集的人体，我们提供了来自 LiDAR 帧的 3D 点云分割，以及与 LiDAR 同步的图像中的 2D 边界框。我们还提供了使用 SMPL 格式的 3D 姿态注释。与 Tab. 1 中的其他数据集相比，值得注意的是，SLOPER4D 提供了 3D 场景重建和准确的全局翻译注释，这使我们能够从 LiDAR 和单目视频中定量研究场景感知的全局姿态估计。除了从 LiDAR 重建的密集 3D 点云地图外，SLOPER4D 还提供了来自陆地激光扫描仪 (Trimble TX5) 的高精度彩色点云地图，以获得更好的可视化和地图比较。 #### 4. 实验 在本节中，我们首先对 SLOPER4D 数据集进行定性评估，表明我们的数据集足够稳定，可以用于基准测试新的任务。然后，我们进行跨数据集评估，以进一步评估我们的数据集在两个任务上的新颖性：基于 LiDAR 的 3D 人体姿态估计和基于相机的 3D 人体姿态估计。最后，我们引入新的基准 GHPE，并在 GLAMR 上进行实验。更多定量评估和实验结果在补充材料中。 --- ![Image](images/1bc4913b00c684e2ef36c37d03a4cd7e2e6b2f9ff8af48c05d1f450c8a610ee8.jpg)
Figure 5. Comparison between our optimization results (red SMPL) and the ICP results (green SMPL). It shows the red SMPL aligns better with the cyan human points than the green SMPL.
![Image](images/adc5889f2d47147c0885c7eb67f74abe5a9000978377ac51b3eba8443b46e063.jpg)
Figure 6. The comparison before (left) and after (right) extrinsic optimization by projecting the point clouds (upper) and SMPL (lower) are projected onto the image.
训练/测试划分。我们将数据划分为 LiDAR/相机主导的姿态估计的训练集和测试集。SLOPER4D 的训练集包含 11 个序列的数据，总共 8 万帧 LiDAR 数据和相应的 RGB 帧。测试集包含 4 个序列的数据，约 2 万帧 LiDAR 数据和相应的 RGB 帧。对于全局姿态估计，我们选择了三个具有挑战性的场景进行评估。第一个是高度动态运动的单人足球训练场景。第二个是在海岸跑道上跑步。第三个是在花园游览中涉及日常运动。 评估指标。对于3D HPE，我们采用平均关节位置误差（MPJPE）和普洛克拉斯提斯对齐MPJPE（PA-MPJPE）进行评估。MPJPE是真实标注关节与预测关节之间的平均欧氏距离。PA-MPJPE首先通过基于普洛克拉斯提斯分析的刚性变换将预测关节与真实标注关节对齐，之后再计算MPJPE。对于全局轨迹评估，我们采用视觉SLAM系统中的绝对轨迹误差（ATE）和相对位姿误差（此处位姿指方向）（RPE）[^11]，其中ATE非常适合衡量全局定位精度，相反，RPE适合衡量系统的漂移，例如每秒漂移量。全局MPJPE（G-MPJPE）是将SMPL模型放置在全局坐标系中计算得到的MPJPE。 定性评估。对于人体姿态的定性评估，我们将 SMPL 投影到图像中，并在 3D 空间中可视化 3D 人体，以及相应的 LiDAR 点（如图 4 所示）。结果表明，3D 人体网格与 3D 环境和 2D 图像对齐良好。作为大型城市级人体姿态数据集，SLOPER4D 提供了多模态捕获数据和丰富的环境人体标注，以及在大型场景中进行的各种具有挑战性的人体活动。为了评估我们的优化方法，我们首先将我们的方法与 ICP 的结果进行比较。如图 5 所示，场景感知约束和人体网格到点的约束可以有效地优化局部姿态、全局平移，甚至来自 IMU 的姿态误差。为了展示相机外参优化效果，我们在图 6 中报告了结果。优化后，2D 投影误差在视觉上有所降低。 ### 4.1. 跨数据集评估
Test TrainLH26MOurs
MPJPEPA-MPJPEMPJPEPA-MPJPE
LH26M79.367.0228.7149.9
Ours212.3128.386.165.1
LH26M + Ours85.572.079.260.1
(a) LiDAR-based 3D pose estimation with LiDARCap $^{[27]}$.
Test Train3DPWOurs
MPJPEPA-MPJPEMPJPEPA-MPJPE
VIBE [^24]93.556.5102.566.2
Ours + AMASS124.366.886.652.4
w. 3DPW83.052.090.058.3
HbryIK [^26]88.749.3104.957.0
w. Ours87.349.267.644.2
w. 3DPW71.341.875.850.0
w. 3DPW + Ours76.446.766.242.8
(b) Camera-based 3D pose estimation.
Table 2. Cross-dataset evaluation results with different modalities. The LH26M in (a) refers to LiDAR Human26M dataset from LiDARcap. VIBE is pre-trained on AMASS [^33], MPI-INF3DHP [^35] InstaVariety [^19], PoseTrack [^1], PennAction [^65], HbryIK is pre-trained on H36M, MPI-INF-3DHP, MSCOCO [^29]
我们评估了基于 LiDAR 和相机两种模态的相对根的 3D 人体姿态估计。3DPW 是一个野外人体运动数据集，与我们的数据集最相关。我们使用 3DPW，通过 VIBE 跨评估了我们数据集的相机模态。LiDAR Human26M 是一个基于 LiDAR 的数据集，用于长距离人体姿态估计。我们可以使用它来跨评估我们数据集的 LiDAR 模态。表 2(a) 显示了在基于 LiDAR 的 3D 姿态估计任务上的评估结果，表 2(b) 显示了基于相机的 3D 姿态估计的结果。例如，从表 2(a) 的结果来看，当模型仅从另一个数据集进行训练时，误差最大。但是，当在 LiDAR Human26M 和我们的数据集上联合训练时，误差会进一步降低，降低约 60%。这表明不同的 LiDAR 传感器之间存在域差距，并且这两个数据集可以相互补充。另一个任务的结果表明，在 3DPW 上，预训练的 VIBE 模型比在我们的数据集上具有更好的泛化能力。但是，在 3DPW 上进行微调后，误差会增加，而在我们的数据集上进行微调后，误差会降低。这表明预训练的模型更好地补充了 SLOPER4D，反之亦然。比较不同模态的结果，在混合 LiDAR 点云数据集上训练的模型，在我们的数据集上的误差比在图像上训练的模型误差低 13%。 --- 建议存在域差距，不同 LiDAR 传感器之间存在域差距，因此两个数据集可以相互补充。
4.2. Benchmark on Global Human Pose Estimation
SequenceMetricRMSE $\downarrow$meanstd.max
FootballATE3.262.851.5811.83
Running001ATE29.4825.5514.7256.07
Garden001ATE2.862.571.266.55
FootballRPE0.080.060.051.34
Running001RPE0.400.350.191.04
Garden001RPE0.060.040.040.71
Table 3. Global trajectory evaluation of GLAMR. Unit: m.
SequenceScaleMPJPE $\downarrow$PA-MPJPE $\downarrow$G-MPJPE $\downarrow$
Football11.83264.6118.55268.7
Running00156.07652.1119.632329.3
Garden0016.55139.486.34407.0
Table 4. GHPE results from GLAMR. Unit: mm.
![Image](images/8b32d49d474d6865593f5247256f76cc6a31759b61075708bf23f870dde9028c.jpg)
Figure 7. The ATE error (m) mapped on the GT trajectory. The color represents the error according to the color bar.
在本节中，我们在 SLOPER4D 上对 GLAMR [^61] 的全局人体姿态估计 (GHPE) 任务进行了基准测试。GLAMR 是一种用于从动态单目相机中恢复 3D 全局人体网格的全局感知遮挡方法。对于单目相机的尺度不确定性，我们从估计轨迹中计算出与地面真实轨迹的仿射矩阵，并在计算误差之前旋转、平移和缩放估计轨迹。 表 3 报告了具有 ATE 和 RPE 的全局轨迹误差，表 4 报告了全局人体姿态指标，图 7 显示了在 GT 轨迹上映射的 ATE 误差。 比较三个场景的结果，足球和 Garden001 场景在全局场景中具有明显更低的 RPE。 相比之下，GLAMR 在跑步场景中的表现最差，ATE 的 RMSE 为 29.48 米。 该场景具有最大的面积和最高的人体运动速度。 GLAMR 在 Garden001 场景中实现了低 PA-MPJPE 值，该场景具有日常步行和访问动作，PA-MPJPE 为 86.3 毫米。 这是我们首次在如此大规模的户外场景中测试 GPHE。 GLAMR 在日常人体运动方面表现相对较好，但在野外的高动态活动中表现较差。 一个有趣的发现是，即使是在动态的足球训练动作中，轨迹趋势与参考轨迹非常相似，这表明 GLAMR 具有作为基准的潜力。 预计未来的研究将侧重于在现实世界的交互场景中进行 GHPE 研究，实验结果表明我们的 SLOPER4D 具有促进城市级 GHPE 研究的潜力。 #### 5. 讨论 局限性。 首先，SLOPER4D 仅限于单人捕捉，尽管它可以感知多个人数据。 其次，相机和 LiDAR 未在线同步，如果相机丢失帧，即使时间偏移量很小（<50 毫秒），也需要进行繁琐的离线工作。 最后，未完全利用来自相机的纹理信息来重建场景和人体。 在未来的工作中，我们将提出一种在线同步算法，并扩展我们的工作以支持多人捕捉。 结论。 我们提出了第一个大型、城市级的、具有多模态捕获数据和丰富的人体-场景标注的人体姿态数据集。 基于我们提出的新数据集，我们对两个关键任务进行了基准测试：基于相机的 3D 人体姿态估计和基于 LiDAR 的 3D 人体姿态估计。 SLOPER4D 还对 GHPE 任务进行了基准测试。 结果表明 SLOPER4D 在推动这些领域的发展方面具有潜力。 我们的工作有助于基于当前方法和数据集，将运动捕捉扩展到大型的全球场景。 我们希望这项工作能够促进未来在城市环境中进行创建和交互。 致谢。 本工作由中国国家自然科学基金（No.62171393）、中央大学的基本研究基金（No.20720220064）、上海前沿人工智能中心人文中心创新平台协作创新平台（No.3502ZCQXT2021003）和中国科学院（No.62206173）资助。 我们感谢 Zhiyong Wang 帮助我们将 FAST-LIO2 整合到我们的地图系统中。 我们也感谢上海前沿人工智能中心（ShangHAI）的支持。 --- ### 参考文献 [^1]: Mykhaylo Andriluka, Umar Iqbal, Eldar Insafutdinov, Leonid Pishchulin, Anton Milan, Juergen Gall, and Bernt Schiele. Posetrack: A benchmark for human pose estimation and tracking. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 5167–5176, 2018.7 [^2]: Sébastien Bauwens, Harm Bartholomeus, Kim Calders, and Philippe Lejeune. Forest inventory with terrestrial lidar: A comparison of static and hand-held mobile laser scanning. Forests, 7(6):127, 2016. 3 [^3]: Bharat Lal Bhatnagar, Cristian Sminchisescu, Christian Theobalt, and Gerard Pons-Moll. Combining implicit function learning and parametric models for 3d human reconstruction. In European Conference on Computer Vision (ECCV). Springer, aug 2020. 4 [^4]: Michael Bosse, Robert Zlot, and Paul Flick. Zebedee: Design of a spring-mounted 3-d range sensor with application to mobile mapping. IEEE Transactions on Robotics, 28(5):1104–1119, 2012. 3 [^5]: Yudi Dai, Yitai Lin, Chenglu Wen, Siqi Shen, Lan Xu, Jingyi Yu, Yuexin Ma, and Cheng Wang. Hsc4d: Human-centered 4d scene capture in large-scale indoor-outdoor space using wearable imus and lidar. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 6792–6802, June 2022. 2, 3 [^6]: Hanieh Deilamsalehy and Timothy C Havens. Sensor fused three-dimensional localization using imu, camera and lidar. In 2016 IEEE SENSORS, pages 1–3. IEEE, 2016. 3 [^7]: Frank Dellaert and GTSAM Contributors. borglab/gtsam. , May 2022. 4 [^8]: Mingsong Dou, Sameh Khamis, Yury Degtyarev, Philip Davidson, Sean Ryan Fanello, Adarsh Kowdle, Sergio Orts Escolano, Christoph Rhemann, David Kim, Jonathan Taylor, et al. Fusion4d: Real-time performance capture of challenging scenes. ACM Transactions on Graphics (ToG), 35(4):1–13, 2016. 3 [^9]: Andreas Geiger, Philip Lenz, and Raquel Urtasun. Are we ready for autonomous driving? the kitti vision benchmark suite. In Conference on Computer Vision and Pattern Recognition (CVPR), 2012. 3 [^10]: Patrick Geneva, Kevin Eckenhoff, Yulin Yang, and Guoquan Huang. Lips: Lidar-inertial 3d plane slam. In 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pages 123–130. IEEE, 2018. 3 [^11]: Michael Grupp. evo: Python package for the evaluation of odometry and slam. , 2017. 7 [^12]: Vladimir Guzov, Aymen Mir, Torsten Sattler, and Gerard Pons-Moll. Human poseitioning system (hps): 3d human pose estimation and self-localization in large scenes from body-mounted sensors. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 4318–4329, 2021. 2, 3 [^13]: Mohamed Hassan, Vasileios Choutas, Dimitrios Tzionas, and Michael J. Black. Resolving 3D human pose ambigui- ties with 3D scene constraints. In Proceedings International Conference on Computer Vision, pages 2282–2292. IEEE, Oct. 2019. 2, 3 [^14]: Chun-Hao P Huang, Hongwei Yi, Markus Höschle, Matvey Safroshkin, Tsvetelina Alexiadis, Senya Polikovsky, Daniel Scharstein, and Michael J Black. Capturing and inferring dense full-body human-scene contact. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 13274–13285, 2022. 2, 3 [^15]: Yinghao Huang, Manuel Kaufmann, Emre Aksan, Michael J. Black, Otmar Hilliges, and Gerard Pons-Moll. Deep inertial poser: Learning to reconstruct human pose from sparse inertial measurements in real time. ACM Transactions on Graphics, (Proc. SIGGRAPH Asia), 37(6):185:1–185:15, nov 2018. 3 [^16]: Catalin Ionescu, Dragos Papava, Vlad Olaru, and Cristian Sminchisescu. Human3.6m: Large scale datasets and predictive methods for 3d human sensing in natural environments. IEEE transactions on pattern analysis and machine intelligence, 36(7):1325–1339, 2013. 2, 3 [^17]: Tomoya Kaichi, Tsubasa Maruyama, Mitsunori Tada, and Hideo Saito. Resolving position ambiguity of imu-based human pose with a single rgb camera. Sensors, 20(19):5453, 2020. 2 [^18]: Angjoo Kanazawa, Michael J. Black, David W. Jacobs, and Jitendra Malik. End-to-end recovery of human shape and pose. In Computer Vision and Pattern Recognition (CVPR), 2018. 3 [^19]: Angjoo Kanazawa, Jason Y. Zhang, Panna Felsen, and Jitendra Malik. Learning 3d human dynamics from video. In Computer Vision and Pattern Recognition (CVPR), 2019. 7 [^20]: Samer Karam, George Vosselman, Michael Peter, Siavash Hosseinyalamdary, and Ville V. Lehtola. Design, calibration, and evaluation of a backpack indoor mobile mapping system. Remote. Sens., 11:905, 2019. 3 [^21]: Alex Kendall, Matthew Grimes, and Roberto Cipolla. Posenet: A convolutional network for real-time 6-dof camera relocalization. In Proceedings of the IEEE international conference on computer vision, pages 2938–2946, 2015. 3 [^22]: Giseop Kim and Ayoung Kim. Scan context: Egocentric spatial descriptor for place recognition within 3d point cloud map. 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pages 4802–4809, 2018. 4 [^23]: Giseop Kim, Yeong Sang Park, Younghun Cho, Jinyong Jeong, and Ayoung Kim. Mulran: Multimodal range dataset for urban place recognition. In Proceedings of the IEEE International Conference on Robotics and Automation (ICRA), Paris, May 2020. 3 [^24]: Muhammed Kocabas, Nikos Athanasiou, and Michael J Black. Vibe: Video inference for human body pose and shape estimation. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 5253–5263, 2020. 3, 7 [^25]: Nikos Kolotouros, Georgios Pavlakos, Michael J Black, and Kostas Daniilidis. Learning to reconstruct 3d human pose and shape via model-fitting in the loop. In ICCV, 2019. 3 ## [^26]: Jiefeng Li, Chao Xu, Zhicun Chen, Siyuan Bian, Lixin Yang, and Cewu Lu. Hybrik: A hybrid analytical-neural inverse --- kinematics solution for 3d human pose and shape estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 3383–3393, 2021. 3, 7 [^27]: Jialian Li, Jingyi Zhang, Zhiyong Wang, Siqi Shen, Chenglu Wen, Yuexin Ma, Lan Xu, Jingyi Yu, and Cheng Wang. Lidarcap: Long-range marker-less 3d human motion capture with lidar point clouds. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 20502–20512, 2022. 2, 3, 7 [^28]: Jiarong Lin and Fu Zhang. Loam livox: A fast, robust, high-precision lidar odometry and mapping package for lidars of small fov. In 2020 IEEE International Conference on Robotics and Automation (ICRA), pages 3126–3131. IEEE, 2020. 3 [^29]: Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, and C Lawrence Zitnick. Microsoft coco: Common objects in context. In Computer Vision–ECCV 2014: 13th European Conference, Zurich, Switzerland, September 6-12, 2014, Proceedings, Part V 13, pages 740–755. Springer, 2014. 7 [^30]: Miao Liu, Dexin Yang, Yan Zhang, Zhaopeng Cui, James M. Rehg, and Siyu Tang. 4d human body capture from egocentric video via 3d scene grounding. international conference on 3d vision, 2020. 3 [^31]: Timothy Liu, Matthew Carlberg, George Chen, Jacky Chen, John Kua, and Avideh Zakhor. Indoor localization and visualization using a human-operated backpack system. 2010 International Conference on Indoor Positioning and Indoor Navigation, pages 1–10, 2010. 3 [^32]: Matthew Loper, Naureen Mahmood, Javier Romero, Gerard Pons-Moll, and Michael J Black. SMPL: A skinned multi-person linear model. ACM Transactions on Graphics, 2015. 2, 4 [^33]: Naureen Mahmood, Nima Ghorbani, Nikolaus F Troje, Gerard Pons-Moll, and Michael J Black. Amass: Archive of motion capture as surface shapes. In Proceedings of the IEEE/CVF international conference on computer vision, pages 5442–5451, 2019. 2, 7 [^34]: Charles Malleson, Marco Volino, Andrew Gilbert, Matthew Trumble, John Collomosse, and Adrian Hilton. Real-time full-body motion capture from video and imus. In 2017 Fifth International Conference on 3D Vision (3DV), 2017. 3 [^35]: Dushyant Mehta, Helge Rhodin, Dan Casas, Pascal Fua, Oleksandr Sotnychenko, Weipeng Xu, and Christian Theobalt. Monocular 3d human pose estimation in the wild using improved cnn supervision. In 3D Vision (3DV), 2017 Fifth International Conference on. IEEE, 2017. 7 [^36]: Roberto Opromolla, Giancarmine Fasano, Giancarlo Rufino, Michele Grassi, and Al Savvaris. Lidar-inertial integration for uav localization and mapping in complex environments. In 2016 International Conference on Unmanned Aircraft Systems (ICUAS), pages 649–656. IEEE, 2016. 3 [^37]: Noha Radwan, Abhinav Valada, and Wolfram Burgard. Vlocnet++: Deep multitask learning for semantic visual localization and odometry. IEEE Robotics and Automation Letters, 3(4):4407–4414, 2018. 3 [^38]: Daniel Roetenberg, Henk Luinge, and Per Slycke. Moven: Full 6dof human motion tracking using miniature inertial sensors. Xsen Technologies, December, 2(3):8, 2007. 3 [^39]: Daniel Roetenberg, Henk Luinge, and Per Slycke. Xsens mvn: Full 6dof human motion tracking using miniature inertial sensors. Xsens Motion Technologies BV, Tech. Rep, 1, 2009. 2, 3 [^40]: Youngwoo Seo and Chih-Chung Chou. A tight coupling of vision-lidar measurements for an effective odometry. In 2019 IEEE Intelligent Vehicles Symposium (IV), pages 1118–1123. IEEE, 2019. 3 [^41]: Tixiao Shan and Brendan Englot. Lego-loam: Lightweight and ground-optimized lidar odometry and mapping on variable terrain. In 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pages 4758–4765. IEEE, 2018. 3 [^42]: Tixiao Shan, Brendan Englot, Drew Meyers, Wei Wang, Carlo Ratti, and Daniela Rus. Lio-sam: Tightly-coupled lidar inertial odometry via smoothing and mapping. In 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pages 5135–5142. IEEE, 2020. 3 [^43]: Tixiao Shan, Brendan Englot, Carlo Ratti, and Daniela Rus. Lvi-sam: Tightly-coupled lidar-visual-inertial odometry via smoothing and mapping. arXiv preprint arXiv:2104.10831, 2021. 3 [^44]: Young-Sik Shin, Yeong Sang Park, and Ayoung Kim. Dvl-slam: sparse depth enhanced direct visual-lidar slam. Autonomous Robots, 44(2):115–130, 2020. 3 [^45]: Leonid Sigal, Alexandru O Balan, and Michael J Black. Humaneva: Synchronized video and motion capture dataset and baseline algorithm for evaluation of articulated human motion. International journal of computer vision, 87(1):4–27, 2010. 2 [^46]: Matthew Trumble, Andrew Gilbert, Charles Malleson, Adrian Hilton, and John Collomosse. Total capture: 3d human pose estimation fusing video and inertial sensors. In Proceedings of 28th British Machine Vision Conference, pages 1–13, 2017. 2 [^47]: Ignacio Vizzo, Tiziano Guadagnino, Jens Behley, and Cyrill Stachniss. Vdbfusion: Flexible and efficient tsdf integration of range sensor data. Sensors, 22(3), 2022. 4 [^48]: Daniel Vlasic, Rolf Adelsberger, Giovanni Vannucci, John Barnwell, Markus Gross, Wojciech Matusik, and Jovan Popović. Practical motion capture in everyday surroundings. ACM Transactions on Graphics (TOG), 26(3):35, 2007. 3 [^49]: Timo von Marcard, Roberto Henschel, Michael J. Black, Bodo Rosenhahn, and Gerard Pons-Moll. Recovering accurate 3d human pose in the wild using imus and a moving camera. In Proceedings of the European Conference on Computer Vision (ECCV), September 2018. 2, 3 [^50]: Timo von Marcard, Gerard Pons-Moll, and Bodo Rosenhahn. Human pose estimation from video and imus. IEEE Transactions on Pattern Analysis and Machine Intelligence, 38:1533–1547, 2016. 3 ## [^51]: Timo von Marcard, Bodo Rosenhahn, Michael Black, and Gerard Pons-Moll. Sparse inertial poser: Automatic 3d human pose estimation from sparse imus. Computer Graphics Forum 36(2), Proceedings of the 38th Annual Conference --- 发表于欧洲计算机图形学协会（Eurographics），页码349–360，2017年。 3 [^52]: Bing Wang, Changhao Chen, Chris Xiaoxuan Lu, Peijun Zhao, Niki Trigoni, and Andrew Markham. Atloc: Attention guided camera localization. In Proceedings of the AAAI Conference on Artificial Intelligence, volume 34, pages 10393–10401, 2020. 3 [^53]: Chenglu Wen, Yudi Dai, Yan Xia, Yuhan Lian, Jinbin Tan, Cheng Wang, and Jonathan Li. Toward efficient 3-d colored mapping in gps-/gnss-denied environments. IEEE Geoscience and Remote Sensing Letters, 17(1):147–151, 2019. 4 [^54]: Chenglu Wen, Yudi Dai, Yan Xia, Yuhan Lian, Jinbin Tan, Cheng Wang, and Jonathan Li. Toward efficient 3-d colored mapping in gps-/gnss-denied environments. IEEE Geoscience and Remote Sensing Letters, 17(1):147–151, 2020. 3 [^55]: Nicolai Wojke, Alex Bewley, and Dietrich Paulus. Simple online and realtime tracking with a deep association metric. In 2017 IEEE international conference on image processing (ICIP), pages 3645–3649. IEEE, 2017. 4 [^56]: Yuxin Wu, Alexander Kirillov, Francisco Massa, Wan-Yen Lo, and Ross Girshick. Detectron2. , 2019. 4 [^57]: Lan Xu, Yebin Liu, Wei Cheng, Kaiwen Guo, Guyue Zhou, Qionghai Dai, and Lu Fang. Flycap: Markerless motion capture using multiple autonomous flying cameras. IEEE transactions on visualization and computer graphics, 24(8):2284–2297, 2017. 2 [^58]: Wei Xu, Yixi Cai, Dongjiao He, Jiarong Lin, and Fu Zhang. Fast-lio2: Fast direct lidar-inertial odometry. IEEE Transactions on Robotics, 38:2053–2073, 2022. 4 [^59]: Hongwei Yi, Chun-Hao P. Huang, Shashank Tripathi, Lea Hering, Justus Thies, and Michael J. Black. MIME: Human-aware 3D scene generation. In IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 2023. 2 [^60]: Hongwei Yi, Chun-Hao P Huang, Dimitrios Tzionas, Muhammed Kocabas, Mohamed Hassan, Siyu Tang, Justus Thies, and Michael J Black. Human-aware object placement for visual environment reconstruction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 3959–3970, 2022. 2, 3 [^61]: Ye Yuan, Umar Iqbal, Pavlo Molchanov, Kris Kitani, and Jan Kautz. Glamr: Global occlusion-aware human mesh recovery with dynamic cameras. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 11038–11049, 2022. 3, 8 [^62]: Ji Zhang and Sanjiv Singh. Loam: Lidar odometry and mapping in real-time. In Robotics: Science and Systems, volume 2, 2014. 3 [^63]: Ji Zhang and Sanjiv Singh. Visual-lidar odometry and mapping: Low-drift, robust, and fast. In 2015 IEEE International Conference on Robotics and Automation (ICRA), pages 2174–2181. IEEE, 2015. 3 [^64]: Siwei Zhang, Qianli Ma, Yan Zhang, Zhiyin Qian, Taein Kwon, Marc Pollefeys, Federica Bogo, and Siyu Tang. Ego-body: Human body shape and motion of interacting peo- 来自头戴设备的示例。在欧洲计算机视觉会议 (ECCV) 上，2022 年 10 月。2, 3 [^65]: Weiyu Zhang, Menglong Zhu, and Konstantinos G Derpanis. From actemes to action: A strongly-supervised representation for detailed action understanding. In Proceedings of the IEEE international conference on computer vision, pages 2248–2255, 2013. 7 [^66]: Jianan Zhen, Qi Fang, Jiaming Sun, Wentao Liu, Wei Jiang, Hujun Bao, and Xiaowei Zhou. Smap: Single-shot multiperson absolute 3d pose estimation. In European Conference on Computer Vision, pages 550–566. Springer, 2020. 3 [^67]: Zerong Zheng, Tao Yu, Hao Li, Kaiwen Guo, Quionghai Dai, Lu Fang, and Yebin Liu. Hybridfusion: Real-time performance capture using a single depth sensor and sparse imus. In European Conference on Computer Vision (ECCV), 2018. [^68]: Xingxing Zuo, Patrick Geneva, Woosik Lee, Yong Liu, and Guoquan Huang. Lic-fusion: Lidar-inertial-camera odometry. In 2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pages 5848–5854. IEEE, 2019. 3