# 基于单目摄像头和单LiDAR的大场景弱监督3D多人姿态估计丛培山$^{1,\dagger}$，徐一腾$^{1,\dagger}$，任一名$^{1}$，张巨泽$^{1}$，徐澜$^{1,2}$，王静雅$^{1,2}$，余景逸$^{1,2}$，马跃鑫$^{1,2,*}$ $^{1}$上海科技大学 $^{2}$上海市智能视觉与成像工程研究中心 {congpsh,xuyt1,mayuexin}@shanghaitech.edu.cn ## 摘要对于基于单目摄像头的3D多人姿态估计，深度估计通常是不明确的，并且存在歧义。由于LiDAR可以捕捉长距离场景中的准确深度信息，因此它可以为个体全局定位和3D姿态估计提供丰富的几何特征。受到此启发，我们提出了一种基于单目摄像头和单LiDAR的大场景3D多人姿态估计方法，该方法易于部署且对光照不敏感。具体而言，我们设计了一种有效的融合策略，以利用多模态输入数据（包括图像和点云），并充分利用时间信息，引导网络学习自然和连贯的人体运动。我们的方法无需依赖任何3D姿态标注，它利用点云的固有几何约束进行自监督，并利用图像上的2D关键点进行弱监督。在公共数据集和我们新收集的数据集上进行的广泛实验表明，我们提出的方法具有卓越的性能和泛化能力。项目主页位于 . ## 引言在野外，特别是大型户外场景中，3D多人姿态估计（3D-MPE）已成为一个越来越受欢迎的研究领域。它是人类运动理解的重要技术，可以使许多下游的实际应用受益，包括动作识别、运动分析、监控、增强/虚拟现实 (AR/VR)、自动驾驶、辅助机器人等。其目标是在三维空间中定位人体语义关键点，即世界坐标系。大多数先前的研究 (Véges and Lörincz 2019; Wang et al. 2020a) 基于单目摄像头解决3D-MPE问题，单目摄像头轻巧且易于在一般场景中部署。然而，从单目摄像头进行深度估计本质上是病态的 (Mallot et al. 1991)，这在全局定位和局部姿态估计中会导致许多歧义预测，如图 2 所示。尽管研究人员提出了许多方法来缓解这个问题，例如利用人体高度或骨骼长度的先验知识 ![Image](images/93cff4a9bb947c15fd4d0edf7a1a31dcdb6cb1121491331a572c4fe74b9ab71b.jpg)

Figure 1: Our sensor setting and 3D multi-person pose estimation results for large-scale scenes. Based on synchronized images and LiDAR point clouds, we can capture continuous global locations and local poses accurately for each person.

通过混合反向运动学约束 (Sun et al. 2021; Li et al. 2021) 和视频中存在的运动一致性约束 (Zhang et al. 2022a)。这些方法由于数学上不可能将透视视图映射到 3D 空间而受到限制。尽管提出了多视图摄像头 (Dong et al. 2019; Zhang et al. 2021) 和 RGB-D 摄像头的设置，以避免这个问题，但由于部署困难或传感器物理限制（RGB-D 相机在约 5 米范围内可用，并且通常在户外场景中无法工作），因此这些方法不适用于大型场景。 LiDAR 可以提供准确的深度信息，并且已被广泛应用于自动驾驶车辆和机器人，用于感知大型场景。通过常见的 128 束机械 LiDAR，捕获具有可识别形状和比例的人类的有效范围可以达到约 35 米，这使得它可以在室内或室外长距离场景中实现 3D-MPE。更重要的是，与相机对光线的敏感性不同，LiDAR 可以在白天和夜晚工作，这适用于大多数场景。近年来，一些研究人员开始利用 LiDAR 传感器进行人体运动捕捉（Li et al. 2022a; Zhao et al. 2022），并取得了令人印象深刻的成果。然而，LiDAR 捕获的点云在不同距离上稀疏程度各异，并且存在噪声，这导致姿态预测不稳定（图 2）。考虑到图像中丰富的外观特征和点云中的几何特征，(Fürst et al. 2021; Zheng et al. 2022) 利用相机和 LiDAR 来估计行人的 3D 姿态，以增强对自动驾驶车辆的场景理解。然而，他们以一种简单的方式融合多模态特征，并没有利用时间信息和几何监督，这导致在具有挑战性的姿态下表现不佳，例如运动。 --- ![Image](images/824d5fc9575de8ceecad7a4b85bd7ea743ad34fa48ea2da35eedd52ee4fd7a29.jpg)

Figure 2: The limitation of 3D-MPE based on monocular camera or single LiDAR. (a) shows the ambiguity of global instance localization caused by the usage of statistics of human body in monocular camera-based methods, which has weak generalization capability for diverse persons. (b) shows the ambiguity of local poses due to the perspective view of image. (c) and (d) illustrate the limitations based on single LiDAR due to the sparse points in the distance and the noise point brought by carry-on objects. FusionPose takes advantage of both sensors to overcome above limitations.

我们专注于基于多模态传感器（包括单目相机和单 LiDAR）的大型场景中的 3D-MPE。需要克服两个主要挑战。首先，相机捕获的图像是密集且规则的表示，并且包含透视视图中的纹理特征，而 LiDAR 捕获的点云是稀疏且无序的表示，并提供了 3D 空间中的深度特征。如何利用来自完全不同传感器的多模态数据，并以一种有效和可解释的方式融合它们以进行准确的姿态回归，是一个关键问题。其次，当前基于深度学习的 3D-MPE 方法依赖于大量的标注数据，这些数据通常是通过可穿戴的 IMU 设备或多视点相机获得的。然而，由于 IMU 在长距离中的漂移问题以及多视点相机的难以部署，它们不适用于大型场景。手动标注既昂贵又耗时。如何在没有 3D 标注的情况下进行大型场景中的 3D-MPE 是另一个核心问题。在本文中，我们提出了一种名为 FusionPose 的新型 3D-MPE 方法，用于基于单 LiDAR 相机设置的大型场景，该方法解决了上述问题。为了充分利用图像中的全局语义特征和点云中的局部几何特征，我们提出了一种有效的图像到点云注意力融合 (IPAFusion) 方法，以融合 2D 和 3D 信息。交叉注意力被设计用于在两个模态之间，使网络能够自动学习物理对应关系，这可以减轻对两个传感器准确校准的依赖，并使融合过程有效且可解释。为了克服对 3D 标注的依赖，我们充分利用数据的自监督性，包括动态运动约束和存在于数据连续帧中的高维特征一致性，以及人体关键点的几何约束。我们还使用成熟的 2D 姿态估计方法生成的 2D 关键点来进一步监督估计的 3D 关键点，方法是将它们反投影到图像中。为了促进多模态设置下的 3D-MPE 研究，我们收集了一个新的数据集 LiCamPose，该数据集是在野外环境中收集的。广泛的实验表明，我们的方法在 LiCamPose 和其他相关开放数据集上都取得了最先进的性能。本文的主要贡献如下： LiDAR 可以提供准确的深度信息，并且已被广泛应用于自动驾驶车辆和机器人，用于感知大型场景。通过常见的 128 束机械 LiDAR，捕获具有可识别形状和比例的人类的有效范围可以达到约 35 米，这使得它可以在室内或室外长距离场景中实现 3D-MPE。更重要的是，与相机对光线的敏感性不同，LiDAR 可以在白天和夜晚工作，这适用于大多数场景。近年来，一些研究人员开始利用 LiDAR 传感器进行人体运动捕捉（Li et al. 2022a; Zhao et al. 2022），并取得了令人印象深刻的成果。然而，LiDAR 捕获的点云在不同距离上稀疏程度各异，并且存在噪声，这导致姿态预测不稳定（图 2）。考虑到图像中丰富的外观特征和点云中的几何特征，(Fürst et al. 2021; Zheng et al. 2022) 利用相机和 LiDAR 来估计行人的 3D 姿态，以增强对自动驾驶车辆的场景理解。然而，他们以一种简单的方式融合多模态特征，并没有利用时间信息和几何监督，这导致在具有挑战性的姿态下表现不佳，例如运动。 1. 借助激光雷达和摄像头传感器，我们提出了一种用于大规模场景中多个人 3D 姿态估计的新方法，该方法具有准确的定位能力。具体来说，我们的方法不依赖于 3D 姿态标注。 2. 我们提出了一种 IPAFusion 方法，用于融合 2D 视角图像和 3D 点云的信息，该方法充分考虑了多模态数据的全局语义特征和局部几何特征，并且不受校准误差的影响。 3. 我们利用存在于时间信息中的运动线索和序列一致性来增强 3D 姿态估计。 4. FusionPose 在 3D 姿态数据集上实现了最先进的性能，包括 HybirdCap、3DPW、STCrowd 以及我们的新收集的数据集 LiCamPose。我们将在论文发表时发布我们的新数据集。 ## 相关工作 ## 基于摄像头的 3D 人体姿态估计已经提出了许多基于单目摄像头的 3D-MPE 方法。早期工作侧重于以人为中心的任务，而没有在实际的 3D 空间中定位个体。（Pavlakos 等人, 2017）直接从输入图像回归关节位置，而（Tome, Russell, and Agapito 2017; Martinez et al. 2017; Rogez, Weinzaepfel, and Schmid 2019）将 2D 关键点输入到 2D-to-3D lifting 网络以估计 3D 姿态。为了更适应实际应用，最近的researcher 更加关注基于摄像头的 3D-MPE。他们 (Moon, Chang, and Lee 2019; Véges and Lörincz 2019; Wang et al. 2020a) 通常将问题分解为根部相对的 2.5D 姿态估计和根部深度估计。然而，无论对于局部关键点还是对于物体，准确的深度估计是 3D-MPE 的核心挑战。为了解决这个问题，一些 --- 工作 (Mehta, Sotnychenko, and etc. 2018; Mehta et al. 2020; Zhen et al. 2020; Zhang et al. 2022b) 利用几何约束，通过在深度推理中添加人体高度或骨骼长度等先验知识。这些基于手工假设的方法可以消除许多 3D-MPE 的不良结果，但对于包含各种人群的场景来说，其适用性受到限制。另一些方法利用运动的运动线索 (Sun et al. 2021; Li et al. 2021; Sun et al. 2022; Yu et al. 2021) 或使用 SMPL (Loper et al. 2015) 参数人体模型，或者通过强制对连续帧之间进行时间一致性来探索空间和时间关系 (Arnab, Doersch, and Zisserman 2019; Cheng et al. 2020; Zheng et al. 2021; Zhang et al. 2022a)。然而，单目摄像头设置仍然存在深度估计的歧义。尽管多摄像头 (Dong et al. 2019; Zhang et al. 2021; Rhodin, Salzmann, and Fua 2018; Chen et al. 2019; Kocabas, Karagoz, and Akbas 2019; Wandt et al. 2021) 和 RGB-D (Mehta, Sridhar, and etc. 2017; Zimmermann et al. 2018; Ying and Zhao 2021) 设置可以在一定程度上缓解这个问题，但它们不适用于大型户外场景。 ## 激光雷达参与的 3D 人体姿态估计激光雷达在三维场景理解方面越来越受欢迎（Cong et al. 2022; Zhu et al. 2020, 2021; Yin, Zhou, and Krähenbühl 2021; Han et al. 2022），因为它能够对大场景中的深度信息进行精确测量，这推动了自动驾驶和机器人的发展。最近，研究人员开始探索激光雷达在精细人体动作捕捉中的潜力（Li et al. 2022a; Zhao et al. 2022），并在远距离场景中取得了令人印象深刻的成果。然而，激光雷达点云具有稀疏且无序的表示，缺乏纹理特征，这通常会导致姿态估计不稳定，因为携带的物体或衣服会产生噪声点。为了提高对交通场景中行人的感知和理解能力，(Fürst et al. 2021; Zheng et al. 2022) 提出使用相机和激光雷达来预测行人的三维姿态。然而，他们只依赖二维关键点监督或粗略的三维伪标签，而没有考虑时间特征，这导致在更复杂的动作中效果不佳。我们的方法利用来自图像和点云的综合特征，以及序列中的运动线索，以实现更稳健和准确的姿态估计，适用于更通用的场景。 ## 激光雷达和相机的传感器融合方法目前已经有很多关于基于激光雷达和相机的传感器融合方法的研究，这些方法可以分为三大类。第一类是点级别融合策略 (Vora et al. 2020; Wang et al. 2021; Zheng et al. 2022)，它将从图像对应区域提取的语义特征附加到点上，然后使用基于点云的特征提取器。然而，这些硬关联方法严重依赖传感器校准，并且会丢失图像的全局上下文信息。第二类是特征级别融合策略 (Piergiovanni et al. 2021; Chen et al. 2017; Liang et al. 2018; Ku et al. 2018)，通过直接连接来自两个模态的特征，从而考虑了全局上下文，但缺乏局部几何对应关系。第三类 (Bai et al. 2022; Li et al. 2022c; Prakash, Chitta, and Geiger 2021; Liu et al. 2022) 使用 Transformer 策略，通过在俯视 (BEV) 空间中构建查询，动态捕捉图像和激光雷达特征之间的相关性。这些方法在检测和分割任务中效果良好，通过在 BEV 中融合特征，但忽略了精细的三维姿态，因此不适用于三维姿态估计任务。仅有的两个相关的基于激光雷达和相机的 3D-MPE 方法 (Fürst et al. 2021; Zheng et al. 2022) 直接采用上述点级别和特征级别融合策略，而没有针对 3D-MPE 进行特殊设计。考虑到 3D-MPE 对精细特征的需求，我们提出了一种基于交叉注意机制的软关联方法，该方法以有效的方式融合了点云的局部几何特征和图像的全局上下文特征。 ## 方法问题定义：给定由单目 RGB 相机和单激光雷达捕获的同步图像 I 和点云 P，我们的任务是预测现实世界中多个人的 3D 姿态 $\hat{J}_{3D} \in R^{K \times 3}$，其中 K 表示 3D 姿态表示的关键点数量。由于所有传感器在数据采集过程中都是固定的，因此激光雷达坐标系等于世界坐标系，并且 $\hat{J}_{3D}$ 可以通过传感器的内参和外参投影到图像上。概述：我们的方法是一种自上而下的 3D-MPE 方法，首先检测人物，然后根据裁剪的图像和点云，对每个人的 3D 姿势进行估计。我们的方法流程如图 3 所示，包含两个重要组件，包括图像到点云注意力融合模块 (IPAFusion) 和基于时间信息的姿势估计器。前者融合两种不同模态的数据信息，以充分利用点云的 3D 几何特征和图像的外观特征。后者利用连续数据中存在的时间信息，通过学习人体运动的动态规则以及高维特征空间中的姿势一致性，来提高姿势精度。此外，我们利用原始点云来监督 $\hat{J}_{3D}$ 的形状和比例，并使用 2D 关键点通过反向投影来弱监督姿势。以下，我们将详细介绍上述模块和损失函数。 ## 预处理对于用于监督的图像上的 2D 关键点 $J_{2D} \in R^{K \times 2}$，我们使用 openpose (Cao et al. 2017) 生成。对于第一阶段的检测，我们利用最先进的基于 LiDAR 的 3D 检测器 (Cong et al. 2022) 和基于图像的 2D 检测器 (YOLO v5) 来处理输入，并通过投影和匹配根据校准矩阵，获得两种模态中的配对人物。通过匈牙利算法进行跟踪，以确定连续帧中人物实例的对应关系。然后我们裁剪 --- ![Image](images/53a86cc783b5189099db1693480efec0f412f14f67f001fc2cef5030825cfa55.jpg)

Figure 3: Pipeline of FusionPose. We first obtain the cropped images and point clouds of each person by 2D and 3D detectors. Then the features extracted from multi-modal data are fed in the Image-to-Point Attention Fusion module to get the fused feature with rich texture and geometry information. Temporal Information Guided Pose Estimator is followed to estimate 3D poses by leveraging the temporal features and guidance. Finally, the raw point cloud and 2D keypoints are used for the supervision through shape constraints.

图像和点云，使用 2D 和 3D 边界框，以进行以下 3D 姿势估计。 ## 图像到点云注意力融合用于 LiDAR 点云和图像的融合方法是为检测和分割任务而设计的，并应用于自动驾驶。与它们不同，3D 姿势估计需要我们关注人体细粒度的语义和几何特征。因此，我们提出了一种有效的融合方法，适用于 3D-MPE 任务，它可以自动学习图像和点云之间的对应特征，以消除对传感器校准的敏感性，并充分利用两种模态的全局和局部信息。点云特征提取：在下采样后，低维点云输入 $P \in R^{N \times 3}$ ( $N = 256$ 表示点的数量) 被输入到 PointNet (Qi et al. 2017) 编码器中，以获得高维特征 $p = \text{PointNetEncoder}(P), p \in R^{N \times 256}$，然后我们使用一层自注意力来整合全局上下文特征到每个点特征： $$ f_{p}=L N(p+S e l f A t t e n t i o n(p)), $$ 其中 LN 是层归一化。图像特征提取：我们使用预训练的 HrNet (Wang et al. 2020b) 模型来提取图像特征，它在多个分辨率级别上保持特征，并具有细粒度的局部语义特征。图像输入 I 被编码为大小为 $(256, H/8, W/8)$ 的高维特征，其中 H 和 W 表示输入的尺寸。我们展平空间特征，并通过多层感知 (MLP) 整合通道信息，以获得高层语义特征： $i = \text{MLP}(\text{Flatten}(\text{HrNet}(I)))$。同样，也应用了一层自注意力来涉及来自全局上下文的信息。 $$ f_{i}=L N(i+S e l f A t t e n t i o n(i)). $$ Cross-attention 融合：通过直接投影融合两种模态特征，很大程度上依赖于传感器的高精度校准，并且通过完全的物理映射来约束对应关系。考虑到图像纹理特征的不同部分对于人体不同部位的重要性不同，我们设计了 IPAFusion，它通过网络自动学习图像和点云之间的对应关系，从而可以更合理地融合特征，并且无需校准。点查询 $q_p$ 从高维点特征 $f_p$ 中提取，图像值 $v_i$ 和图像键 $k_i$ 从全局语义图像特征 $f_i$ 中提取。对于每个查询，它与图像键进行点积运算，以获得注意力矩阵，并从多模态特征中获得相关性。点积后的较高值表明点云与图像特征的相应部分高度相关。经过 softmax 归一化后，注意力亲和力矩阵将与图像值相乘，以获得根据图像信息加权的新点云特征。然后，加权的点云特征与原始点查询连接，并通过两个线性层获得 $f_{attention}$。最终的融合特征 $f_{fusion}$ 通过 Transformer 中的 FFN 获得 (Vaswani et al. 2017)。 $$ f_{{a t t e n t i o n}}={L N}\big(f_{p}+{C r o s s A t t e n t i o n}(q_{p},k_{i},v_{i})\big), $$ --- $$ f_{{f u s i o n}}={L N}\big(f_{{a t t e n t i o n}}+{F F N}\big(f_{{a t t e n t i o n}}\big)\big). $$ 通过这种方式，IPAFusion 不仅可以自动学习对应关系以融合两种模态的特征，还可以充分利用全局语义信息和局部精细几何特征，从而提高姿态估计的准确性。 ## 具有时间信息的姿态估计器人体运动是不断变化的，身体的每个部分都在特定的动态约束下运动。我们的方法可以通过运动块学习序列输入数据中的运动线索，从而引导对更合理连续姿态的估计，尤其是在遮挡情况下，仅根据当前帧的数据难以预测姿态，但可以通过相邻姿态进行推断。同时，在较高维语义空间中，相同关键点特征的表达应该相似，例如，在高级特征空间中，即使是不同帧的手也应该保持接近，而身体中心应该与肢体相距较远。我们在一致性块中考虑了连续帧中的特征一致性。图 3 显示了具有时间信息的姿态估计器的详细操作。首先，将 T 个连续帧的融合特征 $f_{fusion}^{t}, t \in T$ 馈入双向 GRU 跟踪器以提取时间特征。然后，紧随其后的 MLP 解码器用于预测 K 个关键点的三个不同属性，包括运动块中的运动图 $\hat{M}^{t} \in R^{K \times 2}$、姿态块中的 3D 位置（以 LiDAR 坐标系表示）$\hat{J}_{3D}^{t} \in R^{K \times 3}$ 以及一致性块中的高维特征 $\hat{J}_{f}^{t} \in R^{K \times C}$。运动图 $M^{t}$ 是通过计算每个关键点在当前帧和上一帧之间的位置差异，以图像像素坐标表示：$M^{t}=J_{2D}^{t}-J_{2D}^{t-1}$，运动预测由以下公式监督： $$ {\cal L}_{m o t i o n}=\frac{1}{K}\sum_{j=1}^{K}\left\|\hat{M}_{j}^{t}-M_{j}^{t}\right\|, $$ 从而使运动块可以使用动态约束来辅助更准确的姿态估计。一致性块通过两个额外的 MLP 层将 3D 关键点位置扩展到更高的空间，并计算时间一致性损失 $L_{consistency}$，以将每个关键点的特征 $\hat{J}_{f}^{t}$ 拉向其在多个帧中的平均特征 $J_{avg}^{t} = \frac{1}{T} \sum_{t=1}^{T} J_{f}^{t}$： $$ L_{c o n s i s t e n c y}=\frac{1}{K}\sum_{j=1}^{K}\left\|\hat{J}_{f_{j}}^{t}-J_{a v g f_{j}}^{t}\right\|. $$ 然后，特征 $J_f^t$ 与 ${\hat{J}'}_{3D}^t$ 拼接，得到最终的关键点 $\hat{J}_{3D}^t$，函数为 $\mathcal{F}$： $$ \hat{J}_{3D}^{t}=\mathcal{F}(J_{f}^{t},\hat{J^{\prime}}_{3D}^{t}). $$ ## 弱监督训练由于有大量的标注训练数据，2D 姿态估计在图像上取得了很大的进展。借助算法自动生成的 2D 姿态 $J_{2D}$，我们可以通过将它们投影到图像上，并根据变换矩阵 $\hat{J}_{3D}^{t}$ 来监督 $\mathcal{T}$。投影结果表示为 $\hat{J}_{2D}^{t} = \mathcal{T}(\hat{J}_{3D}^{t})$。投影损失定义如下： $$ {\cal L}_{p r o j}=\frac{1}{N}\sum_{i=1}^{N}\left\|\mathcal{T}(\hat{J}_{3D}^{t})-J_{2D}^{t}\right\|. $$ 此外，原始点云反映了人体真实的形状、尺度和姿势。准确估计的 3D 姿态应该与捕获的点云很好地匹配。我们采用 Chamfer Distance (CD) (Fan, Su, and Guibas 2017) 来衡量 3D 姿态与点云之间的相似度。 $$ \begin{align*}L_{CD}(P^{t},\hat{J}_{3D}^{t})=\frac{1}{\|P^{t}\|}\sum_{x\in P^{t}}\min_{y\in\hat{J}_{3D}^{t}}\|x-y\|_{2}^{2}\\+\frac{1}{\|\hat{J}_{3D}^{t}\|}\sum_{y\in\hat{J}^{t}}\min_{x\in P^{t}}\|y-x\|_{2}^{2},\end{align*} $$ 其中，$P^t$ 表示点云，x 和 y 表示点的 3D 坐标。由于 K 个关键点在数值和几何上无法与 N 个点进行比较，我们进一步对 $\hat{J}_3D^t$ 进行线性插值，并计算 CD_agu 损失 $L_{CD\_agu}(P^t, \hat{J}_{agu}^t)$，其中用 $J_{3D}$ 替换 $\hat{J}_{agu}^t$，公式为 $L_{CD}$，其中 $\hat{J}_{agu}^t$ 是增强的关键点。然后，我们的网络可以通过损失 L 在自监督和弱监督方式下进行训练，如下所示： $$ {\cal L}=\lambda_{1}{\cal L}_{m o t i o n}+\lambda_{2}{\cal L}_{c o n s i s t e n c y}+\lambda_{3}{\cal L}_{p r o j}+\lambda_{4}{\cal L}_{C D\_{a} g u}, $$ 其中，$\lambda$ 是超参数。 ## 实现细节我们使用 Pytorch 1.10.1 和 CUDA 11.3 实现我们的网络。点云分支使用模拟数据进行预训练，图像分支使用 HRNet (Wang et al. 2020b) 预训练的特征。批次大小为 8。K 设置为 21，如 (Cao et al. 2017) 所示，T 设置为 4，用于连续的输入帧。 ## 实验在本节中，我们首先介绍用于实验的所有数据集和评估指标，然后通过定性和定量的方法将我们的方法与当前的 SOTA 方法进行比较。我们还进行了广泛的消融研究，以全面评估 FusionPose 的不同模块。 ## 数据集 LiCamPose 是我们在长距离野外场景中收集的新型 3D-MPE 数据集，使用 128 束 OuSTER-1 LiDAR 和相机，总共有 8980 帧同步的多模态数据。地面真实数据由 Noitom Perception Neuron Studio (Noitom PN S) 采集。我们将数据分为一半用于训练集，一半用于测试集。此外，我们在相同设置下收集了额外的 38490 帧数据，但没有姿态标注。这些数据对于无监督方法进行预训练或通过可视化验证性能非常有用。LiCamPose 包含各种运动，包括行走、跑步、做 KEEP、球类运动、舞蹈和跆拳道，这些运动发生在不同的场景中。为了保护个人隐私，我们在发布的图像中进行了人脸模糊处理。 --- ![Image](images/83aa1a094167cc7a5ada71e7c24fd2501d3798dd26752a08d716cde8e43cfc26.jpg)

Figure 4: Visualization for local 3D pose results predicted by various methods on HybridCap, LiCamPose and 3DPW. We highlight some parts of estimated 3D poses by circles for detailed comparison.

Table 1: Comparison results on HybridCap, 3DPW, and LiCamPose. $*$ means fully supervised training mechanism.

	HybridCap				3DPW		LiCamPose
	Sensor	PCK $\uparrow$	MPJPE $\downarrow$	CD $\downarrow$	PCK $\uparrow$	MPJPE $\downarrow$	CD $\downarrow$	PCK $\uparrow$	MPJPE $\downarrow$	CD $\downarrow$
ROMP	Camera	45.3	187.9	-	53.9	160.6	-	53.2	159.9	-
HybrIK	Camera	75.8	113.4	-	80.2	107.1	-	73.0	109.2	-
LidarCap	LiDAR	86.5	88.1	21.2	70.7	119.2	28.6	75.8	119.9	26.8
Pseudo3DPE	LiDAR+Camera	70.7	130.8	28.1	73.5	116.4	17.6	68.9	124.3	19.9
FusionPose	LiDAR+Camera	95.9	75.3	17.4	83.5	97.7	13.8	79.7	106.8	21.7
FusionPose $^{*}$	LiDAR+Camera	95.3	75.9	17.3	91.3	79.2	27.5	93.9	75.8	19.5

对于无监督方法，这些数据有助于预训练模型或通过可视化验证性能。LiCamPose 包含各种运动，包括行走、跑步、做 KEEP、球类运动、舞蹈和跆拳道，这些运动发生在不同的场景中。为了保护个人隐私，我们在发布的图像中进行了人脸模糊处理。 STCrowd (Cong et al. 2022) 是一个大型行人感知数据集，具有同步的 LiDAR 点云和相机图像，但它没有提供 3D 关键点。 3DPW（Von Marcard 等人，2018）和 Hybridcap（Liang 等人，2022）提供了图像和标注的 SMPL 模型，可以直接获取 3D 姿态，但缺乏 LiDAR 点云数据。我们遵循 (Cong, Zhu, and Ma 2021) 的方法来模拟 LiDAR 点云数据。由于模拟的限制，我们选择 3DPW 中的有效数据进行实验。我们遵循数据集划分的官方协议，并将所有处理后的数据发布，以促进进一步的评估。 ground truth。因此，我们仅提供在此数据集上的可视化结果。 ## 评估指标由于 LiDAR 可以提供准确的深度信息，我们不比较深度估计，仅与其他方法比较局部姿态。对于评估指标，我们使用 1) PCK↑：正确关键点的百分比，即关键点与其地面真实值之间的归一化距离小于设定的阈值（150 毫米）的位置误差（以毫米为单位）；2) MPJPE↓：均值每个根关节位置误差（以毫米为单位）；3) CD↓：预测关键点和原始点云之间的 Chamfer 距离（以毫米为单位）。 ## 性能分析我们与其他三种基于 3D-MPE 的最先进方法进行比较，包括基于单目摄像头的 ROMP（Sun 等人，2021）和 HybrIK（Li 等人，2021），基于 LiDAR 的 Lidar ---

Table 2: Ablation experiment for different fusion methods.

	HybridCap			3DPW
	PCK $\uparrow$	MPJPE $\downarrow$	CD $\downarrow$	PCK $\uparrow$	MPJPE $\downarrow$	CD $\downarrow$
Point-RGB	78.1	112.6	21.36	73.6	110.7	15.39
PixelFusion	80.3	107.8	20.05	75.6	106.9	14.91
LocalFusion	74.7	118.2	22.85	75.3	108.7	15.96
GlobalFusion	71.1	126.4	26.57	78.6	104.0	15.71
IPAFusion	90.7	89.5	19.70	79.2	103.4	14.49

Cap（Li 等人，2022b），以及基于 LiDAR-相机多传感器系统的 Pseudo3DPE（Zhang 等人，2022b）。我们使用提供的参数运行它们发布的代码。Table 1 显示了在 HybridCap、3DPW 和 LiCamPose 上的结果。基于摄像头的模型在 MSCOCO、Human3.6M (Ionescu 等人，2013) 和 MPI-INF-3DHP (Mehta 等人，2017) 上以全监督方式进行预训练，然后直接推断这些数据集的测试数据。对于基于 LiDAR 的方法，LiDARCap，我们在具有 3D 标注的 LiDARCap 数据集上进行预训练，并使用我们的自监督损失函数进行微调，以显示结果。Pseudo3DPE 和我们的方法是仅使用 2D 姿态标注的弱监督方法。 Pseudo3DPE 使用将 3D 点投影到 2D 以寻找 2D 关键点附近的相邻点作为伪 3D 标签进行监督，标签质量受到低分辨率图像和准确校准的限制。与 Pseudo3DPE 相比，我们的方法获得了很大的改进，这说明了我们的特征融合方法和损失设计的效率和泛化能力。与仅使用摄像头或仅使用 LiDAR 的方法相比，即使没有经过监督的预训练阶段，我们的 FusionPose 具有更准确的姿态估计。可视化结果如图 4 所示。由于基于摄像头的模型在全局定位方面表现不佳，我们将 3D 姿态拖动到 LiDAR 提供的全局位置，以进行局部姿态比较。由于深度存在歧义，基于摄像头的模型在肢体的前后方向上的幅度表现不佳。而基于 LiDAR 的方法会受到点云噪声的影响，在某些情况下会生成粗糙的局部姿态。Pseudo3DPE 使用通过 2D 点投影得到的伪 3D 标签，这不够准确，并且容易受到校准误差的影响。我们的方法在局部姿态和深度估计方面都具有优越的性能。特别是，我们可以看到，我们的弱监督训练性能可与全监督训练相当，这进一步证明了 FusionPose 的有效性。我们在 Figure 1 中展示了我们在整个大型场景中的更多结果。 ## 消融研究在本节中，我们首先通过与其他融合方法进行比较来验证我们的传感器融合模块的有效性。然后，我们对我们方法中设计的每个损失函数进行消融研究。 Ablation Study for IPAFusion: 我们通过将我们的 IPAFusion 模型替换为其他融合方法，来展示其优越性。我们在 FusionPose 的基本网络上进行比较，该网络不包含额外的时序和上下文监督。 ![Image](images/4607897698e11fe7412c86394dff48cbd3c28e361bc779b50207c6d8088c4561.jpg)

Figure 5: Comparison of different fusion methods on HybridCap Dataset. The last column is the ground truth.

在感知领域，用于图像和点云的常用融合策略如下： Point-RGB 将 LiDAR 点的原始表示与根据校准矩阵的相应 RGB 颜色进行拼接。 PixelFusion 将 k 维图像特征向量作为每个 LiDAR 点的补充特征，通过投影。 LocalFusion 将 k 维图像特征向量连接到每个点的相应高维点特征。以上三种方法会得到一个增强的特征点云，然后将其传递给基于点云的回骨干网络，以进行进一步的特征提取。它们的性能对传感器校准敏感，而校准在户外环境中并不稳定。 GlobalFusion 直接连接全局图像特征和全局点云特征。这是一个完全的高级融合策略。这种方法缺乏两种模态数据的实际映射，这会降低学习过程，并且不适用于精细姿态任务。 IPAFusion 将点云的局部高维几何特征与图像的全局外观特征集成，并通过交叉注意力机制自动学习投影，该机制无需校准，并且可以保留更详细的特征。表 2 和图 5 均显示 IPAFusion 明显优于其他融合方法。我们通过表格 3 和图 6 对我们的方法的损失函数进行定量和定性验证。我们还在单图像输入的情况下进行了测试，在 LiCamPose 上获得了 76.1 的 PCK（全模型为 79.7）。通过优化具有几何约束的 CD_agu 损失以及通过动态约束引导的具有时序信息的模型，FusionPose 的性能得到了提高。 ## 更多分析遮挡分析：我们进一步通过随机遮挡人物的 60% 的 LiDAR 点云进行实验，我们的方法在 LiCamPose、HybridCap 和 3DPW 数据集上的 PCK 性能分别为 78.7、93.8 和 80.0（原始结果分别为 79.8、95.9 和 83.5），性能略有下降。但是，我们的自上而下方法肯定依赖于检测和跟踪的预处理结果。对于严重的外部遮挡，例如多人拥抱，检测和跟踪的失败将直接导致我们的方法失败。点云稀疏性分析：我们随机下采样 LiCamPose 中的点云，以获得不同的密度，结果如图 4 所示。随着点数减少，PCK 会略有下降。此外，我们将我们的数据集 LiCamPose 分为两个子集，根据距离 LiDAR 的远近，分别获得了 10-15 米范围内 PCK 76.0，以及 15-20 米范围内 PCK 73.7。这表明我们的方法在稀疏变化的场景中具有鲁棒性。对于我们使用的 LiDAR 传感器，当人物距离传感器 25 米时，人物上的点数约为 50，并且我们可以获得可观的结果。对于更高分辨率的 LiDAR 传感器，我们的方法可以工作在更远的距离。 ---

Table 3: Ablation experiment for different components of FusionPose on HybridCap. IPA is the original IPA Fusion baseline. CB and MB are consistency block and motion block, respectively, and CDA means CD_Agu optimization.

	PCK $\uparrow$	MPJPE $\downarrow$	CD $\downarrow$
IPA	90.7	89.5	19.7
IPA+CB	93.6	82.3	18.8
IPA+CB+MB	95.4	77.0	17.6
IPA+CB+MB+CDA	95.9	75.3	17.4

Table 4: Ablation study on different numbers of points on LiCamPose.

Points Number	256	128	64	32
PCK	79.3	76.7	73.6	71.5

点云稀疏性分析：我们随机下采样 LiCamPose 中的点云，以获得不同的密度，结果如图 4 所示。随着点数减少，PCK 会略有下降。此外，我们将我们的数据集 LiCamPose 分为两个子集，根据距离 LiDAR 的远近，分别获得了 10-15 米范围内 PCK 76.0，以及 15-20 米范围内 PCK 73.7。这表明我们的方法在稀疏变化的场景中具有鲁棒性。对于我们使用的 LiDAR 传感器，当人物距离传感器 25 米时，人物上的点数约为 50，并且我们可以获得可观的结果。对于更高分辨率的 LiDAR 传感器，我们的方法可以工作在更远的距离。 ## 鸣谢 ## 结论我们提出了一种基于单个 LiDAR 和单目相机的全新 3D-MPE 方法，用于处理大规模场景。为了充分利用图像的视觉特征和 LiDAR 点云的几何特征，我们提出了一种有效的传感器融合方法，以提取丰富且精细的局部姿态特征。特别是，我们的方法无需任何 3D 注解，而是利用运动线索和几何约束。大量的实验表明，我们的方法在新的收集数据集和开放数据集上都取得了最先进的性能。本工作得到了 NSFC（No.62206173, No.61976138）、国家重点研发计划（2018YFB2100500）、STCSM（2015F0203000-06）、SHMEC（2019-01-07-00-01-E00003）、上海市“五个一”创新引领人才支持计划（No.22YF1428700, No.21YF1429400）以及上海前沿科学中心（ShangHAI）的资助。 ![Image](images/47ae580ecd0fe903a9fa7a2c560059399e26c872cd37c44b7aa3f91c7ec65f72.jpg)

Figure 6: Ablation results of FusionPose components on STCrowd. w/o CD_agu represents eliminating the CD_agu loss and w/o t represents eliminating temporal supervision (motion loss and consistency loss).

## 参考文献 Arnab, A.；Doersch, C.；Zisserman, A. 2019。《利用时间上下文进行野外来3D人体姿态估计》。收录于CVPR，3395–3404。 Bai, X.; Hu, Z.; Zhu, X.; Huang, Q.; Chen, Y.; Fu, H.; and Tai, C.-L. 2022. Transfusion: Robust lidar-camera fusion for 3d object detection with transformers. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 1090–1099. Cao, Z.；Simon, T.；Wei, S.-E.；Sheikh, Y. 2017。《基于部件亲和场的实时多人2D姿态估计》。收录于CVPR，7291–7299。 Chen, C.-H.；Tyagi, A.；Agrawal, A.；Drover, D.；Mv, R.；Stojanov, S.；Rehg, J. M. 2019。《基于几何自监督的无监督3D姿态估计》。收录于CVPR，5714–5724。 Chen, X.；Ma, H.；Wan, J.；Li, B.；Xia, T. 2017。《面向自动驾驶的多视角3D目标检测网络》。6526–6534。 Cheng, Y.；Yang, B.；Wang, B.；Tan, R. T. 2020。《结合显式遮挡训练的时空网络3D人体姿态估计》。收录于AAAI人工智能大会论文集，第34卷，10631–10638。 Cong, P.; Zhu, X.; and Ma, Y. 2021. Input-output balanced framework for long-tailed lidar semantic segmentation. In 2021 IEEE International Conference on Multimedia and Expo (ICME), 1–6. IEEE. Cong, P.；Zhu, X.；Qiao, F.；Ren, Y.；Peng, X.；Hou, Y.；Xu, L.；Yang, R.；Manocha, D.；Ma, Y. 2022。STCrowd：一个面向拥挤场景行人感知的多模态数据集。收录于CVPR，19608–19617。 Dong, J.; Jiang, W.; Huang, Q.; Bao, H.; and Zhou, X. 2019. Fast and robust multi-person 3d pose estimation from multiple views. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 7792–7801. Fan, H.；Su, H.；Guibas, L. J. 2017。《面向单图像3D物体重建的点集生成网络》。收录于CVPR。 Fürst, M.; Gupta, S. T.; Schuster, R.; Wasenmüller, O.; and Stricker, D. 2021. HPERL: 3d human pose estimation from RGB and lidar. In 2020 25th International Conference on Pattern Recognition (ICPR), 7321–7327. IEEE. Han, X.; Cong, P.; Xu, L.; Wang, J.; Yu, J.; and Ma, Y. 2022. LiCamGait: Gait Recognition in the Wild by Using LiDAR and Camera Multi-modal Visual Sensors. arXiv preprint arXiv:2211.12371. Ionescu, C.; Papava, D.; Olaru, V.; and Sminchisescu, C. 2013. Human3.6m: Large scale datasets and predictive methods for 3d human sensing in natural environments. IEEE transactions on pattern analysis and machine intelligence, 36(7): 1325–1339. Kocabas, M.; Karagoz, S.; 和 Akbas, E. 2019. 基于多视角几何的 3D 人体姿态自监督学习。发表于 IEEE/CVF 计算机视觉和模式识别会议论文集，1077–1086 页。 --- Ku, J.; Mozifian, M.; Lee, J.; Harakeh, A.; 和 Waslander, S. L. 2018. 通过视角聚合进行联合 3D 提议生成和目标检测。发表于 IROS 会议论文集，1–8 页。IEEE。 Li, J.; Xu, C.; Chen, Z.; Bian, S.; Yang, L.; 和 Lu, C. 2021. Hybrik：一种用于 3D 人体姿态和形状估计的混合分析-神经反向运动学解决方案。发表于 CVPR 会议论文集，3383–3393 页。 Li, J.; Zhang, J.; Wang, Z.; Shen, S.; Wen, C.; Ma, Y.; Xu, L.; Yu, J.; 和 Wang, C. 2022a. LiDAR Cap：基于 LiDAR 点云的、无需标记的长距离 3D 人体运动捕捉。arXiv 预印本，abs/2203.14698。 Li, J.; Zhang, J.; Wang, Z.; Shen, S.; Wen, C.; Ma, Y.; Xu, L.; Yu, J.; 和 Wang, C. 2022b. LiDAR Cap：基于 LiDAR 点云的、无需标记的长距离 3D 人体运动捕捉。发表于 IEEE/CVF 计算机视觉和模式识别会议论文集，20502–20512 页。 Li, Y.; Yu, A. W.; Meng, T.; Caine, B.; Ngiam, J.; Peng, D.; Shen, J.; Lu, Y.; Zhou, D.; Le, Q. V.; 等。2022c. Deepfusion：用于多模态 3D 目标检测的 LiDAR-相机深度融合。发表于 IEEE/CVF 计算机视觉和模式识别会议论文集，17182–17191 页。 Liang, H.; He, Y.; Zhao, C.; Li, M.; Wang, J.; Yu, J.; 和 Xu, L. 2022. HybridCap：惯性辅助单目捕捉具有挑战性的人体运动。arXiv 预印本 arXiv:2203.09287。 Liang, M.; Yang, B.; Wang, S.; 和 Urtasun, R. 2018. 用于多传感器 3D 目标检测的深度连续融合。发表于 ECCV 会议论文集，641–656 页。 Liu, Z.; Tang, H.; Amini, A.; Yang, X.; Mao, H.; Rus, D.; 和 Han, S. 2022. BEVFusion：使用统一鸟瞰图表示的多任务多传感器融合。arXiv 预印本 arXiv:2205.13542。 Loper, M.; Mahmood, N.; Romero, J.; Pons-Moll, G.; 和 Black, M. J. 2015. SMPL：一个带骨骼的、多人线性模型。TOG，34(6)：1–16 页。 Mallot, H. A.; Bülthoff, H. H.; Little, J.; 和 Bohrer, S. 1991. 反向透视映射简化光学流计算和障碍物检测。生物网络，64(3)：177–185 页。 Martinez, J.; Hossain, R.; Romero, J.; 和 Little, J. J. 2017. 3D 人体姿态估计的简单而有效的基线。发表于 ICCV 会议论文集，2640–2649 页。 Mehta, D.; Rhodin, H.; Casas, D.; Fua, P.; Sotnychenko, O.; Xu, W.; 和 Theobalt, C. 2017. 使用改进的 CNN 监督的单目 3D 人体姿态估计。发表于 2017 年国际 3D 视觉会议 (3DV)，506–516 页。IEEE。 Mehta, D.; Sotnychenko, O.; 和其他作者。2018. 单次多人 3D 姿态估计来自单张 RGB 图像。发表于 2018 年国际 3D 视觉会议 (3DV)，120–130 页。IEEE。 Mehta, D.; Sotnychenko, O.; Mueller, F.; Xu, W.; Elgharib, M.; Fua, P.; Seidel, H.-P.; Rhodin, H.; Pons-Moll, G.; 和 Theobalt, C. 2020. XNect：使用单个 RGB 相机实现实时多人 3D 运动捕捉。TOG，39(4)：82–1 页。 Mehta, D.; Sridhar, S.; 和其他作者。2017. Vnect：使用单个 RGB 相机实现实时 3D 人体姿态估计。TOG，36(4)：1–14 页。 Moon, G.; Chang, J. Y.; 和 Lee, K. M. 2019. 基于单张 RGB 图像的 3D 多人姿态估计，考虑相机距离。发表于 ICCV 会议论文集，10133–10142 页。 Pavlakos, G.; Zhou, X.; Derpanis, K. G.; and Daniilidis, K. 2017. 用于单图像3D人体姿态估计的粗到精的体素预测。在CVPR中，7025–7034。 Piergiovanni, A.; Casser, V.; Ryoo, M. S.; and Angelova, A. 2021. 用于学习多模态对齐的4D-Net。在计算机视觉国际会议论文集 (IEEE/CVF) 中，15435–15445。 Prakash, A.; Chitta, K.; and Geiger, A. 2021. 用于端到端自动驾驶的多模态融合Transformer。在计算机视觉和模式识别会议论文集 (IEEE/CVF) 中，7077–7087。 Qi, C. R.; Su, H.; Mo, K.; and Guibas, L. J. 2017. Pointnet：用于3D分类和分割的深度学习点集。在CVPR中，652–660。 Rhodin, H.; Salzmann, M.; and Fua, P. 2018. 用于3D人体姿态估计的无监督几何感知表示。在计算机视觉欧洲会议论文集中 (ECCV)，750–767。 Rogez, G.; Weinzaepfel, P.; and Schmid, C. 2019. Lcrnet++：用于自然图像的多人2D和3D姿态检测。 TPAMI, 42(5): 1146–1161。 Sun, Y.; Bao, Q.; Liu, W.; Fu, Y.; Black, M. J.; and Mei, T. 2021. 单目、单阶段、回归多个3D人体。在ICCV中，11179–11188。 Sun, Y.; Liu, W.; Bao, Q.; Fu, Y.; Mei, T.; and Black, M. J. 2022. 将人体放置在正确的位置：单目深度回归3D人体。在CVPR中，13243–13252。 Tome, D.; Russell, C.; and Agapito, L. 2017. 从深度中提取：用于单图像3D人体姿态估计的卷积3D姿态。在CVPR中，2500–2509。 Vaswani, A.; Shazeer, N.; Parmar, N.; Uszkoreit, J.; Jones, L.; Gomez, A. N.; Kaiser, L.; and Polosukhin, I. 2017. 关注就是你所需要的。神经信息处理系统中的进展，30。 Véges, M.; and Lörincz, A. 2019. 使用深度预测网络进行绝对人体姿态估计。在IJCNN中，1–7。 IEEE。 Von Marcard, T.; Henschel, R.; Black, M. J.; Rosenhahn, B.; and Pons-Moll, G. 2018. 使用IMU和移动相机在野外恢复准确的3D人体姿态。在计算机视觉欧洲会议论文集中 (ECCV)，601–617。 Vora, S.; Lang, A. H.; Helou, B.; and Beijbom, O. 2020. Pointpainting：用于3D对象检测的序列融合。在计算机视觉和模式识别会议论文集 (IEEE/CVF) 中，4604–4612。 Wandt, B.; Rudolph, M.; Zell, P.; Rhodin, H.; and Rosenhahn, B. 2021. Canonpose：在野外进行单目3D人体姿态估计的自监督学习。在CVPR中，13294–13304。 --- Wang, C.; Li, J.; Liu, W.; Qian, C.; and Lu, C. 2020a. Hmor：用于单目多人3D人体姿态估计的分层多个人关系。在ECCV中，242–259。 Springer。 Wang, C.; Ma, C.; Zhu, M.; and Yang, X. 2021. Pointaugmenting：用于3D对象检测的跨模态增强。在计算机视觉和模式识别会议论文集 (IEEE/CVF) 中，11794–11803。 Wang, J.; Sun, K.; Cheng, T.; Jiang, B.; Deng, C.; Zhao, Y.; Liu, D.; Mu, Y.; Tan, M.; Wang, X.; et al. 2020b. 用于视觉识别的深度高分辨率表示学习。 TPAMI, 43(10): 3349–3364。 Yin, T.; Zhou, X.; and Krähenbühl, P. 2021. 基于中心的3D对象检测和跟踪。 CVPR。 Ying, J.; and Zhao, X. 2021. 基于RGB-D融合的3D人体姿态估计。在2021年国际图像处理会议 (ICIP) 中，3108–3112。 IEEE。 Yu, Z.; Wang, J.; Xu, J.; Ni, B.; Zhao, C.; Wang, M.; 和 Zhang, W. 2021. Skeleton2Mesh: 基于运动学先验的无监督人体网格重建。发表于 ICCV，8619–8629. Zhang, J.; Cai, Y.; Yan, S.; Feng, J.; 等。2021. 直接多视角多人体三维姿态估计。Advances in Neural Information Processing Systems, 34: 13153–13164. Zhang, J.; Tu, Z.; Yang, J.; Chen, Y.; 和 Yuan, J. 2022a. MixSTE: 用于视频中三维人体姿态估计的序列到序列混合时空编码器。发表于 IEEE/CVF 计算机视觉和模式识别会议论文集，13232–13242. Zhang, J.; Wang, J.; Shi, Y.; Gao, F.; Xu, L.; 和 Yu, J. 2022b. 互适应推理：用于单目三维多人体姿态估计。arXiv 预印本 arXiv:2207.07900. Zhao, C.; Ren, Y.; He, Y.; Cong, P.; Liang, H.; Yu, J.; Xu, L.; 和 Ma, Y. 2022. LiDAR 辅助惯性姿态估计：通过稀疏惯性和 LiDAR 传感器进行大规模人体运动捕捉。ArXiv, abs/2205.15410. Zhen, J.; Fang, Q.; Sun, J.; Liu, W.; Jiang, W.; Bao, H.; 和 Zhou, X. 2020. Smap: 单次多人体绝对三维姿态估计。发表于 ECCV，550–566. Springer. Zheng, C.; Zhu, S.; Mendieta, M.; Yang, T.; Chen, C.; 和 Ding, Z. 2021. 使用空间和时间转换器进行三维人体姿态估计。发表于 IEEE/CVF 国际计算机视觉会议论文集，11656–11665. Zheng, J.; Shi, X.; Gorban, A.; Mao, J.; Song, Y.; Qi, C. R.; Liu, T.; Chari, V.; Cornman, A.; Zhou, Y.; 等。2022. 使用 2D 弱监督的多模态 3D 人体姿态估计在自动驾驶中的应用。发表于 IEEE/CVF 计算机视觉和模式识别会议论文集，4478–4487. Zhu, X.; Ma, Y.; Wang, T.; Xu, Y.; Shi, J.; 和 Lin, D. 2020. SSN: 用于多类对象检测的点云形状签名网络。ECCV. Zhu, X.; Zhou, H.; Wang, T.; Hong, F.; Li, W.; Ma, Y.; Li, H.; Yang, R.; 和 Lin, D. 2021. 基于 LiDAR 的感知中的圆柱形和不对称 3D 卷积网络。TPAMI. Zimmermann, C.; Welschehold, T.; Dornhege, C.; Burgard, W.; 和 Brox, T. 2018. 用于机器人任务学习的 RGBD 图像中的 3D 人体姿态估计。发表于 ICRA，1986–1992. IEEE.