# LiDARCap：基于激光雷达点云的远距离无标记三维人体动作捕捉
李佳连 $^{1,*}$, 张静怡 $^{1,*}$, 王志勇 $^{1}$, 沈思琪 $^{1}$, 温程璐 $^{1}$, 马跃鑫 $^{2}$
徐澜 $^{2}$, 虞晶怡 $^{2}$, 王成 $^{1,\dagger}$
$^{1}$厦门大学福建省智慧城市传感与计算重点实验室
$^{2}$上海科技大学上海市智能视觉与成像工程技术研究中心
{szlj136, zhangjingyi1, wangzy}@stu.xmu.edu.cn, {siqishen,clwen,cwang}@xmu.edu.cn, {mayuexin,xulan1,yujingyi}@shangtaitech.edu.cn
LiDARCap：基于激光雷达的无标记动作捕捉
Figure 1. Overview: The proposed LiDAR Human26M benchmark dataset consists of synchronous LiDAR point clouds, RGB images, and ground-truth 3D human motions obtained from professional IMU devices, covering diverse motions and a large capture distance ranging. Based on LiDAR Human26M, we propose LiDAR Cap, a strong baseline motion capture approach on LiDAR point clouds, which achieves promising results as shown on the right end.
## 摘要
现有的动作捕捉数据集大多为短距离采集，无法满足远距离应用的需求。我们提出了LiDAR Human26M，这是一个由激光雷达采集的全新人体动作捕捉数据集，覆盖远更大的测距范围，克服了现有数据集的局限。我们的数据集还包含由IMU系统获取的人体运动真值，以及同步的RGB图像。我们进一步提出了用于激光雷达点云人体动作捕捉的强基准方法LiDARCap。具体来说，我们首先利用PointNet++对点特征进行编码，随后结合逆运动学求解器和SMPL优化器，通过分层聚合时序编码特征回归得到人体姿态。定量与定性实验均表明，我们的方法性能优于仅基于RGB图像的相关技术。消融实验证明，我们的数据集具有挑战性，值得进一步研究。最后，在KITTI数据集和Waymo开放数据集上的实验表明，我们的方法可以推广到
不同的激光雷达传感器设置。
### 1. 引言
近十年来，无标记人体动作捕捉技术发展迅速 [^9] [^18] [^48] [^60]，已在VR/AR、互动娱乐等诸多领域得到应用。然而，在大空间中便捷采集远距离三维人体运动目前仍颇具挑战，而这一能力对于体育运动和人类行为分析至关重要。
目前，基于视觉的动作捕捉方案占据了该领域的主流。高端方案需要密集光学标记 [^55] [^72] 或密集相机阵列 [^8] [^25] [^26] [^48] 才能实现高保真动作捕捉，无法适配消费级使用场景。相比之下，单目捕捉方法更实用也更受关注。近年来基于学习的技术借助预扫描的人体模板 [^16] [^17] [^19] [^62] [^64] 或参数化人体模型 [^5] [^27] [^31] [^32] [^36] [^37] [^39]，已经能够从单路RGB流中实现鲁棒的人体动作捕捉。但在远距离捕捉场景中，表演者距离相机较远，拍摄到的图像会出现质量下降、模糊伪影等问题，导致动作捕获结果不稳定。Vari
---
已有多种方法[^65] [^66]尝试在这类退化的低分辨率图像条件下捕获三维人体运动。但此类方法在远距离场景下仍难以稳定捕获全局位置，在处理无纹理衣物或环境光照变化时该问题尤为突出。相比之下，使用惯性测量单元（IMU）这类穿戴式传感器的运动捕获方法[^22] [^43] [^69]因其不受环境影响的特性得到广泛应用。然而，对穿戴式传感器的要求使得这类方法不适用于捕获穿着日常服装的人员的运动。此外，基于IMU的方法会存在累积全局漂移误差，在远距离场景下该问题尤为明显。那些使用消费级RGBD传感器的运动捕获方法[^11] [^15] [^49] [^61]同样无法应用于大场景下的远距离捕获，这是因为RGBD相机的有效测距相对较短（小于5米）。
本文针对上述问题，提出使用消费级LiDAR解决这些问题。LiDAR传感器能够提供大尺度场景的精确深度信息，且有效测距范围大（最远可达30米）。这些特性使得该方案有望在常规光照条件的远距离场景下捕获人体运动，且不会出现视觉传感器特有的图像退化伪影。尽管如此，使用单个LiDAR捕获远距离三维人体运动仍存在诸多挑战。首先，在远距离场景下，目标表演者对应的有效观测点云稀疏且噪声大，难以实现鲁棒的运动捕获。其次，尽管LiDAR已在三维建模领域得到广泛应用，现有大多数研究[^20] [^33] [^40] [^46] [^52] [^74]都聚焦于场景理解与三维感知。目前缺少带有准确三维人体运动标注的大规模LiDAR数据集，制约了基于LiDAR的数据驱动运动捕获流程的可行性。
为解决这些挑战，我们提出了LiDARCap——如图1所示，这是首个使用单个LiDAR传感器的无标记、远距离数据驱动运动捕获方法。具体来说，我们首先针对基于LiDAR的人体运动捕获任务推出了一个大规模基准数据集LiDARHuman26M。我们的数据集包含多种模态数据，包括同步LiDAR点云、RGB图像，以及从专业基于IMU的动作捕获设备得到的真值三维人体运动[^41]。数据集涵盖20种日常动作、13名表演者，共18.4万帧捕获数据，总计约2600万个观测表演者的有效三维点，捕获距离范围为12米到28米，覆盖范围大。值得注意的是，LiDARHuman26M数据集是首个此类数据集，它开辟了远距离场景下基于LiDAR的数据驱动人体运动捕获这一研究方向。我们数据集的多模态特性也为多模态人类行为分析等未来研究方向带来了巨大潜力。其次，基于我们全新构建的LiDARHuman26M数据集，我们提出了LiDARCap，这是一个针对LiDAR点云的强基线运动捕获方法。最后，我们利用该数据集对LiDARCap的各个阶段以及现有最先进的基于图像的基线方法进行了全面评估。评估结果凸显了在远距离场景下，基于LiDAR的方法相对基于图像的方法的优势。我们也给出了初步结果，表明基于LiDAR的远距离运动捕获仍是一个充满挑战性的问题，有待未来对这一新研究方向开展进一步探索。综上，本文的主要贡献包括：
- 我们提出了首个基于数据驱动、单目LiDAR的无标记长距离3D人体动作捕捉方法。
- 我们提出了一个三阶段流水线，由时间编码器、逆运动学求解器和SMPL优化器组成，以提升姿态估计性能。
- 我们提供了首个面向LiDAR动作捕捉的大规模基准数据集，具备丰富模态和真值标注。该数据集将向公众公开。
### 2. 相关工作
现有姿态估计数据集。近年来，深度网络在从图像或视频推理3D人体姿态方面取得了出色成果，研究方向与数据集设计紧密绑定。PennAction [^71] 和 PoseTrack [^1] 是仅有的带真值标注的2D视频数据集，而InstaVariety [^28] 和 Kinetics-400 [^6] 是通过2D关键点检测器标注得到的伪真值数据集。SURREAL [^54] 是一个大规模数据集，包含从3D人体动作捕捉序列渲染得到的人工生成但效果逼真的人体图像。这些数据集都不包含3D姿态真值标注。
Human3.6M [^23] 数据集是常用的姿态估计基准数据集，在受控室内环境中采集得到。它包含15类活动的360万个3D人体姿态，3D真值通过基于标记的动作捕捉系统采集。该数据集的目标是预测SMPL [^2] 定义的人体32个关节的3D位置。HumanEva [^47] 同样仅局限于静态背景的室内场景，提供了与动作捕捉同步的视频。MPI-INF-3DHP [^38] 是一个多视角数据集，在绿幕工作室中通过无标记动作捕捉系统采集，记录了8名演员完成8类活动的14个相机视角数据。同时，该数据集采用前景和背景增强来解决数据稀缺、外观变化有限的问题。另一个包含同步视频、基于标记的真值姿态和IMU数据的室内数据集名为TotalCapture [^53]，标注了1.9M
---
帧。然而，这些数据集全部采集于室内区域，数据多样性有限。
3DPW [^57] 是一个野外场景3D数据集，通过IMU传感器和手持相机采集SMPL人体姿态。它包含60段视频序列，涵盖多种室内外活动，由7名演员、18种着装完成，但3DPW仅提供图像，不包含深度信息。PedX [^29] 在大规模户外场景采集了多模态行人数据，然而它仅提供通过双目图像对的2D标注和LiDAR点云计算得到的3D伪标签。基于上述讨论和实际应用需求，目前迫切需要构建一个同时包含深度信息和精准3D姿态真值的数据集。
点云序列处理方法。基于学习的方法通常在处理点云时，会考虑点云沿时间序列的时空关系。Choy等人[^7]提出了用于时空感知的四维卷积神经网络，能够利用高维卷积直接处理三维视频。Huang等人[^21]提出了一种时空表示学习框架，能够以自监督的方式从无标注三维点云中学习特征。LaticeNet [^45]将原始点云嵌入到稀疏排列多面体格中。Wang等人[^59]提出了一种自监督方案，通过预测采样打乱后的点云片段的时间顺序，从动态点云中学习四维时空特征。P4Transformer [^12]提出了点4D Transformer对原始点云视频建模，该模型由点四维卷积和Transformer组成。PSTNet [^13]提出了点时空卷积，用于获取点云序列的信息丰富表征。Wang等人[^58]提出了基于锚点的时空注意力三维卷积运算，用于处理动态三维点云序列。
姿态估计方法。作为广泛使用的基于标记方案[^4] [^51] [^56]的替代方案，无标记运动捕捉[^3] [^10]技术免除了对身体穿戴标记的要求，目前已得到广泛研究。EventCap [^63]结合了基于模型的优化和基于CNN的人体姿态检测，能够捕捉高频运动细节并减少跟踪过程中的漂移。Li等人[^34]提出了一种可从单目视频中以实时速度实现体积性能捕捉和新视角渲染的方法，无需昂贵的多视图系统或繁琐的个性化模板模型预采集。RobustFusion [^49]提出了一种人体性能捕捉系统，使用单个RGBD相机结合多种数据驱动视觉线索完成任务。TailorNet [^42]提出了一个神经模型，将三维服装变形预测为三个因素的函数：姿态、形状和风格（服装几何形状），同时保留褶皱细节。Zanfir等人[^70]提出了一种深度神经网络，可从RGB图像中重建人物的三维姿态和形状，包括手势和面部表情。给定单张图像和/或单次激光雷达扫描作为输入，S3 [^68]可联合推断形状、骨架和蒙皮信息。但这类方法主要聚焦于融合图像与点云进行人体建模，且大多依赖由短距离步行、跑步等行人行为组成的合成数据集。
### 3. 研究方法
#### 3.1. 预备知识
无标记三维运动捕捉在远距离场景下，现有方法仍面临较大挑战。由于二维相机不具备深度信息，基于图像的方法存在人体关节位置的固有歧义，而深度相机仅能在近距场景下工作。LiDAR传感器兼具工作距离远、深度维度区分度好的优势。本文首先构建了包含远距离人体运动场景LiDAR点云的人体运动数据集，并配套同步IMU采集的运动真值。我们的第二个目标是建立一个端到端模型，可从LiDAR点云推断出最优参数化人体模型。我们使用蒙皮多人线性模型（Skinned Multi-Person Linear Model, SMPL） [^2] 紧凑地表示人体的姿态与形状。SMPL模型包含与人体运动相关的姿态参数$\boldsymbol{\theta} \in \mathbb{R}^{72}$和形状参数$\boldsymbol{\beta} \in \mathbb{R}^{10}$：姿态参数定义为23个关节相对于父关节的相对旋转，加上根关节的全身整体旋转；形状参数控制身高、体重和肢体比例。当需要确定人体位置时，会使用平移参数$\mathbf{t} \in \mathbb{R}^{3}$。SMPL模型基于姿态和形状参数对包含6890个顶点的模板三角网格进行形变，该过程可表示为$\mathbf{V} = \mathcal{M}(\boldsymbol{\theta}, \boldsymbol{\beta})$。
#### 3.2. 数据集：LiDAR Human26M
远距离运动捕捉在多种应用中具备巨大潜力，例如沉浸式VR/AR体验和动作质量评估。本文提出了首个基于LiDAR的远距离运动捕捉数据集LiDARHuman26M。
数据采集。我们分别在两种场景中采集数据，如图2所示。第一个场景是露台，支持远距离人体捕捉。第二个场景是两栋建筑之间的开阔空间，支持更大的采集俯仰角，可避免自遮挡。采集设备的搭建细节如Tab. 1所示。
我们招募了13名志愿者（其中11名男性、2名女性）参与数据采集，所有志愿者均已签署知情同意书。每位志愿者的采集时长在15至30分钟不等。距离分布展示于
---
| Scene | Range | Height |
| The scene 1 | 12-28m | 5m |
| The scene 2 | 14-24m | 7m |
Table 1. The setup details of equipment used in two scenes.
| Dist(m) | 11-13 | 14-16 | 17-19 | 20-22 | 23-25 | 26-28 |
| Ratio(%) | 0.7 | 31.4 | 47.2 | 17.4 | 2.4 | 0.9 |
Table 2. Distance distribution in the dataset.
| Dataset | Frames | Data Source | Long-range? | IMU? | Video? | Real? | Scene |
| Human3.6M [^23] | 3.6M | Image | N | Y | Y | Y | Indoor |
| HumanEva [^47] | 80.0K | Image | N | Y | N | Y | Indoor |
| 3DPW [^57] | 51.0K | Image | N | Y | Y | Y | Outdoor |
| SURREAL [^54] | 6.5M | Image | N | N | Y | N | Indoor |
| PedX [^29] | 10.1K | Point Cloud | Y | N | Y | Y | Outdoor |
| LiDARHuman26M | 184.0K | Point Cloud | Y | Y | Y | Y | Outdoor |
Table 3. Statistics and characteristics of related datasets.
Figure 2. Two scenes for data acquisition.
Tab. 2 综上，LiDAR Human26M共提供184048帧数据、26414383个点，包含20种日常动作（包括行走、游泳、跑步、打电话、鞠躬等）。数据集涵盖三种模态：同步LiDAR点云、RGB图像，以及来自专业IMU动作捕捉设备的真值三维人体运动。我们对数据进行了预处理，去除了背景并消除了IMU的定位误差，详细内容见补充材料。
数据特征。Tab. 3给出了本数据集与其他公开三维人体姿态数据集的统计对比。我们的LiDAR Human26M数据集具备以下特点：第一，本数据集包含大量远距离（最远可达28米）人体动作，而图像数据集通常捕获距离有限。尽管3DPW在这一方面有一定改进，但大多数标注数据仍聚焦于近处人物。第二，本数据集涵盖多达20种日常动作，而HumanEva仅包含6种动作，PedX主要聚焦于行走。第三，本数据集涵盖三种不同模态，包括点云、RGB视频和IMU提供的动作捕捉真值。现有基于图像的数据集不提供深度信息，而深度信息是远距离运动捕捉的核心要素。SURREAL将三维SMPL网格投影到图像上，渲染得到的图像并不真实。PedX结合二维标签对LiDAR点进行优化，得到三维运动的伪标签。
挑战。LiDAR Human26M的长距离特性会导致点云稀疏。如图3所示，同一个人身上的点数量差异极大，范围从30个点到450个点不等。此外，这种稀疏性具体表现为
Distances from LiDAR
Figure 3. Different human poses with the distance to LiDAR increasing.
全身稀疏和部分缺失。当人体距离激光雷达更远时，落在身体上的点会大幅减少，导致描述动作的信息不足。在低分辨率下，两种不同动作可能具有相似的点云分布。例如，在12米距离采集时，人头相对于身体的朝向清晰可辨，数据能保证采集到的动作和粗略轮廓之间匹配良好。在24米和27米的采集距离下，人头上仅存在1到2个点，不足以确定头部朝向。同时，随着距离增加，身体会不可避免地出现更多部位缺失。例如，在27米距离采集时，手臂会发生缺失，导致丢失肘部旋转信息。造成这一问题的可能原因是身体遮挡，或是采集距离过远导致点云过于稀疏。
#### 3.3. 基线方法：LiDAR Cap
我们提出了LiDARCap（如图4所示），这是一种使用激光雷达点云的无标记、长距离数据驱动三维人体运动捕捉方法。LiDAR Cap在LiDAR Human26M数据集上训练，以单目激光雷达传感器获取的点云序列作为输入，输出三维人体运动序列。
预处理。给定包含T帧的输入激光雷达点云序列 $\mathcal{P} = \{\mathbf{P}^{(t)} | t = 1...T\}$，每帧包含任意数量的点 $\mathbf{P}^{(t)} = \{\mathbf{p}_i^{(t)} | i = 1...n_t\}$。我们通过采样或重复将点数固定为512，完成统一下采样操作。
时间编码器。在这一步骤中，我们采用PointNet++ [^44]作为骨干网络，为每个点云帧 $f^{(t)}$提取1024维的全局描述子 $\mathbf{P}^{(t)}$。
此外，为了融合时序信息，逐帧特征 $\mathbf{f}^{(t)}$ 被输入双向GRU（bi-GRU）以生成隐变量 $\mathbf{g}^{(t)}$。在该模块的最后一步，我们将 $\mathbf{g}^{(t)}$ 作为MLP解码器的输入，预测对应的关节位置 $\hat{\mathbf{J}}^{(t)} \in \mathbb{R}^{24 \times 3}$。此处，时序编码器的损失 $\mathcal{L}_{\mathcal{J}}$ 定义为：
$$ \mathcal{L}_{\mathcal{J}}=\sum_{t}\|\mathbf{J}_{G T}^{(t)}-\hat{\mathbf{J}}^{(t)}\|_{2}^{2} $$
---
Figure 4. The pipeline of our method with a point cloud sequence as the input consists of a temporal encoder, an inverse kinematic solver, and an SMPL optimizer. T represents the length of the sequence, and N represents the number of points.
其中 $\mathbf{J}_{GT}^{(t)}$ 是第t帧关节位置的真值。
逆运动学求解器。本文采用ST-GCN [^67]作为骨干网络，以图结构方式提取预测关节的特征。我们将逐帧全局特征与每个关节拼接，生成完整的关节特征 $\mathbf{Q}^{(t)} \in \mathbb{R}^{24 \times (3+1024)}$ 作为图节点。ST-GCN的输出随后被输入回归器计算关节旋转 $\mathbf{R}_{6D}^{(t)} \in \mathbb{R}^{24 \times 6}$。计算损失时，6维旋转被映射为最终的轴角格式。正如[^73]所证明的，我们选择6维旋转表示作为中间结果是因为它具有更好的连续性。
该模块的损失函数 $\mathcal{L}_{\Theta}$ 定义为：
$$ \mathcal{L}_{\Theta}=\sum_{t}\|\boldsymbol{\theta}_{G T}^{(t)}-\hat{\boldsymbol{\theta}}^{(t)}\|_{2}^{2} $$
其中 $\theta_{GT}^{(t)}$ 是第t帧姿态参数的真值。
SMPL优化器。我们在最后阶段加入了一个SMPL优化器模块，以进一步提升对$\boldsymbol{\theta}$的回归精度。将关节旋转参数输入现成的SMPL模型，即可得到SMPL网格上的24个关节。该模块再次使用预测关节与真实关节之间的$\mathcal{L}_{2}$损失，来提高最后阶段回归得到的$\boldsymbol{\theta}$的精度。唯一的区别在于，第一阶段的关节是通过基于MLP的解码器直接回归得到的，而此处的关节是在由$\boldsymbol{\theta}$确定的参数化网格顶点上采样得到的。
该模块的损失函数$\mathcal{L}_{\mathcal{J}_{SMPL}}$定义如下：
$$ \mathcal{L}_{\mathcal{J}_{S M P L}}=\sum_{t}\|\mathbf{J}_{G T}^{(t)}-\hat{\mathbf{J}}_{S M P L}^{(t)}\|_{2}^{2} $$
其中$\mathbf{J}_{SMPL}^{(t)}$是从由姿态参数$\hat{\boldsymbol{\theta}}^{(t)}$参数化的SMPL网格中采样得到的关节位置。
这一步以符合几何直观的方式为$\theta$的回归提供了更强的约束。我们开展了消融实验来验证该模块的必要性，更多细节参见第4.2节。
综上所述，我们的整个流程可以通过端到端优化如下定义的联合损失函数$\mathcal{L}$完成训练：
$$ \mathcal{L}=\mathcal{L}_{\mathcal{J}}+\mathcal{L}_{\Theta}+\mathcal{L}_{\mathcal{I}_{S M P L}} $$
训练细节。我们使用Adam优化器[^30]将本文方法训练200个epoch，为GRU层和ST-GCN模块设置的dropout比率为0.5。除解码器前的最终输出层外，我们在每个卷积层之后都添加了批量归一化层。训练过程使用单张NVIDIA GeForce RTX 3090显卡。批量大小设置为8，学习率设置为$1 \times 10^{-4}$，衰减率为$1 \times 10^{-4}$。评估部分涉及的网络架构使用最合适的学习率训练至收敛。我们在本文提出的LiDAR Human26M数据集上训练了该方法，实验细节见第4节。
### 4. 实验
#### 4.1. 对比
本文提出的LiDARCap方法在远距离场景下的人体运动预测中表现优异，如图5所示。为进一步验证性能，我们将本文方法与当前最优（SOTA）的基于图像的动作捕捉方法进行了对比。我们与HMR [^27]和VIBE [^31]开展了定量与定性对比，其中VIBE同样依赖时序编码。
如图6所示，得益于激光雷达点云的三维分辨能力，本文方法的性能优于基于图像的方法。HMR的性能受到远距离图像低质量的严重影响，而VIBE可以借助时序约束推测出部分不清晰的运动。
表4展示了使用不同评价指标得到的对应定量对比结果。我们报告了普罗克汝斯忒斯对齐平均关节位置误差（PA-MPJPE）、平均关节位置误差（MPJPE）、正确关键点百分比（PCK）以及顶点误差（PVE）。误差
---
Figure 5. 3D capturing results on long-range human motions. For each body motion, the top row shows the reference images, the middle row shows the input LiDAR points, and the bottom row shows the captured motion results on the LiDAR view.
指标的单位为毫米。此外，我们还记录了加速度误差$(m/s^{2})$，它是序列数据的一项重要评价指标。得益于对三维空间信息的有效利用，本文方法的性能显著优于HMR和VIBE。
#### 4.2. 评估
为了研究本文方法不同组件的作用，我们开展了两组消融实验。第一组实验验证了PointNet++与ST-GCN结合的有效性，第二组实验验证了逆运动学求解器与SMPL优化器结合的有效性。
网络结构评估。为简便起见，我们将本文方法称为P++/ST-GCN。一方面，我们将PointNet++（P++）骨干网络替换为其他精心设计的网络结构，分别是P4Transformer（P4T）[^12]、[^24]中的注意力（ATT）模块以及[^35]中的投票（VOT）模块。为了融合时空信息，我们在后两类结构中使用P4Transformer替代原结构作为骨干网络。另一方面，我们需要评估是否有必要采用ST-GCN而非biGRU来挖掘时间维度上的关节特征。表5展示了上述对比结果，我们发现，在本文数据集上，注意力、投票这类更复杂的操作会导致性能下降。全局特征
---
Figure 6. Qualitative comparison with the image-based methods. Our method provides accurate human pose, while the results of SOTA image-based methods contain large errors.
| Method | MPJPE $\downarrow$ | PA-MPJPE $\downarrow$ | PCK0.5 $\uparrow$ | PCK0.3 $\uparrow$ | Accel $\downarrow$ | PVE $\downarrow$ |
| HMR | 224.86 | 130.71 | 0.67 | 0.49 | 22.07 | 284.15 |
| VIBE | 154.61 | 108.19 | 0.82 | 0.64 | 12.49 | 191.55 |
| Ours | 79.31 | 66.72 | 0.95 | 0.86 | 4.52 | 101.64 |
Table 4. Quantitative comparison of our method and image-based methods in terms of capturing accuracy.
| Method | MPJPE $\downarrow$ | PA-MPJPE $\downarrow$ | PCK0.5 $\uparrow$ | PCK0.3 $\uparrow$ | Accel $\downarrow$ | PVE $\downarrow$ |
| P++/GRU | 86.43 | 72.19 | 0.94 | 0.83 | 5.20 | 109.48 |
| ATT/ST-GCN | 96.28 | 75.21 | 0.92 | 0.81 | 4.66 | 120.42 |
| P4T/ST-GCN | 79.52 | 66.25 | 0.95 | 0.86 | 4.54 | 101.77 |
| VOT/ST-GCN | 146.20 | 100.40 | 0.83 | 0.67 | 7.10 | 185.33 |
| P++/ST-GCN(Ours) | 79.31 | 66.72 | 0.95 | 0.86 | 4.52 | 101.64 |
Table 5. Quantitative evaluation of different encoders and sequential processing methods.
| Method | MPJPE $\downarrow$ | PA-MPJPE $\downarrow$ | PCK0.5 $\uparrow$ | PCK0.3 $\uparrow$ | Accel $\downarrow$ | PVE $\downarrow$ |
| P++ w/o ST-GCN | 85.93 | 70.61 | 0.94 | 0.84 | 4.91 | 109.27 |
| P++/ST-GCN w/o $\mathcal{L}_{TSMPL}$ | 87.13 | 69.35 | 0.94 | 0.83 | 4.98 | 110.23 |
| P++/ST-GCN(Ours) | 79.31 | 66.72 | 0.95 | 0.86 | 4.52 | 101.64 |
Table 6. Quantitative evaluation of different combinations of stages.
能够帮助取得最佳性能，且P++与P4T之间不存在显著差异。此外，引入运动学树相比biGRU能更好地定位相邻关节，biGRU只能影响逐帧全局特征。对同一关节在时间步上进行卷积也能显式保证连续性与一致性。
模块阶段评估。表6验证了3.3节提出的三个模块的必要性。三个模块中，用于提取点特征的时间编码器是必不可少的。性能差异体现为：关节位置能够帮助网络在第一和第三阶段都更高效地学习运动特征。其中，第一阶段的关节位置用于约束旋转的求解域，第三阶段的关节位置则在后验验证中发挥重要作用。
Figure 7. Qualitative results of different network structures. P4T/ST-GCN and our method can capture more consistent motions than other methods.
Reference Images Input Points P++ w/o P++/ST-GCN w/o $L_{J_{SMPL}}$ P++/ST-GCN
Figure 8. Qualitative results of different combination of stages. Other two methods cannot predict accurate human motions in some cases for lacking enough constraint.
#### 4.3 距离分析
得益于点云的优良特性，本文方法在远距离动作捕捉中取得了良好效果。然而，当前版本的算法在距离过远的场景下表现仍不佳。我们选取距离变化最剧烈的序列进行说明，该序列中志愿者距离激光雷达的距离范围为15米至28米。从图9a可以看出，投射到人体上的点数量随距离增加急剧下降，在最远位置点数量不足30个。此时除了人体轮廓外，很难分辨出具体的细节动作。远距离图像的低分辨率也给基于图像的方法带来了巨大挑战。如图9b所示，尽管本文方法和VIBE的性能都随距离增加而下降，但我们的方法仍能保持更优的结果。这是因为，随着距离增加，虽然两种数据源的分辨率都在下降，但点云中人体仍能与背景清晰分割，而图像中的人体像素更容易与背景像素混合。
---
(a) The number of points and performance of VIBE and ours over the distance.
(b) The qualitative results over the chosen three distances. The columns from left to right are the original images, the enlarged images, VIBE results, the point clouds, and our results.
#### 4.4 在KITTI和Waymo数据集上的结果
为了验证本文流程的泛化能力，我们在来自KITTI检测数据集[^14]和Waymo开放数据集[^50]的行人点云序列上测试了本文方法。图10展示了部分定性结果。
图9. VIBE与我们的方法在不同距离下的评估结果。图中显示，模型性能会随距离增加而下降，但我们的算法仍能取得比VIBE更令人信服的结果。
可以看出，我们的算法能够学习到行人正确的脚步位置与全局朝向。对于清晰的上肢部分，我们的方法可以给出正确的定位，而对于模糊的上肢部分，它会通过时间序列的先验信息做出合理推测。
### 5. 讨论
局限性。首先，LiDAR Human26M中的场景均为平坦开阔无遮挡的环境，与实际应用相比过于理想化。其次，LiDAR Human26M数据集中缺少形状参数$\beta$，以及更复杂的存在遮挡和多人交互的场景。第三，本文提出的基线方法LiDAR Cap在处理来自不同距离和设备的不同密度点云时鲁棒性不足。在稀疏激光雷达点云上实现精准的人体动作捕捉仍然是一个开放挑战。
结论。我们提出了LiDAR Human26M，这是首个开创了远距离场景下数据驱动的基于激光雷达的人体动作捕捉研究方向的数据集。LiDAR Human26M包含多种模态，包括同步激光雷达点云、RGB图像，以及从专业—
(a) Qualitative results of the KITTI Dataset.
(b) Qualitative results of the Waymo Open Dataset.
(c) Qualitative results of two sequences from the Waymo Open Dataset.
Figure 10. Qualitative results on autonomous driving datasets. Our method can discriminate the correct motions of the clear parts of the point cloud and give a reasonable guess of the invisible ones.
级IMU设备获取的真值3D人体动作。该数据集涵盖20种日常动作、13名表演者，共18.4万帧捕捉数据，捕捉距离范围广，从12米到28米不等。基于LiDAR Human26M，我们提出了一个强基线方法LiDARCap，这是首个适用于单目激光雷达传感器的无标记、远距离数据驱动人体动作捕捉方法。具体而言，本文提出的LiDARCap提取激光雷达点云的全局特征，随后利用逆运动学求解器和SMPL优化器，通过聚合时间编码特征分层回归得到人体姿态。定量与定性实验均表明，我们的方法性能优于仅基于RGB图像的方法。在KITTI数据集和Waymo开放数据集的激光雷达数据上开展的实验证明，我们的方法可以泛化适配不同的激光雷达传感器设置。
---
## 参考文献
[^1]: Mykhaylo Andriluka, Umar Iqbal, Anton Milan, Eldar Insafutdinov, Leonid Pishchulin, Juergen Gall, and Bernt Schiele. Posetrack: A benchmark for human pose estimation and tracking. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 5167–5176, 2018. 2
[^2]: Federica Bogo, Angjoo Kanazawa, Christoph Lassner, Peter V. Gehler, Javier Romero, and Michael J. Black. Keep it smpl: Automatic estimation of 3d human pose and shape from a single image. In ECCV, 2016. 2, 3
[^3]: Christoph Bregler and Jitendra Malik. Tracking people with twists and exponential maps. Proceedings. 1998 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (Cat. No.98CB36231), pages 8–15, 1998. 3
[^4]: Xsens Technologies B.V. , 2019. 3
[^5]: Zhe Cao, Tomas Simon, Shih-En Wei, and Yaser Sheikh. Realtime multi-person 2d pose estimation using part affinity fields. In Computer Vision and Pattern Recognition (CVPR), 2017. 1
[^6]: João Carreira and Andrew Zisserman. Quo vadis, action recognition? a new model and the kinetics dataset. 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 4724–4733, 2017. 2
[^7]: Christopher Bongsoo Choy, JunYoung Gwak, and Silvio Savarese. 4d spatio-temporal convnets: Minkowski convolutional neural networks. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 3070–3079, 2019. 3
[^8]: Alvaro Collet, Ming Chuang, Pat Sweeney, Don Gillett, Dennis Evseev, David Calabrese, Hugues Hoppe, Adam Kirk, and Steve Sullivan. High-quality streamable free-viewpoint video. ACM Transactions on Graphics (TOG), 34(4):69, 2015. 1
[^9]: Andrew J. Davison, Jonathan Deutscher, and Ian D. Reid. Markerless motion capture of complex full-body movement for character animation. In Eurographics Workshop on Computer Animation and Simulation, 2001. 1
[^10]: Edilson de Aguiar, Carsten Stoll, Christian Theobalt, Naveed Ahmed, Hans-Peter Seidel, and Sebastian Thrun. Performance capture from sparse multi-view video. ACM SIGGRAPH 2008 papers, 2008. 3
[^11]: Mingsong Dou, Sameh Khamis, Yury Degtyarev, Philip Davidson, Sean Fanello, Adarsh Kowdle, Sergio Orts Escolano, Christoph Rhemann, David Kim, Jonathan Taylor, Pushmeet Kohli, Vladimir Tankovich, and Shahram Izadi. Fusion4D: Real-time Performance Capture of Challenging Scenes. In ACM SIGGRAPH Conference on Computer Graphics and Interactive Techniques, 2016. 2
[^12]: Hehe Fan, Yi Yang, and Mohan S. Kankanhalli. Point 4d transformer networks for spatio-temporal modeling in point cloud videos. 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 14199–14208, 2021. 3, 6
[^13]: Hehe Fan, Xin Yu, Yuhang Ding, Yi Yang, and M. Kankan-halli. Pstnet: Point spatio-temporal convolution on point cloud sequences. In ICLR, 2021. 3
[^14]: Andreas Geiger, Philip Lenz, and Raquel Urtasun. Are we ready for autonomous driving? the kitti vision benchmark suite. 2012 IEEE Conference on Computer Vision and Pattern Recognition, pages 3354–3361, 2012. 8
[^15]: Kaiwen Guo, Feng Xu, Tao Yu, Xiaoyang Liu, Qionghai Dai, and Yebin Liu. Real-time geometry, albedo and motion reconstruction using a single rgbd camera. ACM Transactions on Graphics (TOG), 2017. 2
[^16]: Marc Habermann, Weipeng Xu, Michael Zollhöfer, Gerard Pons-Moll, and Christian Theobalt. Livecap: Real-time human performance capture from monocular video. ACM Transactions on Graphics (TOG), 38(2):14:1–14:17, 2019.
[^17]: Marc Habermann, Weipeng Xu, Michael Zollhofer, Gerard Pons-Moll, and Christian Theobalt. Deepcap: Monocular human performance capture using weak supervision. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), June 2020. 1
[^18]: Nils Hasler, Bodo Rosenhahn, Thorsten Thormahlen, Michael Wand, Juergen Gall, and Hans-Peter Seidel. Markerless motion capture with unsynchronized moving cameras. In Computer Vision and Pattern Recognition (CVPR), pages 224–231, 2009. 1
[^19]: Yannan He, Anqi Pang, Xin Chen, Han Liang, Minye Wu, Yuexin Ma, and Lan Xu. Challenges: Monocular 3d capture of challenging human performances using multi-modal references. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 11400–11411, 2021.
[^20]: Qingyong Hu, Bo Yang, Linhai Xie, Stefano Rosa, Yulan Guo, Zhihua Wang, Niki Trigoni, and Andrew Markham. Randla-net: Efficient semantic segmentation of large-scale point clouds. In 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 11108–11117, 2020. 2
[^21]: Siyuan Huang, Yichen Xie, Song-Chun Zhu, and Yixin Zhu. Spatio-temporal self-supervised representation learning for 3d point clouds. 2021 IEEE/CVF International Conference on Computer Vision (ICCV), pages 6515–6525, 2021. 3
[^22]: Yinghao Huang, Manuel Kaufmann, Emre Aksan, Michael J Black, Otmar Hilliges, and Gerard Pons-Moll. Deep inertial poser: Learning to reconstruct human pose from sparse inertial measurements in real time. ACM Transactions on Graphics (TOG), 37(6):1–15, 2018. 2
[^23]: Catalin Ionescu, Dragos Papava, Vlad Olaru, and Cristian Sminchisescu. Human3.6m: Large scale datasets and predictive methods for 3d human sensing in natural environments. IEEE Transactions on Pattern Analysis and Machine Intelligence, 36:1325–1339, 2014. 2, 4
[^24]: Haiyong Jiang, Jianfei Cai, and Jianmin Zheng. Skeleton-aware 3d human shape reconstruction from point clouds. 2019 IEEE/CVF International Conference on Computer Vision (ICCV), pages 5430–5440, 2019. 6
## [^25]: Hanbyul Joo, Hao Liu, Lei Tan, Lin Gui, Bart Nabbe, Iain Matthews, Takeo Kanade, Shohei Nobuhara, and Yaser Sheikh. Panoptic Studio: A Massively Multiview System for Social Motion Capture. In Proceedings of the IEEE Inter-
---
际计算机视觉会议，第3334–3342页，2015年。 1
[^26]: Hanbyul Joo, Tomas Simon, and Yaser Sheikh. Total capture: A 3d deformation model for tracking faces, hands, and bodies. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 2018. 1
[^27]: Angjoo Kanazawa, Michael J. Black, David W. Jacobs, and Jitendra Malik. End-to-end recovery of human shape and pose. In Computer Vision and Pattern Regognition (CVPR), 2018. 1, 5
[^28]: Angjoo Kanazawa, Jason Y. Zhang, Panna Felsen, and Jitendra Malik. Learning 3d human dynamics from video. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 5607–5616, 2019. 2
[^29]: Wonhui Kim, Manikandasriram Srinivasan Ramanagopal, Charlie Barto, Ming-Yuan Yu, Karl Rosaen, Nicholas Goumas, Ram Vasudevan, and Matthew Johnson-Roberson. Pedx: Benchmark dataset for metric 3-d pose estimation of pedestrians in complex urban intersections. IEEE Robotics and Automation Letters, 4:1940–1947, 2019. 3, 4
[^30]: Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. CoRR, abs/1412.6980, 2015. 5
[^31]: Muhammed Kocabas, Nikos Athanasiou, and Michael J. Black. Vibe: Video inference for human body pose and shape estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), June 2020. 1, 5
[^32]: Nikos Kolotouros, Georgios Pavlakos, Michael J Black, and Kostas Daniilidis. Learning to reconstruct 3d human pose and shape via model-fitting in the loop. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 2252–2261, 2019. 1
[^33]: Alex H. Lang, Sourabh Vora, Holger Caesar, Lubing Zhou, Jiong Yang, and Oscar Beijbom. Pointpillars: Fast encoders for object detection from point clouds. In 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 12697–12705, 2019. 2
[^34]: Ruilong Li, Yuliang Xiu, Shunsuke Saito, Zeng Huang, Kyle Olszewski, and Hao Li. Monocular real-time volumetric performance capture. In ECCV, 2020. 3
[^35]: Shile Li and Dongheui Lee. Point-to-pose voting based hand pose estimation using residual permutation equivariant layer. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 11919–11928, 2019. 6
[^36]: Matthew Loper, Naureen Mahmood, Javier Romero, Gerard Pons-Moll, and Michael J. Black. Smpl: A skinned multi-person linear model. ACM Trans. Graph., 34(6):248:1–248:16, Oct. 2015. 1
[^37]: Naureen Mahmood, Nima Ghorbani, Nikolaus F. Troje, Gerard Pons-Moll, and Michael J. Black. Amass: Archive of motion capture as surface shapes. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), October 2019. 1
[^38]: Dushyant Mehta, Helge Rhodin, Dan Casas, Pascal V. Fua, Oleksandr Sotnychenko, Weipeng Xu, and Christian Theobalt. Monocular 3D human pose estimation in the wild using improved cnn supervision. 2017 International Conference on 3D Vision (3DV), pages 506–516, 2017. 2
[^39]: Dushyant Mehta, Srinath Sridhar, Oleksandr Sotnychenko, Helge Rhodin, Mohammad Shafiei, Hans-Peter Seidel, Weipeng Xu, Dan Casas, and Christian Theobalt. Vnect: Real-time 3d human pose estimation with a single rgb camera. ACM Transactions on Graphics (TOG), 36(4), 2017. 1
[^40]: Andres Milioto, Ignacio Vizzo, Jens Behley, and Cyrill Stachniss. Rangenet ++: Fast and accurate lidar semantic segmentation. In 2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pages 4213–4220, 2019. 2
[^41]: INC. NOITOM INTERNATIONAL. , 2021. 2
[^42]: Chaitanya Patel, Zhouyingcheng Liao, and Gerard Pons-Moll. Tailornet: Predicting clothing in 3d as a function of human pose, shape and garment style. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 7363–7373, 2020. 3
[^43]: Gerard Pons-Moll, Andreas Baak, Juergen Gall, Laura Leal-Taixe, Meinard Mueller, Hans-Peter Seidel, and Bodo Rosenhahn. Outdoor human motion capture using inverse kinematics and von mises-fisher sampling. In 2011 International Conference on Computer Vision, pages 1243–1250. IEEE, 2011. 2
[^44]: Charles R. Qi, Li Yi, Hao Su, and Leonidas J. Guibas. Point-net++: Deep hierarchical feature learning on point sets in a metric space, 2017. 4
[^45]: Radu Alexandru Rosu, Peer Schutt, Jan Quenzel, and Sven Behnke. Latticenet: Fast spatio-temporal point cloud segmentation using permutohedral lattices. Autonomous Robots, pages 1–16, 2021. 3
[^46]: Shaoshuai Shi, Xiaogang Wang, and Hongsheng Li. Pointrcnn: 3d object proposal generation and detection from point cloud. In 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 770–779, 2019. 2
[^47]: Leonid Sigal, Alexandru O. Balan, and Michael J. Black. Humaneva: Synchronized video and motion capture dataset and baseline algorithm for evaluation of articulated human motion. International Journal of Computer Vision, 87:4–27, 2009. 2, 4
[^48]: Carsten Stoll, Nils Hasler, Juergen Gall, Hans-Peter Seidel, and Christian Theobalt. Fast articulated motion tracking using a sums of Gaussians body model. In International Conference on Computer Vision (ICCV), 2011. 1
[^49]: Zhuo Su, Lan Xu, Zerong Zheng, Tao Yu, Yebin Liu, and Lu Fang. Robustfusion: Human volumetric capture with data-driven visual cues using a rgbd camera. In ECCV, 2020. 2, 3
## [^50]: Pei Sun, Henrik Kretzschmar, Xerxes Dotiwalla, Aurelien Chouard, Vijaysai Patnaik, Paul Tsui, James Guo, Yin Zhou, Yuning Chai, Benjamin Caine, Vijay Vasudevan, Wei Han, Jiquan Ngiam, Hang Zhao, Aleksei Timofeev, Scott M. Ettinger, Maxim Krivokon, Amy Gao, Aditya Joshi, Yu Zhang, Jonathon Shlens, Zhifeng Chen, and Dragomir Anguelov. Scalability in perception for autonomous driving: Waymo open dataset. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 2443–2451, 2020. 8
---
[^51]: Vicon Motion Systems. , 2019.3
[^52]: Hugues Thomas, Charles R. Qi, Jean-Emmanuel Deschaud, Beatriz Marcotegui, Francois Goulette, and Leonidas Guibas. Kpconv: Flexible and deformable convolution for point clouds. In 2019 IEEE/CVF International Conference on Computer Vision (ICCV), pages 6411–6420, 2019. 2
[^53]: Matthew Trumble, Andrew Gilbert, Charles Malleson, Adrian Hilton, and John P. Collomosse. Total capture: 3d human pose estimation fusing video and inertial sensors. In BMVC, 2017. 2
[^54]: Gül Varol, Javier Romero, Xavier Martin, Naureen Mahmood, Michael J. Black, Ivan Laptev, and Cordelia Schmid. Learning from synthetic humans. 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 4627–4635, 2017. 2, 4
[^55]: Vicon Motion Systems. , 2019.1
[^56]: Daniel Vlasic, Rolf Adelsberger, Giovanni Vannucci, John C. Barnwell, Markus H. Gross, Wojciech Matusik, and Jovan Popović. Practical motion capture in everyday surroundings. ACM SIGGRAPH 2007 papers, 2007. 3
[^57]: Timo von Marcard, Roberto Henschel, Michael J. Black, Bodo Rosenhahn, and Gerard Pons-Moll. Recovering accurate 3d human pose in the wild using imus and a moving camera. In ECCV, 2018. 3, 4
[^58]: Guangming Wang, Hanwen Liu, Muyao Chen, Yehui Yang, Zhe Liu, and Hesheng Wang. Anchor-based spatio-temporal attention 3-d convolutional networks for dynamic 3-d point cloud sequences. IEEE Transactions on Instrumentation and Measurement, 70:1–11, 2021. 3
[^59]: Haiyan Wang, Liang Yang, Xuejian Rong, Jinglun Feng, and Yingli Tian. Self-supervised 4d spatio-temporal feature learning via order prediction of sequential point cloud clips. 2021 IEEE Winter Conference on Applications of Computer Vision (WACV), pages 3761–3770, 2021. 3
[^60]: Yangang Wang, Yebin Liu, Xin Tong, Qionghai Dai, and Ping Tan. Outdoor markerless motion capture with sparse handheld video cameras. Transactions on Visualization and Computer Graphics (TVCG), 2017. 1
[^61]: Xiaolin Wei, Peizhao Zhang, and Jinxiang Chai. Accurate realtime full-body motion capture using a single depth camera. SIGGRAPH Asia, 31(6):188:1–12, 2012. 2
[^62]: Lan Xu, Weipeng Xu, Vladislav Golyanik, Marc Habermann, Lu Fang, and Christian Theobalt. Eventcap: Monocular 3d capture of high-speed human motions using an event camera. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), June 2020. 1
[^63]: Lan Xu, Weipeng Xu, Vladislav Golyanik, Marc Habermann, Lu Ming Fang, and Christian Theobalt. Eventcap: Monocular 3d capture of high-speed human motions using an event camera. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 4967–4977, 2020. 3
[^64]: Weipeng Xu, Avishek Chatterjee, Michael Zollhöfer, Helge Rhodin, Dushyant Mehta, Hans-Peter Seidel, and Christian
Theobalt。Monoperfcap：基于单目视频的人体表演捕捉。ACM Transactions on Graphics (TOG)，37(2):27:1–27:15，2018年。 1
[^65]: Xiangyu Xu, Hao Chen, Francesc Moreno-Noguer, Laszlo A Jeni, and Fernando De la Torre. 3d human shape and pose from a single low-resolution image with self-supervised learning. In ECCV, 2020. 2
[^66]: Xiangyu Xu, Hao Chen, Francesc Moreno-Noguer, Laszlo A Jeni, and Fernando De la Torre. 3d human pose, shape and texture from low-resolution images and videos. TPAMI, 2021. 2
[^67]: Sijie Yan, Yuanjun Xiong, and Dahua Lin. Spatial temporal graph convolutional networks for skeleton-based action recognition. In AAAI, 2018. 5
[^68]: Ze Yang, Shenlong Wang, Siva Manivasagam, Zeng Huang, Wei-Chiu Ma, Xinchen Yan, Ersin Yumer, and Raquel Urtasun. S3: Neural shape, skeleton, and skinning fields for 3d human modeling. In CVPR, 2021. 3
[^69]: Xinyu Yi, Yuxiao Zhou, and Feng Xu. Transpose: Real-time 3d human translation and pose estimation with six inertial sensors. ACM Trans. Graph., 40:86:1–86:13, 2021. 2
[^70]: Andrei Zanfir, Eduard Gabriel Bazavan, Mihai Zanfir, William T. Freeman, Rahul Sukthankar, and Cristian Sminchisescu. Neural descent for visual 3d human pose and shape. 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 14479–14488, 2021. 3
[^71]: Weiyu Zhang, Menglong Zhu, and Konstantinos G. Derpanis. From actemes to action: A strongly-supervised representation for detailed action understanding. 2013 IEEE International Conference on Computer Vision, pages 2248–2255, 2013. 2
[^72]: Yan Zhang, Michael J Black, and Siyu Tang. We are more than our joints: Predicting how 3d bodies move. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 3372–3382, 2021. 1
[^73]: Yi Zhou, Connelly Barnes, Jingwan Lu, Jimei Yang, and Hao Li. On the continuity of rotation representations in neural networks. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 5738–5746, 2019. 5
[^74]: Yin Zhou and Oncel Tuzel. Voxelnet: End-to-end learning for point cloud based 3d object detection. In 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 4490–4499, 2018. 2