# VoxelKP：一种面向激光雷达数据中人体关键点估计的基于体素的网络架构 Jian Shi, Peter Wonka 阿卜杜拉国王科技大学 {jian.shi, peter.wonka}@kaust.edu.sa ## 摘要 我们提出了VoxelKP，这是一种专为激光雷达数据中的人体关键点估计设计的新型全稀疏网络架构。核心挑战在于，物体在三维空间中分布稀疏，而人体关键点检测需要在存在人体的位置获取详细的局部信息。本文提出四项创新思路：首先，我们提出稀疏选择核来捕捉多尺度上下文；其次，我们引入稀疏框注意力，聚焦于学习每个人体实例内关键点之间的空间相关性；第三，我们在将三维体素投影到编码鸟瞰图的二维网格时，融入空间编码来利用绝对三维坐标；最后，我们提出混合特征学习，将单体素特征处理与稀疏卷积相结合。我们在Waymo数据集上评估了所提方法，与在相同数据上训练的现有最优方法HUM3DIL相比，MPJPE指标提升了27%；与在大25倍的数据集上预训练的现有最优方法GC-KPL相比，提升了12%。据我们所知，VoxelKP是首个专为解决激光雷达数据三维关键点估计这一挑战性任务设计的单阶段全稀疏网络，取得了当前最优性能。我们的代码发布于. ### 1. 引言 人体姿态估计是一个关键研究领域，应用涵盖计算机视觉、机器人技术、人机交互以及增强/虚拟现实。已有研究[^21] [^30] [^33]大多基于二维图像和视频。与常规RGB输入相比，激光雷达传感器通过激光测量物体距离，可提供详细的三维结构信息。除了在遮挡和光照变化下具备鲁棒性外，激光雷达还能提供隐私保护，因为它无法保留面部细节。近年来，激光雷达点云的三维目标检测已取得显著进展，PointRCNN [^24]、Part-A2 [^25]和PV-RCNN [^26]等方法都取得了出色成果，而基于激光雷达的人体姿态估计仍然是开放研究问题，存在很大改进空间。通常，目标检测方法专注于捕捉稀疏分布在三维空间中的物体，而关键点往往密集分布在人体周围的局部区域。由于缺乏细粒度空间信息，现有检测器在上下文捕捉上的这一根本差异限制了它们适配精确三维关键点预测的能力。为填补这一空白，我们旨在通过引入新型组件保留细粒度空间信息，将三维目标检测的成功拓展到激光雷达点云数据的三维关键点估计任务中。 本研究指出，对于精确人体姿态估计，学习局部稠密特征来捕捉关键点之间复杂的空间关系十分重要。为此，我们提出了VoxelKP架构。VoxelKP是一种专门针对激光雷达点云人体关键点估计设计的新型全稀疏神经网络。它结合了局部特征提取和全局上下文建模，实现从激光雷达扫描中精准预测人体姿态。具体而言，我们引入了四个关键组件，它们在提升关键点估计的局部特征学习方面发挥着核心作用： - 稀疏选择性核（SSK）模块：这类模块被设计用于对在稀疏体素位置高效提取的多尺度三维特征进行选择性聚合。通过采用不同感受野的核和选择机制，SSK模块大幅提升了空间上下文建模能力，这对关键点的准确估计至关重要，因为它让模型能够理解关键点位置之间的空间关系。 - 稀疏框注意力模块：我们的方法引入了基于框的局部自注意力，将稀疏体素空间划分为互不重叠的框区域。该策略使模型能够捕捉每个框内体素之间的依赖关系，借此提取用于解决 --- 密集分布关键点所需的细粒度局部特征。这种对关键点之间复杂空间关系的聚焦建模，对实现精确的人体姿态估计至关重要。 • 空间感知多尺度BEV融合：为保留关键点之间的三维空间关系，我们提出了一种空间感知多尺度鸟瞰图（BEV）融合技术。该创新方法将三维空间信息封装到二维表示中，从而提升了关键点估计的准确率，确保模型在预测关键点时考虑空间信息，提升整体性能。 - 混合特征学习 除上述组件外，我们提出使用混合特征学习。我们结合了架构中两个并行分支的输出：使用MLP进行的单个体素计算，以及处理体素邻域的稀疏卷积。 据我们所知，VoxelKP是第一个专门针对LiDAR数据三维关键点估计这一挑战性任务设计的单阶段全稀疏网络，与在相同数据上训练的现有最优方法相比，在MPJPE指标上取得了27%的性能提升。 ### 2. 相关工作 #### 2.1. 点云上的深度学习 许多神经网络架构已经被适配用于处理点云。早期方法如VoxNet [^20]将3D CNN应用于体素网格，用于目标分类。PointNet [^22]是最早直接在点云上运行的工作之一，它使用MLP和最大池化提取点云所表示的整个场景的全局特征。PointNet++ [^23]等后续工作引入了分层局部特征学习。与此同时，另一类研究如PointCNN [^14]和KPConv [^32]提出了适用于无序点云特征学习的新型卷积算子，解决了传统卷积在这类不规则数据上的局限性。 典型激光雷达生成的点云包含超过10万个点，庞大数据规模使得逐点计算的负荷过大。VoxelNet [^41]提出体素特征编码（VFE）层，用来解决逐点计算带来的高计算量与高内存占用问题。同时，稀疏卷积和子流形稀疏卷积运算 [^4]利用体素网格中的稀疏性减少计算量。SECOND [^35]引入了一种能够发挥稀疏运算优势的高效稀疏卷积方法。在SECOND之后，PointPillars [^11]、3DSSD [^36]、PV-RCNN [^26]、CenterPoint [^38]等后续工作进一步推进了点云的稀疏卷积检测，引入了柱体编码加速检测、带锚框的多尺度检测栈、共享体素编码器、基于中心点检测小目标等思路。VoxelNeXt [^2]进一步提出了一种全稀疏基于体素的方法，无需进行稀疏到密集转换，也不需要NMS后处理。然而，这些方法都以提升边界框定位精度为目标，并不需要精确关键点估计任务所需的细粒度空间特征。据此，我们提出VoxelKP，这是一种全新的稀疏卷积架构，专门用于从稀疏激光雷达数据中学习具有区分度的局部特征，实现准确的人体姿态估计。 #### 2.2. 点云人体姿态估计 人体姿态估计在图像领域已经得到广泛研究，DeepPose [^33]、Stacked Hourglass [^21]、HRNet [^30]等方法在COCO-wholebody [^8]等基准测试上取得了很高的精度。然而和RGB图像相比，点云能够提供关于物体形状和深度的显式三维结构信息。Shotton等人 [^27]率先开创了基于单张深度图像的点云人体姿态估计研究。近期多项工作 [^19] [^42]提出了基于深度学习的、从深度图像进行三维人体姿态估计的方法。Waymo [^31]发布了激光雷达采集的点云场景的关键点标注，但仅有3%的帧标注了人体关键点姿态。由于激光雷达点云数据中的关键点标注十分稀缺，许多研究采用半监督或弱监督方法来弥补标注三维姿态数据不足的问题。例如，部分研究 [^39] [^40]采用多模态方法，利用丰富的图像标注辅助点云的姿态识别。Weng等人 [^34]提出了一种无需使用标注关键点数据即可生成伪真值的无监督方法，同时设计了微调方案：先用合成数据预训练模型，再在训练集上微调。一项同期工作 [^37]采用了微调策略，使用在大规模数据集上预训练的冻结骨干网络作为特征提取器，取得了不错的性能。总体而言，由于缺乏真实三维人体姿态标注，纯点云的多人姿态估计领域仍相对缺少研究。本文提出了一种仅使用激光雷达点云的单阶段关键点估计方法，在不使用额外训练数据的情况下取得了相当的性能。 ### 3. 方法 LiDAR点云通常包含稀疏分布的物体，这些物体仅占据整个3D空间的较小区域。尽管空间中人体的分布是稀疏的，但与之相反，只要存在人体，人体关键点就需要该位置的密集信息。为了处理这种密度差异，我们旨在改进需要定位关键点且需要详细信息区域的特征学习。在 --- 本节中，我们首先介绍该任务的公式化定义，然后介绍我们网络中提出的核心组件，最后详细阐述网络架构的细节。 #### 3.1 问题定义 给定由LiDAR传感器扫描得到的3D点云，我们的目标是估计表示人体姿态的K个关键点的3D位置。设输入点云P为 $\mathbb{R}^{N \times C}$，其中N是点的数量，C是特征维度（例如x、y、z坐标、反射强度、伸长率）。我们采用稀疏体素表示来表征点云，该表示由两个独立张量构成：一个特征张量 $\mathbb{R}^{V \times C}$ 和一个索引张量 $\mathbb{R}^{V \times 4}$，其中V是非空体素的数量，4个维度分别用于存储批次样本索引和每个体素的三个坐标。我们将$i^{th}$个人体的真实姿态定义为一组3D关键点位置 $G_i = \{g_i^1, g_i^2, ..., g_i^K\}$，其中 $g_i^k \in \mathbb{R}^3$ 是$k^{th}$个关键点在全局坐标系中的位置。这K个关键点对应我们感兴趣的解剖关节，例如肩膀、手肘、手腕、臀部、膝盖和脚踝。我们的目标是从输入点云预测3D关键点位置，即学习一个函数F满足 $\hat{G} = F(P)$，其中 $\hat{G} \in \mathbb{R}^{M \times K \times 3}$ 是M个人体的预测3D关键点位置构成的张量。 #### 3.2 核心组件 我们的最终架构VoxelKP参见图4。首先，场景被体素化为稀疏3D网格。随后稀疏网格经过多个3D模块提取多尺度3D稀疏特征，接着投影到稀疏2D网格，再经过多个2D模块。最终由多个预测头输出关键点。所提架构包含四个核心组件，用于提升关键点的空间定位精度。具体而言，我们在网络中采用空间感知稀疏选择核模块和稀疏盒注意力模块，来提升对细粒度关键点特征进行编码和定位的表征能力。此外，我们使用空间感知多尺度BEV融合方法编码空间信息，同时通过多尺度融合理解不同密度下的上下文信息。最后，我们采用混合特征学习方法，同时捕获细粒度的单个体素细节和相对粗粒度的局部邻域信息。 #### 3.2.1 稀疏选择核模块 受[^5] [^13]启发，我们提出了稀疏选择核（SSK）模块，通过选择性聚合多尺度特征来改进空间上下文建模。SSK模块在3D稀疏体素空间上执行空间注意力，该注意力通过数据驱动的核选择为每个位置定制感受野。如图1所示， ![Image](images/88b91d87223ddd7b772a8c59694223d89a90ba7ceee36a8e47e50e241ece27e8.jpg)
Figure 1. Sparse selective kernel module with one sample input. The SSK module selects the best kernels from different receptive fields with a softmax-based channel-wise attention mechanism.
我们首先生成一组感受野大小为$3 \times 3 \times 3$和$5 \times 5 \times 5$的稀疏3D子流形卷积核。子流形卷积仅当卷积核中心位于非空体素上时才计算输出值，也就是说非空体素的数量保持不变。这些操作被应用于稀疏采样的体素位置，能够在保持效率的同时提取多尺度特征。接下来，每个卷积核输出的特征被送入选择模块，该模块通过全局平均池化（GAP）压缩空间维度，随后进行特征压缩与扩展操作。在我们的实现中，Z为C的25%。得到的张量会在softmax激活后用于对特征进行加权。我们将体素位置记为p，体素网格内所有体素位置的集合记为$P_s$，对应体素位置p的特征记为$f_p$。稀疏GAP $\bar{F}_s$可通过下式得到： $$ \begin{align*}\bar{P}_{s}&=\{(x_{p},y_{p},z_{p})|p\in P_{s}\},\\\bar{F}_{s}&=\{\frac{1}{|S_{\bar{P}}|}\sum_{p\in S_{P}}f_{p}|\bar{p}\in\bar{P}_{s}\},\end{align*} $$ 其中$|S_P|$是批次中样本s的有效体素数量。该操作生成通道维度的注意力权重，使网络能够选择性地增强或抑制每个卷积核的特征。随后，对所有卷积核的加权特征进行平均融合，即可得到多尺度局部特征。 #### 3.2.2 稀疏框注意力模块 我们采用基于框的自注意力机制。与以往针对分割任务使用自注意力方法捕获更大范围全局特征的现有工作[^9] [^10]不同，我们专注于局部特征提取，以处理密集 --- ![Image](images/ade37bb9c275cf722ab2bde50b1e57c41befe67ba56c47b0f4466cc0a1577c46.jpg)
Figure 2. Sparse box-attention module. This attention mechanism selects the voxel features that correspond to one box partition referring to the index tensor and then performs self-attention on the selected voxels. The functions f,g,h, and j are linear layers.
分布的局部区域关键点。核心思想是将稀疏3D体素空间划分为互不重叠的框。在每个局部框内，我们应用自注意力捕获框内体素之间的依赖关系。每个框内的特征经过线性层得到查询Q、键K和值V，其中$Q, K, V \in \mathbb{R}^{k_b \times h \times d}$和$k_b, h, d$分别对应第b个框内的有效体素数量、注意力头数和特征维度。由于我们使用稀疏张量表示，每个框划分得到的体素数量可能存在差异。参考[^9]，我们通过以下公式计算注意力图： $$ Attention_{i,h}=\sum_{j=1}^{k_{b}}softmax(Q_{i,h}\cdot K_{j,h})\times V_{j,h}. $$ 随后我们对得到的注意力图额外增加了一层投影层，如图2所示。 #### 3.2.3 空间感知多尺度BEV融合 将特征压缩为鸟瞰图（BEV）是目标检测任务中的常用做法[^1] [^35]。对于尺寸为$C \times X \times Y \times Z$的稀疏3D体素网格，我们用C表示每个体素的特征数量，X和Y表示地平面上的空间范围，Z表示高度轴。针对稀疏3D体素网格，已有工作如[^2]直接对共享同一地平面位置（相同x和y坐标）的所有体素特征求和，完全忽略了高度信息。但与目标检测任务不同，高度信息对于关键点估计任务精确定位每个关键点至关重要。一种合理的方案是直接使用3D特征图。遗憾的是，如表4所示，这种直接3D方案由于训练收敛效果不佳，无法获得理想的性能。因此，我们提出了一种简单的空间感知多尺度BEV融合方法，能够在融合多个编码器层特征的同时保留空间信息，如图3所示。 高度编码 将三维数据转换为BEV的操作常用于三维目标检测和分割任务，目的是降低点云的维度，使其更易于处理。现有目标检测方法通常会将三维体素网格投影为二维BEV表示，对共享相同x、y位置的体素特征进行聚合，这会丢失特征对应的高度信息。与此不同，我们使用高度编码方法。具体而言，我们使用尺寸为$(1, 1, h)$的卷积核将高度维度压缩为1，其中h是每个三维体素网格的高度。同时，我们增加了输出通道的数量，以保留三维表示中更多的空间细节与特征。这为二维回归头提供了更丰富的特征表示来开展处理。 多尺度特征融合 从网络最后几个阶段得到多个经高度编码的多尺度BEV图后，我们对这些特征图进行融合，得到包含多尺度特征的特征图。与处理密集张量不同，稀疏场景下对特征图直接插值的计算复杂度很高，因为这需要专门的算法在绝大多数为空的体素中高效遍历，寻找并对相邻的非空体素进行插值。因此，我们通过将体素位置乘以其尺度r，直接修改稀疏张量的特征位置。为避免$(p_x * 2^r, p_y * 2^r) \, r \in \{0, 1, 2, \ldots\}$出现特征位置重叠，在 ![Image](images/a52b6dd5434b45c8cac521244b3bed8999c77087aec3ef97b9271e6d293be7af.jpg)
Figure 3. Spatially aware multi-scale BEV Fusion module. Note that we use a dense representation for a better visual illustration of the method.
--- ![Image](images/0a4b1633d0a6a5d011b77a67859da514aa680724d1b8bd56e5c1154e9536d865.jpg)
Figure 4. The overall architecture of the VoxelKP.
进行尺度乘法时，我们对xy平面位置$(p_x, p_y)$使用尺度偏移$(p_x * 2^r + r, p_y * 2^r + r)$进行对齐。 将经过r缩放的特征图堆叠在一起后，我们得到了高度为r的多尺度三维特征图。为得到BEV特征图，我们无需使用$1 \times 1 \times r$卷积进行坍缩，仅需对每个尺度的特征图应用直观的缩放即可。缩放因子与三维特征图的高度（尺度）成正比。压缩后的稀疏特征$\bar{F}_c$及其位置$\bar{P}_c$由下式得到： $$ \begin{align*}\bar{F}=\{f_{p}\cdot\hat{r}_{p}|p\in P_{c}\},\quad\bar{P}_{c}=\{(x_{p},y_{p})|p\in P_{c}\},\\\bar{F}_{c}=\{\sum_{p\in S_{\bar{p}}}\bar{f}_{p}\;|\bar{p}\in\bar{P}_{c}\},\end{align*} $$ 其中$\bar{F}$包含经尺度偏移缩放后的特征，$S_{\bar{p}} = \{p|x_p = x_{\bar{p}}, y_p = y_{\bar{p}}, p \in P_c\}$包含被放置到同一二维位置$\bar{p}$上的体素，$\hat{r}_p$是每个单独特征的归一化高度位置。 #### 3.2.4 混合特征学习 卷积运算专注于理解空间层级结构和局部几何结构，以此提取局部邻域信息。同时，受先前点-体素网络[^17] [^26]的启发，我们在每个阶段都加入了一个MLP分支。将MLP分支与卷积分支结合是一种策略性设计，能够同时捕获细粒度的单个体素细节和相对粗粒度的局部邻域信息。每个MLP分支由三个连续模块组成，每个模块包含一个线性层、批归一化和ReLU激活函数。每个线性层的通道数设置为与输入张量的通道数匹配。之后我们通过逐元素求和合并MLP分支和卷积分支的输出特征，得到融合了体素级别和邻域级别信息的混合特征。这种混合特征学习方法用于保留和处理体素空间中的细粒度细节，这对关键点的精确定位至关重要。 #### 3.3 网络架构 我们提出了一种单阶段、全稀疏神经网络，专为LiDAR点云中的人体姿态估计设计。网络架构如图4所示。输入为点云$\mathbb{R}^{N\times C}$，其中N为点的数量，C为特征维度（例如x、y、z坐标、反射强度）。我们将点云体素化为稀疏体素表示。本文方法由一个输入主干网络和四个特征图尺寸逐渐减小的阶段组成，每个阶段将稀疏体素空间的空间尺寸缩小为原来的二分之一。输入主干网络是简单的卷积层堆叠，详见附录A.1，用于从体素化点云中提取低级特征。接下来，我们在后续两个阶段应用所提出的SSK模块，以更好地捕获多尺度局部特征。我们还在最后两个模块中加入了基于窗口的自注意力模块，以突出局部区域特征。需要说明的是，我们并未为后三个阶段增加通道数量。对于每个阶段，我们进一步 ---
MethodDatasetDescriptionMPJPE cm.
With Extra Training Data
Zheng et al. [^40](CVPR 22)Internal dataset + Waymo v.? Trained on 155, 182 objects from internal data. Generated pseudo labels from 2D image labels.10.80
GC-KPL [^34](CVPR 23)Waymo v.? Pre-trained on synthetic data. Fine-tuned on ground truth11.27
Waymo v.? Pre-trained on 200, 000 Waymo objects. Fine-tuned on ground truth10.10
Without Extra Training Data
HUM3DIL [^39](CoRL 22)Waymo v.1.3.2 Randomly initialized12.21
VoxelKP(CVPR 23)Waymo v.1.4.2 Randomly initialized8.87
Table 1. Benchmark results. The numbers in the table are taken from their corresponding papers aside from HUM3DIL, which is taken from GC-KPL paper. It is unclear about the exact training dataset used for Zheng et al. and GC-KPL. Waymo v1.3.2 and Waymo v1.4.2 share the same data for keypoint estimation task.
加入了一个用于学习混合特征的侧MLP分支。随后我们将最后三个模块得到的3D特征图转换为经过空间编码的2D BEV表示。需要说明的是，我们增加了BEV表示的通道数量，以补偿BEV转换过程中的信息损失。这些2D特征进一步通过2D卷积细化，以聚合空间上下文信息。最终我们得到估计的关键点$Y_{kp} \in \mathbb{R}^{K \times 3}$以及对应的预测可见性$Y_{kp} \in \mathbb{R}^K$，其中K为关键点数量。 ### 4. 实验 #### 4.1. 实现细节 数据集 我们使用Waymo v1.4.2数据集[^31]。训练过程中，我们将“行人”和“骑行者”类别合并为“人类”类别。需要说明的是，该数据集仅包含8125个带关键点标注的人类样本，而边界框标注超过100万个。因此我们移除了所有不带关键点标注的边界框内部的点。每个人类目标标注了14个3D关键点：鼻子、左肩/右肩、左肘/右肘、左腕/右腕、左髋/右髋、左膝/右膝、左脚踝/右脚踝和头部。 网络 网络架构由一个主干模块和后续四个阶段组成，输出通道数分别设置为64、128、256、256和256。鉴于体素化点云输入的分辨率较高（例如$1504 \times 1504 \times 61$），我们在主干模块和初始阶段的下采样块中使用了更大的稀疏卷积核（核尺寸$k = 5$）。对于后续三个阶段，我们改用更小的核尺寸（$k = 3$）。为了补偿BEV投影过程中的信息损失，我们在该过程中将通道数从256增加到了384。 训练阶段，我们采用Waymo数据集的点云范围为(150.4m, 150.4m, 6m)，并以(0.1m, 0.1m, 0.1m)的体素大小将其转换为体素表示。我们直接使用全局关键点位置，不进行任何编码。由于训练样本数量有限，我们首先应用真值采样技术 [^3] [^35]，将来自其他帧的目标对象拼接进采样帧中。接下来，我们对整个点云应用全局增强，包括x轴和y轴随机翻转、[0.95, 1.05]范围内的随机缩放，以及随机旋转范围为$[-\pi/4, \pi/4]$。此外，我们对每个标注对象应用局部增强，包括[0.95, 1.05]范围内的随机缩放、随机旋转范围为$[-\pi/20, \pi/20]$、强度范围为[0., 0.2]的随机平截头体丢弃 [^6]，以及在目标对象周围添加随机噪声。我们的模型使用AdamW [^18]优化器结合OneCycle [^29]学习率调度器训练，以缓解过拟合[^28]。具体而言，我们设置学习率为0.003，权重衰减为0.01，动量为0.9。除了常规的回归损失和热图损失，我们还加入了骨架正则化损失，让模型感知关键点之间的空间关系。所用损失函数的细节详见附录A.2。
partMPJPEOKS@APPEM
Head0.05700.63930.1569
Shoulders0.06690.89170.1563
Elbows0.09480.71970.1746
Wrists0.14670.37910.1987
Hips0.06700.95330.1576
Knees0.08200.85860.1660
Ankles0.10840.75810.1765
All0.08870.73000.1695
Table 2. Full evaluation of VoxelKP.
#### 4.2. 基准方法 针对该任务的相关研究数量十分有限。大多数已有工作都使用Waymo数据集中3D关键点数据之外的额外训练数据。为了进行公平比较，我们需要分别考量不同方法 --- ![Image](images/77b19212ac40ea78df36ee916e14f15e917bfab8bdb87bf24e2af8b2146a3e76.jpg)
Figure 5. A visual demonstration of our baseline model (top) and the proposed VoxelKP (bottom). Our VoxelKP offers improved keypoint estimation with precise locations and fewer false positives. The insets are color-coded according to the legend in the figure. In the green-colored insets, a comparison with the ground truth is shown, with ground truth in red and predictions in blue.
：一类是使用额外数据的方法，另一类是仅依赖Waymo真值的方法。Zheng等人 [^40]采用伪标签生成方法提供更强的监督信号，该方法使用内部数据集作为训练数据，使用Waymo数据集进行评估。GC-KPL [^34]使用额外的合成数据或真实世界数据预训练其骨干模型，随后使用完整的Waymo训练集对模型进行微调。鉴于这些方法都依赖额外数据，我们将仅使用激光雷达的HUM3DIL版本 [^39]作为我们的主要竞争对手。HUM3DIL与我们的方法使用完全相同的训练数据，因此可以直接对不同技术进行公平对比。 #### 4.3. 实验结果 此前的方法如GC-KPL仅使用验证集的子集进行评估，而我们使用完整验证集对我们的方法进行评估，以获得更好的可复现性。遵循已有工作的设定，我们在基准测试中报告匹配关键点的MPJPE指标。如表1所示，我们在MPJPE指标上优于基线方法HUM3DIL约27%。我们的方法在仅使用Waymo真值训练的方法中取得了当前最优结果。我们的性能也超过了利用额外合成数据的方法：比使用合成伪标签的Zheng等人的方法好约18%，比使用合成点云的GC-KPL好约21%。相较于在20万真实世界样本上预训练的最优SOTA方法GC-KPL，我们的性能仍高出约12%。总体而言，我们的方法相较于仅使用Waymo 3D关键点数据的基线方法，以及其他依赖额外数据的技术，都取得了显著提升。图5给出了可视化效果演示。 此外，我们在表2中给出了完整的评估结果，包含MPJPE、OKS@AP和PEM三个指标。各指标的详细说明参见附录A.3。 ### 5. 消融实验 我们在表3中验证了每个所提组件的有效性。我们以VoxelNext $^{[2]}$的架构作为基线模型，随后逐步将本文提出的组件引入基线模型进行更新。我们选择基于VoxelNext开展研究有两点原因：1）它是当前性能最优的点云目标检测模型之一，采用全稀疏架构设计；2）它在计算开销和模型性能之间取得了良好的平衡。我们在消融实验中报告了MPJPE指标。结果表明，所有独立组件都有助于提升关键点估计的效果。接下来，我们进一步通过消融研究展示各组件不同设计方案的效果。 空间感知BEV BEV表示通过将三维体素空间压缩为二维特征图，大幅简化了检测问题。本次消融 ---
ComponentsMPJPEPEM
Spatial BEVSSKAttentionHybrid Feat.headshoulderselbowswristshipskneesanklesallall
✓0.06310.14860.23130.23950.11420.14310.19320.16120.2350
✓0.07210.09950.14560.19040.08700.12770.19280.13040.2069
✓✓0.06030.08480.12320.17150.07590.10840.16080.11180.1889
✓✓✓0.05580.06040.09030.16790.06200.10910.18340.10390.1791
✓✓✓✓0.05700.06690.09480.14670.06700.08200.10840.08870.1695
Table 3. Overall ablation for the effectiveness of each component.
评估了本文提出的空间感知BEV模块的有效性。我们首先测试了直接使用朴素三维表示的效果，随后开展了空间感知BEV的相关实验。如表4所示，实验结果表明本文提出的空间感知BEV取得了更优异的性能。直接部署三维表示会导致严重过拟合，因此性能较低。此外我们还发现，在BEV投影过程中增加通道数可以通过补偿投影过程中的信息损失，有效提升模型性能。总体而言，本文的空间感知BEV实现了良好的平衡：它比基础BEV保留了更强的空间分辨率，能够更好地解析关键点关系，同时避免了完整三维卷积的复杂度。
cp.headshoulderselbowswristshipskneesanklesall
3D-2.46202.45592.44922.44492.43942.42642.4192.4422
Ours✗0.06880.07140.09820.16570.07230.10290.15950.1053
Ours✓0.05700.06690.09480.14670.06700.08200.10840.0887
Table 4. Ablation study for the spatially aware BEV module. $C_{p}$ denotes if to expand the number of channels to compensate for the information loss during the 2D projection.
不同注意力机制 本次消融研究评估了盒注意力（box-attention）机制在点云处理中的有效性。近年的相关进展，例如分层自注意力 [^9]，聚焦于聚合长程上下文信息，这对分割任务尤其有利。但对于关键点估计任务而言，捕获全局依赖的重要性更低。与此不同，本文方法采用局部盒注意力，将注意力集中在相邻局部区域。如表5所示，实验结果证明局部盒注意力的表现优于其他方法。有趣的是，我们发现分层注意力机制反而会略微降低性能。我们推测这是因为基于盒的方法将注意力集中在与每个关键点位置最相关的区域，而长程注意力可能会导致网络忽略局部稠密细节。因此，基于盒的注意力机制能够高效建模局部关键点分布，不会产生过多计算量，也不会因全局聚合导致特征过度平滑。
headshoulderselbowswristshipskneesanklesall
w/o0.06590.09560.14050.18550.08310.10770.15150.1181
stratified0.06500.09110.13470.19950.08190.12450.19190.1266
box0.05700.06690.09480.14670.06700.08200.10840.0887
Table 5. Different self-attention methods. w/o denotes no attention applied.
### 6. 结论 本文提出了一种用于从点云估计稠密人体姿态的新型三维全稀疏神经网络。我们的方法结合了多个新颖组件，包括稀疏选择核层、盒注意力层、空间感知多尺度BEV融合和混合特征学习，能够准确预测人体关键点。在Waymo数据集上开展的实验证明了本文方法相较于现有最优方法的优势，无论是与在相同数据上训练的其他方法相比，还是与使用额外数据训练的其他方法相比，本文方法都取得了性能提升。 尽管取得了这些进展，我们仍进一步明确了未来有待探索和改进的若干方向。如上所述，本工作使用的训练数据量较小，使用更大规模的数据集可进一步提升模型性能。我们当前研究聚焦于单帧点云，未来工作可挖掘利用激光雷达点云序列中的时序信息。此外，相较于直接估计关键点，未来研究可采用逆运动学将人体运动的物理约束纳入模型。除了优化估计得到的关键点位置外，这一方法对于处理运动过程中的遮挡这类实际场景挑战尤其有效。 ## 参考文献 [^1]: Xiaozhi Chen, Huimin Ma, Ji Wan, Bo Li, and Tian Xia. Multi-view 3d object detection network for autonomous driving. In Proceedings of the IEEE conference on Computer Vision and Pattern Recognition, pages 1907–1915, 2017. 4 ## [^2]: Yukang Chen, Jianhui Liu, Xiangyu Zhang, Xiaojuan Qi, and Jiaya Jia. Voxelnext: Fully sparse voxelnet for 3d object detection and tracking. In Proceedings of the IEEE/CVF Con- --- 《计算机视觉与模式识别会议》，2023年。2, 4, 7, 1 [^3]: Zehui Chen, Zhenyu Li, Shiquan Zhang, Liangji Fang, Qinhong Jiang, and Feng Zhao. Autoalignv2: Deformable feature aggregation for dynamic multi-modal 3d object detection. ECCV, 2022. 6 [^4]: Benjamin Graham, Martin Engelcke, and Laurens Van Der Maaten. 3d semantic segmentation with submanifold sparse convolutional networks. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 9224–9232, 2018. 2 [^5]: Jie Hu, Li Shen, and Gang Sun. Squeeze-and-excitation networks. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 7132–7141, 2018. 3 [^6]: Jordan SK Hu and Steven L Waslander. Pattern-aware data augmentation for lidar 3d object detection. In 2021 IEEE International Intelligent Transportation Systems Conference (ITSC), pages 2703–2710. IEEE, 2021. 6 [^7]: Yihan Hu, Zhuangzhuang Ding, Runzhou Ge, Wenxin Shao, Li Huang, Kun Li, and Qiang Liu. Afdetv2: Rethinking the necessity of the second stage for object detection from point clouds. In Proceedings of the AAAI Conference on Artificial Intelligence, pages 969–979, 2022. 1 [^8]: Sheng Jin, Lumin Xu, Jin Xu, Can Wang, Wentao Liu, Chen Qian, Wanli Ouyang, and Ping Luo. Whole-body human pose estimation in the wild. In Proceedings of the European Conference on Computer Vision (ECCV), 2020. 2 [^9]: Xin Lai, Jianhui Liu, Li Jiang, Liwei Wang, Hengshuang Zhao, Shu Liu, Xiaojuan Qi, and Jiaya Jia. Stratified transformer for 3d point cloud segmentation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 8500–8509, 2022. 3, 4, 8 [^10]: Xin Lai, Yukang Chen, Fanbin Lu, Jianhui Liu, and Jiaya Jia. Spherical transformer for lidar-based 3d recognition. In CVPR, 2023. 3 [^11]: Alex H Lang, Sourabh Vora, Holger Caesar, Lubing Zhou, Jiong Yang, and Oscar Beijbom. Pointpillars: Fast encoders for object detection from point clouds. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 12697–12705, 2019. 2 [^12]: Hei Law and Jia Deng. Cornernet: Detecting objects as paired keypoints. In Proceedings of the European conference on computer vision (ECCV), pages 734–750, 2018. 1 [^13]: Xiang Li, Wenhai Wang, Xiaolin Hu, and Jian Yang. Selective kernel networks. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 510–519, 2019. 3 [^14]: Yangyan Li, Rui Bu, Mingchao Sun, Wei Wu, Xinhan Di, and Baoquan Chen. Pointcnn: Convolution on x-transformed points. Advances in neural information processing systems, 31, 2018. 2 [^15]: Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, and C Lawrence Zitnick. Microsoft coco: Common objects in context. In Computer Vision–ECCV 2014: 13th European Conference, Zurich, Switzerland, September 6-12, 2014, Proceedings, Part V 13, pages 740–755. Springer, 2014. 3 [^16]: Tsung-Yi Lin, Priya Goyal, Ross Girshick, Kaiming He, and Piotr Dollár. Focal loss for dense object detection. In Proceedings of the IEEE international conference on computer vision, pages 2980–2988, 2017. 1 [^17]: Zhijian Liu, Haotian Tang, Yujun Lin, and Song Han. Point-voxel cnn for efficient 3d deep learning. In Advances in Neural Information Processing Systems, 2019. 5 [^18]: Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. arXiv preprint arXiv:1711.05101, 2017. 6 [^19]: Xiaoxuan Ma, Jiajun Su, Chunyu Wang, Hai Ci, and Yizhou Wang. Context modeling in 3d human pose estimation: A unified perspective. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 6238–6247, 2021. 2 [^20]: Daniel Maturana and Sebastian Scherer. Voxnet: A 3d convolutional neural network for real-time object recognition. In 2015 IEEE/RSJ international conference on intelligent robots and systems (IROS), pages 922–928. IEEE, 2015. 2 [^21]: Alejandro Newell, Kaiyu Yang, and Jia Deng. Stacked hourglass networks for human pose estimation. In Computer Vision–ECCV 2016: 14th European Conference, Amsterdam, The Netherlands, October 11-14, 2016, Proceedings, Part VIII 14, pages 483–499. Springer, 2016. 1, 2 [^22]: Charles R Qi, Hao Su, Kaichun Mo, and Leonidas J Guibas. Pointnet: Deep learning on point sets for 3d classification and segmentation. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 652–660, 2017. 2 [^23]: Charles Ruizhongtai Qi, Li Yi, Hao Su, and Leonidas J Guibas. Pointnet++: Deep hierarchical feature learning on point sets in a metric space. Advances in neural information processing systems, 30, 2017. 2 [^24]: Shaoshuai Shi, Xiaogang Wang, and Hongsheng Li. Point-cnn: 3d object proposal generation and detection from point cloud. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 770–779, 2019. 1 [^25]: Shaoshuai Shi, Zhe Wang, Xiaogang Wang, and Hongsheng Li. Part-a^2 net: 3d part-aware and aggregation neural network for object detection from point cloud. arXiv preprint arXiv:1907.03670, 2019. 1 [^26]: Shaoshuai Shi, Chaoxu Guo, Li Jiang, Zhe Wang, Jianping Shi, Xiaogang Wang, and Hongsheng Li. Pv-rcnn: Point-voxel feature set abstraction for 3d object detection. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 10529–10538, 2020. 1, 2, 5 [^27]: Jamie Shotton, Andrew Fitzgibbon, Mat Cook, Toby Sharp, Mark Finocchio, Richard Moore, Alex Kipman, and Andrew Blake. Real-time human pose recognition in parts from single depth images. In CVPR 2011, pages 1297–1304. Ieee, 2011. 2 [^28]: Leslie N Smith. A disciplined approach to neural network hyper-parameters: Part 1—learning rate, batch size, momentum, and weight decay. arXiv preprint arXiv:1803.09820, 2018. 6 ### [^29]: Leslie N Smith and Nicholay Topin. Super-convergence: Very fast training of neural networks using large learning rates. In Artificial intelligence and machine learning --- 面向多域作战应用，第369–386页，SPIE，2019年。6 [^30]: Ke Sun, Bin Xiao, Dong Liu, and Jingdong Wang. Deep high-resolution representation learning for human pose estimation. In CVPR, 2019. 1, 2 [^31]: Pei Sun, Henrik Kretzschmar, Xerxes Dotiwalla, Aurelien Chouard, Vijaysai Patnaik, Paul Tsui, James Guo, Yin Zhou, Yuning Chai, Benjamin Caine, Vijay Vasudevan, Wei Han, Jiquan Ngiam, Hang Zhao, Aleksei Timofeev, Scott Ettinger, Maxim Krivokon, Amy Gao, Aditya Joshi, Yu Zhang, Jonathon Shlens, Zhifeng Chen, and Dragomir Anguelov. Scalability in perception for autonomous driving: Waymo open dataset. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2020. 2, 6 [^32]: Hugues Thomas, Charles R Qi, Jean-Emmanuel Deschaud, Beatriz Marcotegui, François Goulette, and Leonidas J Guibas. Kpconv: Flexible and deformable convolution for point clouds. In Proceedings of the IEEE/CVF international conference on computer vision, pages 6411–6420, 2019. 2 [^33]: Alexander Toshev and Christian Szegedy. Deeppose: Human pose estimation via deep neural networks. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 1653–1660, 2014. 1, 2 [^34]: Zhenzhen Weng, Alexander S Gorban, Jingwei Ji, Mahyar Najibi, Yin Zhou, and Dragomir Anguelov. 3d human keypoints estimation from point clouds in the wild without human labels. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 1158–1167, 2023. 2, 6, 7 [^35]: Yan Yan, Yuxing Mao, and Bo Li. Second: Sparsely embedded convolutional detection. Sensors, 18(10):3337, 2018. 2, 4, 6 [^36]: Zetong Yang, Yanan Sun, Shu Liu, and Jiaya Jia. 3dssd: Point-based 3d single stage object detector. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 11040–11048, 2020. 2 [^37]: Dongqiangzi Ye, Yufei Xie, Weijia Chen, Zixiang Zhou, and Hassan Foroosh. Lpformer: Lidar pose estimation transformer with multi-task network. arXiv preprint arXiv:2306.12525, 2023. 2 [^38]: Tianwei Yin, Xingyi Zhou, and Philipp Krahenbuhl. Center-based 3d object detection and tracking. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 11784–11793, 2021. 2 [^39]: Andrei Zanfir, Mihai Zanfir, Alex Gorban, Jingwei Ji, Yin Zhou, Dragomir Anguelov, and Cristian Sminchisescu. Hum3dil: Semi-supervised multi-modal 3d humanpose estimation for autonomous driving. In Conference on Robot Learning, pages 1114–1124. PMLR, 2023. 2, 6, 7 [^40]: Jingxiao Zheng, Xinwei Shi, Alexander Gorban, Junhua Mao, Yang Song, Charles R Qi, Ting Liu, Visesh Chari, Andre Cornman, Yin Zhou, et al. Multi-modal 3d human pose estimation with 2d weak supervision in autonomous driving. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 4478–4487, 2022. 2, 6, 7 [^41]: Yin Zhou and Oncel Tuzel. Voxelnet: End-to-end learning for point cloud based 3d object detection. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2018. 2 #### [^42]: Yufan Zhou, Haiwei Dong, and Abdulmotaleb El Saddik. Learning to estimate 3d human pose from point cloud. IEEE Sensors Journal, 20(20):12334–12342, 2020. 2 --- ##### VoxelKP：面向激光雷达数据中人体关键点估计的基于体素的网络架构 补充材料 ##### A. 技术细节 本节将介绍所用网络、损失函数和评价指标的额外技术细节。 #### A.1. 补充网络细节 主干模块和预测头的结构如图6和图7所示。主干模块包含带跳跃连接的CONV-BN-ReLU块，用于提取低层次特征。它包含一个下采样层，以得到尺寸更小的特征图。本模型共使用七个预测头，分别预测：1）边界框尺寸，2）边界框旋转角度，3-5）框中心和关键点沿x、y、z轴的位置，6）关键点可见性，7）交并比（IoU）。值得注意的是，遵循[^7]的工作，我们加入了IoU预测来提升模型性能。 ![Image](images/55f1925facec5771dfe3b0eb739b58bc725b6a017b6a09c7a580ba2a32e01188.jpg)
Figure 6. The architecture of the stem module.
##### A.2. 损失函数 我们在本研究中使用了三种损失，其中包含骨架损失。需要说明的是，为了计算损失，我们将真实标注转换为与预测结果相同的稀疏表示形式。 热力图损失 我们的网络输出一组热力图，每个类别对应一张热力图。这种热力图编码方式允许我们的模型同时对三维空间中的目标进行分类和定位。在训练阶段，我们为正样本分配热力图索引 ![Image](images/169cef473fb603abda01c04bca36ac11fad0737e021bd0f4b18e7727e57c55cd.jpg)
Figure 7. The architecture of prediction heads.
基于真实标注。具体而言，我们找到距离标注边界框中心最近的体素，将该体素标记为正热图值。我们使用改进的focal损失函数对这些热图进行监督[^2] [^12] [^16]。给定标注热图I和预测热图$\hat{I}$，可得： $$ F L(I,\hat{I})=\frac{-1}{N}\sum_{c=1}^{C}\sum_{v=1}^{V}\begin{cases}{(1-\hat{I})^{\alpha}\cdot\operatorname{l o g}(\hat{I}),}&{\mathrm{i f}\;I=1}\\ {\operatorname{l o g}\left(1-\hat{I}\right)\cdot\hat{I}^{\alpha}\cdot(1-I)^{\beta},}&{\mathrm{o t h e r w i s e}}\\ \end{cases}, $$ 其中N、C、V分别为批次大小、通道数和体素数量。$\alpha$和$\beta$是用于对每个体素加权的超参数。遵循$\alpha = 2$的设置，我们在本工作中使用$\beta = 4$和[^12]。 L1回归损失 我们针对坐标和关键点可见性的其他预测头采用简单的L1损失。设真值和预测值分别为Y和$\hat{Y}$，可得： $$ L1(Y,\hat{Y})=\frac{1}{N}\sum_{c=1}^{C}||Y-\hat{Y}||_{1}. $$ 骨架正则化 我们提出使用骨架损失来编码关于关键点相对位置的先验信息。为此，我们在损失函数中加入了骨长度正则化项。该项计算真实骨长度与预测骨长度之间的距离。具体来说，给定真实关键点位置Y和预测关键点位置 $\hat{Y}$，我们首先通过计算相连关键点对之间的欧氏距离，得到骨架骨长度 $BL(Y)$ 和 $BL(\hat{Y})$。随后骨架损失被计算为预测骨长度 $h(\cdot)$ 与真实骨长度 $BL(\hat{Y})$ 之间的Huber损失 $BL(Y)$，可得： $$ \mathbf{SK}(\hat{Y},Y)=h(BL(\hat{Y}),BL(Y)). $$ --- 这会强制模型预测符合人类骨架骨长度生物力学约束的关键点位置。让预测骨长度的分布与真实分布匹配，能够让模型感知不同关节之间的空间关系。骨架损失会对违反骨长度物理约束的预测关键点进行惩罚，是合理人体姿态的强先验。 ##### A.3. 指标 我们使用平均每个关节位置误差（MPJPE）、姿态估计指标（PEM）和目标关键点相似度（OKS）来评估我们的方法。形式化定义如下：设 $\hat{Y} \in \mathbb{R}^{J \times 3}$ 为人体的预测关键点，$Y \in \mathbb{R}^{J \times 3}$ 为真实关键点，$v_j \in 0,1$ 为每个关节j的可见性。MPJPE指标定义为： $$ \mathbf{M P J P E}(Y,\hat{Y})=\frac{1}{\sum_{j}v_{j}}\sum_{j\in[J]}v_{j}||y_{j}-\hat{y}_{j}||_{2}. $$ 需要注意的是，MPJPE要求预测关键点与真实关键点之间是一一匹配的。因此，在计算MPJPE之前，我们使用匈牙利匹配算法对预测关键点和标注关键点进行匹配。 PEM进一步考虑了匹配精度，它本质上是可见匹配关键点的MPJPE之和，再加上对未匹配关键点的惩罚。需要注意的是，未匹配关键点既包括没有匹配到预测关键点的真实关键点，也包括没有匹配到真实目标的预测关键点。 $$ \mathrm{PEM}(Y,\hat{Y})=\frac{\sum_{i\in M}||y_{j}-\hat{y}_{j}||_{2}+C|U|}{|M|+|U|}, $$ 其中M是匹配关键点的索引集合，$|U|$ 是未匹配关键点的索引集合，$C = 0.25$ 是每个未匹配关键点的常数惩罚项。 此外，我们在本工作中还加入了经典指标OKS。OKS指标不是按每个关键点计算的，它是针对每个人体计算的相对指标。在OKS中，每个真实目标都有一个尺度s，我们将其定义为目标分割区域面积的平方根。OKS是对所有标注关键点计算得到的算术平均值。 ![Image](images/b01010ea535be827b6ca31ff10858d76f0fd877e4c7ba049e8fd3989b35167ad.jpg)
Figure 8. A visual demonstration of the baseline model (top row) and the proposed VoxelKP (bottom row) on matched human objects.
--- ![Image](images/eb13d72f7d6c38d3716e1a15267b98b77485a01fe2bf41e74b38651b31aed1fb.jpg)
Figure 9. A visual demonstration of the baseline model (top left) and the proposed VoxelKP (top right). Our method detects the human objects that the baseline method fails to. The bottom line shows object-level keypoint localization performance.
在一个实例中。 $$ OKS=\frac{\sum_{j}e^{-\frac{d_{j}^{2}}{2s^{2}k_{j}^{2}}v_{j}}}{\sum_{i}v_{j}} $$ 其中 $d_{j}$ 是对应真实关键点与检测关键点之间的欧氏距离，$k_{j}$ 是COCO提供的每个关节的常数 [^15]。报告的OKS@KP是对多个OKS值取平均得到的，这些OKS值对应从0.50开始、步长为0.05、到0.95结束的一系列OKS阈值。 #### B. 可视化结果 我们在本节中展示了更多的可视化结果。主要来说，图8展示了我们的方法能够更精确地定位关键点，图9展示了我们的方法比基线方法能更好地检测人体目标。