# 两个脑袋总比一个好：用于基于深度的3D手部姿态估计的图像-点云网络 任鹏飞、陈宇辰、郝佳昌、孙海峰、齐琪 $^{*}$、王景宇 $^{*}$、廖建新 北京邮电大学网络与交换技术国家重点实验室 {rpf, cyc99, haojc, hfsun, qiqi8266, wangjingyu, liaojx}@bupt.edu.cn ## 摘要 深度图像和点云是基于深度的3D手部姿态估计中最常用的两种数据表示形式。由于图像数据的结构化特性以及二维卷积神经网络（CNN）固有的归纳偏差，基于图像的方法效率极高且效果出色。然而，将深度数据视为二维图像必然会忽略其三维特性。基于点云的方法能够更好地挖掘深度数据的三维几何结构，但这类方法受限于点云数据的无序性和非结构性，计算效率较低。在本文中，我们提出了一种用于精确且鲁棒地进行3D手部姿态估计的图像-点云网络（IPNet）。IPNet利用二维CNN在二维图像空间提取视觉表征，并在三维点云空间进行迭代校正，以充分利用深度数据的三维几何信息。具体而言，我们提出了一种基于稀疏锚点的“聚合-交互-传播”范式，用以增强点云特征并优化手部姿态，从而减少不规则的数据访问操作。此外，我们将3D手部模型引入迭代校正过程，显著提升了IPNet对遮挡和深度空洞的鲁棒性。实验表明，在三个具有挑战性的手部数据集上，IPNet的性能均优于现有最先进的方法。 ## 引言 手部是人类与世界互动及传递意图的重要工具。3D手部姿态估计是人机交互、虚拟现实和增强现实领域的核心技术。尽管基于深度的3D手部姿态估计已取得长足进展，但仍存在一些难以解决的挑战性场景，主要源于严重的遮挡问题——包括自身遮挡和物体遮挡，以及手指间的相似性干扰。 根据输入数据的不同，基于深度的3D手部姿态估计大致可分为两类：基于二维图像的方法和基于三维数据的方法。基于二维图像的方法（Oberweger和Lepetit 2017；Wan等人2018；Xiong等人2019；Ren等人2019；Huang等人2020b）将深度数据视为单通道深度图像，随后利用二维卷积神经网络（CNN）进行3D手部姿态估计。凭借成熟优化的网络结构和固有的归纳偏差，二维CNN在提取局部视觉特征方面具备优势。得益于图像的规则结构以及高度并行化的数据处理机制（滑动窗口），二维CNN在现代硬件上的计算效率很高。基于三维数据的方法会将深度数据转换为三维点云（Ge等人2018a；Ge、Ren和Yuan 2018a；Chen等人2018、2019；Huang等人2020a）或体素表示（Ge等人2018b；Moon、Chang和Lee 2018；Malik等人2021），再利用点云网络或三维CNN进行姿态估计。这些方法能够避免投影带来的信息损失，更好地感知深度数据的三维几何结构。 尽管这两类方法在3D手部姿态估计领域都取得了显著进展，但各自仍存在不足。对于基于2D图像的方法而言，视觉表征的学习过程忽略了深度数据的3D特性，且受卷积运算的局部感受野机制限制，难以捕捉长距离依赖关系。而对于基于点云的方法，由于点云本身具有无序、非结构化且分布不均的特点，主流的点云网络需要密集且动态地构建局部邻域，并采用复杂的特征提取器（Qi等人，2017年；Wang等人，2019年；Thomas等人，2019年；Li等人，2018年）。由于内存访问的不规则性以及动态内核带来的开销，点云网络的计算成本较高。此外，这些方法通常还需要额外的预处理或后处理来辅助点云特征的学习。对于基于3D体素的方法，3D卷积运算的效率更低，且3D体素化过程需要大量内存来存储输入数据及中间特征，因此很难提升输入分辨率与网络结构的规模。 在以往的研究中，深度数据要么被当作2D图像处理，要么被视作3D点云，前者会忽略深度数据的3D几何结构，后者则需消耗巨大计算资源来提取逐点特征。在本文中，我们提出了一种图像-点云网络（IPNet），该网络结合了这两种数据表示形式，以充分发挥它们各自的独特优势。首先，我们的方法将深度数据表示为2D图像，并利用2D CNN进行视觉表征学习与初始姿态估计。随后，我们将2D图像特征投影到点云空间，进行迭代式特征增强与姿态校正。 --- 在3D空间中，这种方法能够充分利用深度数据的几何结构信息。具体而言，我们摒弃了主流点云网络中采用的密集局部特征提取与分层网络结构（Qi等人，2017年；Thomas等人，2019年）。取而代之的是，我们提出了一种基于稀疏锚点的“聚合-交互-传播”范式。具体来说，我们以手部关节作为锚点，聚合局部邻域的3D空间信息；随后利用图卷积网络（GCN）实现锚点间的信息交互，从而捕捉不同手部区域间的长距离依赖关系。最后，我们将锚点信息反向传播以更新点云特征，进而完成逐点手部姿态估计。 此外，为了提升IPNet应对严重遮挡与深度空洞情况的鲁棒性，我们在迭代优化过程中引入了3D手部模型。具体而言，在每个优化阶段，我们都会额外估算一个3D手部模型（Romero、Tzionas和Black，2017年）。接着，我们通过3D感知的重参数化方式，构建从模型表面采样得到的点云的对应语义特征。来自手部模型的点云信息能为后续优化阶段提供强有力的歧义消除线索，尤其适用于因遮挡或深度空洞而缺乏深度信息的手部区域。代码可在获取。 我们在三个具有挑战性的手部数据集上开展了实验（NYU（Tompson等人，2014年）、HO-3D（Hampali等人，2020年）以及DexYCB（Chao等人，2021年））。实验结果表明，IPNet的性能优于现有最先进的方法，尤其是在手部与物体交互的场景中表现尤为突出。 我们的贡献可总结如下： - 我们提出了一种混合网络架构（IPNet），该架构同时利用二维深度图像和三维点云来实现鲁棒且精确的三维手部姿态估计。 - 我们提出了一种基于稀疏锚点的迭代校正范式，该范式能够高效且有效地利用深度数据的三维几何结构信息。 - IPNet在三个具有挑战性的数据集上取得了最先进的性能，在手部与物体交互场景中，其表现大幅优于以往的方法。 ## 相关工作 ## 基于深度的三维手部姿态估计 近年来，深度神经网络的进步推动了基于深度的三维手部姿态估计的发展。以往的研究大致可分为两类：基于二维图像的方法（Wan等人，2018年；Xiong等人，2019年；Oberweger和Lepetit，2017年；Ren等人，2019年；Huang等人，2020b年；Fang等人，2020年）以及基于三维数据的方法（Ge等人，2018a年；Ge、Ren和Yuan，2018a年；Ge等人，2018b年；Moon、Chang和Lee，2018年；Malik等人，2020年；Huang等人，2020a年）。基于二维图像的方法忽略了深度数据的三维几何特性。因此，一些方法试图通过估计三维感知表示（Huang等人，2020b年；Wan等人，2018年）或进行多视角预测（Ge等人，2016年；Cheng等人，2022年）来挖掘深度数据的三维空间信息。不过，这些方法仅在网络预测阶段才纳入三维信息。 ![Image](images/d5cdfcbf00dfb2cb86027df5361ceb5430911bc362aa27f23631f9dd8afef306.jpg)
Figure 1: Overview. IPNet utilizes a 2D CNN for visual feature extraction and initial hand pose estimation. Then, IPNet obtains the initial point cloud features through a 2D-3D projection module. Finally, IPNet iteratively updates point features and refines hand pose in the 3D point cloud space.
并且在视觉特征学习过程中忽略了深度数据的三维结构信息。 基于三维数据的方法通常将深度数据表示为三维体素或三维点云。然而，基于三维体素的方法（Moon、Chang和Lee，2018年；Ge等人，2018b年）使用3D CNN从三维体积中回归三维手部姿态，这种方式计算效率较低。三维点云作为深度数据的自然且紧凑的表示形式，受到了广泛关注。不过，点云网络（Qi等人，2017年；Wang等人，2019年）依赖密集且复杂的局部几何提取器以及分层特征学习范式，这会带来巨大的计算开销和内存访问负担。此外，单纯增加网络的深度或宽度难以提升点云网络的性能（Ma等人，2022年）。因此，以往的方法不得不采用复杂的预处理步骤，如表面法线估计（Ge等人，2018a年）和定向边界框计算（Ge、Ren和Yuan，2018a年），辅助任务（Chen等人，2018年），或者后处理操作，如指尖细化（Ge等人，2018a年），以提高姿态估计精度，而这进一步降低了基于点云方法的推理速度。 ## 迭代校正机制 在手部与人体姿态估计任务中，迭代校正机制已被广泛研究。部分研究提出利用估计的姿态来提取局部深度图块（Oberweger、Wohlhart和Lepetit，2015）或特征图块（Chen等人，2020），以便回归出更精细的姿态。然而，这些方法忽略了深度数据的三维特性，且容易陷入局部最优。一些方法（Ren等人，2019年、2021年）将估计的姿态重新参数化为具有三维感知能力的表示，并将其输入后续的校正器。不过，这些方法采用二维CNN作为校正器，在二维特征空间中进行姿态细化，仍无法充分利用输入深度数据的三维空间信息。某些人体网格估计方法则提出将估计的三维模型信息投影回一维全局特征空间（Kanazawa等人，2018年）或二维视觉特征空间（Zhang等人，2021年）以实现迭代校正。我们的方法直接在三维点云空间中进行细化校正，从而能更好地利用估计结果的空间结构信息。 --- ![Image](images/11ec6b8760ac4a7deb62644d9c682f6491777ea2eb18db62aafe885caf782701.jpg)
Figure 2: Illustration of the projection from 2D visual features to 3D point cloud features.
三维手部姿态与三维手部网格。 ## 方法 ## 概述 如图1所示，IPNet主要由两部分组成：第一部分基于二维图像进行二维视觉特征学习与初始姿态估计；第二部分基于三维点云进行三维几何特征学习与姿态细化。在二维图像空间中，我们利用全卷积网络提取语义视觉特征并进行像素级姿态回归。在三维点云空间中，我们稀疏地构建局部邻域并提取三维几何结构信息，从而迭代细化初始手部姿态。 ## 二维空间中的视觉特征与姿态估计 深度数据可表示为二维图像，其中每个像素值代表图像平面到物体表面的距离。与（Huang等人，2020b；Wan等人，2018年）的研究类似，我们采用编码器-解码器架构来保留视觉特征的二维空间结构，并更好地利用局部证据。我们从二维视觉特征$\mathbf{F}^{2d} \in \mathbb{R}^{C \times H \times W}$中估计三种像素级姿态表示，包括三维热图$\mathbf{H}^{pixel} \in \mathbb{R}^{J \times H \times W}$、三维方向向量场$\mathbf{D}^{pixel} \in \mathbb{R}^{(3 \times J) \times H \times W}$以及权重图$\mathbf{W}^{pixel} \in \mathbb{R}^{J \times H \times W}$。此处，C、H、W、J分别代表通道数、特征图的高度、宽度以及关节数量。$\mathbf{H}^{pixel}$和$\mathbf{D}^{pixel}$分别表示每个像素到目标关节的三维欧几里得距离和三维单位方向。$\mathbf{W}^{pixel}$则表示每个像素对目标关节的重要性。基于这三种像素级表示，我们可以通过加权平均算法（Ren等人，2022年）得到初始三维手部姿态$\mathbf{J}^{init} \in \mathbb{R}^{3 \times J}$。 ## 二维到三维投影 给定输入深度数据的三维点云$\mathbf{P} \in \mathbb{R}^{3 \times N}$、二维视觉特征图$\mathbf{F}^{2d}$以及初始三维手部姿态$\mathbf{J}^{init}$，我们通过二维到三维投影模块构建初始点云特征$\mathbf{F}^{3d} \in \mathbb{R}^{C \times N}$。三维点云特征$\mathbf{F}^{3d}$包含三种特征：投影后的二维视觉特征、重新参数化的手部姿态信息以及点位置信息。如图2所示，为了获得点p的投影特征$\mathbf{F}_{p}^{proj} \in \mathbb{R}^{C}$，我们从二维视觉特征图$\mathbf{F}^{2d}$中选出距离p最近的K个元素，并根据它们到点p的三维欧几里得距离d进行插值处理： ![Image](images/96e740f43b6b4f10ab9a50004aea8de983b176363da3b355f94fdead953dc14c.jpg)
Figure 3: Pose re-parameterization. We only visualize the 3D heatmap and the vector field of one joint. The color bar represents the relationship between 3D distance and color.
到点 p 的 3D 欧几里得距离 d： $$ \mathbf{F}_{p}^{p r o j}=\frac{\sum_{k=1}^{K}\mathbf{d}_{p,k}\cdot\mathbf{F}_{k}^{2d}}{\sum_{k=1}^{K}\mathbf{d}_{p,k}}, $$ 我们默认将K设为4。我们将深度图像下采样为与视觉特征图相同的大小，然后通过相机内参计算每个像素在3D点云空间中的3D坐标，这些坐标被视为每个2D视觉特征元素在3D空间中的位置。 如图3所示，根据初始手部姿态$\mathbf{J}^{init}$，我们将每个3D点的坐标重新参数化为3D热图$\mathbf{H}^{point} \in \mathbb{R}^{J \times N}$以及指向关节j的3D单位方向向量$\mathbf{D}^{point} \in \mathbb{R}^{(3 \times J) \times N}$，具体形式如下： $$ \mathbf{H}_{j}^{p o i n t}(p)=\begin{cases}{1-\frac{\left\|\mathbf{P}_{p}-\mathbf{J}_{j}^{i n i t}\right\|_{2}}{r}}&{\left\|\mathbf{P}_{p}-\mathbf{J}_{j}^{i n i t}\right\|_{2}\leq r,}\\ {0}&{\mathrm{o t h e r w i s e}.}\\ \end{cases} $$ $$ \mathbf{D}_{j}^{p o i n t}(p)=\begin{cases}{\frac{\mathbf{P}_{p}-\mathbf{J}_{j}^{i n i t}}{\left\|\mathbf{P}_{p}-\mathbf{J}_{j}^{i n i t}\right\|_{2}}}&{\left\|\mathbf{P}_{p}-\mathbf{J}_{j}^{i n i t}\right\|_{2}\leq r,}\\ {0}&{\mathrm{o t h e r w i s e}.}\\ \end{cases}, $$ 其中r表示每个点的最大感知距离。由于不同的点特征（即3D坐标、投影后的视觉特征以及重新参数化的手部姿态）具有不同的属性和分布，我们通过通道去差异化处理（Ran、Liu和Wang，2022年）将它们平等融合，从而提高训练稳定性。每种类型的特征都会经过独立的归一化层： $$ \begin{align*}\mathbf{F}^{3d}=ReLU(&BN\left(\mathbf{W}_{0}\mathbf{P}\right)+BN\left(\mathbf{W}_{1}\mathbf{F}^{proj}\right)+\\&BN\left(\mathbf{W}_{2}\left[\mathbf{H}^{point};\mathbf{D}^{point}\right]\right)),\end{align*} $$ 其中$\mathbf{W}_0$、$\mathbf{W}_1$和$\mathbf{W}_2$是用于点特征嵌入的三个可学习参数矩阵；$\text{ReLU}$和$\text{BN}$分别代表$\text{ReLU}$激活函数和批量归一化层（Ioffe和Szegedy，2015年）。基于点云特征和估计的关节坐标，我们根据逐点权重图$\mathbf{F}^{anchor}$聚合初始锚点特征$\mathbf{W}^a$，具体过程如下： $$ \mathbf{F}^{a n c h o r}=R e L U\left(B N\left(\mathbf{W}_{3}\mathbf{J}^{i n i t}\right)+B N\left(\mathbf{W}_{4}\mathbf{F}^{3d}\mathbf{W}^{a}\right)\right), $$ 其中$W_3$和$W_4$是用于锚点特征嵌入的两个可学习参数矩阵。逐点权重图$W^a$可以通过类似$W^{pixel}$的插值过程从像素级权重图$F^{proj}$中获取。 --- ![Image](images/e547529fc9f797f504981a1132da50e93bc8176e1c48f05a820ca47f6820cb06.jpg)
Figure 4: Illustration of the “aggregation-interaction-propagation” paradigm. The blue dots represent anchors and the grey dots represent the point cloud. The gray lines between the anchors represent the bone structure of the hand. For illustration purposes, we only show local feature aggregation and feature propagation in a single neighborhood.
## 3D空间中的迭代校正 深度数据中的3D几何信息对于准确且稳健的3D手部姿态估计至关重要。点云作为深度数据的自然表现形式，能够避免由投影或体素化引起的信息丢失。然而，主流的点云网络（Qi等人，2017年；Thomas等人，2019年；Li等人，2018年）通过最远点采样算法密集构建局部邻域并执行复杂的局部特征提取，这大大增加了网络的推理时间。同时，这些方法采用分层网络结构来逐步扩大感受野并捕捉不同点云区域间的长距离依赖关系，这也提高了计算复杂度。为解决这些问题，我们提出了一种基于锚点的“聚合-交互-传播”范式，以高效提取3D点云空间中的3D几何结构信息。 得益于初始点云特征$\mathbf{F}^{3d}$强大的表征能力，我们的方法既无需进行密集的局部特征提取，也无需耗时预处理。相反，该方法专注于捕捉3D点云关键区域的细粒度几何特征。如图4所示，我们以估计出的手部关节作为锚点来构建局部邻域并聚合特征，这大大减少了不规则的内存访问和特征提取操作。首先，我们通过球查询获取每个锚点的K个邻居。实践中我们默认将K设为64。随后，这些邻居特征会经过一系列多层感知机（MLP）的转换。我们使用降维层（最大池化）来聚合局部特征。对于第i个锚点，局部操作可表述如下： $$ \mathbf{F}_{i}^{a n c h o r}=MAX\left(\Phi_{c d}\left(\mathbf{F}_{i,j},\mathbf{P}_{i,j}\right),|j=1,\cdots,K\right), $$ 其中，$\Phi_{cd}$ 表示具有通道去差异化的特征映射函数；$\mathbf{F}_{i,j}$ 和 $\mathbf{P}_{i,j}$ 分别是第 i 个锚点的第 j 个邻近相对点特征 $(\mathbf{F}_i - \mathbf{F}_j)$ 和相对位置 $(\mathbf{P}_i - \mathbf{P}_j)$。$\Phi_{cd}$ 由多个全连接（FC）层、批量归一化层和激活层组成。特别地，特征映射函数 $\Phi_{cd}$ 的第一层采用了通道去差异化技术，其公式可表示为： $$ \mathbf{F}_{i}^{a n c h o r,1}=R e L U\left(B N\left(\mathbf{W}_{p}\mathbf{P}_{i,j}\right)+B N\left(\mathbf{W}_{f}\mathbf{F}_{i,j}\right)\right)_{(7} $$ 与以往的研究（Qi等人，2017年）类似，我们采用了多尺度聚合方法。具体来说，对于每个锚点，我们在 0.1、0.2 和 0.4 的范围内进行局部特征聚合，然后将多尺度特征拼接在一起并嵌入为锚点特征。 受CNN的启发，点云网络通常采用分层网络结构来逐步扩大感受野并建模长距离依赖关系。然而，这种分层结构会显著增加网络的计算负担并降低网络的推理速度。在我们的方法中，根据手部的骨骼结构，我们利用SemGCN（Zhao等人，2019年）在锚点之间传递信息，以建模长距离关系。随后，与（Qi等人，2017年）的方法类似，对于每个点，我们选择最近的K个锚点，通过逆距离加权平均来获得插值特征，默认情况下我们将K设为4。插值特征与原始特征拼接在一起后，经过逐点MLP处理，即可得到更新后的点云特征。最后，我们从更新的点特征中回归出三个逐点表示：3D热图 $\mathbf{H}^{point} \in \mathbb{R}^{(3 \times J) \times N}$、3D单位方向向量场 $\mathbf{D}^{point} \in \mathbb{R}^{(3 \times J) \times N}$ 以及权重场 $\mathbf{W}^{point} \in \mathbb{R}^{J \times N}$，利用这些表示即可通过加权回归得到精修后的3D手部姿态。 ## 融入3D手部模型 自遮挡和物体遮挡是3D手部姿态估计中最具挑战性的问题之一。即便我们充分利用深度数据的局部几何信息并进行长距离信息交互，也难以处理一些严重遮挡的样本。因此，我们在迭代校正阶段引入了手部模型，它为后续网络提供了手部的先验结构信息和强消歧线索。如图4所示，我们采用分层GCN（PoolGCN），通过平均池化操作根据手部结构逐步聚合关节特征，并利用图卷积在每一层对下采样后的关节进行信息交互。 --- 随后，我们通过全连接层回归参数化手部模型（Romero、Tzionas和Black，2017年）的参数。我们将估计出的手部网格的M个顶点 $\mathbf{P}^{mesh} \in \mathbb{R}^{3 \times M}$ 通过姿态重参数化转换为3D热图 $\mathbf{H}^{mesh} \in \mathbb{R}^{J \times M}$ 和单位方向向量场 $\mathbf{D}^{mesh} \in \mathbb{R}^{(J \times 3) \times M}$。最后，$\mathbf{P}^{mesh}$、$\mathbf{H}^{mesh}$ 和 $\mathbf{D}^{mesh}$ 通过逐点MLP嵌入为顶点特征 $\mathbf{F}^{mesh} \in \mathbb{R}^{J \times M}$。顶点特征与点云特征拼接后用于手部姿态回归及后续的迭代校正。手部模型信息可以弥补因遮挡和深度空洞导致的点云信息缺失，从而显著提升我们方法的鲁棒性。 ## 实验 ## 数据集与评估指标 单手数据集NYU（Tompson等人，2014年）包含72,757张训练图像和8,252张测试图像。这是一个具有挑战性的数据集，涵盖了多种手部姿态和图像噪声情况。该数据集为36个关节提供了3D标注。遵循以往的研究（Oberweger和Lepetit，2017年；Moon、Chang和Lee，2018年；Wan等人，2018年），我们从所有标注的关节中选取了14个关节。值得注意的是，由于NYU数据集未提供MANO的标注，我们采用迭代优化方法（Armagan等人，2020年）根据关节标注来获取对应的MANO参数。值得一提的是，正如许多近期研究（Oberweger等人，2016年；Ren等人，2022年）所指出的，ICVL（Tang等人，2014年）、MSRA（Sun等人，2015年）以及BigHand2.2M（Yuan等人，2017年）中的许多图像存在严重的标注错误。因此，我们不在这些数据集上评估我们的方法。 手-物体数据集DexYCB（Chao等人，2021年）是最近由多台RGB-D相机采集的真实手-物体数据集。它包含582,000帧图像，涉及10名不同的受试者以及来自8个视角的20种YCB物体。该数据集有四种官方数据集划分方式，即S0、S1、S2和S3。S0、S1、S2、S3分别表示按序列、受试者、视角和物体来划分数据集。HO-3D（Hampali等人，2020年）是另一个具有挑战性的数据集，其中包含了交互过程中的精确手-物体姿态信息。最常用的HO-3D版本是HO-3D_v2。它包含来自10名受试者的66,034张训练图像和11,524张测试图像，涉及10种不同的物体。最近发布的HO-3D_v3（Hampali、Sarkar和Lepetit，2021年）具有更精确的标注和更多数据，包括83,325张训练图像和20,137张测试图像。HO-3D_v2和HO-3D_v3的评估是通过在线提交网站进行的。 我们使用两个常用的指标来评估我们的方法：平均关节位置误差（MPJPE）和成功帧百分比（PSF）。MPJPE是指每个关节的预测坐标与真实坐标之间的平均3D欧几里得距离。PSF定义为所有测试帧中良好帧所占的比例。如果某一帧中关节误差的最大值小于特定阈值，则该帧被判定为良好帧。
MethodInputMPJPEIF
S0S1S2S3AVG
ResNet-18Depth11.2012.0311.0211.7011.484.3
ConvNeXt-TDepth10.5711.3210.2911.1110.826.4
ConvNeXt-SDepth10.5611.3010.0511.0610.748.5
ConvNeXt-BDepth10.6711.3110.1011.0310.788.6
PointNet++Point10.0210.9311.689.7810.609.5
PointMLPPoint9.6610.8310.899.6010.2510.2
PointMLP $^{*}$Point9.7811.0111.199.7510.4313.7
IPNet-1StageDepth &Point8.439.439.348.488.9210.6
Table 1: Comparisons between different data representations with different backbone networks. We report the MPJPE (mm) on DexYCB dataset. The brackets under our method indicate that we adopt ConvNeXt-T to extract 2D visual features. IF represents the inference time (ms). $*$ represents increasing the number of layers and channels of the network.
## 实现细节 我们在NVIDIA RTX 3090 GPU上训练和评估我们的方法。网络在PyTorch中实现，并使用初始学习率为0.001的AdamW优化器进行训练。对于NYU和HO-3D数据集，学习率在训练到第25个epoch时除以10，训练在第30个epoch时停止；对于DexYCB数据集，学习率在训练到第10个epoch时除以10，训练在第15个epoch时停止。我们将输入的深度图像裁剪为$128 \times 128$，并将点云数量采样为1024。深度图像和3D点云的值会被归一化到[-1, 1]范围内。我们进行数据增强，包括旋转（[-180, 180]）、随机缩放（[0.9, 1.1]）和随机平移（[-10, 10]）。关于网络结构和训练的更多细节详见补充材料。 ## 消融实验 考虑到DexYCB数据集数据量庞大、受试者和物体种类多样且存在多种划分方式，我们在DexYCB数据集上开展了消融实验。 在基于图像的像素级回归任务中，我们选用最常用的ResNet-18（He等人，2016年）以及最新提出的ConNeXt（Liu等人，2022年）作为骨干网络。对于基于点的逐点回归任务，我们选取最具代表性的网络结构PointNet++（Qi等人，2017年）以及最新方法PointMLP（Ma等人，2022年）作为骨干网络。为了公平比较，IPNet仅采用单个校正阶段，且不使用3D手部模型。如表1所示，我们主要得出以下结论：1）基于不同数据表示的方法展现出不同的特性。基于点云的方法在预测包含未见物体（S3）的样本时表现更佳，而基于图像的方法在处理包含未见视角（S2）的样本时更为出色。2）采用设计精良的网络结构能够提升网络性能；不过在此基础上，单纯增加网络宽度或层数带来的提升十分有限。3）同时使用深度图像和点云 ---
IDPEHEFELAGIMCHMMPJPE (mm)
S0S1S2S3
1✓8.969.959.798.91
2✓✓✓8.629.639.618.61
3✓✓8.509.559.468.81
4✓✓✓8.439.439.348.48
5✓✓8.759.559.398.90
6✓8.679.509.358.65
7✓✓✓8.239.259.058.27
8✓✓✓✓8.039.018.607.80
Table 2: We report the MPJPE on DexYCB dataset. 'PE', 'HE', and 'FE' represent the point position information, hand pose information and 2D visual features used in the initial point cloud feature embedding, respectively. 'LA' represents adopting the local feature aggregation. 'GI' represents performing GCN-based long-range interaction. 'MC' stands for multi-stage correction. 'HM' stands for the hand model.
的效果明显优于单独使用图像或点云。值得一提的是，像素级回归框架（Huang等人，2020b年）和逐点回归框架（Ge、Ren和Yuan，2018a年）已经是此前的最优方法，而我们进一步采用了能力更强的新型骨干网络。即便如此，IPNet仍能在相近的推理速度下大幅超越它们。 2D-3D投影的影响：2D CNN为初始点云特征提供了2D视觉特征和3D手部姿态信息，这有助于避免采用密集的局部特征提取和复杂的预处理步骤。如表2所示，仅采用手部姿态信息（ID 2）或投影后的2D视觉特征（ID 3）就能显著提升IPNet的性能。此外，当所有信息共同使用时（ID 4），网络性能还能进一步提升。在后续实验中，我们默认利用全部信息来构建初始点云特征。 迭代校正中各组件的影响：我们首先验证了局部特征聚合与基于图的长程信息交互的作用。如表2所示，若舍弃局部特征聚合（ID 5）或长程信息交互（ID 6），网络性能会有所下降，这说明了显式学习局部几何信息与长程依赖的重要性。接下来，我们探讨了校正阶段数量的影响。如表2所示，从单阶段（ID 4）到三阶段（ID 7），平均MPJPE降低了0.21毫米。最后，我们引入了手部模型信息（ID 8）。尽管采用三阶段校正的网络已经具备极佳的性能，但手部模型的先验信息仍能提升网络对遮挡和深度空洞的鲁棒性，因此仍可显著改善网络性能。采用三阶段校正的IPNet能以约30.9帧/秒的速度实时运行。
MethodInputMPJPE
DeepPrior++ (Oberweger et al. 2017)Depth12.24
Pose-REN (Chen et al. 2020)Depth11.81
DenseReg (Wan et al. 2018)Depth10.21
SRN (Ren et al. 2019)Depth7.79
A2J (Xiong et al. 2019)Depth8.61
JGR-P2O (Fang et al. 2020)Depth8.29
AWR (Huang et al. 2020b)Depth7.48
3DCNN (Ge et al. 2018b)Voxel10.02
V2V-PoseNet (Moon et al. 2018)Voxel8.41
HandVoxNet (Malik et al. 2020)Voxel8.72
SO-HandNet (Chen et al. 2019)Point11.20
HandPointNet (Ge et al. 2018a)Point10.54
P2P (Ge, Ren, and Yuan 2018b)Point9.04
PEL (Li and Lee 2019)Point8.35
NARHT (Huang et al. 2020a)Point9.80
IPNetDepth\n&Point7.17
Table 3: Comparison with SOTA methods of the MPJPE (mm) on NYU (Tompson et al. 2014) dataset.
![Image](images/629ce080a0b128a62ab5a4e6eb4ab3154c2d4f9fe04f304a2bab9c391de763d4.jpg)
Figure 5: Comparison with SOTA methods of the PCK under different thresholds on NYU (Tompson et al. 2014) dataset.
## 与现有最优方法的对比 在NYU数据集上，我们将我们的方法与基于深度的最优方法进行了比较。由于部分方法未提供结果文件，我们无法将其展示在图5中。如表3和图5所示，我们的方法取得了最低的MPJPE值，且在几乎所有阈值下PCK值也最优。在类似的逐元素回归框架下，与仅采用深度图像（DenseReg（Wan等人，2018年）、AWR（Huang等人，2020b年）和A2J（Xiong等人，2019年））或仅采用点云（P2P（Ge、Ren和Yuan，2018b年）以及PEL（Li和Lee，2019年））的方法相比，IPNet的MPJPE值最小。 在HO3D数据集上，部分方法仅在对齐后才报告MPJPE值（即根据标注信息进行旋转、缩放和平移处理），这无法满足增强现实等实际应用场景的需求（Tang、Wang和Fu，2021年），且可能会忽略模型的一些缺陷。因此，本文重点研究MPJPE，并与那些报告MPJPE的方法进行比较。更多其他指标详见我们的补充材料。 ---
MethodInputHO3D_v2HO3D_v3
Hybrik (Li et al. 2021)RGB2.89-
ArtiBoost (Yang et al. 2022)RGB2.532.34
HandOccNet (Park et al. 2022)RGB2.49-
HandVoxNet++ (Malik et al. 2021)Voxel2.46-
IPNetDepth &Point1.811.93
Table 4: The comparison with SOTA methods of the MPJPE (cm) on HO3D_v2 and HO3D_v3 dataset.
补充材料。如表4所示，IPNet在HO3D_v2和HO3D_v3数据集上的表现均大幅优于以往的基于RGB的方法，这说明了深度信息对于三维手部姿态估计的重要性。此外，IPNet的表现也优于基于深度的方法，这表明充分利用深度数据中的三维空间信息同样至关重要。
MethodInputMPJPE
S0S1S2S3AVG
A2JDepth23.9325.5727.6524.9225.52
Spurr et al.RGB17.3422.2625.4918.4418.44
METRORGB15.24----
Tse et al.RGB16.0521.2227.0117.9320.55
HandOccNetRGB14.04----
IPNetDepth &Point8.039.018.607.808.36
Table 5: The comparison with SOTA methods of the MPJPE (mm) on DexYCB (Chao et al. 2021) dataset.
在DexYCB数据集上，由于部分方法是在其特定设置下评估的，我们仅比较那些在官方设置下进行实验的方法，包括A2J（Xiong等人，2019年）、Spurr等人（Spurr等人，2020年）、METRO（Lin、Wang和Liu，2021年）、Tse等人（Tse等人，2022年）以及HandOccNet（Park等人，2022年）。如表5所示，与以往的最先进方法相比，IP-Net在这四种设置下的性能均有显著提升，这体现了深度信息的重要性。无论是在单手场景还是更具挑战性的手-物体交互场景中，IPNet的表现都优于以往的最先进方法。 ## 定性结果 图6展示了NYU、HO3D和DexYCB数据集上的一些定性结果。首先，对于细粒度姿态（第1行）以及手指存在相似性问题的姿态（第2行），IPNet对三维空间信息的感知能力更强，能够更精确地预测指尖位置。其次，对于一些存在严重自遮挡的复杂姿态（第3行和第4行），IPNet能够很好地应对自遮挡带来的不确定性，从而生成比其他最先进方法更准确、更合理的姿态。同时，我们的方法对物体造成的遮挡也具有很强的鲁棒性。一方面，物体遮挡可能导致整个或部分手部姿态崩塌，而我们的方法能够通过迭代校正生成更合理的手部姿态（前四列）。 ![Image](images/d823aa3cb8b78dbd9b02ca416afefeb9df84443517c2264e7eb6d8d615cd1b69.jpg)
Figure 6: Top: Qualitative results for NYU dataset. Each column shows the estimated hand pose for one method. Bottom: Qualitative results for HO3D and DexYCB datasets. The first row represents the initial hand pose of IPNet, and the second row represents the corrected pose of IPNet.
另一方面，由于物体的干扰，估计出的手部姿态可能会发生偏移，而IPNet可以通过利用局部几何信息来纠正这种偏移（最后三列）。 ## 结论 在本文中，我们提出了用于高效且鲁棒的三维手部姿态估计的IPNet。其核心思路是结合深度图像与三维点云的互补优势。我们采用二维CNN高效提取视觉特征，并在图像空间中进行初始姿态估计。随后，我们利用投影后的视觉特征和估计的姿态来构建初始点云特征，并在三维点空间中执行迭代校正。具体而言，我们提出了一种基于稀疏锚点的“聚合-交互-传播”范式，以充分利用深度数据的三维几何结构，从而显著减少不规则的数据访问。此外，我们将三维手部模型引入迭代校正过程，以提升IPNet对遮挡和深度空洞的鲁棒性。在三个具有挑战性的手部姿态数据集上的实验证明了IPNet的有效性：在手-物体交互场景中，IPNet的表现大幅优于以往的方法。 ## 致谢 本研究部分得到了国家自然科学基金（项目编号：62071067、62171057、62201072、62101064、62001054）以及中国博士后科学基金（项目编号：2022M710468）的支持，同时得到了北京邮电大学-中国移动研究院联合创新中心以及北京邮电大学创新创业扶持计划的部分资助。 --- 2022M710468，部分由北京邮电大学-中国移动研究院联合创新中心资助，部分由北京邮电大学创新创业支持计划资助。 ## 参考文献 Armagan, A.; Garcia-Hernando, G.; Baek, S.; Hampali, S.; Rad, M.; Zhang, Z.; Xie, S.; Chen, M.; Zhang, B.; Xiong, F.; 等. 2020. 测量在手部与物体交互场景下对未见视角、关节运动、形状和物体的泛化能力——用于3D手部姿态估计. arXiv预印本arXiv:2003.13764。 Chao, Y.-W.; Yang, W.; Xiang, Y.; Molchanov, P.; Handa, A.; Tremblay, J.; Narang, Y. S.; Van Wyk, K.; Iqbal, U.; Birchfield, S.; 等. 2021. DexYCB：用于捕捉物体抓取动作的基准测试. 载于IEEE/CVF计算机视觉与模式识别会议论文集，第9044–9053页。 Chen, X.; Wang, G.; Guo, H.; 和 Zhang, C. 2020. 基于姿态引导的结构化区域集成网络，用于级联式手部姿态估计. 《神经计算》杂志，第395卷：138–149页。 Chen, X.; Wang, G.; Zhang, C.; Kim, T.-K.; 和 Ji, X. 2018. Shpr-net：从点云中进行深度语义手部姿态回归. 《IEEE Access》杂志，第6卷：43425–43439页。 Chen, Y.; Tu, Z.; Ge, L.; Zhang, D.; Chen, R.; 和 Yuan, J. 2019. So-handnet：结合半监督学习的3D手部姿态估计自组织网络. 载于IEEE国际计算机视觉会议论文集，第6961–6970页。 Cheng, J.; Wan, Y.; Zuo, D.; Ma, C.; Gu, J.; Tan, P.; Wang, H.; Deng, X.; 和 Zhang, Y. 2022. 用于3D手部姿态估计的高效虚拟视图选择方法. 载于AAAI人工智能会议论文集。 Fang, L.; Liu, X.; Liu, L.; Xu, H.; 和 Kang, W. 2020. JGR-P2O：基于联合图推理的像素到偏移预测网络，用于从单张深度图像进行3D手部姿态估计. 载于欧洲计算机视觉会议论文集，第120–137页。Springer出版社。 Ge, L.; Cai, Y.; Weng, J.; 和 Yuan, J. 2018a. Hand point-net：利用点集进行3D手部姿态估计. 载于IEEE计算机视觉与模式识别会议论文集，第8417–8426页。 Ge, L.; Liang, H.; Yuan, J.; 和 Thalmann, D. 2016. 单张深度图像中的鲁棒3D手部姿态估计：从单视图CNN到多视图CNN. 载于IEEE计算机视觉与模式识别会议论文集，第3593–3601页。 Ge, L.; Liang, H.; Yuan, J.; 和 Thalmann, D. 2018b. 基于3D卷积神经网络的实时3D手部姿态估计. 《IEEE模式分析与机器智能交易》杂志，第41卷第4期：956–970页。 Ge, L.; Ren, Z.; 和 Yuan, J. 2018a. 用于3D手部姿态估计的点到点回归PointNet. 载于欧洲计算机视觉会议论文集，第475–491页。 Ge, L.; Ren, Z.; 和 Yuan, J. 2018b. 用于3D手部姿态估计的点到点回归PointNet. 载于欧洲计算机视觉会议论文集，第475–491页。 Hampali, S.; Rad, M.; Oberweger, M.; 和 Lepetit, V. 2020. Honnotate：一种用于标注手部与物体姿态的3D方法. 载于IEEE/CVF计算机视觉与模式识别会议论文集，第3196–3206页。 Hampali, S.; Sarkar, S. D.; 和 Lepetit, V. 2021. HO-3D_v3：提升HO-3D数据集中手部与物体标注的准确性。arXiv预印本arXiv:2107.00887。 He, K.; Zhang, X.; Ren, S.; 和 Sun, J. 2016. 用于图像识别的深度残差学习。收录于IEEE计算机视觉与模式识别会议论文集，第770–778页。 Huang, L.; Tan, J.; Liu, J.; 和 Yuan, J. 2020a. Hand-Transformer：用于3D手部姿态估计的非自回归结构化建模方法。收录于欧洲计算机视觉会议论文集，第17–33页。Springer出版。 Huang, W.; Ren, P.; Wang, J.; Qi, Q.; 和 Sun, H. 2020b. AWR：用于3D手部姿态估计的自适应加权回归方法。收录于AAAI人工智能会议论文集，第11061–11068页。 Ioffe, S.; 和 Szegedy, C. 2015. 批量归一化：通过减少内部协变量偏移来加速深度网络训练。收录于国际机器学习会议论文集，第448–456页。PMLR出版。 Kanazawa, A.; Black, M. J.; Jacobs, D. W.; 和 Malik, J. 2018. 人体形状与姿态的端到端恢复方法。收录于IEEE计算机视觉与模式识别会议论文集，第7122–7131页。 Li, J.; Xu, C.; Chen, Z.; Bian, S.; Yang, L.; 和 Lu, C. 2021. Hybrik：一种用于3D人体姿态与形状估计的混合解析-神经逆运动学解决方案。收录于IEEE/CVF计算机视觉与模式识别会议论文集，第3383–3393页。 Li, S.; 和 Lee, D. 2019. 基于点云到姿态投票的手部姿态估计方法，采用残差置换等变层实现。收录于IEEE计算机视觉与模式识别会议论文集，第11927–11936页。 Li, Y.; Bu, R.; Sun, M.; Wu, W.; Di, X.; 和 Chen, B. 2018. PointCNN：基于坐标变换点的卷积操作。神经信息处理系统进展，第31卷。 Lin, K.; Wang, L.; 和 Liu, Z. 2021. 基于Transformer的人体姿态与网格重建端到端方法。收录于IEEE/CVF计算机视觉与模式识别会议论文集，第1954–1963页。 Liu, Z.; Mao, H.; Wu, C.-Y.; Feichtenhofer, C.; Darrell, T.; 和 Xie, S. 2022. 面向2020年代的卷积神经网络。收录于IEEE/CVF计算机视觉与模式识别会议论文集，第11976–11986页。 Ma, X.; Qin, C.; You, H.; Ran, H.; 和 Fu, Y. 2022. 重新思考点云中的网络设计与局部几何结构：一种简单的残差MLP框架。arXiv预印本arXiv:2202.07123。 Malik, J.; Abdelaziz, I.; Elhayek, A.; Shimada, S.; Ali, S. A.; Golyanik, V.; Theobalt, C.; 和 Stricker, D. 2020. Hand-VoxNet：基于深度图像的3D手部形状与姿态估计的深度体素网络。收录于IEEE计算机视觉与模式识别会议论文集，第7113–7122页。 --- Malik, J.; Shimada, S.; Elhayek, A.; Ali, S. A.; Golyanik, V.; Theobalt, C.; 和 Stricker, D. 2021. HandVoxNet++：利用基于体素的神经网络进行3D手部形状与姿态估计。IEEE模式分析与机器智能交易刊。 Moon, G.; Chang, Y.; 和 Lee, K. M. 2018. V2V-PoseNet：从单张深度图精确估计3D手部与人体姿态的体素到体素预测网络。收录于IEEE计算机视觉与模式识别会议论文集，第5079–5088页。 Oberweger, M.; 和 Lepetit, V. 2017. DeepPrior++：提升快速且准确的3D手部姿态估计性能。收录于IEEE国际计算机视觉研讨会论文集，第585–594页。 Oberweger, M.; Riegler, G.; Wohlhart, P.; 和 Lepetit, V. 2016年。用于精细手部姿态估计的高效3D训练数据生成方法。载于IEEE计算机视觉与模式识别会议论文集，第4957–4965页。 Oberweger, M.; Wohlhart, P.; 和 Lepetit, V. 2015年。基于深度学习的手部姿态估计技术。载于计算机视觉冬季研讨会论文集，第21–30页。 Park, J.; Oh, Y.; Moon, G.; Choi, H.; 和 Lee, K. M. 2022年。HandOccNet：抗遮挡的3D手部网格估计网络。载于IEEE/CVF计算机视觉与模式识别会议论文集，第1496–1505页。 Qi, C. R.; Yi, L.; Su, H.; 和 Guibas, L. J. 2017年。PointNet++：在度量空间中对点集进行深度层次特征学习。载于神经信息处理系统大会论文集，第5099–5108页。 Ran, H.; Liu, J.; 和 Wang, C. 2022年。点云的表面表示方法。载于IEEE/CVF计算机视觉与模式识别会议论文集，第18942–18952页。 Ren, P.; Sun, H.; Hao, J.; Wang, J.; Qi, Q.; 和 Liao, J. 2022年。多视角信息挖掘：一种强大的自监督框架，用于基于深度的3D手部姿态与网格估计。载于IEEE/CVF计算机视觉与模式识别会议论文集，第20555–20565页。 Ren, P.; Sun, H.; Huang, W.; Hao, J.; Cheng, D.; Qi, Q.; Wang, J.; 和 Liao, J. 2021年。用于实时3D手部姿态估计的空间感知堆叠回归网络。《神经计算》期刊，第437卷：第42–57页。 Ren, P.; Sun, H.; Qi, Q.; Wang, J.; 和 Huang, W. 2019年。SRN：用于实时3D手部姿态估计的堆叠回归网络。载于英国机器视觉会议论文集，第112页。 Romero, J.; Tzionas, D.; 和 Black, M. J. 2017年。拟人化手部：手部与身体的联合建模与捕捉。《ACM图形学交易》期刊，第36卷第6期：245:1–245:17。 Spurr, A.; Iqbal, U.; Molchanov, P.; Hilliges, O.; 和 Kautz, J. 2020年。基于生物力学约束的弱监督3D手部姿态估计。载于欧洲计算机视觉会议论文集，第211–228页。Springer出版社。 Sun, X.; Wei, Y.; Liang, S.; Tang, X.; 和 Sun, J. 2015年。级联式手部姿态回归方法。载于IEEE计算机视觉与模式识别会议论文集，第824–832页。 Tang, D.; Jin Chang, H.; Tejani, A.; 和 Kim, T.-K. 2014年。潜在回归森林：3D关节手部姿态的结构化估计。载于IEEE计算机视觉与模式识别会议论文集，第3786–3793页。 Tang, X.; Wang, T.; 和 Fu, C.-W. 2021年。实现实时3D手部网格重建中的精确对齐。载于IEEE/CVF国际计算机视觉会议论文集，第11698–11707页。 Thomas, H.; Qi, C. R.; Deschaud, J.-E.; Marcotegui, B.; Goulette, F.; 和 Guibas, L. J. 2019年。KpConv：用于点云的灵活可变形卷积。载于IEEE/CVF国际计算机视觉会议论文集，第6411–6420页。 Tompson, J.; Stein, M.; Lecun, Y.; 和 Perlin, K. 2014年。利用卷积网络实现人体手部的实时连续姿态恢复。《ACM图形学交易》期刊，第33卷第5期：169:1–169:10。 Tse, T. H. E.; Kim, K. I.; Leonardis, A.; 和 Chang, H. J. 2022年。基于注意力引导图卷积的手部与物体协同重建学习方法。载于IEEE/CVF计算机视觉与模式识别会议论文集，第1664–1674页。 万C.、普罗布斯特T.、范古尔L.和姚A. 2018年。用于手部姿态估计的密集3D回归。载于IEEE计算机视觉与模式识别会议论文集，第5147–5156页。 王Y.、孙Y.、刘Z.、萨尔马S. E.、布朗斯坦M. M.和所罗门J. M. 2019年。用于点云学习的动态图CNN。ACM图形学交易，38(5)：146:1–146:12。 熊F.、张B.、肖Y.、曹Z.、余T.、周J. T.和袁J. 2019年。A2j：基于单张深度图像的三维关节姿态估计的锚点至关节回归网络。载于IEEE国际计算机视觉会议论文集，第793–802页。 杨L.、李K.、詹X.、吕J.、徐W.、李J.和陆C. 2022年。ArtiBoost：通过在线探索与合成提升三维手-物体姿态估计精度。载于IEEE/CVF计算机视觉与模式识别会议论文集，第2750–2760页。 袁S.、叶Q.、斯滕格B.、贾因S.和金T.-K. 2017年。BigHand2.2M基准测试：手部姿态数据集及最新技术分析。载于IEEE计算机视觉与模式识别会议论文集，第4866–4874页。 张H.、田Y.、周X.、欧阳W.、刘Y.、王L.和孙Z. 2021年。PyMAF：基于金字塔网格对齐反馈循环的三维人体姿态与形状回归。载于IEEE/CVF国际计算机视觉会议论文集，第11446–11456页。 赵L.、彭X.、田Y.、卡帕迪亚M.和梅塔克萨斯D. N. 2019年。用于三维人体姿态回归的语义图卷积网络。载于IEEE计算机视觉与模式识别会议论文集，第3425–3435页。