Figure 1: In the 3D hand pose estimation task, depth maps are prone to (a) noise and depth holes at the edges of hands and objects, especially during (b) motion.
Chen等人，2021年；Huang等人，2020b,c年），但由于各自模态固有的缺陷，这些方法仍面临诸多挑战。基于RGB的方法易受颜色相似性的影响，且缺乏局部几何信息；而基于深度的方法在手部及物体边缘处存在噪声与深度空洞问题，尤其是在运动过程中，如图1所示。
幸运的是，RGB与深度模态之间存在许多互补特性。例如，RGB数据能提供丰富的纹理与精确的边缘信息，而深度数据则包含详细的几何结构特征。通过融合二者的互补优势，便可减轻单一模态缺陷对3D手部姿态估计性能的影响。
多传感器模态融合已成为视觉感知技术中的重要趋势。尽管在三维手部姿态估计领域尚未得到广泛研究，但多模态融合在其他许多计算机视觉任务中已被深入探索，例如激光雷达-摄像头三维物体检测以及RGB-D语义分割。早期的研究（Hu等人，2019年；Chen等人，2020年；Seichter等人，2021年）通过通道和空间注意力机制（Woo等人，2018年）对跨模态特征进行加权聚合。近年来，随着视觉Transformer的深入研究（Dosovitskiy等人，2020年；Liu等人，2021b年；Vaswani等人，2017年），多种方法开始利用注意力机制来实现跨模态特征间的交互。例如，TransFusion（Bai等人，2022年）利用物体查询从点云特征中获取初始的三维边界框，再融合图像特征以提升初始预测的质量。
---
AutoAlign（Chen等人，2022c）采用交叉注意力机制来聚合摄像头视角域与体素域之间的跨模态特征。CMX（Liu等人，2022a）则将软注意力与交叉注意力机制串联起来，用以校准并聚合跨模态特征。
然而，将现有融合方法应用于三维手部姿态估计时存在两个关键问题。首先，这些方法因多模态特征元素间的密集交互而产生较高的计算成本，其中包含了大量无效像素（如空体素和背景像素）带来的冗余交互。为了降低计算复杂度和内存占用，部分研究（Chen等人，2022b；Kim等人，2022年）引入了可变形注意力机制（Zhu等人，2020年），以生成采样点周围的偏移量和权重，从而在一小批采样位置上执行稀疏的跨模态特征融合。不过，这些融合策略所采用的像素级偏移量难以捕捉关节级别的特征依赖关系，而长距离关节间的相关性在三维手部姿态估计中已被证明至关重要（Lin、Wang和Liu，2021a,b）。
其次，人类手部运动频繁且自由度极高，再加上在现实场景中会与物体频繁互动，因此会导致严重的特征歧义，比如颜色和纹理外观相似、深度噪声等问题。以往的融合方法直接通过像素级加权聚合或交叉注意力机制来融合多模态特征，这类方法本质上是数据驱动的，因此很容易受到上述低质量特征的干扰。
一些三维手部姿态估计方法采用了关键点表示方式（Hampali等人，2022年）来表征潜在的关节位置，这种方式能在图像中揭示出更具信息量的特征区域。通过将跨模态融合聚焦于这些空间上稀疏却信息丰富的区域，就能够减少涉及无效像素的冗余交互，进而提升多模态融合的效率。此外，各模态中还存在更可靠的信息，这些信息可以被显式提取出来作为稳健的消歧证据，用以缓解模态内歧义对跨模态融合的干扰。
受上述动机启发，我们提出了Keypoint-Fusion，一种用于三维手部姿态估计的RGB-D融合方法。我们首先提出关键点特征聚合模块（KFAM），用以聚合初始预测关节周围的RGB与深度局部特征。在RGB特征聚合过程中，深度模态提供了三维几何结构信息；反之，在深度特征聚合过程中，RGB模态则补充了因深度空洞和噪声而丢失的精确边缘信息。接着，基于经过消歧义处理的稀疏关键点特征，我们采用跨模态特征交互来高效建模长距离特征相关性。代码可在获取。
本研究的主要贡献有三点：
1) 我们提出了一种用于三维手部姿态估计的稀疏RGB-D融合方法，能够以更高效的方式实现跨模态特征交互与融合。
Figure 2: Overview of Keypoint-Fusion.
以更高效的方式实现交互与融合。
2) 我们引入了跨模态信息引导策略，该策略能够挖掘互补模态的独特优势，从而在跨模态特征交互之前厘清模态内部存在的模糊信息。
3) 实验表明，我们的方法在两个具有挑战性的数据集DexYCB（Chao等人，2021年）和HO-3D（Hampali等人，2020年）上均取得了领先的性能，显著优于以往的最先进方法。
## 相关工作
## 基于深度的三维手部姿态估计
现有的基于深度的三维手部姿态估计方法可根据输入数据分为基于二维图像的方法和基于三维数据的方法。早期的方法（Huang等人，2020c；Ren等人，2019；Fang等人，2020；Du等人，2019）利用二维卷积神经网络（CNN）提取视觉特征，并从单通道深度图像中估计手部姿态。为了克服二维图像中几何信息的缺失问题，一些研究（Huang等人，2020a；Ge、Ren和Yuan，2018；Malik等人，2020年、2021年）采用三维CNN和点云网络来处理三维点云或由深度数据转换得到的体素表示。近期，IPNet（Ren等人，2023年）先从深度图像中估计初始手部姿态，再通过点云对手部姿态进行细化。然而，由于深度传感器存在固有缺陷，手部容易出现深度空洞和噪声，这会降低基于深度方法的性能。
## 基于RGB的三维手部姿态估计
由于缺乏深度信息，基于RGB的方法面临更多挑战。一些方法（Zheng等人，2021b；Moon和Lee，2020；Iqbal等人，2018）引入了诸如2.5D热图等新颖的逐像素表示方法，以解决尺度和深度模糊问题。此外，一些研究（Lin、Wang和Liu，2021a,b；Chen等人，2021；Ge等人，2019）利用图卷积网络（GCN）或Transformer从RGB特征中回归三维关节和手部网格。近期，有几项研究（Hampali等人，2022年；Park等人，2022年）采用Transformer来建模非局部图像特征的交互，以增强其对抗遮挡的鲁棒性。不过，由于视觉特征的外观相似性和几何模糊性，基于RGB的方法仍面临诸多挑战。
---
⊗: Element-wise Multiplication ⊕: Element-wise Addition
Figure 3: The details of Keypoint-Fusion. Keypoint-Fusion first extracts RGB-D visual features and predicts the initial hand pose. Then, the proposed KFAM aggregates RGB and depth local features around the joints, during which the unique advantages of complementary modalities are leveraged to clarify intra-modal ambiguous information. Finally, Keypoint-Fusion performs sparse cross-modal interaction between the aggregated keypoint feature.
## 多传感器融合
近年来，多传感器融合方法在许多计算机视觉任务中得到了广泛研究，例如RGB-D语义分割和3D物体检测。早期的研究（Hu等人，2019年；Sun等人，2020年；Chen等人，2020年；Seichter等人，2021年）分别为RGB图像和深度图像构建两个并行的骨干网络，利用注意力机制来融合RGB-D视觉特征。受Transformer在视觉任务中取得的卓越成果的启发，许多研究采用Transformer来融合同质模态（如RGB-D图像）和异质模态（如相机与激光雷达点云）的特征。CMX（Liu等人，2022a）在RGB-X语义分割中全面运用了软注意力和交叉注意力机制。TransFusion（Bai等人，2022年）通过交叉注意力将来自激光雷达点云特征的图像特征与物体查询进行融合。FUTR3D（Chen等人，2022a）利用3D物体查询来采样并聚合来自多个传感器的多模态特征。AutoAlign（Chen等人，2022c）建立了图像与点云之间的映射关系，以实现像素级和实例级的特征融合。DeMF（Yang等人，2022年）、AutoAlignv2（Chen等人，2022b）以及3D Dual-Fusion（Kim等人，2022年）引入了可变形注意力机制（Zhu等人，2020年），从而实现稀疏的激光雷达-相机特征融合。
## 方法
图2展示了Keypoint-Fusion的整体流程。给定RGB和深度输入图像后，我们首先使用两个并行的2D CNN骨干网络来提取RGB和深度视觉特征，并预测初始的3D手部姿态。接着，所提出的关键点特征聚合模块会分别聚合关节周围的RGB和深度特征，并迭代更新手部姿态。在特征聚合过程中，我们利用深度模态精确的几何结构信息来消除颜色特征的歧义，同时利用RGB模态细粒度的边缘信息来填补深度图像中的空洞和噪声。最后，我们对稀疏的关键点特征进行长距离跨模态特征交互。
## 初始手部姿态估计
首先，我们提取RGB和深度视觉特征，并估算初始的3D手部姿态。具体而言，给定RGB和深度图像后，我们首先采用两个ResNet-18（He等人，2016年）作为RGB和深度CNN骨干网络，分别提取RGB视觉特征$F_{2d}^{RGB} \in \mathbb{R}^{H \times W \times C}$和深度视觉特征$F_{2d}^{D} \in \mathbb{R}^{H \times W \times C}$。随后，我们通过加权平均回归方法（Huang等人，2020c）从深度特征图中预测2D热图$H_{2d} \in \mathbb{R}^{H \times W \times J}$以及初始3D手部姿态$J_{init} \in \mathbb{R}^{3 \times J}$。
---
## 关键点特征聚合模块
如图3所示，我们依据初始手部姿态来聚合每个关节处的RGB和深度局部特征。在聚合过程中，RGB-D特征借助互补模态提供的可靠消歧线索，相互解决单模态内的歧义信息。
RGB关键点特征聚合：相似颜色的歧义以及局部几何信息的缺失是RGB局部特征聚合面临的难题。例如，由于颜色相似，相邻手指的深度顺序难以区分；此外，由于视觉上对齐但深度不同的可能性，相同的RGB特征像素的权重也存在歧义。利用深度数据中每个关节精确的局部几何信息，可以解决这些歧义。因此，我们通过计算每个预测关节与特征像素之间的实际距离，引入了逐关节的局部几何结构表示。
具体而言，我们提出了一种用于RGB特征聚合的可学习加权聚合操作。该操作综合利用二维热图和几何结构信息来生成权重。首先，我们将二维热图 $H_{2d}$ 与RGB特征 $F_{2d}^{RGB}$ 沿通道维度进行拼接，然后应用 $N \times 1$ 卷积核来生成基于热图的权重图 $W_{hm} \in \mathbb{R}^{H \times W \times J}$：
$$ \begin{array}{r}{W_{h m}=\phi(F_{2d}^{R G B}||H_{2d}),}\end{array} $$
其中 $N, \phi$，且 $\|\$$ represent the number of hand joints, the convolution layer, and the concatenation operation, respectively. In practice, during the first few training epochs, we employ the ground truth 2D heatmap to supervise the generation of heatmap-based weight map $W_{hm}$.
Then, by downsampling the depth image to the same size as the RGB feature map and converting it to the real-world coordinate system through the camera intrinsic parameters, we can obtain the real-world coordinates $ (x_p, y_p, z_p) $ of each pixel point $ p $ of the RGB visual feature map. According to the 3D coordinates $ (x_j, y_j, z_j) $ of each joint $ J $ of the initial hand pose $ J_{init} $, the geometry adjacency map $ W_{geo} \in \mathbb{R}^{H \times W \times J} $ can be generated by calculating the 3D Euclidean distance from RGB visual feature pixels to each hand joint:
$$ W_{g e o}^{J}(i,j)=\frac{1}{\gamma((x_{p}-x_{j})^{2}+(y_{p}-y_{j})^{2}+(z_{p}-z_{j})^{2})}, $$
where $ \gamma $ reflects the speed at which the correlation between joints and feature pixels decreases as their distance increases, and we set it to 10. The geometry adjacency map $ W_{geo} $ presents rich local geometric structure information of each joint neighborhood and effectively reflects the correlation between joints and feature pixels. Finally, the RGB keypoint feature $ K_{RGB} \in \mathbb{R}^{J \times C} $ is aggregated according to the heatmap-based weight map $ W_{hm} $ and geometry adjacency map $ W_{geo} $, which can be generalized as:
$$ K_{R G B}=F C((\alpha W_{h m}+(1-\alpha)W_{g e o})F_{2d}^{R G B}), $$
where $ FC $ represents Fully-Connected (FC) layer, and $ \alpha $ is a learnable parameter for adjusting the contribution of the heatmap-based weight map and geometry adjacency map.
Depth Keypoint Feature Aggregation The 2D image representation of depth data leads to the loss of 3D geometric structure, e.g., points that are far away in the real world may be adjacent in the depth images (Liu et al. 2022c). To address this problem, IPNet (Ren et al. 2023) proposes to fuse point cloud and 2D depth features and generate the point cloud features $ F^{3d} \in \mathbb{R}^{(H \times W) \times C} $ through a 2D-3D projection module, which can effectively perceive the 3D geometric information of point cloud data. However, due to the inherent defects of depth sensors, depth data is prone to noise and depth holes at the edges of hands and objects, especially during motion. It is difficult to compensate for these edge noises by relying solely on the intra-modal fusion of different depth representations. On the other hand, RGB modality can provide more reliable edge information and texture information in most cases. Thus, we project the RGB feature into the 3D point cloud space through the real-world coordinates of each RGB feature pixel obtained in RGB KFAM. Then, we fuse the projected RGB image features $ F_{proj}^{RGB} \in \mathbb{R}^{(H \times W) \times C} $ with the above point cloud features $ F^{3d} $. Finally, we aggregate the depth keypoint feature $ K_D \in \mathbb{R}^{J \times C} $ as:
$$ K_{D}=F A(R e L U(B N(W_{0}F_{p r o j}^{R G B}+W_{1}F^{3d}))), $$
其中ReLU、BN和FA分别表示ReLU激活函数、批量归一化层以及IPNet（Ren等人，2023年）中的局部特征聚合模块；$W_{0}$ 和 $W_{1}$ 是两个可学习的参数矩阵，用于调节RGB特征和点云特征的贡献度。
如图2所示，我们将RGB和深度关键点特征聚合构建为迭代式串行模块，在此过程中优化估计出的手部姿态，后续阶段的聚合与跨模态融合便可基于更精确的关节位置来执行。
## 跨模态关键点特征交互
以往的三维手部姿态估计方法中，Transformer的注意力机制已被用于图像特征的非局部交互，以弥补因遮挡导致的局部特征弱化问题。然而，由于图像特征中包含大量像素，以往的基于Transformer的方法要么计算复杂度极高，需要进行密集的交互（如HandOccNet（Park等人，2022年）），要么采用多层Transformer编码器结构逐步降低维度，从而增加了网络结构的复杂性（如METRO（Lin、Wang和Liu，2021a））。为避免密集跨模态特征融合和全局尺度注意力带来的高计算成本，我们基于已获取的RGB和深度关键点特征，在关节层面进行稀疏跨模态交互。考虑到RGB-D KFAMs的串行排列特性，我们首先对深度模态的聚合关键点特征进行模态内交互，随后再执行跨模态关键点交互以融合跨模态特征。
模态内关键点特征交互：由于聚合后的关键点特征包含了丰富的局部特征，
---
| Input Modality | Method | MPJPE $\downarrow$ | PA-MPJPE $\downarrow$ |
| S0 | S1 | S2 | S3 | Average |
| RGB | Spurr et al. (Spurr et al. 2020) | 17.34 | 22.26 | 25.49 | 18.44 | 20.88 | 6.83 |
| RGB | Liu et al. (Liu et al. 2021a) | 15.28 | - | - | - | - | 6.58 |
| RGB | Tse et al. (Tse et al. 2022) | 16.05 | 21.22 | 27.01 | 17.93 | 20.55 | - |
| RGB | METRO (Lin, Wang, and Liu 2021a) | 15.24 | - | - | - | - | 6.99 |
| RGB | HandOccNet (Park et al. 2022) | 14.04 | - | - | - | - | 5.80 |
| Depth | A2J (Xiong et al. 2019) | 23.93 | 25.57 | 27.65 | 24.92 | 25.52 | - |
| Depth | AWR (Huang et al. 2020c) | 11.23 | - | - | - | - | - |
| RGB-D | SA-Fusion (Liu et al. 2023) | 9.51 | - | - | - | - | - |
| RGB-D | DiffHand (Li et al. 2023) | 12.10 | - | - | - | - | 4.98 |
| D&Point Cloud | IPNet (Ren et al. 2023) | 8.03 | 9.01 | 8.60 | 7.80 | 8.36 | - |
| RGB-D | Keypoint-Fusion | 6.94 | 8.64 | 7.56 | 7.02 | 7.54 | 4.79 |
Table 1: Comparison with SOTA methods of the MPJPE and PA-MPJPE (mm) on the DexYCB dataset.
| Input | Method | MPJPE $\downarrow$ | MPJPE $\downarrow$\n(align.) |
| RGB | METRO (Lin, Wang, and Liu 2021a) | - | 2.89 |
| RGB | Liu et al. (Liu et al. 2021a) | 3.00 | 3.17 |
| RGB | I2L-MeshNet (Moon and Lee 2020) | 2.68 | 2.60 |
| RGB | Keypoint TR (Hampali et al. 2022) | - | 2.57 |
| RGB | Zheng et al. (Zheng et al. 2021a) | - | 2.51 |
| RGB | ArtiBoost (Li et al. 2021) | - | 2.53 |
| RGB | HandOccNet (Park et al. 2022) | 2.49 | 2.40 |
| RGB | Hampali et al. (Hampali et al. 2020) | - | 3.04 |
| RGB | Hasson et al. (Hasson et al. 2019) | 5.52 | 3.18 |
| Voxel | HandVoxNet++ (Malik et al. 2021) | 2.46 | - |
| RGB-D | DiffHand (Li et al. 2023) | 2.37 | - |
| D&PCL | IPNet (Ren et al. 2023) | 1.81 | 2.01 |
| RGB-D | Keypoint-Fusion | 1.79 | 1.87 |
Table 2: Comparison with SOTA methods of the MPJPE (cm) before and after scale-translation alignment on HO-3D.
但缺乏长距离交互能力；因此我们首先利用自注意力机制进行模态内的关键点级交互，以建模关键点特征的长距离相关性。如图3所示，对于输入的深度关键点特征$K_D \in \mathbb{R}^{C \times J}$，我们采用单个Transformer编码器对关键点特征进行自注意力计算，随后通过全连接层来估计优化后的手部姿态$J_{refine}$。
跨模态关键点特征交互：我们通过Transformer解码器和Transformer编码器来建模跨模态关键点相关性。具体来说，我们将RGB关键点特征$K_{RGB} \in \mathbb{R}^{J \times C}$作为查询Q，将用于建模模态内长距离关键点相关性的深度关键点特征$K_D \in \mathbb{R}^{J \times C}$作为键K和值V。随后，Transformer解码器执行交叉注意力操作，将RGB关键点特征与包含丰富几何信息和长距离相关性的深度关键点特征进行融合。接下来，Transformer编码器通过自注意力机制来建模融合后的关键点的非局部依赖关系。最后，我们对融合后的关键点特征应用全连接层。
| Input | Method | MPJPE $\downarrow$ |
| Depth | 2D CNN baseline (Huang et al. 2020c) | 11.23 |
| RGB-D | 1-stage Keypoint-Fusion | 7.23 |
| RGB-D | 2-stages Keypoint-Fusion | 6.94 |
| RGB-D | 3-stages Keypoint-Fusion | 6.89 |
Table 3: Comparison of MPJPE (mm) among different numbers of fusion stages of Keypoint-Fusion on DexYCB.
以估计最终的手部姿态$J_{fuse}$。
## 实验
## 实验设置
DexYCB数据集：DexYCB是一个由多台RGB-D相机采集的手部-物体数据集，包含1,000个序列中10名受试者抓取20种不同物体的582K帧RGB-D图像，拍摄视角共8种。DexYCB官方提供了四种训练/验证/测试数据集划分，即S0、S1、S2和S3，分别基于序列、受试者、视角和物体进行划分。我们在所有四种划分上进行了性能对比，并在消融研究中使用了默认的S0划分。
HO-3D数据集：HO-3D是一个RGB-D手部-物体交互数据集，包含来自68个序列的66,034张训练图像和11,524张测试图像。这些序列是在多摄像头和单摄像头设置下采集的，涉及10名不同受试者操作YCB数据集中的10种不同物体。HO-3D测试集的评估在在线提交服务器上进行。
实现细节：我们的实验在NVIDIA RTX 4090 GPU上进行。网络基于PyTorch（Paszke等人，2019年）实现。我们采用AdamW优化器（Kulon等人，2019年），初始学习率为$8e^{-4}$。在DexYCB和HO-3D数据集上的整个训练过程分别耗时15个epoch和25个epoch。在数据增强方面，我们将输入的RGB-D图像裁剪为$128 \times 128$尺寸，并施加随机旋转$\in [-180, 180]$、随机缩放$\in [0.9, 1.1]$以及随机平移$\in [-10, 10]$操作。
---
| Input | Method | IF | MPJPE $\downarrow$ |
| RGB-D | SA-Fusion (Liu et al. 2023) | 7.54 | 9.51 |
| D&PCL | IPNet (Ren et al. 2023) | 19.91 | 8.03 |
| RGB-D | Dense Fusion baseline | 16.19 | 9.76 |
| RGB-D | 1-stage Keypoint-Fusion | 12.47 | 7.23 |
Table 4: Comparison of the inference time (ms) and MPJPE (mm) with the fusion-based 3D hand pose estimation methods on DexYCB. IF represents the inference time.
| ID | RGB KFAM | Depth KFAM | MPJPE $\downarrow$ |
| HWM | GAM | PCL | RGB | REF |
| 0 | | | | | | 11.23 |
| 1 | ✓ | ✓ | | | | 7.54 |
| 2 | ✓ | ✓ | ✓ | | ✓ | 7.17 |
| 3 | ✓ | ✓ | ✓ | ✓ | | 7.11 |
| 4 | | | ✓ | ✓ | ✓ | 7.09 |
| 5 | ✓ | | ✓ | ✓ | ✓ | 6.97 |
| 6 | | ✓ | ✓ | ✓ | ✓ | 6.96 |
| 7 | | | ✓ | | ✓ | 8.76 |
| 8 | ✓ | | ✓ | | ✓ | 7.19 |
| 9 | | ✓ | ✓ | | ✓ | 7.27 |
| 10 | ✓ | ✓ | ✓ | ✓ | ✓ | 6.94 |
Table 5: Ablation study for the KFAM on DexYCB. HWM and GAM represent heatmap-based weight map and geometry adjacency map. PCL and RGB represent the aggregation of point cloud feature and projected RGB feature. REF represents pose refinement with the depth keypoint feature.
我们使用平均关节位置误差（MPJPE）这一指标来评估我们的方法。
## 与现有先进方法的对比
我们在DexYCB数据集上与现有的先进3D手部姿态估计方法进行了性能对比。如表1所示，Keypoint-Fusion在DexYCB的所有四种官方划分上均取得了最低的MPJPE值。与先进方法IPNet（Ren等人，2023年）相比，我们的方法在默认的S0划分上使平均MPJPE降低了13.6%（从8.03毫米降至6.94毫米）。此外，我们还评估了几种基于RGB的方法在DexYCB S0划分上经过Procrustes对齐后的MPJPE表现，我们的方法在所有指标上均取得了最佳性能。
表2展示了在HO-3D数据集上与现有先进方法的性能对比。我们采用了两个ConvNeXt-T（Liu等人，2022b）作为2D骨干网络。我们报告了基于MPJPE以及根关节尺度-平移对齐后的MPJPE的手部姿态结果，这两个指标是3D手部姿态估计中的重要衡量标准。可以看出，无论是对齐前还是对齐后的MPJPE，我们的方法在HO-3D数据集上均取得了最佳性能。
## 消融研究
迭代融合阶段的数量：我们将关键点特征聚合设计为迭代且串行的模块，因此
(a) RGB-D Input & GT Pose (b) Geometry Adjacency Map (c) Heatmap-based Weight Map
Figure 4: Visualization of the proposed geometry adjacency map and heatmap-based weight map. We show (i) wrist, (ii) thumb tip, and (iii) index tip among 21 joints of DexYCB.
在后续阶段，可以基于更精确的关节位置来进行跨模态交互。为了验证上述迭代融合设计的有效性，我们在DexYCB数据集上对Keypoint-Fusion模型进行了不同融合阶段数量的消融研究。对于2D CNN基线模型，我们采用ResNet-18作为骨干网络。如表3所示，与2D CNN基线相比，我们的模型仅通过单个融合阶段就能将平均关节位置误差（MPJPE）降低4.0毫米。此外，增加融合阶段的数量还能进一步显著提升性能。
效率分析 为了验证所提出的稀疏融合策略的效率，我们对推理时间开展了消融研究，对比对象包括现有的基于RGB-D图像的融合方法SA-Fusion（Liu等人，2023年）以及能够高效构建点云特征的IPNet（Ren等人，2023年）。此外，我们还考虑了密集融合基线模型：即去除所提出的KFAM模块，以密集方式执行跨模态特征交互。表4显示：(i) 与以往的基于RGB-D图像的融合方法相比，我们的方法在可接受额外推理时间的前提下实现了显著的性能提升；(ii) 与IPNet相比，我们的方法能够在3D空间中实现跨模态融合，且效率和效果都更优；(iii) 与密集融合基线相比，我们的方法能以更高效的方式执行跨模态特征交互。
关键点特征聚合模块的设计 我们对KFAM的各种设计方案进行了消融实验，结果如表5所示。首先，单独采用RGB KFAM（编号1）或深度KFAM（编号4）时，网络的性能相较于仅基于深度的基线模型均有显著提升。其次，若在深度特征聚合过程中舍弃RGB特征融合（编号2）或手部姿态细化机制（编号3），则会导致性能下降。接下来，该网络的性能会因在RGB特征聚合中未采用几何邻接图（编号5）或基于热图的权重图（编号6）而有所降低。此外，若深度KFAM中缺少局部RGB特征的补充，不同RGB KFAM设计方案之间的性能差距还会进一步扩大（编号7-9）。
---
(a) IPNet (b) Initial (c) Keypoint-Fusion (d) GT
Figure 5: Qualitative results on the DexYCB dataset.
无需在RGB特征聚合阶段采用几何邻接图（ID 5）或基于热图的权重图（ID 6），即可简化网络结构。此外，若不在深度KFAM中补充局部RGB特征，不同RGB KFAM设计之间的性能差距还会进一步拉大（ID 7-9）。
## Keypoint-Fusion的可视化
为了探究所提出的RGB KFAM对局部特征信息的感知能力，我们在图4中可视化了几何邻接图$W_{geo}$和基于热图的权重图$W_{hm}$。在正常情况下（第1至第4行），基于热图的权重图会从颜色特征的角度聚焦于关节周围的相关空间区域，而几何邻接图则提供局部几何结构信息，帮助区分关节与无效像素——比如背景、接触物体以及其他手部区域。对于被遮挡的关节（第5行以及第6行的拇指指尖），算法会综合考量颜色相似且距离相近的视觉特征；几何邻接图会抑制那些视觉上相邻但实则远离关节的遮挡区域中的特征。此外，当由于手部颜色相似而难以从单张RGB图像中判断关节间的相对距离时——比如第6行中的手腕和食指指尖——几何邻接图就能精准定位相关的特征区域。
Figure 6: Qualitative results of (a) the initial hand pose and (b) the output hand pose of Keypoint-Fusion on HO-3D.
邻接图能够定位相关的特征区域。
## 定性结果
我们在图5中展示了DexYCB数据集上的定性结果。我们的方法结果还显示在深度图上，以便直观地展示其对深度空洞和噪声的鲁棒性。与最先进的IPNet方法相比，我们的方法在处理含有噪声和深度空洞（第1、3、4行）、运动模糊（第2行）以及严重遮挡（第5、6、7行）的挑战性样本时表现出更优的性能。我们的方法能够准确预测视觉上模糊的关节位置，并减轻深度信息不足带来的影响。此外，我们的方法还能更精确地估计未见过的关节。同时，通过跨模态消歧与交互，我们的方法能够在边缘噪声和物体遮挡存在的情况下，有效优化由2D CNN骨干网络初步估计的手部姿态。
HO-3D数据集上的定性结果如图6所示。由于HO-3D测试集并未提供关节位置的真实值，我们仅展示初始手部姿态以及我们方法输出的手部姿态。与初始手部姿态相比，我们的方法能更准确地估计出在物体交互过程中被遮挡的关节。
## 结论
在这项工作中，我们提出了用于基于RGB-D的3D手部姿态估计的Keypoint-Fusion方法，该方法能有效消除模态内的模糊信息，并高效地进行跨模态特征交互。我们首先提出了一个关键点特征聚合模块，用于聚合手部关节周围的局部特征，并利用互补模态的固有优势来相互提供消歧线索。具体而言，在RGB聚合阶段，我们利用深度数据构建每个关节的局部几何结构表示，从而明确RGB特征像素的模糊权重；而在深度聚合阶段，我们将RGB特征投影到3D点云空间，以补充因深度空洞和噪声而丢失的边缘信息。随后，我们的方法基于稀疏关键点高效地进行跨模态特征交互。在DexYCB和HO-3D数据集上的实验表明，我们的方法显著优于其他最先进的方法。
---
## 致谢
本研究得到了国家自然科学基金（项目编号：62171057、62101064、62201072、U23B2001、62001054、62071067）、教育部与中国移动联合基金（项目编号：MCM20200202、MCM20180101）、北京邮电大学-中国移动研究院联合创新中心的支持，部分研究得到了中国博士后科学基金会资助项目（项目编号：2023TQ0039）的支持。
## 参考文献
Bai, X.; Hu, Z.; Zhu, X.; Huang, Q.; Chen, Y.; Fu, H.; 和 Tai, C.-L. 2022. Transfusion：基于Transformer的鲁棒激光雷达-摄像头融合3D物体检测。载于CVPR，第1090–1099页。
Chao, Y.-W.; Yang, W.; Xiang, Y.; Molchanov, P.; Handa, A.; Tremblay, J.; Narang, Y. S.; Van Wyk, K.; Iqbal, U.; Birchfield, S. 等. 2021. DexYCB：捕捉物体抓取动作的基准测试。载于CVPR，第9044–9053页。
Chen, X.; Lin, K.-Y.; Wang, J.; Wu, W.; Qian, C.; Li, H.; 和 Zeng, G. 2020. 用于RGB-D语义分割的双向跨模态特征传播机制，包含分离-聚合门控模块。载于ECCV，第561–577页。Springer出版。
Chen, X.; Liu, Y.; Ma, C.; Chang, J.; Wang, H.; Chen, T.; Guo, X.; Wan, P.; 和 Zheng, W. 2021. 通过语义聚合与自适应2D-1D配准实现相机空间手部网格恢复。载于CVPR，第13274–13283页。
陈X、张T、王Y、王Y和赵H. 2022a. Futr3d：一种用于3D检测的统一传感器融合框架。arXiv预印本arXiv:2203.10642。
陈Z、李Z、张S、方L、蒋Q和赵F. 2022b. Autoalignv2：用于动态多模态3D物体检测的可变形特征聚合方法。arXiv预印本arXiv:2207.10316。
陈Z、李Z、张S、方L、蒋Q、赵F、周B和赵H. 2022c. Autoalign：用于多模态3D物体检测的像素-实例特征聚合方法。arXiv预印本arXiv:2201.06493。
Dosovitskiy A、Beyer L、Kolesnikov A、Weissenborn D、Zhai X、Unterthiner T、Dehghani M、Minderer M、Heigold G、Gelly S等. 2020. 一张图片的价值相当于$16 \times 16$个词：用于大规模图像识别的Transformer模型。arXiv预印本arXiv:2010.11929。
杜K、林X、孙Y和马X. 2019. Crossinfonet：基于多任务信息共享的手部姿态估计方法。载于CVPR，第9896–9905页。
方L、刘X、刘L、徐H和康W. 2020. Jgrp2o：基于联合图推理的像素到偏移预测网络，用于从单张深度图像中估计3D手部姿态。载于ECCV，第120–137页。Springer出版。
葛L、任Z、李Y、薛Z、王Y、蔡J和袁J. 2019. 从单张RGB图像中估计3D手部形状和姿态。载于CVPR，第10833–10842页。
葛L、任Z和袁J. 2018. 用于3D手部姿态估计的点到点回归PointNet模型。载于ECCV，第475–491页。
Hampali S、Rad M、Oberweger M和Lepetit V. 2020. Honnotate：一种用于手部及物体姿态的3D标注方法。载于CVPR，第3196–3206页。
Hampali S、Sarkar S. D.、Rad M和Lepetit V. 2022. 关键点Transformer：解决复杂手部与物体交互中的关节识别问题，以实现精确的3D姿态估计。载于CVPR，第11090–11100页。
Hasson Y、Varol G、Tzionas D、Kalevatykh I、Black M. J.、Laptev I和Schmid C. 2019. 学习手部与被操纵物体的联合重建方法。载于CVPR，第11807–11816页。
何K、张X、任S和孙J. 2016. 用于图像识别的深度残差学习模型。载于CVPR，第770–778页。
胡X、杨K、费L和王K. 2019. Acnet：基于注意力机制的网络，用于充分利用RGBD语义分割中的互补特征。载于2019年IEEE国际图像处理会议，第1440–1444页。IEEE出版。
黄L、谭J、刘J和袁J. 2020a. Hand-Transformer：用于3D手部姿态估计的非自回归结构化建模方法。载于ECCV，第17–33页。Springer出版。
黄L、谭J、孟J、刘J和袁J. 2020b. Hot-net：用于3D手-物姿态估计的非自回归Transformer模型。载于第28届ACM国际多媒体会议论文集，第3136–3145页。
黄W、任P、王J、齐Q和孙H. 2020c. AWR：用于3D手部姿态估计的自适应加权回归模型。载于人工智能顶级会议AAAI论文集，第34卷，第11061–11068页。
Iqbal U、Molchanov P、Gall T. B. J.和Kautz J. 2018. 通过潜在2.5D热图回归进行手部姿态估计。载于ECCV，第118–134页。
金Y、朴K、金M、金D和崔J. W. 2022. 3D Dual-Fusion：用于3D物体检测的双域双查询摄像头-激光雷达融合方法。arXiv预印本arXiv:2211.13529。
Kulon, D.; Guler, R. A.; Kokkinos, I.; Bronstein, M. M.; 和 Zafeiriou, S. 2020. 弱监督下的野外网格卷积手部重建。载于CVPR，第4990–5000页。
Kulon, D.; Wang, H.; Güler, R. A.; Bronstein, M.; 和 Zafeiriou, S. 2019. 基于单图像的3D手部重建与网格卷积技术。arXiv预印本，arXiv:1905.01326。
Li, K.; Yang, L.; Zhan, X.; Lv, J.; Xu, W.; Li, J.; 和 Lu, C. 2021. ArtiBoost：通过在线探索与合成提升关节型3D手-物体姿态估计精度。arXiv预印本，arXiv:2109.05488。
Li, L.; Zhuo, L.; Zhang, B.; Bo, L.; 和 Chen, C. 2023. Diff-Hand：基于扩散模型端到端的手部网格重建。arXiv预印本，arXiv:2305.13705。
Lin, K.; Wang, L.; 和 Liu, Z. 2021a. 基于Transformer的端到端人体姿态与网格重建。载于CVPR，第1954–1963页。
Lin, K.; Wang, L.; 和 Liu, Z. 2021b. Mesh Graphormer。载于ICCV，第12939–12948页。
Liu, H.; Zhang, J.; Yang, K.; Hu, X.; 和 Stiefelhagen, R. 2022a. CMX：基于Transformer的RGB-X语义分割跨模态融合方法。arXiv预印本，arXiv:2203.04838。
---
Liu, S.; Jiang, H.; Xu, J.; Liu, S.; 和 Wang, X. 2021a. 结合时间交互的半监督3D手-物体姿态估计。载于CVPR，第14687–14697页。
Liu, X.; Ren, P.; Chen, Y.; Liu, C.; Wang, J.; Sun, H.; Qi, Q.; 和 Wang, J. 2023. SA-Fusion：面向野外场景的基于网页的人机交互多模态融合方法。WWW '23，第3883–3891页。美国纽约：计算机协会。ISBN 。
Liu, Z.; Lin, Y.; Cao, Y.; Hu, H.; Wei, Y.; Zhang, Z.; Lin, S.; 和 Guo, B. 2021b. Swin Transformer：采用移位窗口机制的分层视觉Transformer。载于ICCV，第10012–10022页。
Liu, Z.; Mao, H.; Wu, C.-Y.; Feichtenhofer, C.; Darrell, T.; 和 Xie, S. 2022b. 面向2020年代的卷积神经网络。载于CVPR，第11976–11986页。
Liu, Z.; Tang, H.; Amini, A.; Yang, X.; Mao, H.; Rus, D.; 和 Han, S. 2022c. BEVFusion：基于统一鸟瞰图表示的多任务多传感器融合方法。arXiv预印本，arXiv:2205.13542。
Malik, J.; Abdelaziz, I.; Elhayek, A.; Shimada, S.; Ali, S. A.; Golyanik, V.; Theobalt, C.; 和 Stricker, D. 2020. Hand-voxnet：基于深度图的3D手部形状与姿态估计的深度体素网络。载于CVPR，第7113–7122页。
Malik, J.; Shimada, S.; Elhayek, A.; Ali, S. A.; Theobalt, C.; Golyanik, V.; 和 Stricker, D. 2021. Handvoxnet++：基于体素神经网络的3D手部形状与姿态估计方法。《IEEE模式分析与机器智能交易》，第44卷第12期：8962–8974页。
Moon, G.; 和 Lee, K. M. 2020. I2L-MeshNet：用于从单张RGB图像精确估计3D人体姿态与网格的图像到像素预测网络。载于ECCV，第752–768页。施普林格出版社。
Park, J.; Oh, Y.; Moon, G.; Choi, H.; 和 Lee, K. M. 2022. HandOccNet：抗遮挡的3D手部网格估计网络。载于CVPR，第1496–1505页。
Paszke, A.; Gross, S.; Massa, F.; Lerer, A.; Bradbury, J.; Chanan, G.; Killeen, T.; Lin, Z.; Gimelshein, N.; Antiga, L. 等. 2019. PyTorch：一种命令式、高性能的深度学习库。载于《神经信息处理系统进展》，第32卷。
Ren, P.; Chen, Y.; Hao, J.; Sun, H.; Qi, Q.; Wang, J.; 和 Liao, J. 2023. 双头网络优于单头：用于基于深度的3D手部姿态估计的图像-点云网络。载于AAAI人工智能会议论文集。
任鹏、孙浩、齐强、王杰和黄伟，2019年。SRN：用于实时3D手部姿态估计的堆叠回归网络。载于BMVC会议，第112页。
塞希特·D、科勒·M、莱万多夫斯基·B、文格费尔德·T和格罗斯·H.-M，2021年。用于室内场景分析的高效RGB-D语义分割。载于2021年IEEE国际机器人与自动化会议，第13525–13531页。IEEE出版。
斯珀尔·A、伊克巴尔·U、莫尔恰诺夫·P、希利格斯·O和考茨·J，2020年。基于生物力学约束的弱监督3D手部姿态估计。载于ECCV会议，第211–228页。施普林格出版。
孙磊、杨凯、胡晓、胡伟和王凯，2020年。用于道路驾驶图像的RGB-D语义分割实时融合网络，包含意外障碍物检测功能。载于《IEEE机器人与自动化快报》，第5卷第4期，第5558–5565页。
谢天豪、金基一、莱昂纳迪斯·A和张宏杰，2022年。基于注意力引导图卷积的手部与物体重建协同学习。载于CVPR会议，第1664–1674页。
瓦斯瓦尼·A、沙泽尔·N、帕尔马尔·N、乌斯佐雷特·J、琼斯·L、戈麦斯·A. N.、凯泽·L和波洛苏欣·I，2017年。注意力机制就是一切。载于《神经信息处理系统进展》，第30卷。
吴硕、朴俊、李俊烨和权宜善，2018年。CBAM：卷积块注意力模块。载于ECCV会议，第3–19页。
熊峰、张斌、肖勇、曹哲、余涛、周建廷和袁杰，2019年。A2J：用于从单张深度图像进行3D关节姿态估计的锚点至关节回归网络。载于ICCV会议，第793–802页。
杨浩、石超、陈阳和王磊，2022年。通过以物体为中心的图像融合提升3D物体检测性能。arXiv预印本arXiv:2207.10589。
郑翔、任鹏、孙浩、王杰、齐强和廖杰，2021a。关节感知回归：重新思考基于回归的3D手部姿态估计方法。载于英国机器视觉会议，第10卷。
郑翔、任鹏、孙浩、王杰、齐强和廖杰，2021b。SAR：用于从单目RGB图像进行3D手部姿态与网格重建的空间感知回归方法。载于2021年IEEE混合现实与增强现实国际研讨会，第99–108页。IEEE出版。
朱晓、苏伟、卢亮、李斌、王晓和戴杰，2020年。Deformable DETR：用于端到端物体检测的可变形Transformer。arXiv预印本arXiv:2010.04159。