# 基于RGB-D图像的双手重建金字塔深度融合网络任金伟、朱建科（IEEE高级会员）摘要—由于遮挡和投影歧义的存在，从单目图像中精确恢复双手的密集3D网格是一项极具挑战性的任务。现有大多数方法通过从彩色图像中提取特征来估计与根节点对齐的手部网格，却忽略了现实世界中至关重要的深度和尺度信息。鉴于传感器测量数据存在噪声且分辨率有限，基于深度的方法往往只能预测3D关键点，而非密集网格。这些局限性促使我们利用这两种互补的输入来获取真实场景下的密集手部网格。在本研究中，我们提出了一种端到端的双手密集网格恢复框架，该框架以单视图RGB-D图像对为输入。其核心挑战在于如何有效利用两种不同的输入模态，以减轻RGB图像的模糊效应和深度图像的噪声干扰。我们并未直接将深度图作为RGB图像的额外通道，而是将深度信息编码为无序点云，从而保留更多几何细节。具体而言，我们的框架分别采用ResNet50和PointNet++来提取RGB图像和点云的特征。此外，我们提出了一种新颖的金字塔深度融合网络（PDFNet），用于聚合不同尺度的特征，其效果明显优于以往的融合策略。我们还采用基于GCN的解码器来处理融合后的特征，进而恢复对应的3D姿态和密集网格。通过全面的消融实验，我们不仅验证了所提融合算法的有效性，还在公开数据集上取得了优于现有最先进方法的性能。为了便于复现实验结果，我们将在上公开源代码和模型。关键词—RGB-D融合、3D重建、手部姿态、端到端网络。 ## 一、引言从单一视角恢复人手的三维姿态和形状，在人机交互[^1]、混合现实[^2]、动作识别[^3]及仿真等诸多实际应用中发挥着关键作用。过去二十年间，针对包括单色图像、带深度图的RGB-D图像、多视角图像以及视频序列在内的各种输入，手部重建领域开展了大量研究[^4] [^5] [^6] [^7] [^8] [^9] [^10] [^11] [^12] [^13]。由于手指关节本身具有复杂性，加之存在自遮挡和运动模糊现象，如何有效应对3D手部重建中的挑战一直是学界持续探索的方向。目前，主流的手部重建方法[^9]、[^14] [^15] [^16]主要侧重于直接从单张RGB图像中估计双手形态。然而，在现实场景中，这些方法面临着诸多难题…… ![Image](images/b8e77a0bcf8a543799c7cb98b4904c118f089a143e0c5f06e42f6a616c21ab65.jpg)

Fig. 1. Comparison between Ours-full method and Ours-RGB method. Although the results of the two methods are very similar under the original projection perspective, there is a large misalignment of the latter in the depth direction under the new perspective.

杂乱的背景、光照变化以及运动模糊现象，限制了它们在与训练数据相似的环境中的性能。通常，传统的框架[^4]会将检测与重建分开处理：先利用现成的检测器从图像中提取手部区域，再将其输入重建模型。因此，这些模型只能预测与根部对齐的3D手网格。相比之下，基于深度图的方法[^17]、[^18]往往将深度图作为辅助监督信息，用以弥补其固有的噪声和有限分辨率问题。此外，某些方法[^6]、[^19]会利用深度图来预测稀疏的3D关键点。深度图中的绝对尺度信息不会受背景变化以及RGB图中丰富的前景特征影响，这对手部重建而言至关重要。图1展示了仅使用RGB输入与结合深度图输入时的视觉对比效果。以往的融合方法[^20]、[^21]、[^22]主要依赖RGB-D相机，这类相机能同时利用丰富的图像信息与深度测量数据来完成物体检测和语义分割等任务。尽管经过长期的大量研究，针对手部重建的有效融合方案仍尚未问世。这一难题源于手势的高度非线性特性[^23]以及手部之间的固有差异，导致仅通过简单组合彩色图像与深度图难以取得理想结果。在某些情况下，仅使用深度图反而能得出更优的结果[^24]。因此，确定一种专为手部重建任务量身定制的有效融合策略显得尤为迫切。最简单且最基础的融合方法就是直接将深度图作为额外通道加入。 --- 该深度图会与RGB图像[^25]并列存在。这种方法仅需将模型的输入通道数从三个调整为四个即可。不过，这种简单融合方法带来的性能提升十分有限。另一种广受欢迎的融合方式是在特征层面进行融合[^24]、[^26]、[^27]。需要注意的是，直接拼接来自浅层CNN的两种特征并不会带来任何性能提升[^24]。因此，研究人员尝试提取多尺度的深度特征[^26]，或在中间特征层执行交叉融合[^27]。上述融合方法主要用于裁剪后的单手图像，这类方法只能预测稀疏的3D关键点，而无法生成密集的网格。此外，这些方法会将深度图转换为2D图像，从而忽略了其固有的3D特性。受以往3D物体检测[^20]以及6自由度估计[^28]、[^29]研究的启发，我们采用了不同的思路：将深度图转换为无序的点云，再提取点特征并与CNN生成的RGB特征进行融合。实验结果表明，由于特征表达更为有效，该方法能够取得更好的性能。此外我们认为，仅依靠固定尺寸的点特征回归来学习局部特征是远远不够的。受PointNet++[^30]架构的启发，我们提出了一种金字塔特征融合模块，该模块能够在多个尺度上实现点云特征与RGB特征在对应位置的整合。而且，基于稀疏3D关键点或根对齐网格估计的现有框架，在现实交互场景中实现双手重建时可能会存在局限。为解决上述问题，我们提出了一种端到端的框架，该框架结合RGB和深度信息，能够从RGB-D输入中精确重建双手的3D网格。与HandPointnet[^6]不同，我们的方法无需使用有向包围盒对点云进行归一化处理，既避免了点云与彩色图像之间的错位问题，又简化了处理流程。为解决局部特征学习困难的问题，我们提出了一种名为PDFNet的金字塔结构特征融合模块，该模块能够促进不同尺度下两种特征的融合，从而实现信息的有效整合。此外，我们还引入了自适应权重分配模块来实现更稳健、更精确的融合，该模块会为不同特征分配权重，以减轻局部不可靠区域的干扰。为了获得比稀疏3D关键点更全面的手部结构表征，我们借鉴[^9]中的做法，选择使用图卷积网络（GCN）作为解码器。我们并未直接使用全图特征，而是引入了用于精准定位手部的中心图。此外，我们还在多个双手数据集上，使用参数化模型MANO[^5]以及多层全连接层作为替代解码器开展了实验。结果证明，我们的融合算法确实带来了显著的性能提升。综上所述，本研究的主要贡献可概括如下。 (1) 我们提出了一种高效的端到端单阶段框架，能够从单一的RGB-D输入中重建3D手部网格。据我们所知，这是首个用于双手重建的RGB-D融合框架。 (2) 我们设计了一种名为PDFNet的新型融合模块，该模块能够有效利用颜色信息与深度图。实证研究证实，该模块能为基线模型带来显著提升。 (3) 定量与定性评估均清晰表明，我们提出的方法在公开可用的双手数据集[^16]、[^31]上取得了最先进的性能。 ### II. 相关工作近年来，手部姿态估计[^4]、[^6]、[^32] [^33] [^34] [^35]以及3D手部网格[^5]、[^18]、[^36]、[^37]重建技术取得了快速进展，由此衍生出多种类别，例如单手[^7]、[^38]重建与多手重建[^39]，完全监督[^8]、[^40]方法与弱监督方法[^41] [^42] [^43]等。在本文中，我们的主要研究重点是探索不同类型的输入数据。因此，以往的研究可以分为三类：彩色图像、深度图以及RGB-D图像。 ### A. 基于彩色图像的手部重建由于缺少深度信息，从单张彩色图像中恢复3D手部姿态极具挑战性。Zimmermann等人[^4]训练了一个深度神经网络，利用合成数据集学习手部的3D关节运动先验。Guo等人[^38]提出了一种特征交互模块以增强关节和骨骼特征。除了预测3D姿态外，Boukhayma等人[^7]还进一步预测手部形状，并通过重投影模块优化3D参数化模型MANO[^5]。为了提升性能，后续的基于模型的方法引入了迭代优化[^44]、神经渲染[^45]、空间网格卷积[^41]、自适应2D-1D配准[^46]等技术。此外，新型的图像到像素预测网络[^8]、图卷积增强型Transformer[^40]以及对比学习[^42]也已被应用于该领域。为了解决真实手部3D标注数据稀缺的问题，Zimmermann等人[^47]提出了首个包含3D姿态和形状标签的单手数据集。Hampali等人[^48]也提出了具有类似标注的数据集，该数据集专注于手-物体交互场景。针对图片中存在多只手的情况，研究人员提出了将手部检测与姿态估计分开的多阶段方法[^49] [^50]，以及能够同时进行检测和重建的单阶段方法[^39] [^10]。Moon等人[^51]利用多视角系统构建了一个大规模的交互手部重建数据集。基于该数据集，后续的多项研究[^9]、[^14] [^15] [^16]、[^52]对左右手交互进行了更深入的研究，并设计了精巧的网络结构以更好地提取特征。 --- ### B. 基于深度图的手部重建与仅使用RGB图像相比，从深度图中恢复手部姿态和形状更为直观，因为可以直接获取部分几何信息。根据对输入数据的不同处理方式，这些方法大致可分为两类：基于图像的方法和基于点云的方法。前者大多直接利用CNN来处理深度图，就像处理RGB图像一样，具体手段包括反馈循环[^53]、像素级密集压缩[^54]、正运动学[^55]、自适应加权回归[^56]以及辅助潜变量[^57]等。后者则将深度图转换为点云，并直接从其中提取点特征以回归手部姿态。Ge等人[^58]提出了用于提取点特征并通过体素表示来回归完整手部姿态的3D CNN。为了有效利用深度图中的信息并减少网络参数，Ge等人[^6]采用了PointNet[^30]、[^59]的网络结构来提取点云特征。他们还引入了点云正则化模块以提升该方法的鲁棒性。后续研究采用了类似的框架，同时引入了热图和单位向量场[^34]、语义分割[^60]等中间监督信息来增强模型性能。随着研究的深入，排列等变层（PEL）[^19]、自组织映射（SOM）[^61]以及Transformer[^62]也被引入到手部姿态估计中。对于交互式手部，Taylor等人[^63]训练了一个分割网络以从深度图构建3D点云，并设计了有符号距离场来最小化模型拟合误差。Muller等人[^64]则先估算顶点到像素的对应图，提出了一种能量最小化框架，通过拟合点云来优化姿态和形状参数。不过，基于优化的模型拟合方法更依赖于精确的3D点云输入；而基于学习的方法则能从其他深度图中获取更多先验信息，从而减轻传感器噪声的影响，这一点尚待进一步探索。 ### C. 基于RGB-D图像的手部重建 RGB-D融合技术在3D物体检测[^20]、物体姿态估计[^28]以及语义分割[^22] [^21]等领域已被广泛研究。然而，针对手部重建任务的研究却相对较少。[^66] [^67] [^68]这类方法通常将RGB-D传感器作为输入，但仅利用RGB图像在深度图中分割出手部区域。Cai等人[^18]在训练过程中将深度图作为正则化项，以降低对3D标注数据的依赖，测试时则仅使用RGB图像。Yuan等人[^69]先预训练一个基于深度的网络，在后续的RGB-D联合训练阶段冻结该网络的参数；通过最小化两个分支的中间特征差异，缩小基于RGB的方法与基于深度的方法之间的差距。Kazakos等人[^24]设计了用于RGB-D融合的双流架构，分别尝试了输入级融合、特征级融合和分数级融合。遗憾的是，他们的实验表明添加RGB信息并未带来性能提升。Mueller等人[^25]直接使用4通道的RGB-D输入，训练两个CNN来定位并回归手部的3D位置；他们选择将RGB像素投影到深度图上生成彩色深度图，再分别预测手部中心的绝对坐标及各关节的3D偏移量。Lin等人[^26]将深度图缩放到多种尺寸以聚合不同分辨率的特征，随后采用特征注意力结构[^70]来融合RGB特征。Sun等人[^27]采用了类似双流结构，其中深度图分支采用较浅的网络以避免过拟合；两个分支的特征先在中间层交叉，再拼接在一起，这种方式比直接拼接取得了更好的效果。上述每种方法都存在一定的局限性：首先，它们仅专注于手部姿态的回归，而未进行形状重建；虽然与点云结构相比，深度图能更精确地描述几何信息，但针对这一领域的研究仍十分匮乏；此外，简单拼接全局特征可能难以有效捕捉局部结构。多尺度特征融合或许是一种可行的解决方案。考虑到上述局限，我们基于所提出的金字塔融合模块（PDFNet），提出了一种全新的密集手部网格重建框架。 ### 三、方法论本文的目标是通过单张RGB-D图像恢复真实场景中双手的密集3D网格。我们的框架同时接收RGB图像和由深度图生成的点云作为输入，分别利用经典的ResNet50[^65]和PointNet++[^30]提取特征；随后将提取的特征送入PDFNet进行深度融合，以提升模型性能。融合后的特征会被送入基于GCN的解码器，输出双手的密集3D网格。通过巧妙融合RGB和深度两种模态，我们能够准确重建出具有真实深度与比例的相机空间内3D手部网格。对于AR/VR应用中的交互场景而言，恢复相机坐标系内的绝对位置至关重要，这突破了以往仅输出以根部为基准的定位结果的限制。除了根部位置外，深度图还能反映手部关节间的相对几何关系，这对局部坐标系下的重建精度有着重要贡献。 ### A. 概述我们方法的总体结构是一种经典的编码器-解码器架构，如图2所示。该方法可分为三个核心组成部分：特征提取、特征融合和特征解码。在特征提取模块（第III-B节）中，我们利用ResNet50提取二维图像特征，同时采用PointNet++提取三维点云特征。在特征融合阶段（第III-C节），通过点云索引在像素层面将对应的RGB特征与点云特征进行融合。最后，在特征解码阶段 --- ![Image](images/927c6f8156fe2ff425d4e7f5665a529806e60c286686e5aa8e161690f2eb05ee.jpg)

Fig. 2. Overview of the proposed framework. Given an RGB-D image, we adopt ResNet50 [^65] and PointNet++ [^30] as the backbone to extract features (Section III-B) and decode RGB features into center maps and masks using two simple decoders. The deep fusion module (Section III-C) is responsible for the deep fusion of RGB features and point features. The GCN-based decoder (Section III-D) takes the fused global feature and outputs dense hand mesh of both hands in a coarse to fine way. The whole pipeline is trained in an end-to-end manner.

（第III-D节），我们采用多层图卷积网络（GCN）和上采样操作，将输入的全局特征解码为包含两只手的精细三维密集网格表示。在后续章节中，我们将对框架中的每个模块进行详细阐述。 ### B. 双流编码器在特征提取模块中，我们需要从包含双手的第一视角RGB-D图像中充分提取特征，以还原准确的姿态和形状。RGB特征提取。首先，给定一张未经处理的单目RGB图像$\mathcal{I}_c \in \mathbb{R}^{H \times W \times 3}$，我们使用经典的ResNet50提取二维金字塔特征，具体过程如下：$F = \{\mathcal{F}_1 \in \mathbb{R}^{H \times W \times 3}, \mathcal{F}_2 \in \mathbb{R}^{\frac{H}{2} \times \frac{W}{264}}, \mathcal{F}_3 \in \mathbb{R}^{\frac{H}{4} \times \frac{W}{4} \times 256}\}$。接着，我们采用两个简单的解码网络来回归左右手的中心位置$P_{ct} = \{P_l \in \mathbb{R}^2, P_r \in \mathbb{R}^2\}$和掩码$M = \{M_l \in \mathbb{R}^{H \times W}, M_r \in \mathbb{R}^{H \times W}\}$。预测得到的每只手的中心位置将用于初始化手模型的三维位置，而预测的掩码则用于从深度图中分割出手区域。点云预处理。给定一张未经处理的深度图$\mathcal{I}_d \in \mathbb{R}^{H \times W \times 1}$以及针对双手的预测掩码M，我们首先利用相机参数将二维图像转换为三维点集。通过计算该点集的平均深度，我们过滤掉超出阈值范围$[-0.08, +0.08]$毫米的异常值，以减少噪声干扰。随后，我们从剩余的点集中随机选取1024个点作为初始点云。基于生成的初始点云，我们可以直接利用专门设计的网络提取点云特征。 PointNet++简介。与直接使用CNN从二维深度图中提取特征相比，PointNet [^59]率先通过逐点多层感知机（MLP）网络直接从点云中提取高维特征。但由于PointNet中点的数量固定，因此缺乏对局部结构特征的挖掘。为此，PointNet++ [^30]提出了一种分层特征提取架构来解决这一问题。具体而言，它包含多个点集抽象层，每层选取固定数量的点作为局部区域的中心。每个中心点周围的K个邻居点会被聚合起来，再通过经典的PointNet网络提取高维特征。中心点和高维特征会被送入下一层，重复上述聚合操作。最终，通过PointNet网络从最后一层的所有点中提取出全局特征。值得注意的是，以往的研究常使用PointNet进行点云分类，而从稀疏点云预测密集三维网格仍是一个尚未探索的领域。深度特征提取。给定包含双手的点云数据集$X_h = \{X_l \in \mathbb{R}^{N \times C}, X_r \in \mathbb{R}^{N \times C}\}$，我们借鉴PointNet++的结构来提取金字塔式点云特征，具体过程如下：$P = \{\mathcal{P}_1 \in \mathbb{R}^{2 \times N \times C}, \mathcal{P}_2 \in \mathbb{R}^{2 \times N_1 \times C_1}, \mathcal{P}_3 \in \mathbb{R}^{2 \times N_2 \times C_2}\}$。在我们的实现中，涉及到的模块包括$N=1024$、$C=3$、$N_1=512$、$C_1=131$、$N_2=128$、$C_2=259$。在每一层点集抽象过程中，我们的方法是通过球查询在预定义的半径范围内定位邻近点。这些被识别出的点随后会被送入多层感知机（MLP）中，从而提取出与中心点数量相对应的高维特征。这些特征会与中心点的特征进行拼接，最终得到该层特定的点云特征。需要注意的是，此时得到的金字塔式点云特征结构与之前得到的金字塔式RGB特征结构类似。换句话说，随着尺度的减小，通道数会随之增加，这代表了特征抽象过程的持续进行。通过整合不同尺度的金字塔特征，我们能够更深入地探究不同模态的特征特性，从而实现彼此间的相互强化与互补。 --- ![Image](images/2e70ee66aee4b245d96c69667a419be6bb80783a4cbfba975303a306c69354a2.jpg)

Fig. 3. Details of our proposed Pyramid Deep Fusion Network (PDFNet).

随着尺度的减小，通道数会逐渐加深，这一过程体现了特征抽象的持续进行。通过整合不同尺度的金字塔特征，我们能够更深入地挖掘不同模态的特征特性，进而实现彼此间的相互强化与互补。 ### C. 金字塔深度融合网络至此，我们已经成功获取了两种模态的金字塔特征。接下来最关键的一步就是有效地融合这些特征。虽然最简单的方法是使用单层MLP从两种模态中生成全局特征，再将它们拼接起来，但这种方法忽略了模态间存在的局部差异。运动模糊、遮挡和噪声等局部特性可能会削弱全局特征之间的互补效果。为解决这一问题，我们采用了像素级特征融合技术，通过点云的3D-2D投影将对应的RGB特征与点云特征对齐。值得注意的是，与DenseFusion[^28]采用的方法不同，我们是在多尺度金字塔特征上进行逐像素融合。与简单拼接两种不同特征的做法相比，我们引入了特征空间变换模块，该模块能够动态分配权重，从而避免局部偏差对整体性能产生影响。具体来说，我们设计了如图3所示的三层金字塔特征融合结构。借助PointNet++[^30]网络，我们通过中心点聚合操作，将初始点云$\mathcal{X}_1 \in \mathbb{R}^{1024 \times 3}$下采样为更稀疏的点云$\mathcal{X}_2 \in \mathbb{R}^{512 \times 3}$和$\mathcal{X}_3 \in \mathbb{R}^{128 \times 3}$。每组点云会通过中心点的球查询找到K个邻近点，构成局部点集。通过PointNet网络，从每个局部点集中提取出更高维度的特征，随后通过最大池化操作将其整合为单一的点表示。得到的聚合后的高维特征会与原始点云中的中心点特征拼接，从而得到该层的点特征P。为了便于理解，相应的伪代码可参见算法1。为了获取特定位置对应的RGB特征，我们保留点云相对于深度图的索引向量。借助该索引，我们将每个点云投影到二维特征图上并提取相应的特征，如图3所示的投影-提取过程。所收集的RGB特征和点云特征具有相似的维度，便于进行无缝特征拼接，这被视为一种常规且有效的特征融合方法。然而，这两个特征向量在数据分布和数量级上存在差异，因此需要自适应地分配特征权重以获得更好的效果。受[^71]提出的空间特征变换技术的启发，我们设计了一个浅层MLP网络，分别为上述两种特征学习缩放和平移参数。RGB特征作为条件因子，用于生成缩放和平移参数。这使得特征仿射变换能够将点特征映射到新的特征空间，如下所示。 $$ \hat{\mathcal{P}}=\mathcal{P}\odot\mathbf{\alpha}+\mathbf{\beta},(\mathbf{\alpha},\mathbf{\beta})=\psi(\mathcal{F}). $$ $\alpha$和$\beta$是学习得到的仿射变换参数——缩放和平移，其维度与$\mathcal{P}$相同。$\odot$表示逐元素乘法，而$\psi$指的是我们的特征变换网络。变换后的特征$\hat{\mathcal{P}}$会通过PointNet++的点集抽象层被聚合成更稀疏的高维特征点云。最后一层的点云特征通过PointNet网络融合，生成单一的全局特征$\mathcal{G} \in \mathbb{R}^{2 \times 1024 \times 1}$。获得融合特征后，我们的目标是将其与CNN生成的中心特征合并。中心特征代表了整个手部的全局特性。 --- // Algorithm 1: Algorithm for PDFNet Procedure Input: pyramid RGB feature map F; center feature map C; initial point cloud $X_h$; camera intrinsic matrix K; num_layers; BallRadius; NumPoints. 输出：全局融合特征$\hat{G}$。 $P_1$、$X_1 \leftarrow X_h$ $\triangleright$：初始化点特征和点集 for i in [1, num_layers] do $(u,v) \leftarrow K^{-1}X_i$ $\triangleright$ Find image coordinates $\hat{P}_i \leftarrow \text{Fetch}(F_i|u,v)$ $\triangleright$ Fetch corresponding RGB features $(\alpha, \beta) \leftarrow \psi_i(\hat{F}_i, P_i)$ $\triangleright$ Calculate affine transformation parameters $\hat{P}_i \leftarrow (P_i \odot (\alpha + 1) + \beta) \triangleright$ Feature transformation if $i < num\_layers$ then $S_i \leftarrow \text{find}(\hat{P}_i, NumPoints\_i, BallRadius\_i)$ $\triangleright$ Find local structure $P_{i+1} \leftarrow \text{cat}(P_i, PointNet(group(S_i))))$ $\triangleright$ Point set abstraction else $G \leftarrow \text{PointNet}(\hat{P}_i)$ $(\alpha, \beta) \leftarrow \psi_{i+1}(C, G)$ $\hat{G} \leftarrow (G \odot (\alpha + 1) + \beta) \triangleright$ Affine transformation return $\hat{G}$ 由于融合特征由稀疏的局部特征组成，这种设计结合了全局和局部元素，能够最大化输入图像的表征能力，从而获得更好的结果。后续的消融实验进一步证实了这一发现。一旦获得最终的融合特征，它们就会被送入基于GCN的解码器，以输出双手的密集3D网格。 ### D. 基于GCN的解码器为了充分利用提取的特征信息，我们的解码器主要基于一种最先进（SOTA）的方法[^9]构建。与主要针对位于中心的交互式手部进行处理的方法不同，我们的方法能够适配视野内任意位置出现的手部。因此，我们从CenterNet的设计中汲取灵感[^72]，将中心点作为手部的表征。在提取对应的图像特征时，我们从特征图中中心点的位置收集全局特征，而非直接对整个特征图进行展平处理。后续的比较实验验证了该方法的优势：它能有效聚焦手部区域的特征而非背景区域，最终产生更优的结果。我们采用切比雪夫谱图卷积网络 [^73] 来构建三维手部网格，遵循经典的由粗到精结构。如同 [^9] 中所述，我们构建了具有指定顶点数量的三层子网格：$N_{1}=63$、$N_{2}=126$、$N_{3}=252$。最终的网格与MANO [^5] 的拓扑结构一致，包含778个顶点。借助多层上采样操作，我们成功将初始的较粗糙子网格细化为最终的完整MANO网格。与PointNet类似，GCN通过直接优化每个顶点上的特征来学习三维网格的几何结构。给定融合后的全局特征 $\mathcal{G}$，我们通过全连接层将其映射为更紧凑的特征向量，再将其与顶点的位置编码拼接，从而得到初始的图特征 $\mathcal{G}_{\mathcal{V}} \in \mathbb{R}^{N \times C}$、$(N = 63, 126, 252)$、$(C = 512, 256, 128)$。如同 [^9] 中所述，我们对每个图特征的图卷积操作定义如下： $$ G_{out}=\sum_{k=0}^{K-1}C_{k}(\hat{L})G_{in}W_{k}. $$ 其中 $C_k$ 是k阶切比雪夫多项式，$\hat{L} \in \mathbb{R}^{N \times N}$ 是缩放后的拉普拉斯矩阵。$W_k \in \mathbb{R}^{C_{in} \times C_{out}}$ 是可学习的权重矩阵。$G_{in} \in \mathbb{R}^{N \times C_{in}}$ 和 $G_{out} \in \mathbb{R}^{N \times C_{out}}$ 分别是图卷积操作中的输入特征和输出特征。通过由全连接层组成的多个回归头，我们将最后一层的图特征映射到对应的优化目标，例如根节点坐标、以根为基准对齐的MANO网格、GCN网格等。 ### E. 损失函数为了实现整个模型的端到端训练，我们设计了一系列损失函数来约束参数的学习过程。与原始的GCN方法 [^9] 不同，我们为双手增加了定位模块。该模块采用了根节点位置的初始化方案，利用手部中心来辅助每个中心位置的特征提取。下文将详细介绍我们所有的损失函数。中心损失用于监督手部中心的学习。本质上，它是一个逐像素的二元逻辑回归问题。左右手的中心点作为正样本，其余点作为负样本。类似于CenterNet [^72]，我们采用焦点损失 [^74] 的形式来避免正负样本数量不平衡带来的影响，具体形式如下： $$ \mathcal{L}_{c}=\sum_{h\in\{L,R\}}(1-A_{h})^{\gamma}\log(A_{h}), $$ 其中 $A_h \in [0,1]$ 是正类的估计置信度图，$1 - A_h$ 是负类的概率。$\gamma$ 是一个超参数，在我们的实验中取值为2。掩码损失用于监督手部掩码的生成，这属于典型的语义分割问题。我们使用平滑的 $L_1$ 损失来计算预测结果与真实值之间的差异。 $$ \mathcal{L}_{m}=||M-\hat{M}||_{1}, $$ 其中 $\hat{M}$ 是真实掩码，M是我们的掩码预测结果。根损失表示预测的根节点与真实值之间的 $L_{1}$ 距离。在本研究中，我们选择 ---

TABLE I

COMPARISON WITH PREVIOUS SOTA METHODS ON H2O [^16] EVALUATION DATASET. WE REPORT THE MPJPE/MPVPE AND AL-MPJPE/AL-MPVPE (MM) FOR EACH HAND.

Methods	Inputs		MPJPE $\downarrow$			MPVPE $\downarrow$			AL-MPJPE $\downarrow$			AL-MPVPE $\downarrow$
Methods	RGB	D	Left h.	Right h.	Mean h.	Left h.	Right h.	Mean h.	Left h.	Right h.	Mean h.	Left h.	Right h.	Mean h.
$H_{{2}}O$ [^31]	✓		41.45	37.21	39.33	-	-	-	-	-	-	-	-	-
Hasson [^75]	✓		39.56	41.87	40.72	-	-	-	-	-	-	-	-	-
Tekin [^76]	✓		41.42	38.86	40.14	-	-	-	-	-	-	-	-	-
HOI4D [^77]	✓		-	-	-	-	-	-	19.9	19.9	19.9	-	-	-
IntagHand [^9]	✓		39.54	42.90	41.22	38.77	41.91	40.34	12.03	14.23	13.13	12.46	14.49	13.48
kypt-trans [^16]	✓		-	-	-	-	-	-	21.36	19.57	20.47	-	-	-
Ours-RGB	✓		33.20	36.28	34.74	33.00	35.55	34.28	10.95	12.71	11.83	11.28	12.90	12.09
PointNet++ [^30]		✓	17.17	17.83	17.50	16.98	17.37	17.18	7.61	9.40	8.51	7.82	9.42	8.62
IntagHand+D [^9]	✓	✓	17.26	20.92	19.09	16.79	20.20	18.49	9.82	12.56	11.19	10.10	12.56	11.33
kypt-trans+D [^16]	✓	✓	-	-	-	-	-	-	15.58	14.50	15.04	-	-	-
Densefusion [^28]	✓	✓	21.39	25.76	23.58	21.42	25.34	23.38	18.08	23.55	20.81	18.42	23.79	21.11
Ours-full	✓	✓	9.64	11.62	10.63	9.08	11.00	10.04	6.93	8.74	7.84	7.10	8.79	7.94

中指的第一个关节作为根节点，它是21个关节中的第9个。 $$ \mathcal{L}_{r o o t}=\sum_{h\in\{L,R\}}||R o o t^{h}-R\hat{R}o o t^{h}||_{1}. $$ 网格损失包括我们的GCN网格损失和三维手部顶点的MANO网格损失，我们采用 $L_{1}$ 损失进行计算。 $$ \mathcal{L}_{V}=\sum_{h\in\{L,R\}}||\mathcal{M}_{G C N}^{h}-\hat{\mathcal{M}}_{G C N}^{h}||_{1}+||\mathcal{M}_{M A N O}^{h}-\hat{\mathcal{M}}_{M A N O}^{h}||_{1}. $$ 关节损失。我们利用MANO中预定义的关节回归器 $\mathcal{J}$ 来生成三维关节。与网格损失类似，我们采用 $L1_1$ 损失。 $$ \mathcal{L}_{J}=\sum_{h\in\{L,R\}}||\mathcal{J}(\mathcal{M}_{M A N O}^{h})-\mathcal{J}(\hat{\mathcal{M}}_{M A N O}^{h})||_{1}. $$ 重投影损失。我们使用投影函数将3D网格和关键点投影到2D图像上，以计算重投影损失，该损失通过$L_{2}$损失来实现。 $$ \begin{aligned}{\mathcal{L}_{r e p}}&{{}=\sum_{h\in\{L,R\}}||(\Pi(\mathcal{M}_{M A N O}^{h})-\Pi(\hat{\mathcal{M}}_{M A N O}^{h}))||_{2}}\\ {}&{{}+||(\Pi(\mathcal{J}(\mathcal{M}_{M A N O}^{h}))-\Pi(\mathcal{J}(\hat{\mathcal{M}}_{M A N O}^{h})))||_{2}.}\\ \end{aligned} $$ 平滑损失。为确保输出网格的平滑性，我们加入了法向量损失和边长损失。 $$ \mathcal{L}_{s m o o t h}=\sum_{i=1}^{3}||e_{i}\cdot\hat{n}||_{1}+||e-\hat{e}||_{1}, $$ 其中，$\hat{n}$和$e_{i}$分别表示预测网格中每个面的真实法向量及三条边，e代表每条边的长度，而$\hat{e}$则对应其真实值。 ### 四、实验 ### A. 实现细节我们提出的框架基于PyTorch [^78]实现，采用了非对称双流架构进行特征编码。与IntagHand [^9]要求训练时输入居中交互的手部图像不同，我们的模型能够从任意位置接收手部图像。以H2O数据集 [^31]为例，我们首先通过零填充将输入图像转换为正方形，随后将其统一缩放至$384 \times 384$尺寸。虽然更高分辨率能保留更多细节，但对训练内存的要求也更高。训练过程中，我们使用两张RTX2080Ti GPU，每张卡分配8个样本作为批次大小。初始学习率设为$1 \times 10^{-4}$，在第30个训练轮次时降低为原来的十分之一。整个训练过程共进行80个轮次，通常需要大约三天时间才能完成。训练期间采用了常见的数据增强策略，包括缩放、旋转、平移、颜色抖动以及水平翻转。 ### B. 数据集与评估指标 H2O [^31]是一个真实的两手数据集，包含多视角RGB-D图像。我们仅使用了第一视角的数据，其中训练集包含55,742张图像，验证集包含11,638张图像，测试集包含23,391张图像。该数据集提供高分辨率图像，RGB图像与深度图均为$1280 \times 720$且像素对齐。此外，它还为每只手提供了62维的MANO标注，可据此生成对应的3D网格和关键点。借助相机内参矩阵，我们获得了相应的2D关键点。该数据集记录了在不同桌面背景下抓取不同物体的场景，因此手部姿态复杂多样。 H2O-3D [^16]是一个真实采集的数据集，专注于双手与物体之间的交互场景。该数据集共包含17个多视角序列，有5名实验者参与操作10种不同的物体进行录制。数据集为76,340张图像提供了3D标注，其中训练集包含来自69个单摄像头序列的60,998张图像，测试集包含来自16个单摄像头序列的15,342张图像。该数据集提供的RGB-D图像对分辨率为$640 \times 480$，拍摄视角为第三视角。 RHD [^4]是一个大规模的合成数据集，由免费可获取的角色模型渲染而成。它从第三视角为双手提供3D关键点标注，包含41,258个训练样本和2,728个测试样本。RGB-D图像对像素对齐，分辨率为$320 \times 320$。 --- ![Image](images/e5848c2a16cae83fd85ab01e453479f5b2e56266bea22164eddda7fd1557ca00.jpg)

Fig. 4. Visual comparison on the H2O [^16] dataset. We compared our results with DenseFusion [^28] and IntagHand+D [^9], and our results performed significantly better in hand-to-hand and hand-to-image alignment. We placed the predicted mesh and ground truth in the same coordinate system and color the left and right hands of the prediction in red and green respectively. From the side perspective, it can be seen that incorrect root node depth prediction can lead to significant misalignment.

评估指标。为了评估双手重建的准确性，我们分别使用对齐后的关节位置误差均值（AL-MPJPE）和对齐后的顶点位置误差均值（AL-MPVPE），以毫米为单位来衡量根节点对齐后的3D关键点和3D网格顶点。在实际应用中，准确恢复重建手部的深度和尺度至关重要。因此，我们还额外估算了根节点的位置，并直接在相机坐标系下评估MPJPE和MPVPE。 ### C. 与最先进方法的对比 H2O数据集上的双手重建结果。首先，我们在H2O数据集上将我们的方法与以往最先进的双手重建方法[^9]、[^16]、[^31]、[^77]进行了比较。我们还报告了几种单手姿态估计方法[^75]、[^76]的结果，这些方法针对H2O数据集中的左右手图像分别使用独立的模型，表中列出的结果引自H2O [^31]。由于我们的方法是首个采用RGB-D输入进行双手重建的方法，因此可对比的现有重建方法较少。为此，我们给现有的基于RGB的方法添加了深度输入，以证明我们融合策略的优越性。由于DenseFusion [^28]最初是为物体的6自由度姿态估计设计的，我们将其集成到所提出的框架中进行对比。同样，原始的PointNet++ [^30]是为点云分类和分割设计的，我们基于作者的原始实现做了相应修改。表I展示了在H2O数据集上的评估结果。无论是在绝对位置误差还是相对位置误差方面，我们的方法都显著优于以往的最先进方法：AL-MPJPE/AL-MPVPE。它取得了

TABLE II

COMPARISON WITH PREVIOUS SOTA METHODS ON H2O-3D [^16] EVALUATION DATASET. WE REPORT THE AL-MPJPE (MM) AND AUC FOR EACH HAND.

Methods	Inputs		AL-MPJPE $\downarrow$	AUC $\uparrow$
Methods	RGB	D	AL-MPJPE $\downarrow$	AUC $\uparrow$
Densefusion [^28]	✓	✓	12.7	0.747
IntagHand+D [^9]	✓	✓	11.7	0.767
kypt-trans+D [^16]	✓	✓	11.7	0.769
Ours-full	✓	✓	10.7	0.787

在相机坐标系下，左手的MPJPE为9.64毫米，右手的MPJPE为11.62毫米。就根节点对齐后的位置误差而言，左手的AL-MPJPE为6.93毫米，右手的AL-MPJPE为8.74毫米。为了公平比较，表中所有方法均使用数据集提供的真实掩码来分割深度图。在我们后续的消融实验中，我们也对比了直接使用模型估计出的掩码所获得的结果。 H2O测试集上的视觉对比结果如图4所示。我们在H2O测试集上将我们的方法与DenseFusion [^28]以及IntagHand+D [^9]进行了比较。通过将预测出的网格投影到输入图像上，我们可以直观对比手部与图像的对齐效果。此外，我们还将真实网格和预测结果同时置于相机坐标系中，以对比手部之间的对齐效果。我们在图4中用黄色圈出了差异明显的部分。可以看出，我们的方法在所有视角下都实现了明显更好的对齐效果。 H2O-3D数据集上的双手重建结果。H2O3D是一个来自第三方机构的具有挑战性的双手数据集。 --- ![Image](images/35e5caee7bbd69ebb91f1b105cc28d2af8f14e96adc595f7d834e175143478ce.jpg)

Fig. 5. Visualization results on the H2O-3D [^16] test set. We compared our results with IntagHand+D [^9] and DenseFusion [^28], and our results performed significantly better in hand-to-image alignment.

TABLE III

ABLA1ION STUDY USING DIFFERENT EXPERIMENTAL CONFIGURATIONS EVALUATED ON H2O TEST SET. CHECKING FTN INDICATES THE USE OF THE DEDICATED FEATURE SPACE TRANSFORMATION NETWORK DESIGNED IN THIS ARTICLE WHILE UNCHECKING IT INDICATES THE USE OF SIMPLE FEATURE CONCATENATING. CHECKING GT MASK MEANS USING A GROUND TRUTH MASK TO SEGMENT THE DEPTH MAP WHILE UNCHECKING IT MEANS USING THE MASK PREDICTED BY THE MODEL.

	RGB	Depth	Point Feat.	RGB Feat.	Center Feat.	FTN	GT Mask	MPJPE $\downarrow$	MPVPE $\downarrow$	AL-MPJPE $\downarrow$	AL-MPVPE $\downarrow$
1	✓	-	-	-	✓	-	-	34.74	34.28	11.83	12.09
2	-	✓	✓	-	-	-	✓	17.50	17.18	8.50	8.62
3	✓	✓	-	-	✓	-	-	16.15	15.70	10.73	10.88
4	✓	✓	✓	✓	✓	-	✓	16.40	15.99	8.32	8.41
5	✓	✓	✓	✓	-	✓	✓	12.61	12.32	8.53	8.62
6	✓	✓	✓	✓	✓	✓	-	12.11	11.62	8.89	8.96
7	✓	✓	✓	✓	✓	✓	✓	10.63	10.04	7.84	7.94

TABLE IV

ABLATION STUDIES USING DIFFERENT DECODERS EVALUATED ON H2O [^16] TEST SET.

Decoders	MPJPE $\downarrow$	MPVPE $\downarrow$	AL-MPJPE $\downarrow$	AL-MPVPE $\downarrow$
MANO	16.60	16.69	8.36	8.54
GCN	10.63	10.04	7.84	7.94

具体而言，我们的模型也已在该数据集上单独测试。由于该数据集未提供测试集的标注信息，我们将其提交并在官方在线平台$^{1}$上进行了评估。评估结果如表II所示，可以看出我们的方法在该数据集指定的评价指标下取得了更好的性能。可视化结果如图5所示。

TABLE V

ABLATION STUDY USING DIFFERENT NUMBER OF PYRAMID LAYERS EVALUATED ON H2O DATASET.

Num. of Layers	MPJPE $\downarrow$	MPVPE $\downarrow$	AL-MPJPE $\downarrow$	AL-MPVPE $\downarrow$
L1	21.97	21.56	8.44	8.63
L2	19.58	19.11	8.95	9.12
L3	11.76	11.28	8.03	8.15
L1+L3	11.47	11.05	8.43	8.58
L1+L2+L3	10.63	10.04	7.84	7.94

### D. 消融研究我们在H2O和RHD数据集上开展了一系列详尽的消融实验，旨在验证框架内各模块所发挥的作用。首先，我们想证明引入深度图相较于仅使用RGB输入所能带来的性能提升。这与大多数人的直觉以及我们设计融合模块的初衷相符。其次，我们希望展示我们所提出的PDFNet算法相较于现有融合策略的优势。 --- 我们仅在同一编码器-解码器框架内修改特征融合模块，以此来验证该算法的优势。因此，我们展示了金字塔设计和特征变换模块的有效性。接下来，我们将呈现全面的消融实验结果，并对相应结果进行详细分析。 ![Image](images/c5325f1ab11c88acfaaea6e7e3c0ea7bdd0f66679e2a6ab11e699dae04c67e69.jpg)

Fig. 6. Visual comparison of Ours-full model with Ours-RGB model in Table I on the H2O [^16] dataset. We placed the predicted meshes and ground truth in the same camera space and color the predicted left and right hands with red and green respectively.

不同输入模态的比较：我们对模型在不同输入场景下的性能进行了全面分析，在H2O数据集上得到的实验结果如表III所示。表中的第1行代表基线方法，即仅利用RGB图像进行特征提取；第2行则仅使用深度图来提取点特征，并借助真实掩码生成初始点云；第3行展示了模型直接使用4通道的RGB-D图像作为输入的情况。对比表中的第1至3行可以发现，引入深度图后误差显著降低了50%。这与我们的初步预期一致，因为仅凭RGB输入来预测深度本身存在难度，该问题属于不适定问题。视觉对比结果如图6所示。与第2行相比，第3行的绝对位置误差更低，但在相对位置误差方面并无优势。这表明RGB图像虽然有助于提升最终预测的准确性，但也会引入一些背景干扰信息。这也说明简单粗糙的4通道输入并非理想之选。这进一步凸显了我们充分利用两种输入模态互补性的必要性。不同融合策略的比较：通过对比表I中DenseFusion [^28]与我们提出的Ours-full的结果可以发现，我们设计的金字塔特征融合方法能带来显著的性能优势。绝对位置误差（MPJPE）从23.58毫米降至10.63毫米，而相对位置误差（AL-MPJPE）则从20.81毫米降至7.84毫米。此外，我们进一步研究了PDFNet中不同模块对最终性能的影响，相关结果如表III所示。对比第4行和第7行可知，特征变换网络（FTN）在降低模型误差方面发挥着关键作用，这也凸显了为两种输入模态分配自适应权重的必要性。否则，正如第3行所示，不必要的背景干扰特征会对最终模型性能产生负面影响。在第5行中，我们移除了中心特征，直接将点特征与RGB特征的融合结果作为最终特征。值得注意的是，与完整模型相比，这种方法会使MPJPE增加约2毫米，AL-MPJPE增加约1毫米。我们认为加入全局中心特征具有优势，因为它能有效利用信息丰富的全局-局部特征，从而避免模型陷入局部最优或发生过拟合现象。在第6行中，我们尝试使用模型预测的掩码来分割深度图。然而，这导致所有误差指标增加了近1毫米。这种现象源于语义分割本身固有的挑战——预测掩码与真实值之间必然存在差异。幸运的是，虽然模型性能略有下降，但仍显著优于现有最先进（SOTA）方法。此外，我们还研究了不同金字塔层对特征融合及模型在H2O数据集上性能的影响。实验结果如表V所示。可以看出，通过整合金字塔特征，能够获得更强的表征能力，进而提升模型的最终性能。不同解码器的对比。为了验证我们框架的有效性以及PDFNet的易部署性，我们将基于GCN的解码器替换为基于MANO的解码器。实验结果如表IV所示，表明我们框架中采用的GCN模块具有显著的性能优势。此外，与表I中IntagHand和IntagHand+D的结果相比，我们的MANO版本在MPJPE指标上仍分别实现了24.62毫米和2.49毫米的提升。这说明PDFNet是一种有效的特征融合算法，能够为基于MANO的解码器提取更优质的特征。此外，我们使用RHD数据集来测试PDFNet模块是否能在复杂场景中发挥作用，因为该数据集是来自第三方视角的合成双手数据集。其挑战性在于手部位置变化极大，从10毫米以内的极近距离到2米以外的远距离均有涉及。表VI中的结果证实了PDFNet的鲁棒性。另外，由于该数据集仅提供稀疏的3D关键点标注，我们将基于GCN的解码器替换为简单的三层全连接层，以直接输出21个关键点的坐标。这一实验也证明了PDFNet算法具备一定的通用性，可适配多种解码器。局限性。模型的精度与泛化能力仍有待提升。 ---

TABLE VI

PERFORMANCE COMPARISON BETWEEN USING THE PDFNET MODULE AND NOT USING IT ON THE RHD [^4] TEST SET. WE REPORT THE MPJPE AND AL-MPJPE (MM) FOR EACH HAND HERE.

Methods	MPJPE $\downarrow$		AL-MPJPE $\downarrow$
Methods	Left h.	Right h.	Left h.	Right h.
w/o PDFNet	419.89	451.03	55.81	50.81
w/ PDFNet	215.34	218.29	36.90	35.99

模型对掩码的预测效果尚未达到最优。值得考虑采用SAM [^79]等大规模预训练模型，以实现在更广泛应用场景中的更强适应性。在实际部署中，利用连续帧中的时序信息来获取一致的估计结果至关重要。遗憾的是，当前方法仅支持单帧RGB-D图像作为输入，还有进一步的改进空间。 ### V. 结论本文提出了一种基于单目RGB-D输入的手部重建端到端框架。我们采用了精心设计的双流架构来分别提取深度特征与RGB特征。此外，我们还提出了一种名为PDFNet的新型金字塔特征融合算法，以协同利用这两种互补输入模态的优势。该模型通过基于GCN的解码器，成功在相机坐标系下生成密集的双手网格。实验表明，本文提出的融合算法与重建框架能够精确重建具有真实深度与尺度的双手网格。与现有最先进方法相比，我们的方法在性能上取得了显著提升。在未来的工作中，我们计划探索手部与物体的交互以及人与环境的互动，从而拓展应用场景范围。此外，还可以利用时序信息与多视角信息来进一步提升模型的实用性。 ## 参考文献 [^1]: Y. Song, D. Demirdjian, and R. Davis, “Continuous body and hand gesture recognition for natural human-computer interaction,” ACM Transactions on Interactive Intelligent Systems, vol. 2, no. 1, pp. 1–28, 2012. [^2]: H. Lin and T.-W. Chen, “Augmented reality with human body interaction based on monocular 3d pose estimation,” in International Conference on Advanced Concepts for Intelligent Vision Systems (ACIVS), 2010, pp. 321–331. [^3]: H. Fan, T. Zhuo, X. Yu, Y. Yang, and M. S. Kankanhalli, “Understanding atomic hand-object interaction with human intention,” IEEE Transactions on Circuits and Systems for Video Technology, vol. 32, pp. 275–285, 2022. [^4]: C. Zimmermann and T. Brox, “Learning to estimate 3d hand pose from single rgb images,” in Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 2017, pp. 4903–4911. [^5]: J. Romero, D. Tzionas, and M. J. Black, “Embodied hands: modeling and capturing hands and bodies together,” ACM Transactions on Graphics, vol. 36, no. 6, p. 245, 2017. [^6]: L. Ge, Y. Cai, J. Weng, and J. Yuan, "Hand pointnet: 3d hand pose estimation using point sets," in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2018, pp. 8417–8426. [^7]: A. Boukhayma, R. de Bem, and P. H. Torr, "3d hand shape and pose from images in the wild," in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2019, pp. 10843–10852. [^8]: G. Moon and K. M. Lee, “I2l-meshnet: Image-to-lixel prediction network for accurate 3d human pose and mesh estimation from a single RGB image,” in Proceedings of the European Conference on Computer Vision (ECCV), 2020, pp. 752–768. [^9]: M. Li, L. An, H. Zhang, L. Wu, F. Chen, T. Yu, and Y. Liu, “Interacting attention graph for single image two-hand reconstruction,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2022, pp. 2751–2760. [^10]: Z. Yu, S. Huang, F. Chen, T. P. Breckon, and J. Wang, “Acr: Attention collaboration-based regressor for arbitrary two-hand reconstruction,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2023, pp. 12955–12964. [^11]: T. Luan, Y. Zhai, J. Meng, Z. Li, Z. Chen, Y. Xu, and J. Yuan, "High fidelity 3d hand shape reconstruction via scalable graph frequency decomposition," in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2023, pp. 16795–16804. [^12]: K. Karunratanakul, S. Prokudin, O. Hilliges, and S. Tang, "Harp: Personalized hand reconstruction from a monocular гб video," in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2022, pp. 12802–12813. [^13]: H. Xu, T. Wang, X. Tang, and C.-W. Fu, "H2onet: Hand-occlusion-and-orientation-aware network for real-time 3d hand mesh reconstruction," in 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2023, pp. 17048–17058. [^14]: B. Zhang, Y. Wang, X. Deng, Y. Zhang, P. Tan, C. Ma, and H. Wang, "Interacting two-hand 3d pose and shape reconstruction from single color image," in Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 2021, pp. 11334–11343. [^15]: D. Kim, K. I. Kim, and S. Baek, “End-to-end detection and pose estimation of two interacting hands,” in Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 2021, pp. 11169–11178. [^16]: S. Hampali, S. D. Sarkar, M. Rad, and V. Lepetit, “Keypoint transformer: Solving joint identification in challenging hands and object interactions for accurate 3d pose estimation,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2021, pp. 11080–11090. [^17]: Y. Cai, L. Ge, J. Cai, and J. Yuan, “Weakly-supervised 3d hand pose estimation from monocular rgb images,” in Proceedings of the European Conference on Computer Vision (ECCV), 2018, pp. 678–694. [^18]: Y. Cai, L. Ge, J. Cai, N. Magnenat-Thalmann, and J. Yuan, "3d hand pose estimation using synthetic data and weakly labeled rgb images," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 43, pp. 3739–3753, 2021. [^19]: S. Li and D. Lee, “Point-to-pose voting based hand pose estimation using residual permutation equivariant layer,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2018, pp. 11919–11928. [^20]: D. Xu, D. Anguelov, and A. Jain, “Pointfusion: Deep sensor fusion for 3d bounding box estimation,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2017, pp. 244–253. [^21]: L.-Z. Chen, Z. Lin, Z. Wang, Y.-L. Yang, and M.-M. Cheng, “Spatial information guided convolution for real-time rgbd semantic segmentation,” IEEE Transactions on Image Processing, vol. 30, pp. 2313–2324, 2020. [^22]: Z. Wu, S. Gobichettipalayam, B. Tamadazte, G. Allibert, D. P. Paudel, and C. Demonceaux, "Robust rgb-d fusion for saliency detection," in International Conference on 3D Vision (3DV), 2022, pp. 403–413. [^23]: H. Cheng, L. Yang, and Z. Liu, “Survey on 3d hand gesture recognition,” IEEE Transactions on Circuits and Systems for Video Technology, vol. 26, pp. 1659–1673, 2016. [^24]: E. Kazakos, C. Nikou, and I. A. Kakadiaris, "On the fusion of rgb and depth information for hand pose estimation," in Proceedings of the IEEE International Conference on Image Processing (ICIP), 2018, pp. 868–872. ## [^25]: F. Mueller, D. Mehta, O. Sotnychenko, S. Sridhar, D. Casas, and C. Theobalt, “Real-time hand tracking under occlusion from an egocentric rgb-d sensor,” in Proceedings of the IEEE/CVF International Conference on Computer Vision Workshop (ICCVW), 2017, pp. 1284–1293 --- [^26]: X. Lin, Y. Zhou, K. Du, Y. Sun, X. Ma, and J. Lu, “Multi-level fusion net for hand pose estimation in hand-object interaction,” Signal Processing: Image Communication, vol. 94, p. 116196, 2021. [^27]: X. Sun, B. Wang, L. Huang, Q. Zhang, S. Zhu, and Y. Ma, "Crossfunet: Rgb and depth cross-fusion network for hand pose estimation," Sensors, vol. 21, no. 18, p. 6095, 2021. [^28]: C. Wang, D. Xu, Y. Zhu, R. Martín-Martín, C. Lu, L. Fei-Fei, and S. Savarese, “Densefusion: 6d object pose estimation by iterative dense fusion,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2019, pp. 3338–3347. [^29]: Y. Wang, X. Jiang, H. Fujita, Z. Fang, X. Qiu, and J. Chen, "Efn6d: an efficient rgb-d fusion network for 6d pose estimation," Journal of Ambient Intelligence and Humanized Computing, pp. 1–14, 2022. [^30]: C. Qi, L. Yi, H. Su, and L. J. Guibas, “Pointnet++: Deep hierarchical feature learning on point sets in a metric space,” in Advances in neural information processing systems (NeurIPS), 2017, pp. 5099–5108. [^31]: T. Kwon, B. Tekin, J. Stühmer, F. Bogo, and M. Pollefeys, "H2o: Two hands manipulating objects for first person interaction recognition," in Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 2021, pp. 10118–10128. [^32]: Y. Wang, C. Peng, and Y. Liu, “Mask-pose cascaded cnn for 2d hand pose estimation from single color image,” IEEE Transactions on Circuits and Systems for Video Technology, vol. 29, pp. 3258–3268, 2019. [^33]: S. Guo, E. Rigall, L. Qi, X. Dong, H. Li, and J. Dong, “Graph-based cnns with self-supervised module for 3d hand pose estimation from monocular rgb,” IEEE Transactions on Circuits and Systems for Video Technology, vol. 31, pp. 1514–1525, 2021. [^34]: L. Ge, Z. Ren, and J. Yuan, “Point-to-point regression pointnet for 3d hand pose estimation,” in Proceedings of the European Conference on Computer Vision (ECCV), 2018, pp. 475–491. [^35]: M. Li, J. Wang, and N. Sang, "Latent distribution-based 3d hand pose estimation from monocular rgb images," IEEE Transactions on Circuits and Systems for Video Technology, vol. 31, pp. 4883–4894, 2021. [^36]: G. Moon, T. Shiratori, and K. M. Lee, “Deephandmesh: A weakly-supervised deep encoder-decoder framework for high-fidelity hand mesh modeling,” in European Conference on Computer Vision (ECCV), 2020, pp. 440–455. [^37]: J. Lee, M. Sung, H. T. Choi, and T.-K. Kim, “Im2hands: Learning attentive implicit representation of interacting two-hand shapes,” in 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2023, pp. 21169–21178. [^38]: S. Guo, E. Rigall, Y. Ju, and J. Dong, “3d hand pose estimation from monocular rgb with feature interaction module,” IEEE Transactions on Circuits and Systems for Video Technology, vol. 32, pp. 5293–5306, 2022. [^39]: J. Ren, J. Zhu, and J. Zhang, "End-to-end weakly-supervised single-stage multiple 3d hand mesh reconstruction from a single rgb image," Computer Vision and Image Understanding, vol. 232, p. 103706, 2023. [^40]: K. Lin, L. Wang, and Z. Liu, “Mesh graphormer,” in Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 2021, pp. 12919–12928. [^41]: D. Kulon, R. A. Güler, I. Kokkinos, M. M. Bronstein, and S. Zafeiriou, "Weakly-supervised mesh-convolutional hand reconstruction in the wild," in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2020, pp. 4989–4999. [^42]: A. Spurr, A. Dahiya, X. Zhang, X. Wang, and O. Hilliges, “Self-supervised 3d hand pose estimation from monocular rgb via contrastive learning,” in Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 2021, pp. 11210–11219. [^43]: Z. Tu, Z. Huang, Y. Chen, D. Kang, L. Bao, B. Yang, and J. Yuan, "Consistent 3d hand reconstruction in video via self-supervised learning," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 45, pp. 9469–9485, 2022. [^44]: X. Zhang, Q. Li, H. Mo, W. Zhang, and W. Zheng, “End-to-end hand mesh recovery from a monocular rgb image,” in Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 2019, pp. 2354–2364. [^45]: S. Baek, K. I. Kim, and T.-K. Kim, "Pushing the envelope for rgb-based dense 3d hand pose estimation via neural rendering," in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2019, pp. 1067–1076. [^46]: X. Chen, Y. Liu, C. Ma, J. Chang, H. Wang, T. Chen, X. Guo, P. Wan, and W. Zheng, "Camera-space hand mesh recovery via semantic aggregation and adaptive 2d-1d registration," in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2021, pp. 13269–13278. [^47]: C. Zimmermann, D. Ceylan, J. Yang, B. Russell, M. J. Argus, and T. Brox, "Freihand: A dataset for markerless capture of hand pose and shape from single rgb images," in Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 2019, pp. 813–822. [^48]: S. Hampali, M. Rad, M. Oberweger, and V. Lepetit, “Honnotate: A method for 3d annotation of hand and object poses,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2020, pp. 3193–3203. [^49]: P. Panteleris, I. Oikonomidis, and A. A. Argyros, “Using a single rgb frame for real time 3d hand pose estimation in the wild,” in Proceedings of the IEEE Winter Conference on Applications of Computer Vision (WACV), 2018, pp. 436–445. [^50]: Y. Rong, T. Shiratori, and H. Joo, “Frankmocap: A monocular 3d whole-body pose estimation system via regression and integration,” in Proceedings of the IEEE/CVF International Conference on Computer Vision Workshops (ICCVW), 2021, pp. 1749–1759. [^51]: G. Moon, S.-I. Yu, H. Wen, T. Shiratori, and K. M. Lee, “Interhand2.6m: A dataset and baseline for 3d interacting hand pose estimation from a single rgb image,” in Proceedings of the European Conference on Computer Vision (ECCV), 2020, pp. 548–564. [^52]: C. Wang, F. Zhu, and S. Wen, "Memahand: Exploiting mesh-mano interaction for single image two-hand reconstruction," in 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2023, pp. 564–573. [^53]: M. Oberweger, P. Wohlhart, and V. Lepetit, “Training a feedback loop for hand pose estimation,” in Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 2015, pp. 3316–3324. [^54]: C. Wan, T. Probst, L. V. Gool, and A. Yao, “Dense 3d regression for hand pose estimation,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2018, pp. 5147–5156. [^55]: X. Zhou, Q. Wan, W. Zhang, X. Xue, and Y. Wei, "Model-based deep hand pose estimation," in Proceedings of the Twenty-Fifth International Joint Conference on Artificial Intelligence (IJCAI), 2016, pp. 2421–2427. [^56]: W. Huang, P. Ren, J. Wang, Q. Qi, and H. Sun, "Awr: Adaptive weighting regression for 3d hand pose estimation," in Proceedings of the AAAI Conference on Artificial Intelligence (AAAI), 2020, pp. 11061–11068. [^57]: L. Xu, C. Hu, J. Tao, J. Xue, and K. Mei, “Improve regression network on depth hand pose estimation with auxiliary variable,” IEEE Transactions on Circuits and Systems for Video Technology, vol. 31, pp. 890–904, 2021. [^58]: L. Ge, H. Liang, J. Yuan, and D. Thalmann, "3d convolutional neural networks for efficient and robust hand pose estimation from single depth images," in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2017, pp. 5679–5688. [^59]: C. Qi, H. Su, K. Mo, and L. J. Guibas, “Pointnet: Deep learning on point sets for 3d classification and segmentation,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2016, pp. 77–85. [^60]: X. Chen, G. Wang, C. Zhang, T.-K. Kim, and X. Ji, “Shpr-net: Deep semantic hand pose regression from point clouds,” IEEE Access, vol. 6, pp. 43425–43439, 2018. [^61]: Y. Chen, Z. Tu, L. Ge, D. Zhang, R. Chen, and J. Yuan, “So-handnet: Self-organizing network for 3d hand pose estimation with semi-supervised learning,” in Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 2019, pp. 6960–6969. [^62]: L. Huang, J. Tan, J. Liu, and J. Yuan, “Hand-transformer: Non-autoregressive structured modeling for 3d hand pose estimation,” in Proceedings of the European Conference on Computer Vision (ECCV), 2020, pp. 17–33. [^63]: J. Taylor, V. Tankovich, D. Tang, C. Keskin, D. Kim, P. L. Davidson, A. Kowdle, and S. Izadi, “Articulated distance fields for ultra-fast tracking of hands interacting,” ACM Transactions on Graphics, vol. 36, pp. 1–12, 2017. [^64]: F. Mueller, M. Davis, F. Bernard, O. Sotnychenko, M. Verschoor, M. A. Otaduy, D. Casas, and C. Theobalt, “Real-time pose and shape reconstruction of two interacting hands with a single depth camera,” ACM Transactions on Graphics, vol. 38, no. 4, pp. 1–13, 2019. [^65]: K. He, X. Zhang, S. Ren, and J. Sun, “Deep residual learning for image recognition,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2016, pp. 770–778. ## [^66]: I. Oikonomidis, N. Kyriazis, and A. A. Argyros, "Tracking the articulated motion of two strongly interacting hands," in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2012, pp. 1862–1869 --- [^67]: S. Sridhar, F. Mueller, M. Zollhöfer, D. Casas, A. Oulasvirta, and C. Theobalt, “Real-time joint tracking of a hand manipulating an object from RGB-D input,” in Proceedings of the European Conference on Computer Vision (ECCV), 2016, pp. 294–310. [^68]: D. Tzionas, L. Ballan, A. Srikantha, P. Aponte, M. Pollefeys, and J. Gall, “Capturing hands in action using discriminative salient points and physics simulation,” International Journal of Computer Vision, vol. 118, pp. 172–193, 2015. [^69]: S. Yuan, B. Stenger, and T.-K. Kim, "3d hand pose estimation from rgb using privileged learning with depth data," in Proceedings of the IEEE/CVF International Conference on Computer Vision Workshop (ICCVW), 2019, pp. 2866–2873. [^70]: J. Hu, L. Shen, S. Albanie, G. Sun, and E. Wu, “Squeeze-and-excitation networks,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 42, pp. 2011–2023, 2017. [^71]: X. Wang, K. Yu, C. Dong, and C. C. Loy, "Recovering realistic texture in image super-resolution by deep spatial feature transform," in 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2018, pp. 606–615. [^72]: X. Zhou, D. Wang, and P. Krähenbühl, “Objects as points,” in arXiv preprint arXiv:1904.07850, 2019. [^73]: M. Defferrard, X. Bresson, and P. Vandergheynst, “Convolutional neural networks on graphs with fast localized spectral filtering,” in Advances in neural information processing systems (NeurIPS), 2016, pp. 3837–3845. [^74]: T.-Y. Lin, P. Goyal, R. Girshick, K. He, and P. Dollar, “Focal loss for dense object detection,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 42, no. 2, pp. 318–327, 2020. [^75]: Y. Hasson, B. Tekin, F. Bogo, I. Laptev, M. Pollefeys, and C. Schmid, "Leveraging photometric consistency over time for sparsely supervised hand-object reconstruction," in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2020, pp. 571–580. [^76]: B. Tekin, F. Bogo, and M. Pollefeys, "H+o: Unified egocentric recognition of 3d hand-object poses and interactions," in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2019, pp. 4506–4515. [^77]: Y. Liu, Y. Liu, C. Jiang, Z. Fu, K. Lyu, W. Wan, H. Shen, B.-H. Liang, H. Wang, and L. Yi, “Hoi4d: A 4d egocentric dataset for category-level human-object interaction,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2022, pp. 20981–20990. [^78]: A. Paszke, S. Gross, F. Massa, A. Lerer, J. Bradbury, G. Chanan, T. Killeen, Z. Lin, N. Gimelshein, L. Antiga, A. Desmaison, A. Köpf, E. Yang, Z. DeVito, M. Raison, A. Tejani, S. Chilamkurthy, B. Steiner, L. Fang, J. Bai, and S. Chintala, "Pytorch: An imperative style, high-performance deep learning library," in Advances in neural information processing systems (NeurIPS), 2019, pp. 8024–8035. [^79]: A. Kirillov, E. Mintun, N. Ravi, H. Mao, C. Rolland, L. Gustafson, T. Xiao, S. Whitehead, A. C. Berg, W.-Y. Lo, P. Dollár, and R. Girshick, “Segment anything,” arXiv:2304.02643, 2023. ![Image](images/d82eb6e7e55e7c5eca202315080dc7eb09a1a525bb6ec912995df656c0e482bf.jpg) 朱建科于2008年在香港中文大学获得计算机科学与工程博士学位，此前他于澳门大学取得电气与电子工程硕士学位。他曾于瑞士苏黎世联邦理工学院的BIWI计算机视觉实验室从事博士后研究。他目前是浙江大学计算机学院的教授，任职于中国杭州。他的研究方向包括计算机视觉与多媒体信息检索。 ![Image](images/e9ab04b4bdc4ab6f173f8dee31b70e0fc1393771dec012d41b29e0bc6fc5db80.jpg) 任金伟目前是浙江大学计算机科学与技术学院的博士研究生，就读于中国杭州。在此之前，他于2017年在中国重庆大学获得学士学位。他的研究方向包括SLAM与计算机视觉，尤其侧重于三维重建领域。