# HandJoKe：基于关节引导的关键点去噪Transformer，用于基于深度的3D手部姿态估计 甘骥 $^{ID}$、陈磊 $^{ID}$、胡平（IEEE会员）、冷佳旭 $^{ID}$（IEEE会员）、李伟生 $^{ID}$（IEEE会员）以及高新波 $^{ID}$（IEEE会士） 摘要—现有的基于深度的3D手部姿态估计方法通常从2D深度图像或3D点云中估计手部关节，而融合多模态数据的方法仍未被充分探索。此外，由于缺少显式的先验引导以及跨维度交互不足，以往的方法往往难以学习到几何辅助特征与精确的关节相关性，尤其是在手部被遮挡的情况下。我们利用多模态融合、跨维度交互和先验引导的优势，提出了一种新颖的关节引导关键点去噪Transformer（命名为HandJoKe），以实现更精确的手部姿态估计。该模型仅需寥寥几步去噪过程，就能在显式的关节引导下，基于2D深度图像和3D点云中的关键点特征迭代估计手部姿态。HandJoKe并未直接采用现有的多模态融合方式来在大量背景像素和无关点之间进行冗余交互，而是专注于建模局部有信息量的手部区域（即关键点）之间的相关性与依赖关系，从而在降低计算冗余的同时获得更强的学习能力。此外，我们引入了全新的关节引导去噪估计策略，以便在显式的关节引导下充分融合跨模态关键点特征，实现2D和3D空间内的几何辅助跨模态关键点交互。通过迭代去噪还能进一步强化关节引导的效果：后续可根据先前去噪后的手部姿态更新跨模态关键点特征，从而帮助更准确地定位易混淆的关节，尤其是针对手部被遮挡的情况。大量实验表明，HandJoKe在四个具有挑战性的公开基准测试集上均取得了最先进的性能，包括 收稿日期：2025年4月24日；修订日期：2025年7月20日；录用日期：2025年8月9日。 发表日期：2025年8月13日；当前版本发布日期：2026年1月22日。 本研究部分得到了国家自然科学基金项目（项目编号：62206035、62331008、62476048）的支持；部分得到了重庆市科技创新重点研发计划项目（项目编号：CSTB2024TIAD-STX0023、CSTB2023TIAD-STX0016）的支持；部分得到了重庆市自然科学基金项目（项目编号：CSTB2024NSCQ-QCXMX0060、CSTB2023NSCQ-LZX0047、CSTB2022NSCQ-MSX0547）的支持；部分得到了中国博士后科学基金项目（项目编号：2025MD774186）的支持；部分得到了重庆特别博士后研究经费项目（项目编号：2024CQBSHTB2002）的支持；部分得到了重庆市教委科学技术研究计划项目（项目编号：KJQN202200612）的支持。本文由副编辑T. Chen推荐发表。（通讯作者：高新波。） 甘骥、陈磊、冷佳旭、李伟生、高新波任职于重庆邮电大学计算机科学与技术学院及图像认知重点实验室，重庆 400065，中国（电子邮箱：）。 胡平任职于电子科技大学计算机科学与工程学院，四川成都 610054，中国。 数字对象标识符为10.1109/TCSVT.2025.3597981，涉及单手数据集NYU和ICVL，以及手-物体数据集DexYCB和HO3D。 索引词—3D手部姿态估计、去噪Transformer、多模态融合、跨维度交互。 ## I. 引言 作为一项基础的人机交互技术，3D手部姿态估计旨在从采集的图像中定位人手的关键点。该技术可应用于各类人机交互场景，包括增强现实/虚拟现实以及游戏领域。随着深度学习技术的最新进展以及低成本深度相机的普及，近年来基于深度的3D手部姿态估计取得了显著进展 [^1], [^2], [^3], [^4]。 由于深度数据具有独特特性，采集到的手部数据既可以被视为2D深度图像，也可以被看作3D点云/体素，因此基于深度的3D手部姿态估计通常采用两种截然不同的方法：i) 基于2D图像的方法通常利用成熟的2D卷积神经网络（CNN）从深度图像中生成特定的空间结构或表征，进而将手部分解为子区域或关节组，以便更有效地捕捉复杂的关节间关系；ii) 基于3D数据的方法则通常借助3D CNN或点云网络（如PointNet和图神经网络）直接从3D数据中捕捉几何结构，再基于所得到的3D观测结果进行回归。不过，鉴于2D深度图像和3D点云对3D手部估计均有帮助，这两种不同的模态能够相互补充。因此，通过从点云中提取丰富的3D几何特征，同时融合深度图像中的2D像素级特征，极有可能进一步提升3D手部姿态估计的性能。 尽管多模态融合已成为视觉感知领域的重要趋势，但大多数现有的手部姿态估计方法仍仅依赖单一模态来回归三维手部姿态，导致多模态方法尚未得到充分探索。此外，直接应用现有的多模态融合方法进行三维手部姿态估计时，会存在计算冗余度高且学习能力低的问题。具体而言，诸如像素级之类的多模态融合策略 --- ![Image](images/d6a161df0198c9e80a8ec022b8ac4d2d7a8914decfd8e36ef4a5828b96e540df.jpg)
Fig. 1. Concept of HandJoKe. HandJoKe iteratively aggregates cross-modal keypoint features and denoises hand poses under explicit joint guidance.
加权聚合或交叉注意力机制这类多模态融合策略是在整个2D图像和3D数据上执行融合操作的 [^5], [^6]，因而会产生较高的计算冗余度和内存占用。此外，这些融合策略必然会在许多无关的像素和点（如背景像素以及与关节无关的点）之间产生冗余交互，进而降低学习效率和能力。相反，关键点的潜在表征更关注手部姿态中信息量更大的局部区域，而忽略无效的像素或点，从而可减少计算冗余并提升学习效率。 近期，一些方法（如IPNet [^7]、HandDAGT [^8]和HandDiff [^9]）试图将跨模态融合的优势应用于基于深度的手部姿态估计，但它们仍难以学习到正确的几何特征，且关节相关性易混淆，尤其在手部被遮挡时更为明显。这主要是由于缺乏显式的先验引导以及跨维度交互不足所致。例如，IPNet [^7]首先将二维视觉特征投影为三维点特征，随后在三维点云空间中迭代估计手部姿态；HandDAGT [^8]进一步引入了自适应注意力模块，以更好地增强三维空间中的几何特征；HandDiff [^9]则尝试基于归一化点云对三维噪声关节进行数百次的去噪处理。然而，这些方法仅在早期阶段通过二维-三维投影来融合多模态数据，且主要在三维点空间中优化几何特征，因此二维与三维空间之间的跨模态融合及跨维度交互并不充分。此外，以往的方法在复杂的跨模态融合过程中也缺乏明确的几何引导来精准定位手部关键点特征，从而导致几何结构与关节相关性混乱，尤其是在手部被遮挡的情况下。 为解决这些难题，我们提出了一种用于基于深度的三维手部姿态估计的新型关节引导关键点去噪Transformer（HandJoKe），如图1所示。该方法仅通过几次去噪步骤，就能在显式的关节引导下，基于从深度图像和点云中提取的关键点特征来迭代估计并去噪手部姿态。具体而言：1）我们首先引入一种图像-点云关键点聚合策略，利用先前从二维深度图像和三维点云中估计出的手部关节信息，来聚合多模态及跨维度的关键点特征。该策略使模型能够专注于建模手部局部信息区域之间的相关性与依赖关系，而非处理大量背景像素和无关的三维点，从而在降低计算冗余的同时提升学习能力。2）此外，我们提出了一种新颖的关节引导去噪估计策略，该策略能有效融合跨模态关键点特征，并在显式关节引导下于二维和三维空间中迭代去噪所估计的手部姿态关节。特别地，手部关节被显式地注入到去噪Transformer的图增强注意力机制中作为先验几何引导，从而实现受几何约束的跨模态关键点融合与交互。而且，通过迭代去噪还能进一步增强关节引导的效果，因为跨模态关键点特征可基于先前去噪后的手部姿态逐步更新，从而更精准地定位那些易混淆的关节，尤其是针对被遮挡的手部。最终，HandJoKe采用了基于关键点的多模态融合方式，不仅计算冗余更低、学习效率更高，还能在二维和三维空间中建模手部的拓扑结构，而并非仅仅依赖三维点云空间，进而实现更高效的跨维度交互。 我们在四个具有挑战性的基准数据集上进行了实验，包括单手数据集NYU [^10]和ICVL [^11]，以及手-物体交互数据集DexYCB [^12]和HO3D [^13]。实验结果表明，HandJoKe在NYU数据集上的平均距离误差为6.97毫米，在ICVL数据集上为5.53毫米，在DexYCB数据集上为7.65毫米，在HO3D数据集上则为1.75毫米，性能均优于以往基于深度的三维手部姿态估计领域的最先进方法。 我们的主要贡献总结如下： 1) 我们提出了一种用于基于深度的3D手部姿态估计的联合引导关键点去噪Transformer模型HandJoKe。该模型在仅寥寥几步去噪过程中，就能在明确的关节引导下，基于深度图像和点云中的关键点特征迭代地估计并去噪手部姿态。 2) 我们提出了一种联合引导的去噪估计策略，该策略能在明确的关节引导下有效融合跨模态关键点特征，并在2D和3D空间中迭代地去噪所估计的手部姿态，从而实现几何辅助的跨模态关键点融合与跨维度交互。 --- 3) 大量实验表明，HandJoKe在包括单手数据集NYU、ICVL以及手-物体交互数据集DexYCB、HO-3D在内的公开基准测试中均取得了最先进的性能。 ### 二、相关工作 ### A. 基于2D图像的手部姿态估计 基于2D图像的方法将深度数据视为单通道深度图像，利用2D CNN来回归3D手部姿态。根据预测策略的不同，这些方法主要分为基于回归的方法和基于检测的方法。 基于回归的方法（如Pose-REN [^3]和REN [^14]）通常利用2D CNN从深度图像中提取全局或局部特征，随后通过全连接层将这些特征映射到3D空间，以回归手部姿态关节的3D坐标。例如，REN [^14]提出了一种区域集成网络，它将最后一层卷积层输出的特征图划分为多个空间区域，再由后续的全连接层进行整合，从而回归手部关节的3D位置。Pose-REN [^3]进一步提出了一种分层方法，该方法基于手部姿态的拓扑结构来融合不同关节的特征。通过聚合所有手指的特征，它能更精确地预测最终的手部姿态。 相比之下，基于检测的方法（如DenseReg [^15]和AWR [^4]）通过密集的像素级回归生成热图或偏移向量场来估计3D手部姿态。DenseReg [^15]回归3D热图和单位向量场，并结合均值漂移聚合策略，从而从单张深度图像中精确估计3D手部关节位置。AWR [^4]提出了一种简单却有效的自适应加权回归方法，将检测和回归方法统一为单个步骤。在自适应权重图的引导下，它通过离散地整合密集表示中的所有像素来聚合不同区域的信息，从而实现更精确且鲁棒的估计。 由于无法感知手部的三维结构，且忽略了深度图中固有的空间几何关系，因此对于复杂手势或低质量深度图像，基于2D图像的方法性能会显著下降 [^1], [^2], [^3], [^4], [^10], [^14], [^15], [^16], [^17], [^18]。 ### B. 基于3D数据的手部姿态估计 为了克服深度图像的局限性，一些研究直接利用深度数据中的三维空间信息进行手部姿态估计。通过直接处理三维点云或体素数据，这些方法能够更直观地捕捉手部的三维几何形状，从而提供更精确的空间定位信息以及关节间的相互关系。[^19]首先将三维手部点云编码为三维体积，然后采用三维卷积神经网络在单次前向传播中直接回归三维手部姿态。[^20]则利用三维体素化网格，将三维手部姿态估计问题重新定义为体素到体素的预测任务，并估算每个手部关键点的逐体素概率。 近年来，诸如[^21]、[^22]、[^23]和[^24]等方法进一步利用了PointNet的高效性，尤其是在处理点云数据方面。PointNet在处理点云数据时具有独特优势，它能够保持排列不变性和视角鲁棒性。这对于三维手部姿态估计至关重要，因为从不同角度获取的手部点云应保持一致的表达形式，不受点顺序或视角变化的影响。[^23]是一种基于PointNet的网络架构，能够直接从三维点云中估计手部关节位置；它首先将深度图像转换为一组三维点，随后用分层PointNet进行处理。这种PointNet经过端到端训练，用于提取分层手部特征并回归三维手部姿态。 ### C. 基于多模态融合的方法 多模态融合在计算机视觉的诸多任务中已被广泛研究。通常，跨模态特征可通过逐元素注意力机制[^5]来计算，再通过交叉注意力或Transformer[^6]进行融合。然而，基于多模态数据的深度三维手部估计仍鲜有探索，仅有IPNet[^7]和HandTAGT[^8]等少数尝试。具体而言，IPNet[^7]首先采用二维卷积神经网络从深度图像中提取视觉表征，再将其投影到三维空间以进行迭代特征精炼，从而充分利用深度数据的三维几何结构。此外，还引入了三维参数化手部模型以提高模型对遮挡情况的鲁棒性。HandTAGT[^8]提出了一种基于自适应图注意力模块的新型三维手部姿态估计方法，能够根据手部遮挡程度自适应地利用手部姿态的运动学和局部信息。 尽管这些方法在多模态融合方面做出了尝试，但它们普遍面临一个共同挑战：如何有效处理手部遮挡、姿态复杂性以及多模态融合过程中的跨维度映射等问题。在处理遮挡手部和复杂姿态时，显式的几何引导对于模型在二维和三维空间中准确学习有代表性的关键点特征及正确的关节相关性至关重要。然而，以往的方法缺乏显式引导来学习精确的关键点特征和正确的关节相关性，尤其是在存在遮挡的情况下。 ### D. 与扩散模型的关系及区别 扩散模型最近已成为计算机视觉领域最强大的生成模型之一。凭借其强大的建模与生成能力，它们已从图像合成[^25]成功拓展到各类相关任务，包括图像增强[^26]、[^27]、超分辨率重建[^28]、深度估计[^29]、[^30]、视频异常检测[^31]以及姿态估计[^9]、[^32]、[^33]、[^34]、[^35]。 目前大多数基于扩散模型的手部姿态估计方法均采用2D到3D的提升范式，即利用2D关键点作为条件输入，引导扩散过程以推断3D关节位置。在此框架下，3D关节 --- ![Image](images/857d57b317de3c66cb4da0dee13895c84182f7a82581c319c41cf1246d33c12e.jpg)
Fig. 2. The overall architecture of HandJoKe. Specifically, the first part learns cross-modal features from both 2D depth images and 3D point clouds and then aggregates local keypoint features around the estimated hand pose joints. The second part introduces a novel joint-guided denoising Transformer to adequately fuse the cross-modal keypoint features and iteratively denoise the estimated hand poses under explicit joint guidance within only several denoising steps.
被视作噪声输入而非引导信息，它们会在数百次去噪步骤中逐步精细化。尽管已有少数基于扩散模型的方法被应用于手部姿态估计，并尝试融入多模态输入[^9]、[^35]，但这些方法通常仅进行简单的跨模态特征融合，这大大限制了它们利用不同模态间互补信息的能力。 相比之下，本文提出了一种关节引导的去噪框架，仅需寥寥几次去噪步骤便能直接从2D深度图像和3D点云中估算出手部关节。HandJoKe并非将3D手部关节视为噪声输入，而是从粗略的手部关节出发进行估算；这种关节引导策略明确利用手部关节作为引导信息，帮助模型专注于从与关节相关的区域提取具有信息量的跨模态特征，从而有效增强关节特定的特征融合效果，提升结构感知能力与估算精度。 不过，所提出的框架确实与条件扩散模型存在关联，因为两者均通过基于特定输入迭代去除噪声的方式来生成目标内容，并逐步重构原始数据。此外，与传统扩散模型相比，我们的框架在更少的去噪步骤下便取得了令人满意的结果。这或许能为现有的条件生成范式带来一些启示，助力图像与视频的分析和理解，例如用于视频异常检测的场景依赖型扩散模型[^31]。 ### 三、方法论 图2展示了基于深度的3D手部姿态估计模型HandJoKe的整体架构，它由两大核心部分构成：图像-点云关键点聚合与关节引导去噪估算。具体细节如下。 ### A. 图像-点云关键点聚合 a) 跨模态特征提取：首先必须将输入的跨模态数据映射到共享的潜在空间中。具体而言，我们采用基于ConvNeXT的自编码器[^36]将给定的2D深度图像$\mathbf{D} \in \mathbb{R}^{H \times W}$转换为深度特征图$\mathbf{F}^{2d} \in \mathbb{R}^{C \times H' \times W'}$，其中C表示深度特征图的通道数。同时，我们也利用PointNet++[^37]处理输入的3D点云$\mathbf{P} \in \mathbb{R}^{N \times 3}$以获取3D点特征$\mathbf{F}^{3d} \in \mathbb{R}^{N \times D}$， --- 其中，N和D分别表示3D点的数量和点特征的维度。值得注意的是，3D点云可以从深度图像中有效获取，因为深度图像中的每个像素都对应3D空间中的一个点；基于此，我们可以利用针孔相机模型和内参矩阵将每个像素反投影为3D点。 b) 图像-点云上的超点映射：受先前研究[^7]、[^8]的启发，我们进一步进行了早期跨模态融合，将2D深度特征$\mathbf{F}^{2d}$投影为3D点特征$\mathbf{F}^{2d\rightarrow3d} \in \mathbb{R}^{N\times D}$，从而得到整合了跨模态2D-3D特征的超点特征图$\mathbf{F}^{3d}$。具体来说，对于每个3D点$p_n \in \mathbf{P}$，我们会选取从深度特征图$\mathcal{N}^{\mathcal{K}}(p_n)$投影得到的其K个最近邻$\mathbf{F}^{2d}$，并将这些2D深度特征聚合起来： $$ \mathbf{F}_{n}^{2d\rightarrow3d}=\frac{\sum_{(u,v)\in\mathcal{N}^{\mathcal{K}}(p_{n})}\mathbf{F}^{2d}(u,v)/\|(p_{(u,v)}^{3d}-p_{n}\|_{2}+\epsilon)}{\sum_{(u,v)\in\mathcal{N}^{\mathcal{K}}(p_{n})}1/\|(p_{(u,v)}^{3d}-p_{n}\|_{2}+\epsilon)}, $$ 其中，$(u,v)$是深度特征图中每个像素的2D坐标，$\mathbf{F}^{2d}(u,v)$是对应的像素特征，$p_{(u,v)}^{3d}$是通过相机内参转换得到的对应3D坐标，$\mathcal{N}^{\mathcal{K}}(p_n)$包含了$p_n$的K个最近邻的所有2D坐标，而$\epsilon$是一个趋近于0的小数。最终，通过将3D点特征$\mathbf{\tilde{F}}^{3d} \in \mathbb{R}^{N \times D}$与超点特征$\mathbf{F}_n^{2d \to 3d}$拼接，得到超点特征$\mathbf{F}^{3d}$，具体形式如下： $$ \mathbf{\tilde{F}}^{3d}=[\mathbf{F}^{3d}||\mathbf{F}^{2d\to3d}], $$ 其中，$[\cdot||\cdot]$表示拼接操作。 c) 双模态关键点选择：我们进一步基于3D空间中估计出的3D手部关节$\mathbf{J} \in \mathbb{R}^{J \times 3}$进行多模态关键点选择，该方法会聚焦于手部的信息量最大的区域，同时忽略无关的像素或点。为了从深度图像中提取2D关键点，我们明确要求模型生成2D热图$\mathcal{H}_j^{2d}$，该热图聚焦于第j个手部关节$\mathbf{J}_j$附近的局部区域，采用加权平均回归方式[^4]进行计算： $$ \mathbf{C}_{j}=\frac{\sum_{(u,v)\in\Omega}(u,v)\cdot\exp(\mathcal{H}_{j}^{2d}(u,v))}{\sum_{(u,v)\in\Omega}\exp(\mathcal{H}_{j}^{2d}(u,v))}, $$ $$ \mathcal{L}_{u v}^{2d}=\frac{1}{J}\sum_{j}\|\mathbf{C}_{j}-\mathbf{C}^{*}{}_{j}\|_{1}, $$ 其中，$\mathbf{C}^* \in \mathbb{R}^{J \times 2}$表示投影到特征图上的3D手部关节的2D真实坐标，$\mathbf{C}_j$是第j个关节的估计2D坐标，$\Omega \in \mathbb{R}^{H' \times W' \times 2}$是特征图的2D坐标网格，$\mathcal{L}_{uv}^{2d}$是2D真实监督信号。需要注意的是，我们的主要任务是估计3D手部姿态关节$\mathbf{J}$而非其2D坐标$\mathbf{C}$，设置2D真实监督$\mathcal{L}_{uv}^{2d}$的目的是帮助模型提取准确的2D关键点特征。随后，第j个姿态关节的2D关键点特征会从深度特征图中聚合得到： $$ \mathbf{K}_{j}^{2d}=\sum_{(u,v)\in\Omega}\mathcal{H}_{j}^{2d}(u,v)\cdot\mathbf{F}^{2d}(u,v). $$ 同时，我们通过聚合距离超点特征$\mathbf{K}_j^{3d}$在感知欧几里得距离（即半径r）内的局部邻居$\mathbf{J}_j$的特征，得到第j个关节$\mathcal{N}^{\leq r}(\mathbf{J}_j)$的3D关键点特征$\tilde{\mathbf{F}}^{3d}$，具体形式如下： $$ \mathbf{K}_{j}^{3d}=\frac{\sum_{p_{n}\in\mathcal{N}^{\leq r}(\mathbf{J}_{j})}\tilde{\mathbf{F}}^{3d}/(\|p_{n}-\mathbf{J}_{j}\|_{2}+\epsilon)}{\sum_{p_{n}\in\mathcal{N}^{\leq r}(\mathbf{J}_{j})}1/(\|p_{n}-\mathbf{J}_{j}\|_{2}+\epsilon)}, $$ 其中 $p_n$ 是关节 $\mathbf{J}_j$ 附近的三维邻域点。最终，基于三维姿态关节 $\mathbf{K}^{2d} \in \mathbb{R}^{|\mathbf{J}| \times D}$，可计算出跨模态关键点特征 $\mathbf{K}^{3d} \in \mathbb{R}^{|\mathbf{J}| \times D}$ 和 $\mathbf{J}$。 d) 关键点的全局-局部交互：尽管所获取的多模态关键点特征能够捕捉细粒度的局部细节，但它们忽略了全局几何信息的重要性。因此，我们进一步提取每种输入模态的全局嵌入，并通过全局-局部交互来增强局部关键点特征。具体而言，2D深度图像和3D点云的全局嵌入分别通过全局池化操作来计算（可能随后会经过多层感知机进行特征投影），如下所示： $$ \mathbf{k}_{g}^{2d}=\mathcal{P}o o l(\mathbf{F}^{2d}),\quad\mathbf{k}_{g}^{3d}=\mathcal{P}o o l(\mathbf{\tilde{F}}^{3d}), $$ 其中，Pool表示全局池化操作。接着，全局特征会通过偏置诱导层进行调制[^38]，并与多模态关键点特征融合以实现全局-局部交互，公式如下： $$ \tilde{\mathbf{K}}^{2d}=\mathcal{B}(\mathbf{k}_{g}^{2d})+\mathbf{K}^{2d},\quad\tilde{\mathbf{K}}^{3d}=\mathcal{B}(\mathbf{k}_{g}^{3d})+\mathbf{K}^{3d}, $$ $$ \tilde{\mathbf{K}} $$ $$ \tilde{\mathbf{K}}=[\tilde{\mathbf{K}}^{2d}||\tilde{\mathbf{K}}^{3d}] $$ 通过这种方式，就能在2D和3D空间中获得包含全局-局部信息的拓扑结构。 ### B. 关节引导的去噪估计 a) 迭代式去噪估计：HandJoKe能够在明确的关节引导下，基于来自2D深度图像$\mathbf{D} \in \mathbb{R}^{H \times W}$和3D点云$\mathbf{P} \in \mathbb{R}^{N \times 3}$的关键点特征，迭代地估计并去噪手部姿态。具体来说，HandJoKe首先会根据第t次迭代中估计出的姿态关节$\mathbf{D}$，对来自多模态输入$\mathbf{P}$和$\mathbf{J}^{(t)}$的多模态关键点特征进行聚合， $$ \tilde{\mathbf{K}}^{(t)}=\mathcal{S}(\mathbf{J}^{(t)},\mathbf{D},\mathbf{P}), $$ 其中，S表示第III-A节中描述的多模态关键点聚合采样器，$\tilde{\mathbf{K}}^{(t)}$表示第t次迭代中聚合后的多模态关键点特征。之后，引入关节引导的去噪Transformer$\mathcal{T}$，在明确的关节引导下对$\mathbf{J}^{(t)}$进行去噪，公式如下： $$ \mathbf{J}^{(t+1)}=\mathcal{T}(\tilde{\mathbf{K}}^{(t)},\mathbf{J}^{(t)}), $$ 其中，$\mathbf{J}^{(t+1)}$表示去噪后的关节。特别地，初始的3D姿态关节$\mathbf{J}^{(0)}$可以直接通过线性投影从3D超点$\mathbf{k}_g^{3d}$的全局嵌入$\mathbf{F}^{3d}$中估计出来，即$\mathbf{J}^{(0)} = \delta(\mathbf{k}_g^{3d})$（其中$\delta$表示多层感知机）；我们对初始手部关节$\mathbf{J}^{(0)}$进行T次迭代去噪，就能得到最终的手部姿态关节$\mathbf{J}^{(T)}$。 --- b) 关节引导的多模态交互：去噪Transformer$\mathcal{T}$由B个模块堆叠而成，每个Transformer模块都采用公式(11)中的明确关节引导机制。具体来说，给定估计出的手部姿态关节J以及对应的多模态关键点特征$\tilde{\mathbf{K}}$后，我们首先引入图卷积层来建模手部关键点的运动学拓扑信息，然后通过多层感知机计算关节引导信息，即： $$ \mathbf{E}^{g c n}=\mathcal{G}(\mathbf{J}), $$ $$ \mathbf{G}^{s c a l e},\mathbf{G}^{s h i f t},\mathbf{G}^{g a t e}=\delta(\mathbf{E}^{g c n}), $$ 其中，G表示图卷积层，$\delta$表示多层感知机。接着，在特定的关节引导之下，我们通过多头自注意力机制自适应地调制多模态关键点特征$\tilde{K}$，公式如下： $$ \mathbf{K}^{{m o d}}=(1+\mathbf{G}^{{s c a l e}})\mathbf{\tilde{K}}+\mathbf{G}^{{s h i f t}}, $$ $$ \mathbf{K}^{attn}=\mathcal{A}ttn(\mathbf{K}^{mod}) $$ $$ \mathbf{K}^{g u i d e}=(1+\mathbf{G}^{g a t e})\mathbf{K}^{a t t n}, $$ 其中，$\mathcal{Attn}$表示多头注意力模块。此外，我们在每个Transformer模块中进一步引入自适应图卷积层，以充分建模手部关键点的运动学拓扑信息，公式如下： $$ \begin{array}{r}{\hat{\mathbf{K}}=\sigma(\mathbf{A}\mathbf{K}^{g u i d e}\mathbf{\Theta}_{K})+\mathbf{K}^{g u i d e},}\end{array} $$ 其中，$\mathbf{A} \in \mathbb{R}^{J \times J \times D}$ 是可学习的图邻接矩阵，用于反映不同通道中手部关键点之间的连接强度；$\mathbf{\Theta}_K \in \mathbb{R}^{D \times D}$ 是变换权重，而 $\sigma$ 是非线性激活函数。最终，通过在每个Transformer块中注入显式的关节引导信息$\tilde{\mathbf{K}}$，跨模态关键点特征$\tilde{\mathbf{K}}$被充分融合与调制为$\mathbf{J}$，这种方式对去噪先前估计的手部姿态关节更为有效。 ### C. 整体训练过程与目标 在每一步训练中，关节引导去噪Transformer $\mathcal{T}$ 会对初始手部姿态关节$\mathbf{J}^{(t)}$进行T次迭代去噪，从而得到最终预测结果$\mathbf{J}^{(T)}$；同时，3D真实关节数据$\mathbf{J}^{*}$被用来监督每次去噪迭代中的估计关节$\mathbf{J}^{(t)}$。整个网络采用端到端的方式进行训练，其总体训练目标如下： $$ \mathcal{L}_{a l l}=\lambda_{2d}\mathcal{L}_{u v}^{2d}+\lambda_{3d}\|\mathbf{J}^{(0)}-\hat{\mathbf{J}}\|_{2}+\sum_{t=0}^{T-1}\|\mathcal{T}(\tilde{\mathbf{K}}^{(t)},\mathbf{J}^{(t)})-\mathbf{J}^{*}\|_{2}, $$ 其中，$\mathbf{J}^*$ 表示标注的3D关节，$\mathcal{L}_{uv}^{2d}$ 则是公式(4)中的2D监督项。根据经验，$\lambda_{3d}$ 和 $\lambda_{2d}$ 被设为1。 ### IV. 实验 ### A. 实验设置 1) 数据集：所有评估均在单手数据集和手-物体数据集上进行。具体而言，单手数据集提供由3D传感器采集的单手深度图像，而手-物体数据集则是更具挑战性的基准数据集，包含交互过程中精确的手-物体姿态深度图像。所评估的数据集如下： ## 单手数据集 - NYU [^10] 包含73K个训练帧和8.3K个测试帧的手部姿态数据。该数据集涵盖多种视角和标注信息，适合用于评估手部姿态估计模型。此外，数据集标注了36个不同的关节，我们仅选取14个关节进行评估，这与以往的研究一致 [^7]、[^8]。 - ICVL [^11] 包含22K个训练帧和1.6K个测试深度帧。每帧标注有16个关节，包括1个掌骨关节和每个手指的3个关节。该数据集包含10名受试者，每位受试者从不同角度录制数据，每名受试者包含26种不同的手部姿态。 ## 手-物体数据集 - DexYCB [^12] 是一个大规模数据集，旨在捕捉手-物体抓取场景，包含来自8个不同视角的582K帧数据，涉及1000多个序列以及20种用于抓取任务的物体。该数据集官方分为四种配置：S0（默认配置）包含所有视角和受试者数据；S1（未见过的受试者）按受试者划分；S2（未见过的视角）按不同相机视角划分；S3（未见过的抓取场景）按被抓取物体划分。我们在所有四种配置上开展实验，以全面评估模型的估计性能。 - HO3D [^13] 是另一個广泛使用的手-物体数据集，该数据集包含不同受试者操纵各种物体的序列。与以往的研究类似 [^8]，我们仅使用标注了超过65个序列的HO3D_v2版本，这些序列由10名不同受试者和10种物体采集而成，共约8万张图像。此外，该数据集被划分为约7万张训练图像和1万张测试图像。在HO3D上对不同方法的评估是在官方在线提交平台上进行的。 2) 评估指标：平均关节位置误差（MPJPE）是手部姿态估计中广泛使用的指标，因此我们将它作为主要指标。 3) 实现细节：所有实验均在配备NVIDIA RTX 4090 GPU的工作站上进行，整个架构采用PyTorch实现。HandJoKe在NYU、DexYCB和HO3D上的默认配置为去噪迭代次数3次且块深度为3，即 $(T=3, B=3)$；而在ICVL上的配置则为 $(T=1, B=2)$。训练期间，模型采用AdamW优化器 [^39]，学习率为0.0005，并设置 $(\beta_1,\beta_2)=(0.5,0.999)$。输入的深度图像被调整为 $128\times128$ 分辨率，点云则随机采样为1024个点。此外，为了应对过拟合问题，我们采用了在线数据增强技术，包括随机旋转（[-180, 180]）、3D缩放（[0.8, 1.2]）以及3D平移（[-10, 10]）。我们将批量大小设为32，并在NYU和ICVL上训练60个周期，在DexYCB和HO-3D上训练30个周期以达到收敛。 ### B. 与最先进方法的比较 1) 单手数据集上的结果：如表I所示，我们将所提出的HandJoKe与以往的SOTA方法进行了比较。 --- ![Image](images/570b0e7227125bfb05c9a55cd297747186fb454da5835c4f6fdb2a52c312d689.jpg) ![Image](images/a622ce640f705bbb3aa27a9259d5fb8af3283575c78c32ac38ed0e9e476c960c.jpg) ![Image](images/88b4d1a329fa1462a523fcdef333d19bc00db3411877d713cf37eccb71baa78c.jpg) ![Image](images/6807bcfaa7fa01c9fe006138170187c6dca91281c608184adc54a3f8902971e1.jpg)
Fig. 3. Comparison with SOTA methods of the per-keypoint error and success rate under different thresholds on NYU (top) and ICVL (bottom).
TABLE I
COMPARISON WITH SOTA METHODS ON THE SINGLE-HAND DATASETS
MethodInputMPJPE (mm) $\downarrow$
ICVLNYU
DepthPrior++ [^18]Depth8.1012.24
Pose-REN [^3]Depth6.7911.81
DenseReg [^15]Depth7.3010.21
SRN [^17]Depth6.267.79
A2J [^40]Depth6.468.61
AJ2-Transformer [^41]Depth-8.43
JGR-P2O [^2]Depth6.028.29
TriHorn-Net [^42]Depth5.737.68
AWR [^4]Depth5.987.48
HandVoxNet [^43]Voxel-8.72
V2V-PoseNet [^20]Voxel6.288.41
HandPointNet [^23]Point6.9410.54
HandTransformer [^44]Point6.479.80
Point-to-Point [^24]Point6.309.10
HandFolding [^21]Point5.958.58
HandR2N2 [^45]Point5.707.27
HandDiff [^9]Depth&Point5.727.38
IPNET [^7]Depth&Point5.767.17
HandDAGT [^8]Depth&Point5.667.12
HandJoKe (Ours)Depth&Point5.536.97
我们在单手数据集NYU和ICVL上对它们进行了对比。此外，我们还绘制了图3中不同方法在NYU和ICVL上的各关键点误差及不同阈值下的成功率。由于某些方法没有提供结果文件，我们在图3中省略了它们。可以看出，跨模态方法明显优于传统的单模态方法（仅采用2D深度图像或3D数据），这证明了多模态融合在3D手部姿态估计中的有效性。此外，所提出的HandJoKe也优于以往的跨模态方法，以最低的MPJPE取得了最佳性能，从而证明了我们这种基于关节引导的去噪估计方法的有效性。 2) 手-物体数据集上的结果：为了进一步证明我们方法的有效性，我们在更具挑战性的手-物体数据集上评估了HandJoKe。具体而言， a) DexYCB：如表II所示，我们在手-物体数据集DexYCB上将Hand-JoKe与以往的SOTA方法进行了比较。为了公平比较，我们仅对比那些按照官方数据集划分协议进行实验的方法。可以看出，在所有协议下HandJoKe都大幅优于以往的SOTA方法，这表明HandJoKe能够准确估计在存在各种遮挡和不同物体的更具挑战性的手-物体交互场景中的3D手部姿态。 b) HO3D：如表III所示，我们将HandJoKe与已在HO3D数据集上报告了MPJPE值的以往SOTA方法进行了比较。此外，我们还列出了 ---
TABLE II
COMPARISON WITH SOTA METHODS OF THE MPJPE (MM) ON THE HAND-OBJECT DATASET DEXYCB [^12]
MethodInputMPJPE (mm) $\downarrow$
S0S1S2S3Average
A2J [^40]Depth23.9325.5727.6524.9225.52
BC [^46]RGB17.3422.2625.4918.4418.44
METRO [^47]RGB15.24----
AttnGconv [^48]RGB16.0521.2227.0117.9320.55
HandOccNet [^49]RGB14.04----
IPNET [^7]Depth&Point8.039.018.607.808.36
HandDAGT [^8]Depth&Point7.728.688.227.528.03
HandDiff [^9]Depth&Point7.668.738.407.538.07
HandJoKe (Ours)Depth&Point7.288.427.627.277.65
![Image](images/d597fec3506736a5e7dbefeb80dd6b9bed541a93bd7ffda061427af5cf75080e.jpg)
Fig. 4. Qualitative comparison of different methods on NYU and DexYCB.
TABLE III
COMPARISON WITH SOTA METHODS ON HO3D [^13]
MethodInputMPJPE (mm) $\downarrow$
Hybrik [^50]RGB2.89
ArtiBoost [^51]RGB2.53
HandOccNet [^49]RGB2.49
HandVoxNet++ [^52]Voxel2.46
IPNET [^7]Depth&Point1.81
HandDAGT [^8]Depth&Point1.81
HandJoKe (Ours)Depth&point1.75
HandJoKe $^{{*}}$ (Ours)Depth&point1.33
$^{*}$ 表示带有标注裁剪区域的结果。 表三中列出了利用估计的和真实的裁剪手部区域作为输入所预测的HandJoke结果。可以看出，HandJoKe的性能优于现有方法，取得了新的SOTA成绩，进一步证明了其在基于深度的3D手部估计中的有效性。 3) 不同方法的定性比较：如图4所示，我们展示了不同方法的定性比较结果。可以观察到：i) 对于细粒度姿态（如第1列和第3列）以及手指被遮挡的姿态（如第5列和第9列），HandJoKe能够准确估计关节位置，且对3D几何结构的感知能力更强；ii) 对于存在严重手物遮挡的复杂姿态（如第7列和第9列），以往的SOTA方法不如我们的HandJoKe，因为我们的方法在明确的关节引导下进行更好的几何辅助跨模态关键点融合与交互；iii) 此外，第3行和第4行显示，迭代去噪显著提升了估计精度，因为初始手部关节可以在明确的关节引导下不断更新，从而能更精准地定位易混淆的关节，尤其是针对被遮挡的手部。总体而言，实验结果证明了HandJoKe的有效性。 ### C. 消融实验 1) 跨模态融合的有效性与时间成本：2D深度图像和3D点云都能为3D手部估计提供帮助，这两种不同的模态可以相互补充。为了验证多模态融合的有效性，我们比较了手部估计结果。 ---
TABLE IV
EFFECTIVENESS AND TIME COST OF CROSS-MODAL FUSION ON NYU
IDInput ModalityNetwork $^{\dagger}$ ArchitectureSpeed $^{*}$(FPS) $\uparrow$MPJPE (mm) $\downarrow$
DepthPointTrainTest
1☑☒Enc.183.8277.48.71
2☒☑Enc.990.51459.19.98
3☑☑Enc.151.6147.07.49
4☑☒Enc. + Dec.137.364.58.44
5☒☑Enc. + Dec.326.876.67.69
6☑☑Enc. + Dec.112.752.76.97
$^{*}$ 对比实验中，训练批次大小为32，测试批次大小为1。 $^{\dagger}$ “Enc.”表示仅使用特征提取器进行估计， 而“Dec.”则表示采用关节引导的去噪解码器（T=3，B=3）。
TABLE V
ABLATION RESULTS OF DIFFERENT NETWORK ARCHITECTURES ON NYU
IDGlobal-Local InteractionMulti-Head AttentionJoint GuidanceIterative DenoisingMPJPE (mm) $\downarrow$
1✗✗✗✗10.68
2✓✗✗✗8.18
3✓✓✗✗7.49
4✓✓✗✓7.37
5✓✓✓✗7.27
6✗✓✓✓7.14
7✓✓✓✓6.97
表四展示了使用不同输入模态数据的结果。可以看出，多模态方法的表现大幅优于单模态方法（即仅采用2D深度图像或3D点云的方法）。多模态方法通过进一步整合所提出的关节引导去噪策略，能够更充分地融合跨模态特征，从而获得更好的性能。此外，与表一至表三中的以往SOTA方法进行比较，也体现了跨模态融合在基于深度的3D手部姿态估计中的优越性。 虽然多模态融合提升了估计精度，但不可避免地会增加计算时间成本。如表四所示，我们比较了是否利用多模态数据时的训练和推理FPS（每秒帧数）。评估是在NVIDIA RTX 4090 GPU上进行的，训练批次大小为32，测试批次大小为1。可以观察到：i) 处理深度图像的计算开销比处理点云更大，因为图像的特征提取器规模远大于3D点的特征提取器；ii) 利用多模态数据时，虽然精度更高，但会引入更多的时间成本；iii) 引入关节引导的去噪Transformer进行迭代估计后，单模态与多模态场景间的差异会变得不那么明显。尽管如此，我们的跨模态方法仍能满足实时视频处理的需求，可达到52.7 FPS的帧率，且精度高达6.97毫米。 2) 网络架构的消融研究：为了验证HandJoKe中各个关键组件的有效性，我们在表V中对不同网络架构进行了消融研究。可以观察到，通过整合不同的关键组件，性能会逐渐提升。
TABLE VI
ABLATION RESULTS OF MPJPE (MM) WITH DIFFERENT INITIALIZED $\mathbf{J}^{(0)}$
Initial 3D joints J $^{(0)}$NYUICVLDexYCB
S0S1S2S3Avg
Randomly Estimated7.325.857.628.917.987.588.02
6.975.537.288.427.627.277.65
具体而言，i) ID 1~2和6~7表明，全局-局部交互通过将输入数据与更丰富的信息充分融合，能够提升估计性能；ii) ID 4~5和7表明，联合引导对于提取精确的几何特征以及学习手部正确的关节相关性极为有效，因为它能显式地注入几何信息；iii) ID 5和7显示HandJoKe与迭代去噪策略兼容，通过反复细化估计的手部模型，能够取得更好的性能。 此外，我们在图5中展示了迭代去噪的定性结果。可以观察到：i) 随着去噪迭代次数的增加，它持续细化先前估计的手部姿态，对于存在严重自遮挡的复杂姿态（如第3列）或手-物体交互情况（如第7列和第9列），这种改进更为明显，从而证明了我们的联合引导策略的有效性；ii) 然而，在最后一次去噪迭代时，改进效果变得微乎其微，因为估计的手部姿态已经足够准确，进一步改进的空间有限。 如图6所示，我们还展示了使用注意力机制和联合引导的定性结果。可以观察到：i) 注意力机制始终能提高估计精度（如第1列和第2列），因为注意力机制在融合和增强跨模态特征方面非常有效；ii) 联合引导能进一步大幅修正错误的手部姿态，尤其是在存在自遮挡的复杂场景中（如第2行和第3行）。这是因为手部关节被显式地作为先验几何引导注入，从而实现由几何信息促进的特征融合与交互。 3) 初始3D关节估计的重要性：如表VI所示，我们进一步证明，精确的初始3D关节估计$\mathbf{J}^{(0)}$对HandJoKe取得理想性能至关重要。这是因为HandJoKe不仅基于先前估计的手部关节$\mathbf{J}^{(t)}$来聚合关键点特征，还会如图2所示，对初始手部关节$\mathbf{J}^{(0)}$进行迭代去噪，以得到最终的姿态估计。因此，若初始化的$\mathbf{J}^{(0)}$是随机的，就会导致HandJoKe聚合错误的关键点特征，并从较差的起点开始去噪，最终造成特征学习效率低下，陷入更差的局部最优解。表VI中的实验结果证明了初始3D关节估计的重要性。 4) 效率对比与分析：我们进一步评估和分析所提出框架的效率，以提供全面的评估。 a) 不同尺度下的基于关键点的跨模态融合效率：为了展示基于关键点的跨模态融合的效率…… --- ![Image](images/cbcb2cf7b3d752d63b583575f3062654b2c6205808b1af6ebc4ca4d723c4ea14.jpg) 9.42(毫米) 4.69(毫米) 6.34(毫米) 7.56(毫米) 4.89(毫米) 3.88(毫米) 7.53(毫米)
Fig. 5. Qualitative results of iterative denoising with different iterations on NYU and DexYCB.
![Image](images/230f607e2c11c245aecfb9db4d46abb52d0aa6eb43074ded9ea91e6009483b4f.jpg)
Fig. 6. Qualitative results of using attention and joint guidance on NYU.
TABLE VII
EFFICIENCY OF CROSS-MODAL FUSION OVER DIFFERENT SCALES
IDFusion ScaleDenoising StepsGPU Mem. (GB)Speed (FPS) $\uparrow$MPJPE (mm) $\downarrow$
Train $^{\dagger}$Test
1Whole1OOM $^{*}$2.675.9$\times$
2Whole3OOM $^{*}$3.945.8$\times$
3Keypoints13.71.193.57.27
4Keypoints35.11.352.76.97
† 对比实验中，训练批次大小为4，测试批次大小为1。 - “OOM”表示“内存不足”，即超出了物理内存的限制。 RTX 4090 GPU的内存容量（即超过24.0 GB）。 在融合实验中，我们比较了基于全部数据的融合与基于关键点的融合在效率上的差异，如表VII所示。我们发现，基于关键点的跨模态融合具有更快的推理速度，且训练和测试时的GPU内存占用更低。更为关键的是，即使训练批次大小仅为4，基于全部数据的融合仍会出现内存溢出（OOM）问题，其训练阶段的GPU内存占用也更高。
TABLE VIII
EFFICIENCY COMPARISON WITH PREVIOUS MODELS ON NYU
MethodInput ModalityDenoising IterationsSpeed (FPS) $\uparrow$MPJPE (mm) $\downarrow$
A2J-Transformer [^40]Depth$\times$48.28.43
V2V-PoseNet [^20]Voxel$\times$21.38.41
Point-to-Point [^24]Point$\times$41.89.10
HandFolding [^21]Point384.08.58
HandDiff [^9]Depth&Point$10 \times 2^{*}$19.87.42
HandDiff [^9]Depth&Point$10 \times 10^{*}$4.87.38
HandDAGT (T=1) [^8]Depth&Point190.18.02
HandDAGT (T=3) [^8]Depth&Point379.07.12
HandJoKe (T=1)Depth&Point193.57.27
HandJoKe (T=3)Depth&Point352.76.97
$^{*} m \times n$表示HandDiff中每个假设对应的m次迭代次数。 其内存占用至少是基于关键点融合的4倍。这是因为基于全部数据融合时，不可避免地会在许多无关像素和点之间引入冗余交互；相比之下，基于关键点的融合专注于手部更具信息量的区域，会忽略无效的像素和点，从而显著减少计算冗余。 b) 与现有模型的高效性对比：如表VIII所示，我们还从计算效率和精度两方面对HandJoKe与现有模型进行了比较。此外，我们仅选取了提供官方实现或已公布计算成本的几种典型及SOTA方法进行对比。具体来看：i) 与单模态方法（如A2J-Transformer、V2V-PoseNet等）相比，HandJoKe的精度更高，推理速度也略快；跨模态方法虽然能融合更多数据且精度更高，但也会带来额外的计算成本。ii) 与HandDiff这类扩散模型相比，我们的方法推理速度要快得多。 ---
ГABLE IX
RESULTS OF MPJPE (MM) WITH DIFFERENT DENOISING ITERATIONS
Different IterationsLargeSmall
NYUYCB-S0ICVL
T=17.277.815.53
T=27.127.415.79
T=36.977.286.10
T=47.117.326.22
TABLE X
RESULTS OF MPJPE (MM) WITH DIFFERENT BLOCK DEPTHS
Different Block DepthsLargeSmall
NYUYCB-S0ICVL
B=17.307.455.74
B=27.157.395.53
B=36.977.285.91
B=47.017.446.02
推理速度更快且精度更高。这是因为HandDiff需要为每次生成多个假设，且每个假设需经过数十步去噪处理，最终会导致数百次去噪迭代。iii) 与HandDAGT等以往的SOTA方法相比，HandJoKe的精度明显更高，但推理速度相当；我们注意到精度与效率之间存在权衡关系。不过，我们提出的HandJoKe能够满足实时视频处理的需求。 5) 网络配置的消融研究：我们进一步评估了HandJoKe在不同规模数据集上的消融结果，包括大型数据集NYU和DexYCB，以及小型数据集ICVL。 a) 不同迭代次数的关节引导去噪：如表IX所示，我们评估了不同去噪迭代次数下HandJoKe的表现。具体而言：i) 对于大型数据集，可以发现增加去噪迭代次数能够逐步提升性能（此时估计出的手部结果会更精细），但迭代次数超过某一阈值后再增加反而会对整体性能造成损害；ii) 对于小型数据集ICVL，增加去噪迭代次数更有可能导致估计性能下降。不过，更大的去噪迭代次数也会带来更高的计算成本和更慢的推理速度。 b) 不同的Transformer模块深度：如表X所示，我们也评估了不同数量的Transformer模块所带来的效果。我们发现：i) 对于大型数据集，更深的Transformer模块会带来更好的性能，因为更深的网络能够学习到更复杂的特征；不过当堆叠超过三个模块后，性能提升便不再明显。ii) 对于小型数据集ICVL，通过堆叠更深的网络难以进一步提升估计性能，这可能是由于过拟合问题导致的。 c) 关于数据集规模的结果分析：值得注意的是，ICVL的规模明显小于NYU和DexYCB（如第IV-A.1节所述）。具体而言，如表IX和X所示，增加去噪迭代次数和块深度更有可能i) 逐步提升在大型数据集NYU和DexYCB上的性能，ii) 却会降低在小型数据集ICVL上的精度。主要原因在于小型数据集容易过拟合，从而导致各种模型在ICVL上的改进效果和差异变得微乎其微。相比之下，像NYU和DexYCB这样的大型数据集能更好地评估不同模型的有效性。 ### V. 结论 本文提出了一种用于基于深度的3D手部姿态估计的新型关节引导关键点去噪Transformer模型HandJoKe。所提出的HandJoke能够在仅几次去噪步骤内，在明确的关节引导下，基于2D深度图像和3D点云中的关键点特征来迭代估计并去噪手部姿态。具体来说，我们首先引入一种图像-点云关键点聚合策略，以根据估计出的手部关节位置从跨模态输入中定位关键点特征。其次，我们进一步提出了一种新颖的关节引导去噪估计策略，通过明确的关节引导充分融合跨模态关键点特征，并在2D和3D空间中利用跨维度交互来迭代去噪估计出的手部姿态。在公开基准测试上的大量实验表明，HandJoKe的性能优于以往基于深度的3D手部姿态估计的SOTA方法。最后，我们希望所提出的HandJoKe能为基于深度的3D手部姿态估计带来一些有价值的启示，包括明确的关节引导、迭代去噪估计以及跨模态融合。在未来的工作中，我们计划将该方法进一步扩展到更复杂的场景，比如动态环境中的多手交互。 ## 参考文献 [^1]: P. Ren, H. Sun, J. Hao, Q. Qi, J. Wang, and J. Liao, “Pose-guided hierarchical graph reasoning for 3-D hand pose estimation from a single depth image,” IEEE Trans. Cybern., vol. 53, no. 1, pp. 315–328, Jan. 2023. [^2]: L. Fang, X. Liu, L. Liu, H. Xu, and W. Kang, "JGR-P2O: Joint graph reasoning based pixel-to-offset prediction network for 3D hand pose estimation from a single depth image," in Proc. Eur. Conf. Comput. Vis., 2020, pp. 120–137. [^3]: X. Chen, G. Wang, H. Guo, and C. Zhang, “Pose guided structured region ensemble network for cascaded hand pose estimation,” Neurocomputing, vol. 395, pp. 138–149, Jun. 2020. [^4]: W. Huang, P. Ren, J. Wang, Q. Qi, and H. Sun, “AWR: Adaptive weighting regression for 3D hand pose estimation,” in Proc. AAAI Conf. Artif. Intell., Apr. 2020, pp. 11061–11068. [^5]: Z. Chen et al., “AutoAlign: Pixel-instance feature aggregation for multi-modal 3D object detection,” 2022, arXiv:2201.06493. [^6]: J. Zhang, H. Liu, K. Yang, X. Hu, R. Liu, and R. Stiefelhagen, "CMX: Cross-modal fusion for RGB-X semantic segmentation with transformers," 2022, arXiv:2203.04838. [^7]: P. Ren et al., “Two heads are better than one: Image-point cloud network for depth-based 3D hand pose estimation,” in Proc. AAAI Conf. Artif. Intell., Jun. 2023, pp. 2163–2171. [^8]: W. Cheng, E. Kim, and J. H. Ko, “HandDAGT: A denoising adaptive graph transformer for 3D hand pose estimation,” in Proc. Eur. Conf. Comput. Vis., 2024, pp. 35–52. [^9]: W. Cheng, H. Tang, L. V. Gool, and J. H. Ko, “HandDiff: 3D hand pose estimation with diffusion on image-point cloud,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., Jun. 2024, pp. 2274–2284. [^10]: J. Tompson, M. Stein, Y. Lecun, and K. Perlin, “Real-time continuous pose recovery of human hands using convolutional networks,” ACM Trans. Graph., vol. 33, no. 5, pp. 1–10, Sep. 2014. ## [^11]: D. Tang, H. J. Chang, A. Tejani, and T.-K. Kim, "Latent regression forest: Structured estimation of 3D articulated hand posture," in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., Jun. 2014, pp. 3786–3793 --- [^12]: Y.-W. Chao et al., “DexYCB: A benchmark for capturing hand grasping of objects,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., Jun. 2021, pp. 9044–9053. [^13]: S. Hampali, M. Rad, M. Oberweger, and V. Lepetit, "HOnnotate: A method for 3D annotation of hand and object poses," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2020, pp. 3193–3203. [^14]: H. Guo, G. Wang, X. Chen, C. Zhang, F. Qiao, and H. Yang, “Region ensemble network: Improving convolutional network for hand pose estimation,” in Proc. IEEE Int. Conf. Image Process. (ICIP), Sep. 2017, pp. 4512–4516. [^15]: C. Wan, T. Probst, L. V. Gool, and A. Yao, “Dense 3D regression for hand pose estimation,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jul. 2018, pp. 5147–5156. [^16]: K. Du, X. Lin, Y. Sun, and X. Ma, “CrossInfoNet: Multi-task information sharing based hand pose estimation,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2019, pp. 9888–9897. [^18]: M. Oberweger and V. Lepetit, "DeepPrior++: Improving fast and accurate 3D hand pose estimation," in Proc. IEEE Int. Conf. Comput. Vis. Workshops (ICCVW), Oct. 2017, pp. 585–594. [^17]: P. Ren et al., “Spatial-aware stacked regression network for real-time 3D hand pose estimation,” Neurocomputing, vol. 437, pp. 42–57, May 2021. [^19]: L. Ge, H. Liang, J. Yuan, and D. Thalmann, "3D convolutional neural networks for efficient and robust hand pose estimation from single depth images," in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., Jun. 2017, pp. 5679–5688. [^20]: J. Y. Chang, G. Moon, and K. M. Lee, “V2V-PoseNet: Voxel-to-Voxel prediction network for accurate 3D hand and human pose estimation from a single depth map,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., Jun. 2018, pp. 5079–5088. [^21]: W. Cheng, J. H. Park, and J. H. Ko, “HandFoldingNet: A 3D hand pose estimation network using multiscale-feature guided folding of a 2D hand skeleton,” in Proc. IEEE/CVF Int. Conf. Comput. Vis., Jun. 2021, pp. 11240–11249. [^22]: X. Chen, G. Wang, C. Zhang, T.-K. Kim, and X. Ji, “SHPR-net: Deep semantic hand pose regression from point clouds,” IEEE Access, vol. 6, pp. 43425–43439, 2018. [^23]: L. Ge, Y. Cai, J. Weng, and J. Yuan, "Hand PointNet: 3D hand pose estimation using point sets," in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., Jun. 2018, pp. 8417–8426. [^24]: L. Ge, Z. Ren, and J. Yuan, “Point-to-point regression PointNet for 3D hand pose estimation,” in Proc. Eur. Conf. Comput. Vis. (ECCV), 2018, pp. 489–505. [^25]: Y. Que, L. Xiong, W. Wan, X. Xia, and Z. Liu, “Denoising diffusion probabilistic model for face sketch-to-photo synthesis,” IEEE Trans. Circuits Syst. Video Technol., vol. 34, no. 10, pp. 10424–10436, Oct. 2024. [^26]: S. Kang, S. Gao, W. Wu, X. Wang, S. Wang, and G. Qiu, “Image intrinsic components guided conditional diffusion model for low-light image enhancement,” IEEE Trans. Circuits Syst. Video Technol., vol. 34, no. 12, pp. 13244–13256, Dec. 2024. [^27]: Q. Yan et al., “Efficient image enhancement with a diffusion-based frequency prior,” IEEE Trans. Circuits Syst. Video Technol., early access, Mar. 7, 2025, doi: 10.1109/TCSVT.2025.3549351. [^28]: M. Zhang et al., “Spatial–spectral aggregation transformer with diffusion prior for hyperspectral image super-resolution,” IEEE Trans. Circuits Syst. Video Technol., vol. 35, no. 4, pp. 3557–3572, Apr. 2025. [^29]: L. Papa, P. Russo, and I. Amerini, “D4D: An RGBD diffusion model to boost monocular depth estimation,” IEEE Trans. Circuits Syst. Video Technol., vol. 34, no. 10, pp. 9852–9865, Oct. 2024. [^30]: S. Shao, Z. Pei, W. Chen, D. Sun, P. C. Y. Chen, and Z. Li, "MonoDiffusion: Self-supervised monocular depth estimation using diffusion model," IEEE Trans. Circuits Syst. Video Technol., vol. 35, no. 4, pp. 3664–3678, Apr. 2025. [^31]: C. Cao, H. Zhang, Y. Lu, P. Wang, and Y. Zhang, “Scene-dependent prediction in latent space for video anomaly detection and anticipation,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 47, no. 1, pp. 224–239, Jan. 2025. [^32]: W. Shan et al., “Diffusion-based 3D human pose estimation with multi-hypothesis aggregation,” in Proc. IEEE/CVF Int. Conf. Comput. Vis. (ICCV), Oct. 2023, pp. 14715–14725. [^33]: J. Gong, L. G. Foo, Z. Fan, Q. Ke, H. Rahmani, and J. Liu, "DiffPose: Toward more reliable 3D pose estimation," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., Jun. 2023, pp. 13041–13051. [^34]: J. Choi, D. Shim, and H. J. Kim, "DiffuPose: Monocular 3D human pose estimation via denoising diffusion probabilistic model," in Proc. IEEE/RSJ Int. Conf. Intell. Robots Syst. (IROS), Aug. 2023, pp. 3773–3780. [^35]: L. Li, L. Zhuo, B. Zhang, L. Bo, and C. Chen, "DiffHand: End-to-end hand mesh reconstruction via diffusion models," 2023, arXiv:2305.13705. [^36]: Z. Liu, H. Mao, C.-Y. Wu, C. Feichtenhofer, T. Darrell, and S. Xie, "A ConvNet for the 2020s," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2022, pp. 11976–11986. [^37]: C. R. Qi, Y. Li, H. Su, and L. Guibas, “PointNet++: Deep hierarchical feature learning on point sets in a metric space,” in Proc. Adv. Neural Inf. Process. Syst., 2017, pp. 1–12. [^38]: W. Cheng and S. Lee, “Point auto-encoder and its application to 2D-3D transformation,” in Proc. Adv. Vis. Computing: Int. Symp. Vis. Comput., 2019, pp. 66–78. JUn, [^40]: F. Xiong et al., “A2J: Anchor-to-Joint regression network for 3D articulated pose estimation from a single depth image,” in Proc. IEEE/CVF Int. Conf. Comput. Vis., Jul. 2019, pp. 793–802. [^41]: C. Jiang et al., "A2J-transformer: Anchor-to-Joint transformer network for 3D interacting hand pose estimation from a single RGB image," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., Jun. 2023, pp. 8846–8855. [^42]: M. Rezaei, R. Rastgoo, and V. Athitsos, "TriHorn-net: A model for accurate depth-based 3D hand pose estimation," Expert Syst. Appl., vol. 223, Aug. 2023, Art. no. 119922. [^43]: J. Malik et al., “HandVoxNet: Deep voxel-based network for 3D hand shape and pose estimation from a single depth map,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., Jun. 2020, pp. 7113–7122. [^44]: L. Huang, J. Tan, J. Liu, and J. Yuan, “Hand-transformer: Non-autoregressive structured modeling for 3D hand pose estimation,” in Proc. 16th ECCV. Cham, Switzerland: Springer, 2020, pp. 17–33. [^45]: W. Cheng and J. H. Ko, “HandR2N2: Iterative 3D hand pose estimation using a residual recurrent neural network,” in Proc. IEEE/CVF Int. Conf. Comput. Vis., Jul. 2023, pp. 20904–20913. [^46]: A. Spurr, U. Iqbal, P. Molchanov, O. Hilliges, and J. Kautz, “Weakly supervised 3D hand pose estimation via biomechanical constraints,” in Proc. Eur. Conf. Comput. Vis., Jun. 2020, pp. 211–228. [^47]: K. Lin, L. Wang, and Z. Liu, “End-to-end human pose and mesh reconstruction with transformers,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2021, pp. 1954–1963. [^48]: T. H. E. Tse, K. I. Kim, A. Leonardis, and H. J. Chang, “Collaborative learning for hand and object reconstruction with attention-guided graph convolution,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., Jun. 2022, pp. 1654–1664. [^49]: J. Park, Y. Oh, G. Moon, H. Choi, and K. M. Lee, “HandOccNet: Occlusion-robust 3D hand mesh estimation network,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., Jun. 2022, pp. 1496–1505. [^50]: J. Li, C. Xu, Z. Chen, S. Bian, L. Yang, and C. Lu, "HybrIK: A hybrid analytical-neural inverse kinematics solution for 3D human pose and shape estimation," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., Jun. 2021, pp. 3383–3393. [^51]: L. Yang et al., “ArtiBoost: Boosting articulated 3D hand-object pose estimation via online exploration and synthesis,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., Jun. 2022, pp. 2750–2760. [^52]: J. Malik et al., “HandVoxNet++: 3D hand shape and pose estimation using voxel-based neural networks,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 44, no. 12, pp. 8962–8974, Dec. 2022. ![Image](images/f71290183e804cfddd15c4055f093edd371b55e650b0082c61ae231f3df98e2b.jpg) 甘骥于2015年在中国武汉华中科技大学获得工学学士学位，2021年在中国北京中国科学院大学获得博士学位。他目前任职于中国重庆的重庆邮电大学计算机科学与技术学院。他的研究方向包括模式识别、人机交互、手写识别和生成。 --- ![Image](images/e9ddae32c69e41603f08edbcb76259a802260c275b1bba779484a9fba1cce385.jpg)
Lei Chen received the B.E. degree. He is currently pursuing the master's degree from Chongqing University of Posts and Telecommunications, Chongqing, China. His current research interests include computer vision and 3D hand pose estimation.
![Image](images/d1f7834e664f6fd286b62f3b18d510e81280d8aca1295328921c7ce0e9f61dfd.jpg) ![Image](images/9f4c609b638fe4ca8e30acba1eadd402985c7167569257ef7e7a97120d99c663.jpg)
Weisheng Li (Member, IEEE) received the B.E. and M.S. degrees from the School of Electronics and Mechanical Engineering, Xidian University, Xi'an, China, in July 1997 and July 2000, respectively, and the Ph.D. degree from the School of Computer Science and Technology, Xidian University, in July 2004. He is currently a Professor with Chongqing University of Posts and Telecommunications. His research interests include intelligent information processing and pattern recognition.
Ping Hu (Member, IEEE) received the B.E. degree from Sichuan University, China, the M.Eng. degree from the University of Chinese Academy of Sciences, China, and the Ph.D. degree from Boston University, USA. He is currently a Professor with the School of Computer Science and Engineering, University of Electronic Science and Technology of China, and a Post-Doctoral researcher with Boston University. His research interests include machine learning and computer vision. He serves as a senior program committee member for IJCAI 2023 and an
![Image](images/b286b8d0d73887f1087e17ac5375f12cfc912102f650edda92b055be3fc652af.jpg) 冷佳旭（IEEE会员）于2012年在中国天水师范学院获得电子信息科学与技术专业学士学位，2015年在中国四川电子科技大学获得电气工程硕士学位，2020年在中国北京中国科学院大学获得计算机科学博士学位。获得硕士学位后，他曾在青岛海信集团担任了两年的算法工程师。他目前任职于中国重庆邮电大学计算机科学与技术学院。他的当前研究方向包括计算机视觉、深度学习、物体检测以及立体视觉。 ![Image](images/65a055416b737e49d659a3cd63d75ec5c43eeda281a4d2f210af72483cb21c2a.jpg) 高欣波（IEEE会士）分别于1994年、1997年和1999年在中国西安电子科技大学获得电子工程、信号与信息处理专业的学士、硕士和博士学位。1997年至1998年，他在日本静冈大学计算机科学系担任研究员。2000年至2001年，他在香港中文大学信息工程系担任博士后研究员。自2001年起，他一直在西安电子科技大学电子工程学院任教。他目前是中国教育部长江学者特聘教授，也是西安电子科技大学模式识别与智能系统专业的教授。自2020年起，他也在重庆邮电大学工作。他已出版七部著作，并在各类期刊和会议论文集中发表了约300篇技术文章。他的研究兴趣包括图像处理、计算机视觉、多媒体分析、机器学习以及模式识别。他是英国工程技术学会、中国电子学会、中国计算机学会以及中国人工智能学会的会士。他还曾担任过约30个重要国际会议的大会主席/联合主席、程序委员会主席/联合主席或程序委员会成员。他还是《信号处理》（Elsevier）、《神经计算》（Elsevier）等多份期刊的编委会成员。他也曾担任过约30个重要国际会议的大会主席/联合主席、程序委员会主席/联合主席或程序委员会成员。