# HandDiff：基于图像点云的扩散模型三维手部姿态估计

程文灿 $^{1}$ 唐浩 $^{2,3}$ 卢克·范·古尔 $^{2,4}$ 高钟焕 $^{5}$

 $^{1}$成均馆大学人工智能系

 $^{2}$苏黎世联邦理工学院计算机视觉实验室 $^{3}$卡内基梅隆大学 $^{4}$索菲亚圣克利门特·奥赫里德斯基大学INSAIT研究中心

 $^{5}$成均馆大学信息与通信工程学院

{cwc1260, jhko}@skku.edu, {hao.tang, vangool}@vision.ee.ethz.ch

## 摘要

从输入的手部图像中提取关键点位置，即三维手部姿态估计，是各类人机交互应用中的关键任务。本质上，三维手部姿态估计可视为以输入图像为条件的三维点子集生成问题。得益于近期基于扩散的生成模型的重大进展，手部姿态估计也能借助扩散模型来生成高质量的关键点位置。然而，直接运用现有的扩散模型来解决手部姿态估计问题并非易事，因为它们无法实现复杂的排列映射与精准定位。基于这一动机，本文提出HandDiff——一种基于扩散的手部姿态估计模型，它能够以手形图像点云为条件，迭代地去噪得到精确的手部姿态。为了恢复关键点的排列顺序与准确位置，我们进一步引入了关节级条件与局部细节条件。实验结果表明，所提出的HandDiff在四个具有挑战性的手部姿态基准数据集上显著优于现有方法。代码与预训练模型可在<https://github.com/cwc1260/HandDiff>免费获取。

### 1. 引言

三维手部姿态估计（HPE）旨在估算手部关键点的三维位置，它能帮助我们深入理解人类手部运动规律。因此，它对于实现更自然、更直观的人机交互至关重要，可应用于机器人、游戏以及增强/虚拟现实等各类人机交互场景。近年来，随着深度学习技术的应用以及低成本深度相机的普及，三维手部姿态估计领域取得了显著进展。

近期基于深度学习的三维手部姿态估计研究 [^5] [^6] [^9] [^11] [^12] [^15] [^16]

![Image](images/3f65afa547c07125f5f7cd7128375477d9c8a74fda63aaca3a223c4bf4695cc0.jpg)

<div style="text-align: center;">Figure 1. Illustration of the hand pose diffusion concept. The model extracts features from input depth images and corresponding point clouds as joint-wise and local conditions to guide the iterative denoising process that recovers accurate hand poses from diffused noisy pose distributions.</div>

现有方法[^18] [^23] [^35] [^36] [^38]主要分为两类核心思路：回归与检测。虽然这些简单的方法展现出了不错的效果与计算效率，但这类确定性方法在处理自遮挡、手物遮挡等现实场景中常见的病态不确定情况时存在局限。因此，为确保估计结果的可靠性，精准建模不确定性至关重要。

幸运的是，一种被称为扩散模型（DM）的革命性方法[^19] [^27] [^43]在通过概率分布建模来处理不确定性方面展现出了卓越的性能。扩散模型在3D生成应用中也表现出优越性，包括未见3D点云的生成[^27] [^50]以及不确定部分的补全[^28] [^54]。因此，3D扩散模型可以应用于3D人体姿态估计这类3D条件生成问题中，因为3D人体姿态估计和3D条件生成都旨在根据特定条件生成一组关键点。更重要的是，3D扩散模型能够通过学习关键点的概率分布来解决遮挡带来的不适定不确定性问题。受此启发，我们应用扩散模型来生成基于手部深度图像/点云输入的手部关键点位置，如图1所示。据我们所知，我们的工作是首次将扩散模型应用于手部姿态估计任务。

---

手部姿态估计任务。

虽然理论上可以利用扩散模型来解决人体姿态估计任务，但现有的3D扩散模型[^27] [^50]直接应用于手部姿态估计任务时仍受到限制。当前3D扩散模型的一个显著局限在于它们依赖全局潜在条件，这忽略了准确估计关节位置所需的至关重要的局部细节信息。此外，3D扩散模型的排列等变性限制了它们在简单的全局条件下区分不同关节的能力，从而影响其将噪声点与特定目标关节对齐的精确度。

为了充分发挥扩散模型在手部姿态估计中的潜力，我们提出了HandDiff，这是一种新颖的方法，它通过逐步细化噪声分布来从深度图像和点云等多模态输入中准确推导出3D手部姿态。为解决3D扩散模型固有的局限性，我们的模型采用了逐关节去噪机制，在估计过程中对各个关节分别进行去噪处理。具体来说，所提出的模型首先引入了一个逐关节条件生成模块，该模块从深度图像和点云中为每个单独的关节提取特征。此外，它还具备一种新颖的局部特征条件去噪模块，这是执行反向扩散过程的关键组件。该模块在关节特定的条件下运行，并利用噪声输入关节位置周围的局部特征。另外，我们提出了一种新颖的运动学对应关系感知层，它与图卷积操作相结合，以捕捉手部关节之间的运动学关系。

我们在四个具有挑战性的基准测试上对HandDiff进行了评估，包括单手ICVL[^47]、MSRA[^46]和NYU[^48]数据集，以及手-物体交互的DexYCB[^3]数据集。结果显示，HandDiff在ICVL、MSRA和NYU数据集上的平均距离误差分别为5.76毫米、6.53毫米和7.38毫米，性能相当。该模型在DexYCB数据集上的表现也显著优于现有最先进的方法，其误差最低，仅为8.06毫米。

以下是我们主要贡献的总结：

- 我们提出了一种用于手部姿态估计的新型基于扩散的模型，该模型利用深度图像和点云输入作为多模态条件。该模型逐步对噪声分布进行去噪，从而准确确定手部关节的3D坐标。

我们提出了一种新颖的逐关节局部特征感知去噪模块，该模块旨在将含噪输入周围的局部细节作为条件，以实现更精确的关节坐标去噪。此外，该模块还引入了一种新颖的运动对应关系感知层，用于建模关节间的依赖关系，从而提升性能。

我们在大型且极具挑战性的基准测试上开展了全面实验，结果表明我们提出的方法达到了新的最先进水平。

### 2. 相关工作

基于深度图像的3D手部姿态估计。在各类利用深度图像进行3D手部姿态估计的方法中，传统的基于2D CNN的方法[6, 11–13, 18, 35, 36, 48]因其简单性而被广泛应用。然而，这些方法存在局限性，比如难以捕捉3D结构，且性能依赖于相机视角。

为克服这些局限，基于3D CNN的方法[^14] [^29]应运而生，它们利用深度图像的3D体素化表示来捕捉体积信息。尽管这些方法提升了3D手部姿态估计的性能，但它们需要大量的内存和计算资源，这限制了其实际应用。

相比之下，基于PointNet的方法[^5] [^9] [^15] [^16] [^23]能够处理点云，而点云是对3D结构的精确表征。PointNet[^33]是一种能够处理不规则且无结构点云的深度学习框架。HandPointNet[^15]首次将PointNet应用于手部姿态估计。Point-to-Point模型[^16]和SHPR-Net[^5]通过生成逐点概率分布进一步提升了性能。随后，SHPR-Net[^5]将HandPointNet与一个辅助语义分割子网络相结合以提升性能。最近，HandFoldingNet[^9]引入了折叠概念，可将预定义的2D手部骨骼重塑为手部姿态，进一步提高了估计精度。不过，点云的一个显著缺点是：从密集点集中查询卷积所需的邻域点会耗费大量计算资源。因此，现有方法通常使用稀疏点云，这限制了其性能。

因此，在本研究中，我们采用了结合2D深度图像和3D点云的多模态表征。如此一来，模型既能高效提取密集的细节信息，又能有效捕捉3D空间特征，从而实现精确的3D手部姿态估计。此外，我们首次将基于PointNet的去噪过程与扩散模型相结合，以提升姿态估计性能。

用于姿态估计的扩散模型。扩散模型[^19] [^43]，又称去噪扩散概率模型（DDPMs），是一类深度生成模型。DM通过反复对每一步添加的噪声进行去噪，从被注入噪声的扰动数据分布中恢复出原始观测到的数据分布。近年来，它们在物体检测和图像识别等各类计算机视觉任务中取得了显著成果。

---

检测[^4]、图像合成[20, 39–41]、图表生成[^22] [^30] [^51]、语义分割[^1] [^2]以及姿态估计[^10] [^17] [^21] [^42] [^42]。

现有的基于扩散模型的姿态估计方法[^10] [^17] [^21] [^42]主要用于三维人体姿态估计，即从人体的二维RGB图像中回归出人体三维关键点的位置。这是因为不确定的二维到三维映射过程可以被建模为概率分布。具体而言，D3DP[^42]提出了一种结合关节级重投影的多假设聚合方法，利用二维先验从扩散模型中确定最佳假设。DiffPoses[^17] [^21]引入了二维关节的热图表示来约束反向扩散过程。DiffuPose[^10]采用图卷积网络作为去噪函数，以显式学习人体关节之间的连接关系。总体而言，这些方法都遵循相同的两阶段方案：首先利用训练好的二维回归模型获取作为先验的二维关键点，然后应用以该二维先验为条件的扩散模型来解决二维到三维的映射问题。直观而言，二维回归模型的性能会制约去噪质量。

相比之下，我们的方法采用基于三维空间条件的一阶段去噪过程。我们的方法直接接受原始深度帧和点云帧作为条件，从而充分利用密集的二维视觉特征与三维结构信息，无需依赖预训练模型生成的压缩后的二维/三维先验信息。此外，我们的方法利用DDIM[^44]来加速推理，因为它能在个位数的降采样时间步内完成数千次反向去噪过程。

### 3. 所提出的手部姿态扩散模型

HandDiff是一种扩散模型，它以三维正态分布和手部深度图像为输入，输出手部关节的坐标，如图2所示。直观而言，HandDiff通过探索各关节周围的局部区域，并借助关节级特征对关节位置进行迭代去噪优化。HandDiff的输入是一张手部深度图像$\mathbf{D}_{in} \in \mathbb{R}^{H \times W}$以及一组采样的三维点坐标$\mathbf{P}_{in} \in \mathbb{R}^{N \times 3}$，输出则是从随机初始化的正态分布中去噪得到的三维关节坐标$\mathbf{J}^0 \in \mathbb{R}^{J \times 3}$。深度图像和N个点首先被送入局部条件编码器，以提取局部和全局特征。我们构建了基于ConvNeXt的自编码器来生成二维局部视觉特征图$\mathbf{F}_{2d} \in \mathbb{R}^{H/2 \times W/2 \times d_{2d}}$和二维全局向量。由于输入点集具有不规则性和无序性，我们利用PointNet++[^25]提出的分层点云编码器[^34] [^34]来提取三维局部几何特征$\mathbf{F}_{3d} \in \mathbb{R}^{N/2 \times d_{3d}}$和全局三维向量。随后，这些局部特征被送入关节级条件提取器，以提取关节级条件向量。之后，执行一种新颖的关节级局部特征条件去噪器$T'$步骤，通过重新采样噪声关节周围的有用局部特征，并在关节级条件的约束下迭代去噪关节坐标。

#### 3.1. 关节级条件提取

关节级条件 $\mathbf{C} \in \mathbb{R}^{J \times d_c}$ 本质上是在 $d_c$ 维潜空间中表示关节的嵌入。因此，我们借鉴 HandFoldingNet 提出的关节级嵌入概念 [^9] 来获取关节级条件。关节级条件（即关节级嵌入）的生成是通过三层偏置诱导层（BIL）[^8] 依次完成的。二维和三维全局向量的拼接结果会被复制 J 次，然后输入到 BIL 中，从而为 J 个独立关节生成条件。BIL 提供了关节级的独立偏置，这些偏置可被视为可学习的位置嵌入，能够基于相同的全局特征为不同关节生成独立的映射。

#### 3.2. 关节级局部特征条件去噪器

去噪器在从手部点云中提取的关节级条件下，将含噪分布重构为精确的关节坐标分布。在每个时间步 t，去噪器 $\mathcal{D}$ 接收含噪关节坐标分布 $\mathbf{J}^{(t)}$、关节级条件 $\mathbf{C}$、局部特征 $\mathbf{F}_{2d}$、$\mathbf{F}_{3d}$ 以及时间步 t 作为输入，输出无噪声的重构三维关节坐标 $\widetilde{\mathbf{J}}^{(0|t)}$：

 $$ \widetilde{\mathbf{J}}^{(0|t)}=\mathcal{D}(\mathbf{J}^{(t)},\mathbf{C},\mathbf{F}_{2d},\mathbf{F}_{3d},t). $$

该去噪器包含以下组成部分：1）局部特征采样器，2）关节指示向量与时间步嵌入，3）运动对应关系感知聚合模块，以及 4）残差细化器。采样器会在含噪坐标 $\mathbf{J}^{(t)}$ 周围采样局部特征，从而形成包含详细观测信息的局部条件。为了区分不同的关节和噪声水平，我们分别引入了关节指示向量和时间步嵌入。随后，聚合模块会将局部条件与关节级条件融合，进而生成去噪后的关节坐标。此外，该聚合过程还会结合图推理来捕捉运动对应关系。最后，通过残差机制将含噪关节坐标分布细化为去噪后的分布。

局部特征采样器。该采样器会收集每个含噪关节分布周围的 K 个最近邻的局部三维点及其对应的局部三维空间特征。同时，它也会采样 K 个最近邻的二维像素及其对应的局部二维视觉特征。需要注意的是，这些二维像素会被投影到同一个三维关节空间中以进行邻居查询。随后，这些邻居点和像素会被

---

![Image](images/9eeadd1eddb0b436562d81b520100b87c9ecf4e369446c4ea135045b19d6ed56.jpg)

<div style="text-align: center;">Figure 2. The pipeline of the proposed HandDiff. HandDiff takes the normalized point cloud transformed from a 2D depth image as the input. The PointNet-based local condition encoder extracts local features, a ka local conditions, from input points. Then, a joint-wise condition extractor aggregates local features into latent features of each joint. Conditioned on the joint-wise conditions and local conditions sampled around each joint, the joint-wise local feature-conditioned denoiser iteratively recovers an accurate 3D hand pose by denoising the diffused noisy pose. Notably, a noiser proposed in DDIM is applied to add noise to the denoised pose for subsequent denoising steps.</div>

转换为以关节位置为原点的相对坐标系，从而消除平移差异。

关节指示向量与时间步嵌入。由于去噪器需要处理具有不同噪声水平的多个关节，因此必须明确获知关节索引 j 和时间步 t 的信息。遵循 DDPM 的做法，我们对 j 和 t 应用正弦函数，以形成关节指示向量和时间步嵌入。随后，关节指示向量和时间步嵌入会与每个局部特征拼接起来，用于后续处理。

运动对应关系感知聚合模块。如图2所示，所提出的聚合模块以局部特征、关节级条件、关节指示向量以及时间步嵌入作为输入，输出经过运动对应关系演化的局部特征和关节级嵌入。由于许多近期的研究[^12] [^36]指出图卷积网络（GCN）能够有效建模关节间的相对运动关系，因此首先通过GCN对关节级条件（嵌入）进行增强，形成演化后的关节级条件：

 $$ \mathbf{C}^{\prime}=R e L U(\mathbf{A}\mathbf{C}\mathbf{W}), $$

其中$\mathbf{W} \in \mathbb{R}^{d_c \times d_c}$为可训练权重，$\mathbf{A} \in \mathbb{R}^{J \times J \times d_c}$为关节间的通道级运动对应关系矩阵。随后，经GCN演化后的关节级条件会与关节指示向量、时间步嵌入以及采样的局部特征进行拼接。接着，拼接后的特征会被送入单层MLP，生成编码了运动对应关系和全局先验的演化局部特征。具体而言，第j个关节的第k个局部邻点的演化局部特征定义为：

 $$ \mathbf{F}^{\prime}{}_{k,j}={M L P}\big([\mathbf{P}_{k,j}-\mathbf{J}_{j},\mathbf{F}_{k,j},\mathbf{C}^{\prime}{}_{j},{P E}(t),{P E}(j)]\big), $$

其中$\mathbf{P}_{k,j}$和$\mathbf{F}_{k,j}$分别为第j个关节的第k个局部邻点的坐标和局部特征，PE为正弦位置嵌入函数，‘[·,·]’表示拼接操作。

然而，单个所提出的模块不足以应对复杂的去噪任务。因此在实际应用中，该模块会复制四次，且每次复制的参数均可独立学习。此外，我们在每两个模块之间引入最大池化层，以便为后续模块提供包含局部信息的更新后关节级嵌入：

 $$ \begin{array}{r}{\mathbf{\hat{C}}={M a x P o o l}(\mathbf{F}^{\prime}).}\end{array} $$

残差精炼器。与之前的3D生成扩散模型[^27]类似，精炼器以最后的关节级嵌入$\hat{C}$作为输入，来优化含噪输入分布$\mathbf{J}^{(t)}$。精炼器是一种带有残差连接的线性变换。因此，当前第t个时间步的近似关节坐标表示为：

 $$ \begin{array}{r}{\mathbf{\widetilde{J}}^{(0|t)}=\mathbf{\hat{C}}\mathbf{W}+\mathbf{J}^{(t)},}\end{array} $$

其中$\mathbf{W} \in \mathbb{R}^{d_3 \times 3}$为可训练的变换矩阵。

#### 3.3. 训练

HandDiff首先通过前向扩散马尔可夫链逐步向真实的关节分布$q(\mathbf{J}^{(0)})$中添加噪声$q(\mathbf{J}^{(t)}|\mathbf{J}^{(0)})$，从而得到含噪分布$\epsilon \sim \mathcal{N}(\mathbf{0},\mathbf{I})$，其中t是从预定义的总时间步数T中均匀采样的。

---

参照DDPM[^19]的做法，前向噪声过程的形式化定义如下：

 $$ \begin{align*}q(\mathbf{J}^{(t)}|\mathbf{J}^{(0)})&=\sqrt{\bar{\alpha}_{t}}\mathbf{J}^{(0)}+\epsilon\sqrt{1-\bar{\alpha}_{t}},\\ where\bar{\alpha}_{t}&=\prod_{s=0}^{t}\alpha_{t}=\prod_{s=0}^{t}(1-\beta_{s}).\end{align*} $$

需要注意的是，$0 < \beta_t < 1$为噪声的方差，与DDPM[^19]中的设定一致，该方差在每个时间步由线性方差调度器控制。

随后，含噪关节分布会被送入所提出的去噪器中，在关节级条件以及局部细节条件的约束下恢复出干净的关节分布$\widetilde{\mathbf{J}}^{(0|t)}$。为了训练该去噪器，$\widetilde{\mathbf{J}}^{(0|t)}$会以真实分布$\mathbf{J}^*$为监督信号。

此外，关节级条件需要通过训练进行初始化。因此，由关节级条件线性变换得到的3D坐标$J^{c}$也接受同样的监督。

参照以往的回归研究[^9] [^35]，我们采用平滑L1损失来指导训练，因为它对异常值的敏感度更低。平滑L1损失的定义如下：

 $$ L1_{smooth}(\mathbf{x})=\begin{cases}50\mathbf{x}^{2},&|\mathbf{x}|<0.01\\|\mathbf{x}|-0.005,&otherwise\end{cases}. $$

通过使用平滑的L1损失函数，我们借助以下的联合损失函数来约束近似的联合分布：

 $$ \mathcal{L}=\sum_{j=0}^{J}L1_{s m o o t h}(\widetilde{\mathbf{J}}_{j}^{(0|t)}-\mathbf{J}_{j}^{*}). $$

#### 3.4. 推理过程

在推理阶段，通过迭代应用去噪器来执行反向扩散过程，从而恢复未受污染的关节坐标分布。根据近期提出的2D转3D人体姿态扩散模型[^10] [^17] [^21] [^42]，多个多样化的反向过程假设能够帮助概率扩散模型提升预测精度。我们的模型还会从单位高斯分布中采样出H个初始3D姿态$\mathbf{J}_{0:H}^{(T)}$。

随后，这H个姿态假设会被分别输入到所提出的去噪器中，以近似得到H个未受污染的关节坐标分布$\widetilde{\mathbf{J}}_{0:H}^{(0|t)}$。为了获得后续去噪步骤所需的含噪输入$t - 1$，我们会利用一种加噪器，按照DDIM[^44]的规则向去噪后的分布中添加噪声：

 $$ p_{\theta}(\mathbf{J}_{0:H}^{(t-1)}|\mathbf{\widetilde{J}}_{0:H}^{(0|t)})=\sqrt{\bar{\alpha}_{t-1}}\mathbf{\widetilde{J}}_{0:H}^{(0|t)}+\sqrt{1-\bar{\alpha}_{t-1}-\sigma_{t}^{2}}\epsilon_{t}+\sigma_{t}\epsilon, $$

其中t的初始值为T，$\epsilon_t = (\mathbf{J}_{0:H}^{(t)} - \sqrt{\bar{\alpha}_t} \mathbf{\widetilde{J}}_{0:H}^{(0)}) / \sqrt{1 - \bar{\alpha}_t}$表示时间步t下预测的噪声，$\sigma_t = \sqrt{(1 - \bar{\alpha}_{t-1}) (1 - \bar{\alpha}_t / \bar{\alpha}_{t-1}) / (1 - \bar{\alpha}_t)}$。

这一过程会迭代$T'$次$(T' < T)$，从而估算出最终的去噪分布$\widetilde{\mathbf{J}}_{0:H}^{(0|t)}$。在第0个时间步，我们会对所有假设结果取平均值，以聚合出最终的未受污染关节坐标：

 $$ \bar{\mathbf{J}}^{(0)}=\frac{1}{H}\sum_{h=0}^{H}\widetilde{\mathbf{J}}_{h}^{(0)}. $$

### 4. 实验部分

#### 4.1. 实验设置

我们在NVIDIA TITAN RTX GPU上基于PyTorch开展实验。训练时采用AdamW优化器[^26]，参数beta₁设为0.5，beta₂设为0.999，学习率α设为0.001。输入图像的尺寸被调整为128，网络输入的点的数量随机采样为1,024个，2D/3D特征深度d₂d₃和d₃d₄均为128，逐关节条件深度d_c为512，批量大小设为64。扩散时间步数设为500，采用余弦方差调度器。同时，为避免过拟合，我们采用了在线数据增强技术，包括随机旋转（[-180.0, 180.0]度）、3D缩放（[0.8, 1.2]）以及3D平移（[-20, 20]毫米）。模型共训练30个轮次，每10个轮次后学习率衰减为原来的0.1。

#### 4.2. 数据集与评估指标

MSRA数据集。MSRA数据集[^46]包含超过76K帧深度图像，每帧都标注了$J = 21$个关节点，其中包括1个腕关节和每个手指的4个关节点。这些图像被分为9个受试者组，每组包含17种手部动作。

ICVL数据集。ICVL数据集[^47]包含22K帧训练用深度图像和1.6K帧测试用深度图像，每帧都标注了$J = 16$个关节点，其中包括1个掌关节和每个手指的3个关节点。

NYU数据集。NYU数据集[^48]包含了由PrimeSense 3D传感器从三个不同视角拍摄的深度图像。每个视角分别有72K帧训练图像和8K帧测试图像。遵循近期相关研究[^9] [^15] [^16]的做法，我们选用一个视角的数据用于训练和测试，并从总共36个标注关节点中选出14个用于评估。

DexYCB。DexYCB数据集[^3]是最近发布的一个手部与物体交互数据集，包含582,000帧图像，标注了21个关节点，涉及10名不同的受试者以及来自8个摄像头视角的20种YCB物体。该数据集定义了四种官方数据集划分协议：S0——已见受试者、摄像头视角及被抓取物体；S1——未见受试者；S2——未见摄像头视角；S3——未见被抓取物体。

评估指标。我们采用两种常用的指标——平均关节误差和成功率——来评估手部姿态估计的性能。平均关节

---

<div style="text-align: center;">Table 1. Comparison of the proposed method with previous state-of-the-art methods on the ICVL, MSRA, and NYU datasets. Input indicates the input type of 2D depth image (D), 3D voxels (V), or 3D point cloud (P).  $\dagger$ The results are reported from the retrained VVS following the same cropping strategy [^31] as in the previous state-of-the-art methods [^9] [^15] [^16] [^29] [^36] [^37] [^46].</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td rowspan="2">Method</td><td colspan="3">Mean joint error (mm)</td><td rowspan="2">Input</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>ICVL</td><td style='text-align: center; word-wrap: break-word;'>MSRA</td><td style='text-align: center; word-wrap: break-word;'>NYU</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>DeepPrior++ [^31]</td><td style='text-align: center; word-wrap: break-word;'>8.1</td><td style='text-align: center; word-wrap: break-word;'>9.5</td><td style='text-align: center; word-wrap: break-word;'>12.24</td><td style='text-align: center; word-wrap: break-word;'>D</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Pose-Ren [^6]</td><td style='text-align: center; word-wrap: break-word;'>6.79</td><td style='text-align: center; word-wrap: break-word;'>8.65</td><td style='text-align: center; word-wrap: break-word;'>11.81</td><td style='text-align: center; word-wrap: break-word;'>D</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>DenseReg [^52]</td><td style='text-align: center; word-wrap: break-word;'>7.3</td><td style='text-align: center; word-wrap: break-word;'>7.2</td><td style='text-align: center; word-wrap: break-word;'>10.2</td><td style='text-align: center; word-wrap: break-word;'>D</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>CrossInfoNet [^11]</td><td style='text-align: center; word-wrap: break-word;'>6.73</td><td style='text-align: center; word-wrap: break-word;'>7.86</td><td style='text-align: center; word-wrap: break-word;'>10.08</td><td style='text-align: center; word-wrap: break-word;'>D</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>JGR-P2O [^12]</td><td style='text-align: center; word-wrap: break-word;'>6.02</td><td style='text-align: center; word-wrap: break-word;'>7.55</td><td style='text-align: center; word-wrap: break-word;'>8.29</td><td style='text-align: center; word-wrap: break-word;'>D</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>SSRN [^37]</td><td style='text-align: center; word-wrap: break-word;'>6.01</td><td style='text-align: center; word-wrap: break-word;'>7.05</td><td style='text-align: center; word-wrap: break-word;'>7.37</td><td style='text-align: center; word-wrap: break-word;'>D</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>PHG [^36]</td><td style='text-align: center; word-wrap: break-word;'>5.97</td><td style='text-align: center; word-wrap: break-word;'>6.94</td><td style='text-align: center; word-wrap: break-word;'>7.39</td><td style='text-align: center; word-wrap: break-word;'>D</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>VVS [^7] $\dagger$</td><td style='text-align: center; word-wrap: break-word;'>6.22</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>7.79</td><td style='text-align: center; word-wrap: break-word;'>D</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>3DCNN [^14]</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>9.6</td><td style='text-align: center; word-wrap: break-word;'>14.1</td><td style='text-align: center; word-wrap: break-word;'>V</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>SHPR-Net [^5]</td><td style='text-align: center; word-wrap: break-word;'>7.22</td><td style='text-align: center; word-wrap: break-word;'>7.76</td><td style='text-align: center; word-wrap: break-word;'>10.78</td><td style='text-align: center; word-wrap: break-word;'>P</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HandPointNet [^15]</td><td style='text-align: center; word-wrap: break-word;'>6.94</td><td style='text-align: center; word-wrap: break-word;'>8.5</td><td style='text-align: center; word-wrap: break-word;'>10.54</td><td style='text-align: center; word-wrap: break-word;'>P</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Point-to-Point [^16]</td><td style='text-align: center; word-wrap: break-word;'>6.3</td><td style='text-align: center; word-wrap: break-word;'>7.7</td><td style='text-align: center; word-wrap: break-word;'>9.10</td><td style='text-align: center; word-wrap: break-word;'>P</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>V2V [^29]</td><td style='text-align: center; word-wrap: break-word;'>6.28</td><td style='text-align: center; word-wrap: break-word;'>7.59</td><td style='text-align: center; word-wrap: break-word;'>8.42</td><td style='text-align: center; word-wrap: break-word;'>V</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HandFolding [^9]</td><td style='text-align: center; word-wrap: break-word;'>5.95</td><td style='text-align: center; word-wrap: break-word;'>7.34</td><td style='text-align: center; word-wrap: break-word;'>8.58</td><td style='text-align: center; word-wrap: break-word;'>P</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>IPNet [^38]</td><td style='text-align: center; word-wrap: break-word;'>5.76</td><td style='text-align: center; word-wrap: break-word;'>6.92</td><td style='text-align: center; word-wrap: break-word;'>7.17</td><td style='text-align: center; word-wrap: break-word;'>D+P</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HandDiff (Ours)</td><td style='text-align: center; word-wrap: break-word;'>5.72</td><td style='text-align: center; word-wrap: break-word;'>6.53</td><td style='text-align: center; word-wrap: break-word;'>7.38</td><td style='text-align: center; word-wrap: break-word;'>D+P</td></tr></table>

<div style="text-align: center;">Table 2. Comparison of the proposed method with previous state-of-the-art methods on the DexYCB datasets.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td rowspan="2">Method</td><td colspan="5">Mean joint error (mm)</td><td rowspan="2">Input</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>S0</td><td style='text-align: center; word-wrap: break-word;'>S1</td><td style='text-align: center; word-wrap: break-word;'>S2</td><td style='text-align: center; word-wrap: break-word;'>S3</td><td style='text-align: center; word-wrap: break-word;'>AVG</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>A2J [^53]</td><td style='text-align: center; word-wrap: break-word;'>23.93</td><td style='text-align: center; word-wrap: break-word;'>25.57</td><td style='text-align: center; word-wrap: break-word;'>27.65</td><td style='text-align: center; word-wrap: break-word;'>24.92</td><td style='text-align: center; word-wrap: break-word;'>25.52</td><td style='text-align: center; word-wrap: break-word;'>D</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Spurr et al. [^45]</td><td style='text-align: center; word-wrap: break-word;'>17.34</td><td style='text-align: center; word-wrap: break-word;'>22.26</td><td style='text-align: center; word-wrap: break-word;'>25.49</td><td style='text-align: center; word-wrap: break-word;'>18.44</td><td style='text-align: center; word-wrap: break-word;'>18.44</td><td style='text-align: center; word-wrap: break-word;'>RGB</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>METRO [^24]</td><td style='text-align: center; word-wrap: break-word;'>15.24</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>RGB</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Tse et al. [^49]</td><td style='text-align: center; word-wrap: break-word;'>16.05</td><td style='text-align: center; word-wrap: break-word;'>21.22</td><td style='text-align: center; word-wrap: break-word;'>27.01</td><td style='text-align: center; word-wrap: break-word;'>17.93</td><td style='text-align: center; word-wrap: break-word;'>20.55</td><td style='text-align: center; word-wrap: break-word;'>RGB</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HandOcc [^32]</td><td style='text-align: center; word-wrap: break-word;'>14.04</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>RGB</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>IPNet [^38]</td><td style='text-align: center; word-wrap: break-word;'>8.03</td><td style='text-align: center; word-wrap: break-word;'>9.01</td><td style='text-align: center; word-wrap: break-word;'>8.60</td><td style='text-align: center; word-wrap: break-word;'>7.80</td><td style='text-align: center; word-wrap: break-word;'>8.36</td><td style='text-align: center; word-wrap: break-word;'>D+P</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ours</td><td style='text-align: center; word-wrap: break-word;'>7.66</td><td style='text-align: center; word-wrap: break-word;'>8.73</td><td style='text-align: center; word-wrap: break-word;'>8.40</td><td style='text-align: center; word-wrap: break-word;'>7.53</td><td style='text-align: center; word-wrap: break-word;'>8.07</td><td style='text-align: center; word-wrap: break-word;'>D+P</td></tr></table>

误差衡量的是测试集中每个关节的估计关节位置与真实关节位置之间的平均欧几里得距离。成功率则反映了平均关节误差低于某一距离阈值时的有效帧所占百分比。

#### 4.3. 与现有最先进方法的比较

单手场景。我们在ICVL、MSRA和NYU数据集上将HandDiff与其他最先进方法进行比较，其中输入为2D深度图像的方法包括：改进的DeepPrior（DeepPrior++）[^31]、Pose-Ren [^6]、密集回归网络（DenseReg）[^52]、CrossInfoNet [^11]、JGR-P2O [^12]、空间感知堆叠回归网络（SSRN）[^37]、姿态引导的分层图网络（PHG）[^36]以及虚拟视图选择（VVS）[^7]；输入为3D点云或体素的方法包括：3DCNN [^14]、SHPR-Net [^5]、HandPointNet [^15]、Point-to-Point [^16]、V2V [^29]、HandFoldingNet [^9]以及IPNet [^38]。

![Image](images/7da46289cf49ddc798e9e7fb90652e518b6f217762671e2f72cd661a14ea0638.jpg)

<div style="text-align: center;">Figure 3. Qualitative results of HandDiff on the DexYCB datasets including different grabbing poses (top), self-occlusions (middle), and object occlusions (bottom). Hand-depth images (first rows) are transformed into 3D points (second rows) in order to clearly present occlusions as shown in the figure. Ground truth is shown in black and the estimated joint coordinates of our model are shown in colors.</div>

表1总结了这三个数据集上的平均关节误差结果。结果显示，HandDiff在两个具有挑战性的数据集ICVL和MSRA上分别取得了5.72毫米和6.53毫米的平均距离误差，创造了新的最先进水平。所提出的模型在NYU数据集上的误差也位列第三低。这些结果还表明，所提出的HandDiff显著优于其他基于2D图像的方法，因为HandDiff直接在3D空间中进行处理，避免了从2D图像估计时存在的高非线性映射问题。图4显示，当误差阈值分别设为12毫米、15毫米和52毫米时，我们的方法在ICVL、MSRA和NYU数据集上的成功率均显著优于其他方法。

---

![Image](images/e9a4f5e6209c9f69710519539b4a96bb19f604ca110fb243e3eb8065b119fe51.jpg)

![Image](images/ee7e479ba89ac403f2f6f0051a44ea4e926b6f44c5cda68ebf9550dafef31c56.jpg)

![Image](images/3748c45ef22dd1e0691e7fabba897466cd69067e04cf6d42d6cd76d93baa9205.jpg)

![Image](images/b0ea028a501b63300059aae900c16336921043b08ded7c00cad394b27b9d8d43.jpg)

![Image](images/64a2f8bb2dc514279204dc09c772bc2dbf914e6cb1bd56f9240c68a3ded97dce.jpg)

![Image](images/9417d0e25f2e930c2f7d66e7fda3f35f56df9f679366a9207bc84c621d3a3252.jpg)

<div style="text-align: center;">Figure 4. Comparison with the state-of-the-art methods using the ICVL (left), MSRA (middle), and NYU (right) dataset. The per joint error (top) and success rate (bottom) are shown in this figure.</div>

![Image](images/33f8ad00433fc10476b0a9a3e7b1d30850b905a60dfe58e4aab4ad0f3d9b9025.jpg)

<div style="text-align: center;">Figure 5. Qualitative results of HandDiff on the ICVL (left), MSRA (middle), and NYU (right) datasets. Hand-depth images are transformed into 3D points in order to clearly present occlusions as shown in the figure. Ground truth is shown in black, results from comparative HandFoldingNet [^9] are shown in orange, and the estimated joint coordinates of our model are shown in red.</div>

在ICVL、MSRA和NYU数据集上，对应的误差阈值分别为12毫米、15毫米和52毫米。

手部与物体交互场景。我们在手部与物体交互数据集DexYCB上，按照官方数据集划分协议将HandDiff与其他最先进方法进行比较，这些方法包括A2J [^53]、Spurr等人提出的方法[^45]、METRO [^24]、Tse等人提出的方法[^49]、HandOccNet [^32]以及IPNet [^38]。如表2所示，HandDiff在所有四种协议中均优于以往的最先进方法。图3中展示的定性结果也表明，HandDiff能够在存在各种遮挡的手部与物体交互场景中估计出准确的姿态。

#### 4.4. 消融研究

我们开展了大量的消融实验，以评估模型中各个组件所起的作用。为验证本文所提出组件的有效性与必要性，我们在现有的3D扩散概率模型（3DDPM）[^27]上逐步引入这些组件；该模型能够有条件地生成复杂点云。简而言之，3DDPM是一种共享权重的逐点去噪器，其工作依赖于全局形状隐变量。为了使其适配手部姿态估计任务，我们将其输出点的数量设置为手部关节数。随后，我们采用DDIM算法来加速去噪过程。以此为基础模型为起点，我们逐步引入所提出的组件并进行如下消融实验：1）使用局部条件（LC）；2）使用关节指示器（JI）；3）使用关节级条件（JC）与LC；4）使用包含JI的LC；5）使用包含JI的JC与LC；6）使用包含JI的JC、LC以及运动学条件。

---

<div style="text-align: center;">Table 3. Ablations of different proposed components. All the ablation models are trained and tested on the DexYCB dataset.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>JC</td><td style='text-align: center; word-wrap: break-word;'>LC</td><td style='text-align: center; word-wrap: break-word;'>JI</td><td style='text-align: center; word-wrap: break-word;'>KC</td><td style='text-align: center; word-wrap: break-word;'>MH</td><td style='text-align: center; word-wrap: break-word;'>Mean joint error</td></tr><tr><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'>9.17 mm</td></tr><tr><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'>49.58 mm</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'>8.37 mm</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'>8.23 mm</td></tr><tr><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'>8.28 mm</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'>8.13 mm</td></tr><tr><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'>7.94 mm</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'>7.74 mm</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>7.66 mm</td></tr></table>

<div style="text-align: center;">Table 4. Ablations of different modalities of conditions. All the ablation models are trained and tested on the DexYCB dataset.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Condition modality</td><td style='text-align: center; word-wrap: break-word;'>Mean joint error (mm)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>2D depth</td><td style='text-align: center; word-wrap: break-word;'>8.23</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>3D points</td><td style='text-align: center; word-wrap: break-word;'>9.58</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>2D depth + 3D points</td><td style='text-align: center; word-wrap: break-word;'>7.74</td></tr></table>

7）使用JC、包含JI的LC与KC，以及多假设机制（MH），这便是我们的完整配置。需要注意的是，若不使用KC而仅采用局部条件，则需对含噪关节应用PointNet层[^33]。

表3报告了上述消融实验的结果。结果表明，所提出的局部条件具备排列等变性，因此无法单独发挥作用。关节必须按照数据集定义的特定排列顺序生成，才能匹配该排列规则。因此，引入排列信息的关节指示器与关节级条件是提升性能所必需的。在关节指示器与关节级条件的辅助下，所提出的局部条件机制分别能将平均关节误差降低0.9毫米以上和0.1毫米以上。此外，所提出的运动学对应关系机制通过学习关节间的关联来进一步提升性能。最后，多假设机制进一步提高了估计精度。

条件的模态选择。由于条件的质量决定了姿态去噪的质量，我们向扩散模型输入不同形式的条件。表4显示，同时结合2D与3D条件的模型具有最优的估计性能。结果还表明，仅采用2D条件的模型性能会略有下降，这是因为丢失了3D信息。另一方面，仅采用3D条件的模型无法从仅有的1024个点中捕捉到密集特征，因此估计误差显著增大。

去噪步数设置。正如DDIM[^44]所述，推理过程遵循非马尔可夫链特性，因此为加速推理，去噪步数可以灵活调整。图6（上）展示了推理过程中随着步数增加的平均关节误差情况（未采用多假设机制）。

![Image](images/19ec7e2d5677f5aefcb75aefffbb48c30bd3daca941079bfb0d876680c746390.jpg)

<div style="text-align: center;">Figure 6. Evaluation results of the increasing number of timesteps (top) and hypotheses (bottom) in the denoising process on the NYU dataset. The model is trained with 500 diffusion timesteps.</div>

结果显示，仅需两步扩散，模型就能达到可接受的平均关节误差水平。原因显而易见：与其他通常需要数百步才能完成的图像/点云去噪任务相比，需要去噪的手部关键点数量相对较少。结果还显示，10步是最佳步数，此时平均误差为7.44毫米。步数再多对性能的影响也微乎其微。另外，在10步（1个假设）的情况下，模型每帧的计算时间与内存占用分别为98毫秒和2.2GB。

假设数量。图6（下方）展示了去噪任务中不同假设数量下的平均联合误差。正如预期，随着假设数量的增加，误差会减小。然而，当数量超过10时，改进效果便变得微乎其微。

### 5. 结论

本文提出了HandDiff，这是一种基于扩散的新型架构，能够以迭代方式在深度图像和点云的约束下重建精确的3D手部姿态。实验结果表明，我们的网络在四个具有挑战性的数据集上显著优于以往的最先进方法。大量实验也验证了本文所提出组件的有效性。不过，HandDiff的一个局限性在于它无法处理手部相互交互的场景。未来的研究方向可以探索将其扩展至二分图学习和基于骨架的分析，以克服这些局限并进一步提升模型的能力。

致谢。本研究得到了贸易工业能源部资助的技术创新计划（RS-2023-00235718）（项目编号1415187474），以及信息通信技术规划评估研究所（IITP）的资助（项目编号IITP-2021-0-02068、IITP-2021-0-02052、IITP-2023-2020-0-01821、IITP-2019-0-00421）。程文灿部分受到了国家留学基金委（CSC）的支持。

---

## 参考文献

[^1]: Dmitry Baranchuk, Ivan Rubachev, Andrey Voynov, Valentin Khrulkov, and Artem Babenko. Label-efficient semantic segmentation with diffusion models. arXiv preprint arXiv:2112.03126, 2021. 3

[^2]: Emmanuel Asiedu Brempong, Simon Kornblith, Ting Chen, Niki Parmar, Matthias Minderer, and Mohammad Norouzi. Denoising pretraining for semantic segmentation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 4175–4186, 2022. 3

[^3]: Yu-Wei Chao, Wei Yang, Yu Xiang, Pavlo Molchanov, Ankur Handa, Jonathan Tremblay, Yashraj S Narang, Karl Van Wyk, Umar Iqbal, Stan Birchfield, et al. Dexycb: A benchmark for capturing hand grasping of objects. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 9044–9053, 2021. 2, 5

[^4]: Shoufa Chen, Peize Sun, Yibing Song, and Ping Luo. Diffusiondet: Diffusion model for object detection. arXiv preprint arXiv:2211.09788, 2022. 3

[^5]: Xinghao Chen, Guijin Wang, Cairong Zhang, Tae-Kyun Kim, and Xiangyang Ji. Shpr-net: Deep semantic hand pose regression from point clouds. IEEE Access, 6:43425–43439, 2018. 1, 2, 6

[^6]: Xinghao Chen, Guijin Wang, Hengkai Guo, and Cairong Zhang. Pose guided structured region ensemble network for cascaded hand pose estimation. Neurocomputing, 395:138–149, 2020. 1, 2, 6

[^7]: Jian Cheng, Yanguang Wan, Dexin Zuo, Cuixia Ma, Jian Gu, Ping Tan, Hongan Wang, Xiaoming Deng, and Yinda Zhang. Efficient virtual view selection for 3d hand pose estimation. In Proceedings of the AAAI Conference on Artificial Intelligence, pages 419–426, 2022. 6

[^8]: Wencan Cheng and Sukhan Lee. Point auto-encoder and its application to 2d-3d transformation. In International Symposium on Visual Computing, pages 66–78. Springer, 2019. 3

[^9]: Wencan Cheng, Jae Hyun Park, and Jong Hwan Ko. Handfoldingnet: A 3d hand pose estimation network using multiscale-feature guided folding of a 2d hand skeleton. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 11260–11269, 2021. 1, 2, 3, 5, 6, 7

[^10]: Jeongjun Choi, Dongseok Shim, and H Jin Kim. Dif-fupose: Monocular 3d human pose estimation via de-noising diffusion probabilistic model. arXiv preprint arXiv:2212.02796, 2022. 3, 5

[^11]: Kuo Du, Xiangbo Lin, Yi Sun, and Xiaohong Ma. Crossinfonet: Multi-task information sharing based hand pose estimation. In Proceedings of the

IEEE/CVF计算机视觉与模式识别会议论文集，第9896–9905页，2019年。1, 2, 6

[^12]: Linpu Fang, Xingyan Liu, Li Liu, Hang Xu, and Wenxiong Kang. Jgr-p2o: Joint graph reasoning based pixel-to-offset prediction network for 3d hand pose estimation from a single depth image. In European Conference on Computer Vision, pages 120–137. Springer, 2020. 1, 4, 6

[^13]: Liuhao Ge, Hui Liang, Junsong Yuan, and Daniel Thalmann. Robust 3d hand pose estimation in single depth images: from single-view cnn to multi-view cnns. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 3593–3601, 2016. 2

[^14]: Liuhao Ge, Hui Liang, Junsong Yuan, and Daniel Thalmann. 3d convolutional neural networks for efficient and robust hand pose estimation from single depth images. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 1991–2000, 2017. 2, 6

[^15]: Liuhao Ge, Yujun Cai, Junwu Weng, and Junsong Yuan. Hand pointnet: 3d hand pose estimation using point sets. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 8417–8426, 2018. 1, 2, 5, 6

[^16]: Liuhao Ge, Zhou Ren, and Junsong Yuan. Point-to-point regression pointnet for 3d hand pose estimation. In Proceedings of the European conference on computer vision (ECCV), pages 475–491, 2018. 1, 2, 5, 6

[^17]: Jia Gong, Lin Geng Foo, Zhipeng Fan, Qiuhong Ke, Hossein Rahmani, and Jun Liu. Diffpose: Toward more reliable 3d pose estimation. arXiv preprint arXiv:2211.16940, 2022. 3, 5

[^18]: Hengkai Guo, Guijin Wang, Xinghao Chen, Cairong Zhang, Fei Qiao, and Huazhong Yang. Region ensemble network: Improving convolutional network for hand pose estimation. In 2017 IEEE International Conference on Image Processing (ICIP), pages 4512–4516. IEEE, 2017. 1, 2

[^19]: Jonathan Ho, Ajay Jain, and Pieter Abbeel. Denoising diffusion probabilistic models. Advances in Neural Information Processing Systems, 33:6840–6851, 2020. 1, 2, 5

[^20]: Jonathan Ho, Chitwan Saharia, William Chan, David J Fleet, Mohammad Norouzi, and Tim Salimans. Cascaded diffusion models for high fidelity image generation. J. Mach. Learn. Res., 23(47):1–33, 2022. 3

## [^21]: Karl Holmquist and Bastian Wandt. Diffpose: Multi-hypothesis human pose estimation using diffusion models. arXiv preprint arXiv:2211.16487, 2022. 3, 5

---

[^22]: Jaehyeong Jo, Seul Lee, and Sung Ju Hwang. Score-based generative modeling of graphs via the system of stochastic differential equations. In International Conference on Machine Learning, pages 10362–10383. PMLR, 2022. 3

[^23]: Shile Li and Dongheui Lee. Point-to-pose voting based hand pose estimation using residual permutation equivariant layer. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 11927–11936, 2019. 1, 2

[^24]: Kevin Lin, Lijuan Wang, and Zicheng Liu. End-to-end human pose and mesh reconstruction with transformers. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 1954–1963, 2021. 6, 7

[^25]: Xingyu Liu, Charles R Qi, and Leonidas J Guibas. Flownet3d: Learning scene flow in 3d point clouds. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 529–537, 2019. 3

[^26]: Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. arXiv preprint arXiv:1711.05101, 2017. 5

[^27]: Shitong Luo and Wei Hu. Diffusion probabilistic models for 3d point cloud generation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 2837–2845, 2021. 1, 2, 4, 7

[^28]: Zhaoyang Lyu, Zhifeng Kong, Xudong Xu, Liang Pan, and Dahua Lin. A conditional point diffusion-refinement paradigm for 3d point cloud completion. arXiv preprint arXiv:2112.03530, 2021. 1

[^29]: Gyeongsik Moon, Ju Yong Chang, and Kyoung Mu Lee. V2v-posenet: Voxel-to-voxel prediction network for accurate 3d hand and human pose estimation from a single depth map. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 5079–5088, 2018. 2, 6

[^30]: Chenhao Niu, Yang Song, Jiaming Song, Shengjia Zhao, Aditya Grover, and Stefano Ermon. Permutation invariant graph generation via score-based generative modeling. In International Conference on Artificial Intelligence and Statistics, pages 4474–4484. PMLR, 2020. 3

[^31]: Markus Oberweger and Vincent Lepetit. Deepprior++: Improving fast and accurate 3d hand pose estimation. In Proceedings of the IEEE international conference on computer vision Workshops, pages 585–594, 2017. 6

[^32]: JoonKyu Park, Yeonguk Oh, Gyeongsik Moon, Hong-suk Choi, and Kyoung Mu Lee. Handoccnet: Occlusion-robust 3d hand mesh estimation network.

IEEE/CVF计算机视觉与模式识别会议论文集，第1496–1505页，2022年。6, 7

[^33]: Charles R Qi, Hao Su, Kaichun Mo, and Leonidas J Guibas. Pointnet: Deep learning on point sets for 3d classification and segmentation. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 652–660, 2017. 2, 8

[^34]: Charles Ruizhongtai Qi, Li Yi, Hao Su, and Leonidas J Guibas. Pointnet++: Deep hierarchical feature learning on point sets in a metric space. In Advances in neural information processing systems, pages 5099–5108, 2017. 3

[^35]: Pengfei Ren, Haifeng Sun, Qi Qi, Jingyu Wang, and Weiting Huang. Srn: Stacked regression network for real-time 3d hand pose estimation. In BMVC, page 112, 2019. 1, 2, 5

[^36]: Pengfei Ren, Haifeng Sun, Jiachang Hao, Qi Qi, Jingyu Wang, and Jianxin Liao. Pose-guided hierarchical graph reasoning for 3-d hand pose estimation from a single depth image. IEEE Transactions on Cybernetics, 2021. 1, 2, 4, 6

[^37]: Pengfei Ren, Haifeng Sun, Weiting Huang, Jiachang Hao, Daixuan Cheng, Qi Qi, Jingyu Wang, and Jianxin Liao. Spatial-aware stacked regression network for real-time 3d hand pose estimation. Neurocomputing, 437:42–57, 2021. 6

[^38]: Pengfei Ren, Yuchen Chen, Jiachang Hao, Haifeng Sun, Qi Qi, Jingyu Wang, and Jianxin Liao. Two heads are better than one: image-point cloud network for depth-based 3d hand pose estimation. In Proceedings of the AAAI Conference on Artificial Intelligence, pages 2163–2171, 2023. 1, 6, 7

[^39]: Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, and Björn Ommer. High-resolution image synthesis with latent diffusion models. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 10684–10695, 2022. 3

[^40]: Chitwan Saharia, William Chan, Huiwen Chang, Chris Lee, Jonathan Ho, Tim Salimans, David Fleet, and Mohammad Norouzi. Palette: Image-to-image diffusion models. In ACM SIGGRAPH 2022 Conference Proceedings, pages 1–10, 2022.

[^41]: Chitwan Saharia, Jonathan Ho, William Chan, Tim Salimans, David J Fleet, and Mohammad Norouzi. Image super-resolution via iterative refinement. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2022. 3

## [^42]: Wenkang Shan, Zhenhua Liu, Xinfeng Zhang, Zhao Wang, Kai Han, Shanshe Wang, Siwei Ma, and Wen Gao. Diffusion-based 3d human pose estimation

---

采用多假设聚合方法。arXiv预印本arXiv:2303.11579，2023年。3, 5

[^43]: Jascha Sohl-Dickstein, Eric Weiss, Niru Maheswaranathan, and Surya Ganguli. Deep unsupervised learning using nonequilibrium thermodynamics. In International Conference on Machine Learning, pages 2256–2265. PMLR, 2015. 1,2

[^44]: Jiaming Song, Chenlin Meng, and Stefano Ermon. Denoising diffusion implicit models. arXiv preprint arXiv:2010.02502, 2020. 3, 5, 8

[^45]: Adrian Spurr, Umar Iqbal, Pavlo Molchanov, Otmar Hilliges, and Jan Kautz. Weakly supervised 3d hand pose estimation via biomechanical constraints. In European conference on computer vision, pages 211–228. Springer, 2020. 6, 7

[^46]: Xiao Sun, Yichen Wei, Shuang Liang, Xiaoou Tang, and Jian Sun. Cascaded hand pose regression. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 824–832, 2015. 2, 5, 6

[^47]: Danhang Tang, Hyung Jin Chang, Alykhan Tejani, and Tae-Kyun Kim. Latent regression forest: Structured estimation of 3d articulated hand posture. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 3786–3793, 2014. 2, 5

[^48]: Jonathan Tompson, Murphy Stein, Yann Lecun, and Ken Perlin. Real-time continuous pose recovery of human hands using convolutional networks. ACM Transactions on Graphics (ToG), 33(5):1–10, 2014. 2, 5

[^49]: Tze Ho Elden Tse, Kwang In Kim, Ales Leonardis, and Hyung Jin Chang. Collaborative learning for hand and object reconstruction with attention-guided graph convolution. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 1664–1674, 2022. 6, 7

[^50]: Arash Vahdat, Francis Williams, Zan Gojcic, Or Litany, Sanja Fidler, Karsten Kreis, et al. Lion: Latent point diffusion models for 3d shape generation. Advances in Neural Information Processing Systems, 35:10021–10039, 2022. 1,2

[^51]: Clement Vignac, Igor Krawczuk, Antoine Siraudin, Bohan Wang, Volkan Cevher, and Pascal Frossard. Digress: Discrete denoising diffusion for graph generation. arXiv preprint arXiv:2209.14734, 2022. 3

[^52]: Chengde Wan, Thomas Probst, Luc Van Gool, and Angela Yao. Dense 3d regression for hand pose estimation. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 5147–5156, 2018. 6

[^53]: Fu Xiong, Boshen Zhang, Yang Xiao, Zhiguo Cao, Taidong Yu, Joey Tianyi Zhou, and Junsong Yuan. A2j: Anchor-to-joint regression network for 3d articulated pose estimation from a single depth image. In

IEEE/CVF国际计算机视觉会议论文集，第793–802页，2019年。6, 7

[^54]: Linqi Zhou, Yilun Du, and Jiajun Wu. 3d shape generation and completion through point-voxel diffusion. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 5826–5835, 2021.