# 用于概率性由粗到细手部姿态估计的级联扩散框架
吴泰允、朴智娜、金泰均
韩国科学技术院（KAIST）
{taeyun.woo, jinahpark, kimtaekyun}@kaist.ac.kr
摘要：无论是单阶段还是级联式的确定性模型，在三维手部姿态重建方面都难以应对由自遮挡和复杂手部关节运动导致的姿态歧义问题。现有的级联方法虽然能以由粗到细的方式逐步优化姿态预测结果，但其确定性本质使其无法建模姿态的不确定性。相反，近期提出的概率方法能够捕捉姿态分布，但仅局限于单阶段估计，往往无法在缺乏细化处理的情况下生成准确的三维重建结果。为解决这些局限，我们提出了一种将概率建模与级联细化相结合的由粗到细级联扩散框架。第一阶段采用联合扩散模型来采样多种三维关节假设；第二阶段则利用网格隐变量扩散模型（Mesh LDM），根据关节样本重建三维手部网格。我们的核心思路是将这些多样化的假设作为训练信号而非最终输出，从而使Mesh LDM能够学习到具备分布感知能力的关节-网格关系，并对粗略预测中的变异具有更强的鲁棒性。大量的消融实验验证了该级联设计的必要性以及选择隐空间扩散方式的合理性。在FreiHAND、HO3Dv2和DexYCB数据集上的实验表明，我们的方法达到了最先进的性能水平，且在存在遮挡和姿态歧义的情况下仍能保持稳定性。
关键词：手部姿态估计 · 扩散模型 · 级联框架 · 概率估计
## 1 引言
三维手部姿态估计（HPE）是虚拟现实/增强现实[^19] [^62]、机器人技术[^22] [^39] [^44]以及人机交互[^60] [^61]等新兴应用领域中的重要研究方向。HPE旨在从图像中预测手部姿态，众多方法[6-8,12,13,38,41,42,47,52,65]已取得了令人瞩目的成果。尽管近年来取得了进展，但由于自遮挡、复杂的手部关节运动以及多样的手部形态，HPE仍是一项极具挑战性的任务。
传统的HPE方法[^23] [^41] [^75]通常采用单阶段流程，直接从输入图像中回归三维关节位置或MANO[^55]等参数化手部模型。然而，由于是在单步中估计三维手部姿态，这些方法缺乏能够逐步解决
---
Fig.1: A cascaded diffusion model for hand pose estimation. (a) The joint diffusion model first denoises noise into 3D hand keypoints, and the Mesh Latent Diffusion Model (Mesh LDM) then reconstructs the hand mesh from them. (b) Rather than conditioning on a single keypoint estimate, the Mesh LDM is trained on diverse joint samples drawn from a pose distribution, so it learns distribution-aware joint–mesh relationships.
姿态歧义的细化过程。因此，在存在遮挡和复杂关节运动的情况下，学习从二维观测到三维手部配置的强非线性映射变得尤为困难。
为解决这些问题，研究人员提出了级联架构[^7] [^12] [^47] [^52] [^65]，这类架构通过后续阶段对初始的手部姿态估计结果（如关节位置或MANO参数）进行逐步细化。通过将HPE拆分为粗略估计和精细细化两个阶段，级联模型相比单阶段模型展现出了更优的性能。不过，这些方法仍属于确定性方法，仅能给出单一预测结果，无法捕捉有效手部姿态的不确定性和多样性，从而限制了其处理姿态歧义的能力。
近年来，去噪扩散模型[^25] [^54] 已成为用于建模复杂数据分布的强大生成框架。它们在图像生成[^53]、3D物体生成[^31]以及人体动作合成[^66]领域取得了显著成果。除了生成任务外，扩散模型在人体姿态估计[^14] [^17] [^27] [^59]和手部姿态估计[^9] [^28] [^38]方面也展现出潜力，这得益于其建模姿态分布的生成能力。这些模型能够从复杂分布中采样出多样化的姿态假设，但现有方法采用单阶段设计，限制了它们对含噪预测结果进行优化或恢复细粒度细节的能力。
在本文中，我们提出了一种用于3D手部姿态估计的新型级联扩散框架（见图1），该框架将粗到细的级联框架与扩散模型的概率建模能力相结合。具体而言，我们的方法包含两个阶段：一个以2D输入为条件的关节扩散模型，用于对3D关键点进行去噪处理；
---
另一个则是网格隐变量扩散模型（Mesh LDM），它基于去噪后的关节特征及图像特征来重建3D网格隐向量。我们的核心思路是将第一阶段生成的多样化关节假设作为第二阶段训练的条件，而非将其作为最终输出。这样一来，第二阶段就能从合理关节的分布中学习，而非仅依赖单一的确定性估计，从而在粗略预测存在不确定性时提升模型的鲁棒性。
与以往在3D空间[^38]或MANO空间[^10]中运行的基于扩散的方法不同，我们的方法是在隐空间中执行扩散操作。如图2所示，在(a)3D空间中进行的扩散往往会导致表面几何结构与姿态结构的丢失。相比之下，(b)MANO空间利用预定义手部部件的手部形状先验，能更好地保留手部形状，但仍容易丧失关节活动度方面的细节。而在(c)隐空间中进行的扩散既能保留姿态结构又能保留表面细节，从而生成更具表现力且更逼真的手部表征。
(a) 3D space
(c) Latent space
Fig. 2: Forward diffusion process in different spaces. The figure shows how the noise progressively changes the 3D hand mesh across different representations.
此外，由于网格扩散模型是以从关节扩散模型中抽取的关节样本为条件进行训练的，因此它学习的是一系列合理姿态下的网格分布，而非单一组确定的关键点。这种设计使模型能够捕捉到符合分布规律的关节-网格关系，从而在具有挑战性的场景中提升鲁棒性和性能。
我们的贡献总结如下：
- 我们提出了一种用于手部姿态估计的级联扩散框架，该框架以粗到细的方式将概率化的关节阶段与网格细化阶段相结合。
- 通过将网格扩散模型以从关节扩散模型生成的多样化关节假设中的样本为条件，我们的方法能够学习到符合分布规律的关节-网格关系。这提升了姿态估计的准确性以及对姿态模糊情况的鲁棒性。
我们的方法在DexYCB [^5] 数据集上取得了最先进的性能，在FreiHAND [^75] 和HO3Dv2 [^20] 数据集上也取得了具有竞争力的结果，大量实验验证了该方法的有效性。
---
## 2 相关工作
### 2.1 3D手部姿态估计
3D手部姿态估计（HPE）已经得到了广泛研究，过去十年间提出了众多相关方法[1-4,6-8,11-13,16,32,33,35,36,38,41,42,47,52,65,67,73]。该领域的一种常见范式[^2] [^4] [^7] [^13] [^23] [^49] [^52] [^73]是从输入图像中预测参数化的手部模型，例如MANO [^55]。这些方法利用对手部模型的先验知识来实现稳健的估计，但本质上受限于预定义的手部形状，且缺乏精细的姿态变化能力。另一种方法[^12] [^16] [^32] [^38] [^41] [^47]则直接预测手部关键点和网格顶点，无需预定义的先验信息，因此具有更大的灵活性。不过，这类单阶段方法往往存在几何一致性差和预测结果噪声多的问题。
为了提高鲁棒性和准确性，级联模型[^7] [^12] [^47] [^52]将3D手部姿态估计流程分解为从粗到精的两阶段模型。第一阶段预测初始姿态（例如3D关键点或MANO参数），第二阶段则通过融入更多细节来优化预测结果。然而，现有的确定性级联模型无法建模姿态的不确定性，尤其是在物体遮挡或场景模糊的情况下。这一局限性促使人们探索将扩散模型等随机方法应用于3D手部姿态估计领域。
### 2.2 基于扩散的手部姿态估计
去噪扩散模型[^25] [^54]在图像合成[^53] [^54]、3D物体生成[^31] [^34]以及人体运动合成[^40] [^66]等生成任务中展现出了卓越的性能。它们捕捉复杂分布的能力最近也在人体姿态估计领域得到了探索[^10] [^14] [^15] [^17] [^27] [^46] [^59]。不过，将其应用于手部姿态估计的研究仍十分有限，仅有少数近期成果[^9] [^28] [^38]。
现有的基于扩散的手部姿态估计方法通常采用单阶段方式，直接估计手部关键点[^9] [^28]或网格[^38]。虽然扩散模型能够有效建模复杂的分布，但这些方法缺乏结构化的优化过程，导致其在物体遮挡和复杂关节运动场景下鲁棒性不足。这促使我们提出了级联扩散框架，将从粗到精的优化过程引入基于扩散的手部姿态估计中。
### 2.3 级联扩散模型
传统扩散模型采用单阶段运作模式，而近期的研究已在图像生成[^26] [^37] [^57]、3D物体生成[^31] [^34]以及视频合成[^29] [^72]等任务中引入了级联扩散框架。这些模型通过让每个阶段以前一阶段的结果作为条件，逐步优化输出结果。
---
在三维领域中，InterHandGen [^34] 通过两步生成双手姿态，而SALAD [^31] 则将三维物体合成分解为多种表示形式。虽然InterHandGen用于生成交互场景，SALAD侧重于生成静态物体，但我们的方法能够从图像中估计出关节化的三维手姿。与这些以生成多样化输出为目标的任务不同，我们的级联模型更注重精度：第一阶段产生的多样化假设只是用来训练更强大的细化阶段。
在回归任务中，级联扩散模型的关键优势在于第二阶段是以从合理输出分布中抽取的样本为条件，而非单一的确定性样本。这一特性利用扩散模型的随机性来提升鲁棒性，从而更好地处理歧义性和姿态不确定性。我们提出的级联扩散框架将这一思路拓展到手姿估计领域，确保生成的样本能够代表三维手姿的分布。
Fig. 3: Overview of the proposed cascaded diffusion model. (a) The joint diffusion model lifts 2D keypoints from an off-the-shelf estimator into 3D joints. (b) With the joint model fixed, the Mesh LDM denoises the hand-mesh latent, conditioned on a denoised 3D joint and image features. The latent is decoded into the final mesh by the pre-trained Mesh AE decoder.
## 3 方法
如图3所示，我们提出了一种用于三维手姿估计的由粗到精的级联扩散框架。该模型包含两个阶段：首先是联合扩散模型，它根据二维关键点估计三维手部关节；其次是网格隐变量扩散模型（Mesh LDM），它根据去噪后的关节信息和图像特征重建三维手部网格。这种概率性的由粗到精设计使模型能够表示多种合理的关节假设，而非仅给出单一的确定性预测结果，并能基于学习到的关节分布对网格进行细化。
---
### 3.1 背景：去噪扩散模型
去噪扩散模型 [^25] [^54] 通过前向过程逐步用高斯噪声污染数据，再通过反向过程学习去噪，从而生成样本。前向过程遵循马尔可夫链 $q(\mathbf{x}_t \mid \mathbf{x}_{t-1}) = \mathcal{N}(\mathbf{x}_t; \sqrt{1 - \beta_t} \mathbf{x}_{t-1}, \beta_t \mathbf{I})$，其中 $\beta_t$ 表示步骤t时的噪声方差，反向过程 $p_\theta(\mathbf{x}_{t-1} \mid \mathbf{x}_t)$ 则由模型学习得到。借鉴以往的姿态估计方法 [^38] [^58] [^66]，我们采用 $\mathbf{x}_0$ 参数化方式，训练模型直接重构干净数据 $\mathbf{x}_0$，而非重构所添加的噪声，对应的去噪损失为：$\mathcal{L}_{DDPM} = \mathbb{E}_{\mathbf{x}_0, t} \left[\|\mathbf{x}_0 - \hat{\mathbf{x}}_0\|^2\right]$。
### 3.2 第一阶段：联合扩散模型
联合扩散模型将二维手部关键点提升至三维关节。它采用了最初为二维到三维人体姿态序列提升而提出的D3DP [^59] 模型，并将其适配到手部领域。给定带噪声的关节 $J_{t}$，模型会在二维关键点 $\hat{J}_{0}$ 的条件下将其去噪为干净的三维关节 $c_{2D}$。
训练阶段。模型接收三个输入：时间步 $t \sim \mathcal{U}(0, T)$、来自现成估计器 $c_{2D}$ 的二维关键点 [^52]，以及带噪声的关节 $J_t$。联合扩散模型通过最小化扩散损失 $\|J_0 - \hat{J}_0\|^2$，被训练为直接重构干净的关节。
推理阶段。从高斯噪声 $\epsilon \sim \mathcal{N}(0, \mathbf{I})$ 出发，模型在 $\hat{J}_0$ 的条件下逐步将其去噪为三维关节 $c_{2D}$。每个生成的关节都会作为Mesh LDM的条件。
### 3.3 第二阶段：网格隐变量扩散模型
网格自编码器。为了将手部网格嵌入到潜空间，我们基于SpiralNet++训练了一个网格自编码器（Mesh AE）[^18]。编码器$\mathcal{E}$将手部网格$V \in \mathbb{R}^{778 \times 3}$映射为潜向量$x \in \mathbb{R}^{168}$，而解码器$\mathcal{D}$则据此重建网格。Mesh AE的训练结合了顶点与关节重建损失，以及用于使潜变量服从高斯分布的KL项。这里的关节信息是通过MANO关节回归器从网格中获取的[^55]。
网格潜扩散模型。Mesh LDM $p_\phi$会将含噪潜变量$x_t$去噪为干净的潜变量$x_0$，这一过程以关节扩散模型生成的关节样本$\hat{J}_0$以及图像特征$\mathcal{I}$为条件。去噪后的潜变量随后被解码为手部网格$\hat{V}_0 = \mathcal{D}(\hat{x}_0)$。
Mesh LDM基于DiT框架构建[^50]，它作用于由21个标记组成的序列，每个手部关节对应一个标记。在形成输入时，含噪潜变量会被复制到21个位置上，并与去噪后的关节数据$\hat{J}_0$沿通道轴拼接，这样每个标记都携带完整的网格潜变量及其对应关节的坐标信息。最终得到的序列会被投影到Transformer的隐藏维度。
图像特征被提取为四级特征金字塔，每一级特征都会被投影到隐藏维度，并展平为一组空间标记。
---
在每个模块中，标记首先通过自注意力机制进行细化；随后它们通过并行的交叉注意力机制与四级特征交互，其输出会被拼接起来并通过MLP融合。扩散时间步会通过自适应层归一化来调节每个模块的行为[^51]。经过最后一个模块后，标记会被投影并展平为去噪后的潜变量$\hat{x}_{0}$。整体结构如图4所示。
### 3.4 级联扩散框架
我们的级联框架将两个阶段结合起来，使得网格重建由关节分布而非单一的确定性姿态来引导。我们并未直接从图像中回归网格，而是将任务分解为3D关节估计和网格重建两步：关节扩散模型提供多样的关节假设，而Mesh LDM则基于这些假设重建网格。
训练过程：我们首先训练关节扩散模型$p_{\theta}$，用于将2D关键点映射到3D关节。随后固定其权重，再训练Mesh LDM以重建以单个关节样本为条件的网格潜变量……
Fig. 4: Mesh LDM architecture. The latent input and denoised joint are processed through DiT blocks [^50] with cross-attention to image features.
这里所说的单个关节样本取自$p_{\theta}$，同时还会结合图像特征$\mathcal{I}$。由于$p_{\theta}$在每一步都会生成不同的假设，因此Mesh LDM在训练过程中会接触到各种合理的关节样本。这使其能学到对粗略预测中的变化具有鲁棒性的关节-网格映射关系，而不会过度拟合于单一的确定性输入。
推理阶段：关节扩散模型会生成多个关节假设，这些假设会被平均得到一个稳定的估计值。以这个聚合后的关节数据和图像特征为条件，Mesh LDM会生成多个潜变量样本，这些样本经平均后再解码为最终的网格。在两个阶段都进行聚合操作，就能将训练时的多样性转化为测试时的稳定点估计。
### 3.5 损失函数
我们采用了三种损失项：扩散损失、网格顶点损失以及关节损失。由于联合扩散模型和Mesh AE已经训练完成，因此在训练Mesh LDM时它们的参数保持固定。
---
扩散损失用于指导Mesh LDM在$\mathbf{x}_0$参数化下重建干净的隐变量，即$\mathcal{L}_{DDPM} = \|x_0 - \hat{x}_0\|^2$。顶点损失和关节损失则用于确保几何形状和姿态的一致性：
$$ \mathcal{L}_{V}=\left\|V-\hat{V}\right\|_{1},\qquad\mathcal{L}_{J}=\left\|J-\mathcal{J}\hat{V}\right\|_{1}, $$
其中$\mathcal{J}$是关节回归器，用于从网格顶点中提取3D关节信息。总的训练损失为
$$ \mathcal{L}=\lambda_{D D P M}\mathcal{L}_{D D P M}+\lambda_{V}\mathcal{L}_{V}+\lambda_{J}\mathcal{L}_{J}, $$
其中我们设定$\lambda_{DDPM}=1$、$\lambda_{V}=10$和$\lambda_{J}=5$。
## 4 实验
Fig. 5: Qualitative results on FreiHAND [^75], HO3Dv2 [^20] and DexYCB [^5].
### 4.1 实验设置
实现细节。我们的框架基于PyTorch实现。联合扩散模型以D3DP为基础[^59]，它利用MixSTE骨干网络[^71]将人体姿态序列提升至3D；对于单帧估计，我们将输入序列长度设为1。网格自编码器则在各个数据集上分别训练。
---
| Method | P-MPJPE $\downarrow$ | P-MPVPE $\downarrow$ | F@5 $\uparrow$ | F@15 $\uparrow$ |
| I2L-MeshNet [^47] | 7.4 | 7.6 | 0.681 | 0.973 |
| Pose2Mesh [^12] | 7.7 | 7.8 | 0.674 | 0.969 |
| I2UV-HandNet [^6] | 6.7 | 6.9 | 0.707 | 0.977 |
| METRO [^41] | 6.5 | 6.3 | 0.731 | 0.984 |
| Tang et al. [^65] | 6.7 | 6.7 | 0.724 | 0.981 |
| Lin et al. [^42] | 5.9 | 6.0 | 0.764 | 0.986 |
| MobRecon [^7] | 5.7 | 5.8 | 0.784 | 0.986 |
| AMVUR [^30] | 6.2 | 6.1 | 0.767 | 0.987 |
| HaMeR [^49] | 6.0 | 5.7 | 0.785 | 0.990 |
| Hamba $^{\dagger}$ [^13] | 5.8 | 5.5 | 0.798 | 0.991 |
| WiLoR $^{\dagger}$ [^52] | 5.5 | 5.1 | 0.825 | 0.993 |
| HandOS $^{\dagger}$ [^8] | 5.0 | 5.3 | 0.812 | 0.991 |
| HHMR [^38] | 5.8 | 5.8 | - | - |
| HHMR (best) [^38] | 5.3 | 5.4 | - | - |
| Proposed | 5.0 | 5.2 | 0.816 | 0.992 |
| Proposed (best) | 4.2 | 4.5 | 0.866 | 0.995 |
Table 1: Comparison with SOTAs on FreiHAND dataset. We evaluate on the standard protocol and report metrics for predicted 3D joint and 3D mesh on FreiHAND. ${}^{\dagger}$ stands for using additional datasets. Methods above the line are deterministic methods, the others are probabilistic methods. "best" denotes an oracle best-of-32 selection.
联合扩散模型和Mesh LDM在训练时均使用1000步去噪过程，推理阶段则采用DDIM采样[^63]，步长为10。更多细节详见补充材料。
数据集。我们在三个应用广泛的手部姿态基准数据集上进行评估，这些数据集的难度依次递增：FreiHAND [^75]、HO3Dv2 [^20]和DexYCB [^5]。FreiHAND是一个单手数据集，包含13.3万张训练图像和3.9千张评估图像，其中的遮挡情况相对较少。HO3Dv2和DexYCB属于手部与物体交互数据集，涉及由物体引起的遮挡现象。HO3Dv2提供6.6万张训练图像和1.1万张测试图像，而DexYCB的规模更大，包含46.5万张训练图像和11.6万张测试图像。我们对这三个数据集均采用官方划分方式。
训练细节。我们使用AdamW优化器[^45]，在单块NVIDIA RTX 4090 GPU上针对每个数据集单独训练级联扩散模型，小批量大小为32。联合扩散模型训练25万次迭代，Mesh LDM训练10万次迭代。初始学习率为$1e^{-4}$，在基于步数的调度机制下，每5千次迭代学习率会衰减为原来的0.9倍。
评估指标。按照标准评估协议，我们采用Procrustes对齐的平均关节位置误差（P-MPJPE）和Procrustes对齐的平均顶点位置误差（P-MPVPE）来评估性能。此外，我们还报告误差低于5毫米（F@5）和15毫米（F@15）的姿态所占比例。对于DexYCB数据集，我们还依据HandOS标准[^8]报告3D手部关节的曲线下面积（AUC）。
---
| Method | P-MPJPE $\downarrow$ | P-MPVPE $\downarrow$ | F@5 $\uparrow$ | F@15 $\uparrow$ |
| Hasson et al. [^23] | 11.0 | 11.2 | 0.464 | 0.939 |
| Hampali et al. [^20] | 10.7 | 10.6 | 0.506 | 0.942 |
| I2L-MeshNet [^47] | 11.2 | 13.0 | 0.409 | 0.932 |
| Pose2Mesh [^12] | 12.5 | 12.7 | 0.441 | 0.909 |
| Liu et al. [^43] | 9.9 | 9.5 | 0.528 | 0.956 |
| I2UV-HandNet [^6] | 9.9 | 10.1 | 0.500 | 0.943 |
| METRO [^41] | 10.4 | 11.1 | 0.484 | 0.946 |
| ArtiBoost [^70] | 11.4 | 10.9 | 0.488 | 0.944 |
| MobRecon [^7] | 9.2 | 9.4 | 0.538 | 0.957 |
| Keypoint Trans. [^21] | 10.8 | - | - | - |
| HandOccNet [^48] | 9.1 | 8.8 | 0.564 | 0.963 |
| AMVUR [^30] | 8.3 | 8.2 | 0.608 | 0.965 |
| HaMeR [^49] | 7.7 | 7.9 | 0.635 | 0.980 |
| Hamba $^{\dagger}$ [^13] | 7.5 | 7.7 | 0.648 | 0.982 |
| WiLoR $^{\dagger}$ [^52] | 7.5 | 7.7 | 0.646 | 0.983 |
| Proposed | 7.5 | 7.5 | 0.633 | 0.982 |
| Proposed (best) | 7.4 | 7.4 | 0.639 | 0.982 |
Table 2: Comparison with the state-of-the-art on the HO3Dv2 dataset. We evaluate on the standard protocol and report metrics for predicted 3D joint and 3D mesh on HO3Dv2. ${}^{\dagger}$ stands for using additional datasets. "best" denotes an oracle best-of-32 selection.
### 4.2 手部姿态估计
我们通过定量和定性实验，在FreiHAND [^75]、HO3Dv2 [^20]和DexYCB [^5]数据集上评估我们的级联扩散框架。如第3节所述，我们的推理流程在每个阶段都会生成多个假设：联合扩散模型会采样50个关节假设并取其平均值得到稳定的估计结果；Mesh LDM则利用聚合后的关节信息及输入图像来生成50个隐向量，最终将这些隐向量的平均值解码为最终的手部网格。
定量结果。表1、表2和表3报告了三个数据集上的定量结果。我们的方法在所有三个基准测试中均取得了具有竞争力的性能，尤其在DexYCB数据集上表现最佳。值得注意的是，诸如Hamba [^13]、WiLoR [^52]和HandOS [^8]等近期方法都是在多个数据集上训练的，而我们的模型仅在目标数据集上训练，这表明其在数据有限的情况下仍具备强大的泛化能力。在手部与物体交互的数据集HO3Dv2和DexYCB中，物体遮挡现象十分常见，但我们的方法仍能与最优方法相媲美。
定性结果。图5展示了三个数据集上的定性对比结果。虽然所有方法在图像上渲染出的网格都具有视觉上的合理性，但从侧面观察时，基线方法生成的手指关节运动往往不够自然。例如，在第二行中，真实标签为握拳姿势，HaMeR和WiLoR均显示出略微不自然的手指弯曲——
---
| Method | P-MPJPE $\downarrow$ | P-MPVPE $\downarrow$ | AUC $_J$ $\uparrow$ |
| Spurr et al. [^64] | 6.8 | - | 0.864 |
| MobRecon [^7] | 6.4 | 5.6 | - |
| HandOccNet [^48] | 5.8 | 5.5 | - |
| H2ONet [^68] | 5.7 | 5.5 | - |
| Zhou et al. [^74] | 5.5 | 5.5 | - |
| WiLoR [^52] | 4.9 | 4.8 | 0.902 |
| HandOS [^8] | 5.2 | 5.0 | 0.896 |
| Proposed | 4.5 | 4.5 | 0.911 |
| Proposed (best) | 4.2 | 4.2 | 0.917 |
Table 3: Comparison with the state-of-the-art on the DexYCB dataset. "best" denotes an oracle best-of-32 selection.
这种弯曲违背了自然手部先验，而我们的方法通过利用学习到的姿态先验，生成了更逼真的关节运动。在其他具有挑战性的示例中也能观察到类似的改进，这凸显了我们级联框架在生成更自然手部姿态方面的优势。
最佳N个候选评估。我们进一步通过最佳N个候选评估来检验多样化的关节假设中是否包含高质量的候选结果。我们采样N个关节假设，分别基于每个假设重建网格而不进行平均处理，随后报告与真实标签最接近的网格的准确率。在主比较表格（表1、表2和表3）中，“所提方法（最佳）”行报告的是从32个假设中选出的最佳结果与真实标签的匹配情况，因此代表了理论上的上限。在此设定下，我们的方法在FreiHAND数据集（表1）上的表现优于HHMR [^38]——这是一种直接在三维空间中扩散的概率性方法，两种方法均从32个样本中选取最佳结果。这表明我们的级联隐变量设计比单阶段三维扩散更能有效优化多样化的假设。不过，这些最佳结果也验证了我们的设计前提：关节阶段生成的假设并非随意的噪声，而是围绕合理姿态有意义地分布，其中包含了接近真实标签的候选结果。
Fig. 6: Robustness to occlusion on HO3Dv2. P-MPVPE as a function of the occlusion ratio, defined as the fraction of the hand region overlapped by the manipulated object. Accuracy remains stable up to roughly 80% occlusion and degrades only under extreme occlusion.
---
| # samples | FreiHAND | $HO3Dv2$ | DexYCB |
| Average | Best | Average | Best | Average | Best |
| 1 | 5.04 | 5.04 | 7.90 | 7.90 | 7.61 | 7.61 |
| 10 | 5.01 | 4.78 | 7.89 | 7.80 | 7.60 | 7.40 |
| 50 | 5.01 | 4.67 | 7.89 | 7.75 | 7.59 | 7.30 |
| 100 | 5.01 | 4.63 | 7.89 | 7.74 | 7.59 | 7.26 |
| 200 | 5.01 | 4.59 | 7.89 | 7.72 | 7.59 | 7.23 |
Table 4: Effect of the number of samples from the joint diffusion model. P-MPJPE (mm, $\downarrow$) of the Stage-1 joint output on FreiHAND, HO3Dv2 and DexYCB. "Best" is the oracle sample closest to ground truth.
### 4.3 对遮挡的鲁棒性
手部与物体的交互会引发物体导致的遮挡现象，这会显著增加从二维到三维的关节估计以及网格重建的难度。为了考察遮挡程度加剧时我们框架的表现，我们在HO3Dv2 [^20]数据集上进行了评估，同时改变遮挡比例——即被操纵物体覆盖的手部区域所占的比例。我们按遮挡比例对测试样本分组，并报告每组对应的P-MPVPE值。
如图6所示，我们的方法在遮挡比例约为80%时仍能保持稳定的准确率，只有在遮挡极其严重、几乎无视觉线索可参考的情况下才会出现明显的性能下降。我们将这种稳定性归因于我们的训练策略。Mesh LDM是在从关节扩散模型中抽取的多样化关节样本上训练的，因此它学会在多种合理的关节条件下重建网格，而非仅基于单一固定输入。当遮挡导致粗略的关节估计可靠性降低时，网格阶段仍能生成合理的重建结果。这种鲁棒性直接源于我们将关节多样性作为训练信号的核心设计，而非偶然属性。
### 4.4 消融实验
为了分析每个设计选择的贡献，我们对四个方面进行了消融实验：(1) 联合扩散模型，(2) 采样的联合假设数量，(3) 联合条件的来源，以及 (4) 用于网格扩散模型的表示方式。
联合扩散模型的性能。我们通过测量其生成的关节点的P-MPJPE来评估联合扩散模型，分别采用平均值和最佳假设的结果（见表4）。该模型在FreiHAND数据集上的直接姿态估计中表现具有竞争力，但在手-物体数据集HO3Dv2和DexYCB上误差较大；这些数据集中物体引起的遮挡和复杂的交互作用使得将2D关键点映射到3D更加困难。在所有数据集中，随着样本数量的增加，平均误差几乎保持不变，而最佳假设的误差则稳步下降。这表明样本是分散在目标周围，而非集中于单一预测结果上。由于这些关节点的质量
---
会直接影响最终的网格，因此这凸显了在我们级联框架中可靠的关节预测的重要性。
采样数量。我们分析了采样的联合假设数量N对性能的影响。如表4所示，增加N能够持续改善最佳情况下的P-MPJPE，而平均性能几乎保持不变。因此，更大的N并不会提升单一预测的质量，而是扩大了假设集合，从而增加了出现高质量假设的可能性。我们还观察到，在固定的关节条件下，Mesh LDM本身产生的差异很小，因为它主要是将给定的粗糙关节点细化为网格。这两点观察共同阐明了多样性在我们框架中的作用：多样性源自关节阶段，并在训练过程中被用作信号；而网格阶段则充当稳定的细化器，而非输出差异的来源。这与我们的推理机制一致，即采样的关节点和潜变量会被聚合为一个稳定的估计值。
| Joint condition | P-MPJPE $\downarrow$ | P-MPVPE $\downarrow$ | F@5 $\uparrow$ | F@15 $\uparrow$ |
| off-the-shelf [^52] | 5.1 | 5.4 | 0.800 | 0.991 |
| Averaged joint | 5.1 | 5.4 | 0.805 | 0.992 |
| Proposed | 5.0 | 5.2 | 0.816 | 0.992 |
| Proposed (best) | 4.2 | 4.5 | 0.866 | 0.995 |
Table 5: Ablation study of different joint condition sources on FreiHAND. Conditioning the Mesh LDM on diverse joint hypotheses during training outperforms single-conditioned variants, improving accuracy and generalization across joint conditions. "best" denotes an oracle best-of-32 selection.
联合条件的来源。这项消融实验验证了我们框架的核心观点：即在训练期间让网格阶段接触多样化的关节条件，而非单一的确定性条件，才是性能提升的关键。我们比较了Mesh LDM的三种关节条件来源：(1) 来自现成估计器的单个关节点 [^52]，(2) 我们联合扩散模型得出的平均关节点，以及 (3) 来自完整级联流程的多样化关节假设。训练时，(1)和(2)使Mesh LDM基于每张图像的单个关节点进行条件化，而(3)则使其基于从扩散分布中采样的关节点进行条件化，因此在迭代过程中会发生变化。推理时，这三种情况均以单个关节点作为条件（(1)为估计器输出，(2)和(3)为平均关节点），因此不同设置下的推理输入具有可比性。
如表5所示，两种单条件变体(1)和(2)的表现几乎相同（P-MPJPE为5.1），尽管前者使用外部估计器，后者则使用我们自身的平均关节点。它们与完整模型的区别并不在于关节点的来源，而在于网格阶段在训练时是否接触过关节点的分布：只有采用多样化条件训练的模型(3)才能取得更好的效果（P-MPJPE为5.0且F分数持续更高）。这证明了训练条件中的多样性是决定性的因素。我们将此归因于网格阶段的学习过程
---
采用一种在合理关节范围内变化的关节-网格映射，而非记忆单一的关节与网格对应关系。这样一来，网格生成阶段就能更好地泛化到测试时遇到的各种关节估计结果。换句话说，精确的网格重建不仅取决于网格模型本身，还取决于训练时所用的关节分布质量。这正是我们采用级联设计的目的。这种两阶段结构使得多样化的条件设定成为可能，而这种多样性正是性能提升的关键。
| Diffusion space | FreiHAND | HO3Dv2 |
| P-MPJPE $\downarrow$ | P-MPVPE $\downarrow$ | P-MPJPE $\downarrow$ | P-MPVPE $\downarrow$ |
| MANO | 5.70 | 5.82 | 7.81 | 7.81 |
| Ours (latent) | 5.00 | 5.23 | 7.50 | 7.52 |
Table 6: Quantitative comparison of diffusion in MANO space and our learned latent space. We evaluate both representations using the same cascaded diffusion framework on the FreiHAND and HO3Dv2 datasets.
网格扩散模型的表征方式。最后，我们将所学习的潜空间表征与MANO [^55] 参数进行比较，将其作为扩散的目标空间。如表6所示，在我们的潜空间中进行扩散能在两个基准测试中取得更低的误差。尽管MANO提供了强大的形状先验，但每次重建都局限于其参数流形内，这限制了精细动作的表达能力。而我们的潜空间没有这种限制，既能保留表面几何信息，又能保留动作信息。因此，我们在这种学习到的潜空间中而非原始的3D顶点空间中进行扩散，因为后者往往会丢失表面和姿态结构（见图2(a)）。总体而言，学习到的潜空间是我们流程中基于扩散的网格重建的有效目标空间。
## 5 结论
我们提出了一种用于3D手部姿态估计的从粗到精的级联扩散框架，结合了关节扩散模型和网格潜空间扩散模型（Mesh LDM）。关节扩散模型能生成多样化的3D关节假设，而Mesh LDM则根据这些假设中的关节样本来重建3D手部网格。我们并未将这些多样化假设视为最终输出，而是将其作为网格阶段的训练信号，以学习对粗略预测中的变化具有鲁棒性的、具备分布感知能力的关节-网格关系。
在FreiHAND、HO3Dv2和DexYCB基准测试上的大量实验表明，我们的方法取得了优异的性能，在DexYCB上更是达到了最佳结果，并且在遮挡和姿态模糊的情况下仍能保持稳定性。
在未来的工作中，我们计划将框架扩展到双手交互场景以及显式的手-物体建模，共同重建手部与被操纵物体，以便更好地应对复杂的现实世界场景。
---
## 致谢
本研究得到了NST基金（CRC 21015、CRC23023-000、MSIT）、IITP基金（RS-2023-00228996、RS-2024-00459749、RS-2025-25443318、RS-2025-25441313、RS-2026-25526850、RS-2026-25522885、MSIT）、KOCCA基金（RS-2024-00442308、MCST）以及InnoCORE计划（N10260110、MSIT）的支持。
## 参考文献
[^1]: Armagan, A., Garcia-Hernando, G., Baek, S., Hampali, S., Rad, M., Zhang, Z., Xie, S., Chen, M., Zhang, B., Xiong, F., et al.: Measuring generalisation to unseen viewpoints, articulations, shapes and objects for 3d hand pose estimation under hand-object interaction. In: ECCV (2020)
[^2]: Baek, S., Kim, K.I., Kim, T.K.: Pushing the envelope for rgb-based dense 3d hand pose estimation via neural rendering. In: CVPR (2019)
[^3]: Baek, S., Kim, K.I., Kim, T.K.: Weakly-supervised domain adaptation via gan and mesh model for estimating 3d hand poses interacting objects. In: CVPR (2020)
[^4]: Boukhayma, A., Bem, R.d., Torr, P.H.: 3d hand shape and pose from images in the wild. In: CVPR (2019)
[^5]: Chao, Y.W., Yang, W., Xiang, Y., Molchanov, P., Handa, A., Tremblay, J., Narang, Y.S., Van Wyk, K., Iqbal, U., Birchfield, S., et al.: Dexycb: A benchmark for capturing hand grasping of objects. In: CVPR (2021)
[^6]: Chen, P., Chen, Y., Yang, D., Wu, F., Li, Q., Xia, Q., Tan, Y.: I2uv-handnet: Image-to-uv prediction network for accurate and high-fidelity 3d hand mesh modeling. In: ICCV (2021)
[^7]: Chen, X., Liu, Y., Dong, Y., Zhang, X., Ma, C., Xiong, Y., Zhang, Y., Guo, X.: Mobrecon: Mobile-friendly hand mesh reconstruction from monocular image. In: CVPR (2022)
[^8]: Chen, X., Song, Z., Jiang, X., Hu, Y., Yu, J., Zhang, L.: Handos: 3d hand reconstruction in one stage. In: CVPR (2025)
[^9]: Cheng, W., Tang, H., Van Gool, L., Ko, J.H.: Handdiff: 3d hand pose estimation with diffusion on image-point cloud. In: CVPR (2024)
[^10]: Cho, H., Kim, J.: Generative approach for probabilistic human mesh recovery using diffusion models. In: ICCVW (2023)
[^11]: Cho, W., Lee, J., Yi, M., Kim, M., Woo, T., Kim, D., Ha, T., Lee, H., Ryu, J.H., Woo, W., et al.: Dense hand-object (ho) graspnet with full grasping taxonomy and dynamics. In: ECCV (2024)
[^12]: Choi, H., Moon, G., Lee, K.M.: Pose2mesh: Graph convolutional network for 3d human pose and mesh recovery from a 2d human pose. In: ECCV (2020)
[^13]: Dong, H., Chharia, A., Gou, W., Carrasco, F.V., De la Torre, F.: Hamba: Single-view 3d hand reconstruction with graph-guided bi-scanning mamba. NeurIPS (2024)
[^14]: Feng, R., Gao, Y., Tse, T.H.E., Ma, X., Chang, H.J.: Diffpose: Spatiotemporal diffusion model for video-based human pose estimation. In: ICCV (2023)
[^15]: Foo, L.G., Gong, J., Rahmani, H., Liu, J.: Distribution-aligned diffusion for human mesh recovery. In: ICCV (2023)
## [^16]: Ge, L., Ren, Z., Li, Y., Xue, Z., Wang, Y., Cai, J., Yuan, J.: 3d hand shape and pose estimation from a single rgb image. In: CVPR (2019)
---
[^17]: Gong, J., Foo, L.G., Fan, Z., Ke, Q., Rahmani, H., Liu, J.: Diffpose: Toward more reliable 3d pose estimation. In: CVPR (2023)
[^18]: Gong, S., Chen, L., Bronstein, M., Zafeiriou, S.: Spiralnet++: A fast and highly efficient mesh convolution operator. In: ICCV (2019)
[^19]: Guleryuz, O.G., Kaeser-Chen, C.: Fast lifting for 3d hand pose estimation in ar/vr applications. In: ICIP (2018)
[^20]: Hampali, S., Rad, M., Oberweger, M., Lepetit, V.: Honnotate: A method for 3d annotation of hand and object poses. In: CVPR (2020)
[^21]: Hampali, S., Sarkar, S.D., Rad, M., Lepetit, V.: Keypoint transformer: Solving joint identification in challenging hands and object interactions for accurate 3d pose estimation. In: CVPR (2022)
[^22]: Handa, A., Van Wyk, K., Yang, W., Liang, J., Chao, Y.W., Wan, Q., Birchfield, S., Ratliff, N., Fox, D.: Dexpilot: Vision-based teleoperation of dexterous robotic hand-arm system (2020)
[^23]: Hasson, Y., Varol, G., Tzionas, D., Kalevatykh, I., Black, M.J., Laptev, I., Schmid, C.: Learning joint reconstruction of hands and manipulated objects. In: CVPR (2019)
[^24]: He, K., Zhang, X., Ren, S., Sun, J.: Deep residual learning for image recognition. In: CVPR (2016)
[^25]: Ho, J., Jain, A., Abbeel, P.: Denoising diffusion probabilistic models. NeurIPS (2020)
[^26]: Ho, J., Saharia, C., Chan, W., Fleet, D.J., Norouzi, M., Salimans, T.: Cascaded diffusion models for high fidelity image generation. JMLR (2022)
[^27]: Holmquist, K., Wandt, B.: Diffpose: Multi-hypothesis human pose estimation using diffusion models. In: ICCV (2023)
[^28]: Ivashechkin, M., Mendez, O., Bowden, R.: Denoising diffusion for 3d hand pose estimation from images. In: ICCV (2023)
[^29]: Jain, S., Watson, D., Tabellion, E., Poole, B., Kontkanen, J., et al.: Video interpolation with diffusion models. In: CVPR (2024)
[^30]: Jiang, Z., Rahmani, H., Black, S., Williams, B.M.: A probabilistic attention model with occlusion-aware texture regression for 3d hand reconstruction from a single rgb image. In: CVPR (2023)
[^31]: Koo, J., Yoo, S., Nguyen, M.H., Sung, M.: Salad: Part-level latent diffusion for 3d shape generation and manipulation. In: ICCV (2023)
[^32]: Kulon, D., Guler, R.A., Kokkinos, I., Bronstein, M.M., Zafeiriou, S.: Weakly-supervised mesh-convolutional hand reconstruction in the wild. In: CVPR (2020)
[^33]: Lee, J., Jang, J., Kim, D., Sung, M., Kim, T.K.: Fourierhandflow: Neural 4d hand representation using fourier query flow. NeurIPS (2023)
[^34]: Lee, J., Saito, S., Nam, G., Sung, M., Kim, T.K.: Interhandgen: Two-hand interaction generation via cascaded reverse diffusion. In: CVPR (2024)
[^35]: Lee, J., Sung, M., Choi, H., Kim, T.K.: Im2hands: Learning attentive implicit representation of interacting two-hand shapes. In: CVPR (2023)
[^36]: Lee, J., Xu, W., Richard, A., Wei, S.E., Saito, S., Bai, S., Wang, T.L., Sung, M., Kim, T.K., Saragih, J.: Rewind: Real-time egocentric whole-body motion diffusion with exemplar-based identity conditioning. In: CVPR (2025)
[^37]: Li, H., Basri, R., Kluger, Y.: Likelihood training of cascaded diffusion models via hierarchical volume-preserving maps. ICLR (2024)
### [^38]: Li, M., Zhang, H., Zhang, Y., Shao, R., Yu, T., Liu, Y.: Hmrr: Holistic hand mesh recovery by enhancing the multimodal controllability of graph diffusion models. In: CVPR (2024)
---
[^39]: Li, S., Ma, X., Liang, H., Görner, M., Ruppel, P., Fang, B., Sun, F., Zhang, J.: Vision-based teleoperation of shadow dexterous hand using end-to-end deep neural network (2019)
[^40]: Liang, H., Zhang, W., Li, W., Yu, J., Xu, L.: Intergen: Diffusion-based multi-human motion generation under complex interactions. IJCV (2024)
[^41]: Lin, K., Wang, L., Liu, Z.: End-to-end human pose and mesh reconstruction with transformers. In: CVPR (2021)
[^42]: Lin, K., Wang, L., Liu, Z.: Mesh graphormer. In: ICCV (2021)
[^43]: Liu, S., Jiang, H., Xu, J., Liu, S., Wang, X.: Semi-supervised 3d hand-object poses estimation with interactions in time. In: CVPR (2021)
[^44]: Lopez, P.R., Oh, J.H., Jeong, J.G., Jung, H., Lee, J.H., Jaramillo, I.E., Chola, C., Lee, W.H., Kim, T.S.: Dexterous object manipulation with an anthropomorphic robot hand via natural hand pose transformer and deep reinforcement learning. Applied Sciences (2023)
[^45]: Loshchilov, I., Hutter, F.: Decoupled weight decay regularization. arXiv preprint arXiv:1711.05101 (2017)
[^46]: Lu, J., Lin, J., Dou, H., Zeng, A., Deng, Y., Zhang, Y., Wang, H.: Dposer: Diffusion model as robust 3d human pose prior. arxiv:2312.05541 (2023)
[^47]: Moon, G., Lee, K.M.: I2l-meshnet: Image-to-lixel prediction network for accurate 3d human pose and mesh estimation from a single rgb image. In: ECCV (2020)
[^48]: Park, J., Oh, Y., Moon, G., Choi, H., Lee, K.M.: Handoccnet: Occlusion-robust 3d hand mesh estimation network. In: CVPR (2022)
[^49]: Pavlakos, G., Shan, D., Radosavovic, I., Kanazawa, A., Fouhey, D., Malik, J.: Reconstructing hands in 3d with transformers. In: CVPR (2024)
[^50]: Peebles, W., Xie, S.: Scalable diffusion models with transformers. In: ICCV (2023)
[^51]: Perez, E., Strub, F., De Vries, H., Dumoulin, V., Courville, A.: Film: Visual reasoning with a general conditioning layer. In: AAAI (2018)
[^52]: Potamias, R.A., Zhang, J., Deng, J., Zafeiriou, S.: Wilor: End-to-end 3d hand localization and reconstruction in-the-wild. In: CVPR (2025)
[^53]: Ramesh, A., Pavlov, M., Goh, G., Gray, S., Voss, C., Radford, A., Chen, M., Sutskever, I.: Zero-shot text-to-image generation (2021)
[^54]: Rombach, R., Blattmann, A., Lorenz, D., Esser, P., Ommer, B.: High-resolution image synthesis with latent diffusion models. In: CVPR (2022)
[^55]: Romero, J., Tzionas, D., Black, M.J.: Embodied hands: modeling and capturing hands and bodies together. ACM Transactions on Graphics (TOG) (2017)
[^56]: Salimans, T., Ho, J.: Progressive distillation for fast sampling of diffusion models. ICLR (2022)
[^57]: Shabani, M.A., Wang, Z., Liu, D., Zhao, N., Yang, J., Furukawa, Y.: Visual layout composer: Image-vector dual diffusion model for design layout generation. In: CVPR (2024)
[^58]: Shafir, Y., Tevet, G., Kapon, R., Bermano, A.H.: Human motion diffusion as a generative prior. ICLR (2023)
[^59]: Shan, W., Liu, Z., Zhang, X., Wang, Z., Han, K., Wang, S., Ma, S., Gao, W.: Diffusion-based 3d human pose estimation with multi-hypothesis aggregation. In: ICCV (2023)
#### [^60]: Sharma, A., Hedderich, M.A., Bhardwaj, D., Fruchard, B., McIntosh, J., Nittala, A.S., Klakow, D., Ashbrook, D., Steimle, J.: Solofinger: Robust microgestures while grasping everyday objects. In: Proceedings of the 2021 CHI Conference on Human Factors in Computing Systems (2021)
---
[^61]: Sharma, A., Roo, J.S., Steimle, J.: Grasping microgestures: Eliciting single-hand microgestures for handheld objects. In: Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems (2019)
[^62]: Shi, Y., Zhao, L., Lu, X., Hoang, T., Wang, M.: Grasping 3d objects with virtual hand in vr environment. In: SIGGRAPH (2022)
[^63]: Song, J., Meng, C., Ermon, S.: Denoising diffusion implicit models. ICLR (2020)
[^64]: Spurr, A., Iqbal, U., Molchanov, P., Hilliges, O., Kautz, J.: Weakly supervised 3d hand pose estimation via biomechanical constraints. In: ECCV (2020)
[^65]: Tang, X., Wang, T., Fu, C.W.: Towards accurate alignment in real-time 3d hand-mesh reconstruction. In: ICCV (2021)
[^66]: Tevet, G., Raab, S., Gordon, B., Shafir, Y., Cohen-or, D., Bermano, A.H.: Human motion diffusion model. In: ICLR (2023)
[^67]: Woo, T., Kim, T.K., Park, J.: Hand-object reconstruction via interaction-aware graph attention mechanism. In: ICIP. IEEE (2024)
[^68]: Xu, H., Wang, T., Tang, X., Fu, C.W.: H2onet: Hand-occlusion-and-orientation-aware network for real-time 3d hand mesh reconstruction. In: CVPR (2023)
[^69]: Xu, Y., Zhang, J., Zhang, Q., Tao, D.: Vitpose: Simple vision transformer baselines for human pose estimation. NeurIPS (2022)
[^70]: Yang, L., Li, K., Zhan, X., Lv, J., Xu, W., Li, J., Lu, C.: Artiboost: Boosting articulated 3d hand-object pose estimation via online exploration and synthesis. In: CVPR (2022)
[^71]: Zhang, J., Tu, Z., Yang, J., Chen, Y., Yuan, J.: Mixste: Seq2seq mixed spatiotemporal encoder for 3d human pose estimation in video. In: CVPR (2022)
[^72]: Zhang, S., Wang, J., Zhang, Y., Zhao, K., Yuan, H., Qin, Z., Wang, X., Zhao, D., Zhou, J.: I2vgen-xl: High-quality image-to-video synthesis via cascaded diffusion models. arXiv preprint arXiv:2311.04145 (2023)
[^73]: Zhang, X., Li, Q., Mo, H., Zhang, W., Zheng, W.: End-to-end hand mesh recovery from a monocular rgb image. In: ICCV (2019)
[^74]: Zhou, Z., Zhou, S., Lv, Z., Zou, M., Tang, Y., Liang, J.: A simple baseline for efficient hand mesh reconstruction. In: CVPR (2024)
#### [^75]: Zimmermann, C., Ceylan, D., Yang, J., Russell, B., Argus, M., Brox, T.: Freihand: A dataset for markerless capture of hand pose and shape from single rgb images. In: ICCV (2019)
---
#### 用于概率性从粗到精手部姿态估计的级联扩散框架
补充材料
在这份补充材料中，我们提供了级联扩散模型的实现细节。我们还展示了在FreiHAND [^75] 和HO3Dv2 [^20] 数据集上的额外实验结果。
#### A 实现细节
### A.1 关节扩散模型
我们的关节扩散模型源自D3DP框架[^59]，该框架最初旨在利用MixSTE骨干网络[^71]将2D人体姿态序列升维为3D。但由于我们的目标是估计单帧3D手部姿态，因此我们将序列长度修改为1。该模型的隐藏维度设为512，包含8个MixSTE模块。训练期间我们对3D手部关节进行了归一化处理。
该模型仅使用扩散损失$\mathcal{L}_{\mathrm{DDPM}}$进行训练，采用线性噪声调度器($\beta \in [0.0001, 0.01]$)，扩散步数为1000步。输入的2D关键点来自现成的估计器[^52]。为了提升泛化能力，我们通过对2D关键点和3D手部关节进行随机旋转（范围在$[-60^\circ, 60^\circ]$内）以及对2D关键点进行[0.9, 1.1]范围内的缩放来实现数据增强。联合扩散模型训练了25万步，初始学习率为$1e^{-4}$，每2万步学习率会按0.9的比例衰减，采用基于步数的学习率调度策略。
#### A.2 网格自编码器
网格自编码器（Mesh AE）基于SpiralNet++框架[^18]，利用螺旋卷积对3D网格进行编码。给定顶点位置为$V \in \mathbb{R}^{778 \times 3}$的手部网格，编码器$\mathcal{E}$会将网格压缩为潜变量表示$x \in \mathbb{R}^{168}$，而解码器$\mathcal{D}$则根据潜向量重建手部网格：
$$ x=\mathcal{E}(V),\hat{V}=\mathcal{D}(x). $$
需要注意的是，手部网格V是均值中心化的，即$\bar{V} = \mathbf{0}$。我们在训练过程中采用以下损失项：
- 顶点损失$\mathcal{L}_{V}$：真实网格顶点V与重建顶点$\hat{V}$之间的L1损失，用于确保网格重建的准确性。
- 关节损失$\mathcal{L}_J$：真实手部关节J与重建关节$\hat{J} = \mathcal{J}\hat{V}$之间的L1损失。$\mathcal{J}$是一个关节回归矩阵。
---
– KL正则化$\mathcal{L}_{KL}$：我们对自编码器的潜向量应用KL散度约束，使其服从高斯分布，从而提升Mesh LDM的泛化能力。
– 损失配置：
$$ \mathcal{L}=\lambda_{V}\mathcal{L}_{V}+\lambda_{J}\mathcal{L}_{J}+\lambda_{K L}\mathcal{L}_{K L} $$
其中$\lambda_{V}=1,\lambda_{J}=0.5,\lambda_{KL}=1e-3$。
Mesh AE训练了1000个周期，批量大小为50，优化器采用AdamW[^45]。初始学习率为$1e-3$，每50个周期学习率会按0.9的比例衰减。需要注意的是，针对HO3Dv2[^20]的训练，初始学习率为$1e-4$。
#### A.3 Mesh LDM
Mesh LDM通过去噪含噪潜向量来重建3D手部网格的潜变量：$x_t = \sqrt{\bar{\alpha}_t}x_0 + \sqrt{1 - \bar{\alpha}_t}\epsilon$，其中$\bar{\alpha}_t = \prod_{i=1}^t \alpha_i, \epsilon \sim N(0, I)$，$\alpha_t$是时间步t处的噪声方差调度。其条件输入包括：(1) 由联合扩散模型重建的3D关节$\hat{J}_0$；(2) 从图像编码器中提取的图像特征$\mathcal{I}$。图像特征$\mathcal{I}$包含四个层级的特征：$\mathcal{I} = \{\mathcal{I}_1, \mathcal{I}_2, \mathcal{I}_3, \mathcal{I}_4\}$。
在FreiHAND[^75]上的训练过程中，我们使用现成编码器提供的基于ViT的特征[^52]。对于HO3Dv2[^20]，我们采用ResNet-50[^24]，每个阶段的输出被视为一个特征层级。在基于ViT的情况下，单个全局图像特征会通过三层反卷积层进行上采样。
架构方面，Mesh LDM遵循DiT框架[^50]，采用基于Transformer的架构。输入的潜向量会被复制21次，并与去噪后的关节$\hat{J}_0$拼接在一起。得到的输入张量形状为$\mathbb{R}^{171\times21}$，其中171是通道维度，21是序列长度。输入张量会被分词处理，通道维度扩展至512。Mesh LDM由12个带有16个注意力头的Transformer块组成。每个Mesh LDM块对输入的处理方式如下：
(1) 交叉注意力：对每个图像特征进行交叉注意力计算，并将结果拼接起来。
(2) 自注意力和多层感知机：与DiT类似，这些层用于细化潜在表示。
(3) 输出层：去噪后的潜在表示$\hat{x}_{0}$通过重塑函数输出。
我们在各层之间应用自适应层归一化[^51]。最终输出维度为8，最后将张量展平以重构出168维的潜在向量。
训练过程：Mesh LDM训练100K步，学习率为$1e^{-4}$，使用1000个扩散时间步，每5K步学习率衰减0.9倍。训练损失包括：
– 扩散损失$\mathcal{L}_{DDPM}$：真实潜在向量$x_0$与重构潜在向量$\hat{x}_0$之间的L2损失。
---
– 顶点损失$\mathcal{L}_{V}$：真实网格顶点V与重构顶点$\hat{V}$之间的L1损失，用于保证网格重构的准确性。
– 关节损失$\mathcal{L}_J$：真实手部关节J与重构关节$\hat{J} = \mathcal{J}\hat{V}$之间的L1损失。$\mathcal{J}$是关节回归矩阵。
– 损失配置：
$$ \mathcal{L}=\lambda_{D D P M}\mathcal{L}_{D D P M}+\lambda_{V}\mathcal{L}_{V}+\lambda_{J}\mathcal{L}_{J}, $$
其中$\lambda_{DDPM}=1,\lambda_{V}=10,\lambda_{J}=5$
我们还会对图像以及对应的3D手部关节和手部网格应用旋转增强处理。
#### A.4 MANO网格LDM的细节
在消融研究中，我们还评估了Mesh LDM的一种变体，该变体在MANO参数[^55]空间中预测潜在向量。实现时，将58维的MANO参数重复21次，与原模型类似。随后将重复后的向量与3D关节坐标（21×3）拼接，形成具有21个序列长度的61维潜在向量（$\mathbb{R}^{61\times21}$）。由于输出向量的形状为$\mathbb{R}^{168}$，我们通过MLP层改变其形状，得到$\mathbb{R}^{58}$个向量。
#### B 补充结果
| Image encoders | P-MPJPE $\downarrow$ | P-MPVPE $\downarrow$ | F@5 $\uparrow$ | F@15 $\uparrow$ |
| off-the-shelf | 5.00 | 5.23 | 0.816 | 0.992 |
| ViTPose-B | 5.02 | 5.26 | 0.811 | 0.992 |
Table 7: Comparison of mesh reconstruction performance using different image encoders. Both the off-the-shelf encoder and ViTPose-B yield comparable results across all metrics, demonstrating the robustness of our cascaded framework to encoder variation on FreiHAND dataset.
#### B.1 图像编码器的变体
为了评估图像编码器的影响，我们使用ViTPose-B编码器[^69]额外训练模型。表7报告了与主实验相同评估协议下的对比结果。尽管ViTPose-B在比预训练编码器更小的数据集上训练，但性能差异却相当，这表明我们的级联框架对编码器架构的变化具有鲁棒性，且能很好地适配不同的图像编码器。
---
| Number of samples | P-MPJPE $\downarrow$ | P-MPVPE $\downarrow$ | F@5 $\uparrow$ | F@15 $\uparrow$ |
| 1 | 5.0 | 5.2 | 0.816 | 0.992 |
| 5 | 4.7 | 4.7 | 0.835 | 0.994 |
| 10 | 4.6 | 4.6 | 0.844 | 0.994 |
| 50 | 4.2 | 4.5 | 0.866 | 0.995 |
Table 8: Effect of the number of samples from the cascaded diffusion model. The table reports metrics of the final hand mesh on FreiHAND. In contrast to Tab. 4, which evaluates the Stage-1 joint output, this measures the full cascaded pipeline.
#### B.2 多假设
对于FreiHAND数据集，我们还分析了样本数量对级联扩散模型性能的影响。具体来说，我们从关节扩散模型中生成50个关节假设，并将其输入到Mesh LDM中。相应的定量结果见表8。与关节扩散模型类似，随着生成样本数量的增加，级联扩散模型的最佳性能也会提升。
虽然多采样能够提升定量性能，但生成样本之间的视觉差异十分细微。值得注意的是，不同假设之间的差异主要影响手部的形状而非姿态。这是因为关节扩散模型会先生成关节假设，再以此作为条件输入给Mesh LDM。此时手部姿态已经确定，Mesh LDM便会根据给定的关节样本来重建手部网格。此外，重建后的网格不仅与输入图像对齐，还能优化手指粗细等形状属性。
Denoising steps
Fig. 7: DDIM denoising process on HO3Dv2 with DDIM step 10.
---
#### B.3 DDIM步骤
图7展示了DDIM推理过程中手部网格的去噪情况。起初，手部网格的结构定义较为模糊。随着DDIM过程的推进，经过一半的DDIM步骤后，手部姿态变得更加清晰；随后手部网格的表面细节也逐渐显现出来。这表明潜空间中的扩散过程在去噪全程中能够有效捕捉姿态和表面信息。
Fig. 8: Qualitative results on FreiHAND and HO3Dv2 dataset.
---
| DDIM | Ours | Hamba | WiLoR |
| 1 | 5 | 10 |
| Time (ms) | 40 | 140 | 260 | 40 | 50 |
Table 9: Comparison of inference time. Inference time (in milliseconds) across different methods and ours different DDIM steps.
#### B.4 推理速度
表9对比了我们的方法（在不同DDIM步骤下）与Hamba [^13]、WiLoR [^52]在采用ResNet编码器时的推理时间。虽然10步变体的速度较慢，但我们的1步变体已能达到现有方法的速度水平。此外，近期关于单步蒸馏的研究 [^56] 也表明更快的变体具备可行性。重要的是，我们的模型在遮挡情况下仍能保持鲁棒性，因此适用于机器人抓取、手-物体交互等应用场景。