# HHMR：通过增强图扩散模型的多模态可控性实现整体手部网格恢复
李梦成 $^{1}$、张宏文 $^{2}$、张宇翔 $^{1}$、邵瑞志 $^{1}$、余涛 $^{3}$、刘烨斌 $^{1*}$
$^{1}$清华大学自动化系
$^{2}$北京师范大学人工智能学院
$^{3}$清华大学北京信息科学与技术国家研究中心
Figure 1. We introduce HHMR, a graph diffusion-based generation framework that are compatible with various human hand mesh recovery tasks.
## 摘要
近年来，生成与重建范式深度融合的趋势日益明显。在本文中，我们拓展了可控生成模型的能力，以完成更全面的手部网格恢复任务：将直接手部网格生成、图像修复、重建和拟合整合到单一框架中，我们将其命名为整体手部网格恢复（HHMR）。我们的核心发现是：具备强大多模态可控性的单一生成模型即可实现各类手部网格恢复任务，在该框架下，完成不同任务仅需输入不同的条件信号即可。为实现这一目标，我们提出了一种基于图卷积与注意力机制的一体化扩散框架，用于整体手部网格恢复。为了在确保多模态控制信号解耦的同时实现强大的可控生成能力，我们将不同模态映射到共享特征空间，并在模态层面与特征层面均应用跨尺度随机掩码操作。如此一来，在学习手部先验的过程中就能充分利用不同模态间的相关性。此外，我们提出了条件对齐梯度引导机制，以增强生成模型与控制信号的对齐程度，从而显著提升手部网格重建与拟合的精度。实验表明，我们的新型框架能够同时实现多种手部网格恢复任务，且在各类任务中的表现均优于现有方法，这为手势识别、姿态生成、网格编辑等后续下游应用提供了更多可能性。
### 1. 引言
手部网格恢复旨在从图像中还原手部姿态与网格，其在AR/VR、人机交互、机器人等领域有着广泛的应用。过去几十年间，随着深度学习技术的发展，手部网格恢复的范式也不断发展。
手部网格恢复旨在从图像中还原手部姿态和网格，这一技术在AR/VR、人机交互、机器人等领域有着广泛的应用。过去几十年间，随着深度学习技术的发展，手部网格恢复的范式也不断发展。
---
手部网格恢复技术已经从基于关键点的网格与模型拟合[^13] [^24] [^46] [^50] [^60]转变为基于学习的回归方法。基于回归的手部网格恢复方法采用编码器-解码器架构，它首先对各种输入（通常是图像或关键点）进行编码，然后解码为参数化手部模型的3D姿态[^44]、姿态和形状参数[^1] [^5] [^56] [^61] [^38]，或者直接输出3D手部网格的顶点坐标[^3] [^4] [^14] [^26] [^30] [^31] [^45]。然而，这种单向回归策略并未建立或充分利用自然手部姿态与网格的底层分布，这严重限制了更先进的手部网格恢复任务的实现，例如网格与姿态的补全或生成。
除了传统的手部网格恢复任务外，另一类研究致力于通过低维流形来构建自然手部姿态或网格的先验（或分布）[^48]。获取此类先验不仅能促进手部网格恢复，还能生成符合生物力学约束的理想手部模型。传统的手部先验要么依赖于关节角度受限[^44]且自由度有限的手工制作3D手部模型[^53]。Romero等人[^38]利用包含自然手部姿态和形状参数的数据集，通过主成分分析（PCA）提出了一种显式参数化手部模型。然而，显式约束或PCA的表达能力有限，难以描述复杂的手部姿势，更不用说生成多样化的手部网格了。
得益于生成式学习技术的快速发展，基于生成的隐式手部模型已成为热门研究方向。一些研究[^27] [^64]利用变分自编码器（VAE）将合理的手部参数映射到高斯空间。由此，通过从可行分布中采样来生成手部网格首次成为可能。隐式手部模型也可用于手部网格恢复。通过两个VAE分别编码图像域和手部姿态域，再结合CrossVAE或生成对抗网络（GAN）来对齐这两个域，从而生成与输入图像匹配的手部参数([^43] [^49] [^51] [^52])。不过，现有的隐式手部模型大多建立在参数空间或3D骨骼空间上，因此很难直接生成网格或利用几何约束。此外，基于现有隐式手部模型进行手部网格恢复时，还需要额外的反演或拟合过程，这不仅耗时且复杂。
相关研究领域不可避免的趋势是手部网格恢复与生成式手部模型的统一。这将强化现有重建与生成范式之间的协同效应，最终实现对手部网格的生成、修复、重建和拟合的端到端同步处理。我们将这种综合性的手部网格恢复任务称为“整体手部网格恢复”（Holistic Hand Mesh Recovery，简称HHMR），并提出了一种基于图卷积网络（GCN）和注意力机制的一体化扩散框架，用于无需额外微调或逆向操作即可完成整体手部网格恢复。我们的核心见解在于：通过精心设计的多模态条件化训练，基于扩散模型的条件生成技术是实现整体手部网格恢复的强大方法。给定不同模态的条件输入，扩散模型能够生成合理的手部网格和姿态结果，从而自然支持以下应用：i) 以图像为条件时的手部网格重建；ii) 以不完整网格或2D/3D骨骼为条件时的手部网格修复；iii) 以随机噪声为输入（无条件）时的手部网格生成；iv) 以2D骨骼为条件时的手部网格拟合。为了实现扩散模型精确的多模态可控性，我们将不同条件映射到共享特征空间，并在模态层面和特征层面采用随机掩码策略，以增强不同模态间的关联学习。此外，我们还在扩散学习过程中提出了条件对齐的梯度引导策略，进一步提升模型与条件的一致性。
我们在各类下游任务上对所提出的整体手部网格恢复框架进行了评估。实验结果表明：i) 在手部网格生成任务中，我们的方法能生成更多样化的姿态；ii) 在手部网格修复任务中，该方法能从不完整的输入中恢复出多个合理的手部网格；iii) 在单假设重建任务上，我们的方法与当前最优方法效果相当，而在多假设重建任务上则优于现有最优方法；iv) 借助条件对齐的梯度引导，我们的方法在2D拟合任务中达到了更高的精度。
## 本文的主要贡献可总结如下
- 我们提出了一种基于图扩散模型的一体化框架，用于整体手部网格恢复。该图扩散模型中学习到的手部先验可直接应用于各类下游任务，无需额外的微调或逆向操作。
- 我们将不同模态的条件映射到共享特征空间，并在模态层面和特征层面采用随机掩码策略，以增强不同模态间的关联学习。
- 我们提出了一种推理阶段的条件对齐梯度引导策略，进一步提升模型与条件的一致性。
- 大量的实验与对比验证了该框架的有效性，同时也展示了其在各类下游应用中的潜力。
---
### 2. 相关工作
#### 2.1. 手部网格恢复
过去几十年间，人类手部恢复领域取得了显著进展。早期研究[^13] [^24] [^46] [^50] [^58] [^60]利用优化方法，根据2D骨骼检测结果来拟合手部姿态。
随着神经网络的发展，一些基于学习的手部网格重建方法被提出。其中一种方法是利用流行的基于参数的MANO [^38]模型，并回归其姿态和形状参数。由于MANO模型具有可微性，因此能够从单视图图像输入中端到端地估计模型参数（[^1] [^5] [^54] [^56] [^59] [^61]）。然而，参数估计是一项高度非线性的任务，且与三维空间缺乏直接关联。另一种方法是直接回归手部网格，这通常是通过构建2D图像输入与3D手部网格输出之间的映射网络来实现的。图卷积网络（GCN）就是广泛采用的映射网络之一（[^3] [^4] [^14] [^26] [^28] [^45]）。此外，还有一些方法利用一维像素热图 [^33] 来表示顶点的3D坐标，或者采用UV贴图 [^2] 来建立2D与3D之间的联系。Lin等人 [^30] [^31] 则使用基于Transformer的网络来回归顶点。
不过，这些手部重建方法只能提供单一的合理估计结果，而实际上被遮挡的部分可能呈现多种姿态。因此，我们提出了一种基于概率扩散的模型，能够从一张输入的RGB图像生成多个合理的手部网格。
#### 2.2. 手部先验与生成
手部先验模型旨在学习合理的手部姿态分布。以往的先验模型大致可分为两类：一类是学习人手的无条件分布 $p_{data}(x)$，另一类则是特定任务的先验，即在给定条件（如RGB图像或2D骨架）下学习条件分布 $p_{data}(x|c)$。
对于无条件先验分布，一种简单的方法是根据人手的生物结构手动限定手部姿态的合理范围。Yang等人 [^53] 通过手动定义每个关节的自由度及旋转角度范围来构建手部姿态先验。Spurr等人 [^44] 提出了一组损失函数，用于约束手部姿态落在生物力学上可行的3D手部配置范围内。另一类研究是基于学习的方法，即从大量姿态数据中学习可行的分布。Javier等人 [^38] 对手部数据集的姿态和形状参数应用主成分分析（PCA）。在人手领域 [^27] [^64] 以及人体领域 [^35]，研究人员均尝试通过VAE网络将姿态分布映射到标准高斯分布。Tiwari等人 [^48] 通过学习采样姿态到合理姿态分布低维流形上的神经距离来描述人体的先验。这些无条件先验在应用于下游任务时往往需要优化，这一过程可能十分耗时。
条件先验模型通常会在特定任务约束下学习潜在的姿态分布，例如从RGB图像或2D骨骼中预测合理的姿态。常用的方法是构建不同域（如深度图像、RGB图像或3D骨骼）的VAE，然后通过潜空间对齐来建立手部先验([^43] [^49] [^51] [^52])。最近，Ci等人[^6]通过基于分数匹配的模型来预测人体姿态分布的对数似然梯度。然而，这些隐式条件先验模型大多基于3D骨骼且依赖特定条件，这限制了它们的应用。
#### 2.3. 基于扩散的生成模型
扩散模型[^41]是一种基于随机扩散过程的生成模型，它利用马尔可夫链将一种分布逐步转化为另一种分布，这一过程类似于热力学中的模型。在实际应用中，它预先定义一个前向过程，向数据集分布中逐渐添加噪声，直至其收敛为标准高斯噪声分布。随后，训练神经网络来学习逆向过程，从而将随机噪声逐步去噪为合理的数据样本。最近，一些采用扩散模型的图像生成算法[^22] [^37] [^42]取得了重大突破。扩散模型在3D物体生成[^29] [^36] [^39]、人体姿态估计[^12] [^15] [^23]以及人体运动生成[^40] [^47]等领域也展现出巨大潜力。我们构建了一个基于扩散的手部生成模型，采用无分类器策略，该模型可在有或无条件的状态下运行，因此能够应对各种下游任务。
### 3. preliminaries：扩散模型
去噪扩散模型是一种概率生成模型，由前向过程和逆向过程组成。我们将过程中每一步的中间分布记为$p(x_t), t = 0, 1, ..., T$，其中初始的$p(x_0)$是我们希望生成的数据集分布，最终的$p(x_T) \sim \mathcal{N}(\mathbf{0}, \mathbf{I})$则是标准高斯噪声分布。
前向过程通过马尔可夫链逐步向$p(x_0)$中添加具有预定义均值和方差的小高斯噪声，从而将其转化为$p(x_T)$：
$$ p(x_{t}|x_{t-1})=\mathcal{N}(\sqrt{1-\beta_{t}}x_{t-1},\beta_{t}\mathbf{I}) $$
---
其中$\{\beta_t\}$是一组预定义的小常数。
逆向过程是一种生成过程，它将从$p(x_T)$中采样的噪声转化为$p(x_0)$中的合理数据样本。逆向过程同样服从高斯分布[^11]。此外，逆向扩散过程可以表示为：
$$ p_{\theta}(x_{t-1}|x_{t},\mathbf{c})=\mathcal{N}(\mu_{t}^{\theta}(x_{t},t,\mathbf{c}),\Sigma_{t}\mathbf{I}) $$
其中$\mathbf{c}$代表生成所需的条件，$\mu_t^\theta$和$\Sigma_t$分别是逆向高斯过程的均值和方差。通常，$\Sigma_t$由$\{\beta_t\}$决定，而$\mu_t$则无法直接追踪。因此，需要应用神经网络$\mu_t^\theta(x_t, t, \mathbf{c})$来预测均值$\mu_t$。
此外，为了更有效地学习$\mu_t^\theta$，通常会对其进行重新参数化，以学习：i) 从$\epsilon$到$x_0$添加的噪声$x_t$；或者 ii) 直接学习$x_0$。图像生成任务[^9] [^21] [^22] [^42]通常采用第一种设定，而我们则遵循人体运动生成方法[^40] [^47]，直接预测$x_0$：
$$ \bar{x}_{0}=f_{\theta}(x_{t},\mathbf{c},t),\quad\mu_{t}^{\theta}(x_{t},t,\mathbf{c})=g_{t}(\bar{x}_{0},x_{t},t), $$
其中f是一个神经网络，$\theta$代表训练参数，$g_{t}$是一个确定的重新参数化函数。更多细节可参考[^22]。
总而言之，扩散模型的训练算法包含四个步骤：i) 从数据集$x_0$中采样数据$p(x_0)$；ii) 运行前向过程，在$x_0$上添加噪声并得到$x_t$；iii) 运行神经网络$f_\theta$以给出对$\bar{x}_0$的预测；iv) 反向传播预测误差$\|\bar{x}_0 - x_0\|$。
### 4. 方法
#### 4.1. 问题阐述
我们的目标是开发一种扩散模型，使其能从给定的特定任务条件$f_{\theta}(x_t, \mathbf{c}, t)$中学习关于人手先验知识。考虑到手模板的参数空间到三维空间之间存在高度非线性的映射关系，我们直接对三维网格进行处理。我们从图像生成方法[^37]的网络架构中获得灵感，但采用三维图卷积网络（GCN）[^7]而非二维图像卷积来编码人手网格的局部信息。网络架构的详情将在4.2节中介绍。
为了适配不同的下游任务，我们的方法支持将多种条件c作为输入。具体而言，我们将c设为RGB图像$\mathbf{c}_{image}$以处理单目手网格重建任务；将c设为二维骨架$\mathbf{c}_{skel2d}$用于二维手网格拟合任务；将c设为不完整的三维骨架$\mathbf{c}_{skel3d}$用于手网格修复任务。我们还可以设置$c = \emptyset$以实现无条件生成，并将其应用于手部姿态生成和手网格补全任务。
由于输入条件不同，我们的网络可以使用不同类型的数据集进行训练。对于包含人手图像和标注手网格的数据集，我们可以在上述所有条件下训练网络：$\mathbf{c} = \mathbf{c}_{image} | \mathbf{c}_{skel2d} | \mathbf{c}_{skel3d}$。对于仅包含人手姿态的数据集，我们采用骨骼信息$\mathbf{c} = \mathbf{c}_{skel2d} | \mathbf{c}_{skel3d}$作为条件来训练生成模型。
#### 4.2. 图扩散网络
网络架构。如图2所示，我们的扩散模型的主要结构是一个U形网络，由带跳跃连接的下采样编码器和上采样解码器组成。编码器和解码器的每个模块均由4层构成：即GCN层、自注意力层、交叉注意力层，以及可选的上采样或下采样层。
类似于二维图像网络中的卷积操作，我们使用GCN [^7] 来聚合每个顶点邻居的信息，从而编码手部网格的局部信息；通过堆叠多层GCN来扩展感受野。随后利用自注意力层来促进3D手部网格上的长距离全局信息传播，使我们的先验网络能够构建表面顶点间的全局关系。我们还应用交叉注意力层，将条件信息c注入到生成模型中。
条件映射。为了将不同的条件编码到与交叉注意力层输入兼容的同一空间中，我们设计了不同的网络，将不同条件映射到共享的特征空间：
- 对于3D骨骼和2D骨骼条件，我们直接使用MLP来编码 $c_{skel2d}$ 和 $c_{skel3d}$。
- 对于RGB图像条件 $\mathbf{c}_{image}$，我们首先使用基于CNN的网络来编码潜在的图像特征图，然后将其裁剪为多个图像块。之后，采用基于Vision Transformer（ViT）[^10] 的模型来进一步处理图像信息。运行ViT时，我们还会添加全局标记 $\mathbf{c}_{global}$ 以像原始ViT那样编码全局信息。该全局标记会与ViT输出的图像块特征 $\mathbf{c}_{patch}$ 堆叠起来，形成图像条件 $\mathbf{c}_{image} \in \mathcal{R}^{(P+1) \times D}$，其中P表示图像块的数量。
带随机掩码的条件。在我们的方法中，我们将这三种类型的条件 $\mathbf{c} = \mathbf{c}_{image} \oplus \mathbf{c}_{skel2d} \oplus \mathbf{c}_{skel3d} \in \mathcal{R}^{(P+1+1+1) \times D}$ 堆叠起来作为交叉注意力层的输入。为了增强网络的泛化能力和多功能性，我们设计了两级掩码策略。在多模态层面，为了解耦各条件之间的关系，我们以一定概率将每个条件 $\mathbf{c}_{image} \mid \mathbf{c}_{skel2d} \mid \mathbf{c}_{skel3d}$ 设置为空集 $\emptyset$。
---
Figure 2. The pipeline of our graph diffusion model. With task-specific conditions, our model progressively removes noise from randomly Gaussian noise and directly reconstructs the complete hand meshes. Additionally, we introduce a gradient-based guidance to improve the alignment between the generated results and observations.
训练期间，该概率为 $p_{m}$。此外，我们还会以 $p_{all}$ 的概率全局掩码所有条件，以训练模型的无条件生成能力。在特征层面，我们针对每种条件分别设计不同的掩码策略。对于图像条件 $\mathbf{c}_{image}$，我们将其编码为多个图像块，并以 $p_{image}$ 的概率随机掩码每个块，这使得我们的方法能够处理复杂的遮挡输入。对于骨骼条件 $\mathbf{c}_{skel2d}$ 和 $\mathbf{c}_{skel3d}$，我们在每个关节上添加高斯噪声，并以 $p_{skel}$ 的概率随机掩码每个手指，这有助于从不完整的手部骨骼生成结果。
需要注意的是，当将我们的模型应用于特定任务时，无关条件可直接设置为 $\emptyset$。例如，在单目重建任务中，条件为 $\mathbf{c} = \mathbf{c}_{image} \oplus \emptyset \oplus \emptyset$，我们简称为 $\mathbf{c} = \mathbf{c}_{image}$。
#### 4.3. 条件对齐的梯度引导
在二维图像生成任务中，有人提出了用于条件扩散模型的分类器引导 [^9] 方法。该方法训练额外的分类器网络，以从 $x_{t}$ 预测输入条件的概率。随后，通过用分类器网络预测的对数似然梯度来修改反向过程的均值，扩散模型就能生成与输入条件更一致的图像。
受先前研究[^9]的启发，我们提出了一种条件对齐的梯度引导方法，以确保生成的手部模型与输入条件保持一致。具体而言，在我们的实现中，我们在反向过程的每个高斯分布的均值上添加了一个梯度引导偏差：
$$ \bar{\mu}_{t}=\mu_{t}-s\Sigma_{t}\triangledown_{x_{t}}||P f_{\theta}(x_{t},\mathbf{c},t)-P x_{0}|| $$
其中s为缩放因子，P为特定于任务的算子。需要注意的是，$f_{\theta}(x_{t}, \mathbf{c}, t)$是对GT网格$x_{0}$的预测，因此该方法可视为一种神经拟合形式。算子P决定了具体的拟合目标。例如，将P设为关节回归矩阵$\mathcal{I}$时，梯度引导便作为一种监督项，用于约束生成的手部网格的3D关节与3D骨骼条件保持一致。
除了作为监督手段外，这种基于梯度的引导方法也可被视为生成过程中的几何控制方式。例如，在手部网格修复任务中，给定不完整的手部网格后，我们可以对给定部分应用梯度引导，而对缺失部分则不加以控制。此时，算子P是一个逐顶点二元掩码$M_{V}$，用于标识手部网格中的缺失部分。我们也可以通过将P设为$M_{J}\mathcal{J}$来利用部分骨骼控制人手生成，其中$M_{J}$为逐关节二元掩码。
---
值得注意的是，与传统的分类器引导方法不同，我们的梯度引导方法无需额外的分类器网络。因此，我们的方法无需额外训练，既省时又便于直接应用。
#### 4.4. 损失函数
为了训练我们的图扩散模型，我们采用了（1）扩散数据损失、（2）顶点损失与关节损失以及（3）网格平滑损失。
数据损失。如第3节所述，我们使用L1损失来监督扩散模型的输出：
$$ L_{data}=\|x_{0}-\bar{x}_{0}\| $$
顶点损失与关节损失。我们预先训练了一个关节回归矩阵$\mathcal{J}$，用于从输出的手部网格中回归关节位置，并使用L1损失来监督顶点和关节的3D坐标：
$$ \begin{aligned}&L_{V}=\sum\left\|\boldsymbol{V}-\boldsymbol{V}^{GT}\right\|_{1}\\&L_{J}=\sum\left\|\mathcal{J}\boldsymbol{V}-\mathcal{J}\boldsymbol{V}^{GT}\right\|_{1}\\ \end{aligned} $$
$$ L_{n}=\sum\|e\cdot n^{GT}\|_{1}, $$
网格平滑损失。为确保预测顶点的几何平滑性，我们采用了两种不同的平滑损失。首先，我们对预测网格与真实网格之间的法线一致性进行正则化：
其中e为生成的手部网格的边，$n^{GT}$是根据真实网格计算出的面法向量。此外，我们还最小化生成网格与真实网格之间各边长的L1距离：
$$ L_{e}=\sum\|e-e^{G T}\|_{1}. $$
### 5. 实验
#### 5.1. 实验设置
实现细节。我们的网络基于PyTorch实现。对于RGB图像条件，我们采用在ImageNet[^18]上预训练的ResNet50[^8]作为映射网络的骨干，随后将图像特征均匀划分为$8 \times 8$个块。对于2D/3D骨骼条件，我们使用带有dropout[^20]和GELU[^19]激活函数的三层MLP。在扩散模型方面，训练时我们将去噪步数设为1000，并利用DDIM[^42]算法来加速推理。
训练数据集。我们同时利用了仅包含手部姿态标注的手部姿态数据集，以及同时包含RGB图像和手部姿态标注的重建数据集。对于姿态数据集，我们使用了Two-hand 500K [^64] 和 InterHand2.6M [^34] 数据集。Two-hand 500K [^64] 是一个
| APD(mm) $\uparrow$ | SI(\%) $\downarrow$ |
| PCA Generation | 15.00 | 0.39 |
| Ours Generation | 17.30 | 0.05 |
| PCA Inpainting | 12.28 | 0.06 |
| Ours Inpainting | 13.59 | 0.01 |
Table 1. Quantitatively comparison of hand mesh generation and inpainting.
双手法部姿态数据集，其手部样本是从单手数据集中采样得到的 [^34] [^55] [^62] [^63]。InterHand2.6M [^34] 包含了30FPS的单手及双手运动序列数据。我们将双手的姿态数据拆分为两个独立的单手数据。对于重建数据集，我们使用了FreiHand [^63]、HO3D_V3 [^16] [^17]、CompHand [^3] [^4]，这些数据集均包含手部图像和手部网格标注。
训练细节。我们使用上述数据集的混合来训练模型。我们采用AdamW优化器 [^32]，在单张NVIDIA RTX 4090 GPU上训练模型，小批量大小为64。总共训练了100万个小批量。学习率被设置为 $5e^{-4}$，并通过余弦退火策略降至 $1e^{-5}$。
#### 5.2. 手部网格生成
通过将 $c = \emptyset$ 设为特定值，我们的模型无需任何条件即可运行。在这种设置下，我们的方法是从高斯分布中采样一组含噪点云，再将其去噪为完整的人手网格，如图3所示。为了定量评估我们的生成模型，我们遵循Tiwari等人的做法 [^48]，使用平均成对距离（APD）来衡量生成网格的多样性，并计算自相交面片的比例（SI）来评估真实感。我们用模型随机生成 $n = 500$ 个手部网格，同时从MANO $n = 500$ 的手部参数PCA空间中随机采样 [^38] 个网格。如表1所示，与PCA采样结果相比，我们的结果具有更高的APD值和更低的SI值，这表明我们的方法能够生成更具多样性和真实感的手部网格。
#### 5.3. 手部网格修复
给定不完整的手部网格或手部3D骨架，我们的模型能够根据从大规模手部姿态数据集中学到的先验知识，修复出完整的、合理的手部网格。网格修复的核心思路是利用梯度引导来保持手部已有部分不变，同时允许扩散模型为缺失部分生成多种结果。如图3所示，当手部网格中缺少拇指、食指和中指时，我们的模型能够给出多种潜在的补全结果。同样，给定缺少中指、无名指和小指的3D手部骨架时，我们的模型也能生成多样化的完整手部网格。详情请参阅
---
Figure 3. Qualitative results of our method for different downstream tasks. From left to right are i) hand mesh generation results from random Gaussian noise, ii) hand mesh inpainting from incomplete hand mesh or skeleton, iii) hand mesh reconstruction from monocular RGB image, and iv) hand mesh fitting from 2D skeletons.
Figure 4. Qualitative results comparison with MobRecon [^4] and MeshGraphormer [^30].
补充材料中的网格修复算法细节。我们也进行了定量评估。如表1所示，与通过PCA随机采样的结果相比，我们的方法具有更高的APD值和更低的SI值。
#### 5.3.1 手部网格重建
单假设情形。给定作为条件的RGB图像$c_{image}$，我们的模型可作为单目手部网格重建网络。我们首先在Freihand [^63]数据集上定量评估该方法。我们使用DDIM [^42]算法执行T=10步去噪操作，且仅采样一个假设。需注意，我们遵循MeshGraphormer [^30]的方法，在评估期间采用测试时增强技术。我们在表3中报告了刚性对齐后的平均关节位置误差（MPJPE）和平均顶点位置误差（MPVPE），可见该方法在单假设重建（n=1）场景下能够取得与最先进方法相当的结果。随后我们展示了定性对比结果——
| MPJPE | MPVPE |
| Ours (w GCN) | 5.99 | 5.97 |
| Only SA (w/o GCN) | 6.39 | 6.35 |
Table 2. Ablation study of using GCN module.
在图4的Freihand数据集上，我们的方法在侧面视角及遮挡场景下表现更优。我们认为这是由于我们的模型属于先验模型，能更好地从不完整的观测数据中恢复手部网格。我们还针对GCN模块的使用进行了消融研究：我们将模型中所有的GCN替换为自注意力层（命名为“仅SA”），并在表2中报告结果，结果显示我们的方法明显更优。
多假设情形。通过从高斯分布中采样不同的噪声进行去噪，我们的方法能够从单张图像中生成多个网格重建假设。我们首先在图5中定性展示多假设结果，可见我们的方法能在可见区域保持与输入图像的对齐，同时针对遮挡区域给出多种可能的猜测。随后我们在表4中定量分析假设数量的影响，同时也评估了推理步骤的效果。参照人体多假设方法[^6] [^25]，我们报告最小的MPJPE和MPVPE值。如表4和表3所示，仅抽取8个样本时，我们的方法就已经优于最先进方法[^4] [^30]。表4还表明，仅需$T = 10$步去噪就能获得令人满意的结果。
---
| MPJPE | MPVPE |
| FreiHAND [^63] | 11.0 | 10.9 |
| YotubeHand [^26] | 8.4 | 8.6 |
| I2L-MeshNet [^33] | 7.4 | 7.6 |
| HIU-DMTL [^57] | 7.1 | 7.3 |
| CMR [^3] | 16.9 | 7.0 |
| I2UV-HandNet [^2] | 6.7 | 6.9 |
| METRO [^31] | 6.7 | 6.8 |
| Tang et al. [^45] | 6.7 | 6.7 |
| MobRecon [^4] | 6.1 | 6.2 |
| MeshGraphormer [^30] | 5.9 | 6.0 |
| Ours (n=1) | 6.0 | 6.0 |
| Ours (n=8) | 5.9 | 5.9 |
| Ours (n=16) | 5.8 | 5.8 |
Table 3. Quantitative results on the Freihand dataset. Our method applied $T = 10$ steps denoising by DDIM [^42] and n represents the number of samples.
Figure 5. Results for multi-hypothesis reconstruction from monocular image.
| MPJPE | MPVPE |
| T=10 | n=8 | 5.91 | 5.90 |
| n=16 | 5.76 | 5.76 |
| n=32 | 5.63 | 5.64 |
| T=25 | n=8 | 5.79 | 5.79 |
| n=16 | 5.58 | 5.59 |
| n=32 | 5.41 | 5.43 |
| T=50 | n=8 | 5.73 | 5.73 |
| n=16 | 5.51 | 5.52 |
| n=32 | 5.33 | 5.35 |
Table 4. Effect of denoising steps and sampling quantity. T represents the number of denoising steps by DDIM. n represents the number of samples.
#### 5.3.2 手部网格拟合
我们的方法也能将2D骨骼作为条件$c_{skel2d}$，还能利用梯度引导方法来进一步提升对齐效果。我们将公式4中的算子P设为$P = M\Pi\mathcal{J}$，其中$\mathcal{J}$是预训练的骨骼回归矩阵，$\Pi$是投影算子，M是一个逐关节掩码，用于屏蔽检测置信度较低的2D关节。我们以真实2D骨骼作为监督，在各种输入下进行定量评估。
| MPVPE | MPJPE |
| Fitting 2D skeleton | 7.00 | 7.27 |
| $c_{skel2D} + \nabla_{skel2D}$ | 6.28 | 6.26 |
| $c_{image}$ | 6.54 | 6.57 |
| $c_{image} + c_{skel2D}$ | 5.32 | 5.29 |
| $c_{image} + c_{skel2D} + \nabla_{skel2D}$ | 5.05 | 4.94 |
Table 5. Quantitative results for hand mesh fitting, $c_{image}$ represents input RGB image, $c_{skel2D}$ represents input 2D skeleton, $\nabla_{skel2D}$ represents applying the gradient guidance on 2D skeleton
关节掩码用于屏蔽那些检测置信度较低的2D关节。我们采用真实的2D骨骼数据作为监督信息，以便在各种输入条件下进行定量评估。
我们首先利用手部PCA先验[^38]，与传统2D骨骼拟合算法进行对比。我们将2D骨骼$\mathbf{c}_{skel2D}$作为输入条件，同时应用梯度引导$\nabla_{skel2D}$。如表5的第二行和第三行所示，我们的方法取得了更高的拟合精度。这是因为我们的方法是3D先验模型，能够学习从2D骨骼到3D手部网格的映射关系。
我们还将2D骨骼信息$\mathbf{c}_{skel2D}$引入基于图像输入的手部网格重建任务$\mathbf{c}_{image}$中，以通过2D拟合进一步提升精度。表5中的定量结果表明，与单纯的重建结果相比，我们的拟合方法能进一步改善与输入图像的对齐效果。更多定性结果请参阅补充材料。
### 6. 讨论
结论。我们提出了一种基于图扩散的生成网络，该网络可适配多种下游手部网格恢复任务，包括手部网格生成、手部网格修复、手部网格重建以及手部网格拟合。该网络能够接收不同的任务特定条件作为输入，并从随机采样的含噪点云中直接去噪生成3D手部网格。我们还设计了条件掩码训练策略来处理缺失或含噪的条件输入，并进一步采用梯度引导方法来增强生成结果与输入条件之间的一致性。
局限性。尽管我们的方法采用了掩码训练策略来应对含噪且不完整的条件输入，但对于极度缺失或噪声过大的输入条件，该方法仍可能失效。此外，虽然我们的方法仅需$T = 10$次去噪步骤就能获得不错的结果，但若要增加去噪步骤以实现更精确的生成，则会耗费大量时间。
致谢：本文得到了国家重点研发计划（2022YFF0902200）、国家自然科学基金项目（编号62125107）以及北京市科学技术委员会项目（Z231100005923030）的支持。
---
## 参考文献
[^1]: Adnane Boukhayma, Rodrigo de Bem, and Philip HS Torr. 3d hand shape and pose from images in the wild. In CVPR, 2019. 2, 3
[^2]: Ping Chen, Yujin Chen, Dong Yang, Fangyin Wu, Qin Li, Qingpei Xia, and Yong Tan. I2uv-handnet: Image-to-uv prediction network for accurate and high-fidelity 3d hand mesh modeling. In ICCV, 2021. 3, 8
[^3]: Xingyu Chen, Yufeng Liu, Chongyang Ma, Jianlong Chang, Huayan Wang, Tian Chen, Xiaoyan Guo, Pengfei Wan, and Wen Zheng. Camera-space hand mesh recovery via semantic aggregation and adaptive 2d-1d registration. In CVPR, 2021. 2, 3, 6, 8
[^4]: Xingyu Chen, Yufeng Liu, Yajiao Dong, Xiong Zhang, Chongyang Ma, Yanmin Xiong, Yuan Zhang, and Xiaoyan Guo. Mobrecon: Mobile-friendly hand mesh reconstruction from monocular image. In CVPR, 2022. 2, 3, 6, 7, 8
[^5]: Yujin Chen, Zhigang Tu, Di Kang, Linchao Bao, Ying Zhang, Xuefei Zhe, Ruizhi Chen, and Junsong Yuan. Model-based 3d hand reconstruction via self-supervised learning. In CVPR, 2021. 2, 3
[^6]: Hai Ci, Mingdong Wu, Wentao Zhu, Xiaoxuan Ma, Hao Dong, Fangwei Zhong, and Yizhou Wang. Gfpose: Learning 3d human pose prior with gradient fields. In CVPR, 2023. 3, 7
[^7]: Michaël Defferrard, Xavier Bresson, and Pierre Vandergheynst. Convolutional neural networks on graphs with fast localized spectral filtering. In NeurIPS, 2016. 4
[^8]: Jia Deng, Wei Dong, Richard Socher, Li-Jia Li, Kai Li, and Li Fei-Fei. Imagenet: A large-scale hierarchical image database. In CVPR, 2009. 6
[^9]: Prafulla Dhariwal and Alexander Nichol. Diffusion models beat gans on image synthesis. In NeurIPS, 2021. 4, 5
[^10]: Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, Jakob Uszkoreit, and Neil Houlsby. An image is worth $16 \times 16$ words: Transformers for image recognition at scale. In ICLR, 2021. 4
[^11]: William Feller. Retracted chapter: On the theory of stochastic processes, with particular reference to applications. In Selected Papers I, pages 769–798. Springer, 2015. 4
[^12]: Runyang Feng, Yixing Gao, Tze Ho Elden Tse, Xueqing Ma, and Hyung Jin Chang. Diffpose: Spatiotemporal diffusion model for video-based human pose estimation. In ICCV, 2023. 3
[^13]: Chengying Gao, Yujia Yang, and Wensheng Li. 3d interacting hand pose and shape estimation from a single rgb image. Neurocomputing, 2022. 2, 3
[^14]: Liuhao Ge, Zhou Ren, Yuncheng Li, Zehao Xue, Yingying Wang, Jianfei Cai, and Junsong Yuan. 3D hand shape and pose estimation from a single RGB image. In CVPR, 2019. 2,3
[^15]: Jia Gong, Lin Geng Foo, Zhipeng Fan, Qiuhong Ke, Hossein Rahmani, and Jun Liu. Diffpose: Toward more reliable 3d pose estimation. In CVPR, 2023. 3
[^16]: Shreyas Hampali, Mahdi Rad, Markus Oberweger, and Vincent Lepetit. Honnotate: A method for 3d annotation of hand and object poses. In CVPR, 2020. 6
[^17]: Shreyas Hampali, Sayan Deb Sarkar, Mahdi Rad, and Vincent Lepetit. Keypoint transformer: Solving joint identification in challenging hands and object interactions for accurate 3d pose estimation. In CVPR, 2022. 6
[^18]: Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In CVPR, 2016. 6
[^19]: Dan Hendrycks and Kevin Gimpel. Gaussian error linear units (gelus). arXiv preprint arXiv:1606.08415, 2016. 6
[^20]: Geoffrey E Hinton, Nitish Srivastava, Alex Krizhevsky, Ilya Sutskever, and Ruslan R Salakhutdinov. Improving neural networks by preventing co-adaptation of feature detectors. arXiv preprint arXiv:1207.0580, 2012. 6
[^21]: Jonathan Ho and Tim Salimans. Classifier-free diffusion guidance. In NeurIPS 2021 Workshop, 2021. 4
[^22]: Jonathan Ho, Ajay Jain, and Pieter Abbeel. Denoising diffusion probabilistic models. In NeurIPS, 2020. 3, 4
[^23]: Karl Holmquist and Bastian Wandt. Diffpose: Multi-hypothesis human pose estimation using diffusion models. In ICCV, 2023. 3
[^24]: Ludovic Hoyet, Kenneth Ryall, Rachel McDonnell, and Carol O'Sullivan. Sleight of hand: perception of finger motion from reduced marker sets. In SIGGRAPH, 2012. 2, 3
[^25]: Nikos Kolotouros, Georgios Pavlakos, Dinesh Jayaraman, and Kostas Daniilidis. Probabilistic modeling for human mesh recovery. In ICCV, 2021. 7
[^26]: Dominik Kulon, Riza Alp Guler, Iasonas Kokkinos, Michael M Bronstein, and Stefanos Zafeiriou. Weakly-supervised mesh-convolutional hand reconstruction in the wild. In CVPR, 2020. 2, 3, 8
[^27]: Jiaman Li, Ruben Villegas, Duygu Ceylan, Jimei Yang, Zhengfei Kuang, Hao Li, and Yajie Zhao. Task-generic hierarchical human motion prior using vaes. In 3DV, 2021. 2, 3
[^28]: Mengcheng Li, Liang An, Hongwen Zhang, Lianpeng Wu, Feng Chen, Tao Yu, and Yebin Liu. Interacting attention graph for single image two-hand reconstruction. In CVPR, 2022. 3
[^29]: Chen-Hsuan Lin, Jun Gao, Luming Tang, Towaki Takikawa, Xiaohui Zeng, Xun Huang, Karsten Kreis, Sanja Fidler, Ming-Yu Liu, and Tsung-Yi Lin. Magic3d: High-resolution text-to-3d content creation. In CVPR, 2023. 3
[^30]: Kevin Lin, Lijuan Wang, and Zicheng Liu. Mesh graphormer. In ICCV, 2021. 2, 3, 7, 8
[^31]: Kevin Lin, Lijuan Wang, and Zicheng Liu. End-to-end human pose and mesh reconstruction with transformers. In CVPR, 2021. 2, 3, 8
[^32]: Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. arXiv preprint arXiv:1711.05101, 2017. 6
## [^33]: Gyeongsik Moon and Kyoung Mu Lee. I2l-meshnet: Image-to-lixel prediction network for accurate 3d human pose and
---
基于单张RGB图像的手部网格估计。载于ECCV 2020会议论文集，第3、8页。
[^34]: Gyeongsik Moon, Shoou-I Yu, He Wen, Takaaki Shiratori, and Kyoung Mu Lee. Interhand2.6m: A dataset and baseline for 3D interacting hand pose estimation from a single rgb image. In ECCV, 2020. 6
[^35]: Georgios Pavlakos, Vasileios Choutas, Nima Ghorbani, Timo Bolkart, Ahmed AA Osman, Dimitrios Tzionas, and Michael J Black. Expressive body capture: 3d hands, face, and body from a single image. In CVPR, 2019. 3
[^36]: Ben Poole, Ajay Jain, Jonathan T Barron, and Ben Mildenhall. Dreamfusion: Text-to-3d using 2d diffusion. In ICLR, 2022. 3
[^37]: Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, and Björn Ommer. High-resolution image synthesis with latent diffusion models. In CVPR, 2022. 3, 4
[^38]: Javier Romero, Dimitrios Tzionas, and Michael J. Black. Embodied hands: Modeling and capturing hands and bodies together. In SIGGRAPH Asia, 2017. 2, 3, 6, 8
[^39]: Nataniel Ruiz, Yuanzhen Li, Varun Jampani, Yael Pritch, Michael Rubinstein, and Kfir Aberman. Dreambooth: Fine tuning text-to-image diffusion models for subject-driven generation. In CVPR, 2023. 3
[^40]: Yonatan Shafir, Guy Tevet, Roy Kapon, and Amit H. Bermano. Human motion diffusion as a generative prior. arXiv preprint arXiv:2303.01418, 2023. 3, 4
[^41]: Jascha Sohl-Dickstein, Eric Weiss, Niru Maheswaranathan, and Surya Ganguli. Deep unsupervised learning using nonequilibrium thermodynamics. In ICML. PMLR, 2015. 3
[^42]: Jiaming Song, Chenlin Meng, and Stefano Ermon. Denoising diffusion implicit models. In ICLR, 2020. 3, 4, 6, 7, 8
[^43]: Adrian Spurr, Jie Song, Seonwook Park, and Otmar Hilliges. Cross-modal deep variational hand pose estimation. In CVPR, 2018. 2, 3
[^44]: Adrian Spurr, Umar Iqbal, Pavlo Molchanov, Otmar Hilliges, and Jan Kautz. Weakly supervised 3d hand pose estimation via biomechanical constraints. In ECCV, 2020. 2, 3
[^45]: Xiao Tang, Tianyu Wang, and Chi-Wing Fu. Towards accurate alignment in real-time 3D hand-mesh reconstruction. In ICCV, 2021. 2, 3, 8
[^46]: Jonathan Taylor, Vladimir Tankovich, Danhang Tang, Cem Keskin, David Kim, Philip Davidson, Adarsh Kowdle, and Shahram Izadi. Articulated distance fields for ultra-fast tracking of hands interacting. TOG, 2017. 2, 3
[^47]: Guy Tevet, Sigal Raab, Brian Gordon, Yoni Shafir, Daniel Cohen-or, and Amit Haim Bermano. Human motion diffusion model. In ICLR, 2023. 3, 4
[^48]: Garvita Tiwari, Dimitrije Antić, Jan Eric Lenssen, Nikolaos Sarafianos, Tony Tung, and Gerard Pons-Moll. Pose-ndf: Modeling human pose manifolds with neural distance fields. In ECCV, 2022. 2, 3, 6
[^49]: Chengde Wan, Thomas Probst, Luc Van Gool, and Angela Yao. Crossing nets: Combining gans and vaes with a shared latent space for hand pose estimation. In CVPR, 2017. 2, 3
[^50]: Jiayi Wang, Franziska Mueller, Florian Bernard, Suzanne Sorli, Oleksandr Sotnychenko, Neng Qian, Miguel A Otaduy, Dan Casas, and Christian Theobalt. Rgb2hands: real-time tracking of 3d hand interactions from monocular rgb video. TOG, 2020. 2, 3
[^51]: Linlin Yang and Angela Yao. Disentangling latent hands for image synthesis and pose estimation. In CVPR, 2019. 2, 3
[^52]: Linlin Yang, Shile Li, Dongheui Lee, and Angela Yao. Aligning latent spaces for 3d hand pose estimation. In ICCV, 2019. 2,3
[^53]: Lixin Yang, Xinyu Zhan, Kailin Li, Wenqiang Xu, Jiefeng Li, and Cewu Lu. Cpf: Learning a contact potential field to model the hand-object interaction. In ICCV, 2021. 2, 3
[^54]: Hongwen Zhang, Yating Tian, Yuxiang Zhang, Mengcheng Li, Liang An, Zhenan Sun, and Yebin Liu. Pymaf-x: Towards well-aligned full-body model regression from monocular images. TPAMI, 2023. 3
[^55]: Jiawei Zhang, Jianbo Jiao, Mingliang Chen, Liangqiong Qu, Xiaobin Xu, and Qingxiong Yang. A hand pose tracking benchmark from stereo matching. In ICIP. IEEE, 2017. 6
[^56]: Xiong Zhang, Qiang Li, Hong Mo, Wenbo Zhang, and Wen Zheng. End-to-end hand mesh recovery from a monocular rgb image. In ICCV, 2019. 2, 3
[^57]: Xiong Zhang, Hongsheng Huang, Jianchao Tan, Hongmin Xu, Cheng Yang, Guozhu Peng, Lei Wang, and Ji Liu. Hand image understanding via deep multi-task learning. In ICCV, 2021. 8
[^58]: Yuxiang Zhang, Zhe Li, Liang An, Mengcheng Li, Tao Yu, and Yebin Liu. Light-weight multi-person total capture using sparse multi-view cameras. In ICCV, 2021. 3
[^59]: Yuxiang Zhang, Hongwen Zhang, Liangxiao Hu, Jiajun Zhang, Hongwei Yi, Shengping Zhang, and Yebin Liu. Proxycap: Real-time monocular full-body capture in world space via human-centric proxy-to-motion learning, 2023. 3
[^60]: Wenping Zhao, Jinxiang Chai, and Ying-Qing Xu. Combining marker-based mocap and rgb-d camera for acquiring high-fidelity hand motion data. In SIGGRAPH, 2012. 2, 3
[^61]: Yuxiao Zhou, Marc Habermann, Weipeng Xu, Ikhsanul Habibie, Christian Theobalt, and Feng Xu. Monocular real-time hand shape and motion capture using multi-modal data. In CVPR, 2020. 2, 3
[^62]: Christian Zimmermann and Thomas Brox. Learning to estimate 3d hand pose from single rgb images. In ICCV, 2017. 6
[^63]: Christian Zimmermann, Duygu Ceylan, Jimei Yang, Bryan Russell, Max J. Argus, and Thomas Brox. Freihand: A dataset for markerless capture of hand pose and shape from single rgb images. In ICCV, 2019. 6,7,8
[^64]: Binghui Zuo, Zimeng Zhao, Wenqian Sun, Wei Xie, Zhou Xue, and Yanggang Wang. Reconstructing interacting hands with interaction prior from monocular images. In ICCV, 2023. 2, 3, 6