# HandBooster：通过条件合成与手物交互采样来提升3D手网格重建效果

徐浩 $^{1}$ 李海鹏 $^{2}$ 王银乔 $^{1}$ 刘帅程 $^{2}$ 傅希文 $^{1}$

$^{1}$香港中文大学

$^{2}$电子科技大学

{xuhao, yqwang, cwfu}@cse.cuhk.edu.hk, {lihaipeng@std., liushuaicheng@}uestc.edu.cn

## 摘要

从单张图像中鲁棒地重建3D手网格极具挑战性，原因在于现有真实世界数据集的多样性不足。虽然数据合成有助于缓解这一问题，但合成数据与真实数据之间的差距仍阻碍其应用。在本研究中，我们提出了HandBooster，一种通过基于手物交互的条件生成空间训练，并刻意采样该空间以合成有效数据样本，从而提升数据多样性并改善3D手网格重建性能的新方法。首先，我们构建了多功能的、内容感知的条件，引导扩散模型生成具有多样化手部外观、姿态、视角和背景的真实图像；幸运的是，准确的3D标注可免费获得。接着，我们基于相似性感知的分布采样策略设计了全新的条件生成器，用以刻意找出与训练集有区别的新型且逼真的交互姿态。借助我们的方法，多个基线模型在HO3D和DexYCB基准测试中的表现均显著超越当前最先进水平。我们的代码将在<https://github.com/hxwork/HandBooster_Pytorch>上发布。

### 1. 引言

从单张图像中重建3D手网格的任务可支撑广泛的应用，例如AR/VR和人机交互领域。近期提出的数据驱动方法在手物交互场景中展现出了不错的效果。然而，它们的性能很大程度上受限于训练数据，因为现有数据集通常在手部外观/姿态、视角等方面缺乏多样性。

现有的真实场景手部与物体交互数据集主要是在实验室或自然场景中采集的。对于像DexYCB [^8] 和 HO3D [^22] 这类在实验室采集的数据集而言，它们提供了大量手部与物体交互样本，且具备相对精确的3D标注。然而，由于数据采集过程通常十分繁琐，且需要依赖昂贵的动作捕捉系统，因此样本中的变化仍然有限。

![Image](images/0be4e3105ad252b3bd9175cf3f0d8e8399f5fc97a17a5c16fe4885b17641f6ad.jpg)

<div style="text-align: center;">Figure 1. HandBooster significantly improves several baselines, making them SOTA again on both HO3D and DexYCB.</div>

相比之下，对于YouTube-Hands [^40] 这类自然场景数据集来说，数据的变化更为丰富，但它们仅提供伪标签，无法保证标注的准确性。

合成数据，无论是基于渲染还是生成的方法，都是为避免繁琐的数据收集同时确保标注精度的一种变通方案。ObMan [^23]、YCB-Afford [^17] 和 ArtiBoost [^71] 利用 Blender [^16]、Maya [^1] 或 PyRender [^47] 来生成手部渲染图像。然而，由于模拟的手部外观以及前景/背景光照的不一致性，生成结果并不逼真。此外，这些方法还需要大量的额外数据，比如用于光照和背景增强的 HDR 环境贴图。另一方面，生成式方法（如 HOGAN [^31]）能够缓解这些问题，但它们仅考虑新视角合成，并未涉及数据多样性的其他方面。同时，也没有证据表明现有方法在手部网格重建性能上能持续得到改善。总而言之，关键挑战在于如何生成具有可靠标注的真实且多样的手部与物体交互图像。

在本文中，我们提出 HandBooster，旨在通过训练——

---

构建一个关于手部与物体交互的条件生成空间，并有针对性地对该空间进行采样以产生有效的数据样本，从而提升数据多样性并改善 3D 手部网格重建效果。简而言之，我们首先构建多用途的内容感知条件，引导扩散模型生成逼真的图像样本。借此，我们能够可控地生成具有多样化手部外观、姿态、视角和背景的图像，且这些图像无需额外成本就能获得精确的 3D 标注。此外，我们基于相似性感知的分布采样策略设计了一种新颖的条件创建器，用以发现与现有姿态不同的全新交互姿态，从而最大化训练数据的质量。

首先，将输入的 3D 网格直接映射为 2D RGB 值颇具挑战性。因此，我们将这一过程分解为两步：(i) 将 3D 网格投影为更易理解的 2D 图像形式，同时保留其几何信息；(ii) 将 2D 结果作为扩散模型的条件，以实现可控的逼真图像生成。在各类 2D 条件选项中，受 [^31] 的启发，我们经验性地选择了易于理解且信息量丰富的法线贴图和物体纹理。此外，由于观察到 3D 手部方向的微小变化在 2D 图像中难以察觉，我们便将 3D 手部方向作为附加条件嵌入，以确保生成的图像能反映正确的手部方向。

其次，为了提升重建性能和泛化能力，仅利用现有的手部与物体抓取姿态是不够的。合成的手部与物体交互样本应具备以下特点：(i) 逼真，确保抓取姿态自然；(ii) 多样，涵盖各种抓取姿态；(iii) 新颖，包含前所未见的姿态。为实现 (i)，我们采用基于优化的方法 [^63] 来模拟抓取姿态，随后通过我们的验证策略筛选出自然的姿态。为促进 (ii) 和 (iii)，我们进一步提出了相似性感知采样策略，包括分布内最远姿态采样策略，以避免在真实数据和合成数据中出现重复或相似的姿态；还有跨分布采样策略，以提高采样到新颖生成姿态的可能性。最后，我们利用生成的样本结合真实数据对多个基准模型进行训练，结果显示它们的性能相比现有最优方法有了显著提升；详见图 1。

我们的主要贡献总结如下。

- 我们提出了HandBooster，这是一种全新的生成式框架。该框架利用内容感知条件来合成逼真的手-物体图像，这些图像具有多样的手部外观、姿态、视角和背景，同时还能提供精确的标注，从而提升重建性能。

- 我们设计了新颖的条件生成器，通过采用分布内最远姿态采样策略和跨分布采样策略，有效生成逼真且多样的新视角与抓取姿态。

- 在两个广泛使用的数据集上进行的大量评估表明，HandBooster在多种方法上均取得了稳定的性能提升，创造了新的SOTA性能纪录。

### 2. 相关工作

3D手部网格重建。针对从RGB图像进行3D手部网格重建的研究已经十分深入。大多数研究通过回归MANO系数[2, 3, 5, 7, 13, 23, 34, 44, 60, 69, 74, 76-79, 81]来解决这一问题。另一些研究则主要回归体素[^32] [^50] [^51] [^70]、隐式函数[^48]以及顶点[^11] [^12] [^21] [^40] [^42] [^43]。尽管网络设计十分精妙，但从单目图像中重建精确的3D手部网格仍颇具挑战性，尤其是在严重遮挡的情况下。因此，一些近期的研究[^9] [^20] [^65] [^66] [^68]试图利用多帧信息。有一项最新研究[^72]利用扩散模型中的先验知识来渲染物体几何形状，以改善日常物体的重建效果。我们的方法与这些研究思路不同，当与几种最新的基线方法结合使用时，便能取得顶尖的性能[^12] [^52] [^66]。

手-物体交互图像合成。迄今为止，探索手-物体交互图像合成的研究寥寥无几。这类研究分为基于渲染的和基于生成的两类。前者采用Blender [^16]、Maya [^1]等渲染工具来生成合成数据。为了生成抓取姿态，一些研究[^17] [^33] [^71]设计了特定算法，而另一些研究[^23]则使用GraspIt [^49]等现成工具，还有近期的研究[^62] [^63] [^67]。然而，当将这些合成数据应用于3D手部网格重建时，与真实世界数据相比，不可避免地会出现明显的域差异，从而导致性能较差。

基于生成的方法能够产生更逼真的图像。HOGAN [^31]利用目标姿态作为引导来合成新视角；但它无法有效生成新抓取姿态的图像，也缺乏其他方面的多样性。另一项研究[^73]利用以生成的手部朝向掩码为条件的扩散模型，在包含物体的RGB图像上生成手部抓取图像。不过，其多样性仍受输入图像的限制，而且标注的缺失严重限制了其在下游应用中的使用。在本研究中，我们能够合成逼真且多样的手-物体交互图像，涵盖各种外观、抓取姿态、物体类型和相机视角，如Fig. 1所示，显著提升了手部网格重建性能。

条件扩散模型。扩散模型是一种生成模型，它采用了热力学中的随机扩散过程 [^55]。此外，它也可以被构建为基于分数的生成模型 [^57] [^58]。近年来，DDPM模型通过离散步骤来建模复杂的数据分布 [^28]。在本研究中，我们主要关注条件生成任务，包括分类器引导 [^18] [^45] 和无分类器 [^27] 方法。尽管LDM [^53]、ControlNet [^75] 或其他相关方法 [^4] [^29] [^30] [^35] [^37] [^41] [^46] [^54] [^56] [^64] 看似可作为我们研究的潜在工具，但它们主要是为生成高分辨率图像而设计的。

---

![Image](images/ee6292fb2a0cafefab141fe6d8876807796660a2e6d0aac5a7e9b3cb0a753e04.jpg)

<div style="text-align: center;">Figure 2. Our HandBooster framework. (i) The Novel Condition Creator prepares and samples diverse and novel grasping poses against real-world and synthetic distributions to create conditions. (ii) The Hand-Object Image Synthesizer follows the conditions to generate image samples. (iii) The synthesized samples can then be employed to effectively train different types of reconstruction models.</div>

这些方法利用预训练模型中的数据先验，但缺乏针对3D手网格重建任务的具体设计，例如合理的手物交互和手部方向感知。在本研究中，我们提出了多种内容感知条件来引导DDPM，从而展现出良好的可控性以及精细且逼真的生成结果。

### 3. 方法

#### 3.1. 概述

图2展示了整个HandBooster框架。首先，我们构建了手物图像合成器，它利用内容感知条件来生成兼容的手物图像（见第3.2节）。接下来，为了最大化其效能，我们设计了新颖的条件创建器，旨在准备并采样出逼真、多样且新颖的抓取姿态作为条件（见第3.3节）。结合两者的优势，我们就能有效生成带有标注的逼真手物图像，用于训练各类重建模型（见第3.4节）。

#### 3.2. 手物图像合成器

我们首先描述利用我们的手物图像合成器，从给定的3D手网格m生成逼真图像的过程。为了解决在3D坐标空间与2D图像空间之间建立映射这一难题，我们借鉴了[^27] [^53]的思路，将这一过程分解为两个步骤。首先，我们进行3D到2D的投影，同时保留足以构建内容感知条件的足够信息；随后，我们利用这些条件来引导条件扩散模型，生成逼真的手物图像。

内容感知条件。为了尽量减少3D到2D投影过程中的信息丢失，并降低学习难度，我们旨在选择具有信息量和可解释性的条件来合成手-物体图像。我们考虑了几种二维格式的候选条件，包括骨架、分割图、纹理图、深度图和法线图，它们可分为两类：深度图和法线图包含更多的拓扑信息，而其他图则更具语义性。为了取得平衡，合理的解决方案是从每类中各选一个。如图3所示，纹理图同时包含形状和颜色信息，因此因其高信息量而被选中。此外，由于与深度图相比，手和物体的不同部分在法线图中更易区分，故法线图也因易于解释而被选用。然而，仅依赖二维图像无法捕捉3D手部方向的细微变化，从而导致重建过程中在相机空间产生较大的回归误差。因此，我们设计了另一种条件来促进对方向敏感的生成：将手部方向用四元数表示，嵌入潜空间，并融入扩散模型的多个阶段。这种处理方式能更好地应对手部方向的变化，并为图像合成中生成手臂（未包含在条件中）提供线索。

可控的真实感图像合成。我们首先利用无分类器扩散模型[^27] [^28]来进行手-物体图像的可控生成。前向扩散是一个由扩散步骤构成的马尔可夫链，在此过程中，高斯噪声会逐渐添加到真实世界的数据样本$\mathbf{x}_0 \sim q(\mathbf{x})$上，从而产生一个含噪的过渡序列$\mathbf{x}_1, \mathbf{x}_2, \ldots, \mathbf{x}_T$。为便于训练，我们采用遵循[^38]的参数化方法，在任意时间戳采样$\mathbf{x}_t$。接着，我们采用类UNet的无分类器去噪模型$f_\theta(\cdot)$来学习逆向扩散过程，利用我们的内容感知条件从各向同性的高斯噪声中控制手-物体图像的生成。训练完成后，我们便能得到一个可控模型，能够按照内容感知条件合成具有精细细节的高质量图像。

训练期间，$\mathbf{x}_0 \in \mathbb{R}^{128 \times 128 \times 3}$是与3D手部网格重建所用的同一图像。为了提升

---

![Image](images/3ae5c4b34fa9874b16a6845945072f1a83928668dbacba63990b2076f516ad84.jpg)

<div style="text-align: center;">Figure 3. Condition candidates. Normal and texture maps are more informative than others; see the red/yellow bounding boxes.</div>

生成数据的质量并将其应用于我们的任务，我们将内容感知条件$\mathbf{y}$与$\mathbf{x}_t$及t结合，利用去噪模型$\hat{\mathbf{x}}_0$生成样本$f_\theta(\cdot)$。

 $$ \begin{array}{r}{\hat{\mathbf{x}}_{0}=f_{\theta}(\mathrm{C o n c a t}(\mathbf{n},\mathbf{c}),\mathbf{h}_{q},\mathrm{P E}(t)),}\end{array} $$

其中，Concat($\cdot$)表示通道级联操作；n和c分别代表法线图和纹理图；$h_q$是手部方向，用四元数表示以确保连续性；时间戳t通过位置嵌入（PE）[^61]进行编码。遵循[^37]的方法，我们让去噪模型$f_\theta(\cdot)$预测RGB值，并与$\mathbf{x}_0$计算L2损失。正式表达如下：

 $$ \mathcal{L}_{D M}=\mathbf{w}\frac{\bar{\alpha}_{t}}{1-\bar{\alpha}_{t}}||\hat{\mathbf{x}}_{0}-\mathbf{x}_{0}||_{2}^{2}, $$

其中，w是一个像素级的权重图，用于增强前景部分的生成质量，因为背景的生成质量相对不那么重要。我们以手-物体分割图作为掩码，并将背景的权重设为0.1。

在反向扩散过程中，合成样本$\hat{\mathbf{x}}_0$是从随机采样的高斯噪声$\mathbf{x}_t \in \mathcal{N}(\mathbf{0}, \mathbf{I})$中生成的，同时会结合内容感知条件$\mathbf{n}$、$\mathbf{c}$和$\mathbf{h}_q$。经过一定的时间步后，生成的图像$\hat{\mathbf{x}}_0$会变得逼真，而输入的3D网格$\mathbf{m}$正是对应的真实数据，二者便构成了一对训练样本$(\hat{\mathbf{x}}_0, \mathbf{m})$。

边缘情况过滤。尽管我们能够有效生成逼真的图像，但很难完全避免不希望出现的伪影，因此过滤步骤必不可少。为了减轻使用这类图像样本训练重建模型所带来的负面影响，我们提出了一种筛选流程来剔除边缘情况样本。具体来说，我们采用在同一训练集上预训练的3D手部网格重建模型来评估生成的图像$\hat{x}_0$。在此过程中，我们会计算预测结果与对应真实数据m之间的3D关节误差和顶点误差。由于该模型理应对符合真实世界数据分布的有效合成图像给出合理结果，因此我们会排除那些误差超出预设阈值的边缘情况样本。

#### 3.3. 新型条件生成器

为了让重建模型能够有效泛化以处理未见过的场景，同时避免潜在的过拟合问题，纳入多样化的手-物体交互姿态至关重要。然而，仅仅扩充现有条件只能产生新的视角，这种方式不足以提升重建性能。因此，我们设计了这种新型条件生成器，通过寻找未见过的姿态，并利用我们的分布采样策略将其与现有姿态相结合，从而构建出新颖且多样的条件。

姿态准备。我们首先尝试充分利用当前训练集中的抓取姿态，通过增强其手部方向来实现这一点。由于并非所有帧都涉及物体抓取，因此数据被分为“抓取”和“非抓取”两部分。只有“抓取”姿态会被增强以合成新视角，其余部分则保持不变，以保留真实的动作特征。不过，现有数据集[^8] [^22]并未提供抓取状态的标签，因此我们需要自动从物体姿态中推导出抓取状态。我们计算初始姿态与当前姿态之间的各向同性相对旋转误差（RRE）和相对平移误差（RTE）：

 $$ \mathrm{R R E}=\operatorname{a r c c o s}(\frac{\operatorname{t r a c e}\left(\mathbf{o}_{r}^{t}{}^{T}\mathbf{o}_{r}^{0}-1\right)}{2}),\mathrm{R T E}=||\mathbf{o}_{t}^{t}-\mathbf{o}_{t}^{0}||_{2}, $$

其中$\mathbf{o}_r$和$\mathbf{o}_t$分别表示物体的旋转矩阵和平移向量；上标0和t分别对应同一序列中的第一帧和第t帧。如果误差超过预设阈值（根据经验，RRE的阈值设为$5^\circ$，RTE的阈值设为10毫米），则该帧被标记为“抓取”。为了生成新视角，我们会在一定范围内扰动“抓取”姿态的方向，随后将其作为条件使用。

接下来，我们重点生成新颖的手部-物体抓取姿态。具体来说，我们使用与DexYCB [^6]中相同的YCB [^8]物体，通过模拟物体从随机高度落到平面的过程来获取初始姿态。为了生成抓取姿态，我们采用了近期的研究成果[^63]，因其收敛速度快且成功率较高。详情请参阅[^67]。我们对每个物体进行10,000次此类模拟。尽管已施加惩罚项以鼓励真实性，但仍有不理想的姿态存在。因此，我们设计了验证流程来筛选高质量姿态。合格的姿态需满足三个条件：(i)手部必须与物体接触（对于细小或薄型物体可能无法成功抓取）；(ii)不存在明显的手部-物体交叉现象（交叉部分的体积应小于预设阈值）；(iii)手部自身无穿透现象。最后，为避免引入域差异，我们将生成的姿态方向对齐为训练集中的随机方向，并施加扰动作为数据增强。

分布内采样。抓取姿态在一定程度上取决于物体的初始姿态。然而，可

---

```pseudo
// Algorithm 1: Farthest Pose Sampling Algorithm

```

数据：姿态集合P，采样姿态数量M
结果：采样后的姿态集合Q
 $\mathbf{Q} \leftarrow \varnothing \cup \{\mathbf{v}_0 \in _R \mathbf{P}\}$;
while $|\mathbf{Q}| < M$ do
     $\mathbf{v}_{max} \leftarrow$ None;
     $d_{max} \leftarrow -\infty$;
    for $\mathbf{v}_i \in \mathbf{P}$, $\mathbf{v}_i \notin \mathbf{Q}$ do
         $d_i \leftarrow \min_{\mathbf{v}_j \in \mathbf{Q}} D_c(\mathbf{v}_i, \mathbf{v}_j)$;
        if $d_i > d_{max}$ then
             $d_{max} \leftarrow d_i$;
             $\mathbf{v}_{max} \leftarrow \mathbf{v}_i$;
        end
    end
     $\mathbf{Q} \leftarrow \mathbf{Q} \cup \{\mathbf{v}_{max}\}$;
end

可行的抓取姿态本质上受物体形状的限制，例如碗只能平放或倒置在平面上，且每种姿态的抓取方式极为有限。虽然可以多次抓取同一物体，但生成的姿态可能彼此过于相似，因为不同抓取姿态出现的概率并不相等。为了提升姿态多样性并避免某些姿态主导整个分布，受[^19]启发，我们提出了一种最远姿态采样（FPS）策略，旨在为每个物体类别尽可能均匀地选取姿态。

对于真实世界和合成数据的抓取姿态集合$\mathbf{P}_r$与$\mathbf{P}_s$，我们分别执行这种分布内采样，得到采样后的集合$\mathbf{Q}_r$和$\mathbf{Q}_s$。为简洁起见，此处省略下标。姿态向量$\mathbf{v}$的定义如下：

 $$ \mathbf{v}=\operatorname{C o n c a t}(\mathbf{h}_{s},\mathbf{o}_{q},\mathbf{o}_{t}),\quad\mathbf{v}\in\mathbb{R}^{n} $$

其中$\mathbf{h}_s$和$\mathbf{o}_q$分别表示手部姿态和物体旋转的四元数表示。注意，抓取姿态中已去除全局方向信息，这意味着我们在规范姿态下计算距离。如算法1所述，FPS首先利用输入姿态集合$\mathbf{Q}$中的随机样本$\mathbf{v}_0$初始化采样姿态集合$\mathbf{P}$。当$\mathbf{Q}$中的样本数量少于M（真实数据和合成数据分别用M和N表示）时，算法会遍历$\mathbf{P}$中剩余的姿态，并迭代选取与$\mathbf{v}_{max}$中距离最近的$d_{max}$，该距离由$\mathbf{Q}$衡量。两个姿态向量$\mathbf{v}_i \in \mathbf{P}$、$\mathbf{v}_i \notin \mathbf{Q}$和$\mathbf{v}_j \in \mathbf{Q}$之间的距离通过余弦距离$D_c(\cdot, \cdot)$计算，即：

 $$ D_{c}(\mathbf{v}_{i},\mathbf{v}_{j})=\frac{\mathbf{v}_{i}\cdot\mathbf{v}_{j}}{||\mathbf{v}_{i}||||\mathbf{v}_{j}||}=\frac{\sum_{k=1}^{n}v_{i}^{k}v_{j}^{k}}{\sqrt{\sum_{k=1}^{n}v_{i}^{k^{2}}}\cdot\sqrt{\sum_{k=1}^{n}v_{j}^{k^{2}}}}. $$

如图4（左）所示，采用我们的FPS策略后，采样得到的姿态彼此间更具差异性。

跨分布采样。同样，合成数据中的抓取姿态也需具备新颖性和多样性。仅仅

![Image](images/9c17d0f8bfe8d2cf56874a8645c20e346204853816c5faa3f95630ad086d51f0.jpg)

![Image](images/1e4b4efa5e17fc19a166160f03541864b72ef0db74810d0eaec9281775850d7b.jpg)

<div style="text-align: center;">Similarity hist. in cross-dist. sampling</div>

<div style="text-align: center;">Figure 4. Visualizations in sampling. For three object categories in HO3D, we show the similarity of sampled real-world poses with our FPS or random sampling (left) and the histograms of similarity between sampled real-world and synthetic poses (right).</div>

将它们与真实世界的姿态混合会导致分布不均，如图4（右侧）所示，这是由于存在相似的样本。虽然我们的FPS策略能够缓解这一问题，但无法确保充分包含真实世界的姿态，因为$M \ll N$，例如在HO3D数据集中M=10且N=500。此外，可能的独特姿态数量未知，因此很难定义识别不同姿态类别的精确标准。因此，我们利用真实世界姿态与合成姿态之间的相似性关系，来自适应地控制合成数据的采样概率。具体来说，对于每个物体类别，我们计算相似性矩阵，并将其转换为用于采样过程的离散概率分布P：

 $$ P(X=\mathbf{v}_{i}^{s})=\operatorname{N o r m}(\sum_{j=1}^{M}(1-D_{c}(\mathbf{v}_{i}^{s},\mathbf{v}_{j}^{r}))), $$

其中$\mathbf{v}_i^s \in \mathbf{Q}_s$且$\mathbf{v}_j^r \in \mathbf{Q}_r$。Norm($\cdot$)表示最小-最大归一化。合成姿态的采样概率与其对所有真实世界姿态的相似度成反比，从而生成更均衡的分布。

#### 3.4. 手部网格重建

在从单张RGB图像进行3D手部网格重建的任务中，目标是估计3D手部姿态和形状。为了验证我们方法的有效性，我们将其应用于训练两种常用流程，即基于MANO的方法和基于顶点的方法。前者使用预定义的模板来表示手部，并利用MANO系数来控制其姿态和形状，这些系数直接从输入图像提取的特征中回归得到。后者通常以由粗到精的方式回归手部顶点的3D坐标。在本研究中，我们选取三种近期方法作为基线：HandOccNet（基于MANO）、MobRecon（基于顶点）和H2ONet（基于顶点）。它们不仅采用不同的手部网格表示方法，还使用独特的网络架构和可扩展的输入分辨率。通过将我们生成的数据应用于这些基线，我们可以有效评估我们方法的泛化能力和通用性。

---

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td rowspan="2"></td><td rowspan="2">Methods</td><td colspan="6">Procrustes Alignment</td><td colspan="6">Root-relative</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>J-PE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>J-AUC $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>V-PE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>V-AUC $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>F@5 $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>F@15 $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>J-PE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>J-AUC $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>V-PE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>V-AUC $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>F@5 $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>F@15 $\uparrow$</td></tr><tr><td rowspan="5">Multi-frame</td><td style='text-align: center; word-wrap: break-word;'>S2Hand [^13]</td><td style='text-align: center; word-wrap: break-word;'>7.3</td><td style='text-align: center; word-wrap: break-word;'>85.5</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>VIBE [^39]</td><td style='text-align: center; word-wrap: break-word;'>6.4</td><td style='text-align: center; word-wrap: break-word;'>87.1</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>TCMR [^15]</td><td style='text-align: center; word-wrap: break-word;'>6.3</td><td style='text-align: center; word-wrap: break-word;'>87.5</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>H2ONet [^66]</td><td style='text-align: center; word-wrap: break-word;'>5.3</td><td style='text-align: center; word-wrap: break-word;'>89.4</td><td style='text-align: center; word-wrap: break-word;'>5.2</td><td style='text-align: center; word-wrap: break-word;'>89.6</td><td style='text-align: center; word-wrap: break-word;'>80.5</td><td style='text-align: center; word-wrap: break-word;'>99.3</td><td style='text-align: center; word-wrap: break-word;'>13.7</td><td style='text-align: center; word-wrap: break-word;'>74.8</td><td style='text-align: center; word-wrap: break-word;'>12.7</td><td style='text-align: center; word-wrap: break-word;'>76.6</td><td style='text-align: center; word-wrap: break-word;'>52.1</td><td style='text-align: center; word-wrap: break-word;'>92.3</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Deformer [^20]</td><td style='text-align: center; word-wrap: break-word;'>5.2</td><td style='text-align: center; word-wrap: break-word;'>89.6</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td rowspan="11">Monocular</td><td style='text-align: center; word-wrap: break-word;'>METRO [^42]</td><td style='text-align: center; word-wrap: break-word;'>7.0</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>15.2</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Spurr et al. [^59]</td><td style='text-align: center; word-wrap: break-word;'>6.8</td><td style='text-align: center; word-wrap: break-word;'>86.4</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>17.3</td><td style='text-align: center; word-wrap: break-word;'>69.8</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>MeshGraphormer [^43]</td><td style='text-align: center; word-wrap: break-word;'>6.4</td><td style='text-align: center; word-wrap: break-word;'>87.2</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>15.2</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Liu et al. [^44]</td><td style='text-align: center; word-wrap: break-word;'>6.6</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>15.3</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Tse et al. [^60]</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>16.1</td><td style='text-align: center; word-wrap: break-word;'>72.2</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HandOccNet [^52]</td><td style='text-align: center; word-wrap: break-word;'>5.8</td><td style='text-align: center; word-wrap: break-word;'>88.4</td><td style='text-align: center; word-wrap: break-word;'>5.5</td><td style='text-align: center; word-wrap: break-word;'>89.0</td><td style='text-align: center; word-wrap: break-word;'>78.0</td><td style='text-align: center; word-wrap: break-word;'>99.0</td><td style='text-align: center; word-wrap: break-word;'>14.0</td><td style='text-align: center; word-wrap: break-word;'>74.8</td><td style='text-align: center; word-wrap: break-word;'>13.1</td><td style='text-align: center; word-wrap: break-word;'>76.6</td><td style='text-align: center; word-wrap: break-word;'>51.5</td><td style='text-align: center; word-wrap: break-word;'>92.4</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>+ Our HandBooster</td><td style='text-align: center; word-wrap: break-word;'>5.2</td><td style='text-align: center; word-wrap: break-word;'>89.6</td><td style='text-align: center; word-wrap: break-word;'>5.0</td><td style='text-align: center; word-wrap: break-word;'>89.9</td><td style='text-align: center; word-wrap: break-word;'>81.3</td><td style='text-align: center; word-wrap: break-word;'>99.2</td><td style='text-align: center; word-wrap: break-word;'>11.9</td><td style='text-align: center; word-wrap: break-word;'>77.8</td><td style='text-align: center; word-wrap: break-word;'>11.5</td><td style='text-align: center; word-wrap: break-word;'>78.5</td><td style='text-align: center; word-wrap: break-word;'>55.6</td><td style='text-align: center; word-wrap: break-word;'>93.6</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>MobRecon [^12]</td><td style='text-align: center; word-wrap: break-word;'>6.4</td><td style='text-align: center; word-wrap: break-word;'>87.3</td><td style='text-align: center; word-wrap: break-word;'>5.6</td><td style='text-align: center; word-wrap: break-word;'>88.9</td><td style='text-align: center; word-wrap: break-word;'>78.5</td><td style='text-align: center; word-wrap: break-word;'>98.8</td><td style='text-align: center; word-wrap: break-word;'>14.2</td><td style='text-align: center; word-wrap: break-word;'>73.7</td><td style='text-align: center; word-wrap: break-word;'>13.1</td><td style='text-align: center; word-wrap: break-word;'>76.1</td><td style='text-align: center; word-wrap: break-word;'>50.8</td><td style='text-align: center; word-wrap: break-word;'>92.1</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>+ Our HandBooster</td><td style='text-align: center; word-wrap: break-word;'>6.2</td><td style='text-align: center; word-wrap: break-word;'>87.6</td><td style='text-align: center; word-wrap: break-word;'>5.4</td><td style='text-align: center; word-wrap: break-word;'>89.3</td><td style='text-align: center; word-wrap: break-word;'>79.2</td><td style='text-align: center; word-wrap: break-word;'>99.1</td><td style='text-align: center; word-wrap: break-word;'>13.2</td><td style='text-align: center; word-wrap: break-word;'>74.9</td><td style='text-align: center; word-wrap: break-word;'>12.3</td><td style='text-align: center; word-wrap: break-word;'>76.6</td><td style='text-align: center; word-wrap: break-word;'>51.8</td><td style='text-align: center; word-wrap: break-word;'>92.5</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>H2ONet [^66]</td><td style='text-align: center; word-wrap: break-word;'>5.7</td><td style='text-align: center; word-wrap: break-word;'>88.9</td><td style='text-align: center; word-wrap: break-word;'>5.5</td><td style='text-align: center; word-wrap: break-word;'>89.1</td><td style='text-align: center; word-wrap: break-word;'>80.1</td><td style='text-align: center; word-wrap: break-word;'>99.0</td><td style='text-align: center; word-wrap: break-word;'>14.0</td><td style='text-align: center; word-wrap: break-word;'>74.6</td><td style='text-align: center; word-wrap: break-word;'>13.0</td><td style='text-align: center; word-wrap: break-word;'>76.2</td><td style='text-align: center; word-wrap: break-word;'>51.3</td><td style='text-align: center; word-wrap: break-word;'>92.1</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>+ Our HandBooster</td><td style='text-align: center; word-wrap: break-word;'>5.1</td><td style='text-align: center; word-wrap: break-word;'>89.8</td><td style='text-align: center; word-wrap: break-word;'>5.1</td><td style='text-align: center; word-wrap: break-word;'>89.8</td><td style='text-align: center; word-wrap: break-word;'>81.3</td><td style='text-align: center; word-wrap: break-word;'>99.2</td><td style='text-align: center; word-wrap: break-word;'>12.9</td><td style='text-align: center; word-wrap: break-word;'>76.0</td><td style='text-align: center; word-wrap: break-word;'>12.5</td><td style='text-align: center; word-wrap: break-word;'>76.5</td><td style='text-align: center; word-wrap: break-word;'>52.1</td><td style='text-align: center; word-wrap: break-word;'>92.2</td></tr></table>

<div style="text-align: center;">Table 1. Results on “S0” (default) data split of DexYCB. -: unavailable results. Our method consistently boosts all three baselines.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td rowspan="2">Methods</td><td colspan="7">Procrustes Alignment</td><td colspan="7">Root-relative</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>J-PE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>J-AUC $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>V-PE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>V-AUC $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>F@5 $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>F@15 $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>J-PE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>J-AUC $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>V-PE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>V-AUC $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>F@5 $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>F@15 $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td></tr><tr><td style='text-align: center; word-wrap: break-word;'>[^52]</td><td style='text-align: center; word-wrap: break-word;'>6.6</td><td style='text-align: center; word-wrap: break-word;'>86.8</td><td style='text-align: center; word-wrap: break-word;'>6.3</td><td style='text-align: center; word-wrap: break-word;'>87.3</td><td style='text-align: center; word-wrap: break-word;'>72.1</td><td style='text-align: center; word-wrap: break-word;'>98.4</td><td style='text-align: center; word-wrap: break-word;'>17.4</td><td style='text-align: center; word-wrap: break-word;'>67.6</td><td style='text-align: center; word-wrap: break-word;'>16.8</td><td style='text-align: center; word-wrap: break-word;'>68.5</td><td style='text-align: center; word-wrap: break-word;'>40.7</td><td style='text-align: center; word-wrap: break-word;'>86.2</td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td></tr><tr><td style='text-align: center; word-wrap: break-word;'>+ Ours</td><td style='text-align: center; word-wrap: break-word;'>6.1 +0.5</td><td style='text-align: center; word-wrap: break-word;'>87.8 +1.0</td><td style='text-align: center; word-wrap: break-word;'>5.9 +0.4</td><td style='text-align: center; word-wrap: break-word;'>88.3 +1.0</td><td style='text-align: center; word-wrap: break-word;'>75.4 +3.3</td><td style='text-align: center; word-wrap: break-word;'>98.7 +0.3</td><td style='text-align: center; word-wrap: break-word;'>15.8 +1.6</td><td style='text-align: center; word-wrap: break-word;'>70.4 +2.8</td><td style='text-align: center; word-wrap: break-word;'>15.3 +1.5</td><td style='text-align: center; word-wrap: break-word;'>71.3 +2.8</td><td style='text-align: center; word-wrap: break-word;'>44.1 +3.4</td><td style='text-align: center; word-wrap: break-word;'>88.5 +2.3</td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td></tr><tr><td style='text-align: center; word-wrap: break-word;'>[^12]</td><td style='text-align: center; word-wrap: break-word;'>6.9</td><td style='text-align: center; word-wrap: break-word;'>86.2</td><td style='text-align: center; word-wrap: break-word;'>6.4</td><td style='text-align: center; word-wrap: break-word;'>87.2</td><td style='text-align: center; word-wrap: break-word;'>72.1</td><td style='text-align: center; word-wrap: break-word;'>98.4</td><td style='text-align: center; word-wrap: break-word;'>18.3</td><td style='text-align: center; word-wrap: break-word;'>66.0</td><td style='text-align: center; word-wrap: break-word;'>17.4</td><td style='text-align: center; word-wrap: break-word;'>67.5</td><td style='text-align: center; word-wrap: break-word;'>39.7</td><td style='text-align: center; word-wrap: break-word;'>85.6</td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td></tr><tr><td style='text-align: center; word-wrap: break-word;'>+ Ours</td><td style='text-align: center; word-wrap: break-word;'>6.6 +0.3</td><td style='text-align: center; word-wrap: break-word;'>86.7 +0.5</td><td style='text-align: center; word-wrap: break-word;'>6.1 +0.3</td><td style='text-align: center; word-wrap: break-word;'>87.9 +0.7</td><td style='text-align: center; word-wrap: break-word;'>74.4 +2.3</td><td style='text-align: center; word-wrap: break-word;'>98.6 +0.2</td><td style='text-align: center; word-wrap: break-word;'>17.5 +0.8</td><td style='text-align: center; word-wrap: break-word;'>67.7 +1.7</td><td style='text-align: center; word-wrap: break-word;'>16.7 +0.7</td><td style='text-align: center; word-wrap: break-word;'>69.1 +1.6</td><td style='text-align: center; word-wrap: break-word;'>41.1 +1.4</td><td style='text-align: center; word-wrap: break-word;'>86.8 +1.2</td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td></tr><tr><td style='text-align: center; word-wrap: break-word;'>[^66]</td><td style='text-align: center; word-wrap: break-word;'>6.2</td><td style='text-align: center; word-wrap: break-word;'>87.7</td><td style='text-align: center; word-wrap: break-word;'>6.4</td><td style='text-align: center; word-wrap: break-word;'>87.2</td><td style='text-align: center; word-wrap: break-word;'>72.4</td><td style='text-align: center; word-wrap: break-word;'>98.6</td><td style='text-align: center; word-wrap: break-word;'>17.6</td><td style='text-align: center; word-wrap: break-word;'>67.9</td><td style='text-align: center; word-wrap: break-word;'>17.2</td><td style='text-align: center; word-wrap: break-word;'>68.4</td><td style='text-align: center; word-wrap: break-word;'>39.4</td><td style='text-align: center; word-wrap: break-word;'>86.2</td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td></tr><tr><td style='text-align: center; word-wrap: break-word;'>+ Ours</td><td style='text-align: center; word-wrap: break-word;'>6.0 +0.2</td><td style='text-align: center; word-wrap: break-word;'>88.1 +0.4</td><td style='text-align: center; word-wrap: break-word;'>6.0 +0.4</td><td style='text-align: center; word-wrap: break-word;'>88.1 +0.9</td><td style='text-align: center; word-wrap: break-word;'>75.4 +3.0</td><td style='text-align: center; word-wrap: break-word;'>98.7 +0.1</td><td style='text-align: center; word-wrap: break-word;'>17.0 +0.6</td><td style='text-align: center; word-wrap: break-word;'>68.9 +1.0</td><td style='text-align: center; word-wrap: break-word;'>16.4 +0.8</td><td style='text-align: center; word-wrap: break-word;'>69.7 +1.3</td><td style='text-align: center; word-wrap: break-word;'>41.5 +2.1</td><td style='text-align: center; word-wrap: break-word;'>87.2 +1.0</td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td></tr></table>

<div style="text-align: center;">Table 2. Results on “S1” (unseen subjects) data split of DexYCB. Our method consistently improves all baselines for all metrics.</div>

### 4. 实验

#### 4.1. 实验设置

数据集。我们在实验中使用了以下常用的手-物体基准数据集。(i) DexYCB [^8]（真实世界数据集）：我们使用默认的“S0”划分（训练/测试样本数：406,888/78,768）以及更具挑战性的、包含未见受试者的“S1”划分（训练/测试受试者数：7/2）。(ii) HO3D（版本2）[^22]（真实世界数据集）：注意评估结果只能通过向官方服务器提交来获取。(iii) ObMan [^23]（基于渲染的合成数据集）：我们将其选为我们生成数据的竞争者。需要注意的是，其他基于渲染/生成的数据集并不可用，包括YCB-Afford [^17]（下载链接无法访问）、ArtiBoost [^71]（数据未开源）以及HOGAN [^31]（缺少训练所需的关键文件）。为了展示泛化能力的提升，我们还使用MOW [^7]作为野外测试集，该集提供了512个标注样本。

评估指标。我们采用了常见的评估指标，具体参见[^8]、[^12]、[^22]、[^52]和[^66]。J-PE/V-PE表示根节点相关的关节/顶点位置误差，用于衡量预测与真实的3D手部关节/顶点坐标之间的平均欧几里得距离（单位：毫米）。J-AUC/V-AUC则计算在多个误差阈值下，关节/顶点正确关键点百分比（PCK）曲线下的面积。F@5和F@15分别衡量在5毫米和15毫米阈值下，顶点检测的召回率与精确率的调和平均值。Procrustes对齐（PA）会将估计结果的方向、平移和缩放调整到与真实值匹配。Fréchet Inception距离[^26]（FID）用于衡量图像的保真度。

实现细节。我们采用Adam优化器[^38]来训练扩散模型和重建方法。2D条件为$256 \times 256$，并通过PyRender进行渲染。扩散模型在16块NVIDIA 2080Ti GPU上训练，批量大小为256，学习率为0.00008，分别在DexYCB和HO3D数据集上迭代700,000次和200,000次。更多细节请参阅我们的补充材料。

#### 4.2. 与最先进方法的比较

在DexYCB上的评估。我们首先在DexYCB数据集上进行定量比较。为了验证我们方法的有效性，我们分别对“S0”和“S1”数据划分在PA处理前后进行了指标评估，结果分别见表1和表2。此外，图5（左）展示了更具挑战性的“S1”划分下根节点相关的网格PCK/AUC对比情况。我们的合成数据显著提升了HandOccNet [^52]和基于单目相机的H2ONet [^66]的性能，甚至使它们超过了某些多帧方法，比如Deformer [^20]。由于MobRecon [^12]采用了面向移动设备的设计，其性能提升相对有限；它的能力也受到限制。

---

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'>Methods</td><td style='text-align: center; word-wrap: break-word;'>J-PE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>J-AUC $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>V-PE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>V-AUC $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>F@5 $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>F@15 $\uparrow$</td></tr><tr><td rowspan="9">Multi-frame</td><td style='text-align: center; word-wrap: break-word;'>Hasson et al. [^24]</td><td style='text-align: center; word-wrap: break-word;'>11.4</td><td style='text-align: center; word-wrap: break-word;'>77.3</td><td style='text-align: center; word-wrap: break-word;'>11.4</td><td style='text-align: center; word-wrap: break-word;'>77.3</td><td style='text-align: center; word-wrap: break-word;'>42.8</td><td style='text-align: center; word-wrap: break-word;'>93.2</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Hasson et al. [^25]</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>14.7</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>39.0</td><td style='text-align: center; word-wrap: break-word;'>88.0</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>S2Hand [^13]</td><td style='text-align: center; word-wrap: break-word;'>11.4</td><td style='text-align: center; word-wrap: break-word;'>77.3</td><td style='text-align: center; word-wrap: break-word;'>11.2</td><td style='text-align: center; word-wrap: break-word;'>77.7</td><td style='text-align: center; word-wrap: break-word;'>45.0</td><td style='text-align: center; word-wrap: break-word;'>93.0</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Liu et al. [^44]</td><td style='text-align: center; word-wrap: break-word;'>9.8</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>9.4</td><td style='text-align: center; word-wrap: break-word;'>81.2</td><td style='text-align: center; word-wrap: break-word;'>53.0</td><td style='text-align: center; word-wrap: break-word;'>95.7</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>VIBE [^39]</td><td style='text-align: center; word-wrap: break-word;'>9.9</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>9.5</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>52.6</td><td style='text-align: center; word-wrap: break-word;'>95.5</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>TCMR [^15]</td><td style='text-align: center; word-wrap: break-word;'>11.4</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>10.9</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>46.3</td><td style='text-align: center; word-wrap: break-word;'>93.3</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>TempCLR [^80]</td><td style='text-align: center; word-wrap: break-word;'>10.6</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>10.6</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>48.1</td><td style='text-align: center; word-wrap: break-word;'>93.7</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Deformer [^20]</td><td style='text-align: center; word-wrap: break-word;'>9.4</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>9.1</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>54.6</td><td style='text-align: center; word-wrap: break-word;'>96.3</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>H2ONet [^66]</td><td style='text-align: center; word-wrap: break-word;'>8.5</td><td style='text-align: center; word-wrap: break-word;'>82.9</td><td style='text-align: center; word-wrap: break-word;'>8.6</td><td style='text-align: center; word-wrap: break-word;'>82.8</td><td style='text-align: center; word-wrap: break-word;'>57.0</td><td style='text-align: center; word-wrap: break-word;'>96.6</td></tr><tr><td rowspan="17">Monocular</td><td style='text-align: center; word-wrap: break-word;'>Pose2Mesh [^14]</td><td style='text-align: center; word-wrap: break-word;'>12.5</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>12.7</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>44.1</td><td style='text-align: center; word-wrap: break-word;'>90.9</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>I2L-MeshNet [^50]</td><td style='text-align: center; word-wrap: break-word;'>11.2</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>13.9</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>40.9</td><td style='text-align: center; word-wrap: break-word;'>93.2</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>ObMan [^23]</td><td style='text-align: center; word-wrap: break-word;'>11.1</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>11.0</td><td style='text-align: center; word-wrap: break-word;'>77.8</td><td style='text-align: center; word-wrap: break-word;'>46.0</td><td style='text-align: center; word-wrap: break-word;'>93.0</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HO3D [^22]</td><td style='text-align: center; word-wrap: break-word;'>10.7</td><td style='text-align: center; word-wrap: break-word;'>78.8</td><td style='text-align: center; word-wrap: break-word;'>10.6</td><td style='text-align: center; word-wrap: break-word;'>79.0</td><td style='text-align: center; word-wrap: break-word;'>50.6</td><td style='text-align: center; word-wrap: break-word;'>94.2</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>METRO [^42]</td><td style='text-align: center; word-wrap: break-word;'>10.4</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>11.1</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>48.4</td><td style='text-align: center; word-wrap: break-word;'>94.6</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Liu et al. [^44]</td><td style='text-align: center; word-wrap: break-word;'>10.2</td><td style='text-align: center; word-wrap: break-word;'>79.7</td><td style='text-align: center; word-wrap: break-word;'>9.8</td><td style='text-align: center; word-wrap: break-word;'>80.4</td><td style='text-align: center; word-wrap: break-word;'>52.9</td><td style='text-align: center; word-wrap: break-word;'>95.0</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>I2UV-HandNet [^10]</td><td style='text-align: center; word-wrap: break-word;'>9.9</td><td style='text-align: center; word-wrap: break-word;'>80.4</td><td style='text-align: center; word-wrap: break-word;'>10.1</td><td style='text-align: center; word-wrap: break-word;'>79.9</td><td style='text-align: center; word-wrap: break-word;'>50.0</td><td style='text-align: center; word-wrap: break-word;'>94.3</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Tse et al. [^60]</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>10.9</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>48.5</td><td style='text-align: center; word-wrap: break-word;'>94.3</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>AMVUR [^36]</td><td style='text-align: center; word-wrap: break-word;'>8.3</td><td style='text-align: center; word-wrap: break-word;'>83.5</td><td style='text-align: center; word-wrap: break-word;'>8.2</td><td style='text-align: center; word-wrap: break-word;'>83.6</td><td style='text-align: center; word-wrap: break-word;'>60.8</td><td style='text-align: center; word-wrap: break-word;'>96.5</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HandOccNet [^52]</td><td style='text-align: center; word-wrap: break-word;'>9.1</td><td style='text-align: center; word-wrap: break-word;'>81.9</td><td style='text-align: center; word-wrap: break-word;'>9.0</td><td style='text-align: center; word-wrap: break-word;'>81.9</td><td style='text-align: center; word-wrap: break-word;'>56.1</td><td style='text-align: center; word-wrap: break-word;'>96.2</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HandOccNet $^{{*}}$ [^52]</td><td style='text-align: center; word-wrap: break-word;'>9.6</td><td style='text-align: center; word-wrap: break-word;'>80.8</td><td style='text-align: center; word-wrap: break-word;'>9.6</td><td style='text-align: center; word-wrap: break-word;'>80.7</td><td style='text-align: center; word-wrap: break-word;'>52.4</td><td style='text-align: center; word-wrap: break-word;'>95.4</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>+ Our HandBooster</td><td style='text-align: center; word-wrap: break-word;'>8.5</td><td style='text-align: center; word-wrap: break-word;'>82.9</td><td style='text-align: center; word-wrap: break-word;'>8.6</td><td style='text-align: center; word-wrap: break-word;'>82.9</td><td style='text-align: center; word-wrap: break-word;'>57.7</td><td style='text-align: center; word-wrap: break-word;'>97.2</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>MobRecon [^12]</td><td style='text-align: center; word-wrap: break-word;'>9.4</td><td style='text-align: center; word-wrap: break-word;'>81.3</td><td style='text-align: center; word-wrap: break-word;'>9.5</td><td style='text-align: center; word-wrap: break-word;'>81.0</td><td style='text-align: center; word-wrap: break-word;'>53.3</td><td style='text-align: center; word-wrap: break-word;'>95.5</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>MobRecon $^{{†}}$ [^12]</td><td style='text-align: center; word-wrap: break-word;'>9.2</td><td style='text-align: center; word-wrap: break-word;'>81.6</td><td style='text-align: center; word-wrap: break-word;'>9.4</td><td style='text-align: center; word-wrap: break-word;'>81.2</td><td style='text-align: center; word-wrap: break-word;'>53.8</td><td style='text-align: center; word-wrap: break-word;'>95.7</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>+ Our HandBooster</td><td style='text-align: center; word-wrap: break-word;'>8.7</td><td style='text-align: center; word-wrap: break-word;'>82.6</td><td style='text-align: center; word-wrap: break-word;'>8.8</td><td style='text-align: center; word-wrap: break-word;'>82.5</td><td style='text-align: center; word-wrap: break-word;'>56.1</td><td style='text-align: center; word-wrap: break-word;'>97.0</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>H2ONet [^66]</td><td style='text-align: center; word-wrap: break-word;'>9.0</td><td style='text-align: center; word-wrap: break-word;'>82.0</td><td style='text-align: center; word-wrap: break-word;'>9.0</td><td style='text-align: center; word-wrap: break-word;'>81.9</td><td style='text-align: center; word-wrap: break-word;'>55.4</td><td style='text-align: center; word-wrap: break-word;'>96.0</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>+ Our HandBooster</td><td style='text-align: center; word-wrap: break-word;'>8.2</td><td style='text-align: center; word-wrap: break-word;'>83.6</td><td style='text-align: center; word-wrap: break-word;'>8.4</td><td style='text-align: center; word-wrap: break-word;'>83.2</td><td style='text-align: center; word-wrap: break-word;'>58.5</td><td style='text-align: center; word-wrap: break-word;'>97.2</td></tr></table>

<div style="text-align: center;">Table 3. Results on HO3D (Procrustes Alignment).*: reproduced results using its official code.  $\dagger$: complement data is used. -: unavailable results. Our method brings improvement consistently.</div>

这种限制源于其较低的浮点运算次数（0.46G）和参数数量（8.23M），相比之下，H2ONet分别为0.74G/25.88M，HandOccNet则为15.47G/37.22M。我们的HandBooster在所有指标和两个数据划分上都能稳定提升这三种基线模型的性能，这充分证明了其有效性。它仅以单视图作为输入，性能甚至超过了多帧方法（见表1）。

在HO3D上的评估。我们在HO3D数据集上也进行了相同的实验。由于测试集的真实标签并未公开，部分结果来自先前的研究论文和官方评估服务器。表3和表4分别展示了PA处理前后的结果。为了便于比较，我们还提供了PA处理后的网格PCK/AUC数据，如图5（右）所示。显然，在生成数据的助力下，所有基线模型在所有指标上的精度均得到稳步提升，这充分体现了我们方法的卓越有效性和鲁棒性。为了直观展示对比效果，我们在图6（c）中呈现了应用该方法前后的视觉对比结果。得益于生成数据中丰富且新颖的样本，这些基线模型即便在输入图像存在严重遮挡的情况下，也能生成合理的形状并准确估计手部的朝向。

图6(a-b)和(d)展示了在DexYCB上的定性结果。注意，我们直接使用在DexYCB的“S0”子集上预训练的模型来测试MOW。对比使用我们的数据与未使用时的结果，性能提升明显体现了HandBooster的有效性与泛化能力。图7展示了一些具有新视角/姿态的生成样本，其中与条件的细粒度对齐以及逼真的外观均体现了HandBooster的可控性。更多结果详见补充材料。

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Methods</td><td style='text-align: center; word-wrap: break-word;'>J-PE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>J-AUC $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>V-PE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>V-AUC $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>F@5 $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>F@15 $\uparrow$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>[^52]</td><td style='text-align: center; word-wrap: break-word;'>24.9</td><td style='text-align: center; word-wrap: break-word;'>53.9</td><td style='text-align: center; word-wrap: break-word;'>24.2</td><td style='text-align: center; word-wrap: break-word;'>55.1</td><td style='text-align: center; word-wrap: break-word;'>26.0</td><td style='text-align: center; word-wrap: break-word;'>72.9</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>[^52] $^{{*}}$</td><td style='text-align: center; word-wrap: break-word;'>25.1</td><td style='text-align: center; word-wrap: break-word;'>53.3</td><td style='text-align: center; word-wrap: break-word;'>24.5</td><td style='text-align: center; word-wrap: break-word;'>54.4</td><td style='text-align: center; word-wrap: break-word;'>25.6</td><td style='text-align: center; word-wrap: break-word;'>72.8</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>+ Ours</td><td style='text-align: center; word-wrap: break-word;'>21.1 +4.0</td><td style='text-align: center; word-wrap: break-word;'>59.4 +6.1</td><td style='text-align: center; word-wrap: break-word;'>20.5 +4.0</td><td style='text-align: center; word-wrap: break-word;'>60.4 +6.0</td><td style='text-align: center; word-wrap: break-word;'>28.7 +3.1</td><td style='text-align: center; word-wrap: break-word;'>77.9 +5.1</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>[^12]</td><td style='text-align: center; word-wrap: break-word;'>25.2</td><td style='text-align: center; word-wrap: break-word;'>53.7</td><td style='text-align: center; word-wrap: break-word;'>24.4</td><td style='text-align: center; word-wrap: break-word;'>55.0</td><td style='text-align: center; word-wrap: break-word;'>26.4</td><td style='text-align: center; word-wrap: break-word;'>72.0</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>+ Ours</td><td style='text-align: center; word-wrap: break-word;'>23.4 +1.8</td><td style='text-align: center; word-wrap: break-word;'>56.5 +2.8</td><td style='text-align: center; word-wrap: break-word;'>22.6 +1.8</td><td style='text-align: center; word-wrap: break-word;'>57.9 +2.9</td><td style='text-align: center; word-wrap: break-word;'>27.7 +1.3</td><td style='text-align: center; word-wrap: break-word;'>75.3 +3.3</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>[^66]</td><td style='text-align: center; word-wrap: break-word;'>26.3</td><td style='text-align: center; word-wrap: break-word;'>52.3</td><td style='text-align: center; word-wrap: break-word;'>25.5</td><td style='text-align: center; word-wrap: break-word;'>53.5</td><td style='text-align: center; word-wrap: break-word;'>24.9</td><td style='text-align: center; word-wrap: break-word;'>71.5</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>+ Ours</td><td style='text-align: center; word-wrap: break-word;'>24.0 +2.3</td><td style='text-align: center; word-wrap: break-word;'>56.7 +4.4</td><td style='text-align: center; word-wrap: break-word;'>23.3 +2.2</td><td style='text-align: center; word-wrap: break-word;'>57.7 +4.2</td><td style='text-align: center; word-wrap: break-word;'>26.6 +1.7</td><td style='text-align: center; word-wrap: break-word;'>74.4 +2.9</td></tr></table>

<div style="text-align: center;">Table 4. Results on HO3D (Root-relative).  $^{*}$: reproduced results using its official code. Our method boosts baselines significantly.</div>

![Image](images/ee6c8647e48f40ebf155e0da55f2ad7ff12e9453b0e16d7a3e19ec3f9860b690.jpg)

<div style="text-align: center;">Figure 5. The mesh AUC comparison under different thresholds. All baselines are improved consistently after applying our data.</div>

#### 4.3. 消融实验

我们在DexYCB上进行消融实验以评估HandBooster的有效性，如表5所示。由于MobRecon的训练速度较快，因此被选为基线模型。

基于渲染的合成。我们通过将我们的数据与ObMan进行对比，来体现数据生成中真实感的重要性；在ObMan中，手部外观、抓取姿态和背景均为随机选取用于渲染。对比行(a)和(b)可知，引入ObMan仅在PA之后对根相关指标有轻微提升。相应地，对比行(a)和(f)可知，即便不采用我们的其他技术，我们的数据也能提升所有指标的性能，这揭示了数据生成中真实感的重要性。此外，我们计算了我们的数据与ObMan同DexYCB训练集之间的FID分数。2.91/8.52的分数反映了我们生成数据的真实感。

内容感知条件。为了更好地理解不同条件对3D手模重建的影响，我们评估了多种候选组合。由于缺乏形状信息，本分析未采用骨骼和前景分割条件。表5中行(d-f)的结果显示，同时纳入法向和纹理能得到最佳性能。若用其他候选条件替换其中任一成分，性能会显著下降，这也支持了我们的观点：构建的条件既要信息丰富又要易于理解。此外，通过引入嵌入的手部朝向作为额外控制条件，我们的模型在根相关指标上展现出明显提升，进一步验证了该设计的有效性。

---

![Image](images/308100f870a08e4847bffaf8b3383bc553fad760d0fef4fe089be7e26be6352e.jpg)

图6. 有无我们的HandBooster的定性对比[^12] [^52] [^66]。（每种情况中，左侧为预测结果，右侧为误差图。）

![Image](images/79e3ed12d666ef31f2ec9a0fa54266736663ff247ec0cca7ef24cb6491d2602b.jpg)

<div style="text-align: center;">Figure 7. Generated examples for novel views/poses with realistic hand appearance and backgrounds.</div>

新型条件生成器。我们还研究了新型条件生成器中各组件的影响。对比行(f)和(g)可知，仅利用新型抓取姿态就能提升根相关性能，但某些姿态可能会主导整个分布从而限制性能。对比行(h-i)与(g)可知，依次进行分布内和跨分布采样能显著提升所有指标性能，充分体现了这些组件的必要性。进一步的实验结果详见补充材料。

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td rowspan="2"></td><td rowspan="2">Models</td><td colspan="2">Root-relative</td><td colspan="2">Procrustes Align.</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>J-PE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>V-PE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>J-PE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>V-PE $\downarrow$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>(a)</td><td style='text-align: center; word-wrap: break-word;'>Baseline</td><td style='text-align: center; word-wrap: break-word;'>14.20</td><td style='text-align: center; word-wrap: break-word;'>13.05</td><td style='text-align: center; word-wrap: break-word;'>6.36</td><td style='text-align: center; word-wrap: break-word;'>5.59</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>(b)</td><td style='text-align: center; word-wrap: break-word;'>w/ ObMan</td><td style='text-align: center; word-wrap: break-word;'>14.00</td><td style='text-align: center; word-wrap: break-word;'>13.00</td><td style='text-align: center; word-wrap: break-word;'>6.40</td><td style='text-align: center; word-wrap: break-word;'>5.60</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>(c)</td><td style='text-align: center; word-wrap: break-word;'>w/ Depth &amp; Segment.</td><td style='text-align: center; word-wrap: break-word;'>14.91</td><td style='text-align: center; word-wrap: break-word;'>13.94</td><td style='text-align: center; word-wrap: break-word;'>6.64</td><td style='text-align: center; word-wrap: break-word;'>5.85</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>(d)</td><td style='text-align: center; word-wrap: break-word;'>w/ Normal &amp; Segment.</td><td style='text-align: center; word-wrap: break-word;'>14.82</td><td style='text-align: center; word-wrap: break-word;'>13.85</td><td style='text-align: center; word-wrap: break-word;'>6.60</td><td style='text-align: center; word-wrap: break-word;'>5.81</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>(e)</td><td style='text-align: center; word-wrap: break-word;'>w/ Normal &amp; Texture</td><td style='text-align: center; word-wrap: break-word;'>13.93</td><td style='text-align: center; word-wrap: break-word;'>12.92</td><td style='text-align: center; word-wrap: break-word;'>6.37</td><td style='text-align: center; word-wrap: break-word;'>5.53</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>(f)</td><td style='text-align: center; word-wrap: break-word;'>+ Embedded Orientation</td><td style='text-align: center; word-wrap: break-word;'>13.79</td><td style='text-align: center; word-wrap: break-word;'>12.78</td><td style='text-align: center; word-wrap: break-word;'>6.33</td><td style='text-align: center; word-wrap: break-word;'>5.49</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>(g)</td><td style='text-align: center; word-wrap: break-word;'>+ Novel Conditions</td><td style='text-align: center; word-wrap: break-word;'>13.51</td><td style='text-align: center; word-wrap: break-word;'>12.57</td><td style='text-align: center; word-wrap: break-word;'>6.34</td><td style='text-align: center; word-wrap: break-word;'>5.55</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>(h)</td><td style='text-align: center; word-wrap: break-word;'>+ Intra-dist. Sampling</td><td style='text-align: center; word-wrap: break-word;'>13.42</td><td style='text-align: center; word-wrap: break-word;'>12.42</td><td style='text-align: center; word-wrap: break-word;'>6.28</td><td style='text-align: center; word-wrap: break-word;'>5.46</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>(i)</td><td style='text-align: center; word-wrap: break-word;'>+ Cross-dist. Sampling</td><td style='text-align: center; word-wrap: break-word;'>13.25</td><td style='text-align: center; word-wrap: break-word;'>12.34</td><td style='text-align: center; word-wrap: break-word;'>6.20</td><td style='text-align: center; word-wrap: break-word;'>5.36</td></tr></table>

<div style="text-align: center;">Table 5. Ablation study on major components.</div>

这些指标能够清晰地展示出它们的必要性。进一步的实验结果详见补充材料。

### 5. 结论

我们提出了HandBooster，这是一种通过增强数据多样性来提升3D手模重建效果的新生成方法。首先，我们创建了一个条件生成空间，借此能够可控地生成具有可靠3D标注的逼真且多样的手部-物体图像。随后，我们探索该空间，通过设计新型条件生成器和两种相似性感知采样策略来生成新颖且多样的训练样本。在三个基线模型和两个常用基准测试上的大量实验证明了我们的方法的有效性与顶尖性能。

致谢：本研究得到了中国香港特别行政区研究资助局（项目编号：T45-401/22-N和CUHK 14201921）以及国家自然科学基金（项目编号：62372091）的支持。徐浩感谢张雨桐及其家人的关怀与支持。

---

## 参考文献

[^1]: Autodesk, INC. Maya. <https://autodesk.com/maya>, 2018. 1, 2

[^2]: Seungryul Baek, Kwang In Kim, and Tae-Kyun Kim. Pushing the envelope for RGB-based dense 3D hand pose estimation via neural rendering. In CVPR, pages 1067–1076, 2019. 2

[^3]: Seungryul Baek, Kwang In Kim, and Tae-Kyun Kim. Weakly-supervised domain adaptation via GAN and mesh model for estimating 3D hand poses interacting objects. In CVPR, pages 6121–6131, 2020. 2

[^4]: Fan Bao, Chongxuan Li, Jun Zhu, and Bo Zhang. Analytic-DPM: an analytic estimate of the optimal reverse variance in diffusion probabilistic models. arXiv preprint arXiv:2201.06503, 2022. 2

[^5]: Adnane Boukhayma, Rodrigo de Bem, and Philip H.S. Torr. 3D hand shape and pose from images in the wild. In CVPR, pages 10843–10852, 2019. 2

[^6]: Berk Calli, Arjun Singh, Aaron Walsman, Siddhartha Srinivasa, Pieter Abbeel, and Aaron M Dollar. The YCB object and model set: Towards common benchmarks for manipulation research. In ICRA, pages 510–517. IEEE, 2015. 4

[^7]: Zhe Cao, Ilija Radosavovic, Angjoo Kanazawa, and Jitendra Malik. Reconstructing hand-object interactions in the wild. In ICCV, pages 12417–12426, 2021. 2, 6

[^8]: Yu-Wei Chao, Wei Yang, Yu Xiang, Pavlo Molchanov, Ankur Handa, Jonathan Tremblay, Yashraj S Narang, Karl Van Wyk, Umar Iqbal, Stan Birchfield, et al. DexYCB: A benchmark for capturing hand grasping of objects. In CVPR, pages 9044–9053, 2021. 1, 4, 6

[^9]: Liangjian Chen, Shih-Yao Lin, Yusheng Xie, Yen-Yu Lin, and Xiaohui Xie. Temporal-aware self-supervised learning for 3D hand pose and mesh estimation in videos. In WACV, pages 1050–1059, 2021. 2

[^10]: Ping Chen, Yujin Chen, Dong Yang, Fangyin Wu, Qin Li, Qingpei Xia, and Yong Tan. I2UV-HandNet: Image-to-UV prediction network for accurate and high-fidelity 3D hand mesh modeling. In ICCV, pages 12929–12938, 2021. 7

[^11]: Xingyu Chen, Yufeng Liu, Chongyang Ma, Jianlong Chang, Huayan Wang, Tian Chen, Xiaoyan Guo, Pengfei Wan, and Wen Zheng. Camera-space hand mesh recovery via semantic aggregation and adaptive 2D-1D registration. In CVPR, pages 13274–13283, 2021. 2

[^12]: Xingyu Chen, Yufeng Liu, Yajiao Dong, Xiong Zhang, Chongyang Ma, Yanmin Xiong, Yuan Zhang, and Xiaoyan Guo. MobRecon: Mobile-friendly hand mesh reconstruction from monocular image. In CVPR, pages 20544–20554, 2022. 2, 6, 7, 8

[^13]: Yujin Chen, Zhigang Tu, Di Kang, Linchao Bao, Ying Zhang, Xuefei Zhe, Ruizhi Chen, and Junsong Yuan. Model-based 3D hand reconstruction via self-supervised learning. In CVPR, pages 10451–10460, 2021. 2, 6, 7

[^14]: Hongsuk Choi, Gyeongsik Moon, and Kyoung Mu Lee. Pose2Mesh: Graph convolutional network for 3D human pose and mesh recovery from a 2D human pose. In ECCV, pages 769–787, 2020. 7

[^15]: Hongsuk Choi, Gyeongsik Moon, Ju Yong Chang, and Kyoung Mu Lee. Beyond static features for temporally consistent 3D human pose and shape from a video. In CVPR, pages 1964–1973, 2021. 6,7

[^16]: Blender Online Community. Blender. <http://www.blender.org>, 2019. 1,2

[^17]: Enric Corona, Albert Pumarola, Guillem Alenya, Francesc Moreno-Noguer, and Grégory Rogez. GANHand: Predicting human grasp affordances in multi-object scenes. In CVPR, pages 5031–5041, 2020. 1, 2, 6

[^18]: Prafulla Dhariwal and Alexander Nichol. Diffusion models beat gans on image synthesis. Advances in Neural Information Processing Systems, 34:8780–8794, 2021. 2

[^19]: Yuval Eldar, Michael Lindenbaum, Moshe Porat, and Yehoshua Y Zeevi. The farthest point strategy for progressive image sampling. IEEE TIP, 6(9):1305–1315, 1997. 5

[^20]: Qichen Fu, Xingyu Liu, Ran Xu, Juan Carlos Niebles, and Kris M Kitani. Deformer: Dynamic fusion transformer for robust hand pose estimation. arXiv preprint arXiv:2303.04991, 2023. 2, 6, 7

[^21]: Liuhao Ge, Zhou Ren, Yuncheng Li, Zehao Xue, Yingying Wang, Jianfei Cai, and Junsong Yuan. 3D hand shape and pose estimation from a single RGB image. In CVPR, pages 10833–10842, 2019. 2

[^22]: Shreyas Hampali, Mahdi Rad, Markus Oberweger, and Vincent Lepetit. HOnnotate: A method for 3D annotation of hand and object poses. In CVPR, pages 3196–3206, 2020. 1, 4, 6, 7

[^23]: Yana Hasson, Gül Varol, Dimitrios Tzionas, Igor Kalevatykh, Michael J. Black, Ivan Laptev, and Cordelia Schmid. Learning joint reconstruction of hands and manipulated objects. In CVPR, pages 11807–11816, 2019. 1, 2, 6, 7

[^24]: Yana Hasson, Bugra Tekin, Federica Bogo, Ivan Laptev, Marc Pollefeys, and Cordelia Schmid. Leveraging photometric consistency over time for sparsely supervised hand-object reconstruction. In CVPR, pages 571–580, 2020. 7

[^25]: Yana Hasson, Gül Varol, Cordelia Schmid, and Ivan Laptev. Towards unconstrained joint hand-object reconstruction from RGB videos. In 3DV, pages 659–668, 2021. 7

[^26]: Martin Heusel, Hubert Ramsauer, Thomas Unterthiner, Bernhard Nessler, and Sepp Hochreiter. GANs trained by a two time-scale update rule converge to a local nash equilibrium. In NeurIPS, 2017. 6

[^27]: Jonathan Ho and Tim Salimans. Classifier-free diffusion guidance. arXiv preprint arXiv:2207.12598, 2022. 2, 3

[^28]: Jonathan Ho, Ajay Jain, and Pieter Abbeel. Denoising diffusion probabilistic models. In NeurIPS, pages 6840–6851, 2020. 2, 3

[^29]: Emiel Hoogeboom, Jonathan Heek, and Tim Salimans. Simple diffusion: End-to-end diffusion for high resolution images. arXiv preprint arXiv:2301.11093, 2023. 2

[^30]: Edward J Hu, Yelong Shen, Phillip Wallis, Zeyuan Allen-Zhu, Yuanzhi Li, Shean Wang, Lu Wang, and Weizhu Chen. LoRA: Low-rank adaptation of large language models. In ICLR, 2022. 2

## [^31]: Hezhen Hu, Weilun Wang, Wengang Zhou, and Houqiang Li. Hand-object interaction image generation. In NeurIPS, pages 23805–23817, 2022. 1, 2, 6

---

[^32]: Umar Iqbal, Pavlo Molchanov, Thomas Breuel Juergen Gall, and Jan Kautz. Hand pose estimation via latent 2.5D heatmap regression. In ECCV, pages 118–134, 2018. 2

[^33]: Juntao Jian, Xiuping Liu, Manyi Li, Ruizhen Hu, and Jian Liu. Affordpose: A large-scale dataset of hand-object interactions with affordance-driven hand pose. In ICCV, pages 14713–14724, 2023. 2

[^34]: Hanwen Jiang, Shaowei Liu, Jiashun Wang, and Xiaolong Wang. Hand-object contact consistency reasoning for human grasps generation. In ICCV, pages 11107–11116, 2021. 2

[^35]: Hai Jiang, Ao Luo, Haoqiang Fan, Songchen Han, and Shuaicheng Liu. Low-light image enhancement with wavelet-based diffusion models. ACM TOG, 42(6):1–14, 2023. 2

[^36]: Zheheng Jiang, Hossein Rahmani, Sue Black, and Bryan M Williams. A probabilistic attention model with occlusion-aware texture regression for 3d hand reconstruction from a single rgb image. In CVPR, pages 758–767, 2023. 7

[^37]: Tero Karras, Miika Aittala, Timo Aila, and Samuli Laine. Elucidating the design space of diffusion-based generative models. arXiv preprint arXiv:2206.00364, 2022. 2, 4

[^38]: P. Diederik Kingma and Lei Jimmy Ba. Adam: A method for stochastic optimization. In ICLR, 2015. 3, 6

[^39]: Muhammed Kocabas, Nikos Athanasiou, and Michael J Black. VIBE: Video inference for human body pose and shape estimation. In CVPR, pages 5253–5263, 2020. 6,7

[^40]: Dominik Kulon, Riza Alp Guler, Iasonas Kokkinos, Michael M. Bronstein, and Stefanos Zafeiriou. Weakly-supervised mesh-convolutional hand reconstruction in the wild. In CVPR, pages 4990–5000, 2020. 1,2

[^41]: Haipeng Li, Hai Jiang, Ao Luo, Ping Tan, Haoqiang Fan, Bing Zeng, and Shuaicheng Liu. DMHomo: Learning homography with diffusion models. ACM TOG, 2024. 2

[^42]: Kevin Lin, Lijuan Wang, and Zicheng Liu. End-to-end human pose and mesh reconstruction with transformers. In CVPR, pages 1954–1963, 2021. 2, 6, 7

[^43]: Kevin Lin, Lijuan Wang, and Zicheng Liu. Mesh graphormer. In ICCV, pages 12939–12948, 2021. 2, 6

[^44]: Shaowei Liu, Hanwen Jiang, Jiarui Xu, Sifei Liu, and Xiaolong Wang. Semi-supervised 3D hand-object poses estimation with interactions in time. In CVPR, pages 14687–14697, 2021. 2, 6, 7

[^45]: Xihui Liu, Dong Huk Park, Samaneh Azadi, Gong Zhang, Arman Chopikyan, Yuxiao Hu, Humphrey Shi, Anna Rohrbach, and Trevor Darrell. More control for free! image synthesis with semantic diffusion guidance. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, pages 289–299, 2023. 2

[^46]: Cheng Lu, Yuhao Zhou, Fan Bao, Jianfei Chen, Chongxuan Li, and Jun Zhu. DPM-solver: A fast ode solver for diffusion probabilistic model sampling in around 10 steps. arXiv preprint arXiv:2206.00927, 2022. 2

[^47]: Matthew Matl. Pyrender. <https://github.com/mmatl/pyrender>, 2019.1

[^48]: Lars Mescheder, Michael Oechsle, Michael Niemeyer, Sebastian Nowozin, and Andreas Geiger. Occupancy networks: Learning 3D reconstruction in function space. In CVPR, pages 4460–4470, 2019. 2

[^49]: Andrew T Miller and Peter K Allen. Graspit! a versatile simulator for robotic grasping. IEEE Robotics & Automation Magazine, 11(4):110–122, 2004. 2

[^50]: Gyeongsik Moon and Kyoung Mu Lee. I2L-MeshNet: Image-to-pixel prediction network for accurate 3D human pose and mesh estimation from a single RGB image. In ECCV, pages 752–768, 2020. 2, 7

[^51]: Gyeongsik Moon, Shoou-I Yu, He Wen, Takaaki Shiratori, and Kyoung Mu Lee. Interhand2.6M: A dataset and baseline for 3D interacting hand pose estimation from a single RGB image. In ECCV, pages 548–564, 2020. 2

[^52]: JoonKyu Park, Yeonguk Oh, Gyeongsik Moon, Hongsuk Choi, and Kyoung Mu Lee. HandOccNet: Occlusion-robust 3D hand mesh estimation network. In CVPR, pages 1496–1505, 2022. 2, 6, 7, 8

[^53]: Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, and Björn Ommer. High-resolution image synthesis with latent diffusion models. In CVPR, pages 10684–10695, 2022. 2, 3

[^54]: Tim Salimans and Jonathan Ho. Progressive distillation for fast sampling of diffusion models. arXiv preprint arXiv:2202.00512, 2022. 2

[^55]: Jascha Sohl-Dickstein, Eric Weiss, Niru Maheswaranathan, and Surya Ganguli. Deep unsupervised learning using nonequilibrium thermodynamics. pages 2256–2265, 2015. 2

[^56]: Jiaming Song, Chenlin Meng, and Stefano Ermon. Denoising diffusion implicit models. arXiv preprint arXiv:2010.02502, 2020. 2

[^57]: Yang Song and Stefano Ermon. Generative modeling by estimating gradients of the data distribution. NeurIPS, 32, 2019. 2

[^58]: Yang Song, Jascha Sohl-Dickstein, Diederik P Kingma, Abhishek Kumar, Stefano Ermon, and Ben Poole. Score-based generative modeling through stochastic differential equations. arXiv preprint arXiv:2011.13456, 2020. 2

[^59]: Adrian Spurr, Umar Iqbal, Pavlo Molchanov, Otmar Hilliges, and Jan Kautz. Weakly supervised 3D hand pose estimation via biomechanical constraints. In ECCV, pages 211–228, 2020. 6

[^60]: Tze Ho Elden Tse, Kwang In Kim, Ales Leonardis, and Hyung Jin Chang. Collaborative learning for hand and object reconstruction with attention-guided graph convolution. In CVPR, pages 1664–1674, 2022. 2, 6, 7

[^61]: Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. In NeurIPS, 2017. 4

[^62]: Weikang Wan, Haoran Geng, Yun Liu, Zikang Shan, Yaodong Yang, Li Yi, and He Wang. Unidexgrasp++: Improving dexterous grasping policy learning via geometry-aware curriculum and iterative generalist-specialist learning. arXiv preprint arXiv:2304.00464, 2023. 2

## [^63]: Ruicheng Wang, Jialiang Zhang, Jiayi Chen, Yinzhen Xu, Puhao Li, Tengyu Liu, and He Wang. Dexgraspnet: A large-scale robotic dexterous grasp dataset for general objects based on simulation. In ICRA, pages 11359–11366. IEEE, 2023. 2, 4

---

[^64]: Yinhui Wang, Jiwen Yu, and Jian Zhang. Zero-shot image restoration using denoising diffusion null-space model. ICLR, 2023. 2

[^65]: Yilin Wen, Hao Pan, Lei Yang, Jia Pan, Taku Komura, and Wenping Wang. Hierarchical temporal transformer for 3D hand pose estimation and action recognition from egocentric RGB videos. In CVPR, pages 21243–21253, 2023. 2

[^66]: Hao Xu, Tianyu Wang, Xiao Tang, and Chi-Wing Fu. H2onet: Hand-occlusion-and-orientation-aware network for real-time 3d hand mesh reconstruction. In CVPR, pages 17048–17058, 2023. 2, 6, 7, 8

[^67]: Yinzhen Xu, Weikang Wan, Jialiang Zhang, Haoran Liu, Zikang Shan, Hao Shen, Ruicheng Wang, Haoran Geng, Yijia Weng, Jiayi Chen, et al. Unidexgrasp: Universal robotic dexterous grasping via learning diverse proposal generation and goal-conditioned policy. In CVPR, pages 4737–4746, 2023. 2, 4

[^68]: John Yang, Hyung Jin Chang, Seungeui Lee, and Nojun Kwak. Seqhand: RGB-sequence-based 3D hand pose and shape estimation. In ECCV, pages 122–139, 2020. 2

[^69]: Lixin Yang, Jiasen Li, Wenqiang Xu, Yiqun Diao, and Cewu Lu. BiHand: Recovering hand mesh with multi-stage bisected hourglass networks. In BMVC, 2020. 2

[^70]: Linlin Yang, Shicheng Chen, and Angela Yao. SemiHand: Semi-supervised hand pose estimation with consistency. In ICCV, pages 11364–11373, 2021. 2

[^71]: Lixin Yang, Kailin Li, Xinyu Zhan, Jun Lv, Wenqiang Xu, Jiefeng Li, and Cewu Lu. Artiboost: Boosting articulated 3d hand-object pose estimation via online exploration and synthesis. In CVPR, pages 2750–2760, 2022. 1, 2, 6

[^72]: Yufei Ye, Poorvi Hebbar, Abhinav Gupta, and Shubham Tulsiani. Diffusion-guided reconstruction of everyday hand-object interaction clips. In ICCV, pages 19717–19728, 2023.

[^73]: Yufei Ye, Xueting Li, Abhinav Gupta, Shalini De Mello, Stan Birchfield, Jiaming Song, Shubham Tulsiani, and Sifei Liu. Affordance diffusion: Synthesizing hand-object interactions. In CVPR, pages 22479–22489, 2023. 2

[^74]: Baowen Zhang, Yanggang Wang, Xiaoming Deng, Yinda Zhang, Ping Tan, Cuixia Ma, and Hongan Wang. Interacting two-hand 3D pose and shape reconstruction from single color image. In ICCV, pages 11354–11363, 2021. 2

[^75]: Lvmin Zhang, Anyi Rao, and Maneesh Agrawala. Adding conditional control to text-to-image diffusion models. In ICCV, pages 3836–3847, 2023. 2

[^76]: Xiong Zhang, Qiang Li, Hong Mo, Wenbo Zhang, and Wen Zheng. End-to-end hand mesh recovery from a monocular RGB image. In ICCV, pages 2354–2364, 2019. 2

[^77]: Xiong Zhang, Hongsheng Huang, Jianchao Tan, Hongmin Xu, Cheng Yang, Guozhu Peng, Lei Wang, and Ji Liu. Hand image understanding via deep multi-task learning. In ICCV, pages 11281–11292, 2021.

[^78]: Zimeng Zhao, Xi Zhao, and Yangang Wang. TravelNet: Self-supervised physically plausible hand motion learning from monocular color images. In ICCV, pages 11666–11676, 2021.

[^79]: Yuxiao Zhou, Marc Habermann, Weipeng Xu, Ikhsanul Habibie, Christian Theobalt, and Feng Xu. Monocular real-time hand shape and motion capture using multi-modal data. In CVPR, pages 5346–5355, 2020. 2

[^80]: Andrea Ziani, Zicong Fan, Muhammed Kocabas, Sammy Christen, and Otmar Hilliges. TempCLR: Reconstructing hands via time-coherent contrastive learning. In 3DV, pages 627–636. IEEE, 2022. 7

Ceylan、杨继梅、Bryan

FreiHAND：一种

从图像中恢复形状的方法