# SESAHAND：通过语义与结构对齐的可控生成技术提升3D手部重建效果

赵卓然 $^{1,2}$、孔向浩 $^{2}$、杨琳琳 $^{3}$、魏政 $^{2}$、潘辉 $^{1,2}$、饶安怡 $^{2}$

$^{1}$香港科技大学（广州）

$^{2}$香港科技大学

$^{3}$中国传媒大学

<mailto:zzhao074@connect.hkust-gz.edu.cn> <mailto:anyirao@ust.hk>

## 摘要

近期关于3D手部重建的研究表明，合成训练数据能够有效提升估计性能。然而，大多数方法依赖游戏引擎来合成手部图像，这类图像往往在纹理和场景多样性上存在不足，且缺少手臂或交互物体等关键组成部分。生成模型是生成多样化手部图像的有前景的替代方案，但仍存在对齐问题。在本文中，我们提出了SesaHand，它从语义对齐和结构对齐两个角度优化可控手部图像生成，以用于3D手部重建。具体而言，在语义对齐方面，我们提出了一种基于思维链推理的流程，利用视觉语言模型生成的图像描述中提取人类行为语义。这些语义能够过滤掉与人类无关的环境细节，为手部图像生成提供充足的人体相关上下文。在结构对齐方面，我们引入了分层结构融合机制，将不同粒度的结构信息整合起来进行特征细化，从而让生成图像中的手部与整个人体更好地对齐。我们还提出了一种手部结构注意力增强方法，高效提升模型对手部区域的关注度。实验结果表明，我们的方法不仅在生成性能上优于以往工作，还能借助生成的手部图像改善3D手部重建效果。

## 1 引言

基于单张图像的3D手部重建在计算机视觉、人机交互以及AR/VR应用中发挥着至关重要的作用（Han等人，2022；Hosain等人，2021；Arimatsu & Mori，2020）。它在具身智能领域的灵巧机器人操控方面也具备巨大潜力（Gavryushin等人，2025；Luo等人，2025）。当前最先进的方法（Xu等人，2023；Moon & Lee，2020；Huang等人，2023）依赖大量精准的真实标注数据来进行训练，但获取这些数据既昂贵又耗时。因此，合成数据在计算机视觉领域受到了越来越多的关注（Tesch等人，2025；Black等人，2023；Wood等人，2021；Hasson等人，2019）。合成手部数据集通常包含多种手部姿态，通过游戏引擎渲染以增强真实感（Gao等人，2022；Li等人，2023）。近期有几项研究尝试利用真实数据与合成数据共同训练3D手部重建模型，取得了比仅用真实数据训练更好的结果（Li等人，2023；Zhao等人，2025）。然而，用于创建合成手部数据集的手部纹理贴图和背景较为有限，这影响了合成数据的多样性。手部往往被放置在与语境语义不匹配的环境中。此外，大多数合成手部数据集仅展示孤立的手部图像，没有手臂部分，也很少涉及手与物体的交互（见图1(a)），这与人体结构不符，也无法反映真实的人类行为。

扩散模型在根据文本描述生成逼真图像方面展现出了令人印象深刻的能力（Rombach等人，2022年；Gu等人，2022年）。文本被用作语义控制手段，以生成具有多样化场景的图像。多项研究进一步探索了利用额外控制方式实现可控图像生成（Zhang等人，2023a；Mou等人，2024年），从而解锁了配对数据生成的潜力。预训练的扩散模型从海量训练数据中获取了丰富的人类先验信息（Chang等人，2025年；Kim等人，2025年），而可控生成模型则能确保图像与标签之间的对齐。这些因素使得扩散模型成为弥补现有手部图像合成方法局限性的良好替代方案。

---

![Image](images/da0910ab2dca7570437df9ed932090c55cccf3584236c6183ecbfe4c006eb0f5.jpg)

<div style="text-align: center;">Figure 1: (a) We present a controllable hand image generation method that generates diverse hand images with semantic and structural alignment. (b) 3D hand reconstruction performance in the wild can be improved with better semantic- and structural- aligned generated images.</div>

已有多项研究采用可控扩散模型来生成手部数据。然而，这些方法要么局限于实验室环境（Xu等人，2024年），要么在手部相关特征的精细化训练方面效率低下（Park等人，2024年），要么基于骨骼模型、忽略了手部形状的影响（Chen等人，2025a）。此外，先前的研究（Park等人，2024年）直接利用大型视觉语言模型（VLM）生成图像描述，由于VLM存在的过度思考问题（Xiao & Gan，2025年），这给生成合理的手部图像带来了挑战。过度思考问题会将无关信息引入图像描述中，导致其与人类行为语境不匹配，进而产生语义鸿沟，最终生成不合理的手部图像。而且，由于手是人体的重要组成部分，忽略与手相关联的人体结构信息会导致生成图像出现对齐问题，比如手部悬浮、人体姿态不合理等现象（见图1(a)）。

基于上述动机，我们提出了SesaHand，从语义对齐和结构对齐两个角度提升基于文本条件的可控手部图像生成能力。在语义对齐方面，我们发现图像描述中的以人为中心的语境对于生成合理的手部图像至关重要，该语境可分解为四个组成部分：人体姿势、动作、手部动作以及环境，这是通过提示影响和注意力分析得出的结论。我们将这种以人为中心的语境定义为人类行为语义。为了有效提取这种语义，我们提出了一种基于思维链（CoT）推理的流程（Wei等人，2022年；Zhang等人，2023b），该流程采用逐步推理的方式识别并提取人类行为语义，同时剔除无关细节。具体而言，CoT推理包含三个阶段：首先，描述生成器为输入图像生成初始图像描述；其次，提取器通过少量样本学习识别并分解图像描述中的关键成分；最后，组合器将提取出的成分整合为最终的文本提示。所提出的CoT推理能够生成包含充足人类行为语义信息的图像描述，从而有助于构建更优质的图像-文本配对数据，用于训练文本到图像的模型。

基于这些考量，我们提出了SesaHand，从语义对齐和结构对齐两个角度来提升文本条件可控的手部图像生成能力。在语义对齐方面，我们发现图像描述中的以人为中心的上下文对于生成合理的手部图像至关重要，通过提示词影响分析和注意力分析，可将其分解为四个组成部分：人体姿态、动作、手部动作以及环境。我们将这种以人为中心的上下文定义为人类行为语义。为了有效提取这种语义，我们提出了一种基于思维链（Chain-of-Thought, CoT）推理的流程（Wei等人，2022；Zhang等人，2023b），该流程采用逐步推理的方式识别并提取人类行为语义，同时剔除无关细节。具体而言，这种CoT推理包含三个阶段：首先，描述生成器为输入图像生成初始的图像描述；其次，提取器利用小样本学习技术识别并分解图像描述中的关键成分；最后，组合器将提取出的成分整合为最终的文本提示词。所提出的CoT推理能够生成包含充足人类行为语义信息的图像描述，从而有助于构建更优质的图像-文本配对数据，用于训练文本到图像模型。

在基于扩散的模型中，自注意力图能够保留图像的几何与结构信息，这已被证明对图像编辑（Liu等人，2024a）和人体图像动画（Chang等人，2025）十分有用。受此启发，我们打算利用自注意力图中的结构信息，来加强可控图像生成过程中手部与人体的对齐效果。具体而言，我们通过在控制模块的编码层和中间层提取多分辨率自注意力图（Zhang等人，2023a），将不同粒度的结构信息与全局及局部表征相结合，再对其进行分层融合，从而优化输入到Stable Diffusion生成主干网络（Rombach等人，2022）的特征。这有助于为手部图像生成提供更优质的结构信息。此外，交叉注意力图能够揭示图像特征与文本嵌入之间的语义对应关系。为了突出图像特征中的局部手部结构，我们提出了一种高效方法：向与手部相关的交叉注意力图中添加偏置项，而非依赖耗时的嵌入优化过程（Park等人，2024）。

---

为了在图像特征中凸显局部手部结构，我们提出了一种高效方法：向与手部相关的交叉注意力图中添加偏置项，而非依赖耗时的嵌入细化过程（Park等人，2024）。

大量实验表明，我们的方法在手部图像生成方面优于现有方法。值得注意的是，我们还进一步证实：生成的手部图像能够提升自然场景数据集上的3D手部重建性能（见图1(b)），这为探索将生成模型产生的合成数据应用于3D手部重建任务铺平了道路。我们的贡献总结如下：

1. 我们提出了一种基于CoT推理的流程，该流程可提取人类行为语义以构建用于训练的图文对，从而缓解VLM生成标题时的过度思考问题，并提升手部图像生成中的语义对齐效果。

2. 我们通过分层结构融合方法改善了手部图像生成中的结构对齐问题，该方法整合了用于手部与身体对齐的多层级特征；同时我们设计了手部结构注意力机制，可有效突出与手部相关的区域。

3. 大量实验证明，我们的方法不仅优于现有的手部图像生成方法，还能利用所生成的图像提升自然场景下的3D手部重建性能。

## 2 相关工作

手部图像合成。创建真实的3D手部数据集既耗时又费力。数据收集通常需要使用多摄像头或深度传感器设备（Chao等人，2021年；Zimmermann等人，2019年；Hampali等人，2020年；Zhan等人，2024年；Chen等人，2025b年）。为了获得真实标注，还需要进行手动标记。合成手部数据便成为一种有效的替代方案。早期的方法利用游戏引擎来合成逼真的手部图像，从而能够高效生成大规模的合成数据（Gao等人，2022年；Moon等人，2023年；Li等人，2023年；Hasson等人，2019年）。不过，这些图像往往显示的是没有手臂的悬浮手部，从人类行为角度来看这并不自然，而且若要加入人体，还需额外的适配过程。此外，合成逼真图像还需要额外努力去收集手部纹理贴图和背景环境素材，而这些素材的数量往往有限且难以定制（Li等人，2023年；Moon等人，2023年）。我们的方法能生成带有自然人体的手部图像，并能通过文本提示提供多样的纹理和环境。近期的研究开始探索基于扩散模型的手部图像生成技术。HanDiffuser（Narasimhaswamy等人，2024年）和Hand1000（Zhang等人，2025年）可以直接根据文本提示生成手部图像，但生成的图像无法用于训练3D手部重建模型，因为它们缺乏可靠的对应标签。FoundHand（Chen等人，2025a年）能够根据2D关键点实现可控的手部图像生成，但却忽略了手部形状因素。HandBooster（Xu等人，2024年）支持在各种条件下生成手部图像，但仅限于实验室环境。与我们的方法类似，AttentionHand（Park等人，2024年）能在给定手部网格条件和文本提示的情况下生成自然场景中的手部图像。不过，它在优化手部相关特征以及进行全局与局部特征的两阶段学习时，需要耗费大量的训练时间。我们的工作在不增加时间成本的前提下实现了更好的生成效果，所生成的手部图像有助于提升自然场景下3D手部重建的性能。

文本到图像生成。近年来，文本到图像（T2I）生成技术取得了显著进展，能够基于文本描述生成多样且逼真的图像。早期的方法采用生成对抗网络（GAN）（Reed等人，2016年；Xu等人，2018年），而Transformer在条件生成方面也展现出潜力（Ding等人，2021年；Yu等人，2022年）。扩散模型的出现标志着T2I生成的新时代（Rombach等人，2022年；Saharia等人，2022年；Chen等人，2024年）。由于文本提示无法提供足够的结构性指导，近期的研究引入了额外的控制方式，以实现定制化且可控的T2I生成。ControlNet（Zhang等人，2023a年）通过创建Stable Diffusion模型的可训练副本，将用户指定的条件信息整合到图像生成过程中。T2I-Adapter（Mou等人，2024年）则通过可训练的适配器使Stable Diffusion适配外部控制方式。尽管有这些进步，但由于手部尺寸较小且存在遮挡问题不明确，手部图像生成仍面临挑战。在这项工作中，我们增强了手部区域的学习能力。

---

![Image](images/7668334daf77250abc36304932d312196fa157e8827d74381ff157630a96e645.jpg)

<div style="text-align: center;">(a) Image Caption vs Human Behavior Semantics</div>

<div style="text-align: center;">(b) CoT Inference</div>

<div style="text-align: center;">Figure 2: (a) Comparison of hand image generation with VLM-generated caption (top) and human behavior semantics (bottom). Overthinking in VLM captions leads to attention shifts toward irrelevant objects in later denoising steps, while human behavior semantics guide the model to focus on human-related regions, generating more plausible hand images. (b) CoT inference in human behavior semantics extraction pipeline.</div>

我们通过加强手部结构注意力来实现这一点，并通过从图像描述中提取人类行为语义来减少模糊性，进而完成图像生成。

## 3 方法

我们的方法旨在提升基于文本条件的手部网格图像控制下的图像生成能力，实现语义与结构上的对齐。首先，我们简要介绍了ControlNet（第3.1节）——一种用于Stable Diffusion的控制模块，它能够基于手部网格图像生成可控的手部图像。接着，我们提出了基于思维链（CoT）推理的人类行为语义提取流程，该流程包含了实现手部图像生成语义对齐的关键组件（第3.2节）。此外，我们展示了用于改善手-身体对齐的分层结构融合方法（第3.3.1节），以及能够有效强调局部手部区域的手部结构注意力增强方法（第3.3.2节）。

### 3.1 preliminaries

潜变量扩散模型（Rombach等人，2022年）是一种在图像潜空间中进行去噪处理的图像生成方法。它利用预训练的图像编码器将输入图像编码为潜变量表示：$z = \mathcal{E}(x)$。在训练过程中，模型会优化一个UNet（Ronneberger等人，2015年）$\epsilon_\theta$，以预测在文本提示嵌入$z_t$条件下添加到含噪潜变量样本$c_t$中的噪声。其中，$z_t$是在随机时间步$z_0$时$t \in [0, T]$的含噪样本。在推理阶段，模型从高斯噪声$z_T \sim \mathcal{N}(0,1)$开始，经过T个时间步的去噪处理，从而从图像潜空间中生成所需的样本。

ControlNet（Zhang等人，2023a）为预训练的扩散模型（如Stable Diffusion）添加了条件控制功能。它通过锁定原模型的参数，并创建其编码块的可训练副本，来保留原模型的能力；该可训练副本通过零卷积层$\mathcal{Z}(,)$与锁定后的模型相连，以此稳定初始阶段的训练过程。ControlNet的训练目标如下所示：

 $$ L(\theta):=\mathbb{E}_{z_{0},\epsilon\in\mathcal{N}(0,1),t,c_{t},c_{f}}\Big[\|(\epsilon-\epsilon_{\theta}(z_{t},t,c_{t},c_{f}))\|_{2}^{2}\Big], $$

其中，$c_{f}$是由小型神经网络根据图像空间中的输入条件$c_{i}$编码得到的任务特定潜变量条件：$c_{f} = \mathcal{E}_{n}(c_{i})$。在本研究中，$c_{i}$代表手部网格图像，而$c_{f}$则为其潜变量表示。

---

### 3.2 语义对齐：人类行为语义提取

为了实现合理的手部图像生成，文本提示中必须包含充足的人类行为语义信息，同时剔除其他元素的无关细节。视觉语言模型在图像描述生成方面表现优异（Lin等人，2025年；Ge等人，2024年），可用于高效收集用于训练文本到图像模型的图文配对数据。然而，视觉语言模型存在过度思考的问题（Xiao和Gan，2025年），即无论具体场景如何，它们都会详细描述图像中的每个元素。这类关于非人类元素的无关信息会给生成模型带来偏差，从而降低生成的手部图像质量（Park等人，2024年）。如图2(a)所示，由视觉语言模型（Bai等人，2025年）生成的图像描述中包含诸如餐具之类的冗余描述，这会导致生成的图像中手部被不必要的物体遮挡。

尽管存在过度思考的问题，我们发现图像描述中以人为中心的语境对于生成合理的手部图像至关重要。手部图像在语义上可以分解为人体和环境两部分。为了更好地捕捉以人为中心的信息，我们进一步将人体部分细分为三个更精细的组成部分：人体姿态、动作以及手部动作（见图2(a)）。我们将这种以人为中心的语境定义为人类行为语义，它们代表了手部图像中的关键元素，同时排除了会干扰文本到图像生成过程的不相关细节。为了验证所提出的人类行为语义的优越性，我们进行了提示词影响分析：首先在100张图像样本上生成描述并提取人类行为语义，随后分别使用描述或人类行为语义作为文本提示词，结合手部网格图像来生成手部图像，并通过手部检测器（Zhang等人，2020）计算平均手部置信度得分。使用人类行为语义生成的手部图像，其置信度得分达到了97%，而基于视觉语言模型的描述生成的图像置信度仅为86%。此外，我们分析了文本到图像模型中的注意力图以揭示生成过程（见附录A）。我们发现，视觉语言模型描述中的过度思考会导致模型的注意力偏离到不相关的物体生成上，尤其是在后续的去噪步骤中。相比之下，采用人类行为语义的文本到图像模型能够通过保持对人相关区域的集中注意力，生成更合理的手部图像。

基于这一观察结果，我们提出了一种利用思维链推理来有效提取人类行为语义的流程（见图2(b)）。思维链已被证实是引导大语言模型推理过程的有效手段（Wei等人，2022）。因此，我们将思维链引入该流程，借助图像描述及关键的细分组件，通过少量样本学习来生成人类行为语义。具体来说，对于图像X，首先由描述生成器$X_t$生成与其相关的图像描述$X_t = \text{Captioner}(X)$；接着，提取器利用$X_t$从图像中提取人类行为语义$\mathrm{P} = \text{Extractor}(X_t, \mathrm{P}_e)$，其中$P_e$是指导提取器更准确提取关键实体和属性的输入与输出少量样本示例。我们将输出限制为JSON格式，因为它具有更好的简洁性，便于后续解读（Mitra等人，2024）。随后，组合器会从输出的JSON中提取各组成部分并将其整合，从而得到最终的文本$P_f$：

 $$ \mathrm{P}_{\mathrm{f}}=\mathrm{Composer}\left(\mathrm{P}_{\mathrm{pose}},\mathrm{P}_{\mathrm{action}},\mathrm{P}_{\mathrm{hand\_action}},\mathrm{P}_{\mathrm{env}}\right). $$

最终组合得到的文本$P_{f}$会被用来构建文本-图像对，用于训练我们的可控手部图像生成模型。

### 3.3 结构对齐

#### 3.3.1 分层结构融合

为了加强手部图像生成中的手-身体对齐效果，我们提出了一种多层次结构信息融合方法。我们以Stable Diffusion作为生成主干，并利用ControlNet来融入二维手部网格控制。ControlNet通过锁定预训练的Stable Diffusion模型的参数，同时创建其编码块和中间块的可训练副本，从而保留了该模型的能力。编码块和中间块由ResNet层和Transformer块构成，它们能生成不同分辨率（64、32、16、8）的特征。每个Transformer块包含自注意力层和交叉注意力层。我们提取由$z_t$和$c_f$生成的自注意力图，记为$\psi_r$，其中r代表分辨率。分辨率较高的自注意力图能够捕捉细粒度的局部人体结构信息，而分辨率较低的图则侧重于全局人体结构信息（Chu等人，2017）。

---

![Image](images/3bbe2f126d814293c6065fe2df7b932a4f143d09f1d506cc828d4e8c25b45c46.jpg)

<div style="text-align: center;">Figure 3: Hierarchical Structural Fusion. Multilevel self-attention maps are extracted from the ControlNet encoder and middle blocks, which capture the structural information of the input image. These maps are aggregated and applied to obtain the refined feature fed to the Decoder.</div>

![Image](images/843e20ba564f9d69869f89c7d8441a26fee59bf501829eade7c01b23bb5f16c7.jpg)

<div style="text-align: center;">Figure 4: Hand Structure Attention Enhancement. Applying the enhancement (bottom) effectively highlights the local structural human-and-hand-related features compared to the original cross-attention maps (top).</div>

如图3所示，含噪图像隐变量$z_t$首先与条件化手部网格特征$c_f$结合，随后被输入到控制模块中。编码块和中间块中的自注意力图被提取出来，用以优化控制模块输出的原始特征$f_c$。具体而言，不同分辨率的自注意力图先通过最大池化操作$\mathcal{M}$调整为同一分辨率，再通过求和方式进行聚合：

 $$ \psi^{\prime}=\sum_{r=8,16,32,64}\mathcal{M}(\psi_{r}). $$

接着，将聚合后的自注意力图$\psi'$应用于$f_c$，以生成优化后的特征$f'_c$：

 $$ f_{c}^{\prime}=f_{c}\otimes\psi^{\prime}, $$

其中$\otimes$表示矩阵乘法。

优化后的特征通过零卷积层Z被整合到Stable Diffusion模型的原始输出f中：

 $$ f^{\prime}=\mathcal{Z}(f_{c}^{\prime})+f. $$

这种优化后的特征保留了更多人体结构信息，有助于UNet解码器生成结构对齐效果更佳的手部图像。

#### 3.3.2 手部结构注意力增强

为了高效突出图像中手部区域的局部结构特征，我们提出了手部结构注意力增强方法。Stable Diffusion模型中的交叉注意力层会将文本信息注入图像生成过程，从而使T2I模型能够生成与文本提示一致的图像。为了提升手部相关区域的生成效果，我们首先依据Park等人（2024）的方法，利用NLTK库（Loper & Bird, 2002）中的词性标注功能（Chiche & Yitagesu, 2022）对文本提示进行手部相关标注。我们提取属于“动词”类别且包含单词“hand”的输入词元索引列表I。随后，借助控制模块中的交叉注意力层，利用提取出的索引列表I来获取手部相关特征。我们并未采用耗时的优化过程来调整含噪嵌入$z_t$（Park et al., 2024），而是通过对特定交叉注意力图施加偏置项来增强手部相关特征；这样一来，手部相关的注意力图就能在注意力加权组合中对最终特征产生更大影响，进而改善手部图像的生成效果。在控制模块的交叉注意力层中，查询向量$Q_i$由$\phi_i(z_t, c_f)$推导得出，其中$z_t$为含噪图像嵌入，$c_f$为潜手网格条件图像，$\phi_i(z_t, c_f)$为第i个交叉注意力层的输入。键向量$K_i$和值向量$V_i$则源自CLIP文本编码器（Radford et al., 2021）生成的文本嵌入$c_t$。交叉注意力图$M_{cross}$的计算方式如下：

 $$ \begin{array}{r}{M_{c r o s s}=\mathrm{s o f t m a x}(\frac{Q_{i}K_{i}^{T}}{\sqrt{d_{i}}}+B),}\end{array} $$

---

![Image](images/297ffe022b57cf15426e64339fe174c3215ce7c73e8a91c9b19df865ca878afd.jpg)

<div style="text-align: center;">Figure 5: Qualitative comparisons with state-of-the-art text-to-image generation models.</div>

<div style="text-align: center;">Table 1: Quantitative comparisons on MSCOCO.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Method</td><td style='text-align: center; word-wrap: break-word;'>FID $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>KID $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>FID-H $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>KID-H $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>Hand Conf. $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>MSE-2D $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>MSE-3D $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>User Pref. $\uparrow$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Stable Diffusion (Rombach et al., 2022)</td><td style='text-align: center; word-wrap: break-word;'>40.52</td><td style='text-align: center; word-wrap: break-word;'>0.00684</td><td style='text-align: center; word-wrap: break-word;'>50.78</td><td style='text-align: center; word-wrap: break-word;'>0.02554</td><td style='text-align: center; word-wrap: break-word;'>0.651</td><td style='text-align: center; word-wrap: break-word;'>2.932</td><td style='text-align: center; word-wrap: break-word;'>4.591</td><td style='text-align: center; word-wrap: break-word;'>1.50</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Uni-ControlNet (Zhao et al., 2023)</td><td style='text-align: center; word-wrap: break-word;'>30.34</td><td style='text-align: center; word-wrap: break-word;'>0.00744</td><td style='text-align: center; word-wrap: break-word;'>37.77</td><td style='text-align: center; word-wrap: break-word;'>0.02004</td><td style='text-align: center; word-wrap: break-word;'>0.855</td><td style='text-align: center; word-wrap: break-word;'>2.105</td><td style='text-align: center; word-wrap: break-word;'>3.039</td><td style='text-align: center; word-wrap: break-word;'>2.56</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>T2I-Adapter (Mou et al., 2024)</td><td style='text-align: center; word-wrap: break-word;'>22.00</td><td style='text-align: center; word-wrap: break-word;'>0.00761</td><td style='text-align: center; word-wrap: break-word;'>32.08</td><td style='text-align: center; word-wrap: break-word;'>0.01568</td><td style='text-align: center; word-wrap: break-word;'>0.914</td><td style='text-align: center; word-wrap: break-word;'>1.546</td><td style='text-align: center; word-wrap: break-word;'>2.451</td><td style='text-align: center; word-wrap: break-word;'>2.91</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>ControlNet (Zhang et al., 2023a)</td><td style='text-align: center; word-wrap: break-word;'>21.67</td><td style='text-align: center; word-wrap: break-word;'>0.00658</td><td style='text-align: center; word-wrap: break-word;'>40.32</td><td style='text-align: center; word-wrap: break-word;'>0.02098</td><td style='text-align: center; word-wrap: break-word;'>0.810</td><td style='text-align: center; word-wrap: break-word;'>1.252</td><td style='text-align: center; word-wrap: break-word;'>2.182</td><td style='text-align: center; word-wrap: break-word;'>3.21</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>AttentionHand (Park et al., 2024)</td><td style='text-align: center; word-wrap: break-word;'>20.71</td><td style='text-align: center; word-wrap: break-word;'>0.00301</td><td style='text-align: center; word-wrap: break-word;'>27.09</td><td style='text-align: center; word-wrap: break-word;'>0.01287</td><td style='text-align: center; word-wrap: break-word;'>0.965</td><td style='text-align: center; word-wrap: break-word;'>1.026</td><td style='text-align: center; word-wrap: break-word;'>1.986</td><td style='text-align: center; word-wrap: break-word;'>4.05</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ours</td><td style='text-align: center; word-wrap: break-word;'>18.63</td><td style='text-align: center; word-wrap: break-word;'>0.00553</td><td style='text-align: center; word-wrap: break-word;'>17.77</td><td style='text-align: center; word-wrap: break-word;'>0.00718</td><td style='text-align: center; word-wrap: break-word;'>0.966</td><td style='text-align: center; word-wrap: break-word;'>1.015</td><td style='text-align: center; word-wrap: break-word;'>1.537</td><td style='text-align: center; word-wrap: break-word;'>4.55</td></tr></table>

其中$d_{i}$为键向量的维度，B为用于增强手部相关特征、以提升手部区域生成效果的偏置矩阵。偏置矩阵B的定义如下：

 $$ B_{q,k}=\begin{cases}{\alpha,}&{k\in I}\\ {0,}&{\mathrm{o t h e r w i s e}}\\ \end{cases}, $$

其中$\alpha$为一个正的超参数，q为查询索引，k为键索引。

交叉注意力层的输出是通过将增强后的交叉注意力图$M_{cross}$作用于值向量$V_{i}$来计算得出的：

 $$ \phi_{i}^{\prime}(z_{t},c_{f})=M_{c r o s s}V_{i}. $$

如图4所示，该方法能够增强模型捕捉并突出手部相关特征的能力，从而改善手部区域的生成效果。

## 4 实验

### 4.1 实验设置

数据集。在文本到图像生成任务中，我们遵循先前的研究（Park et al., 2024），采用MSCOCO数据集（Lin et al., 2014; Jin et al., 2020），该数据集经过预处理后包含RGB手部图像和手部网格图像，用于训练和评估。我们利用人类行为语义提取流程生成新的图像描述。在3D手部网格重建任务中，我们在两个真实场景测试数据集上进行评估：Hands-In-Action（HIC）（Tzionas et al., 2016）和Re:InterHand（ReIH）（Moon et al., 2023）。HIC包含用RGBD相机拍摄的单手及交互手部序列，测试集共有732个样本；ReIH是一个合成的交互手部数据集，其背景采用了HDR光照效果，测试集包含126,640个样本。我们展示了在MSCOCO数据集上的定性结果。

评估指标。为了评估图像生成性能，我们采用Frechet Inception Distance（FID）（Heusel等人，2017年）和Kernel Inception Distance（KID）（Bińkowski等人，2018年）。我们通过计算手部裁剪图像的FID和KID来评估手部区域生成图像的质量，分别用FID-H和KID-H表示。我们还评估手部置信度分数（Hand Conf.），以衡量生成图像中的手部质量；该分数通过现成的手部检测器Mediapipe（Zhang等人，2020年）来计算检测的平均置信度，具体遵循Park等人（2024年）和Narasimhaswamy等人（2024年）的方法。我们参照先前的研究（Park等人，2024年），使用Mediapipe报告二维关键点的均方误差（MSE-2D），并使用InterWild（Moon，2023年）报告三维关键点的均方误差（MSE-3D）。对于用户偏好（User Pref.），我们邀请了12名志愿者对10组生成的手部图像在以下方面进行评分，采用五点李克特量表：视觉质量、手部网格对齐度和文本对齐度。为了评估三维手部重建性能，

---

<div style="text-align: center;">Table 2: Quantitative comparisons of 3D hand reconstruction methods with and without our generated images.  $*$ indicates our re-implemented results.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Datasets</td><td colspan="3">HIC (Tzionas et al., 2016)</td><td colspan="3">ReIH (Moon et al., 2023)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Method</td><td style='text-align: center; word-wrap: break-word;'>MPVPE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>RRVE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>MRRPE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>MPVPE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>RRVE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>MRRPE $\downarrow$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>DIR (Ren et al., 2023)</td><td style='text-align: center; word-wrap: break-word;'>21.89</td><td style='text-align: center; word-wrap: break-word;'>26.11</td><td style='text-align: center; word-wrap: break-word;'>43.11</td><td style='text-align: center; word-wrap: break-word;'>21.82</td><td style='text-align: center; word-wrap: break-word;'>29.66</td><td style='text-align: center; word-wrap: break-word;'>37.01</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>+ AttentionHand</td><td style='text-align: center; word-wrap: break-word;'>20.66 (-5.6%)</td><td style='text-align: center; word-wrap: break-word;'>25.87 (-0.9%)</td><td style='text-align: center; word-wrap: break-word;'>40.54 (-6.0%)</td><td style='text-align: center; word-wrap: break-word;'>19.91 (-8.8%)</td><td style='text-align: center; word-wrap: break-word;'>26.67 (-10.1%)</td><td style='text-align: center; word-wrap: break-word;'>35.05 (-5.3%)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>$DIR^{*}$ (Ren et al., 2023)</td><td style='text-align: center; word-wrap: break-word;'>21.94</td><td style='text-align: center; word-wrap: break-word;'>29.09</td><td style='text-align: center; word-wrap: break-word;'>42.60</td><td style='text-align: center; word-wrap: break-word;'>22.14</td><td style='text-align: center; word-wrap: break-word;'>29.41</td><td style='text-align: center; word-wrap: break-word;'>40.48</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>+ Ours</td><td style='text-align: center; word-wrap: break-word;'>20.48 (-6.7%)</td><td style='text-align: center; word-wrap: break-word;'>27.78 (-4.5%)</td><td style='text-align: center; word-wrap: break-word;'>40.01 (-6.1%)</td><td style='text-align: center; word-wrap: break-word;'>19.21 (-13.2%)</td><td style='text-align: center; word-wrap: break-word;'>27.42 (-6.8%)</td><td style='text-align: center; word-wrap: break-word;'>38.10 (-5.9%)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>InterWild (Moon, 2023)</td><td style='text-align: center; word-wrap: break-word;'>15.30</td><td style='text-align: center; word-wrap: break-word;'>21.35</td><td style='text-align: center; word-wrap: break-word;'>31.26</td><td style='text-align: center; word-wrap: break-word;'>13.99</td><td style='text-align: center; word-wrap: break-word;'>20.07</td><td style='text-align: center; word-wrap: break-word;'>22.38</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>+ AttentionHand</td><td style='text-align: center; word-wrap: break-word;'>14.74 (-3.7%)</td><td style='text-align: center; word-wrap: break-word;'>21.10 (-1.2%)</td><td style='text-align: center; word-wrap: break-word;'>29.26 (-6.4%)</td><td style='text-align: center; word-wrap: break-word;'>13.95 (-0.3%)</td><td style='text-align: center; word-wrap: break-word;'>19.94 (-0.6%)</td><td style='text-align: center; word-wrap: break-word;'>22.05 (-1.5%)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>$InterWild^{*}$ (Moon, 2023)</td><td style='text-align: center; word-wrap: break-word;'>15.30</td><td style='text-align: center; word-wrap: break-word;'>24.20</td><td style='text-align: center; word-wrap: break-word;'>31.26</td><td style='text-align: center; word-wrap: break-word;'>13.99</td><td style='text-align: center; word-wrap: break-word;'>20.07</td><td style='text-align: center; word-wrap: break-word;'>22.38</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>+ Ours</td><td style='text-align: center; word-wrap: break-word;'>14.70 (-3.9%)</td><td style='text-align: center; word-wrap: break-word;'>23.36 (-3.5%)</td><td style='text-align: center; word-wrap: break-word;'>28.57 (-8.6%)</td><td style='text-align: center; word-wrap: break-word;'>13.01 (-7.0%)</td><td style='text-align: center; word-wrap: break-word;'>19.32 (-3.7%)</td><td style='text-align: center; word-wrap: break-word;'>22.17 (-0.9%)</td></tr></table>

![Image](images/b696e4608599ba858fd536f48ca132260feae9c0a4dfcf4520e9d78a7d3e63e3.jpg)

<div style="text-align: center;">Figure 6: Qualitative comparison of InterWild with and without our generated images on MSCOCO validation set.</div>

我们报告三项指标：平均顶点位置误差（MPVPE）、右手相对顶点误差（RRVE）以及平均相对根位置误差（MRRPE），单位均为毫米。更多细节请参阅附录C。

### 4.2 主要结果

图像生成对比。我们将我们的方法与最先进的可控图像生成方法进行比较。如表1所示，我们的方法在FID、FID-H、KID-H和手部置信度分数上均优于其他方法。具体而言，与AttentionHand相比，我们的方法在FID-H上提升了34%，在KID-H上提升了44%，这证明了引入语义和结构信息以改善手部图像生成的有效性。此外，AttentionHand在训练时会直接调整图像尺寸，这可能导致手部扭曲问题，进而影响图像生成性能。我们进一步进行了定性对比，以直观评估我们方法的有效性（见图5）。与其他方法相比，我们的方法能够生成高保真度的结果：生成图像中的手部与手部网格图像条件对齐，且相关人体姿态合理。结果还表明，该模型能够生成与不同手部姿态和形状相匹配的人体图像。

三维手部重建对比。我们通过用生成的图像对两种三维手部重建方法——InterWild（Moon，2023年）和DIR（Ren等人，2023年）——在HIC和ReIH数据集上进行微调，来评估我们方法的有效性。如表2所示，我们的方法优于AttentionHand，尤其是在MPVPE指标上：在HIC数据集上，使用InterWild时我们的方法将误差降低了3.9%，而AttentionHand仅降低了3.7%；在ReIH数据集上，我们的方法将误差降低了7.0%，而AttentionHand仅降低了0.3%。使用DIR时，在HIC数据集上我们的方法将误差降低了6.7%，AttentionHand降低了5.6%；在ReIH数据集上我们的方法将误差降低了13.2%，AttentionHand仅降低了8.8%。我们也在图6中展示了定性结果。尽管InterWild是用大规模真实和合成数据集训练的，但在涉及遮挡和截断等挑战性的自然场景样本上表现仍然不佳。我们生成的图像能够提升模型在手部检测和手部网格预测方面的鲁棒性。

---

<div style="text-align: center;">Table 3: Ablation study of different components. SE, SF, and AE denote semantics extraction, structural fusion, and attention enhancement. HC denotes the hand confidence score.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>SE</td><td style='text-align: center; word-wrap: break-word;'>SF</td><td style='text-align: center; word-wrap: break-word;'>AE</td><td style='text-align: center; word-wrap: break-word;'>FID $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>KID $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>FID-H $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>KID-H $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>HC $\uparrow$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>21.04</td><td style='text-align: center; word-wrap: break-word;'>0.00744</td><td style='text-align: center; word-wrap: break-word;'>21.90</td><td style='text-align: center; word-wrap: break-word;'>0.00982</td><td style='text-align: center; word-wrap: break-word;'>0.942</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>19.83</td><td style='text-align: center; word-wrap: break-word;'>0.00664</td><td style='text-align: center; word-wrap: break-word;'>18.90</td><td style='text-align: center; word-wrap: break-word;'>0.00807</td><td style='text-align: center; word-wrap: break-word;'>0.944</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>19.05</td><td style='text-align: center; word-wrap: break-word;'>0.00542</td><td style='text-align: center; word-wrap: break-word;'>18.17</td><td style='text-align: center; word-wrap: break-word;'>0.00722</td><td style='text-align: center; word-wrap: break-word;'>0.960</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>18.63</td><td style='text-align: center; word-wrap: break-word;'>0.00553</td><td style='text-align: center; word-wrap: break-word;'>17.77</td><td style='text-align: center; word-wrap: break-word;'>0.00718</td><td style='text-align: center; word-wrap: break-word;'>0.966</td></tr></table>

<div style="text-align: center;">Table 4: Speed comparison.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Method</td><td style='text-align: center; word-wrap: break-word;'>ControlNet</td><td style='text-align: center; word-wrap: break-word;'>AttentionHand</td><td style='text-align: center; word-wrap: break-word;'>Ours</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Duration (s/iter)</td><td style='text-align: center; word-wrap: break-word;'>0.41</td><td style='text-align: center; word-wrap: break-word;'>27.25</td><td style='text-align: center; word-wrap: break-word;'>0.44</td></tr></table>

<div style="text-align: center;">Table 5: Comparison on different bias  $\alpha$.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>$\alpha$</td><td style='text-align: center; word-wrap: break-word;'>1.0</td><td style='text-align: center; word-wrap: break-word;'>1.5</td><td style='text-align: center; word-wrap: break-word;'>2.0</td><td style='text-align: center; word-wrap: break-word;'>2.5</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>FID $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>20.41</td><td style='text-align: center; word-wrap: break-word;'>19.69</td><td style='text-align: center; word-wrap: break-word;'>18.63</td><td style='text-align: center; word-wrap: break-word;'>19.97</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>FID-H $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>19.75</td><td style='text-align: center; word-wrap: break-word;'>18.98</td><td style='text-align: center; word-wrap: break-word;'>17.77</td><td style='text-align: center; word-wrap: break-word;'>19.01</td></tr></table>

### 4.3 消融研究

组件消融实验。如表3所示，我们对方法各组件在生成性能上的表现进行了消融研究。通过引入人类行为语义提取流程，性能可从FID 21.04提升至19.83，这证明了整合人类行为语义对提升图像生成性能的有效性。随后我们逐步引入分层结构融合与手部相关注意力增强机制，以改善结构对齐效果并突出手部相关的局部特征。每一次添加都能进一步提升模型性能。这些实验验证了各组件对整体性能的贡献。我们还展示了消融实验的可视化结果（见图7）。

我们展示了两个具有挑战性的样本：一个是存在运动模糊和遮挡问题（包括自身遮挡与物体遮挡）的真实图像，另一个则存在手部形状尺度变化的情况。结果表明，加入人类行为语义提取机制能够提升手部图像质量，因为它能突出与人类及手部相关的上下文信息，同时剔除无关信息。分层结构融合将人体的结构信息注入生成过程，从而促进手部与身体的对齐。此外，手部相关注意力增强机制能够——

![Image](images/5eeecc83fb39ce44fb7a43736058e61132435eaec53b16b095683406af0f598e.jpg)

<div style="text-align: center;">Figure 7: Ablation examples. SE, SF, and AE denote semantics extraction, structural fusion, and attention enhancement.</div>

实现手部区域的更优生成。

训练效率分析。我们将其与ControlNet及AttentionHand进行了训练效率对比。如表4所示，尽管我们的训练速度略慢于ControlNet，但远快于AttentionHand——后者在训练过程中需要复杂的优化流程来实现手部相关特征的精细化处理。

偏置项的消融实验。我们对偏置矩阵的$\alpha$进行超参数搜索以确定其取值。如表5所示，偏置值为2.0时性能最佳，而其他取值下的结果均有所下滑。这表明较小的偏置增强可能无法突出有用的手部相关区域，而偏置值过高则会引入噪声。

### 4.4 人类感知研究

我们通过两项人类感知研究进一步评估SesaHand的性能。第一项研究是将我们的人类行为语义提取流程与不同视觉语言模型进行对比，这些模型包括Qwen-VL（Bai等人，2023年）、Qwen2.5-VL-7B（Bai等人，2025年）以及LLaVA-v1.6-7B（Liu等人，2024b年）。我们随机选取12张图像及其由视觉语言模型和我们的流程生成的描述，邀请20名用户参与研究。用户需从四个描述中选出最能反映图像中人类行为的描述。我们共收集到240个回答，并统计出相应的偏好率。图8(a)显示，我们的流程优于其他视觉语言模型，偏好率达到41%。第二项研究——

![Image](images/8f04d64b301379ce95d2eba4bd8735f7d6f02a3079b032c1025c292c2135f17b.jpg)

![Image](images/b4f699a6bd4f7460e52b0863d7a2ef9dfb95543a37e8308340ae3ad0d4f166ce.jpg)

<div style="text-align: center;">Figure 8: Human perceptual studies.</div>

---

![Image](images/f2c717bf81fc60309864c4b1868c3a3595888f94e06c2afa3e9000831e8ec1ff.jpg)

…此人正在打电话，一只手将手机贴在耳边……

<div style="text-align: center;">Figure 9: Comparison with commercial models. Given a conditioning hand mesh image and a text prompt, GPT-4o, Gemini 2.0 Flash, Nano Banana, and Nano Banana Pro fail to generate well-aligned and realistic hand images, despite their capability for multiple image generation tasks.</div>

旨在比较未采用我们改进措施的模型所生成的图像，与应用所有改进措施后生成的图像。我们展示了12组带有文本提示和手部网格条件的生成图像。用户需根据文本对齐度、结构控制效果以及图像质量选出最佳图像。我们的偏好率为67%（见图8(b)），这一结果证明了我们方法的有效性。更多细节请参阅附录B。

### 4.5 与商业模型的对比

我们进一步探讨了现有商业模型生成对齐良好的手部图像的能力。为了进行定性比较，我们选择了四种广泛使用的商业图像生成模型：GPT-4o（Hurst等人，2024年）、Gemini 2.0 Flash（Comanici等人，2025年）、Nano Banana（Gemini 2.5 Flash）以及Nano Banana Pro（Gemini 3 Pro Image）。如图9所示，尽管我们为这四种模型提供了关于任务的额外说明，但这些模型仍未能遵循指令生成对齐的手部图像。GPT-4o生成了逼真的图像，但它与条件约束下的手部网格图像并不对齐。Gemini 2.0 Flash和Nano Banana受到条件图像的影响，生成了没有纹理的不理想3D渲染结果。Nano Banana Pro在生成逼真图像方面表现较好，但仍存在与条件网格图像不对齐的问题。相比之下，我们的方法能够生成逼真且对齐良好的手部图像。

## 5 结论

我们提出了SesaHand，一种可控的手部图像生成方法，该方法能够实现语义和结构上的对齐，从而提升3D手部重建效果。以往的手部图像合成方法缺乏多样性，且难以整合关键组件；而基于扩散模型的手部图像生成方法则存在对齐问题和训练效率低下的情况。在语义对齐方面，我们提出了一种结合CoT推理的人类行为语义提取流程，用于识别并生成关键语义，这有助于提取以人为中心的重要上下文信息，减少无关信息，进而生成更好的手部图像。在结构对齐方面，我们采用分层结构融合技术来优化图像特征，以增强生成图像中的手部与身体对齐效果。我们还提出了一种手部结构注意力增强方法，用以突出局部手部特征，从而改善手部区域的生成质量。凭借这些改进，我们的方法在定量和定性评估中均优于现有最先进的方法。

## 6 局限性与未来工作

当条件约束下的手部尺寸较小时，我们的方法可能会生成模糊的手部图像。当存在手-物体交互时，手部与物体在接触点处有时会出现融合现象。在未来的工作中，我们计划加强对手-物体交互区域的学习，以便在生成的图像中实现更逼真、自然的手-物体交互效果。此外，采用优先训练策略，即以更高的采样概率重点训练较高噪声水平的数据，有望进一步提升手部结构的生成质量，因为较高噪声水平有助于生成图像的结构信息，而较低噪声水平则侧重于细节优化。最后，引入来自以自我为中心的数据集的额外配对训练数据，能够提升我们生成更优的以自我为中心图像的能力，从而助力机器人操控等下游任务。

---

## 致谢

本研究部分得到了国家自然科学基金委员会/研究资助委员会合作研究项目（项目编号：CRS_HKUST605/25）、国家自然科学基金（项目编号：62561160115）、国家重点研发计划（项目编号：2024YFC3307602）以及广东省人才计划（项目编号：2023JC10X009）的支持。此外，本研究还得到了国家自然科学基金（项目编号：62406298）的资助。

## 伦理声明

本研究遵循ICLR伦理准则。涉及人类感知研究的所有用户数据均经过严格匿名化处理。本研究使用的数据集来源于已发表的文献以及GitHub和Hugging Face等开源平台。我们的工作旨在从技术层面改进手部图像生成，并非用于恶意用途。

## 参考文献

Kazuyuki Arimatsu和Hideki Mori。基于接近传感器的手持设备上手部姿态估计的机器学习技术评估。收录于2020年CHI人机交互系统会议论文集，第1–13页，2020年。

Jinze Bai、Shuai Bai、Shusheng Yang、Shijie Wang、Sinan Tan、Peng Wang、Junyang Lin、Chang Zhou和Jingren Zhou。Qwen-vl：一款功能多样、可用于理解、定位、文本阅读等领域的视觉语言模型。arXiv预印本arXiv:2308.12966，2023年。

Shuai Bai、Keqin Chen、Xuejing Liu、Jialin Wang、Wenbin Ge、Sibo Song、Kai Dang、Peng Wang、Shijie Wang、Jun Tang、Humen Zhong、Yuanzhi Zhu、Mingkun Yang、Zhaohai Li、Jianqiang Wan、Pengfei Wang、Wei Ding、Zheren Fu、Yiheng Xu、Jiabo Ye、Xi Zhang、Tianbao Xie、Zesen Cheng、Hang Zhang、Zhibo Yang、Haiyang Xu和Junyang Lin。Qwen2.5-vl技术报告。arXiv预印本arXiv:2502.13923，2025年。

Mikołaj Bińkowski、Danica J Sutherland、Michael Arbel和Arthur Gretton。揭开MMD GANs的神秘面纱。收录于2018年国际学习表征会议论文集。

Michael J Black、Priyanka Patel、Joachim Tesch和Jinlong Yang。Bedlam：一个包含精细逼真动画动作的人体合成数据集。收录于IEEE/CVF计算机视觉与模式识别会议论文集，第8726–8737页，2023年。

Zhe Cao、Gines Hidalgo、Tomas Simon、Shih-En Wei和Yaser Sheikh。OpenPose：利用部件亲和场实现实时多人2D姿态估计。《IEEE模式分析与机器智能交易》第43卷第1期，第172–186页，2019年。

Zhe Cao、Ilija Radosavovic、Angjoo Kanazawa和Jitendra Malik。在复杂场景中重建手与物体的交互关系。收录于IEEE/CVF国际计算机视觉会议论文集，第12417–12426页，2021年。

Di Chang、Hongyi Xu、You Xie、Yipeng Gao、Zhengfei Kuang、Shengqu Cai、Chenxu Zhang、Guoxian Song、Chao Wang、Yichun Shi等。X-Dyna：富有表现力的动态人体图像动画技术。收录于计算机视觉与模式识别会议论文集，第5499–5509页，2025年。

Yu-Wei Chao、Wei Yang、Yu Xiang、Pavlo Molchanov、Ankur Handa、Jonathan Tremblay、Yashraj S Narang、Karl Van Wyk、Umar Iqbal、Stan Birchfield等。DexYCB：用于捕捉物体抓取行为的基准测试集。收录于IEEE/CVF计算机视觉与模式识别会议论文集，第9044–9053页，2021年。

Junsong Chen、Jincheng Yu、Chongjian Ge、Lewei Yao、Enze Xie、Yue Wu、Zhongdao Wang、James Kwok、Ping Luo、Huchuan Lu等。Pixart-$\alpha$：用于照片级文字转图像合成的扩散Transformer快速训练方法。收录于第十二届国际学习表征会议论文集，2024年。

---

Kefan Chen、Chaerin Min、Linguang Zhang、Shreyas Hampali、Cem Keskin和Srinath Sridhar。FoundHand：面向可控手部图像生成的大规模领域特定学习模型。收录于计算机视觉与模式识别会议论文集，第17448–17460页，2025a年。

陈书航、黄先亮、钟志洲、关菊红、周水根。一种用于精确提取人体测量数据的聚焦式人体模型。载于《计算机视觉与模式识别会议论文集》，第22658–22667页，2025b年。

阿莱巴切乌·奇切和贝特塞洛特·伊塔格苏。词性标注：深度学习与机器学习方法的系统性综述。《大数据期刊》，第9卷第1期：10页，2022年。

楚晓、杨伟、欧阳万利、马成、艾伦·L·尤尔、王晓刚。用于人体姿态估计的多上下文注意力机制。载于《IEEE计算机视觉与模式识别会议论文集》，第1831–1840页，2017年。

格奥尔基·科马尼奇、埃里克·比伯、迈克·沙克尔曼、艾斯·帕苏帕特、诺维恩·萨德哈瓦、因德尔吉特·迪隆、马塞尔·布利斯泰因、奥里·拉姆、张丹、埃文·罗森等。Gemini 2.5：凭借先进的推理能力、多模态特性、长上下文以及下一代智能体功能拓展前沿。arXiv预印本arXiv:2507.06261，2025年。

丁明、杨卓毅、洪文一、郑婉迪、周昌、尹达、林俊阳、邹旭、邵周、杨红霞等。Cogview：基于Transformer的文本到图像生成技术。《神经信息处理系统进展》，第34卷：19822–19835页，2021年。

高代恒、修玉良、李凯琳、杨立新、王峰、张鹏、张邦、卢泽武、谭平。Dart：具有多样配饰与丰富纹理的关节式手部模型。《神经信息处理系统进展》，第35卷：37055–37067页，2022年。

阿列克谢·加夫留申、王曦、罗伯特·J·S·马拉特、杨晨宇、贾翔逸、舒布·戈尔、达维德·利孔蒂、雷内·祖尔布鲁格、罗伯特·K·卡茨施曼、马克·波勒费斯。Maple：编码从第一人称视角视频中学习的灵巧机器人操控先验知识，2025年。网址：<https://arxiv.org/abs/2504.06084>。

葛云浩、曾晓辉、雅各布·塞缪尔·赫夫曼、林宗义、刘明宇、崔寅。视觉事实核查器：实现高保真度的详细描述生成。载于《IEEE/CVF计算机视觉与模式识别会议论文集》，第14033–14042页，2024年。

亚伦·格拉塔菲奥里、阿比曼纽·杜贝、阿宾纳夫·乔赫里、阿宾纳夫·潘迪、阿比舍克·卡迪安、艾哈迈德·阿尔-达勒、艾莎·莱特曼、阿基尔·马图尔、艾伦·谢尔特恩、亚历克斯·沃恩等。Llama 3系列模型。arXiv预印本arXiv:2407.21783，2024年。

顾书阳、陈东、鲍建敏、文芳、张波、陈东东、袁璐、郭百宁。用于文本到图像合成的矢量量化扩散模型。载于《IEEE/CVF计算机视觉与模式识别会议论文集》，第10696–10706页，2022年。

什雷亚斯·汉帕利、马赫迪·拉德、马库斯·奥伯韦格、文森特·勒佩蒂。Honnotate：一种用于手部与物体姿态的三维标注方法。载于CVPR会议，2020年。

韩尚辰、吴博辰、张宇博、刘贝贝、张凌光、王正、司伟光、张培昭、蔡宇军、托马斯·霍丹等。Umetrack：面向虚拟现实的统一多视角端到端手部追踪技术。载于SIGGRAPH Asia 2022会议论文集，第1–9页，2022年。

雅娜·哈松、古尔·瓦罗尔、季米特里奥斯·齐奥纳斯、伊戈尔·卡列瓦特赫、迈克尔·J·布莱克、伊万·拉普捷夫、科尔迪莉亚·施密德。学习手部与被操纵物体的联合重建技术。载于《IEEE/CVF计算机视觉与模式识别会议论文集》，第11807–11816页，2019年。

马丁·赫塞尔、胡伯特·拉姆绍尔、托马斯·翁特蒂纳、伯恩哈德·内斯勒、塞普·霍赫赖特。采用双时间尺度更新规则训练的GAN可收敛至局部纳什均衡。《神经信息处理系统进展》，第30卷，2017年。

Al Amin Hosain、Panneer Selvam Santhalingam、Parth Pathak、Huzefa Rangwala和Jana Kosecka。基于手部姿态引导的3D池化方法用于词级手语识别。载于《IEEE/CVF计算机视觉应用冬季会议论文集》，第3429–3439页，2021年。

---

Lin Huang、Chung-Ching Lin、Kevin Lin、Lin Liang、Lijuan Wang、Junsong Yuan和Zicheng Liu。用于相机空间3D手部姿态估计的神经投票场。载于《IEEE/CVF计算机视觉与模式识别会议论文集》，第8969–8978页，2023年。

Aaron Hurst、Adam Lerer、Adam P Goucher、Adam Perelman、Aditya Ramesh、Aidan Clark、AJ Ostrow、Akila Welihinda、Alan Hayes、Alec Radford等。GPT-4o系统说明文档。arXiv预印本arXiv:2410.21276，2024年。

Sheng Jin、Lumin Xu、Jin Xu、Can Wang、Wentao Liu、Chen Qian、Wanli Ouyang和Ping Luo。野外环境下的全身人体姿态估计。载于《欧洲计算机视觉会议论文集》，第196–214页。Springer出版社，2020年。

Hyeonwoo Kim、Sangwon Baik和Hanbyul Joo。David：利用预训练视频扩散模型对3D物体的动态可用性进行建模。载于《IEEE/CVF国际计算机视觉会议论文集》，第10330–10341页，2025年。

Lijun Li、Linrui Tian、Xindi Zhang、Qi Wang、Bang Zhang、Liefeng Bo、Mengyuan Liu和Chen Chen。RenderIH：一个用于3D交互式手部姿态估计的大规模合成数据集。载于《IEEE/CVF国际计算机视觉会议论文集》，第20395–20405页，2023年。

Qiuxia Lin、Rongyu Chen、Kerui Gu和Angela Yao。面向3D人体姿态估计的语义感知测试时自适应方法。载于《第四十二届国际机器学习会议论文集》，2025年。

Tsung-Yi Lin、Michael Maire、Serge Belongie、James Hays、Pietro Perona、Deva Ramanan、Piotr Dollár和C Lawrence Zitnick。Microsoft COCO：场景中的常见物体。载于《欧洲计算机视觉会议论文集》，第740–755页。Springer出版社，2014年。

Bingyan Liu、Chengyu Wang、Tingfeng Cao、Kui Jia和Jun Huang。旨在理解Stable Diffusion中用于文本引导图像编辑的交叉注意力与自注意力机制。载于《IEEE/CVF计算机视觉与模式识别会议论文集》，第7817–7826页，2024a年。

Haotian Liu、Chunyuan Li、Yuheng Li、Bo Li、Yuanhan Zhang、Sheng Shen和Yong Jae Lee。LLaVA-NeXT：具备更强推理能力、OCR及世界知识，2024年1月发布。网址：<https://llava-vl.github.io/blog/2024-01-30-llava-next/>。

Yunze Liu、Yun Liu、Che Jiang、Kangbo Lyu、Weikang Wan、Hao Shen、Boqiang Liang、Zhoujie Fu、He Wang和Li Yi。HOI4D：一个用于类别级人机交互的4D第一人称视角数据集。载于《IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集》，第21013–21022页，2022年6月。

Edward Loper和Steven Bird。NLTK：自然语言工具包。arXiv预印本cs/0205028，2002年。

Hao Luo、Yicheng Feng、Wanpeng Zhang、Sipeng Zheng、Ye Wang、Haoqi Yuan、Jiazheng Liu、Chaoyi Xu、Qin Jin和Zongqing Lu。Being-H0：基于大规模人类视频的视觉-语言-动作预训练模型。arXiv预印本arXiv:2507.15597，2025年。

Chancharik Mitra、Brandon Huang、Trevor Darrell和Roei Herzig。面向大型多模态模型的组合式思维链提示方法。载于《IEEE/CVF计算机视觉与模式识别会议论文集》，第14420–14431页，2024年。

Gyeongsik Moon。将输入映射到共享域以实现野外环境下的3D交互式手部恢复。载于《IEEE/CVF计算机视觉与模式识别会议论文集》，第17028–17037页，2023年。

文贤植和李京武。I2l-meshnet：用于从单张RGB图像中精确估计3D人体姿态和网格的图像到像素预测网络。载于欧洲计算机视觉会议，第752–768页。施普林格出版社，2020年。

文贤植、余守一、何文、白鸟贵明和李京武。Interhand2.6m：一个用于从单张RGB图像中估计3D交互手部姿态的数据集及基准方法。载于欧洲计算机视觉会议，第548–564页。施普林格出版社，2020年。

---

文贤植、斋藤俊辅、徐伟鹏、Rohan Joshi、Julia Buffaloini、Harley Bellan、Nicholas Rosen、Jesse Richardson、Mallorie Mize、Philippe De Bree等。一个重光照的3D交互手部数据集。《神经信息处理系统进展》，第36卷：17689–17701页，2023年。

牟冲、王新涛、谢良斌、吴彦泽、张健、齐忠刚和单英。T2i-adapter：学习适配器以挖掘文本到图像扩散模型的更多可控能力。载于美国人工智能协会人工智能会议论文集，第4296–4304页，2024年。

Supreeth Narasimhaswamy、Uttaran Bhattacharya、陈翔、Ishita Dasgupta、Saayan Mitra和Minh Hoai。Handiffuser：生成具有真实手部外观的文本到图像模型。载于IEEE/CVF计算机视觉与模式识别会议论文集，第2468–2479页，2024年。

朴俊浩、孔景杓和姜锡柱。Attentionhand：面向野外3D手部重建的文本驱动可控手部图像生成方法。载于欧洲计算机视觉会议，第329–345页。施普林格出版社，2024年。

Georgios Pavlakos、单丹丹、Ilija Radosavovic、Angjoo Kanazawa、David Fouhey和Jitendra Malik。利用Transformer重建3D手部模型。载于CVPR会议，2024年。

Alec Radford、金钟旭、Chris Hallacy、Aditya Ramesh、Gabriel Goh、Sandhini Agarwal、Girish Sastry、Amanda Askell、Pamela Mishkin、Jack Clark等。从自然语言监督中学习可迁移的视觉模型。载于国际机器学习会议，第8748–8763页。PMLR出版社，2021年。

Scott Reed、Zeynep Akata、严欣晨、Lajanugen Logeswaran、Bernt Schiele和Honglak Lee。生成式对抗文本到图像合成技术。载于国际机器学习会议，第1060–1069页。PMLR出版社，2016年。

任鹏飞、温超、郑晓正、薛周、孙海峰、齐琪、王静宇和廖建新。用于从单张RGB图像中重建交互手部的解耦迭代优化框架。载于IEEE/CVF国际计算机视觉会议论文集，第8014–8025页，2023年。

Robin Rombach、Andreas Blattmann、Dominik Lorenz、Patrick Esser和Björn Ommer。基于潜空间扩散模型的高分辨率图像合成技术。载于IEEE/CVF计算机视觉与模式识别会议论文集，第10684–10695页，2022年。

Olaf Ronneberger、Philipp Fischer和Thomas Brox。U-net：用于生物医学图像分割的卷积神经网络。载于国际医学图像计算与计算机辅助干预会议，第234–241页。施普林格出版社，2015年。

Chitwan Saharia、William Chan、Saurabh Saxena、Lala Li、Jay Whang、Emily L Denton、Kamyar Ghasemipour、Raphael Gontijo Lopes、Burcu Karagol Ayan、Tim Salimans等。具备深度语言理解能力的逼真文本到图像扩散模型。《神经信息处理系统进展》，第35卷：36479–36494页，2022年。

约阿希姆·特施、乔治·贝切里尼、普雷拉纳·阿查尔、阿纳斯塔西奥斯·亚纳基迪斯、穆罕默德·科卡巴斯、普里亚娜·帕特尔和迈克尔·J·布莱克。Bedlam2.0：运动中的合成人类与摄像头。收录于第39届神经信息处理系统年会数据集与基准测试分会，2025年。

迪米特里奥斯·齐奥纳斯、卢卡·巴兰、阿比拉什·斯里坎塔、巴勃罗·阿庞特、马克·波勒费斯和尤尔根·加尔。利用判别性显著点和物理模拟捕捉动作中的手部。国际计算机视觉杂志，第118卷第2期：172–193页，2016年。

杰森·韦、薛之涵、戴尔·舒尔曼斯、马尔滕·博斯马、费伊·夏、艾德·奇、吴玉辉、周丹尼等。思维链提示能激发大语言模型的推理能力。神经信息处理系统进展，第35卷：24824–24837页，2022年。

埃罗尔·伍德、塔达斯·巴尔图沙蒂斯、查理·休伊特、塞巴斯蒂安·迪亚齐奥、托马斯·J·卡什曼和杰米·肖顿。以假乱真：仅利用合成数据进行野外人脸分析。收录于IEEE/CVF国际计算机视觉会议论文集，第3681–3691页，2021年。

---

肖文毅和甘雷雷。用于大视觉语言模型推理的快慢思维GRPO方法。收录于第39届神经信息处理系统年会，2025年。

徐浩、王天宇、唐晓和傅志伟。H2onet：一种实时3D手网格重建的手部遮挡与方向感知网络。收录于IEEE/CVF计算机视觉与模式识别会议论文集，第17048–17058页，2023年。

徐浩、李海鹏、王银超、刘帅成和傅志伟。Handbooster：通过条件合成与手物交互采样来提升3D手网格重建效果。收录于IEEE/CVF计算机视觉与模式识别会议论文集，第10159–10169页，2024年。

徐涛、张鹏川、黄秋元、张涵、甘哲、黄晓雷和何晓东。Attingan：基于注意力生成对抗网络的细粒度文本到图像生成。收录于IEEE计算机视觉与模式识别会议论文集，第1316–1324页，2018年。

余佳辉、许远中、柯静瑜、吕唐、Baid Gunjan、王子睿、Vasudevan Vijay、Ku Alexander、杨银飞、Karagol Ayan Burcu等。为内容丰富的文本到图像生成扩展自回归模型。机器学习研究交易，2022年。

詹欣宇、杨立新、赵一飞、毛康瑞、徐汉林、林泽南、李凯琳和卢泽武。Oakink2：一个用于复杂任务完成的双手-物体操控数据集。收录于IEEE/CVF计算机视觉与模式识别会议论文集，第445–456页，2024年。

张帆、瓦伦丁·巴扎列夫斯基、安德烈·瓦库诺夫、安德烈·特卡琴卡、乔治·宋、张楚玲和马蒂亚斯·格伦德曼。MediaPipe Hands：设备上的实时手部追踪。arXiv预印本arXiv:2006.10214，2020年。

张浩卓、朱斌、曹宇和郝燕斌。Hand1000：仅需1,000张图像即可从文本生成逼真的手部图像。收录于AAAI人工智能会议论文集，第9905–9913页，2025年。

张绿敏、饶安怡和Maneesh Agrawala。为文本到图像扩散模型添加条件控制功能。收录于IEEE/CVF国际计算机视觉会议论文集，第3836–3847页，2023a年。

张卓胜、张Astro、李沐和Alex Smola。大语言模型中的自动思维链提示。收录于第十一届学习表征国际会议，2023b年。

赵世豪、陈东东、陈彦淳、鲍建敏、郝少哲、袁璐和黄冠宇。Uni-ControlNet：面向文本到图像扩散模型的一体化控制方法。《神经信息处理系统进展》，第36卷：11127–11150页，2023年。

赵卓然、杨琳琳、孙鹏展、潘辉和姚安琪。3D手部姿态估计中合成数据到真实数据的域差异分析。收录于计算机视觉与模式识别会议（CVPR）论文集，第12255–12265页，2025年6月。

克里斯蒂安·齐默尔曼、杜伊古·塞兰、杨继梅、布莱恩·拉塞尔、马克斯·阿格斯和托马斯·布罗克斯。FreiHand：基于单张RGB图像的无标记手部姿态与形状捕捉数据集。收录于IEEE/CVF国际计算机视觉会议论文集，第813–822页，2019年。

---

## 附录概览

附录包含了人类行为语义提取流程的细节、人类感知研究细节、实现细节，以及额外的定量与定性对比结果。附录的结构如下：

- A节介绍了我们的注意力分析结果，以及人类行为语义提取流程中使用的少量示例。

• B节展示了人类感知研究的更多细节。

• C节提供了实现细节。

• D节给出了各模块的运行时分析。

- E节展示了更多的定性结果，以及与FoundHand（Chen等人，2025a）、HandBooster（Xu等人，2024）、ControlNet（Zhang等人，2023a）和Attention-Hand（Park等人，2024）的对比情况。

## 人类行为语义提取细节

### A.1 注意力分析

在本节中，我们展示了对搭载VLM生成的图像描述与人类行为语义的Stable Diffusion模型的注意力分析结果。如图10所示，我们可视化了不同时间步下UNet解码器中的注意力图。我们选取UNet解码器的早期模块和后期模块作为示例。在初始时间步，无论是基于VLM生成的图像描述还是人类行为语义的注意力图，都聚焦于人体结构和手部区域的生成。随着时间步推进，模型开始加入提示词中由VLM描述所提及的更多无关环境细节，这些细节严重遮挡了手部。相比之下，人类行为语义能够使模型在细化细节的同时仍保留手部区域。这一观察结果表明，图像描述中的过度思考会导致注意力偏离，转而生成那些会降低手部图像生成质量的无关物体。而包含关键成分的人类行为语义能够缓解这种偏差，提升手部图像生成性能。

![Image](images/c001f15ce8c188712bbec2e1253b2988205eec8147bc06618bd5ddacd10cdae2.jpg)

<div style="text-align: center;">Figure 10: Visualization of attention maps in UNet Decoder early and later blocks with VLM-generated image caption (top) and human behavior semantics (bottom). VLM-generated caption causes attention deviation towards irrelevant objects in later denoising steps, while human behavior semantics enables more focused attention on human- and hand-related regions.</div>

---

### A.2 少量示例

在人类行为语义提取流程中，我们提供少量示例来引导Extractor生成更符合JSON格式的准确响应，从而实现更好的组合效果。以下是该少量示例：

示例输入：“图片中，此人单手拿着一把粉色雨伞，面带微笑，正看向镜头……”
示例输出：
{
    “key_entities”: “person, umbrella”,
    “pose”: “standing casually”,
    “action”: “appears to be smiling while looking towards the camera”,
    “hand_action”: “One hand is holding a pink umbrella and wraps around the handle...”,
    “env”: “possibly at sunny beach”
}

## B 人类感知研究

我们通过社交媒体招募了20名用户，其中性别方面为12名女性、8名男性，年龄方面平均值为26.33岁，标准差为1.24岁。其中7名用户是人工智能领域的研究人员，3名是人机交互领域的研究人员，3名具有技术背景，另有7名来自其他领域。我们设计了一份问卷并将其分发给每位用户。问卷共包含12组问题，我们总共收集到240份回答。每个模型的偏好率是通过其被选择的次数除以回答总数来计算得出的。

在第一项人类感知研究中，我们要求每位用户根据以下问题和背景信息，选出最能反映图像中人类行为的描述：

问题：“哪种图像描述能够最准确、清晰地描述人类行为，且不存在幻觉内容？”

人类行为是指人们针对周围环境所表现出的各种动作、反应和互动。

“幻觉”指的是那些与人类行为理解无关或冗余的描述。

正如主论文中的图8所示，我们的视觉提示生成流程在描述图像内的人类行为方面优于现有的最先进视觉语言模型。我们的视觉提示生成流程的偏好率达到41%，超过了排名第二的Qwen2.5-VL-7B模型（Bai等人，2025年），后者的偏好率为31%。LLaVA-v1.6-7B和Qwen-VL的偏好率分别为23%和5%。我们发现Qwen-VL（Bai等人，2023年）往往生成简短的图像描述，无法提供关于人类行为的详细信息，这很可能是由于其视觉推理能力有限所致。Qwen2.5-VL-7B虽然比Qwen-VL更强，但存在过度思考的问题，且生成的描述与人类行为无关。LLaVA-v1.6-7B（Liu等人，2024b年）在某些情况下表现不错，但仍存在幻觉问题，难以准确描述人类行为。

第二项人类感知研究涉及图像生成。我们选取了未经过我们改进的模型（基线模型）以及应用了我们改进方法的模型所生成的12张图像。要求用户根据文本一致性、手部对齐度和生成质量这三个标准，在每组图像中选出更优的那张：

问题：“哪张图像更能匹配下述文本提示、符合手部网格图像的条件，且图像质量更好？”

---

我们总共收集到240份回答，偏好率的计算方式与第一项人类感知研究相同。正如主论文中的图8所示，我们的方法在人类偏好方面取得了更优异的表现，偏好率达到67%，进一步验证了其有效性。访谈中，用户反馈称基线模型生成的图像存在手部关节不匹配、手部与物体互动不自然（接触点处手部与物体相互融合）以及手部形状不正确等问题。此外，基线模型对透视关系的处理不佳，导致生成图像中手臂相对于手部的大小比例不当。

## C 实现细节

对于基于思维链推理的人类行为语义提取任务，我们使用Qwen2.5-VL（Bai等人，2025年）作为描述器，以LLaMA 3 70B（Grattafori等人，2024年）作为语义提取器。对于Composer模块，我们通过拼接操作将不同的输出组件整合在一起。

我们采用Stable Diffusion 1.5（Rombach等人，2022年）作为生成模型的基础架构，并在训练过程中冻结其权重。训练时采用AdamW优化器，学习率设为1e-5，以批量大小2来训练控制模块，共进行50个轮次。超参数$\alpha$被设定为2.0。实验在一块NVIDIA RTX 5000 Ada显卡上开展，训练时长约为2天（相当于50小时GPU时间）。为防止直接缩放导致手部及人体出现变形，我们在训练集中将输入的RGB图像与手部网格图像裁剪为以双手区域为中心的部分，并将其缩放至$512 \times 512$尺寸后再用于训练。

在3D手部重建的评估方面，我们依据官方代码重新实现了InterWild（Moon，2023年）和DIR（Ren等人，2023年）。对于InterWild，我们选用使用InterHand2.6M（H+M）（Moon等人，2020年）、MSCOCO（Lin等人，2014年）以及Re:InterHand（Ego_cameras）（Moon等人，2023年）训练得到的检查点，因为其生成的结果与AttentionHand论文中报告的结果最为接近——该论文并未给出具体的评估实现细节。对于DIR，我们则使用其GitHub仓库中发布的检查点。在进行DIR评估时，我们按照DIR原始实现中的数据预处理流程，先根据2D关节信息裁剪每张图像中的手部区域，从而对Re:InterHand测试集进行预处理。

就评估指标而言，MPVPE是在分别对齐左右手平移后，计算预测3D手部网格与真实3D手部网格之间的欧几里得距离。RRVE计算的是两只手之间的相对位置，其中右手根关节的平移会被对齐。MRRPE衡量的是两只手之间的3D相对距离，即预测的右手根关节相对于真实左手根关节的3D距离。

## D 模块级运行时分析

我们在表6中报告了模块级的运行时分析结果。Captioner和Extractor均部署在本地。训练期间GPU内存占用为26 GB，推理期间为17 GB。训练和推理均在单块NVIDIA RTX 5000 Ada显卡上进行。

<div style="text-align: center;">Table 6: Module-wise Runtime Analysis.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Module</td><td style='text-align: center; word-wrap: break-word;'>Captioner</td><td style='text-align: center; word-wrap: break-word;'>Extractor</td><td style='text-align: center; word-wrap: break-word;'>Attention Fusion</td><td style='text-align: center; word-wrap: break-word;'>Diffusion Sampling</td><td style='text-align: center; word-wrap: break-word;'>Inference</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Runtime (s)</td><td style='text-align: center; word-wrap: break-word;'>1.7</td><td style='text-align: center; word-wrap: break-word;'>0.8</td><td style='text-align: center; word-wrap: break-word;'>$2.9 \times 10^{-4}$</td><td style='text-align: center; word-wrap: break-word;'>0.44</td><td style='text-align: center; word-wrap: break-word;'>4</td></tr></table>

## E 额外对比

### E.1 与FoundHand的对比

定量对比。我们在表7中通过与FoundHand（Chen等人，2025a年）进行的定量对比来展示结果：我们基于FoundHand生成的1万张图像以及我们的方法所生成的图像，对HaMeR（Pavlakos等人，2024年）进行了微调。由于FoundHand在其论文中并未提供关于从Re:InterHand（ReIH）到EpicKitchen的领域迁移实验的详细设置信息，因此我们遵循……

---

<div style="text-align: center;">Table 7: Quantitative comparison with FoundHand by finetuning HaMeR (Pavlakos et al., 2024) on 10k images generated by FoundHand and SesaHand (ours). The results of FoundHand are from its paper.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>FoundHand</td><td style='text-align: center; word-wrap: break-word;'>PA-MPJPE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>PA-MPVPE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>SesaHand (ours)</td><td style='text-align: center; word-wrap: break-word;'>PA-MPJPE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>PA-MPVPE $\downarrow$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Before finetune</td><td style='text-align: center; word-wrap: break-word;'>14.41</td><td style='text-align: center; word-wrap: break-word;'>7.52</td><td style='text-align: center; word-wrap: break-word;'>Before finetune</td><td style='text-align: center; word-wrap: break-word;'>9.71</td><td style='text-align: center; word-wrap: break-word;'>9.89</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>After finetune</td><td style='text-align: center; word-wrap: break-word;'>13.68 (-0.73)</td><td style='text-align: center; word-wrap: break-word;'>6.29 (-1.23)</td><td style='text-align: center; word-wrap: break-word;'>After finetune</td><td style='text-align: center; word-wrap: break-word;'>8.56 (-1.15)</td><td style='text-align: center; word-wrap: break-word;'>8.72 (-1.17)</td></tr></table>

![Image](images/f0d48d24d016ce2e290e6fab03fd2b86da79782abc61384845ea5a7d684370e2.jpg)

![Image](images/33a0b49804789850c5bc4ea4d59bc1ac0d6d519c3ea86302ee21257529e25f8d.jpg)

![Image](images/5803f910df94ca6ab380604574b8a53432b2363a9b86093098ef19da7db16db9.jpg)

<div style="text-align: center;">RelH image</div>

![Image](images/448ab5ca88161afe38f636d717e470debfcfbe76ed5748e926a0a03eebe7a0bb.jpg)

![Image](images/97598ddeb7fd535a0a1095151aea7245820fa5419d34ab9d0f59f92463191edb.jpg)

![Image](images/d8f29bad20eb56a493f8b1d224ecb83772bd2fceae4297f5e6924bce6429ace6.jpg)

![Image](images/b17f9b86d236e4e0cf38739fcc62f1431912b1398a6d9d09c62ea34c6386360e.jpg)

![Image](images/b878073f88ea7667aaa4d9c432af83a7e108d0eb81cf6660afe0e54b6761eeae.jpg)

手部网格图像

![Image](images/dadcc1fc8085b0b2fd64ab714e0b98300ec16101840dc7f7e2b8d638b2e36b17.jpg)

SesaHand（我们的方法）

<div style="text-align: center;">Figure 11: Comparison with FoundHand (Chen et al., 2025a) on hand image generation based on Re:InterHand (ReIH) (Moon et al., 2023) images. FoundHand shows floating hands in generated images whereas our method preserves proper hand-body alignment.</div>

我们设置HaMeR进行训练并报告评估结果。我们从ReIH中随机选取1万张图像，并渲染对应的手部网格图像。文本提示是通过我们的CoT流程生成的，且具备语义一致性。这些手部网格图像和文本提示被用于生成手部图像。我们利用该方法生成的这1万张图像对HaMeR进行微调。如表7所示，我们的方法能够生成手部图像，进而提升HaMeR的3D手部重建性能，包括3D关节和网格预测方面。相比之下，FoundHand在3D关节预测方面的表现有限，微调后的PA-MPVPE仅为6.29毫米，而PA-MPJPE也仅有13.68毫米。此外，我们在图11中展示了FoundHand与我们的方法所生成的图像对比。我们使用FoundHand从ReIH生成图像并迁移到EpicKitchen中，具体是利用ReIH中的2D关键点以及EpicKitchen中的目标域条件。可以观察到，FoundHand生成的手部图像中存在手部漂浮现象，而我们的方法则能生成手部与身体对齐的图像。

定性比较。我们将我们的方法与支持手势迁移、能够根据参考手部图像和目标姿态生成手部图像的FoundHand进行比较。我们选取了MSCOCO中的第三视角图像以及MOW（Cao等人，2021年）中的自中心视角图像。我们按照FoundHand的原始实现方式，用Mediapipe获取它们对应的2D关键点，并利用MOW提供的3D真实手部网格来渲染手部网格图像。如图12所示，FoundHand生成的手部图像存在手部与身体不对齐的问题，即生成图像中的人体与手部不协调。此外，其生成结果受限于参考图像，无法通过文本提示轻松控制，这限制了其多样性。而且，FoundHand只能生成分辨率为$256 \times 256$的图像。我们的方法能确保生成图像中的手部与身体对齐，还能通过文本提示控制图像设置。我们支持$512 \times 512$分辨率，且图像质量更高。值得注意的是，我们还能从自中心视角生成逼真的手部图像，而FoundHand却无法生成合理的手部图像。

### E.2 与HandBooster的比较

HandBooster（Xu等人，2024年）以网格图像和额外的法向图像为条件生成手部图像，这证明了其在提升3D手部重建性能方面的有效性。

---

![Image](images/e1ec875dc076c1f138b624c95b4114a2ec227deefddd2dbfd58e82967cf58fc3.jpg)

<div style="text-align: center;">Figure 12: Comparison with FoundHand (Chen et al., 2025a). FoundHand generates a hand image in the target pose based on a reference image, which suffers from misalignment of the hand and body, as well as limited diversity. Our method achieves better hand-body alignment and can provide diverse settings through text prompts.</div>

我们在实验室环境（如Dex-YCB（Chao等人，2021年）和HO3D（Hampali等人，2020年））下评估其性能。为了评估性能，我们从Dex-YCB测试集中渲染手部网格和法向图像，并使用HandBooster及其DexYCB s0检查点，在这些条件下进行手部图像生成。如图13所示，生成结果在环境和纹理上的多样性有限，手部漂浮问题依然明显。相比之下，我们的方法仅需一张网格图像和一条文本提示就能生成对齐良好的手部图像，即便没有在DexYCB数据集上训练也是如此。

我们进一步利用MSCOCO中的手部网格和法向图像来评估HandBooster生成手部图像的能力。如图14的第1行和第2行所示，HandBooster在生成基于分布外网格和法向条件的手部图像时，泛化能力有限。此外，它在生成较小或相互交互的手部图像方面表现也有限（见图14的第3行和第4行），这很可能是由于其缺乏足够的人类先验知识且训练数据的表达性受限所致。我们的方法能够生成多样化的自然场景手部图像，且手部姿态和手部与身体对齐效果良好。

此外，我们尝试在MSCOCO数据集上训练HandBooster，以便如表2所示对3D手部重建的改进效果进行比较。然而，当HandBooster在环境复杂且多样的图像上训练时，很难收敛，这可能是因为它是从零开始训练的，没有利用互联网规模的人体先验信息。另外，HandBooster需要法线贴图作为必要的输入条件，而我们的方法则不需要法线贴图条件。

---

![Image](images/e47e6b64e30215598eecfbf3840a03dcf85690f29f467f9b11d76d1c0c3b69de.jpg)

![Image](images/11aacbb8e2bd2326b6dd460843f869e685061e9db6c5db0b885468a52f098255.jpg)

<div style="text-align: center;">Figure 13: Qualitative comparison between HandBooster and our method with mesh and normal conditions from Dex-YCB. Normal image is required only by HandBooster.</div>

![Image](images/7e7cd4da40296879e9e29f3cf0a4abbc87e15c865f9d02e7f257f073bba595c6.jpg)

![Image](images/4ad27b37afad65f055b0bb0044dfd0b14d05d907952b0316c74040dd29962b11.jpg)

<div style="text-align: center;">Figure 14: Qualitative comparison between HandBooster and our method with mesh and normal conditions from MSCOCO. Normal image is required only by HandBooster.</div>

---

### E.3 手物交互（HOI）的定性结果

如图15所示，我们的方法能够借助文本提示和手部网格渲染，生成包含手物交互的多样化手部图像。此外，图16展示了一个具有挑战性的手弹吉他场景。我们从Pexels中随机选取了一张弹吉他的图像，文本提示由我们的CoT流程生成，手部图像生成所用的手部网格渲染则由HaMeR完成。

![Image](images/3b5420a5dfba7cf2b407a8b330b95e81b3d6b98b6b9fba9ef20889cf75de58bb.jpg)

…此人正坐在海上的船上，双臂交叉抱着狗…

<div style="text-align: center;">...The person is leaning forward slightly and playing a game on nintendo wii console...</div>

![Image](images/ac715cb95ddca176b303e62de69c297822d126dce212577fd3b4e86a6e2aee47.jpg)

![Image](images/5ffb7fdfc583ca6b1fe9017128f363e95a5e3dce5fd838d7a94d03932ad48ec4.jpg)

![Image](images/b116b3562101a6f39529815fdcaf78673001fe8785b81533bd6c0cc770afa363.jpg)

![Image](images/edd1454b36a384b2a1cc291ffd1b9c31a89c8e567d4bf1a85468783bcacd101f.jpg)

![Image](images/7e2c4249df7738d78cde55476e1ad2ea57fd88331aa197a49c69fb2c9f046187.jpg)

…此人正站立着，准备滑雪…

![Image](images/fea62fe0d4f6ed0d50552a569155c8a71d4f7325b7509fa6d39c4475d64e2a62.jpg)

![Image](images/17305207e512c234bfba3515193b2d3948a6fb3bf364b4a4d62d83ff67dc4a0e.jpg)

![Image](images/6f663fe19098857cbee626fe645c275ce88fb311b45e36c60505aadcfedc8963.jpg)

![Image](images/d44024d8091486d9ca94a211329d1d6dd82abfecd6b27e128be7e68ab4c0b2ec.jpg)

![Image](images/f9d29cc1f2c6b94f8c01bdccd66d3fa90e560e17556cab2a35b7422c11b320b1.jpg)

…该男子站立着，双手握着三明治，手指环绕着它…

![Image](images/c8c861d62662bcbeda8614842d06096a9755d6c8caea7fb8599df9a90fee1f72.jpg)

![Image](images/0f1a38fff4e8e30c5c62afc9e283eeffe0ea8002e34af8c94a065273752e70bb.jpg)

![Image](images/5a836bb0fbc04f4cd22d1c5eaac6f5d1f3e5a15a88b83477fc23451b16809059.jpg)

![Image](images/a7b5bcc573dd31da155976997e7f7201e895ea41c8c8a814033026a908646196.jpg)

…此人随意坐着，手里拿着零食…

![Image](images/b8c17c4acadda1c51b918c9686bd8d4e6f9f8502c64ff28a558491446de37bed.jpg)

<div style="text-align: center;">Figure 15: More qualitative results of the hand image generation with hand-object interactions.</div>

---

![Image](images/bceec3eb5fae3b706abaa309d310c704326dfdd81fd552a0ef071894e1e4bb97.jpg)

![Image](images/6908515a3f1e4ef7da3475aec76ad4c5913b44db23985e8f0226b9a1a824d6f7.jpg)

手部网格图像

![Image](images/003852beffb36677975218e8d39de1b8df44d62d332e19c6d19b50cc7b72aea1.jpg)

<div style="text-align: center;">...The person is seated with arms in playing position and playing on the ukulele...</div>

<div style="text-align: center;">Figure 16: Qualitative result on a challenging hand-object interaction (fingering a guitar). The real image is randomly chosen from Pexels. The text prompt is generated using our CoT pipeline and the hand mesh image is rendered by HaMeR.</div>

![Image](images/5765b05749f18361fc255576d8d84e7353671ff141a3e001dbaebdf22e9d1b94.jpg)

![Image](images/44d05b5375f086b3553fd80b0c737ee7940007026e7f5d64d48f8b7b2b2b5f99.jpg)

<div style="text-align: center;">Figure 17: Qualitative results of hand image generation from different viewpoints.</div>

<div style="text-align: center;">Figure 18: Qualitative results of egocentric hand image generation using HOI4D (Liu et al., 2022) and MOW (Cao et al., 2021).</div>

### E.4 不同视角及第一人称视角的定性结果

我们在图17中展示了基于不同视角下的手部网格渲染所生成的手部图像的更多定性结果，在图18中则展示了第一人称视角下的结果。

### E.5 与ControlNet OpenPose Full及AttentionHand的比较

我们在图19、图20和图21中提供了更多的定性比较结果。由于AttentionHand尚未发布其模型权重文件，我们使用其官方代码对其模型进行了为期两个月的训练。但由于优化过程较为缓慢，该模型的表现仍不尽如人意。请注意，主论文中呈现的定性结果取自其原文。我们进一步将我们的方法与ControlNet v1.1 OpenPose Full进行了比较，后者能够借助OpenPose（Cao等人，2019年提出）的人体、手部及面部关键点来控制图像生成。如图19所示，OpenPose有时无法检测到手部，从而导致不理想的生成结果。此外，即便手部关键点被准确检测出来，ControlNet OpenPose Full生成的图像中仍会出现手指缺失的情况。另外，生成图像中的人体姿态会受到输入图像中检测到的姿态的限制，这限制了手部图像的多样性。相比之下，我们的方法能够生成各种姿势和形状下逼真且对齐良好的手部图像。

## F 大型语言模型的应用

在本研究中，大型语言模型仅用于语言润色和少量编辑工作。所有的研究思路、方法及实验均由人类作者完成。

---

![Image](images/85802a9139fc6284d688c6ae2a4ea1de3cf4a549977841c1939799c5014efdb2.jpg)

…此人似乎正要喝一口东西…

<div style="text-align: center;">Figure 19: Qualitative comparison with ControlNet + Openpose Full and AttentionHand on conditional hand image generation. ControlNet + Openpose Full uses full-body keypoints detected by Openpose as input, while AttentionHand and our method take the hand mesh image as input. Our method demonstrates better generation performance with both semantic and structural alignment.</div>

---

![Image](images/df447336860dbf3b83a09abbc5beb0a592b0d4b88f3aa3dbbef28ba905906a02.jpg)

…此人手持一片披萨…

<div style="text-align: center;">Figure 20: More qualitative comparison with ControlNet + Openpose Full and AttentionHand on conditional hand image generation.</div>

---

![Image](images/f3e9e4645a2168e713a1eae9328c164ac2c3a554f75bad4b558862c53a08b838.jpg)

…一只手将电话贴在耳边，另一只手则做出富有表现力的手势…

<div style="text-align: center;">Figure 21: More qualitative comparison with ControlNet + Openpose Full and AttentionHand on conditional hand image generation.</div>