# 基于可供性引导的扩散先验用于3D手部重建
铃木成 $^{1*}$、大河川武彦 $^{1*}$、番野达郎 $^{1}$、李智贤 $^{2}$、古田亮辅 $^{1}$、佐藤洋一 $^{1}$
$^{1}$东京大学 $^{2}$韩国科学技术院
摘要：当手的大部分区域被自身或物体严重遮挡时，我们该如何推断3D手部姿态呢？人类通常会利用上下文知识来解决这类歧义——比如可供性，即物体的形状和功能暗示了该物体通常的抓握方式。受此启发，我们提出了一种由可供性感知的文本描述引导的3D手部姿态建模生成先验，这些文本描述描述了手与物体的交互（HOI）。我们的方法采用基于扩散的生成模型，该模型能够学习在可供性描述和图像特征等上下文信号的条件下，合理的手部姿态分布。可供性描述旨在体现HOI的语义意图和几何结构，其生成依赖于视觉语言模型（VLM）的推理以及抓握分类结果。我们利用这种扩散先验来优化手部重建中的3D姿态预测，从而得到更精确且功能上更连贯的估计结果。实验表明，在HOGraspNet和HO3D这两个3D手部可供性数据集上，我们的可供性引导优化方法显著提升了3D手部姿态估计的性能，优于手部重建基础模型和最新的3D手部扩散先验等现有技术。
## 1 引言
在日常生活中，手与物体的交互（HOI）无处不在，人类的行为与周围的环境、物体以及人的意图密不可分。其中，从单张RGB图像中重建3D手部（例如估计MANO模型的姿态和形状参数 [^47]）已成为一项关键任务，该技术可应用于虚拟/增强现实以及机器人灵巧操作领域。然而，由于现实交互中普遍存在严重的遮挡现象和固有的3D歧义，这项任务仍极具挑战性。尽管存在这些困难，人类仍能通过利用手部之外的上下文知识来推断出合理的手部姿态。尤其是，交互物体的形状和功能能为推理交互过程中可行的手部配置提供重要线索。
以往大多数关于3D手部重建的研究 [^10] [^39] [^41] [^42] 很少关注利用此类上下文知识。仅有少数研究探索了以下形式的上下文信号：(a) 时序接触状态（如抓握前、抓握中、抓握后）[^65]，(b) 简短的交互标题（如“一只手握着勺子”）[^61]，(c)
---
Fig. 1: Can affordance-aware semantics benefit 3D hand reconstruction? By leveraging contextual cues about how an object is grasped, our affordance-guided diffusion prior refines coarse 3D hand predictions into functionally coherent and physically grounded poses, even under strong occlusion. Vertex error is color-coded on the hand mesh.
动作标签（如“拧螺丝”、“打开”）[^30] [^37]，(d) 意图标签（如打算“使用”或“接收”某个物体）[^52] [^60]等。这些语义标签已被用作3D建模中的条件输入 [^56] [^60] [^61]，用于额外的语义分类 [^44] [^59] [^65]，或创建特定的评估类别 [^4] [^30] [^37]。然而，这些现有标签仍然较为粗糙，无法捕捉到解决歧义所需的HOI细节。
为了丰富上下文信号并更好地反映人机交互场景中的细微差别，我们强调了可供性[^1] [^6] [^14]作为语义指导的关键作用，它们直接体现了物体属性如何约束和引导可能的手部交互。现有关于可供性的研究通常分为两类：(i) 运动动作识别，或(ii) 抓取类型识别，这两类均由离散标签[^63]来定义。运动动作通常由动词标签（如“拿起”）表示，反映了操作行为的高层语义意图；相比之下，抓取类型通过严谨的分类体系（如“侧向抓取”、“精准抓取”）[^4] [^12]来界定，它描述了手部精细配置的几何结构。
基于这一视角，我们将可供性的这两个不同方面——即人机交互的语义意图与几何结构——整合为用于手部重建的统一上下文表示。然而，如何将这些异质的可供性元素以统一形式结合起来并非易事。我们并未遵循现有的分类方式（如“拿起”或“侧向抓取”），而是通过详细的文本描述来呈现可供性，从而编码语义与几何线索。这种描述形式具有更大的灵活性，能够捕捉超出预定义类别的物体属性、手部抓取方式及交互意图方面的差异。具体而言，我们结合了抓取类型与物体属性（类别、形状、尺寸），以及潜在的交互意图，比如动作描述和意图说明。为了生成能够反映多种可供性方面的描述性文本，我们提出了一种分步生成流程：利用大型视觉语言模型[^2]的视觉常识推理能力，并结合手部可供性数据集中的抓取分类知识[^4]，最终得到完整且可解释的可供性描述。
借助这些可供性描述，我们提出了一种生成式先验建模方法，能够将文本描述融入三维姿态建模中（见图1）。我们基于手部姿态数据训练去噪扩散模型[^16]，同时引入由DistilBERT[^48]编码的可供性描述以及基于ViT的图像特征[^9]作为条件输入。受[^38]的启发，我们进一步利用这一先验来优化三维姿态估计结果。具体来说，
---
我们以WiLoR[^42]或Hamba[^8]给出的初始估计为基础，通过迭代去噪的方式不断优化姿态，使其既符合基于可供性的扩散先验，又与可见的二维证据保持一致。为了进一步提升优化效果，我们还通过从关节点和手部分割结果进行射线投射来检测被遮挡的关节，从而仅对不确定的关节进行修正。
我们的实验在3D手部可供性数据集HOGraspNet[^4]和HO3D[^15]上进行，其中抓取类型标签是由在HOGraspNet上训练的分类模型生成的。实验表明，无论是否结合上下文推理，我们提出的基于可供性引导的扩散先验模型始终优于近期各类手部重建模型，包括WiLoR[^42]、HaMeR[^41]等基于Transformer的模型，基于Mamba架构的Hamba[^8]，以及基于InterHandGen[^24]的手部扩散先验模型。此外，定性分析结果显示，我们的方法生成的抓取姿态不仅看起来更自然，而且与可供性描述高度吻合。
我们的主要贡献总结如下：
- 我们率先将基于可供性感知的文本描述引入到利用视觉语言模型和抓取分类的3D手部重建中。
- 我们设计了一种基于扩散的生成式先验，它能够根据上下文信号学习手部姿态分布，从而实现语义一致性的生成。
我们提出了一种顾及遮挡情况的优化方法，该方法利用基于可供性感知的扩散先验来进行3D手部重建，当估计出的关节存在不确定性时，该方法能显著提升姿态精度。
## 2 相关工作
3D手部重建：该任务旨在从单张RGB图像中估计手部姿态和形状以重建手部网格。早期的研究[^10] [^23] [^36] [^39] [^64]采用基于CNN的骨干网络来编码图像特征，进而回归MANO模型的姿态和形状参数[^47]。其中，HandOccNet[^39]提出了针对遮挡区域的鲁棒特征提取方法。近期的基础模型[^41] [^42]利用经过大规模预训练的视觉Transformer[^9]来增强跨领域的泛化能力。尽管这些新方法通常能与2D观测结果保持良好对齐，但在3D空间中仍存在歧义，例如深度歧义以及遮挡关节的不确定性。
为解决这一问题，结合上下文线索至关重要，因为人类能够根据上下文推断出可行的3D姿态。然而，这一研究方向仍相对未被充分探索。例如，近期的方法[^44] [^56] [^59] [^65] [^67]试图整合语义或物理线索（如抓取类型与状态、身体比例以及动作标签），但仅侧重于粗粒度的推理，而非人机交互场景中的细粒度细节。
相比之下，我们的研究灵感来源于利用关于可供性的详细文本描述（见图2），而且我们是首个将此类可供性描述引入3D手部重建的研究团队。
可供性识别与推理：Gibson[^13]提出的可供性概念描述了感知与潜在动作之间的功能关系（例如，把手可供抓取，按钮可供按压）。在计算机视觉领域，可通过多种方式来研究可供性识别与推理，包括功能区域分割[^11] [^18] [^25] [^34]、抓取与接触预测[^4] [^6] [^14]、基于可供性的人机交互理解[^7] [^22]以及生成[^3] [^43] [^62] [^66]，
---
还有应用于机器人操控的场景[^1] [^26] [^58]。这些方法通常在物体或场景层面运作，用于确定智能体可能的交互位置与方式。不过，它们往往依赖粗略的标签[^63]，比如动词类别（如“拿起”“放置”）或预定义的抓取分类[^12]。近期的3D手部可供性数据集[^4] [^18]进一步借助精确的手部姿态、物体几何信息以及逐顶点接触数据来促进可供性理解。
在这项工作中，我们提出将可供性表示为丰富、详细且多层次的语义描述，以统一运动意图、抓取配置和物体属性（见图2）。此外，与现有表述不同，我们证明了此类可供性描述能够解决三维手部重建中至关重要的细微几何歧义问题。
扩散模型：去噪扩散模型[^16]已成为一种强大的生成框架，这得益于其捕捉复杂数据分布的强大能力以及推理过程中的灵活性。扩散模型经过训练后，可通过迭代去噪过程将高斯噪声逐步转化为逼真的样本。
近期的研究在三维手部和人体建模中采用了基于扩散的建模方法，其性能优于传统的基于VAE的建模方式[^31] [^33]。扩散模型能够利用各种条件输入来进行三维建模[^5] [^24] [^29] [^38] [^50] [^54] [^61]。人体动作生成通常借助文本提示来引导动作模式[^32] [^53] [^54]，包括手-物动作生成[^5] [^27]。InterHandGen[^24]能根据单只手的信息合成双手交互动作，而G-HOP[^61]则能从物体几何信息生成三维手-物交互动作。训练好的扩散先验模型还能通过分数蒸馏采样[^24] [^61]以及关键点引导的优化[^38] [^50]，进一步适配三维重建任务。
相比之下，我们的工作提出了一种姿态扩散模型，它能灵活接受多模态输入以获取详细的文本和视觉特征，这与现有的框架（如文本到动作生成[^5] [^27]、三维双手建模[^24]以及三维手-物生成[^61]）有所不同。此外，它还借助遮挡检测提供的引导信息来增强基于扩散的优化过程，这一点与[^38]的方法不同。
## 3 方法
我们的研究旨在利用可供性的文本描述所提供的上下文信号以及视觉证据来进行三维手部重建。为了整合这些线索，我们提出了一种基于扩散过程的生成先验模型，该模型能在给定上下文信号的情况下学习三维手部姿态分布。我们的方法首先进行可供性描述生成，即利用视觉语言模型和抓取分类从输入图像中提取可供性的关键要素，具体过程见第3.1节。随后，我们构建以可供性描述和图像特征为条件的扩散先验模型，详见第3.2节。之后，利用第3.3节中的优化方案对学习到的先验模型进行调整，以修正被遮挡或不确定的关节，从而得到更精确且功能上更连贯的手部姿态。
### 3.1 可供性描述生成
可供性描述了物体可被手部交互的方式，它反映了物体的可操作属性；因此我们将它们用作上下文表征和引导信息，用于
---
Fig. 2: Affordance description generation. (a) We show a naive baseline of caption generation (Simple VLM) from off-the-shelf VLMs (e.g., Qwen2.5-VL [^2]) given hand-object bounding boxes, lacking fine-grained affordance cues. (b) Inspired by chain-of-thought reasoning, our proposed generation first obtains parsed captions (items 1-5) by prompting the VLM to extract intended affordance elements. It further infers a grasp taxonomy (item 6) with a tailored classifier due to VLM's limited capability to predict hand grasps in a zero-shot manner. These generated affordance elements are summarized using LLM [^19], resulting in a single detailed description.
三维手部重建。具体而言，除了可供性识别的标准类别标签（如抓取或动作标签）[^4] [^22] [^44] [^63]之外，我们还通过文本描述来丰富其形式，这些描述既体现了语义信息，也包含了精确的几何属性，比如物体类别、形状、尺寸、交互方式（动作）、意图以及抓取类型。
我们的初步研究发现，直接（一步式）生成描述的方法——即让视觉语言模型直接从图像生成描述——往往会产生过于简化的句子，无法涵盖细粒度的物体-交互属性。图2(a)展示了这种简单生成的描述（“简单VLM”示例）。此外，尽管最近的视觉语言模型能够合理描述物体-交互场景，但它们仍难以准确捕捉抓取类别信息，因为这种标注在常规问答任务或视觉语言模型的预训练数据中并不常见。为了提供更精细的可用性细节，我们在图2(b)中逐步生成了可用性描述。受大语言模型思维链推理[^57]的启发，我们将复杂的描述任务拆解为多个可执行且可解释的小步骤。我们的流程包含三个步骤：(i)利用零样本视觉语言模型推理提取关键元素；(ii)通过独立的监督学习对抓取类型进行分类；(iii)借助大语言模型将所有元素整合为最终描述。这一流程确保了生成的可用性描述的完整性和可解释性，同时提升了描述质量。下文将详细介绍各个步骤。
步骤1——利用视觉语言模型提取解析后的描述：我们采用视觉语言模型（Qwen2.5-VL [^2]）从图像中提取描述可用性不同方面的结构化描述。具体而言，给定图像以及手和物体的边界框后，我们设计了相应的提示词，要求模型描述刻画物体-交互属性的五个关键元素。这些元素包括物体类别（如“圆盘”“球体”）、物体形状（如“细长”“扁平”）、物体尺寸（如“小”“大”）、交互（动作）类型（如“握住”“触碰”）以及意图描述（如“用于提起”“用于操控”）。选择这些元素是因为它们能够反映物体的物理属性和动作的语义意图。更多细节详见补充材料。
---
Fig. 3: Denoising framework of affordance-guided diffusion prior (AffHandGen). The input diffused hand pose is denoised using a transformer decoder network conditioned on the affordance description and RGB image, each encoded by DistilBERT [^48] and the ViT backbone [^41]. These modality interactions across pose, text, and image are learned through cross-attention.
步骤2——抓取分类：获取抓取信息对于确定手部姿态至关重要。然而我们发现，利用现有的视觉语言模型对抓取类别进行分类极具挑战性，因为严格的抓取标签[^12]在其预训练数据中可能并未广泛出现。因此，我们基于大规模手部可用性数据集HOGraspNet [^4]独立训练了一个专门的抓取分类模型。具体而言，我们以RGB图像为输入，利用HaMeR [^41]提取ViT编码的视觉特征和MANO姿态参数。随后将视觉特征与姿态特征拼接，送入自注意力层，再通过多层感知机层完成最终分类。该模型在评估数据集上的准确率达到了87.6%，更多实现细节和结果详见补充材料。
步骤3——利用大语言模型进行总结：鉴于每个可用性相关元素的描述都较短，我们需将其转化为一段详细的描述。我们使用大语言模型（Mistral-7B [^19]），通过总结提示词生成最终的可用性描述。这种基于大语言模型的总结方式能够整合物体-交互属性中的细微差异，生成连贯的句子，从而灵活表达预定义类别无法涵盖的语义和几何线索。
总体而言，这种由三个步骤组成的分而治之方法确保了最终描述具备以下特点：(i)通过提取所有关键元素，描述完整且具体；(ii)通过监督分类结果与预测的抓取类型保持一致；(iii)描述连贯且可解释，可作为后续扩散模型训练的条件输入。
### 3.2 基于可用性的扩散先验
借助可供性描述，我们提出了一种基于文本和图像特征条件的扩散先验模型，称之为AffHandGen。该模型经过训练，能够生成并优化与上下文信号对齐的3D手部姿态。我们选择扩散建模来学习不同模态（如图像、文本和姿态）下的数据分布，这得益于它在3D人体合成领域取得的显著成果 [^24] [^38] [^40] [^54]。此外，由于它无需额外训练即可直接应用于各种下游任务 [^50]，因此具有高度的灵活性和可重用性。
概述：为了在下游任务中优化3D手部姿态，我们在手部姿态空间中构建了一个扩散模型，同时保持形状估计参数不变。对于
---
输入部分，我们使用MANO模型的姿态参数 [^47] 作为去噪的目标变量，即 $\mathbf{x}_0 = \boldsymbol{\theta} \in \mathbb{R}^{15 \times 3}$。我们还引入扩散时间步t、可供性描述D（在第3.1节中生成）以及对应的RGB图像I作为条件输入。我们利用文本编码器对可供性描述进行编码，得到文本特征 $\mathbf{c}_D$；用图像编码器对RGB图像进行编码，得到图像特征 $\mathbf{c}_I$。由 $\phi$ 参数化的扩散模型可表示为 $\hat{\mathbf{x}}_0 = f_\phi(\mathbf{x}_t, t, \mathbf{c})$，其中 $\mathbf{x}_t$ 表示时间步t下的扩散姿态，$\mathbf{c} = \{\mathbf{c}_D, \mathbf{c}_I\}$ 则表示文本和图像条件。
图3展示了 $f_{\phi}(\cdot)$ 的整体架构。我们的AffHandGen是一个经过训练的Transformer网络，用于在时间步t对含噪声的手部姿态输入 $\mathbf{x}_t$ 进行去噪。手部姿态和时间步首先通过线性层编码并拼接起来，随后交由Transformer解码器层处理，最后通过带有线性层的姿态解码器输出结果。关于模态标记的交叉注意力机制：在条件数据编码方面，InterHandGen [^24] 将条件 $\mathbf{c}$ 视为一个全局特征向量，并利用自注意力机制来学习目标姿态、条件和时间步之间的关系。然而，用单个向量来表示每种条件模态会丢失空间和语义上的细节信息。例如，当两张手部图像涉及同一物体但抓取类型不同时，全局视觉或文本嵌入（如来自CNN或CLIP [^45] 的嵌入）往往相似，导致扩散模型难以区分细微的交互差异。
为了捕捉这类细粒度的上下文差异，我们将每种模态表示为一组标记，并采用交叉注意力机制 [^55] 来学习去噪后的姿态特征与条件模态标记之间的局部对应关系。这种设计使模型能够有选择地关注那些包含有用信息的模态标记，包括隐含编码抓取语义的标记，从而实现上下文敏感的条件化。具体来说，我们采用了特定于模态的标记器：用于文本嵌入的DistilBERT [^48]，以及在 [^41] 中训练得到的ViT网络用于图像嵌入。
扩散过程：我们遵循DDPM框架 [^16]，扩散过程包括由扩散步骤 $t \in [0, T]$ 构成的前向路径和反向路径。前向过程会逐渐向输入数据 $\mathbf{x}_0$ 中添加标准高斯噪声，其公式表达为
$$ \mathbf{x}_{t}:=\sqrt{\bar{\alpha}_{t}}\mathbf{x}_{0}+\sqrt{1-\bar{\alpha}_{t}}\mathbf{\epsilon}, $$
其中 $\epsilon \sim \mathcal{N}(0, I)$ 是一个噪声变量，而 $\alpha_{1:T} \in (0, 1]^T$ 是一个用于控制每个时间步 t 处噪声程度的序列。相比之下，逆向过程旨在迭代地将噪声 $\mathbf{x}_T \sim \mathcal{N}(0, I)$ 转化为目标数据分布 $\mathbf{x}_0 \sim q(x_0)$，其定义如下：
$$ p_{\phi}(\mathbf{x}_{0:T}):=p(\mathbf{x}_{T})\prod_{t=1}^{T}p_{\phi}(\mathbf{x}_{t-1}\mid\mathbf{x}_{t}), $$
其中 $p_\phi$ 是由网络 $f_\phi(\cdot)$ 定义的模型分布。我们训练去噪网络以逼近原始数据 $\mathbf{x}_0$，这一过程遵循 [^24] [^38] [^54]。
训练损失是在原始数据 $\mathbf{x}_0$ 与生成数据 $\hat{\mathbf{x}}_0$ 之间计算的。我们对姿态空间中的 $\mathbf{x}_0$ 和 $\hat{\mathbf{x}}_0$ 取 L2 损失，记为 $L_\theta$。经过 MANO 层处理后，我们再对网格顶点和 3D 关节空间计算 L2 损失，分别记为 $L_v$ 和 $L_j$。总体损失公式如下：
$$ L_{t o t a l}=\lambda_{\theta}L_{\theta}+\lambda_{v}L_{v}+\lambda_{j}L_{j}. $$
---
```pseudo
// Algorithm 1: Diffusion-based pose refinement.
```
扩散 3D 姿态及可见性标签 v，其中 $\tilde{\mathbf{x}}_{0}$ 表示对应值。
1: $\tilde{\mathbf{x}}_{n} \leftarrow \sqrt{\tilde{\alpha}_{n} \tilde{\mathbf{x}}_{0}} + \sqrt{1 - \tilde{\alpha}_{n}} \epsilon$
2: $\mathbf{v} = V(\tilde{\mathbf{x}}_{0})$ // 1：可见；0：被遮挡
3: 对于 $t = n$ 到 1 循环执行以下操作：
4: $\tilde{\mathbf{x}}_{0} \leftarrow f(\tilde{\mathbf{x}}_{t}, t, \mathbf{c})$
5: 仅对可见关节进行 $2D$ 关键点拟合
6: $\tilde{\mathbf{x}}_{0} \leftarrow \tilde{\mathbf{x}}_{0} - \lambda_{2d} \nabla \tilde{\mathbf{x}}_{0} \mathcal{L}_{2}(M(\tilde{\mathbf{x}}_{0}), M(\tilde{\mathbf{x}}_{0})) \odot \mathbf{v}$
7: $\tilde{\mathbf{x}}_{t-1} \leftarrow \sqrt{\tilde{\alpha}_{t-1}} \tilde{\mathbf{x}}_{0} + \sqrt{1 - \tilde{\alpha}_{t-1}} \epsilon_{t}$
8: 循环结束
9: 返回 $\tilde{\mathbf{x}}_{0}$
Fig. 4: Diffusion-based pose refinement algorithm. Our refinement takes the initial 3D pose estimates $\tilde{x}_0$ from recent hand reconstruction methods (e.g., [^42]), conditional text and image features c, and detected visibility $V(\cdot)$ in Sec. 3.3, and then corrects occluded joints (red and yellow in the right figure) while visible joints (green) remain unchanged. The visibility labels are obtained from two detection criteria: self-occlusion with ray casting on the MANO mesh and object occlusion with SAM2 [^46] mask for hands. This refinement is resumed at the middle of diffusion steps n, reducing the total inference cost, and optimized with the 2D keypoint loss based on camera projection function $M(\cdot)$ and its loss weight $\lambda_{2d}$.
$\lambda_{\theta}, \lambda_{v}$ 和 $\lambda_{j}$ 分别是各项损失的权重。
为了提升模型的鲁棒性，我们随机丢弃条件输入 $c_D$ 和 $c_T$，这一做法受到 [^17] [^24] [^33] [^50] 的启发。具体来说，我们以 0.1 的概率随机掩码掉可操作性描述与 RGB 图像。这种方式能够在单一模型中模拟条件生成与非条件生成过程。该策略带来多重好处：(i) 防止模型过度依赖某一特定的条件模态，从而强化对 3D 手部姿态的先验学习；(ii) 在推理阶段提高灵活性，无需重新训练即可无缝切换条件采样与非条件采样模式。
### 3.3 面向 3D 手部重建的遮挡感知先验适配
扩散先验训练完成后，我们对其进行调整，以指导并优化 3D 手部重建，尤其是细化 3D 姿态参数。尽管用于手部重建的基础模型（如 HaMeR [^41]）能够有效将手部网格与 RGB 图像中的可见 2D 特征对齐，但在严重遮挡、视觉线索有限的情况下，它们仍难以恢复准确的 3D 姿态。SCGen [^38] 通过应用 3D 人体扩散先验来结合 2D 关键点约束，从而优化 3D 姿态估计结果。给定初始 3D 姿态 $\tilde{x}_0$（即需要细化的目标）以及由 Sapiens $y_0$ 等人类基础模型检测到的可靠 2D 关键点 [^20]，算法首先在中途步骤 $\tilde{x}_n$ 设定一个扩散姿态 $n (0 < n < T)$，随后迭代地对姿态进行去噪直至达到 $t = 0$，同时最小化 $\tilde{x}_0$ 与 $y_0$ 之间的 2D 投影损失。
受人体姿态的扩散式细化 [^38] 启发，我们提出了一种面向 3D 手部重建、由 affordance 引导的扩散细化方法（Fig. 4）。我们的方法新引入了来自文本描述和图像特征的上下文线索，使模型能够重建出在物理上合理、且在语义上与预期交互一致的手部姿态。与身体姿态不同，手部具有高关节活动度，并频繁接触物体，从而产生更复杂的遮挡模式。
---
为了解决这个问题，我们先检测每个关节的可见性，仅对可见关节施加选择性2D引导，从而让扩散先验能够通过上下文条件来修正那些不确定的（被遮挡的）关节。
我们的优化框架需要初始3D姿态$\bar{\mathbf{x}}_0$、其相机投影$(i.e.,\ 2D\ keypoints)$ $M(\bar{\mathbf{x}}_0)$、逐关节可见性标签$\mathbf{v} \in \{0,1\}^J$（J表示关节数量），以及来自文本和图像特征的上下文条件$\mathbf{c} = \{\mathbf{c}_D, \mathbf{c}_I\}$。可见性标签$\mathbf{v}$通过下述检测方案获得，用于掩码2D关键点损失。由于可靠的2D手部关键点比身体领域的关键点更难获取[^38]，因此我们采用初始3D姿态的投影2D关键点$M(\bar{\mathbf{x}}_0)$以及可见性标签作为监督信号。这使得模型能够将姿态与可靠的2D证据对齐，并基于上下文扩散先验对不确定的被遮挡关节进行去噪。我们还会将2D关键点拟合应用于去噪后的姿态$\bar{\mathbf{x}}_0$作为后处理步骤。这确保了经过基于扩散的优化后得到的姿态能与可见的2D关键点良好对齐。
遮挡检测：估计关节可见性对后续的HOI任务很有帮助，但极具挑战性。我们采用两个标准来判断手部关节是否发生自遮挡或物体遮挡，从而得到二进制的可见性标签v。对于自遮挡情况，我们基于$\tilde{x}_0$生成的手部网格，通过光线投射来确定被遮挡的关节。从每个手部关节向相机方向发射一条射线，计算该射线与手部表面的交点[^49]。如果交点数量大于或等于2，说明该关节被手部网格的其他部分遮挡，即属于自遮挡。例如，图4中从小指指尖发出的射线会穿透食指的网格，因此被判定为自遮挡关节。对于物体遮挡情况，我们通过对比初始姿态预测得到的投影2D关节点$M(\tilde{x}_0)$以及由SAM2生成的手部掩码[^46]，来识别被物体遮挡的关节。如果2D关节位置位于掩码之外，则该关节被视为被物体遮挡。
## 4 实验
我们展示了姿态优化的定量结果，将其与3D手部重建的基础模型以及使用/不使用上下文信号的扩散先验基线进行比较。随后我们给出了姿态优化与可控生成方面的消融实验结果和定性分析。更多结果详见补充材料。
实验设置：我们采用HOGraspNet [^4]数据集来处理复杂多样的手-物体交互场景，该数据集是唯一提供RGB图像、3D模型以及抓取分类标签的数据集，恰好满足我们的任务需求。我们选取由[^12]定义的33种抓取类型中的28种来训练抓取分类网络。此外，我们还使用包含RGB图像和3D手-物体标注的HO3D [^15]数据集作为额外的验证集，以及HInt数据集 [^41]来进行真实场景下的评估。由于这两个数据集缺乏抓取标注，我们便利用在[^4]上训练好的抓取分类器来生成伪抓取标签。我们对所有数据集进行子采样，仅选用稀疏帧作为训练和评估数据，因为视觉上相似的连续帧往往具有相同的抓取标签，且VLM描述也几乎一致。为确保上下文信号多样化且语义重叠较少，我们每隔10帧抽取一次样本，最终在[^4]数据集中得到11.9万张训练图像和3千张评估图像，在[^15]数据集中则得到6.5万张训练图像和1千张评估图像。HOGrasp
---
| HOGraspNet |
| Method | Avg. $\downarrow$ | Low | Med. | High | PA-MPVPE $\downarrow$ | PCK@5 $\uparrow$ | PCK@10 $\uparrow$ | PCK@15 $\uparrow$ | F@5 $\uparrow$ | F@15 $\uparrow$ |
| HandOccNet [^39] | 15.09 | 14.34 | 15.55 | 17.65 | 12.93 | 12.0 | 42.8 | 67.4 | 0.482 | 0.935 |
| MeshGraphormer [^28] | 10.02 | 9.39 | 10.27 | 13.55 | 8.99 | 24.7 | 68.7 | 87.5 | 0.625 | 0.977 |
| HaMeR [^41] | 8.38 | 7.37 | 8.92 | 12.68 | 7.66 | 38.6 | 78.6 | 91.7 | 0.696 | 0.988 |
| Hamba [^8] | 8.46 | 7.44 | 9.00 | 12.72 | 7.57 | 38.3 | 78.9 | 91.8 | 0.698 | 0.987 |
| + Ours | 7.85 | 7.49 | 10.21 | 9.46 | 7.11 | 41.2 | 81.6 | 93.2 | 0.718 | 0.991 |
| WiLoR [^42] | 8.22 | 7.42 | 8.56 | 12.41 | 7.57 | 39.7 | 79.4 | 92.2 | 0.702 | 0.989 |
| + InterHandGen [^24] | 8.99 | 7.64 | 9.72 | 14.61 | 7.91 | 34.8 | 75.4 | 90.1 | 0.681 | 0.986 |
| + w/ Full Cond. ( $D+I$) | 8.06 | 7.50 | 8.29 | 11.12 | 7.29 | 40.3 | 79.6 | 92.3 | 0.713 | 0.990 |
| + Ours | 7.53 | 7.29 | 7.57 | 9.37 | 6.90 | 44.1 | 82.5 | 93.6 | 0.731 | 0.992 |
| HO3D |
| Method | Avg. $\downarrow$ | Low | Med. | High | PA-MPVPE $\downarrow$ | PCK@5 $\uparrow$ | PCK@10 $\uparrow$ | PCK@15 $\uparrow$ | F@5 $\uparrow$ | F@15 $\uparrow$ |
| HandOccNet [^39] | 8.83 | 8.46 | 9.44 | 9.86 | 8.80 | 31.4 | 69.3 | 86.7 | 0.572 | 0.965 |
| MeshGraphormer [^28] | 12.55 | 11.71 | 13.15 | 18.79 | 12.83 | 16.6 | 52.0 | 73.3 | 0.436 | 0.908 |
| HaMeR [^41] | 8.15 | 7.34 | 9.59 | 9.54 | 8.33 | 37.7 | 74.5 | 89.0 | 0.632 | 0.973 |
| Hamba [^8] | 7.42 | 7.10 | 7.88 | 8.71 | 7.66 | 40.3 | 77.9 | 91.3 | 0.655 | 0.982 |
| + Ours | 7.29 | 7.25 | 7.14 | 8.39 | 7.37 | 41.1 | 78.9 | 91.9 | 0.657 | 0.983 |
| WiLoR [^42] | 7.43 | 7.19 | 7.85 | 7.87 | 7.63 | 39.0 | 77.9 | 91.9 | 0.650 | 0.983 |
| + InterHandGen [^24] | 7.55 | 7.30 | 7.99 | 7.99 | 7.64 | 38.1 | 77.6 | 91.4 | 0.638 | 0.980 |
| + w/ Full Cond. ( $D+I$) | 7.65 | 7.35 | 8.15 | 8.51 | 7.72 | 37.6 | 77.1 | 91.0 | 0.633 | 0.979 |
| + Ours | 7.37 | 7.11 | 7.83 | 7.80 | 7.46 | 39.1 | 78.7 | 92.0 | 0.645 | 0.983 |
Table 1: Results of 3D hand pose estimation on HOGraspNet and HO3D. We report PA-MPJPE in millimeters for varying occlusion levels: Low (0–5 occluded joints), Medium (6–10), and High (11–21), together with PA-MPVPE in mm, PCK @5/10/15, and F@5/15 mm. The diffusion baselines (InterHandGen, w/ Full Cond.) are applied on top of WiLoR, while our refinement is applied on top of both WiLoR and Hamba. Bold and underline denote the best and second-best.
该网络的评估涵盖了未见过的受试者（S1划分 [^4]），而HO3D数据集则包含了未见过的视角、受试者和物体。
在3D手部重建的基线模型中，我们测试了基于图的Transformer模型Mesh-Graphormer [^28]、抗遮挡能力强的HandOccNet [^39]、两种基础Transformer模型HaMeR [^41]和WiLoR [^42]，以及基于Mamba的模型Hamba [^8]。对于扩散先验模型，我们针对此缺乏上下文条件的任务，将原本用于双手输入的架构改造为单手输入，从而训练出3D手部扩散模型InterHandGen [^24]。为了与我们的方法公平对比，我们进一步实现了经过修改、能接收文本和图像条件并将其转化为全局特征向量的InterHandGen w/ Full Cond.。这些扩散基线模型均从零开始训练，随后用于优化来自WiLoR的3D姿态，优化方法详见第3.3节。
我们采用3D和2D指标来评估重建性能。对于3D关节和网格顶点，我们报告经过Procrustes对齐的平均误差（PA-MPJPE和PA-MPVPE）。我们还报告在5毫米和15毫米阈值下的网格F分数（F@5和F@15），用以评估对应距离阈值内的表面重建精度。对于2D关节精度，我们报告PCK@5、PCK@10和PCK@15，分别表示2D误差在5像素、10像素和15像素范围内的关键点所占百分比。为了衡量模型在不确定性逐渐增加情况下的鲁棒性，我们进一步根据第3.3节中检测到的可见关节数量，按遮挡程度（低、中、高）分组，提供了相应的评估子集。
实现细节：在生成模块中，我们的注意力层隐藏层大小设为512，头数设为4。损失权重分别设置为$\lambda_{\theta} = 1$、$\lambda_{v} = 10000$和$\lambda_{j} =$。
---
| (a) Text type | RGB? | Avg. | Low | Med. | High |
| (1) N/A | - | 9.28 | 8.16 | 9.82 | 14.6 |
| (2) N/A | ✓ | 7.90 | 7.69 | 7.89 | 9.91 |
| (3) Simple VLM | - | 8.67 | 8.00 | 9.03 | 11.4 |
| (4) Simple VLM | ✓ | 7.76 | 7.64 | 7.70 | 9.50 |
| (5) Aff. | - | 8.43 | 7.62 | 8.90 | 11.5 |
| (6) Aff. | ✓ | 7.53 | 7.29 | 7.57 | 9.37 |
| (7) Aff. w/ GT grasp | ✓ | 7.51 | 7.28 | 7.54 | 9.35 |
| (b) Text input | Avg. $\downarrow$ | FPS $\uparrow$ |
| (1) Qwen + Mistral | 7.53 | 0.31 |
| (2) Qwen keywords | 7.59 | 0.39 |
| (3) Grasp labels | 7.69 | 1242 |
| (4) Qwen (one-shot) | 7.68 | 1.19 |
| (5) Aff. classifier $^{*}$ | 7.57 | 96 |
| Seg. mask | Avg. $\downarrow$ | FPS $\uparrow$ |
| (6) SAM2 [^46] | 7.53 | 8.1 |
| (7) InterFormer [^51] | 7.54 | 16.3 |
| (8) None | 7.55 | — |
| (c) 2D guid. | Avg. \downarrow |
| $\lambda_{{2d}}=0.005$ | 7.53 |
| $\lambda_{{2d}}=0$ | 7.65 |
| V+L enc. | Avg. \downarrow |
| HaMeR+DistilBERT | 7.53 |
| CLIP | 11.36 |
| (d) Aff. field | Avg. $\downarrow$ |
| Full | 7.53 |
| w/o obj. category | 7.53 |
| w/o interaction | 7.54 |
| w/o intention | 7.54 |
| w/o obj. shape | 7.56 |
| w/o obj. size | 7.59 |
| w/o grasp tax. | 7.71 |
Table 2: Ablation study on HOGraspNet (PA-MPJPE). (a) Conditional modality compares text inputs and RGB image features. (b) Text input and visibility masks, (c) 2D keypoint guidance and V+L encoder, and (d) affordance fields; $*$ denotes a lightweight classifier trained on GT-based affordance elements. Shaded rows mark our setting. Bold and $\underline{\text{underline}}$ denote the best and second-best.
10000. 我们将文本和图像嵌入的令牌数量分别设置为64和192。我们使用Adam优化器[^21]，以64的批量大小和$1e^{-3}$的学习率训练扩散模型80个周期。我们将最大扩散步数设为$T = 1000$，并为前向过程采用余弦调度器[^35]。在精细化阶段，我们采用了更快的采样技术。我们根据被遮挡关节的数量线性调整起始细化步数$n \in [n_{min}, n_{max}]$：遮挡程度越高，所需的细化步数n就越大；反之，遮挡程度较低的样本所需的细化步数则较少。我们还在反向过程中每隔m步进行稀疏采样。在HOGraspNet数据集上，我们设置$\lambda_{2d} = 0.005$、$n = [100, 1000]$、$m = 20$。由于初始预测更为可靠，HO3D数据集所需的细化步数更少，且2D拟合精度更高：我们设置$\lambda_{2d} = 0.5$、$n = [10, 20]$、$m = 3$。关于超参数敏感性的进一步分析详见补充材料。
### 4.1 实验结果
3D手部姿态估计：表1展示了在HOGraspNet[^4]和HO3D[^15]数据集上的3D姿态评估结果。近期的基础模型性能优于基于CNN的HandOccNet[^39]，但高遮挡场景仍具挑战性（“高遮挡”子集上的误差约为12毫米）。扩散模型基线InterHandGen[^24]在没有上下文信号的情况下几乎无法修正姿态；即便采用“全条件”（将图像和文本作为全局向量），其对“中等遮挡”/“高遮挡”子集的改善效果也仅略优于WiLoR[^42]。相比之下，我们的方法在所有遮挡级别上都能稳定提升WiLoR的性能，平均误差降至7.53毫米，其中“高遮挡”子集的误差减少了3.04毫米（降幅达24%）。这一提升源于对图像和文本令牌的细粒度交叉注意力机制以及遮挡感知的精细化处理，而非像“IHGen w/ Full Cond.”那样将条件作为粗糙的全局向量来处理。在HO3D数据集上也观察到了同样的趋势：尽管WiLoR和Hamba本身已具备较强的竞争力，但我们的方法在不会降低整体性能的前提下对两者进行了进一步优化，使用WiLoR时平均误差为7.37毫米，使用Hamba时最佳误差仅为7.29毫米。这证明上述提升并非特定于某一种基础估计器，而是可泛化到不同的估计器上。
消融实验：所有消融实验均在HOGraspNet数据集上进行，结果见表2。我们逐一分析了流程中的核心组件，包括条件模态、可供性文本生成、可见性掩码、2D关键点引导、编码器设计以及单个可供性场。
---
Fig. 5: Qualitative results of diffusion-based refinement on the HOGraspNet dataset [^4]. We show refinement results with our diffusion prior and a comparison diffusion baseline, InterHandGen (IHGen) [^24] with Full Cond. The vertex error compared to the ground-truth mesh is color-coded, which is clipped to $[0, 20]$ mm. While the initial hand pose from WiLoR [^42] struggles to estimate joints in occluded regions, our method reasonably refines the estimates to plausibly grasp the object even under occlusion. The values under the samples denote PA-MPJPE.
(a) 条件模态：我们评估了图像和文本条件的影响，比较了可供性描述与简单的VLM标题所产生的引导效果。简单的VLM文本是通过提示Qwen2.5-VL[^2]来描述给定的HOI场景生成的（例如：“右手握着螺丝刀”）。与(1, 3, 5)的结果相比，简单标题方法并未比无文本条件的基线（N/A）带来显著改善，而可供性描述（Aff.）则有助于消除歧义。用ViT编码对图像特征进行条件化（2, 4, 6）被证明是有效的，能够帮助预测的姿态与视觉证据对齐。我们发现，我们的配置（6）综合利用了可供性描述和图像特征，性能最佳，平均误差仅为7.53毫米。我们还评估了预测抓取类型（见第3.1节的“步骤2”）与测试时使用真实抓取标签的效果差异。结果显示(6, 7)的结果几乎相当，说明配置(6)中的预测抓取分类错误较少，不会对下游任务产生负面影响。
(b) 文本输入与分割掩码：在文本输入方面，我们采用的两阶段Qwen+Mistral描述方法（1）——即由视觉语言模型提取可供性关键词，再由Mistral将其总结为连贯的句子——优于三种较简单的方法：未经总结的原始视觉语言模型关键词（2）、仅使用抓取分类标签（3），以及单次提示的视觉语言模型（4）。这证实了结构化总结能提供更强的约束条件。
---
Fig. 6: Qualitative results of diffusion-based refinement on the HO3D dataset [^15]. We compare the refinement results of our diffusion prior against a diffusion baseline, InterHandGen (IHGen) [^24] with Full Cond., both applied to the initial hand poses predicted by WiLoR [^42]. Predicted hand joints are colored by finger, with ground truth displayed in black. Some joint errors are highlighted using colored ellipses. The values under the samples denote PA-MPJPE.
相较于平面标签或未总结的文本，这种结构化信号能提供更有效的定位信号。随后，利用基于真实标注的可供性元素训练的轻量级可供性分类器来生成可供性描述（5），在保持96帧/秒的运行速度的同时，能恢复大部分精度（7.57毫米）。对于可见性掩码而言，将SAM2 [^46]（6）替换为速度更快的InterFormer [^51]（7）可使吞吐量翻倍，且对精度的影响微乎其微；而完全移除该掩码（8）也只会轻微降低性能。
(c) 二维引导与视觉+语言编码器：二维关键点引导（$\lambda_{2d}=0.005$）能在推理过程中将细化过程锚定在视觉证据上；若通过设置$\lambda_{2d}=0$来移除这种引导，精度便会下降。我们进一步分析了视觉+语言编码器的作用，该编码器用于为扩散先验提供条件。我们针对特定任务设计的编码器——采用HaMeR处理视觉特征，用DistilBERT处理文本形式的可供性描述——对性能也至关重要。相比之下，若用CLIP编码器替换这些专用编码器，误差会大幅增至11.36毫米。这一结果说明，CLIP的全局嵌入缺乏区分细微手-物体交互所需的手部特定空间粒度。
(d) 可供性字段：逐一分析可供性描述的各个字段后发现，抓取分类标签对细化过程的贡献最大。物体类别、形状、尺寸、交互方式和意图也能带来补充性的性能提升，这凸显了结合多种元素以实现精准细化的优势。
---
Fig. 7: In-the-wild sample evaluation on the HInt dataset [^41]. We present PCK (%) to the 2D keypoint GT (black skeleton). The highlighted circle and color in 2D kpt indicate the 2D joint error and its finger type (red circle means thumb error).
Fig. 8: Qualitative results of our diffusion prior. We show samples generated from partially different descriptions. We find that the diffusion-based generation responds to the change of object size, while remaining consistent with the given description.
定性结果：图5展示了HOGraspNet数据集上的定性对比结果，对比对象包括WiLoR的预测结果、InterHandGen（IHGen）在完整条件约束下的细化姿态，以及我们的扩散先验。初始姿态在遮挡部位存在较大误差（红色顶点）——例如戒指指和小指在这些示例中常被遮挡。我们的方法纠正了这些误差，且性能优于IHGen（带完整条件约束）基线。
同样，图6展示了HO3D数据集上的定性对比结果。如椭圆标记所示，初始的WiLoR预测在严重遮挡的关节处误差较大。虽然扩散基线IHGen（带完整条件约束）试图纠正这些误差，但难以有效地将文本形式的可供性描述反映到细化后的姿态中。相比之下，我们的扩散先验成功利用了这些文本线索，有效纠正了隐藏的关节运动，从而形成合理的抓取姿态。
图7展示了在HInt数据集[^41]上的实际场景评估结果，包括代理二维关键点评估（PCK）。我们发现该方法具备稳定的描述生成能力，拥有通用的视觉语言模型性能，且基于扩散的细化效果优于WiLoR，PCK指标也有所提升。这表明我们的方法适用于此类不受约束的烹饪环境，因为这类场景中可供性信号十分丰富。
基于扩散模型的生成可控性：图8展示了在不同文本描述下我们扩散模型的定性示例。我们在保持其余描述不变的情况下，验证了姿态生成对不同可供性元素的响应情况。具体而言，我们仅改变物体尺寸（小 vs. 大），结果表明我们的模型能够生成适应尺寸变化的手部姿态——例如对大物体采用更宽的抓握方式，对小物体则采用更紧的抓握方式。这表明我们的扩散先验能够准确地融入可供性描述中所嵌入的可操作语义。
物体属性层面的评估：我们针对不同类型的物体及其尺寸，提供了更细致的评估结果，相关说明见[^4]。如图9所示，虽然WiLoR在中等圆柱体、大圆盘以及多关节形状物体上误差较大，但我们的方法在这些具有挑战性的类别中始终能够实现稳健的精细化处理。
---
Fig. 9: Object property-wise performance evaluation on HOGraspNet. The cell value "WiLoR/Ours (gain%)" shows the WiLoR baseline, our method, and the relative gain in PA-MPJPE. The x-axis represents cylinder, sphere, disk, cuboid, and articulated shapes.
| Method | Unit | GFLOPs $\downarrow$ | Throughput $\uparrow$ (frame/sec) |
| WiLoR | per sample | 138.06 | 21.0 |
| AffHandGen | per diff. step | 0.99 | 389.1 |
| AffHandGen | per sample (≈8 steps) | 7.94 | 48.6 |
Table 3: Computational cost evaluation on HOGraspNet. We measure the inference burden of foundational transformers and our diffusion model. As it sparsely samples diffusion steps in inference, our method only requires on average approximately 8 diffusion steps per sample, resulting in significantly lower GFLOPs and higher throughput compared to WiLoR.
推理成本：得益于我们在精细化过程中采用的自适应起始步数（图4中的n）以及稀疏时间采样机制，与基础模型WiLoR相比，我们的方法在GFLOPs和吞吐量方面的推理负担并未增加，具体数据见表3。
## 5 结论
我们提出了一种新颖的扩散先验，它利用VLM的推理能力生成的可供性描述以及抓取分类结果。该模型能够学习合理且功能连贯的3D手部姿态分布，随后被用于精细化3D姿态估计，从而实现对遮挡关节的稳健推断，并在复杂的手-物交互场景中实现更精确的重建。实验表明，与基础的Transformer方法和扩散先验相比，借助可供性描述的引导能显著提升精细化质量，尤其在严重遮挡情况下效果更为明显。我们的方法还能提供可控且可解释的精细化结果，使姿态生成与可供性描述相匹配。
我们注意到一些局限性，这些局限性也为未来的研究开辟了有趣的方向。目前我们的方法专注于静态单手重建，尚未明确考虑3D物体几何结构，而是依赖文本描述作为包含物体信息的替代方式。将该方法扩展为能够显式建模3D物体交互，是未来值得探索的方向。此外，将我们这种基于可供性条件的先验从静态图像扩展到连续时间域，例如以眼为中心的视频分析和人体运动合成，也是建模动态手-物交互极具前景且令人兴奋的方向。
## 致谢
本研究得到了JST K计划项目资助，项目编号为JPMJKP25V1；同时得到了JST ASPIRE项目的资助，项目编号为JPMJAP2303。
---
## 参考文献
[^1]: Bahl, S., Mendonca, R., Chen, L., Jain, U., Pathak, D.: Affordances from human videos as a versatile representation for robotics. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). pp. 13778–13790 (2023)
[^2]: Bai, S., Chen, K., Liu, X., Wang, J., Ge, W., Song, S., Dang, K., Wang, P., Wang, S., Tang, J., et al.: Qwen2. 5-xl technical report. arXiv preprint arXiv:2502.13923 (2025)
[^3]: Cha, J., Kim, J., Yoon, J.S., Baek, S.: Text2hoi: Text-guided 3d motion generation for hand-object interaction. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). pp. 1577–1585 (2024)
[^4]: Cho, W., Lee, J., Yi, M., Kim, M., Woo, T., Kim, D., Ha, T., Lee, H., Ryu, J.H., Woo, W., et al.: Dense hand-object (ho) graspnet with full grasping taxonomy and dynamics. In: Proceedings of the European Conference on Computer Vision (ECCV). pp. 284–303 (2024)
5. Christen, S., Hampali, S., Sener, F., Remelli, E., Hodan, T., Sauer, E., Ma, S., Tekin, B.: Diff $^{2}$o：基于文本描述生成手-物交互的扩散模型。载于：ACM SIGGRAPH Asia会议论文集。第1–11页（2024年）。
[^6]: Corona, E., Pumarola, A., Alenya, G., Moreno-Noguer, F., Rogez, G.: Ganhand: Predicting human grasp affordances in multi-object scenes. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). pp. 5031–5041 (2020)
[^7]: Do, T.T., Nguyen, A., Reid, I.: Affordancenet: An end-to-end deep learning approach for object affordance detection. In: Proceedings of the IEEE International Conference on Robotics and Automation (ICRA). pp. 5882–5889 (2018)
[^8]: Dong, H., Chharia, A., Gou, W., Carrasco, F.V., De la Torre, F.: Hamba: Single-view 3d hand reconstruction with graph-guided bi-scanning mamba. In: Proceedings of the Advances in Neural Information Processing Systems (NeurIPS). vol. 37, pp. 2127–2160 (2024)
9. Dosovitskiy, A., Beyer, L., Kolesnikov, A., Weissenborn, D., Zhai, X., Unterthiner, T., Dehghani, M., Minderer, M., Heigold, G., Gelly, S., Uszkoreit, J., Housby, N.: 一张图片的价值相当于$16 \times 16$个词：大规模图像识别中的Transformer模型。载于：国际学习表征会议（ICLR）论文集。（2021年）
[^10]: Fan, Z., Ohkawa, T., Yang, L., Lin, N., Zhou, Z., Zhou, S., Liang, J., Gao, Z., Zhang, X., Zhang, X., et al.: Benchmarks and challenges in pose estimation for egocentric hand interactions with objects. In: Proceedings of the European Conference on Computer Vision (ECCV). pp. 428–448 (2024)
[^11]: Fang, K., Wu, T.L., Yang, D., Savarese, S., Lim, J.J.: Demo2vec: Reasoning object affordances from online videos. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). pp. 2139–2147 (2018)
[^12]: Feix, T., Romero, J., Schmiedmayer, H.B., Dollar, A.M., Kragic, D.: The grasp taxonomy of human grasp types. IEEE Transactions on human-machine systems 46(1), 66–77 (2015)
[^13]: Gibson, J.J.: The theory of affordances: (1979). In: The people, place, and space reader, pp. 56–60. Routledge (2014)
[^14]: Goyal, M., Modi, S., Goyal, R., Gupta, S.: Human hands as probes for interactive object understanding. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). pp. 3293–3303 (2022)
[^15]: Hampali, S., Rad, M., Oberweger, M., Lepetit, V.: Honnotate: A method for 3d annotation of hand and object poses. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). pp. 3196–3206 (2020)
## [^16]: Ho, J., Jain, A., Abbeel, P.: Denoising Diffusion Probabilistic Models. In: Proceedings of the Advances in Neural Information Processing Systems (NeurIPS). vol. 33, pp. 6840–6851 (2020)
---
[^17]: Ho, J., Salimans, T.: Classifier-free diffusion guidance. arXiv preprint arXiv:2207.12598 (2022)
[^18]: Jian, J., Liu, X., Li, M., Hu, R., Liu, J.: Affordpose: A large-scale dataset of hand-object interactions with affordance-driven hand pose. In: Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV). pp. 14713–14724 (2023)
[^19]: Jiang, A.Q., Sablayrolles, A., Mensch, A., Bamford, C., Chaplot, D.S., de Las Casas, D., Bressand, F., Lengyel, G., Lample, G., Saulnier, L., Lavaud, L.R., Lachaux, M., Stock, P., Scao, T.L., Lavril, T., Wang, T., Lacroix, T., Sayed, W.E.: Mistral 7b. arXiv preprint arXiv:2310.06825 (2024)
[^20]: Khirodkar, R., Bagautdinov, T.M., Martinez, J., Zhaoen, S., James, A., Selednik, P., Anderson, S., Saito, S.: Sapiens: Foundation for human vision models. In: Proceedings of the European Conference on Computer Vision (ECCV). vol. 15062, pp. 206–228 (2024)
[^21]: Kingma, D.P., Ba, J.: Adam: A method for stochastic optimization. In: Proceedings of the International Conference on Learning Representations (ICLR). (2015)
[^22]: Koppula, H.S., Gupta, R., Saxena, A.: Learning human activities and object affordances from rgb-d videos. The International journal of robotics research 32(8), 951–970 (2013)
[^23]: Kulon, D., Guler, R.A., Kokkinos, I., Bronstein, M.M., Zafeiriou, S.: Weakly-supervised mesh-convolutional hand reconstruction in the wild. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). pp. 4990–5000 (2020)
[^24]: Lee, J., Saito, S., Nam, G., Sung, M., Kim, T.K.: Interhandgen: Two-hand interaction generation via cascaded reverse diffusion. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). pp. 527–537 (2024)
[^25]: Li, G., Sun, D., Sevilla-Lara, L., Jampani, V.: One-shot open affordance learning with foundation models. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). pp. 3086–3096 (2024)
[^26]: Li, G., Tsagkas, N., Song, J., Mon-Williams, R., Vijayakumar, S., Shao, K., Sevilla-Lara, L.: Learning precise affordances from egocentric videos for robotic manipulation. In: Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV). pp. 10581–10591 (2025)
[^27]: Li, M., Christen, S., Wan, C., Cai, Y., Liao, R., Sigal, L., Ma, S.: Latenthoi: On the generalizable hand object motion generation with latent hand diffusion. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). pp. 17416–17425 (2025)
常规的
[^29]: Liu, A.L., Chao, Y.W., Chen, Y.T.: Task-oriented human grasp synthesis via context- and task-aware diffusers. In: Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV). pp. 10375–10385 (2025)
[^30]: Liu, Y., Liu, Y., Jiang, C., Lyu, K., Wan, W., Shen, H., Liang, B., Fu, Z., Wang, H., Yi, L.: Hoi4d: A 4d egocentric dataset for category-level human-object interaction. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). pp. 21013–21022 (2022)
[^31]: Lu, J., Lin, J., Dou, H., Zeng, A., Deng, Y., Liu, X., Cai, Z., Yang, L., Zhang, Y., Wang, H., et al.: Dposer-x: Diffusion model as robust 3d whole-body human pose prior. In: Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV). pp. 9988–9997 (2025)
### [^32]: Lv, X., Xu, L., Yan, Y., Jin, X., Xu, C., Wu, S., Liu, Y., Li, L., Bi, M., Zeng, W., et al.: Himo: A new benchmark for full-body human interacting with multiple objects. In: Proceedings of the European Conference on Computer Vision (ECCV). pp. 300–318 (2024)
---
[^33]: Müller, L., Ye, V., Pavlakos, G., Black, M., Kanazawa, A.: Generative proxemics: A prior for 3d social interaction from images. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). pp. 9687–9697 (2024)
[^34]: Nagarajan, T., Feichtenhofer, C., Grauman, K.: Grounded human-object interaction hotspots from video. In: Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV). pp. 8688–8697 (2019)
[^35]: Nichol, A.Q., Dhariwal, P.: Improved denoising diffusion probabilistic models. In: Proceedings of the International Conference on Machine Learning (ICML). vol. 139, pp. 8162–8171 (2021)
[^36]: Ohkawa, T., Furuta, R., Sato, Y.: Efficient annotation and learning for 3d hand pose estimation: A survey. International Journal of Computer Vision (IJCV) 131, 3193–3206 (2023)
[^37]: Ohkawa, T., He, K., Sener, F., Hodan, T., Tran, L., Keskin, C.: Assemblyhands: Towards egocentric activity understanding via 3d hand pose estimation. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). pp. 12999–13008 (2023)
[^38]: Ohkawa, T., Lee, J., Saito, S., Saragih, J., Prado, F., Xu, Y., Yu, S.I., Furuta, R., Sato, Y., Shiratori, T.: Generative modeling of shape-dependent self-contact human poses. In: Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV). pp. 5426–5436 (2025)
[^39]: Park, J., Oh, Y., Moon, G., Choi, H., Lee, K.M.: Handoccnet: Occlusion-robust 3d hand mesh estimation network. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). pp. 1496–1505 (2022)
[^40]: Patel, C., Nakamura, H., Kyuragi, Y., Kozuka, K., Niebles, J.C., Adeli, E.: Unigomotion: A unified model for egocentric motion reconstruction, forecasting, and generation. In: Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV). pp. 10318–10329 (2025)
[^41]: Pavlakos, G., Shan, D., Radosavovic, I., Kanazawa, A., Fouhey, D., Malik, J.: Reconstructing hands in 3d with transformers. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). pp. 9826–9836 (2024)
[^42]: Potamias, R.A., Zhang, J., Deng, J., Zafeiriou, S.: Wilor: End-to-end 3d hand localization and reconstruction in-the-wild. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). pp. 12242–12254 (2025)
[^43]: Prakash, A., Lundell, B., Andreychuk, D., Forsyth, D., Gupta, S., Sawhney, H.: How do I do that? synthesizing 3d hand motion and contacts for everyday interactions. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). pp. 7026–7036 (2025)
[^44]: Prakash, A., Tu, R., Chang, M., Gupta, S.: 3d hand pose estimation in everyday egocentric images. In: Proceedings of the European Conference on Computer Vision (ECCV). pp. 183–202 (2024)
[^45]: Radford, A., Kim, J.W., Hallacy, C., Ramesh, A., Goh, G., Agarwal, S., Sastry, G., Askell, A., Mishkin, P., Clark, J., et al.: Learning transferable visual models from natural language supervision. In: Proceedings of the International Conference on Machine Learning (ICML). pp. 8748–8763 (2021)
[^46]: Ravi, N., Gabeur, V., Hu, Y.T., Hu, R., Ryali, C., Ma, T., Khedr, H., Rädle, R., Rolland, C., Gustafson, L., et al.: Sam 2: Segment anything in images and videos. arXiv preprint arXiv:2408.00714 (2024)
[^47]: Romero, J., Tzionas, D., Black, M.J.: Embodied hands: modeling and capturing hands and bodies together. ACM Transactions on Graphics (ToG) 36(6), 245:1–245:17 (2017)
### [^48]: Sanh, V., Debut, L., Chaumond, J., Wolf, T.: Distilbert, a distilled version of bert: smaller, faster, cheaper and lighter. arXiv preprint arXiv:1910.01108 (2019)
---
[^49]: Smith, B., Wu, C., Wen, H., Peluse, P., Sheikh, Y., Hodgins, J.K., Shiratori, T.: Constraining dense hand surface tracking with elasticity. ACM Transactions on Graphics (ToG) 39(6), 219:1–219:14 (2020)
[^50]: Stathopoulos, A., Han, L., Metaxas, D.: Score-guided diffusion for 3d human recovery. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). pp. 906–915 (2024)
[^51]: Su, Y., Wang, Y., Yao, L., Cui, Y., Chau, L.P.: Interaction-aware representation modeling with co-occurrence consistency for egocentric hand-object parsing. In: Proceedings of the International Conference on Learning Representations (ICLR). (2026)
[^52]: Taheri, O., Ghorbani, N., Black, M.J., Tzionas, D.: GRAB: A dataset of whole-body human grasping of objects. In: Proceedings of the European Conference on Computer Vision (ECCV). pp. 581–600 (2020)
[^53]: Tevet, G., Gordon, B., Hertz, A., Bermano, A.H., Cohen-Or, D.: Motionclip: Exposing human motion generation to clip space. In: Proceedings of the European Conference on Computer Vision (ECCV). pp. 358–374 (2022)
[^54]: Tevet, G., Raab, S., Gordon, B., Shafir, Y., Cohen-Or, D., Bermano, A.H.: Human motion diffusion model. In: Proceedings of the International Conference on Learning Representations (ICLR) (2023)
[^55]: Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A.N., Kaiser, L., Polosukhin, I.: Attention is all you need. In: Proceedings of the Advances in Neural Information Processing Systems (NeurIPS). vol. 30 (2017)
[^56]: Wang, Y., Sun, Y., Patel, P., Daniilidis, K., Black, M.J., Kocabas, M.: Prompthmr: Promptable human mesh recovery. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). pp. 1148–1159 (2025)
[^57]: Wei, J., Wang, X., Schuurmans, D., Bosma, M., Xia, F., Chi, E., Le, Q.V., Zhou, D., et al.: Chain-of-thought prompting elicits reasoning in large language models. In: Proceedings of the Advances in Neural Information Processing Systems (NeurIPS). vol. 35, pp. 24824–24837 (2022)
[^58]: Wei, Y.L., Jiang, J.J., Xing, C., Tan, X.T., Wu, X.M., Li, H., Cutkosky, M., Zheng, W.S.: Grasp as you say: Language-guided dexterous grasp generation. In: Proceedings of the Advances in Neural Information Processing Systems (NeurIPS). vol. 37, pp. 46881–46907 (2024)
[^59]: Wen, Y., Pan, H., Yang, L., Pan, J., Komura, T., Wang, W.: Hierarchical temporal transformer for 3d hand pose estimation and action recognition from egocentric RGB videos. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). pp. 21243–21253 (2023)
[^60]: Yang, L., Li, K., Zhan, X., Wu, F., Xu, A., Liu, L., Lu, C.: Oakink: A large-scale knowledge repository for understanding hand-object interaction. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). pp. 20953–20962 (2022)
[^61]: Ye, Y., Gupta, A., Kitani, K., Tulsiani, S.: G-HOP: generative hand-object prior for interaction reconstruction and grasp synthesis. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). pp. 1911–1920 (2024)
[^62]: Ye, Y., Li, X., Gupta, A., De Mello, S., Birchfield, S., Song, J., Tulsiani, S., Liu, S.: Affordance diffusion: Synthesizing hand-object interactions. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). pp. 22479–22489 (2023)
[^63]: Yu, Z., Huang, Y., Furuta, R., Yagi, T., Goutsu, Y., Sato, Y.: Fine-grained affordance annotation for egocentric hand-object interaction videos. In: Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision (WACV). pp. 2155–2163 (2023)
### [^64]: Zhang, X., Li, Q., Mo, H., Zhang, W., Zheng, W.: End-to-end hand mesh recovery from a monocular rgb image. In: Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV). pp. 2354–2364 (2019)
---
[^65]: Zhang, Y., Cui, Z., Kephart, J.O., Ji, Q.: Diffusion-based 3d hand motion recovery with intuitive physics. In: Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV). pp. 7306–7317 (2025)
[^66]: Zhou, B., Zhan, Y., Zhang, Z., Lu, Z.: MEgoHand: Multimodal egocentric hand-object interaction motion generation. In: Proceedings of the Advances in Neural Information Processing Systems (NeurIPS). vol. 38, pp. 49464–49490 (2025)
## [^67]: Zhou, Y., Ohkawa, T., Zhou, G., Goto, K., Hirose, T., Sekikawa, Y., Inoue, N.: Df-mamba: Deformable state space modeling for 3d hand pose estimation in interactions. In: Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision (WACV). pp. 5352–5363 (2026)
---
## 面向3D手部重建的基于可供性引导的扩散先验——补充材料——
### 抓取分类
如3.1节所述，我们采用抓取分类器从单张图像中分类抓取类型。抓取分类的整体架构如图10所示。输入图像首先由ViT编码以获取视觉特征向量。同时，MANO回归器会从编码后的视觉特征向量中预测手部姿态参数。由于抓取类型不仅取决于手部姿态，还取决于手与物体交互时的视觉上下文，因此我们将视觉特征向量和MANO姿态参数组合作为自注意力模块的输入。我们使用在[^41]上预训练的ViT编码器和MANO回归器。自注意力模块的输出随后被送入MLP层，以生成最终的抓取分类结果。训练时，我们使用HOGraspNet [^4]数据集，采用与AffHandGen训练设置相同的样本量和训练/验证划分方式。
在评估集上，整体分类准确率达到87.6%。图13展示了抓取分类的混淆矩阵，其中原始的33种抓取类型根据抓取力度和拇指姿势被分为6类，这一分类方式与[^63]及图14中的分类一致。虽然预测的分类结果大多准确，但我们在图11中发现了一些分类模型的错误示例。这些错误案例对应着混淆矩阵中模型经常混淆的抓取类型。尽管预测结果有误，但被误分类的抓取类型在视觉和功能上十分相似。如表2第(6)行和第(7)行所示，用真实标签替换预测抓取结果后，性能提升微乎其微，这说明抓取分类中的这些错误对实际应用的影响有限。
Fig. 10: Architecture of grasp classification.
Fig. 11: Failure cases of grasp classification.
---
“一只右手，拇指内收，正握着一根中等大小的圆柱形香蕉。”
Fig. 12: Examples of generated simple captions and affordance-aware descriptions.
Fig. 13: Confusion matrix of grasp classification.
Fig. 14: The 33 grasp labels [^12] are grouped into 6 categories. The figure is adapted from [^63].
### B 描述生成
我们在3.1节设计了两种类型的描述：简单标题和可供性感知描述。这些描述是通过VLM（Qwen2.5-VL [^2]）生成的。两类生成描述的示例均展示在图12中。与简单标题相比，我们的可供性感知描述对手与物体交互的解释更为详细，包括抓取类型、物体尺寸和形状以及其他与交互相关的属性。
对于简单标题的生成，我们将图像以及手与物体的边界框一同输入VLM，并使用图15所示的模板直接提示模型。相比之下，可供性感知描述则整合了额外的结构化线索。具体来说，我们首先将图像和手与物体的边界框输入VLM，使用图16所示的提示词；同时，我们对输入图像进行抓取分类——
---
接着将预测的抓取类型插入解析后的标题模板中。组合得到的解析后标题随后会被送入LLM（Mistral-7B [^19]），由其总结为可供性感知描述。我们给LLM的提示词是：“用一句话总结给定的解析后标题，句子开头需为‘一只右手/左手……’”，最终得到的总结即作为我们的标题。
Fig. 15: Prompt used to generate a simple caption.
Fig. 16: Prompt used to generate an affordance-aware description.
---
Fig. 17: Sensitivity analysis of the 2D reprojection loss weight $\lambda_{2d}$ on the HOGraspNet dataset.
### C 其他结果
超参数敏感性：在细化阶段（Sec. 3.3），我们引入由 $\lambda_{2d}$ 加权的 2D 重投影损失，以促进优化后的 3D 手部姿态与现成 3D 手部重建方法给出的 2D 关键点估计之间的一致性。我们在 HOGraspNet 数据集上分析模型对 $\lambda_{2d}$ 的敏感性，保持最大扩散步数 $T=1000$、起始步 $n \in [100, 1000]$、采样间隔 $m=20$ 以及 100 个后处理步不变，并启用图像条件。如 Fig. 17 所示，将 $\lambda_{2d}$ 在四个数量级 $(10^{-4}-10^{-1})$ 上扫描，发现性能在 $10^{-4}$ 至 $10^{-2}$ 范围内呈现出一个近最优的宽广平台。我们在 $\lambda_{2d}=0.005$ 处取得最佳 PA-MPIPE 为 7.51 mm（细化前为 8.22 mm）。这一宽广的稳定区域表明，我们的细化流程具有很强的鲁棒性，在实际中无需进行详尽的超参数调优。
真实场景下的测试结果：为了进一步评估模型在训练数据集之外的泛化能力，我们在HInt [^41]数据集上测试了我们的方法，该数据集包含了来自New Days、VISOR和Ego4D子集的具有挑战性的真实场景图像。如表4所示，我们的先验模型在所有子集上都能改善WiLoR在遮挡关节处的表现，且在大多数子集上也能提升HaMeR的性能，这证明了其在不受约束的真实世界模糊场景下同样有效。我们还在图19中展示了定性结果，结果显示我们的方法能生成合理的手部姿态，且在不同真实场景中都能与交互语境保持一致。
失败案例：我们最后查看了我们的先验模型效果有限的情况（见图18）。对于偏离训练分布的交互场景，比如真实场景HInt图像中出现的特殊握姿或罕见物体可供性，其可供性描述可能不够可靠，从而导致对初始WiLoR估计的优化效果较弱。正如下文局限性部分所讨论的，扩充可供性词汇表并将其与明确的三维物体几何结构相关联，或许有助于缩小这一差距。
文本条件生成：在图20中，我们展示了基于文本输入、利用扩散模型进行姿态采样的定性结果。我们的扩散先验能够生成手部
---
| Method | New Days | VISOR | Ego4D |
| @0.05 $\uparrow$ | @0.1 $\uparrow$ | @0.15 $\uparrow$ | @0.05 $\uparrow$ | @0.1 $\uparrow$ | @0.15 $\uparrow$ | @0.05 $\uparrow$ | @0.1 $\uparrow$ | @0.15 $\uparrow$ |
| All | HandOccNet [^39] | 7.1 | 22.0 | 37.8 | 5.5 | 18.6 | 33.2 | 2.9 | 10.2 | 19.6 |
| MeshGraphormer [^28] | 15.0 | 34.7 | 49.1 | 15.9 | 39.0 | 55.2 | 7.2 | 19.8 | 31.8 |
| Hamba [^8] | 25.1 | 54.3 | 70.7 | 19.7 | 49.8 | 69.1 | 12.0 | 33.0 | 49.0 |
| HaMeR [^41] | 27.7 | 54.3 | 68.9 | 25.7 | 55.2 | 71.3 | 18.3 | 41.6 | 56.4 |
| + Ours | 24.6 | 52.6 | 68.5 | 24.3 | 55.8 | 72.8 | 17.5 | 42.3 | 58.0 |
| WiLoR [^42] | 24.9 | 54.9 | 71.6 | 21.9 | 53.5 | 72.6 | 12.5 | 34.2 | 50.3 |
| + Ours | 23.6 | 54.5 | 72.8 | 21.7 | 54.9 | 74.8 | 12.5 | 35.6 | 52.5 |
| Visible | HandOccNet [^39] | 8.4 | 25.6 | 43.0 | 6.2 | 19.8 | 34.7 | 3.1 | 10.7 | 20.5 |
| MeshGraphormer [^28] | 18.0 | 40.3 | 55.0 | 21.9 | 49.5 | 64.6 | 9.4 | 24.1 | 36.1 |
| Hamba [^8] | 30.7 | 63.5 | 78.8 | 25.7 | 60.9 | 79.0 | 14.7 | 39.5 | 56.3 |
| HaMeR [^41] | 33.2 | 62.3 | 76.1 | 33.0 | 65.5 | 79.1 | 23.6 | 49.3 | 62.6 |
| + Ours | 29.3 | 60.5 | 75.8 | 29.9 | 64.6 | 79.8 | 21.2 | 49.4 | 63.7 |
| WiLoR [^42] | 30.0 | 63.6 | 79.9 | 27.4 | 63.9 | 81.8 | 15.4 | 40.7 | 57.4 |
| + Ours | 28.0 | 62.6 | 80.5 | 26.0 | 63.9 | 83.0 | 14.8 | 41.2 | 58.4 |
| Occluded | HandOccNet [^39] | 4.6 | 16.1 | 30.1 | 4.7 | 17.0 | 31.1 | 2.6 | 9.3 | 18.0 |
| MeshGraphormer [^28] | 8.4 | 24.1 | 39.1 | 8.3 | 26.7 | 45.1 | 4.5 | 14.6 | 26.7 |
| Hamba [^8] | 14.6 | 41.0 | 60.6 | 12.6 | 36.9 | 58.6 | 8.6 | 25.3 | 41.1 |
| HaMeR [^41] | 17.2 | 42.1 | 59.6 | 16.0 | 43.0 | 62.7 | 11.6 | 32.5 | 49.4 |
| + Ours | 15.9 | 40.4 | 59.2 | 16.6 | 45.4 | 65.1 | 12.6 | 33.7 | 51.5 |
| WiLoR [^42] | 15.4 | 42.1 | 61.2 | 15.4 | 41.3 | 62.9 | 9.0 | 26.6 | 42.3 |
| + Ours | 15.1 | 42.1 | 63.0 | 16.3 | 44.3 | 66.1 | 9.5 | 28.6 | 45.5 |
Table 4: Quantitative evaluation on the HInt benchmark [^41] (PCK@0.05/0.1/0.15). On occluded joints, our affordance-guided prior improves WiLoR across all three splits (New Days, VISOR, Ego4D) and HaMeR on most of them.
Fig. 18: Failure cases on HInt. When the interaction deviates from the training distribution, the affordance prior provides weaker refinement over the initial WiLoR estimate. poses semantically aligned with affordance-aware descriptions, with high sample diversity.
---
Fig. 19: Additional qualitative results on in-the-wild images from the HInt dataset [^41].
---
Fig. 20: Sampled by our affordance-description conditioned prior.