# GenHOI：具有遮挡感知能力的通用手-物体姿态估计

杨辉 $^{1,2}$、孙伟 $^{1*}$、刘健 $^{1*}$、肖健 $^{1}$、谢涛 $^{1}$、侯赛因·拉赫曼尼 $^{3}$、阿杰马尔·米安 $^{4}$、尼库·塞贝 $^{5}$ 以及李金熙 $^{2}$ {huiyang, wei_sun, jianliu}@hnu.edu.cn, <mailto:gimhee.lee@comp.nus.edu.sg>

$^{1}$ 湖南大学NERC-RVC、$^{2}$ 新加坡国立大学、$^{3}$ 兰卡斯特大学、$^{4}$ 西澳大利亚大学、$^{5}$ 特伦托大学

摘要。由于物体外观和交互模式的多样性，尤其是在严重遮挡的情况下，从单张RGB图像中进行通用3D手-物体姿态估计仍然极具挑战性。我们提出了GenHOI，一种具备遮挡感知能力的通用手-物体姿态估计框架。GenHOI将分层语义知识与手部先验相结合，以提升模型在复杂遮挡条件下的泛化能力。具体而言，我们引入了分层语义提示，通过文本描述编码物体状态、手部配置及交互模式。这使得模型能够学习手-物体交互的抽象高层表征，从而实现对未见过的物体和新颖交互模式的泛化，同时弥补缺失或模糊的视觉线索。为了实现稳健的遮挡推理，我们对RGB图像、预测的点云以及文本描述采用了多模态掩码建模策略。此外，我们利用手部先验作为稳定的空间参考，提取隐式的交互约束。即便在物体形状和交互模式存在显著差异的情况下，也能实现可靠的姿态推断。在具有挑战性的DexYCB和HO3Dv2基准测试上的大量实验表明，我们的方法在手-物体姿态估计任务中取得了最先进的性能。

关键词：姿态估计 · 手-物体交互

## 1 引言

精确的3D手-物体姿态恢复对于增强现实 [^6] [^44]、人机交互 [^3] [^35] [^37] 以及机器人操控 [^23] [^24] [^26] [^47] 等应用至关重要。然而，现实世界中的手-物体交互涉及多种多样的物体和交互场景，这阻碍了模型对未见过的物体和交互模式的泛化能力。此外，交互过程中频繁的遮挡会掩盖关键的视觉线索，进一步加剧了姿态估计中的泛化难题。

---

![Image](images/f025afb08ac3d9445d97aabc8a428e931b079304d92aaa08b19a1bd4b33a974b.jpg)

<div style="text-align: center;">Fig. 1: Illustration of task challenges and key performance comparisons. Hand-object pose estimation (left) faces the challenge of generalizing from training set to unseen test set. Additionally, severe hand-object occlusion makes this task more complicated. Our method shows stronger generalization (bottom: qualitative comparison with HFLNet [^22] on unseen objects in front and back views, and red dotted circles marking focus areas) and achieves the best performance (right) on the challenging generalized DexYCB S3 split [^4]. These results confirm effectiveness in generalized settings and under occlusion.</div>

大多数现有的手-物体姿态估计方法要么直接从视觉特征中回归姿态 [^19] [^34] [^46]，要么通过显式的关键点对应关系来估计姿态 [^20] [^22] [^33]。前者仅依赖外观线索来捕捉表面图案，而非物体的内在属性或交互意图，因此限制了其对未见类别和多样化交互场景的泛化能力。后者则依赖于精准的关键点检测，这使得它对遮挡和缺失的视觉证据极为敏感。总体而言，如图1所示，制约手-物体姿态估计方法应用的主要瓶颈在于其泛化能力和对遮挡的鲁棒性。

为克服这些局限，我们引入了分层语义信息与交互先验。分层语义能够对物体属性、手部状态以及手-物交互模式进行多层级描述。这种抽象知识有助于对未见过的物体及新型交互方式进行分析，并能补充缺失的视觉线索。此外，手部在交互过程中能提供稳定的结构先验，比如关节位置与旋转参数。当物体形状差异较大时，这些内部约束可作为可靠的空间参照，从而进一步提升模型的泛化能力。因此，充分利用语义线索与交互先验，对于解决现存难题并改善遮挡情况下的手-物姿态估计性能至关重要。

在本文中，我们提出了一种将分层语义知识与手部先验相融合的框架，以提升手-物姿态估计的泛化能力。

---

该框架尤其适用于遮挡场景下的手-物姿态估计。具体而言，我们引入了分层语义提示词，通过文本描述来编码物体状态、手部配置及交互模式。这一提示词能引导模型生成可推广到未见物体和新型交互方式的抽象表征。此外，我们采用了多模态掩码建模策略，充分利用RGB图像、预测的点云以及语言描述信息。通过对这些模态中的区域进行随机掩码处理并重建，模型得以学会感知遮挡现象并推断缺失的视觉线索。这种具备遮挡感知能力的学习过程，使得即便视觉信息部分缺失或受损，模型仍能保持可靠的姿态估计结果。更进一步，我们通过将关节位置与旋转参数作为稳定参照，融入手部先验以捕捉交互过程中的隐含空间约束。这些先验能够增强模型在物体形状及交互模式大幅变化时的鲁棒性，从而在严重遮挡条件下仍可实现可靠的姿态估计。

我们的贡献总结如下：

– 我们提出了一种通用的手-物姿态估计框架，旨在应对严重遮挡环境下未见物体及新型交互模式带来的挑战。

我们引入了分层语义提示词，通过文本描述来编码物体状态、手部配置及交互模式。这有助于在遮挡情况下实现泛化能力更强的姿态估计。

我们设计了基于RGB图像、预测点云及文本描述的多模态掩码建模策略，用以学习具备遮挡感知能力的表征并推断缺失的视觉线索。

我们利用手部先验作为稳定的空间参照，提取其中的隐含约束。这有助于模型在物体形状及交互模式多变的情况下推断物体姿态，进而提升泛化能力。

## 2 相关工作

### 2.1 三维手-物姿态估计

现有的手-物体姿态估计方法可大致分为直接回归方法和基于关键点的方法。直接回归方法直接从图像特征预测手和物体的 3D 姿态。Chen et al. [^8] 提出了一个统一框架，联合学习图像特征与参数化手-物体表示来推断姿态。Chen et al. [^7] 进一步引入运动学约束，以保证物理上合理的手部运动。Qi et al. [^30] 设计了图像-深度融合表示来联合回归手-物体构型，而 Zhang et al. [^45] 引入基于射线的特征聚合，以更好地建模局部的手-物体交互。基于关键点的方法通过利用所检测关键点之间的空间关系来估计 3D 手-物体姿态。Doosti et al. [^12] 联合预测手和物体关键点，并使用 MANO [^31] 和 PnP 来恢复 3D 姿态。Liu et al. [^27] 引入了一个半监督框架，利用时空约束提供伪标签监督。Hampali et al. [^14] 集成交叉注意力 transformer 来

---

显式编码联合的手-物体几何结构，Lin et al. [^22] 进一步强制双流特征解耦，以实现更稳定的相互姿态优化。

尽管这两类方法都取得了进展，但大多数现有方法主要依赖视觉线索或固定的关键点表示，缺乏语义和结构先验。因此，它们在严重遮挡场景下表现不佳，对未见过的物体和新颖的交互模式的泛化能力也有限。

### 2.2 手-物体交互的文本语义

近期研究[^28] [^43]表明，在严重遮挡和类别内差异较大的情况下，纯视觉线索往往难以发挥作用，而文本语义能够提供有效的补充指导。这一发现推动了将文本语义融入交互建模的进程。Zhang等人[^48]利用大型语言模型生成上下文交互描述，并将其与图像生成器结合，以合成手-物体背景图像。沿着这一方向，Cha等人[^2]提出了一种文本引导的三维交互生成流程，用于生成合理的手-物体配置。Huang等人[^18]进一步构建了生成式的语言到三维框架，能够实现可解释且富有表现力的交互合成。与此同时，文本监督也被应用于物体姿态估计领域[^25] [^39] [^41]。Corsetti等人[^9]利用视觉-语言先验进行开放词汇分割和6D姿态估计；而Lin等人[^21]则借助预训练的视觉-语言模型，整合来自图像和文本两种模态的语义知识，以增强类别层面的理解能力。

不过，这些方法主要依赖于描述全局场景或粗略物体类别的文本线索，只能提供高层次的上下文信息。相比之下，我们的方法致力于解决更具挑战性的手-物体姿态估计任务，该任务需要在严重遮挡条件下进行精细的空间推理。我们提出了一种分层文本表示方式，对物体、手部及其相互作用进行编码，从而为深入理解提供结构化的多层次线索。这些分层语义通过多模态掩码建模策略与视觉和几何模态相融合，该策略能在随机遮挡下重建被掩码的信号，进而提升遮挡感知能力和跨模态推理能力。

## 3 方法

图2展示了我们提出的GenHOI框架，该框架整合了分层语义提示和手部先验知识，以增强模型在遮挡环境下的泛化能力和鲁棒性。

### 3.1 分层文本语义嵌入

我们构建了一个分层提示模板，用于编码手部、物体及其相互作用的多层次语义。利用该模板与输入图像相结合，我们生成统一的文本提示，既能捕捉精细的视觉细节，又能体现高层次的语义关系。

---

![Image](images/5a948dfe2117183e39175dd6301443fee8d2d09f122af4527edc228f861ff51c.jpg)

<div style="text-align: center;">Fig. 2: GenHOI framework, which consists of three key components: (1) Hierarchical Textual Semantics. Given RGB images and hierarchical templates with the object, hand, and interaction levels, we employ InstructBLIP to generate hierarchical textual descriptions. (2) Multi-Modal Mask Modeling. Given the RGB image, textual description, and corresponding hand-object point cloud, we first apply a modality-specific masking strategy to the inputs. The masked inputs are processed by the cross-modal embedding module, which fuses visual, geometric, and textual features to produce representations used for reconstruction and pose estimation. The dashed boxes indicate that masking and reconstruction are used only during training. (3) Hand Prior Guided Pose Estimation. The cross-modal features learned in the previous stage are aggregated to a robust representation. Using these fused features, we first estimate hand pose parameters, which then serve as reliable priors for object pose reasoning.</div>

分层提示模板。我们定义了三个语义组成部分来构建分层提示模板：物体级语义$s_{o}$、手部级语义$s_{h}$以及交互级语义$s_{i}$。

物体级语义$s_{o}$描述了物体的属性，如类别、外观和方向，其表述形式为“该物体属于{object_category}类别，具有{shape, appearance}特征，且{orientation_description}。”手部级语义$s_{h}$刻画了手部的关节活动和抓取形态，可表示为“手部{fingers_detail}，且{rotation_description}。”交互级语义$s_{i}$则反映了手部与物体之间的关系语境，其结构为“手部{interaction_verb}该物体，{contact_detail}。”最终，这三个组成部分被整合为一个统一的分层提示$\mathcal{T}$。这一过程使模型能够通过关联物体、手部及其相互作用的线索，捕捉全面的多层次语义上下文。最终的分层模板如图2所示。

分层文本语义生成。给定输入图像$I \in \mathbb{R}^{3 \times H \times W}$和分层模板$\mathcal{T}$，我们利用InstructBLIP等视觉语言模型[^10]来生成文本描述T。正式而言，生成过程定义如下：

 $$ T=\mathcal{G}(I,\mathcal{T}), $$

---

其中$\mathcal{G}(\cdot)$表示用于生成的视觉语言模型。该模型会用图像特定的内容填充模板中的占位符，从而生成既符合视觉观测结果又与$\mathcal{T}$中所编码的分层语义相匹配的文本描述。如图2所示，模型会根据视觉内容生成分层提示$\mathcal{T}$。为了增强模型对自动生成描述中潜在噪声或偏差的鲁棒性，训练过程中会引入文本扰动，以减少其对完全一致输入的依赖。更多细节详见补充材料。

这种统一的分层文本描述提供了丰富的语义信息，涵盖了手-物体相互作用的局部和全局上下文线索。随后，它会被与视觉和几何表征相融合，从而实现在遮挡条件下更鲁棒且泛化能力更强的姿态估计。

### 3.2 多模态掩码建模

由于手与物体的交互，视觉线索在严重遮挡情况下往往会变得不完整，而点云几何信息与文本语义则能提供互补信息。为了增强对遮挡情况的感知能力并提升跨模态一致性，我们提出了一种多模态掩码建模策略，该策略会同时对视觉、几何和文本模态进行掩码处理并重建。训练期间，每张图像都会与从真实手部和物体网格中采样得到的点云配对；推理时，我们会根据图像特征从体素网格中动态采样点云。这种采样方式遵循 [^30] [^40]，无需依赖真实网格即可为每张图像提供几何表征。掩码处理和重建仅在训练阶段应用，旨在帮助模型推断缺失信息并对齐多模态表征。此外，模型会直接利用从图像、点云和文本中学习到的跨模态融合特征，这些整合后的表征随后会被用于后续的手部-物体姿态估计。

特定模态的掩码策略。我们采用了三种特定于模态的掩码方法：1）图像掩码会破坏手部-物体区域及背景中的选定图像块；2）点云掩码会随机丢弃手部与物体几何中的局部图像块；3）文本掩码会将分层描述中的部分词元替换为[MASK]。

图像掩码：对于输入图像I，掩码后的图像$\tilde{I}$定义如下：

 $$ \begin{align*}M_{I}&=M_{ho}(\left\lfloor\alpha N_{I}\right\rfloor)\cup M_{bg}(N_{I}-\left\lfloor\alpha N_{I}\right\rfloor),\\\tilde{I}&=(1-M_{I})\odot I+M_{I}\odot\mathcal{N}(0,\sigma^{2}),\end{align*} $$

其中$\odot$表示逐元素乘法，$M_I \in \{0,1\}^{H \times W}$为图像的掩码。此处，$M_{ho}$和$M_{bg}$分别是从手部-物体区域及背景区域中采样的被掩码图像块集合，$N_I$为被掩码图像块的总数，$\alpha \in [0,1]$用于控制被掩码图像块的比例。

---

该比例针对的是手部-物体区域。$\mathcal{N}(0,\sigma^{2})$表示高斯噪声。我们以目标为中心的掩码策略会平衡来自手部-物体区域和背景的图像块，从而保留与交互相关的线索以及全局上下文信息。

点云掩码：给定手部点云$P^h \in \mathbb{R}^{3 \times N_h}$，我们首先将其划分为K个局部图像块$\bigcup_{k=1}^K \mathbf{P}_k^h = P^h$。掩码后的手部点云$\tilde{\mathbf{P}}_k^h$定义如下：

 $$ \tilde{\mathbf{P}}_{k}^{h}=\begin{cases}{\mathbf{0},}&{k\in\mathcal{K}^{h},}\\ {\mathbf{P}_{k}^{h},}&{k\not\in\mathcal{K}^{h},}\\ \end{cases} $$

其中$\mathcal{K}^h$是根据掩码比例$\beta \in [0,1]$随机选取的图像块索引集合。物体点云$P^o$的掩码处理方式与手部相同，最终得到掩码后的点云$\tilde{P}^h$和$\tilde{P}^o$。

文本掩码：给定长度为L的分层文本描述$\mathbf{T} = \{t_l\}_{l=1}^L$，我们根据掩码比例$\mathcal{L}$随机选择一部分词元位置$\gamma \in [0,1]$进行掩码处理。掩码后的序列$\tilde{\mathbf{T}} = \{\tilde{t}_l\}_{l=1}^L$定义如下：

 $$ \tilde{t}_{l}=\begin{cases}{[\mathbf{M A S K}],}&{l\in\mathcal{L},}\\ {t_{l},}&{l\notin\mathcal{L},}\\ \end{cases} $$

其中[MASK]表示特殊的掩码词元[^11]。

多模态掩码重建。给定上一阶段得到的掩码输入$\tilde{I}$、$\tilde{P}$和$\tilde{T}$，模型首先提取特定模态的表征以编码视觉、几何和文本信息。具体而言，掩码图像$\tilde{I}$由视觉编码器$\phi_I$编码生成$F_I \in \mathbb{R}^{H_I \times W_I \times D_I}$；掩码点云$\tilde{P}$由几何编码器$\phi_P$编码生成$F_P \in \mathbb{R}^{N_P \times D_P}$；掩码文本描述$\tilde{T}$由文本编码器$\phi_T$编码生成$F_T \in \mathbb{R}^{L_T \times D_T}$。这些表征作为后续跨模态嵌入与重建的基础特征。

由于文本引导的视觉特征有助于生成更精确的点云采样结果，因此视觉特征与文本特征首先通过交叉注意力机制进行融合。对于视觉特征$F_{I}$和文本特征$F_{T}$，注意力计算方式如下：

 $$ \begin{aligned}\mathbf{Q}_{I}&=F_{I}\mathbf{W}_{Q}^{I},\quad\mathbf{K}_{T}=F_{T}\mathbf{W}_{K}^{T},\quad\mathbf{V}_{T}=F_{T}\mathbf{W}_{V}^{T},\\&\quad F_{I\leftarrow T}=Softmax\Big(\frac{\mathbf{Q}_{I}\mathbf{K}_{T}^{\top}}{\sqrt{d}}\Big)\mathbf{V}_{T},\end{aligned} $$

其中$F_{T\leftarrow I}$采用上述相同的公式进行计算。重建头$\psi_I$和$\psi_T$用于预测恢复后的图像$I_{pred}$和文本描述$T_{pred}$：

 $$ I_{{p r e d}}=\psi_{I}(F_{I\leftarrow T}),\quad T_{{p r e d}}=\psi_{T}(F_{T\leftarrow I}). $$

语义增强后的视觉特征$F_{I \leftarrow T}$与手部点云特征$F_P^h$通过交叉注意力机制融合，生成融合增强后的手部点云特征。

---

该融合增强后的手部点云特征为$F_{P \leftarrow T \leftarrow I}^{h}$。增强后的手部点云特征$F_{P \leftarrow I \leftarrow T}^{h}$直接输入到重建头$\psi_{P}$中，以预测重建后的手部点云：

 $$ \begin{array}{r}{P_{\mathrm{p r e d}}^{h}=\psi_{P}\big(F_{P\leftarrow I\leftarrow S}^{h}\big).}\end{array} $$

物体点云$P_{pred}^{o}$也采用相同的方式进行重建。

这种分层融合与重建机制使得各模态能够利用其他模态提供的互补信号，从而支持遮挡感知补全，并保持视觉、几何和文本模态间的语义一致性与结构连贯性。

### 3.3 手部先验引导的姿态估计

为了提升模型在不同物体和交互场景下的泛化能力，我们引入了手部先验引导的手部-物体姿态估计模块。该模块利用手部固有的结构规律性作为可靠的先验信息，来指导物体姿态推理。与形态多样且易变形的物体相比，手部的运动拓扑相对固定，形状变化也较为有限。因此，估计出的手部姿态和几何信息能为推断物体姿态提供稳定且有效的空间约束。

手部姿态估计方面，我们通过预测有符号距离场（SDF）来构建隐式几何模型。给定手部点$P_{h}$后，我们应用傅里叶位置编码$\gamma(\cdot)$来丰富空间频率表征，再将其与$F_{I\leftarrow T}$融合，从而回归得到$SDF_{h}$：

 $$ S D F_{h}=\mathrm{M L P}_{\mathrm{S D F}}\left(\gamma(P_{h})\oplus F_{I\leftarrow T}\oplus P_{h}\right). $$

物体$SDF_{o}$的估计过程与$SDF_{h}$中的步骤一致。我们通过整合多种线索来估计手部姿态，包括显式几何特征、语义增强后的视觉特征，以及从预测的$SDF_{h}$中得到的隐式几何信息。基于SDF的聚合机制能促使特征聚焦于手部-物体表面。

 $$ F_{\mathrm{a g g}}^{h}=\left(F_{P\leftarrow I\leftarrow S}^{h}\oplus F_{I\leftarrow T}\right)\cdot\frac{1}{\beta_{h}}\cdot\sigma_{h}\left(\frac{S D F_{\mathrm{h}}}{\beta_{h}}\right), $$

 $$ (\{\theta_{i}\}_{i=1}^{16},\alpha)=\mathrm{M L P}_{h}\Big(\mathrm{T r a n s f o r m e r}_{h}(F_{\mathrm{a g g}}^{h})\Big), $$

其中 $\sigma_h(\cdot)$ 是Sigmoid函数，$\beta_h$ 是可学习的缩放参数，$\theta \in \mathbb{R}^{16 \times 3}$ 表示关节旋转，而 $\alpha \in \mathbb{R}^{10}$ 则表示MANO手部形状系数。聚合物体特征 $F_{\text{agg}}^o$ 的获取方式与手部特征相同。

---

物体姿态估计。通过结合手部线索，可以联合回归物体的旋转和平移信息。具体来说，关节旋转 $\theta$ 会被投影并全局聚合以生成紧凑的手部运动描述符，而重建后的3D手部关节 $J \in \mathbb{R}^{21 \times 3}$ 则提供了抓取时的空间线索。这些手部特征会与物体特征 $F_{\text{agg}}^o$ 拼接起来，用于估计完整的物体姿态：

 $$ \begin{aligned}\boldsymbol{R}_{\mathrm{obj}}&=\mathrm{MLP}_{R}\Big(\boldsymbol{F}_{\mathrm{agg}}^{o}\oplus\mathrm{Pool}\big(\phi_{\mathrm{rot}}(\theta_{i_{i}=1}^{16})\big)\Big),\\\boldsymbol{T}_{\mathrm{obj}}&=\mathrm{MLP}_{T}\Big(\boldsymbol{F}_{\mathrm{agg}}^{o}\oplus\mathrm{Pool}\big(\phi_{\mathrm{pos}}(J)\big)\Big).\end{aligned} $$

最终的物体姿态表示为 $[R_{\mathrm{obj}}, T_{\mathrm{obj}}]$，其中 $R_{\mathrm{obj}} \in \mathbb{R}^{3 \times 3}$ 是3D旋转矩阵，$T_{\mathrm{obj}} \in \mathbb{R}^3$ 是3D平移向量。

### 3.4 损失函数

我们的整体训练目标：

 $$ \begin{aligned}L_{total}&=\lambda_{1}L_{rec}+\lambda_{2}L_{text}+\lambda_{3}L_{pc}\\&\quad+\lambda_{4}L_{mano}+\lambda_{5}L_{obj}+\lambda_{6}L_{SDF}+\lambda_{7}L_{others}.\end{aligned} $$

它结合了多个损失项，以共同优化多模态重建质量和姿态估计精度。具体而言，我们采用图像重建损失 $L_{rec}$、点云重建损失 $L_{pc}$、SDF监督损失 $L_{sdf}$、手部姿态损失 $L_{mano}$ 以及物体姿态损失 $L_{obj}$，这些均为L1损失。这些损失项分别由图像线索、几何一致性、隐式几何以及姿态和物体姿态来监督。相比之下，文本重建损失 $L_{text}$ 被定义为交叉熵损失，用于重建被掩码的文本词元。辅助损失项 $L_{others}$ 遵循Qi等人 [^30] 的方法，以提供特定任务的约束。每个损失项都由其对应的系数 $\lambda$ 加权，以便在优化过程中平衡其贡献。

## 4 实验

我们的方法基于PyTorch实现，并在单张NVIDIA RTX 4090 GPU上训练。我们采用Adam优化器，批量大小为24。初始学习率设为 $1e^{-4}$，每5个epoch衰减0.7倍。模型在DexYCB [^4] 和HO3Dv2 [^13] 数据集上训练60个epoch，这足以获得令人满意的性能。更多细节见补充材料。

数据集。我们在两个广泛使用的手-物交互数据集上评估我们的方法。DexYCB [^4] 包含来自1000多个序列的582K张图像，其中10名受试者操作20种YCB物体 [^36]。我们遵循S0划分进行标准评估。该划分使用8名受试者的序列进行训练，2名受试者进行测试，从而确保测试受试者和交互模式在训练阶段未被见过。

---

<div style="text-align: center;">Table 1: Evaluation of hand and object pose estimation on the DexYCB S3 split [^4]. Results are for unseen objects and novel hand-object interactions. ‘avg’ denotes average results over all evaluated objects.  $\downarrow$ means lower is better,  $\uparrow$ indicates higher is better. Best results are bolded, and the second best are underlined. HPE: Hand Pose Estimation. HOPE: Hand-Object Pose Estimation.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td rowspan="3" colspan="2">Method</td><td colspan="4">Object Pose (mAP)</td><td colspan="4">Hand Pose (mm)</td></tr><tr><td colspan="4">AUC of ADD-0.5D $\uparrow$</td><td colspan="4">MJE $\downarrow$ PA-MJE $\downarrow$ V-PE $\downarrow$ PA-V-PE $\downarrow$</td></tr><tr><td colspan="4">gelatin_box bleach_cleanser wood_block avg</td><td colspan="4"></td></tr><tr><td rowspan="4">HPE</td><td style='text-align: center; word-wrap: break-word;'>HandOccNet [^29]</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>14.58</td><td style='text-align: center; word-wrap: break-word;'>6.73</td><td style='text-align: center; word-wrap: break-word;'>14.10</td><td style='text-align: center; word-wrap: break-word;'>6.49</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>MobRecon [^5]</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>15.40</td><td style='text-align: center; word-wrap: break-word;'>7.25</td><td style='text-align: center; word-wrap: break-word;'>14.24</td><td style='text-align: center; word-wrap: break-word;'>6.39</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>$H_{2}ONet$ [^38]</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>15.20</td><td style='text-align: center; word-wrap: break-word;'>6.35</td><td style='text-align: center; word-wrap: break-word;'>15.03</td><td style='text-align: center; word-wrap: break-word;'>6.74</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>SimpleHand [^49]</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>14.88</td><td style='text-align: center; word-wrap: break-word;'>6.74</td><td style='text-align: center; word-wrap: break-word;'>14.21</td><td style='text-align: center; word-wrap: break-word;'>6.45</td></tr><tr><td rowspan="5">HOPE</td><td style='text-align: center; word-wrap: break-word;'>Liu et al. [^27]</td><td style='text-align: center; word-wrap: break-word;'>26.31</td><td style='text-align: center; word-wrap: break-word;'>25.07</td><td style='text-align: center; word-wrap: break-word;'>68.56</td><td style='text-align: center; word-wrap: break-word;'>38.89</td><td style='text-align: center; word-wrap: break-word;'>15.43</td><td style='text-align: center; word-wrap: break-word;'>6.61</td><td style='text-align: center; word-wrap: break-word;'>14.91</td><td style='text-align: center; word-wrap: break-word;'>6.40</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Keypoint Trans. [^14]</td><td style='text-align: center; word-wrap: break-word;'>0.00</td><td style='text-align: center; word-wrap: break-word;'>1.31</td><td style='text-align: center; word-wrap: break-word;'>32.61</td><td style='text-align: center; word-wrap: break-word;'>10.47</td><td style='text-align: center; word-wrap: break-word;'>18.79</td><td style='text-align: center; word-wrap: break-word;'>7.77</td><td style='text-align: center; word-wrap: break-word;'>18.35</td><td style='text-align: center; word-wrap: break-word;'>7.94</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HFL-Net [^22]</td><td style='text-align: center; word-wrap: break-word;'>25.88</td><td style='text-align: center; word-wrap: break-word;'>32.08</td><td style='text-align: center; word-wrap: break-word;'>70.16</td><td style='text-align: center; word-wrap: break-word;'>41.59</td><td style='text-align: center; word-wrap: break-word;'>14.77</td><td style='text-align: center; word-wrap: break-word;'>6.64</td><td style='text-align: center; word-wrap: break-word;'>14.29</td><td style='text-align: center; word-wrap: break-word;'>6.41</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>UniHOPE [^34]</td><td style='text-align: center; word-wrap: break-word;'>26.23</td><td style='text-align: center; word-wrap: break-word;'>32.32</td><td style='text-align: center; word-wrap: break-word;'>74.29</td><td style='text-align: center; word-wrap: break-word;'>43.06</td><td style='text-align: center; word-wrap: break-word;'>13.31</td><td style='text-align: center; word-wrap: break-word;'>6.08</td><td style='text-align: center; word-wrap: break-word;'>12.89</td><td style='text-align: center; word-wrap: break-word;'>5.87</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>GenHOI (ours)</td><td style='text-align: center; word-wrap: break-word;'>86.70</td><td style='text-align: center; word-wrap: break-word;'>89.27</td><td style='text-align: center; word-wrap: break-word;'>92.06</td><td style='text-align: center; word-wrap: break-word;'>89.34</td><td style='text-align: center; word-wrap: break-word;'>13.67</td><td style='text-align: center; word-wrap: break-word;'>6.39</td><td style='text-align: center; word-wrap: break-word;'>13.32</td><td style='text-align: center; word-wrap: break-word;'>5.93</td></tr></table>

<div style="text-align: center;">Table 2: Evaluation of object pose estimation using ADD-S on DexYCB S3 split [^4].</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td rowspan="2">Method</td><td colspan="4">ADD-S (mm) $\downarrow$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>gelatin_box</td><td style='text-align: center; word-wrap: break-word;'>bleach_cleanser</td><td style='text-align: center; word-wrap: break-word;'>wood_block</td><td style='text-align: center; word-wrap: break-word;'>average</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HFL-Net [^22]</td><td style='text-align: center; word-wrap: break-word;'>94.74</td><td style='text-align: center; word-wrap: break-word;'>176.84</td><td style='text-align: center; word-wrap: break-word;'>72.93</td><td style='text-align: center; word-wrap: break-word;'>114.83</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>UniHOPE [^34]</td><td style='text-align: center; word-wrap: break-word;'>109.23</td><td style='text-align: center; word-wrap: break-word;'>173.38</td><td style='text-align: center; word-wrap: break-word;'>49.76</td><td style='text-align: center; word-wrap: break-word;'>110.79</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HOISDF [^30]</td><td style='text-align: center; word-wrap: break-word;'>52.31</td><td style='text-align: center; word-wrap: break-word;'>89.92</td><td style='text-align: center; word-wrap: break-word;'>109.89</td><td style='text-align: center; word-wrap: break-word;'>84.04</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>GenHOI (ours)</td><td style='text-align: center; word-wrap: break-word;'>13.14</td><td style='text-align: center; word-wrap: break-word;'>26.91</td><td style='text-align: center; word-wrap: break-word;'>25.23</td><td style='text-align: center; word-wrap: break-word;'>21.76</td></tr></table>

我们还采用S3划分来评估对未见物体的泛化能力。该划分使用15种物体进行训练，保留剩余的3种物体用于测试。HO3Dv2 [^13] 包含来自68个序列的77K张图像。该数据集涵盖了10名受试者与10种YCB物体的交互情况。我们使用官方提供的训练/测试划分，其中测试集包含1种未见过的物体类别，用以评估跨类别泛化能力，并将测试结果提交至官方评估服务器。

评估指标。手部姿态与网格重建：为了评估手部姿态的准确性，我们报告了平均关节误差（M-JE）、经过Procrustes对齐的MJE（PA-MJE）[^50]以及经过尺度-平移对齐的MJE（ST-MJE）[^51]。由于我们的方法直接回归MANO参数，因此我们还使用平均网格误差（MME）、正确顶点百分比曲线下面积（V-AUC），以及5毫米和15毫米阈值下的F分数（F@5、F@15）来评估手部网格重建质量，同时按照H2ONet的方法计算这些指标的Procrustes对齐版本[^38]。物体姿态：对于物体姿态估计，我们报告物体中心误差（OCE）、平均角点误差（MCE）、物体网格误差（OME）以及平均最近点距离（ADD-S）。我们还进一步计算了物体的平均3D距离（ADD）。具体而言，我们报告了ADD-0.5D，该指标用于衡量预测结果的ADD在物体直径50%范围内的比例。

---

<div style="text-align: center;">Table 3: Quantitative comparison of hand mesh with across occlusion levels on DexYCB S3 split dataset [^4].</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td rowspan="2">Methods</td><td colspan="4">Occlusion (25%-50%)</td><td colspan="4">Occlusion (50%-75%)</td><td colspan="4">Occlusion (75%-100%)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>J-PE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>PA-J-PE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>V-PE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>PA-V $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>J-PE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>PA-J-PE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>V-PE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>PA-V $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>J-PE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>PA-J-PE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>V-PE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>PA-V $\downarrow$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HFL-Net [^22]</td><td style='text-align: center; word-wrap: break-word;'>16.33</td><td style='text-align: center; word-wrap: break-word;'>7.00</td><td style='text-align: center; word-wrap: break-word;'>15.81</td><td style='text-align: center; word-wrap: break-word;'>6.77</td><td style='text-align: center; word-wrap: break-word;'>18.66</td><td style='text-align: center; word-wrap: break-word;'>7.33</td><td style='text-align: center; word-wrap: break-word;'>18.11</td><td style='text-align: center; word-wrap: break-word;'>7.11</td><td style='text-align: center; word-wrap: break-word;'>28.95</td><td style='text-align: center; word-wrap: break-word;'>8.80</td><td style='text-align: center; word-wrap: break-word;'>27.94</td><td style='text-align: center; word-wrap: break-word;'>8.53</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>UniHOPE [^34]</td><td style='text-align: center; word-wrap: break-word;'>14.59</td><td style='text-align: center; word-wrap: break-word;'>6.39</td><td style='text-align: center; word-wrap: break-word;'>14.13</td><td style='text-align: center; word-wrap: break-word;'>6.17</td><td style='text-align: center; word-wrap: break-word;'>16.27</td><td style='text-align: center; word-wrap: break-word;'>6.51</td><td style='text-align: center; word-wrap: break-word;'>15.78</td><td style='text-align: center; word-wrap: break-word;'>6.29</td><td style='text-align: center; word-wrap: break-word;'>26.42</td><td style='text-align: center; word-wrap: break-word;'>7.64</td><td style='text-align: center; word-wrap: break-word;'>25.51</td><td style='text-align: center; word-wrap: break-word;'>7.40</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ours</td><td style='text-align: center; word-wrap: break-word;'>14.75</td><td style='text-align: center; word-wrap: break-word;'>6.49</td><td style='text-align: center; word-wrap: break-word;'>14.36</td><td style='text-align: center; word-wrap: break-word;'>6.23</td><td style='text-align: center; word-wrap: break-word;'>16.18</td><td style='text-align: center; word-wrap: break-word;'>6.61</td><td style='text-align: center; word-wrap: break-word;'>15.89</td><td style='text-align: center; word-wrap: break-word;'>6.25</td><td style='text-align: center; word-wrap: break-word;'>26.28</td><td style='text-align: center; word-wrap: break-word;'>7.55</td><td style='text-align: center; word-wrap: break-word;'>25.64</td><td style='text-align: center; word-wrap: break-word;'>7.57</td></tr></table>

<div style="text-align: center;">Table 4: Quantitative results on the unseen object ("019 pitcher base") from the HO3Dv2 dataset [^13].</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td rowspan="2">Method\nMetrics in [mm]</td><td style='text-align: center; word-wrap: break-word;'>HFL-Net [^22]</td><td style='text-align: center; word-wrap: break-word;'>HOISDF [^30]</td><td style='text-align: center; word-wrap: break-word;'>Ours</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>ADD-0.5D</td><td style='text-align: center; word-wrap: break-word;'>ADD-0.5D</td><td style='text-align: center; word-wrap: break-word;'>ADD-0.5D</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>019 pitcher base</td><td style='text-align: center; word-wrap: break-word;'>24.1</td><td style='text-align: center; word-wrap: break-word;'>88.4</td><td style='text-align: center; word-wrap: break-word;'>92.7</td></tr></table>

### 4.1 与最先进方法的比较

在DexYCB上的比较。我们在DexYCB S3划分数据集上评估我们的方法[^4]，该数据集侧重于未见过的物体。遵循UniHOPE的做法[^34]，我们仅评估手-物交互帧。由于存在严重的手-物遮挡现象且包含未见过的物体，这一划分带来了极大的挑战，能够严格检验模型的泛化能力和鲁棒性。表1展示了手部与物体姿态估计的定量结果。我们的方法在手部姿态准确性方面表现具有竞争力，与最先进（SOTA）方法相当。更重要的是，在物体姿态估计方面，我们的方法显著优于现有方法，在所有评估类别中平均AUC达到了89.34%。与物体姿态相比，手部姿态准确性的提升相对较小，这是由于两者本身的变异性差异所致。手部在样本间具有一致的结构和外观，因此受我们框架的泛化设计影响较小。为了在统一的基于毫米级的物体度量标准下进行更清晰的比较，我们在表2中进一步报告了ADD-S结果。结果显示，在所有对比方法中，我们的方法取得了最低的ADD-S误差，将HOISDF的84.04毫米误差降低到了21.76毫米。相比之下，物体在形状和纹理上的变化要大得多。因此，我们的分层文本语义和手部先验提供了更强的语义与几何约束。遵循UniHOPE的做法，我们在表3中按照相同协议评估了不同遮挡比例下的手部姿态准确性。尽管UniHOPE包含了专门的手部遮挡去除模块，我们的方法在严重遮挡情况下仍能达到可比的性能。图3展示了S3划分下未见物体上的定性比较结果。结果凸显出我们的方法在手-物姿态准确性方面优于HFL-Net和UniHOPE。

在HO3Dv2上的比较。我们在HO3Dv2数据集上评估我们的方法[^13]，该数据集主要由训练期间见过的物体以及单个未见过的物体（“019 pitcher base”）组成。为了评估泛化能力，我们

---

![Image](images/9f1ac6beb770307a69fda18362b221f4f82cf76590bea1fd94d72763943fa1c1.jpg)

图像

![Image](images/1535ce36ad1463f4ef117c2afd66e67b5e31dfd8923a9b2c8d876b65aa1410c8.jpg)

正面

![Image](images/75e5941f368e262858b1cac19fdf18f2dad8494f12472c446db0dca47f0d1d1a.jpg)

我们的方法

背面

![Image](images/84ea2be2b02d047c4f061f73224107d74e6d7a87f1c1ded021d14d81c75d8bf2.jpg)

正面

![Image](images/8b2d2fe9bc144b9ec4a248319f2d55e62a2ade0972bc96de8ad9a9989305dcda.jpg)

背面

HFL-Net

![Image](images/47319437802feccff99e7350071007194bc7bc50e01c3845575a6e7782901de7.jpg)

正面

<div style="text-align: center;">Fig. 3: Qualitative comparison of hand-object pose estimation on unseen objects under the DexYCB S3 split [^4]. Front and back indicate the front and rear views, respectively. Red dotted circles highlight regions where other methods produce less accurate pose estimates than our method. This demonstrates the superior generalization and robustness of our method on unseen objects.</div>

<div style="text-align: center;">Table 5: Comparison with SOTA hand-object pose estimation methods on the HO3Dv2 dataset [^13].</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Metric in [mm]</td><td style='text-align: center; word-wrap: break-word;'>MJE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>ST-MJE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>PA-MJE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>OME $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>ADD-S $\downarrow$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Hasson et al. [^17]</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>31.8</td><td style='text-align: center; word-wrap: break-word;'>11.0</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Hasson et al. [^15]</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>36.9</td><td style='text-align: center; word-wrap: break-word;'>11.4</td><td style='text-align: center; word-wrap: break-word;'>67.0</td><td style='text-align: center; word-wrap: break-word;'>22.0</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Hasson et al. [^16]</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>26.8</td><td style='text-align: center; word-wrap: break-word;'>12.0</td><td style='text-align: center; word-wrap: break-word;'>80.0</td><td style='text-align: center; word-wrap: break-word;'>40.0</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Liu et al. [^27]</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>31.7</td><td style='text-align: center; word-wrap: break-word;'>10.1</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Hampali et al. [^14]</td><td style='text-align: center; word-wrap: break-word;'>25.5</td><td style='text-align: center; word-wrap: break-word;'>25.7</td><td style='text-align: center; word-wrap: break-word;'>10.8</td><td style='text-align: center; word-wrap: break-word;'>68.0</td><td style='text-align: center; word-wrap: break-word;'>21.4</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HFL-Net [^22]</td><td style='text-align: center; word-wrap: break-word;'>28.9</td><td style='text-align: center; word-wrap: break-word;'>28.4</td><td style='text-align: center; word-wrap: break-word;'>8.9</td><td style='text-align: center; word-wrap: break-word;'>64.3</td><td style='text-align: center; word-wrap: break-word;'>32.4</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HOISDF [^30]</td><td style='text-align: center; word-wrap: break-word;'>23.6</td><td style='text-align: center; word-wrap: break-word;'>22.8</td><td style='text-align: center; word-wrap: break-word;'>9.6</td><td style='text-align: center; word-wrap: break-word;'>48.5</td><td style='text-align: center; word-wrap: break-word;'>17.8</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>LCP [^20]</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>23.7</td><td style='text-align: center; word-wrap: break-word;'>8.9</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>UniHOPE [^34]</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>25.5</td><td style='text-align: center; word-wrap: break-word;'>9.6</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>GenHOI (ours)</td><td style='text-align: center; word-wrap: break-word;'>21.3</td><td style='text-align: center; word-wrap: break-word;'>21.1</td><td style='text-align: center; word-wrap: break-word;'>9.9</td><td style='text-align: center; word-wrap: break-word;'>35.9</td><td style='text-align: center; word-wrap: break-word;'>13.4</td></tr></table>

在表4中，我们对未见过的物体进行了模型评估。尽管这些物体在训练阶段未曾出现，但我们的方法仍取得了92.7%的具有竞争力的ADD-0.5D分数，这一成绩超过了现有方法。这种对未见物体的强大泛化能力得益于层次化文本语义与手部先验的有机结合。表5则给出了在已见物体上的定量比较结果。在所有指标上，我们的方法均持续优于以往的方法，能够实现最低的手部和物体姿态误差。这些结果证明，所提出的模型能够准确捕捉手物交互关系，即便在遮挡情况复杂的场景下也能给出稳健的估计。

图4展示了未见物体和已见物体的定性比较结果。具体而言，左上角的示例对应未见物体，而其余示例则显示了已见物体的结果。定性结果进一步证实，我们的方法在HO3Dv2数据集上达到了最先进的性能，同时还能在训练分布之外保持强大的泛化能力。

---

<div style="text-align: center;">Table 6: Ablation study of our proposed components on the DexYCB dataset S3 split full [^4]. 'w/o' denotes 'without'.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Ablation</td><td colspan="5">|MJE $\downarrow$ PA-MJE $\downarrow$ V-PE $\downarrow$ PA-V-PE $\downarrow$ ADD-0.5D $\uparrow$</td></tr><tr><td colspan="6">Hierarchical Textual Semantic</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>1|w/o Text Generation Template</td><td style='text-align: center; word-wrap: break-word;'>16.78</td><td style='text-align: center; word-wrap: break-word;'>6.73</td><td style='text-align: center; word-wrap: break-word;'>15.12</td><td style='text-align: center; word-wrap: break-word;'>6.23</td><td style='text-align: center; word-wrap: break-word;'>86.51</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>2|w/o Multi-level Semantic Knowledge</td><td style='text-align: center; word-wrap: break-word;'>17.04</td><td style='text-align: center; word-wrap: break-word;'>6.98</td><td style='text-align: center; word-wrap: break-word;'>15.75</td><td style='text-align: center; word-wrap: break-word;'>6.41</td><td style='text-align: center; word-wrap: break-word;'>86.32</td></tr><tr><td colspan="6">Multi-Modal Masked Modeling</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>3|w/o Image Masking</td><td style='text-align: center; word-wrap: break-word;'>15.33</td><td style='text-align: center; word-wrap: break-word;'>6.52</td><td style='text-align: center; word-wrap: break-word;'>14.78</td><td style='text-align: center; word-wrap: break-word;'>6.03</td><td style='text-align: center; word-wrap: break-word;'>87.65</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>4|w/o Text Masking</td><td style='text-align: center; word-wrap: break-word;'>14.98</td><td style='text-align: center; word-wrap: break-word;'>6.21</td><td style='text-align: center; word-wrap: break-word;'>14.50</td><td style='text-align: center; word-wrap: break-word;'>5.88</td><td style='text-align: center; word-wrap: break-word;'>88.12</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>5|w/o Point Cloud Masking</td><td style='text-align: center; word-wrap: break-word;'>15.21</td><td style='text-align: center; word-wrap: break-word;'>6.47</td><td style='text-align: center; word-wrap: break-word;'>14.91</td><td style='text-align: center; word-wrap: break-word;'>6.07</td><td style='text-align: center; word-wrap: break-word;'>87.90</td></tr><tr><td colspan="6">Hand Priors</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>6|w/o Hand Rotation Prior</td><td style='text-align: center; word-wrap: break-word;'>14.65</td><td style='text-align: center; word-wrap: break-word;'>6.12</td><td style='text-align: center; word-wrap: break-word;'>14.32</td><td style='text-align: center; word-wrap: break-word;'>5.78</td><td style='text-align: center; word-wrap: break-word;'>85.45</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>7|w/o Hand Joint Prior</td><td style='text-align: center; word-wrap: break-word;'>14.88</td><td style='text-align: center; word-wrap: break-word;'>6.29</td><td style='text-align: center; word-wrap: break-word;'>14.55</td><td style='text-align: center; word-wrap: break-word;'>5.91</td><td style='text-align: center; word-wrap: break-word;'>84.01</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>GenHOI (Full)</td><td style='text-align: center; word-wrap: break-word;'>13.42</td><td style='text-align: center; word-wrap: break-word;'>5.81</td><td style='text-align: center; word-wrap: break-word;'>12.96</td><td style='text-align: center; word-wrap: break-word;'>5.63</td><td style='text-align: center; word-wrap: break-word;'>90.44</td></tr></table>

![Image](images/8004d26fe771f9084883aa9b716223c210b6ae5fecff0d4aee866ca542b72f8d.jpg)

<div style="text-align: center;">Fig. 4: Qualitative comparison on the HO3Dv2 dataset [^13]. The top-left example show results on the unseen object ("019 pitcher base"), while the remaining examples correspond to objects seen during training.</div>

其余示例展示的是在已见过物体上的结果。定性结果进一步证实：我们的方法在HO3Dv2数据集上达到了最先进的性能，同时还能在训练分布之外保持强大的泛化能力。

### 4.2 消融实验

我们在DexYCB S3划分的完整[^4]数据集上进行消融实验，利用所有帧来评估各组件所起的作用。

层次化文本语义。表6的第(1-2)行显示，当移除文本模板或层次化语义描述时，模型性能会出现明显下滑。我们引入层次化语义的初衷是提供关于物体及交互属性的、具有层级依赖性的先验知识。这些线索既包含高层次的概念，也涵盖细粒度的部件级提示，能够引导模型超越单纯的视觉相关性进行推理。若缺少这些语义先验，模型就不得不主要依赖外观线索，进而削弱其泛化能力。由此产生的性能差距证明，层次化语义可作为语义泛化先验，在处理存在严重遮挡的新颖手物交互场景时至关重要。

---

该模型能够超越单纯的视觉相关性进行推理。若剥夺这些外观线索，模型便被迫主要依赖外观特征，进而削弱其泛化能力。由此产生的性能差距表明：层次化语义可作为语义泛化的先验知识，在处理存在严重遮挡的新颖手-物体交互场景时，这一特性至关重要。

多模态掩码建模。表6的第(3-5)行表明，图像掩码对性能的提升作用最为显著，而文本和点云掩码则进一步增强了模型的遮挡感知能力。多模态掩码策略使模型能够推断被遮挡的信息。通过从不完整的观测数据中学习重建，模型发展出了遮挡感知推理能力以及跨模态特征一致性，而这些对于在复杂交互场景中取得稳健性能至关重要。移除掩码后性能的持续下降证明，显式学习在遮挡环境下的推理能力，对于提升现实场景中的泛化能力十分关键。

手部先验。表6的第(6-7)行显示，移除手部先验仅会对手部姿态估计产生轻微影响，但却会导致物体姿态精度的明显下降，这表明稳定的手部先验为交互推理提供了重要的空间约束。原因在于，手部构型与关节活动本身便编码了抓取意图与接触拓扑信息，这些信息会隐性地限制物体在三维空间中的可行朝向与位置。即便能够凭借外观线索估算出手部姿态，失去这些结构化先验也会削弱手与物体之间的几何耦合关系。最终，物体姿态推断会对局部视觉变化更加敏感。没有了这类约束，模型会更依赖外观相似性，这会导致在物体形状与交互模式各异的情况下，物体姿态推断变得更加困难，进而降低对未见物体及新颖交互场景的泛化能力。

补充材料中提供了关于多模态掩码比例、多模态融合策略、对不准确或噪声文本描述的鲁棒性，以及推理效率方面的进一步消融分析和研究结果。

## 5 结论

在这项工作中，我们提出了GenHOI——一种新颖的手部-物体姿态估计框架，它能够提升模型对未见过的物体和交互场景的泛化能力。我们引入了分层文本语义来编码物体状态、手部配置以及交互模式，这些语义提供了超越视觉外观的高层指导。我们提出了一种多模态掩码建模策略，使模型能够推断被遮挡区域，并在部分观测条件下保持跨模态一致性。此外，手部先验作为稳定的空间约束，能够将交互几何关系锚定下来，即便物体形状发生变化，也能强化对物体姿态的推理。大量实验表明，我们的GenHOI在严重遮挡情况下仍能展现出强大的泛化能力和稳健的性能。在未来的工作中，我们可能会将该模型扩展到以自我为中心的数据集，并进一步验证其泛化能力。

---

## 致谢

本研究得到了国家自然科学基金（项目编号：62473141和U22A2059）、国家科技重大专项（项目编号：2026ZD1610900）、中国国家留学基金委（项目编号：<tel:202506130069>）、车身先进设计制造国家重点实验室开放基金、新加坡国家研究基金会（NRF）下属的NRF-研究员计划（奖项编号：NRF-NRFI09-0008），以及新加坡教育部颁发的二级资助项目MOET2EP20124-0015的支持。

## 参考文献

[^1]: Akiva, P., Purri, M., Dana, K., Tellman, B., Anderson, T.: H2o-net: Self-supervised flood segmentation via adversarial domain adaptation and label refinement. In: Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision. pp. 111–122 (2021) 20

[^2]: Cha, J., Kim, J., Yoon, J.S., Baek, S.: Text2hoi: Text-guided 3d motion generation for hand-object interaction. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 1577–1585 (2024) 4

[^3]: Chao, Y.W., Paxton, C., Xiang, Y., Yang, W., Sundaralingam, B., Chen, T., Murali, A., Cakmak, M., Fox, D.: Handoversim: A simulation framework and benchmark for human-to-robot object handovers. In: Proceedings of the IEEE International Conference on Robotics and Automation. pp. 6941–6947 (2022) 1

[^4]: Chao, Y.W., Yang, W., Xiang, Y., Molchanov, P., Handa, A., Tremblay, J., Narang, Y.S., Van Wyk, K., Iqbal, U., Birchfield, S., et al.: Dexycb: A benchmark for capturing hand grasping of objects. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 9044–9053 (2021) 2, 9, 10, 11, 12, 13, 19, 20, 24

[^5]: Chen, X., Liu, Y., Dong, Y., Zhang, X., Ma, C., Xiong, Y., Zhang, Y., Guo, X.: Mobrecon: Mobile-friendly hand mesh reconstruction from monocular image. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 20544–20554 (2022) 10, 20

[^6]: Chen, Y., Wang, Q., Chen, H., Song, X., Tang, H., Tian, M.: An overview of augmented reality technology. In: Journal of Physics: Conference Series. vol. 1237, p. 022082 (2019) 1

[^7]: Chen, Z., Chen, S., Schmid, C., Laptev, I.: Gsdf: Geometry-driven signed distance functions for 3d hand-object reconstruction. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 12890–12900 (2023) 3, 20

[^8]: Chen, Z., Hasson, Y., Schmid, C., Laptev, I.: Alignsdf: Pose-aligned signed distance fields for hand-object reconstruction. In: European Conference on computer vision. pp. 231–248. Springer (2022) 3, 20

[^9]: Corsetti, J., Boscaini, D., Oh, C., Cavallaro, A., Poiesi, F.: Open-vocabulary object 6d pose estimation. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 18071–18080 (2024) 4

## [^10]: Dai, W., Li, J., Li, D., Tiong, A., Zhao, J., Wang, W., Li, B., Fung, P.N., Hoi, S.: Instructblip: Towards general-purpose vision-language models with instruction tuning. Advances in Neural Information Processing Systems 36, 49250–49267 (2023) 5, 25

---

[^11]: Devlin, J., Chang, M.W., Lee, K., Toutanova, K.: Bert: Pre-training of deep bidirectional transformers for language understanding. In: Proceedings of the conference of the North American chapter of the association for computational linguistics: human language technologies. pp. 4171–4186 (2019) 7

[^12]: Doosti, B., Naha, S., Mirbagheri, M., Crandall, D.J.: Hope-net: A graph-based model for hand-object pose estimation. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 6608–6617 (2020) 3

[^13]: Hampali, S., Rad, M., Oberweger, M., Lepetit, V.: Honnotate: A method for 3d annotation of hand and object poses. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 3196–3206 (2020) 9, 10, 11, 12, 13

[^14]: Hampali, S., Sarkar, S.D., Rad, M., Lepetit, V.: Keypoint transformer: Solving joint identification in challenging hands and object interactions for accurate 3d pose estimation. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 11090–11100 (2022) 3, 10, 12, 20

[^15]: Hasson, Y., Tekin, B., Bogo, F., Laptev, I., Pollefeys, M., Schmid, C.: Leveraging photometric consistency over time for sparsely supervised hand-object reconstruction. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 571–580 (2020) 12

[^16]: Hasson, Y., Varol, G., Schmid, C., Laptev, I.: Towards unconstrained joint hand-object reconstruction from RGB videos. In: International Conference on 3D Vision. pp. 659–668 (2021) 12, 20

[^17]: Hasson, Y., Varol, G., Tzionas, D., Kalevatykh, I., Black, M.J., Laptev, I., Schmid, C.: Learning joint reconstruction of hands and manipulated objects. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 11807–11816 (2019) 12, 20

[^18]: Huang, M., Chu, F.J., Tekin, B., Liang, K.J., Ma, H., Wang, W., Chen, X., Gleize, P., Xue, H., Lyu, S., et al.: Hoigpt: Learning long-sequence hand-object interaction with language models. In: Proceedings of the Computer Vision and Pattern Recognition Conference. pp. 7136–7146 (2025) 4

[^19]: Jiang, S., Ye, Q., Xie, R., Huo, Y., Li, X., Zhou, Y., Chen, J.: In-hand 3d object reconstruction from a monocular rgb video. In: Proceedings of the AAAI Conference on Artificial Intelligence. vol. 38, pp. 2525–2533 (2024) 2

[^20]: Kuang, Z., Ding, C., Yao, H.: Learning context with priors for 3d interacting hand-object pose estimation. In: Proceedings of the ACM International Conference on Multimedia. pp. 768–777 (2024) 2, 12, 20

[^21]: Lin, X., Zhu, M., Dang, R., Zhou, G., Shu, S., Lin, F., Liu, C., Chen, Q.: Clipose: Category-level object pose estimation with pre-trained vision-language knowledge. IEEE Transactions on Circuits and Systems for Video Technology 34(10), 9125–9138 (2024) 4

[^22]: Lin, Z., Ding, C., Yao, H., Kuang, Z., Huang, S.: Harmonious feature learning for interactive hand-object pose estimation. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 12989–12998 (2023) 2, 4, 10, 11, 12, 20

[^23]: Liu, J., Sun, W., Liu, C., Zhang, X., Fu, Q.: Robotic continuous grasping system by shape transformer-guided multi-object category-level 6d pose estimation. IEEE Transactions on Industrial Informatics 19(11), 11171-11181 (2023) 1

### [^24]: Liu, J., Sun, W., Yang, H., Deng, P., Liu, C., Sebe, N., Rahmani, H., Mian, A.: Diff9d: Diffusion-based domain-generalized category-level 9-dof object pose estimation. IEEE Transactions on Pattern Analysis and Machine Intelligence 47(7), 5520–5537 (2025) 1

---

[^25]: Liu, J., Sun, W., Yang, H., Zeng, Z., Liu, C., Zheng, J., Liu, X., Rahmani, H., Sebe, N., Mian, A.: Deep learning-based object pose estimation: A comprehensive survey. International Journal of Computer Vision 134(2), 81 (2026) 4

[^26]: Liu, J., Sun, W., Zeng, K., Zheng, J., Yang, H., Rahmani, H., Mian, A., Wang, L.: Scalable unseen objects 6-dof absolute pose estimation with robotic integration. IEEE Transactions on Robotics 42, 1884–1901 (2026) 1

[^27]: Liu, S., Jiang, H., Xu, J., Liu, S., Wang, X.: Semi-supervised 3d hand-object poses estimation with interactions in time. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 14687–14697 (2021) 3, 10, 12

[^28]: Liu, Y., Long, X., Yang, Z., Liu, Y., Habermann, M., Theobalt, C., Ma, Y., Wang, W.: Easyhoi: Unleashing the power of large models for reconstructing hand-object interactions in the wild. In: Proceedings of the Computer Vision and Pattern Recognition Conference. pp. 7037–7047 (2025) 4

[^29]: Park, J., Oh, Y., Moon, G., Choi, H., Lee, K.M.: Handoccnet: Occlusion-robust 3d hand mesh estimation network. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 1496–1505 (2022) 10, 20

[^30]: Qi, H., Zhao, C., Salzmann, M., Mathis, A.: Hoisdf: Constraining 3d hand-object pose estimation with global signed distance fields. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 10392–10402 (2024) 3, 6, 9, 10, 11, 12, 19, 20, 24

[^31]: Romero, J., Tzionas, D., Black, M.J.: Embodied hands: Modeling and capturing hands and bodies together. ACM Transactions on Graphics 36(6) (2017) 3

[^32]: Tse, T.H.E., Kim, K.I., Leonardis, A., Chang, H.J.: Collaborative learning for hand and object reconstruction with attention-guided graph convolution. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 1654–1664 (2022) 20

[^33]: Wang, R., Mao, W., Li, H.: Interacting hand-object pose estimation via dense mutual attention. In: Proceedings of the IEEE/CVF winter conference on applications of computer vision. pp. 5735–5745 (2023) 2

[^34]: Wang, Y., Xu, H., Heng, P.A., Fu, C.W.: Unihope: A unified approach for hand-only and hand-object pose estimation. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 12231–12241 (2025) 2, 10, 11, 12, 20

[^35]: Wang, Z., Chen, J., Chen, Z., Xie, P., Chen, R., Yi, L.: Genh2r: Learning generalizable human-to-robot handover via scalable simulation demonstration and imitation. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 16362–16372 (2024) 1

[^36]: Xiang, Y., Schmidt, T., Narayanan, V., Fox, D.: Posecnn: A convolutional neural network for 6d object pose estimation in cluttered scenes. arXiv preprint arXiv:1711.00199 (2017) 9

[^37]: Xu, H., Li, H., Wang, Y., Liu, S., Fu, C.W.: Handbooster: Boosting 3d hand-mesh reconstruction by conditional synthesis and sampling of hand-object interactions. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 10159–10169 (2024) 1

[^38]: Xu, H., Wang, T., Tang, X., Fu, C.W.: H2onet: Hand-occlusion-and-orientation-aware network for real-time 3d hand mesh reconstruction. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 17048–17058 (2023) 10

### [^39]: Yang, H., Sun, W., Liu, J., Zheng, J., Dai, Z., Mian, A.: Lancope: Language-guided category-level object pose estimation from a single rgb image. IEEE Robotics and Automation Letters (2025) 4

---

[^40]: Yang, H., Sun, W., Liu, J., Zheng, J., Xiao, J., Mian, A.: Occlusion-aware 3d hand-object pose estimation with masked autoencoders. arXiv preprint arXiv:2506.10816 (2025) 6

[^41]: Yang, H., Sun, W., Liu, J., Zheng, J., Zeng, Z., Mian, A.: RGB-based category-level object pose estimation via depth recovery and adaptive refinement. IEEE Robotics and Automation Letters (2025) 4

[^42]: Yang, L., Li, K., Zhan, X., Lv, J., Xu, W., Li, J., Lu, C.: Artiboost: Boosting articulated 3d hand-object pose estimation via online exploration and synthesis. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 2750–2760 (2022) 20

[^43]: Ye, Y., Gupta, A., Kitani, K., Tulsiani, S.: G-hop: Generative hand-object prior for interaction reconstruction and grasp synthesis. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 1911–1920 (2024) 4.

[^44]: Ye, Y., Li, X., Gupta, A., De Mello, S., Birchfield, S., Song, J., Tulsiani, S., Liu, S.: Affordance diffusion: Synthesizing hand-object interactions. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 22479–22489 (2023). 1

[^45]: Zhang, C., Di, Y., Zhang, R., Zhai, G., Manhardt, F., Tombari, F., Ji, X.: Ddf-ho: Hand-held object reconstruction via conditional directed distance field. Advances in Neural Information Processing Systems 36, 56871–56884 (2023) 3

[^46]: Zhang, C., Jiao, G., Di, Y., Wang, G., Huang, Z., Zhang, R., Manhardt, F., Fu, B., Tombari, F., Ji, X.: Moho: Learning single-view hand-held object reconstruction with multi-view occlusion-aware supervision. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 9992–10002 (2024) 2

[^47]: Zhang, H., Christen, S., Fan, Z., Hilliges, O., Song, J.: Graspxl: Generating grasping motions for diverse objects at scale. In: European Conference on Computer Vision. pp. 386–403 (2024) 1

[^48]: Zhang, M., Fu, Y., Ding, Z., Liu, S., Tu, Z., Wang, X.: Hoidiffusion: Generating realistic 3d hand-object interaction data. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 8521–8531 (2024) 4.

[^49]: Zhou, Z., Zhou, S., Lv, Z., Zou, M., Tang, Y., Liang, J.: A simple baseline for efficient hand mesh reconstruction. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 1367–1376 (2024) 10

[^50]: Zimmermann, C., Brox, T.: Learning to estimate 3d hand pose from single RGB images. In: Proceedings of the IEEE/CVF International Conference on Computer Vision. pp. 4903–4911 (2017) 10

### [^51]: Zimmermann, C., Ceylan, D., Yang, J., Russell, B., Argus, M., Brox, T.: Freihand: A dataset for markerless capture of hand pose and shape from single rgb images. In: Proceedings of the IEEE/CVF International Conference on Computer Vision. pp. 813–822 (2019) 10

---

### 附录

在这份补充材料中，我们首先介绍了实现细节（章节A）。章节B展示了额外的定性结果和消融实验，用以进一步证明GenHOI的鲁棒性；章节C则讨论了该研究的局限性与未来发展方向。

### A. 实现细节

输入图像会围绕物体进行裁剪，并调整大小为$224 \times 224$。在我们提出的掩码策略中，图像掩码块的数量记为$N_I$，设定为12个。对于落在物体边界框内的掩码，参数$\alpha$被设置为50%。对于文本掩码，掩码比例记为$\gamma$，同样设定为50%。对于点云掩码，分组数量记为K，设定为64组，而对应参数$\beta$的点云掩码组占比为30%。手部点的数量记为$N_H$，设定为600个；物体点的数量记为$N_O$，设定为200个。图像、点云和文本的特征维度分别记为$D_I$、$D_P$和$D_T$，这三个数值分别被设为768、768和512。通过大量实验验证发现，将$\lambda_1$、$\lambda_2$、$\lambda_3$、$\lambda_4$、$\lambda_5$和$\lambda_6$设为1时，模型性能最优。参数$\lambda_7$的配置遵循HOISDF [^30]中指定的参数设置。

### B. 更多实验结果

### B.1 DexYCB S0划分上的定量结果

我们在表A和表B中报告了DexYCB S0划分数据集上的定量结果[^4]。我们在DexYCB数据集的标准S0划分上评估了我们的方法[^4]，其中测试集包含训练期间见过的物体。表A总结了与现有最先进方法的定量比较。我们的方法在所有报告的指标上均取得了最佳性能。S0划分对应的定性结果详见补充材料。

此外，由于我们的方法涉及基于MANO的手部重建，我们进一步在表B中将其与现有的最先进手部网格重建方法进行比较。我们的方法在Procrustes对齐和非对齐指标下均取得了最佳性能，这证明了其在复杂遮挡和手-物交互场景下具备关节级精度以及精细的网格重建能力。

### B.2 DexYCB S0划分上的定性结果

我们在图A和图B中展示了我们的方法在DexYCB S0划分数据集上的优越性[^4]。

---

<div style="text-align: center;">Table A: Comparison with SOTA hand-object pose estimation methods on the DexYCB S0 split dataset [^4].</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Metric in [mm]</td><td style='text-align: center; word-wrap: break-word;'>MJE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>PA-MJE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>OCE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>MCE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>ADD-S $\downarrow$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Hasson et al. [^17]</td><td style='text-align: center; word-wrap: break-word;'>17.6</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Hasson et al. [^16]</td><td style='text-align: center; word-wrap: break-word;'>18.8</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>52.5</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Tze et al. [^32]</td><td style='text-align: center; word-wrap: break-word;'>15.3</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>ArtiBoost [^42]</td><td style='text-align: center; word-wrap: break-word;'>12.8</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>AlignSDF [^8]</td><td style='text-align: center; word-wrap: break-word;'>19.0</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>27.0</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>gSDF [^7]</td><td style='text-align: center; word-wrap: break-word;'>14.4</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>19.1</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Keypoint Trans. [^14]</td><td style='text-align: center; word-wrap: break-word;'>12.7</td><td style='text-align: center; word-wrap: break-word;'>6.86</td><td style='text-align: center; word-wrap: break-word;'>27.3</td><td style='text-align: center; word-wrap: break-word;'>32.6</td><td style='text-align: center; word-wrap: break-word;'>15.9</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HFL-Net [^22]</td><td style='text-align: center; word-wrap: break-word;'>11.9</td><td style='text-align: center; word-wrap: break-word;'>5.81</td><td style='text-align: center; word-wrap: break-word;'>39.8</td><td style='text-align: center; word-wrap: break-word;'>45.7</td><td style='text-align: center; word-wrap: break-word;'>31.9</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>LCP [^20]</td><td style='text-align: center; word-wrap: break-word;'>11.1</td><td style='text-align: center; word-wrap: break-word;'>5.30</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HOISDF [^30]</td><td style='text-align: center; word-wrap: break-word;'>10.1</td><td style='text-align: center; word-wrap: break-word;'>5.31</td><td style='text-align: center; word-wrap: break-word;'>18.4</td><td style='text-align: center; word-wrap: break-word;'>27.4</td><td style='text-align: center; word-wrap: break-word;'>13.3</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>UniHOPE [^34]</td><td style='text-align: center; word-wrap: break-word;'>12.6</td><td style='text-align: center; word-wrap: break-word;'>5.54</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>GenHOI (ours)</td><td style='text-align: center; word-wrap: break-word;'>9.83</td><td style='text-align: center; word-wrap: break-word;'>5.12</td><td style='text-align: center; word-wrap: break-word;'>17.2</td><td style='text-align: center; word-wrap: break-word;'>25.1</td><td style='text-align: center; word-wrap: break-word;'>12.3</td></tr></table>

<div style="text-align: center;">Table B: Quantitative comparison with hand mesh metrics on the DexYCB S0 split dataset [^4].</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Methods</td><td style='text-align: center; word-wrap: break-word;'>PA-J-AUC $^{\uparrow}$</td><td style='text-align: center; word-wrap: break-word;'>PA-V-PE $^{\downarrow}$</td><td style='text-align: center; word-wrap: break-word;'>PA-V-AUC $^{\uparrow}$</td><td style='text-align: center; word-wrap: break-word;'>PA-F@5 $^{\uparrow}$</td><td style='text-align: center; word-wrap: break-word;'>PA-F@15 $^{\uparrow}$</td><td style='text-align: center; word-wrap: break-word;'>J-AUC $^{\uparrow}$</td><td style='text-align: center; word-wrap: break-word;'>V-PE $^{\downarrow}$</td><td style='text-align: center; word-wrap: break-word;'>V-AUC $^{\uparrow}$</td><td style='text-align: center; word-wrap: break-word;'>F@5 $^{\uparrow}$</td><td style='text-align: center; word-wrap: break-word;'>F@15 $^{\uparrow}$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HandOccNet [^29]</td><td style='text-align: center; word-wrap: break-word;'>88.4</td><td style='text-align: center; word-wrap: break-word;'>5.5</td><td style='text-align: center; word-wrap: break-word;'>89.0</td><td style='text-align: center; word-wrap: break-word;'>78.0</td><td style='text-align: center; word-wrap: break-word;'>99.0</td><td style='text-align: center; word-wrap: break-word;'>74.8</td><td style='text-align: center; word-wrap: break-word;'>13.1</td><td style='text-align: center; word-wrap: break-word;'>76.6</td><td style='text-align: center; word-wrap: break-word;'>51.5</td><td style='text-align: center; word-wrap: break-word;'>92.4</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>MobRecon [^5]</td><td style='text-align: center; word-wrap: break-word;'>87.3</td><td style='text-align: center; word-wrap: break-word;'>5.6</td><td style='text-align: center; word-wrap: break-word;'>88.9</td><td style='text-align: center; word-wrap: break-word;'>78.5</td><td style='text-align: center; word-wrap: break-word;'>98.8</td><td style='text-align: center; word-wrap: break-word;'>73.7</td><td style='text-align: center; word-wrap: break-word;'>13.1</td><td style='text-align: center; word-wrap: break-word;'>76.1</td><td style='text-align: center; word-wrap: break-word;'>50.8</td><td style='text-align: center; word-wrap: break-word;'>92.1</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>H2ONet [^1]</td><td style='text-align: center; word-wrap: break-word;'>88.9</td><td style='text-align: center; word-wrap: break-word;'>5.5</td><td style='text-align: center; word-wrap: break-word;'>89.1</td><td style='text-align: center; word-wrap: break-word;'>80.1</td><td style='text-align: center; word-wrap: break-word;'>99.0</td><td style='text-align: center; word-wrap: break-word;'>74.6</td><td style='text-align: center; word-wrap: break-word;'>13.0</td><td style='text-align: center; word-wrap: break-word;'>76.2</td><td style='text-align: center; word-wrap: break-word;'>51.3</td><td style='text-align: center; word-wrap: break-word;'>92.1</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HOISDF [^30]</td><td style='text-align: center; word-wrap: break-word;'>89.8</td><td style='text-align: center; word-wrap: break-word;'>5.1</td><td style='text-align: center; word-wrap: break-word;'>89.8</td><td style='text-align: center; word-wrap: break-word;'>80.7</td><td style='text-align: center; word-wrap: break-word;'>99.2</td><td style='text-align: center; word-wrap: break-word;'>80.7</td><td style='text-align: center; word-wrap: break-word;'>9.8</td><td style='text-align: center; word-wrap: break-word;'>80.6</td><td style='text-align: center; word-wrap: break-word;'>59.6</td><td style='text-align: center; word-wrap: break-word;'>95.0</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>UniHOPE [^34]</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>5.4</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>12.2</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ours</td><td style='text-align: center; word-wrap: break-word;'>90.0</td><td style='text-align: center; word-wrap: break-word;'>4.9</td><td style='text-align: center; word-wrap: break-word;'>90.1</td><td style='text-align: center; word-wrap: break-word;'>81.3</td><td style='text-align: center; word-wrap: break-word;'>99.4</td><td style='text-align: center; word-wrap: break-word;'>80.7</td><td style='text-align: center; word-wrap: break-word;'>9.5</td><td style='text-align: center; word-wrap: break-word;'>81.1</td><td style='text-align: center; word-wrap: break-word;'>60.4</td><td style='text-align: center; word-wrap: break-word;'>95.4</td></tr></table>

### B.3 额外的消融实验结果

为了进一步分析我们的模型设计，并与主论文保持一致，我们在DexYCB S3划分上开展了以下所有消融实验[^4]。

不同遮挡程度下对所提出组件的消融实验。如表C所示，我们进一步分析了所提出组件在DexYCB S3划分上不同遮挡程度下的鲁棒性。结果表明，随着遮挡比例的增加，性能下降愈发明显，这凸显了这些组件在遮挡感知的手-物推理中的重要性。分层文本语义提供了高层的物体与交互指引，用以弥补缺失或模糊的视觉证据；多模态掩码建模通过鼓励模型利用图像、文本和点云等互补线索来提升鲁棒性；手部先验则在可见手部区域不完整时约束合理的手部关节活动与旋转。移除这些组件后性能的持续下降进一步验证了它们在遮挡场景下的有效性。

图像物体中心掩码比例与掩码块总数的消融实验。如表D所示，我们分析了图像掩码比例和掩码块数量对模型鲁棒性的影响。当

---

<div style="text-align: center;">Table C: Occlusion-aware ablation study of the proposed components on the DexYCB S3 split, following the ablation indices in Table 5.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td rowspan="2">Ablation</td><td colspan="5">Occlusion 25%-50%</td><td colspan="5">Occlusion 50%-75%</td><td colspan="5">Occlusion 75%-100%</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>J-PE</td><td style='text-align: center; word-wrap: break-word;'>PA-J-PE</td><td style='text-align: center; word-wrap: break-word;'>V-PE</td><td style='text-align: center; word-wrap: break-word;'>PA-V</td><td style='text-align: center; word-wrap: break-word;'>ADD</td><td style='text-align: center; word-wrap: break-word;'>J-PE</td><td style='text-align: center; word-wrap: break-word;'>PA-J-PE</td><td style='text-align: center; word-wrap: break-word;'>V-PE</td><td style='text-align: center; word-wrap: break-word;'>PA-V</td><td style='text-align: center; word-wrap: break-word;'>ADD</td><td style='text-align: center; word-wrap: break-word;'>J-PE</td><td style='text-align: center; word-wrap: break-word;'>PA-J-PE</td><td style='text-align: center; word-wrap: break-word;'>V-PE</td><td style='text-align: center; word-wrap: break-word;'>PA-V</td><td style='text-align: center; word-wrap: break-word;'>ADD</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>1</td><td style='text-align: center; word-wrap: break-word;'>16.87</td><td style='text-align: center; word-wrap: break-word;'>6.82</td><td style='text-align: center; word-wrap: break-word;'>15.62</td><td style='text-align: center; word-wrap: break-word;'>6.51</td><td style='text-align: center; word-wrap: break-word;'>86.20</td><td style='text-align: center; word-wrap: break-word;'>18.87</td><td style='text-align: center; word-wrap: break-word;'>7.06</td><td style='text-align: center; word-wrap: break-word;'>17.88</td><td style='text-align: center; word-wrap: break-word;'>6.93</td><td style='text-align: center; word-wrap: break-word;'>84.35</td><td style='text-align: center; word-wrap: break-word;'>30.45</td><td style='text-align: center; word-wrap: break-word;'>8.54</td><td style='text-align: center; word-wrap: break-word;'>29.38</td><td style='text-align: center; word-wrap: break-word;'>8.42</td><td style='text-align: center; word-wrap: break-word;'>78.70</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>2</td><td style='text-align: center; word-wrap: break-word;'>17.16</td><td style='text-align: center; word-wrap: break-word;'>7.03</td><td style='text-align: center; word-wrap: break-word;'>16.18</td><td style='text-align: center; word-wrap: break-word;'>6.68</td><td style='text-align: center; word-wrap: break-word;'>85.95</td><td style='text-align: center; word-wrap: break-word;'>19.24</td><td style='text-align: center; word-wrap: break-word;'>7.31</td><td style='text-align: center; word-wrap: break-word;'>18.42</td><td style='text-align: center; word-wrap: break-word;'>7.05</td><td style='text-align: center; word-wrap: break-word;'>84.05</td><td style='text-align: center; word-wrap: break-word;'>31.10</td><td style='text-align: center; word-wrap: break-word;'>8.87</td><td style='text-align: center; word-wrap: break-word;'>30.08</td><td style='text-align: center; word-wrap: break-word;'>8.73</td><td style='text-align: center; word-wrap: break-word;'>78.10</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>3</td><td style='text-align: center; word-wrap: break-word;'>15.68</td><td style='text-align: center; word-wrap: break-word;'>6.72</td><td style='text-align: center; word-wrap: break-word;'>15.22</td><td style='text-align: center; word-wrap: break-word;'>6.38</td><td style='text-align: center; word-wrap: break-word;'>87.45</td><td style='text-align: center; word-wrap: break-word;'>17.24</td><td style='text-align: center; word-wrap: break-word;'>6.92</td><td style='text-align: center; word-wrap: break-word;'>16.88</td><td style='text-align: center; word-wrap: break-word;'>6.50</td><td style='text-align: center; word-wrap: break-word;'>85.90</td><td style='text-align: center; word-wrap: break-word;'>28.10</td><td style='text-align: center; word-wrap: break-word;'>8.05</td><td style='text-align: center; word-wrap: break-word;'>27.52</td><td style='text-align: center; word-wrap: break-word;'>8.02</td><td style='text-align: center; word-wrap: break-word;'>80.65</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>4</td><td style='text-align: center; word-wrap: break-word;'>15.39</td><td style='text-align: center; word-wrap: break-word;'>6.60</td><td style='text-align: center; word-wrap: break-word;'>14.95</td><td style='text-align: center; word-wrap: break-word;'>6.32</td><td style='text-align: center; word-wrap: break-word;'>88.10</td><td style='text-align: center; word-wrap: break-word;'>16.83</td><td style='text-align: center; word-wrap: break-word;'>6.80</td><td style='text-align: center; word-wrap: break-word;'>16.48</td><td style='text-align: center; word-wrap: break-word;'>6.43</td><td style='text-align: center; word-wrap: break-word;'>86.55</td><td style='text-align: center; word-wrap: break-word;'>27.42</td><td style='text-align: center; word-wrap: break-word;'>7.91</td><td style='text-align: center; word-wrap: break-word;'>26.84</td><td style='text-align: center; word-wrap: break-word;'>7.89</td><td style='text-align: center; word-wrap: break-word;'>81.45</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>5</td><td style='text-align: center; word-wrap: break-word;'>15.58</td><td style='text-align: center; word-wrap: break-word;'>6.68</td><td style='text-align: center; word-wrap: break-word;'>15.14</td><td style='text-align: center; word-wrap: break-word;'>6.37</td><td style='text-align: center; word-wrap: break-word;'>87.72</td><td style='text-align: center; word-wrap: break-word;'>17.08</td><td style='text-align: center; word-wrap: break-word;'>6.87</td><td style='text-align: center; word-wrap: break-word;'>16.73</td><td style='text-align: center; word-wrap: break-word;'>6.49</td><td style='text-align: center; word-wrap: break-word;'>86.15</td><td style='text-align: center; word-wrap: break-word;'>27.90</td><td style='text-align: center; word-wrap: break-word;'>8.00</td><td style='text-align: center; word-wrap: break-word;'>27.26</td><td style='text-align: center; word-wrap: break-word;'>7.98</td><td style='text-align: center; word-wrap: break-word;'>80.95</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>6</td><td style='text-align: center; word-wrap: break-word;'>15.28</td><td style='text-align: center; word-wrap: break-word;'>6.56</td><td style='text-align: center; word-wrap: break-word;'>14.82</td><td style='text-align: center; word-wrap: break-word;'>6.30</td><td style='text-align: center; word-wrap: break-word;'>84.90</td><td style='text-align: center; word-wrap: break-word;'>16.62</td><td style='text-align: center; word-wrap: break-word;'>6.74</td><td style='text-align: center; word-wrap: break-word;'>16.31</td><td style='text-align: center; word-wrap: break-word;'>6.38</td><td style='text-align: center; word-wrap: break-word;'>83.25</td><td style='text-align: center; word-wrap: break-word;'>27.24</td><td style='text-align: center; word-wrap: break-word;'>7.83</td><td style='text-align: center; word-wrap: break-word;'>26.68</td><td style='text-align: center; word-wrap: break-word;'>7.86</td><td style='text-align: center; word-wrap: break-word;'>77.40</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>7</td><td style='text-align: center; word-wrap: break-word;'>15.36</td><td style='text-align: center; word-wrap: break-word;'>6.62</td><td style='text-align: center; word-wrap: break-word;'>14.97</td><td style='text-align: center; word-wrap: break-word;'>6.34</td><td style='text-align: center; word-wrap: break-word;'>83.70</td><td style='text-align: center; word-wrap: break-word;'>16.75</td><td style='text-align: center; word-wrap: break-word;'>6.82</td><td style='text-align: center; word-wrap: break-word;'>16.45</td><td style='text-align: center; word-wrap: break-word;'>6.45</td><td style='text-align: center; word-wrap: break-word;'>81.95</td><td style='text-align: center; word-wrap: break-word;'>27.52</td><td style='text-align: center; word-wrap: break-word;'>7.95</td><td style='text-align: center; word-wrap: break-word;'>26.96</td><td style='text-align: center; word-wrap: break-word;'>7.94</td><td style='text-align: center; word-wrap: break-word;'>75.85</td></tr></table>

<div style="text-align: center;">Table D: Ablation on the image masking ratio  $\alpha$ and the number of masking patches  $N_{I}$. Here,  $\alpha$ controls the proportion of masked regions within the object bounding box, and  $N_{I}$ denotes the total number of masked image patches. “All” indicates that all patches inside the bounding box are masked.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Image Mask Ratio Image Mask Pacth</td><td style='text-align: center; word-wrap: break-word;'>MJE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>PA-MJE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>V-PE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>PA-V-PE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>ADD-0.5D $\uparrow$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>0%</td><td style='text-align: center; word-wrap: break-word;'>12</td><td style='text-align: center; word-wrap: break-word;'>15.33</td><td style='text-align: center; word-wrap: break-word;'>6.52</td><td style='text-align: center; word-wrap: break-word;'>14.78</td><td style='text-align: center; word-wrap: break-word;'>6.03</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>25%</td><td style='text-align: center; word-wrap: break-word;'>12</td><td style='text-align: center; word-wrap: break-word;'>14.15</td><td style='text-align: center; word-wrap: break-word;'>6.21</td><td style='text-align: center; word-wrap: break-word;'>13.86</td><td style='text-align: center; word-wrap: break-word;'>5.94</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>50%</td><td style='text-align: center; word-wrap: break-word;'>12 (Ours)</td><td style='text-align: center; word-wrap: break-word;'>13.42</td><td style='text-align: center; word-wrap: break-word;'>5.81</td><td style='text-align: center; word-wrap: break-word;'>12.96</td><td style='text-align: center; word-wrap: break-word;'>5.63</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>75%</td><td style='text-align: center; word-wrap: break-word;'>12</td><td style='text-align: center; word-wrap: break-word;'>15.48</td><td style='text-align: center; word-wrap: break-word;'>6.43</td><td style='text-align: center; word-wrap: break-word;'>14.96</td><td style='text-align: center; word-wrap: break-word;'>6.31</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>100%</td><td style='text-align: center; word-wrap: break-word;'>12</td><td style='text-align: center; word-wrap: break-word;'>16.75</td><td style='text-align: center; word-wrap: break-word;'>6.89</td><td style='text-align: center; word-wrap: break-word;'>16.29</td><td style='text-align: center; word-wrap: break-word;'>6.56</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>50%</td><td style='text-align: center; word-wrap: break-word;'>4</td><td style='text-align: center; word-wrap: break-word;'>14.98</td><td style='text-align: center; word-wrap: break-word;'>6.39</td><td style='text-align: center; word-wrap: break-word;'>14.63</td><td style='text-align: center; word-wrap: break-word;'>6.15</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>50%</td><td style='text-align: center; word-wrap: break-word;'>8</td><td style='text-align: center; word-wrap: break-word;'>13.98</td><td style='text-align: center; word-wrap: break-word;'>6.10</td><td style='text-align: center; word-wrap: break-word;'>13.64</td><td style='text-align: center; word-wrap: break-word;'>5.93</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>50%</td><td style='text-align: center; word-wrap: break-word;'>12 (Ours)</td><td style='text-align: center; word-wrap: break-word;'>13.42</td><td style='text-align: center; word-wrap: break-word;'>5.81</td><td style='text-align: center; word-wrap: break-word;'>12.96</td><td style='text-align: center; word-wrap: break-word;'>5.63</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>50%</td><td style='text-align: center; word-wrap: break-word;'>16</td><td style='text-align: center; word-wrap: break-word;'>13.75</td><td style='text-align: center; word-wrap: break-word;'>6.08</td><td style='text-align: center; word-wrap: break-word;'>13.41</td><td style='text-align: center; word-wrap: break-word;'>5.95</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>100%</td><td style='text-align: center; word-wrap: break-word;'>All</td><td style='text-align: center; word-wrap: break-word;'>24.86</td><td style='text-align: center; word-wrap: break-word;'>11.69</td><td style='text-align: center; word-wrap: break-word;'>25.73</td><td style='text-align: center; word-wrap: break-word;'>10.95</td></tr></table>

<div style="text-align: center;">Table E: Ablation study on the text masking ratio  $\gamma$. We vary the proportion of masked tokens while keeping all other settings fixed.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Text Masking Ratio</td><td style='text-align: center; word-wrap: break-word;'>MJE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>PA-MJE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>V-PE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>PA-V-PE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>ADD-0.5D $\uparrow$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>0%</td><td style='text-align: center; word-wrap: break-word;'>14.98</td><td style='text-align: center; word-wrap: break-word;'>6.21</td><td style='text-align: center; word-wrap: break-word;'>14.50</td><td style='text-align: center; word-wrap: break-word;'>5.88</td><td style='text-align: center; word-wrap: break-word;'>88.12</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>25%</td><td style='text-align: center; word-wrap: break-word;'>14.26</td><td style='text-align: center; word-wrap: break-word;'>5.96</td><td style='text-align: center; word-wrap: break-word;'>14.13</td><td style='text-align: center; word-wrap: break-word;'>5.82</td><td style='text-align: center; word-wrap: break-word;'>88.75</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>50% (Ours)</td><td style='text-align: center; word-wrap: break-word;'>13.42</td><td style='text-align: center; word-wrap: break-word;'>5.81</td><td style='text-align: center; word-wrap: break-word;'>12.96</td><td style='text-align: center; word-wrap: break-word;'>5.63</td><td style='text-align: center; word-wrap: break-word;'>90.44</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>75%</td><td style='text-align: center; word-wrap: break-word;'>15.79</td><td style='text-align: center; word-wrap: break-word;'>6.45</td><td style='text-align: center; word-wrap: break-word;'>15.13</td><td style='text-align: center; word-wrap: break-word;'>6.13</td><td style='text-align: center; word-wrap: break-word;'>84.05</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>100%</td><td style='text-align: center; word-wrap: break-word;'>17.85</td><td style='text-align: center; word-wrap: break-word;'>7.25</td><td style='text-align: center; word-wrap: break-word;'>16.98</td><td style='text-align: center; word-wrap: break-word;'>6.98</td><td style='text-align: center; word-wrap: break-word;'>79.21</td></tr></table>

掩码块数量固定时，提高掩码比例最初能改善性能，因为这样能促使模型依赖稳定的全局结构而非易受遮挡影响的局部纹理。一旦比例过高，过多的视觉信息丢失会阻碍可靠的结构推理，进而导致性能下降，这说明该比例必须在遮挡模拟与关键线索保留之间取得平衡。当掩码比例固定时，中等数量的掩码块表现最佳；掩码块太少则无法提供充足的遮挡多样性，而太多则会碎片化掩码区域并破坏物体结构。

---

<div style="text-align: center;">Table F: Ablation study on the point cloud masking ratio. We fix the number of point cloud groups to K = 64 and vary the proportion of groups being masked.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Point Cloud Masking Ratio</td><td style='text-align: center; word-wrap: break-word;'>MJE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>PA-MJE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>V-PE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>PA-V-PE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>ADD-0.5D $\uparrow$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>0%</td><td style='text-align: center; word-wrap: break-word;'>15.21</td><td style='text-align: center; word-wrap: break-word;'>6.47</td><td style='text-align: center; word-wrap: break-word;'>14.91</td><td style='text-align: center; word-wrap: break-word;'>6.07</td><td style='text-align: center; word-wrap: break-word;'>87.90</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>30% (Ours)</td><td style='text-align: center; word-wrap: break-word;'>13.42</td><td style='text-align: center; word-wrap: break-word;'>5.81</td><td style='text-align: center; word-wrap: break-word;'>12.96</td><td style='text-align: center; word-wrap: break-word;'>5.63</td><td style='text-align: center; word-wrap: break-word;'>90.44</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>50%</td><td style='text-align: center; word-wrap: break-word;'>17.35</td><td style='text-align: center; word-wrap: break-word;'>7.71</td><td style='text-align: center; word-wrap: break-word;'>17.04</td><td style='text-align: center; word-wrap: break-word;'>7.28</td><td style='text-align: center; word-wrap: break-word;'>82.23</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>70%</td><td style='text-align: center; word-wrap: break-word;'>24.89</td><td style='text-align: center; word-wrap: break-word;'>9.56</td><td style='text-align: center; word-wrap: break-word;'>25.45</td><td style='text-align: center; word-wrap: break-word;'>8.42</td><td style='text-align: center; word-wrap: break-word;'>71.19</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>100%</td><td style='text-align: center; word-wrap: break-word;'>36.05</td><td style='text-align: center; word-wrap: break-word;'>13.79</td><td style='text-align: center; word-wrap: break-word;'>36.67</td><td style='text-align: center; word-wrap: break-word;'>14.84</td><td style='text-align: center; word-wrap: break-word;'>54.93</td></tr></table>

<div style="text-align: center;">Table G: Ablation study on the cross-attention order among text, image, and point cloud modalities.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Fusion Order</td><td colspan="5">|MJE $\downarrow$ PA-MJE $\downarrow$ V-PE $\downarrow$ PA-V-PE $\downarrow$|ADD-0.5D $\uparrow$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Text $\rightarrow$Point $\rightarrow$Image</td><td style='text-align: center; word-wrap: break-word;'>14.27</td><td style='text-align: center; word-wrap: break-word;'>6.23</td><td style='text-align: center; word-wrap: break-word;'>13.85</td><td style='text-align: center; word-wrap: break-word;'>6.12</td><td style='text-align: center; word-wrap: break-word;'>87.18</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Text $\rightarrow$Image &amp; Text $\rightarrow$Point</td><td style='text-align: center; word-wrap: break-word;'>13.76</td><td style='text-align: center; word-wrap: break-word;'>6.02</td><td style='text-align: center; word-wrap: break-word;'>13.24</td><td style='text-align: center; word-wrap: break-word;'>5.89</td><td style='text-align: center; word-wrap: break-word;'>88.76</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Text $\rightarrow$Image $\rightarrow$Point (Ours)</td><td style='text-align: center; word-wrap: break-word;'>13.42</td><td style='text-align: center; word-wrap: break-word;'>5.81</td><td style='text-align: center; word-wrap: break-word;'>12.96</td><td style='text-align: center; word-wrap: break-word;'>5.63</td><td style='text-align: center; word-wrap: break-word;'>90.44</td></tr></table>

总体而言，只有当掩码比例与掩码块数量协同平衡时，图像掩码策略才能带来最大的鲁棒性提升。如表D的最后一行所示，当整个物体边界框被掩码时，大部分与物体相关的以及部分与手相关的视觉线索会被遮挡，从而导致姿态估计精度的严重下降。

文本掩码比例的消融实验。为了评估掩码比例对文本语义注入的影响，我们在保持其他设置不变的情况下，通过改变文本掩码比例来进行消融研究。如表E所示，与低掩码比例相比，适度的掩码比例能带来更好的性能，因为模型能够利用文本上下文语义来重构缺失信息，从而增强其鲁棒性和上下文理解能力。相反，过高的掩码比例会移除过多语义信息，导致模型只能依靠上下文推断缺失信息，进而削弱了对遮挡视觉线索的文本语义补充作用。这些结果表明，恰当的掩码比例能够提升模型基于上下文语义进行推理的能力。

点云掩码比例的消融实验。为了探究点云掩码比例对几何推理的影响，我们在将组总数固定为K = 64的前提下，改变被掩码的点云组比例。如表F所示，30%的适度掩码比例能取得最佳的整体性能。这种程度的掩码为模型提供了足够的几何退化样本，以助其学习具备遮挡感知能力的推理方式，促使模型利用上下文推断缺失的几何信息。相比之下，极低的掩码比例带来的改进有限，因为模型很少遇到不完整的几何数据，因此无法有效学会处理被遮挡或稀疏的点云。然而，一旦掩码比例过高，性能便会急剧下降。

---

<div style="text-align: center;">Table H: Ablation on the hierarchical template. We assess each component by retaining only the object-, hand-, or interaction-related part of the hierarchical template.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Template Configuration</td><td style='text-align: center; word-wrap: break-word;'>MJE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>PA-MJE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>V-PE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>PA-V-PE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>ADD-0.5D $\uparrow$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Object Component Only</td><td style='text-align: center; word-wrap: break-word;'>14.52</td><td style='text-align: center; word-wrap: break-word;'>6.37</td><td style='text-align: center; word-wrap: break-word;'>14.31</td><td style='text-align: center; word-wrap: break-word;'>6.28</td><td style='text-align: center; word-wrap: break-word;'>88.56</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Hand Component Only</td><td style='text-align: center; word-wrap: break-word;'>13.98</td><td style='text-align: center; word-wrap: break-word;'>6.13</td><td style='text-align: center; word-wrap: break-word;'>13.65</td><td style='text-align: center; word-wrap: break-word;'>6.06</td><td style='text-align: center; word-wrap: break-word;'>87.15</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Interaction Component Only</td><td style='text-align: center; word-wrap: break-word;'>13.82</td><td style='text-align: center; word-wrap: break-word;'>6.05</td><td style='text-align: center; word-wrap: break-word;'>13.36</td><td style='text-align: center; word-wrap: break-word;'>5.81</td><td style='text-align: center; word-wrap: break-word;'>89.27</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>w/o YCB category tokens</td><td style='text-align: center; word-wrap: break-word;'>13.45</td><td style='text-align: center; word-wrap: break-word;'>5.78</td><td style='text-align: center; word-wrap: break-word;'>13.03</td><td style='text-align: center; word-wrap: break-word;'>5.61</td><td style='text-align: center; word-wrap: break-word;'>90.22</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Full Template (ours)</td><td style='text-align: center; word-wrap: break-word;'>13.42</td><td style='text-align: center; word-wrap: break-word;'>5.81</td><td style='text-align: center; word-wrap: break-word;'>12.96</td><td style='text-align: center; word-wrap: break-word;'>5.63</td><td style='text-align: center; word-wrap: break-word;'>90.44</td></tr></table>

<div style="text-align: center;">Table I: Ablation on noise augmentation. We study the effect of adding noise to text and point cloud to improve model robustness.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Noise Augmentation</td><td style='text-align: center; word-wrap: break-word;'>MJE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>PA-MJE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>V-PE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>PA-V-PE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>ADD-0.5D $\uparrow$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>w/o Text Noise</td><td style='text-align: center; word-wrap: break-word;'>14.55</td><td style='text-align: center; word-wrap: break-word;'>6.18</td><td style='text-align: center; word-wrap: break-word;'>13.48</td><td style='text-align: center; word-wrap: break-word;'>6.24</td><td style='text-align: center; word-wrap: break-word;'>89.12</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>w/o Point Cloud Noise</td><td style='text-align: center; word-wrap: break-word;'>14.41</td><td style='text-align: center; word-wrap: break-word;'>6.21</td><td style='text-align: center; word-wrap: break-word;'>13.82</td><td style='text-align: center; word-wrap: break-word;'>6.28</td><td style='text-align: center; word-wrap: break-word;'>88.53</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Full Noise (ours)</td><td style='text-align: center; word-wrap: break-word;'>13.42</td><td style='text-align: center; word-wrap: break-word;'>5.81</td><td style='text-align: center; word-wrap: break-word;'>12.96</td><td style='text-align: center; word-wrap: break-word;'>5.63</td><td style='text-align: center; word-wrap: break-word;'>90.44</td></tr></table>

由于被移除的点云组数量过多，导致可用于可靠SDF学习的局部样本不足，且可供模型从上下文线索中重构缺失区域的几何结构也过于稀少。总体而言，这些结果证明平衡的掩码比例至关重要：它既要足够大以促进具备遮挡感知能力的学习，又不能大到致使几何监督与上下文重构机制失效。

交叉注意力顺序的消融实验。表G对比了文本、图像和点云模态间不同的交叉注意力顺序。当模型在视觉模态之前直接将文本特征与点云特征融合时（$Text \rightarrow Point \rightarrow Image$），性能会显著下降。这是因为文本词元编码的是高层语义概念，而点云特征代表原始的局部几何信息；缺乏中间的视觉锚定机制，模型难以在抽象的语义线索与局部几何之间建立可靠的对应关系。并行融合策略（$Text \rightarrow Image \& Text \rightarrow Point$）虽缓解了这一问题，但两个分支间的特征对应关系仍不一致。相比之下，我们采用的顺序（$Text \rightarrow Image \rightarrow Point$）会先将文本语义注入视觉特征以实现语义-视觉对齐，再将增强后的视觉线索传递至3D表征中，从而促成更连贯的多模态交互，并在各项指标上提升估计精度。

模板消融实验。表H评估了分层模板中各组成部分的贡献。仅使用与物体相关的模板虽能提供关于类别和形状的全局线索，但缺少手部动作与接触信息，因而限制了其解析交互几何的能力。相反，仅包含手部信息的模板缺乏物体属性，无法在遮挡情况下有效约束物体姿态。而仅包含交互信息的模板则——

---

![Image](images/c85ab402164683cb40e114c521c1cbd071a28e6a36324798fd6eca8e66496fc7.jpg)

![Image](images/955e5d1b6941eb15df992a37976c5fc2c49d5b3ee3f45c07f2d60250edf7c492.jpg)

![Image](images/bfc5c825ab1e0f1a7f67f9995fc0fc5eab11451eeedc5dcf4241e86d67702f87.jpg)

![Image](images/78f98eb77b0405174bf1ad1c1e320ec58deef3ad85ca2439a19bec5e7d7d8c28.jpg)

![Image](images/e2b0257a8f74a3a2de49aab4fbdc7045a017a4a6ece9b0446a17e59da58387d7.jpg)

![Image](images/efe1ab0794bdbee237d3c252966f795d53711b1946515daa3eb8e72e1bfce203.jpg)

![Image](images/7bdf712bc6d0d2dd11aaafbe8c959ed54eb844c4e57dd35d8e8fd871afc958d4.jpg)

![Image](images/1025d06c00780f1dd0668a753e94ae34218b3690a6299eecef05aaf85e9cdab8.jpg)

![Image](images/92ab199366be7208df1c8adab69d58f0ab3e641f99c1b68651531de7163a5774.jpg)

图像

![Image](images/5ec6fcac8d10d4e1f7cea4b4d315adfd0dfd7e2610b190076af40556d67f4774.jpg)

正面

![Image](images/d919dd543512f573d36db52df96277a386f36b687baac07df786eee2897f6400.jpg)

![Image](images/c06b29cfac20f03b876397d5efd21ecd518e6ab8c7bb6bea5dbed061018b9dea.jpg)

![Image](images/5ef25526cc78df65b7038d6a4d37863625b8e3bdc5d15433906940cfab36b1aa.jpg)

![Image](images/c5fcae88d687d98508c24401ad134b7c5cc76000c413887c86f1785487405387.jpg)

背面

我们的方法

![Image](images/cb128abd13c86bdfe9d785f17d99d52a65ecf08d67d5fbe4520cd3ebbebe5ae5.jpg)

![Image](images/be903196c0a6a741276f3da88cabc8eb8d21aa4cd0162514ed93fa82bc119c4f.jpg)

正面

![Image](images/8aad796f6035a4193a1a77c6484058a90dda725cdf777a259e40448bcf1b63cf.jpg)

背面

HOISDF

<div style="text-align: center;">Fig. A: Qualitative comparison between our method and HOISDF [^30] on the DexYCB S0 split [^4].</div>

![Image](images/496db9ac7bcf3996963029cda896b8ea5baf236259bc56a89350b7af25c48618.jpg)

图片

![Image](images/f0ea5aa2203cbc364a2f9d31dc5986457f3f9fd3bc5016dc158b3114f2629f26.jpg)

正面

![Image](images/bca1aa7a0a7d888491a4018db1420c33df9d486fd14a29b0f908fd7ad5937b1b.jpg)

背面

![Image](images/78f0b8731108ee82f2153a28b5b50f08779ef9e30dcd30858e4aa6ce3ffaef04.jpg)

图片

![Image](images/4f7a22fd62e337306ea9417c22a36ea20d0af8fc918d10c1dc96f3d26eeff837.jpg)

正面

![Image](images/93effdb21efa9b5c0d37b9f0fd022f713ee6a9b149f20179407383ab15991afb.jpg)

背面

<div style="text-align: center;">Fig. B: Qualitative results of our method on the DexYCB S0 split [^4].</div>

该模型能捕捉到物体与手部之间的关联意图，但忽略了手-物体相关的具体细节，因此在视觉线索模糊时性能较差。相比之下，完整层次化模板融合了物体、手部以及交互语义，在所有指标上的准确率均有所提升。这表明更丰富的语义信息有助于模型更好地理解交互过程，进而推断出更精确的手-物体姿态。

---

这种上下文信息能够帮助模型更准确地理解交互行为，从而推断出更精准的手部与物体姿态。

此外，我们还进行了移除YCB类别标记的消融实验：此时物体类别由大语言模型推断得出，而非作为真实标签提供，旨在明确验证类别信息是否会泄露给模型。如表H的第四行所示，移除YCB类别标记后，准确率仅出现微小变化。这说明显式的类别标签对于姿态估计并非必不可少；实际上，模型主要依赖高层次的外观线索以及层次化模板中所编码的手-物体交互语义。

噪声增强的消融实验：表I评估了在文本描述和点云中添加噪声所产生的影响。我们的方法采用由InstructBLIP生成的层次化提示词[^10]，这些提示词的质量、一致性以及潜在偏差可能会影响姿态估计结果。为了降低模型对部分错误、有偏差或领域偏移的文本输入的敏感度，我们在训练阶段引入了词元级扰动，使模型能够学会应对不完美的文本。同样，训练时也会向点云中添加噪声，以缩小理想训练样本（基于真实数据采样）与推理阶段使用的体素采样之间的分布差异。实验结果表明，移除任一类型的噪声都会导致性能下降，而同时应用两种噪声增强策略（即“全噪声”设置）时准确率最高，这证明这些增强措施能够提升模型在不完美输入下的鲁棒性与泛化能力。

运行时间分析：为了评估所提出框架的计算效率，我们考察了其推理速度、参数数量以及内存占用情况。该模型的推理速度达到18帧/秒（文本为离线生成），显示出其应用于实际场景的可行性。总参数量仅为292 MB，内存占用也限制在约5109 MB左右。这些结果表明，我们的框架在效率与准确率之间取得了良好平衡，适合部署于需要实时或近实时手-物体姿态估计的场景中。

![Image](images/6e0dc0d76757807ed2c7369e8845016f74bbbd80b47c2482efae06d187bc6b47.jpg)

<div style="text-align: center;">Image</div>

![Image](images/8af8153923a2566144d09cc2a384f8dc18f551f0e9a0823fa6bf267864358686.jpg)

![Image](images/cc1af6821620c2f666c472dd3f06d30e9bef095c3a96d9e7649ce4a99d08cf48.jpg)

![Image](images/5d2fd247e7fb268479ecbbb4cccad46194e002c71e3b7dc44703d19827387519.jpg)

<div style="text-align: center;">Image</div>

![Image](images/cee20f440d7d513b98349443ed6685a5aaa70c699490114bc4efaadb20fd95e9.jpg)

<div style="text-align: center;">Front</div>

![Image](images/dc40b8a718f5254c1fefe3499764d2653c1b19cd4224e4f89548d195e790dff9.jpg)

<div style="text-align: center;">Back</div>

<div style="text-align: center;">Fig. C: Failure cases. In scenarios with severe occlusions, the predicted hand-object poses exhibit inaccuracies.</div>

### C. 局限性与未来工作

局限性：我们发现模型出错主要集中在极端遮挡场景下。极端遮挡交互场景中的失败案例如图C所示。

---

当手部与物体均被严重遮挡时，模型难以获取足够的视觉线索来进行准确的空间推理，往往会导致错误的姿态估计结果。尤其是当物体完全被手部遮挡时，由于缺乏可观察的特征，模型推断物体方位与位置的能力会受到极大限制。这些局限性凸显出未来有必要开展相关工作，以提升模型在严重遮挡条件下的推理能力。

未来工作：为克服严重遮挡带来的局限性，后续研究将重点结合先前交互帧中的时间线索以及物理和运动约束，从而更准确地推断被遮挡的手与物体之间的交互关系。此外，我们计划通过构建整合第三人称数据与第一人称记录的多视角数据集，将评估范围拓展至第三人称视角和第一人称视角。利用多视角数据进行训练能够提升模型的视角适应性，我们还将进一步探索多视角特征融合技术，以提高手物交互姿态估计的精确度。