# HOISDF：利用全局有符号距离场约束三维手-物体姿态估计 Haozhe Qi、Chen Zhao、Mathieu Salzmann、Alexander MathiÉcole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院，瑞士）[first name].[surname]@epfl.ch ## 摘要 人类手部结构高度灵活，在操控物体时具有极强的适应性。由于遮挡现象频繁，从单目相机中同时估计手部与所操控物体的三维姿态极具挑战性。因此，现有方法通常依赖中间的三维形状表示来提升性能。这类表示通常是显式的，比如三维点云或网格，因此只能提供与中间手部姿态估计结果直接相关的周围区域的信息。为解决这一问题，我们提出了HOISDF——一种基于有符号距离场（SDF）引导的手-物体姿态估计网络，该网络综合利用手部与物体的SDF，为整个重建空间提供全局的隐式表示。具体而言，SDF的作用主要体现在三个方面：为视觉编码器提供隐式的形状信息、辅助编码手-物体交互特征，以及通过基于SDF的采样和特征表示增强来指导手部与物体姿态的回归。实验表明，HOISDF在手-物体姿态估计基准测试（DexYCB和HO3Dv2）上取得了目前最优的结果。代码可在获取。 ### 1. 引言 从单个单目视角进行手-物体交互过程中的姿态估计，可应用于诸多领域，例如增强现实[^10]、机器人技术[^2] [^15]、人机交互[^42]以及神经科学[^36]。目前已开发出许多优秀的三维手部[^32] [^45] [^51] [^58]与物体[^8] [^25] [^41]姿态估计算法。然而，由于严重的遮挡现象，这些算法在手-物体交互过程中很容易失效。这一需求催生了专门的手-物体交互数据集[^7] [^18] [^20] [^35]，随后手-物体联合姿态估计也受到了越来越多的关注。尽管已取得诸多进展，但大多数方法在手部或物体被严重遮挡时仍表现不佳[^11] [^19] [^22] [^30] [^39] [^47] [^49]。我们认为，这一局限性源于这些算法中三维形状信息的嵌入方式。 本质上，现有方法可以分为两类：直接提升法和粗到精法（见图1）。直接提升法首先根据手和物体的像素位置来筛选2D图像特征，然后利用剩余的特征进行预测 [^11] [^19] [^30] [^33] [^39]。这些方法并不使用显式的3D中间表示，而是完全依赖网络来学习从2D图像到3D姿态的映射。粗到精技术则先从2D图像做出初步预测，再通过细化网络加以改进 [^12] [^13] [^22] [^47] [^49]。其中的中间表示可以是手部关节 [^12] [^13] 或手部顶点 [^22] [^47] [^49]，这些可被视为显式的形状表示。尽管这些表示能够包含3D形状信息，但我们认为以有符号距离场（SDF）形式存在的隐式形状表示能为后续计算提供更有效的3D形状信息。 为实现这一目标，我们提出了HOISDF（一种基于有符号距离场的手-物体交互姿态估计网络），它利用SDF以全局方式指导3D手-物体姿态估计（图1）。HOISDF由两个依次连接的模块组成：一个用于预测有符号距离场的模块，另一个则执行受该场引导的姿态回归（图2）。有符号距离场学习模块会根据图像特征来回归手和物体的有符号距离场。由于我们认为在中间阶段全局合理性更为重要，而细节可在后续阶段恢复，因此该模块被鼓励在原始相机空间中回归有符号距离，从而专注于捕捉全局信息（如手/物体的大致形状、全局旋转和平移）。为了有效利用密集的场信息，我们的受场引导的姿态回归模块会充分利用所学习的场信息来：(i) 采样具有信息量的查询点，(ii) 为这些点增强图像特征，(iii) 收集跨目标（即手到物体或物体到手）的线索以减少相互遮挡的影响，以及(iv) 将各点特征整合起来以估计手和物体的姿态。 --- ![Image](images/f44399c6d9a1bb170a48b848163fa81e8efc60cd6ef5f70338b07842fb4b3afb.jpg)
Figure 1. Conceptual advantage of the SDF-guided model over existing approaches. Our model utilizes Signed Distance Fields (SDF) to provide global and dense constraints for hand-object pose estimation. In contrast to direct lifting and coarse-to-fine methods, which struggle to refine poor initial predictions, the distance field yields global cues not limited to areas near an initial prediction.
总体而言，HOISDF可以端到端地训练。我们在DexYCB和HO3Dv2数据集上取得了最先进的结果，这证实了将SDF用作手-物体姿态估计的全局约束的优势，以及我们利用场信息的有效性。我们的主要贡献如下： - 我们提出了一种利用有符号距离场的手-物体姿态估计网络（HOISDF），用以引入隐式的3D形状信息。 - 我们开发了一种新的有符号距离场引导的姿态回归模块，能够有效整合全局场信息的相关部分，用于手和物体姿态估计。 ### 2. 相关工作 #### 2.1. 3D手-物体姿态估计 近年来，手-物体姿态估计这一课题日益受到研究人员的关注[^29]，同时也涌现出了许多关于手与物体交互的数据集[^7] [^18] [^20] [^35]。当前的相关方法可分为直接提升技术以及由粗到精的策略。在直接提升技术中，Chen等人[^11]利用序列LSTM模型融合手部和物体的特征；Hampali等人[^19]提取2D关键点后将其输入Transformer架构，以探寻其与3D姿态的关联；Li等人[^30]提出了一种数据合成流程，能够借助训练反馈来优化手-物体姿态学习；Lin等人[^33]提出通过在中层特征学习中避免手部与物体之间的竞争，来学习和谐的特征。对于由粗到精的方法，Hasson等人[^22]先获取初始的手部与物体网格，再结合交互约束对其进行优化；Tse等人[^47]采用注意力引导的图卷积方法，从先前的手-物体估计结果中迭代提取特征；Wang等人[^49]设计了密集的互注意力模块，用以探究基于初始手-物体预测结果所得到的关系。我们在这些方法的基础上进行拓展，但与之不同的是，我们专注于通过学习SDF来捕捉隐式的3D形状信息，这类信息能够提供全局且密集的约束，从而指导姿态预测。 #### 2.2. 手-物体交互中的距离场 与点云、网格等显式表示不同，神经距离场提供了一种连续且可微的隐式表示方式，能够将3D形状信息编码到网络参数中。给定一个3D查询点，神经距离场会输出该点到物体表面的有符号或无符号距离。神经距离场已被广泛应用于3D形状重建与表示领域[^1] [^16] [^38] [^40] [^55]。近期，SDF也在手-物体交互领域得到了应用。具体而言，Karunratanakul等人[^26]提出利用SDF来共同建模手部、物体以及接触区域；Ye等人[^54]利用SDF和预测出的手部形态来推断手持物体的形状；Chen等人[^12]预先根据手-物体的全局姿态对3D空间进行对齐，以支持SDF预测；Chen等人[^13]进一步利用局部姿态变换的完整运动链来实现更精细的对齐。不过，这些方法主要将SDF作为模型的输出端来直接重建3D网格，而非将其用作中间表示。在此，我们探讨了将SDF作为中间表示来指导后续姿态估计的可能性。实验结果清楚地证明了我们方法的有效性。 #### 2.3. 基于注意力的方法 由于在利用长距离相关性方面效果显著，注意力机制[^48]在机器学习领域取得了巨大成功[^4] [^6] [^14] [^17] [^24]。在建模手-物体关系的场景中，Hampali等人[^19]提出利用交叉注意力来建模2D关键点与3D手部和物体姿态之间的相关性；Tze等人[^47]设计了注意力引导的图卷积网络来限制… --- ![Image](images/0a611aedaa80188853b3658669cd5cfd5404da26bc7cd9e979d20c3f9806d47a.jpg)
Figure 2. Overall pipeline of HOISDF. HOISDF has two parts: A global signed distance field learning module and a field-guided pose regression module. The global signed distance field learning module regresses the hand object signed distances as the intermediate representation and encodes the 3D shape information into the image backbone through implicit field learning. The field-guided pose regression module uses global field information to filter and augment the point features as well as guiding hand-object interaction. Those enhanced point features are then sent to regress hand and object poses using point-wise attention.
能够动态获取手部与物体网格信息。Wang等人[^49]提出利用手部与物体顶点间的相互注意力机制来学习交互依赖关系。相比之下，我们的HOISDF则通过跨场引导的查询点来挖掘全局3D形状一致性上下文，并实现手部与物体间的交叉注意力。 ### 3. HOISDF 我们提出了基于全局有符号距离场的手-物姿态估计模型（HOISDF），这是一种利用有符号距离场提供的全局形状约束来进行手-物姿态估计的模型。HOISDF包含两个部分：全局有符号距离场学习模块和场引导的姿态回归模块（见图2）。这两个部分都得益于SDF所建模的鲁棒的3D形状信息，整个架构采用端到端训练方式。 #### 3.1. 全局有符号距离场学习 我们基于以下理由同时学习手部与物体的有符号距离场（SDF）：i) SDF通过模型参数隐式地表示3D形状；这种隐式学习过程能够将3D形状信息传递到特征提取模块。ii) 联合学习手部与物体场可使模型编码它们之间的相互约束。同时，由于我们在初始阶段就将手部与物体的有符号距离作为中间表示进行预测，因此我们鼓励SDF学习模块更关注全局合理性而非局部细节。下文我们将详细描述图像特征提取与SDF学习过程。 图像特征提取。为了提取分层特征F，我们采用了标准的编码器-解码器架构，即U-Net[^19] [^23] [^46]。按照常规做法[^19] [^33] [^49]，我们回归2D预测结果（单通道热图[^19]以及带损失函数$\mathcal{L}_{img}$的手部/物体分割掩码，详见补充材料），从而使模型能够在2D图像层面表征手-物交互关系。 3D 有符号距离场学习。利用提取的图像特征，SDF 模块学习从 3D 查询点 $\mathbf{p} \in \mathbb{R}^3$ 到 $\mathbf{p}$ 与手/物体表面之间最短有符号距离的连续映射。与 [^12] [^13] 相比，我们不使用姿态预测将空间旋转到规范空间，而是直接在原始空间中学习 SDF。因此，我们的 SDF 模块将专注于手和物体的全局信息（例如整体形状、位置和全局旋转）。 具体来说，给定一个3D查询点$\mathbf{p} \in \mathbb{R}^3$，我们将其投影到2D图像空间，以计算由U-Net解码器[^13]提取的像素对齐图像特征[^19] [^49] [^50] $\{\mathbf{F}_{dec}^i\}$，其中$i \in \mathcal{X}$表示U-Net解码器的分层级别索引。随后，我们将查询到的图像特征拼接起来，并输入多层感知机（MLP）以获得特征向量。 $$ \mathbf{f}_{i m g}=\mathbf{M L P}\big(\oplus_{i\in\mathcal{X}}\mathbf{F}_{d e c}^{i}\big(\pi_{3D\to2D}\big)\big), $$ 其中$\pi_{3D\to2D}$代表投影与插值操作，$\oplus$表示所有分层像素对齐图像特征的拼接，而$\mathcal{X}$则是分层特征集合。 为了强调$\mathbf{p}$的重要性，我们通过傅里叶位置编码[^37]将坐标表示扩展为向量$\mathbf{f}_{pos}$。随后，我们将三元组$\mathbf{p}$、$\mathbf{f}_{pos}$和$\mathbf{f}_{img}$拼接在一起，再将其输入到手部SDF解码器$\text{SDF}_h$和物体SDF解码器$\text{SDF}_o$中。具体可表示为 --- ![Image](images/0c440b6f2d0318ec2611b447fc08c625c351379b1a176f405aae5f71b8170b8d.jpg)
Figure 3. Visualization of the intermediate query points on DexYCB testset. The darkness of the query points reflects the predicted distance from the query point to the hand (in blue) and object (in green) surfaces. The intermediate SDF representations can capture the GT 3D hand and object shapes. HOISDF effectively uses the robust global clues from SDFs to deal well with various objects and hand movements as well as their mutual occlusions.
按压为 $$ \mathbf{f}_{s d f}=\mathbf{p}\oplus\mathbf{f}_{p o s}\oplus\mathbf{f}_{i m g}, $$ $$ \begin{array}{r}{d_{h}=\mathbb{S D F}_{h}(\mathbf{f}_{s d f}),}\end{array} $$ $$ \begin{array}{r}{d_{o}=\mathbb{S D F}_{o}(\mathbf{f}_{s d f}).}\end{array} $$ 此处，$d_h$表示$\mathbf{p}$到手部网格表面的最短距离，而$d_o$表示$\mathbf{p}$到物体网格表面的最短距离；若点位于表面之外，则$d_h$和$d_o$为正值，否则为负值。场解码器$\text{SIDF}_h$和$\text{SIDF}_o$均为三层MLP，其最后一层采用$\tanh$激活函数[^26]。 训练期间，我们采样$N_s$个三维查询点，确保大多数点都分布在手部及物体网格表面附近。我们预先计算出查询点到手部及物体表面的真实距离，并利用smooth-L1损失[^43]来监督$d_h$和$d_o$的学习过程。我们将这些损失相加，所得结果即为$\mathcal{L}_{sdf}$。 #### 3.2. 融合场信息：基于场的姿态回归 在场学习模块之后，我们的目标是利用学到的场信息来预测手部和物体的姿态。然而，有效利用场信息并非易事：i) 场信息被隐式编码在模型参数中；只有向网络输入查询点，才能在特定位置读取到场信息；ii) 某个查询点处得到的有符号距离仅为标量距离，其本身与姿态预测之间的关联较弱；iii) 如何利用SDF显式建模手-物交互尚不清楚。为解决这些挑战，我们引入了下述的基于场的姿态回归模块。 #### 3.2.1 基于场信息的点采样 针对第一个问题，我们提出了一种点采样策略，旨在仅查询少量点就能提取最有用的场信息。该策略基于这样一个假设：位于真实表面附近的点最具信息量。因此，在推理阶段，我们用$N_v$个体素对三维空间进行划分，从而得到$N_v^3$个查询点。我们首先利用手部和物体的边界框来过滤二维空间中的点，然后将剩余的点分别输入$\text{SDF}_h$和$\text{SDF}_o$，并根据得到的手部及物体有符号距离对它们进行排序。我们分别选取绝对距离最小的$N_v^2/n_h$个手部查询点和$N_v^2/n_o$个物体查询点。此处，$n_h$和$n_o$是两个用于控制样本数量的正超参数。由于训练时我们可以访问真实网格，为了提升速度和节省内存（速度提升2倍），我们直接采集靠近手部网格的$N_h$个手部查询点，以及靠近物体网格（绝对距离小于4厘米）的$N_o$个物体查询点。训练后期，我们也采用与测试阶段相同的策略来采样点，以学习点的分布规律。我们将在第4.4节展示所提采样策略的有效性。 #### 3.2.2 基于场的点特征增强 为了解决第二个问题，给定一个采样的手部查询点$\mathbf{p}_h$，我们将$d_h$转换为体积密度$\sigma_h = \alpha^{-1} \text{sigmoid}(-d_h / \alpha)$，其中$\alpha$是一个可学习的参数，用于控制表面边界附近密度的紧密程度。这一做法的灵感来源于StyleSDF [^38]中用于图像渲染的策略，但我们在此将其用于特征增强目的。随后，我们将$\sigma_h$与$\mathbf{f}_{img}$相乘。如此一来，场信息便会影响整个特征表示。$\mathbf{p}_h$及其位置编码—— --- 第3.1节中讨论的$f_{pos}$也会被拼接进来，以进一步增强该点的特征。最终的手部查询点特征$f_{h}$如下所示： $$ \mathbf{f}_{h}=\mathbf{p}_{h}\oplus\mathbf{f}_{p o s}\oplus(\mathbf{f}_{i m g}\cdot\sigma_{h}). $$ 对于一个采样的物体查询点$\mathbf{p}_o$，物体查询点特征$\mathbf{f}_o$是以类似的方式获得的（即基于物体SDF $\sigma_o$，通过体积密度$d_o$来增强特征）。 #### 3.2.3 交叉场手部-物体交互 由于我们使用共享的图像骨干网络来联合学习手部与物体的SDF，因此手部与物体的关系可以在隐式场学习过程中被隐性建模。在此，我们旨在显式建模手部与物体的交互，以便更好地处理相互遮挡问题。直观而言，手部与物体的接触区域对于物体/手部姿态而言具有极高的信息量。因此，我们分别用物体/手部的SDF来增强手部/物体查询点，以此作为交互线索（见图2）。具体而言，对于一个采样的物体查询点$\mathbf{p}_o$，我们将其送入手部SDF解码器$\mathbb{SDF}_h$，以获得交叉手部有符号距离$d_{oh}$。随后，$d_{oh}$会被转换为体积密度$\sigma_{oh}$，并用于增强所查询的图像特征$\mathbf{f}_{img}$，这一处理方式与3.2.2节类似。最终的交叉手部查询点特征$\mathbf{f}_{oh}$如下所示： $$ \mathbf{f}_{o h}=\mathbf{p}_{o}\oplus\mathbf{f}_{p o s}\oplus(\mathbf{f}_{i m g}\cdot\sigma_{o h}). $$ $f_{oh}$将作为手姿估计的物体线索。$p_o$较小的$d_{oh}$在辅助手姿估计中起到的作用更大。类似地，手查询点$p_h$也会被送入物体SDF解码器$\text{SDF}_o$，用于生成跨物体查询点特征$f_{ho}$。 #### 3.2.4 基于逐点注意力的特征增强 由于像素对齐特征$\mathbf{f}_{img}$主要包含局部信息，因此在严重遮挡情况下，局部查询点特征$\mathbf{f}_h$和$\mathbf{f}_o$可能会受到误导，从而做出错误预测。为解决这一问题，我们提出使用注意力机制[^27] [^48]来利用全局上下文中的可靠依赖关系。与现有方法要么在2D特征上应用注意力[^19]，要么在3D网格顶点特征上应用注意力[^47] [^49]不同，我们的逐点注意力机制会同时利用全局场信息与局部图像信息，旨在找到采样查询点之间的全局3D形状一致性。具体而言，提取出的$N_h$手部查询点特征$\{\mathbf{f}_h\}_{i \in (0, N_h)}$会被送入手部注意力模块，该模块由六个多头自注意力（MHSA）层[^27] [^48]组成。 同时，为了利用交叉手查询点特征中的物体线索$\{\mathbf{f}_{oh}^{i}\}_{i\in(0,N_{o})}$，我们也将它们送入MHSA层$\mathbb{A}$，以便与$\{\mathbf{f}_{h}^{i}\}_{i\in(0,N_{h})}$进行交叉注意力计算。由此得到的增强型手点特征计算如下： $$ \big(\{\mathbf{f}_{e h}^{i}\}_{i\in(0,N_{h})},*\big)=\mathbb{S A}\big(\{\mathbf{f}_{h}^{i}\}_{i\in(0,N_{h})},\{\mathbf{f}_{o h}^{i}\}_{i\in(0,N_{o})}\big), $$ 其中$*$表示我们忽略来自$N_o$交叉手查询令牌的输出。类似地，通过将物体查询点特征$\{\mathbf{f}_{eo}^{i}\}_{i\in(0,N_o)}$和交叉物体查询点特征$\{\mathbf{f}_o^i\}_{i\in(0,N_o)}$输入物体注意力模块，即可得到增强型物体点特征$\{\mathbf{f}_{ho}^{i}\}_{i\in(0,N_h)}$。 #### 3.2.5 逐点姿态回归 借助注意力机制，我们将全局一致的信息和跨目标线索融入手点特征$\{f_{eh}^{i}\}$以及物体点特征$\{f_{eo}^{i}\}$中。这些点因此具备充足的全局-局部形状上下文信息，可用于回归手-物体姿态。针对手和物体的姿态估计，我们采用了非对称设计。由于手部具有非刚性、可变形特性，且在抓取物体时通常会被遮挡，因此回归手部姿态需要收集$\{f_{eh}^{i}\}$内部更丰富的信息。为此，我们遵循[^19]的做法，使用带有学习到的手部姿态查询向量$\mathbb{CA}$的交叉注意力层$\{q^{i}\}$。我们利用MANO参数[^44]来监督手部姿态查询向量的学习过程，从而获取手部关节和手部网格。十六个手部姿态查询向量用于回归三维MANO关节角度，另一个手部姿态查询向量则用于回归十维的MANO形状参数$\beta$。这一过程可表示为： $$ \begin{align*}&(\{\boldsymbol{\theta}^{i}\in\mathbb{R}^{3}\}_{i\in(0,16)},\boldsymbol{\beta})=\\&\quad\mathbb{C}\mathbb{A}(\{\mathbf{f}^{i}_{eh}\}_{i\in(0,N_{h})},(\{\mathbf{q}^{i}\}_{i\in(0,16)},\mathbf{q}^{16})).\end{align*} $$ 我们使用smooth-L1损失[^43]来监督MANO参数的学习，该参数记为$\mathcal{L}_{\text{mano}}$。与[^19]类似，我们也会回归中间手部姿态目标值以指导最终预测。不过，由于我们的$\{\mathbf{f}_{eh}^{i}\}$已经包含丰富的三维信息，因此我们直接回归三维手部关节，而非像[^19]中那样回归二维关节。我们将$\{\mathbf{f}_{eh}^{i}\}$用作密集局部回归器[^31] [^51]，用以预测从每个手部查询点$\{\mathbf{o}_{h}^{ij}\}$到各姿态关节的偏移量$\mathbf{p}_{h}^{i}$以及预测置信度。相应的损失记为$\mathcal{L}_{\text{off}}$。需要注意的是，手部姿态回归器的设计并非千篇一律。我们的场引导查询点本身已包含丰富的全局-局部形状上下文信息，即便采用不同的回归器也能得到令人满意的姿态估计结果（详见第4.5节）。 与手部相比，物体更具刚性。因此，我们直接利用所有增强型物体点特征$\{\mathbf{r}^i\}$来回归旋转向量$\{\mathbf{t}^i\}$和平移向量$\{\mathbf{f}_{eo}^i\}$，并使用smooth-L1损失[^43] $\mathcal{L}_{obj}$对它们进行监督。在推理阶段，我们对所有物体点的预测结果取平均值，从而得到最终的物体平移量和朝向。 --- 通过物体点来获取最终的物体平移和朝向。 ### 4. 实验 我们首先介绍手-物体基准数据集，说明实现细节，并将HOISDF与最先进的方法进行比较。最后我们会详细说明消融实验结果。 #### 4.1. 数据集与评估指标 我们在DexYCB [^7]和HO3Dv2 [^18]数据集上评估HOISDF，这两个数据集分别包含58.2万张和7.7万张人类与YCB物体[^5]交互的图像。 DexYCB数据集。我们采用DexYCB定义的默认S0训练-测试划分方式 [^7]。部分方法 [^33] [^34] 通过翻转左手图像来使用完整的DexYCB数据集（记为DexYCB Full），而另一些方法 [^12] [^13] [^20] [^22] [^47] [^49] [^53] 则会选取右手与物体紧密交互以确保存在物理接触的帧作为输入（记为DexYCB）。通常我们提及DexYCB时指的是后一种划分方式。为了进行广泛比较，我们在两种设置下均训练HOISDF模型。由于大多数方法仅使用包含右手的数据，我们的消融实验是在DexYCB划分下进行的。 在手部姿态估计方面，我们报告平均关节误差（MJE）和普氏对齐平均关节误差（PAMJE） [^57]。我们还报告平均网格误差（MME）、正确顶点百分比的曲线下面积（VAUC）、F分数（F@5mm和F@15mm），以及遵循 [^52] 提出的普氏对齐版本，用以衡量手部网格重建性能。在物体6D姿态估计方面，我们按照 [^12] [^13] 的方法报告物体中心误差（OCE），按照 [^49] 的方法报告平均角点误差（MCE），并按照 [^20] [^22] [^49] 的方法报告标准姿态估计平均最近点距离（ADD-S），以分别衡量中心、角点和顶点层面的性能。 HO3Dv2数据集。我们采用标准的训练-测试划分协议，并将测试结果提交至官方网站以报告性能。由于HO3Dv2数据集规模相对较小，部分方法 [^49] [^53] 会渲染合成的手部物体图像来增强学习效果。因此，除了仅用HO3Dv2训练集中的原始数据训练模型外，我们还通过加入合成图像来训练另一个模型（在表4中用‘*’表示）。我们采用了Wang等人 [^49] 提出的渲染流程。 在手部姿态估计方面，我们使用HO3Dv2评估指标：平均关节误差（MJE）、尺度-平移对齐平均关节误差（STMJE） [^58]，以及普氏对齐平均关节误差（P-MJE） [^57]。在物体6D姿态估计方面，我们报告平均物体网格误差（OME）以及标准姿态估计平均最近点距离（ADD-S），相关数据参考 [^20] [^22] [^49]。
Metrics in [mm]MJEPAMJEOCEMCEADD-SObject
Lin et al. [^32]15.26.99---No
Spurr et al. [^44]17.36.83---No
Liu et al. [^34]15.26.58---Yes
Park et al. [^39]14.05.80---No
Chen et al. [^9]14.26.40---No
Xu et al. [^52]14.05.70---No
Lin et al. [^33]12.65.4742.748.033.8Yes
HOISDF (ours)10.15.1327.635.818.6Yes
Table 1. Quantitative comparison on the DexYCB dataset. Trained and tested on the DexYCB Full split. HOISDF reaches lower hand and object pose estimation errors. The metrics are represented in millimeters. The last column indicates whether a method performs the object 6D pose estimation.
Metrics in [mm]MJEPAMJEOCEMCEADD-SObject
Hasson et al. [^20]17.6----Yes
Hasson et al. [^22]18.8--52.5-Yes
Tze et al. [^47]15.3----Yes
Li et al. [^53]12.8----Yes
Chen et al. [^12]19.0-27.0--Yes
Chen et al. [^13]14.4-19.1--Yes
Wang et al. [^49]12.76.8627.332.615.9Yes
Lin et al. [^33]11.95.8139.845.731.9Yes
HOISDF (ours)10.15.3118.427.413.3Yes
Table 2. Same as Table 1, but for DexYCB split, see Sec. 4.1.
#### 4.2. 实现与训练细节 我们采用ResNet-50作为U-Net骨干网络 [^23] [^46]。所有点特征：图像 $\mathbf{f}_{img}$、手部 $\mathbf{f}_{eh}$ 和物体 $\mathbf{f}_{eo}$ 的尺寸均为256。我们使用Transformer编码器 [^48] 作为逐点注意力模块，用Transformer解码器作为MANO回归器 [^44]。我们遵循常规做法 [^19] [^33] [^49]，为数据集中的所有物体训练一个统一模型。总体损失是所有单个损失函数的加权和， $$ \begin{aligned}\mathcal{L}=\lambda_{1}\mathcal{L}_{img}+\lambda_{2}\mathcal{L}_{sdf}+\lambda_{3}\mathcal{L}_{mano}+\\\lambda_{4}\mathcal{L}_{off}+\lambda_{5}\mathcal{L}_{obj},\end{aligned} $$ 其中 $\lambda_{1}$ 到 $\lambda_{5}$ 用于将所有损失项调整到同一量级。训练期间，网络参数通过Adam优化器 [^28] 进行优化，小批量大小为32。初始学习率为 $1e^{-4}$，每5个epoch衰减0.7倍。HOISDF通常在约40个epoch后就能收敛到令人满意的结果。 在查询点采样方面，训练期间我们会为3D场学习采样$N_s = 1000$个查询点。通过实验我们发现，在推理阶段，当离散化尺寸为$N_v = 64$时，采样$N_v^2/n_h = 600$个手部查询点和$N_v^2/n_o = 200$个物体查询点便足以获得良好的性能。 #### 4.3. 与最先进方法的比较 在DexYCB上的定量比较。我们在DexYCB测试集上评估HOISDF（表1和表2），并将其与最先进的方法进行比较。在表现最佳的方法中—— ---
MetricsMME $\downarrow$VAUC $\uparrow$F@5 $\uparrow$F@15 $\uparrow$PAMME $\downarrow$PAVAUC $\uparrow$PAF@5 $\uparrow$PAF@15 $\uparrow$Object
Park et al. [^39]13.176.651.592.45.589.078.099.0No
Chen et al. [^9]13.176.150.892.15.688.978.598.8No
Xu et al. [^52]13.076.251.392.15.589.180.199.0No
Lin et al. [^33]11.677.653.093.35.289.679.899.2Yes
HOISDF (ours)9.980.560.194.94.990.281.899.3Yes
Table 3. Quantitative comparison with hand mesh metrics on the DexYCB Full testset. MME and PAMME are in millimeters.
[^49]在物体估计方面表现最优，而[^33]则在手部姿态估计方面最为出色。不过，无论是在手部还是物体指标上，HOISDF都大幅优于先前的方法（表2）。值得一提的是，HOISDF甚至超越了那些仅进行手部姿态估计的方法：[^32]、[^39]、[^44]、[^52]。此外，我们还将HOISDF与基于SDF的手部物体交互方法进行了比较：[^12]、[^13]。如第3.1节所述，这两种方法均利用SDF来回归输出手部网格，而我们则将SDF用作中间表示以及场引导推理的依据。HOISDF的性能显著优于这些方法。 由于HOISDF也能预测MANO网格，我们将其在DexYCB完整测试集上的手部网格重建性能与最先进的方法进行了比较（表3）。结果显示HOISDF带来了持续的性能提升。 在DexYCB上的定性比较。在此，我们在DexYCB测试集上将HOISDF与两种最先进的手部物体姿态估计方法进行定性对比（图4）。可以看出，在各种物体及不同类型的手物交互场景下，HOISDF的表现都优于[^33]和[^49]。 在HO3Dv2上的定量比较。作为HOISDF有效性的进一步佐证，我们也在HO3Dv2数据集上对其进行了评估。结果再次表明，无论是否使用合成数据，HOISDF在几乎所有手部和物体指标上均持续优于当前最先进的方法（表4）。Lin等人提出的[^33]在PAMJE指标上表现略好，但在其他指标上表现极差，而HOISDF则更为均衡。 在两个数据集上，尤其是在数据量较少的HO3Dv2上，HOISDF在依赖更多全局信息的指标（MJE、STMJE及物体指标）上取得了更显著的提升。我们将这一优势归因于SDF作为中间表示能够有效捕捉全局信息，从而指导后续的姿态估计。我们首先会可视化查询点（图3），随后验证我们的设计选择。 学习到的SDF的可视化。我们在DexYCB测试集上可视化了姿态预测结果以及中间的手部-物体查询点（图3）。可以看出，经过场引导的点采样后剩余的查询点已经能够反映出大致的手部物体形状。 ![Image](images/e02f570ebc598e3e4357a552b63f73ee761ac60ccb147ef288f3bde1e084aea8.jpg)
Figure 4. Qualitative comparisons between HOISDF and [^33] [^49] on DexYCB testset. HOISDF effectively uses robust global clues near the hand and object to deal well with various objects and severe occlusions.
Metrics in [mm]MJESTMJEPAMJEOMEADD-S
Hasson et al. [^20]-31.811.0--
Hasson et al. [^21]-36.911.467.022.0
Hasson et al. [^22]-26.812.080.040.0
Liu et al. [^34]-31.710.1--
Hampali et al. [^19]25.525.710.868.021.4
Lin et al. [^33]28.928.48.964.332.4
HOISDF (ours)23.622.89.648.517.8
Li et al. $^{*}$ [^53]26.325.311.4--
Wang et al. $^{*}$ [^49]22.223.810.145.520.8
HOISDF $^{*}$ (ours)19.018.39.235.514.4
Table 4. Quantitative comparison on the HO3Dv2 dataset. The metrics are represented in millimeters. $*$* denotes models that were co-trained with synthetic data.
#### 4.4. 关于中间表示的消融实验 由于将SDF用作全局中间表示是HOISDF的核心组成部分，我们在此分析了SDF的作用，将其与其他中间表示进行对比，并对查询点进行了分析。 比较不同的中间表示形式。为了阐明SDF的作用，我们构建了几个使用不同中间表示的基准模型，同时尽量保持其余模型组件（如图像骨干网络、特征维度、姿态回归器等）与我们模型中的一致。我们用2D关键点学习、2D分割学习以及3D网格学习来替换3D场学习模块（见第3.1节）（详见补充材料）。 ---
Metrics in [mm]MJEPAMJEOCEMCEADD-S
2D Keypoint14.97.1334.245.322.9
2D Segmentation14.16.8831.343.121.0
3D Vertices12.76.5724.135.316.5
3D SDFs (ours)10.15.3118.427.413.3
Table 5. Comparison between different intermediate representations on DexYCB testset. The SDF-based representation outperforms other representations because it encodes 3D shape information, is direct to regress, and has less joint cumulative error.
Metrics in [mm]MeanMCPPIPDIPTip
Wang et al. [^49]7.677.636.366.2910.4
HOISDF (ours)6.166.025.275.407.95
Table 6. Sampled point distributions. Using SDF as global guidance for point sampling gathers query points closer to the GT pose joints. MCP, PIP, DIP, and Tip are different finger parts.
我们发现使用2D中间表示的效果要差得多，而且3D顶点相比SDF而言能力也明显较弱（见表5）。接下来，我们通过分析推理过程中采样的查询点，进一步证明将SDF用作中间表示的有效性。 采样点的分析。我们曾指出SDF表示能更好地捕捉捕获区域内的全局形状信息（见图1）。我们分析了采用我们所提出的点采样策略采样的HOISDF手部查询点，以及Wang等人[^49]初始阶段提取的中间手部网格顶点的分布。实际上，我们的模型采样到的点更靠近手部关节，尤其是指尖这类最具挑战性的关节（见表6）。 #### 4.5. 基于场引导的姿态回归模块的消融实验 场引导的姿态回归模块是让HOISDF有效利用SDF信息的另一个关键组件。为验证这一点，我们对不同部分进行了消融实验。首先，我们将其它采样方式与之对比，证明了我们提出的场引导采样方法既高效又稳健（见表7）。其次，我们通过对比不同变体来评估点特征增强方法的作用；改变其中的各个部分都会使性能显著下降（见表8）。接下来，第3.2.3节中提出的手-物体互特征增强方法，通过移除交叉注意力机制或用其它非增强特征替换，也被证明是有效的（见表9）。最后，我们展示了HOISDF对回归目标的变更具有鲁棒性（见表10），因为我们的手/物体查询点已经通过场引导模块捕捉到了足够的全局-局部上下文信息。总体而言，这些消融实验验证了我们的设计选择。
Metrics in [mm]MJEPAMJEOCEMCEADD-S
Random25.813.548.453.729.6
Signed distance13.36.5819.730.715.9
Field gradient10.15.2918.527.713.5
Absolute distance (ours)10.15.3118.427.413.3
Table 7. Comparison between different sampling strategies on DexYCB testset. Our field-informed point sampling can achieve the best performance. See Supp. Mat. for details on the alternative sampling strategies.
Metrics in [mm]MJEPAMJEOCEMCEADD-S
w/o SDF augmentation11.56.0523.631.215.7
w density concatenation11.05.7122.730.515.3
w distance concatenation11.56.0723.330.915.6
w SDF augmentation10.85.6822.230.015.1
Table 8. Effects of field-based point feature augmentation on the DexYCB test set. Our SDF feature augmentation best enhances features for the subsequent pose estimations. See Supp. Mat. for details on the alternative augmentations.
Metrics in [mm]MJEPAMJEOCEMCEADD-S
w/o cross feature enhancement10.85.6822.230.015.1
w cross image feature11.15.7420.228.614.2
w cross target feature11.35.8123.731.815.9
Cross feature enhancement (ours)10.15.3118.427.413.3
Table 9. Effects of hand-object feature enhancement on the DexYCB testset. HOISDF's cross feature enhancement gave the best results. See Supp. Mat. for details on the alternative feature computations.
Metrics in [mm]MJEPAMJE
w/o intermediate joint regression10.45.49
w/o MANO regression10.55.65
w MANO shape & inverse kinematics10.05.35
MANO regression (Ours)10.15.31
Table 10. Robustness to different pose regressors on the DexYCB testset. Benefiting from the rich global-local context information inside the enhanced features, HOISDF can obtain great performance even with simple pose regression targets. See Supp. Mat. for details on the alternative regression targets.
### 5. 结论 我们提出了一种新颖的3D手-物体姿态估计算法，该算法利用了联合学习得到的有符号距离场。该算法取得了优异的结果且推理速度快（详见补充材料）。我们认为这一范式也可应用于其他姿态估计问题，例如[^2] [^10] [^15] [^36] [^42]。 致谢：本研究由洛桑联邦理工学院和微软瑞士联合研究中心资助（H.Q.、A.M.），并获得了勃林格殷格翰基金会提供的博士奖学金支持（H.Q.）。我们感谢Niels Poulsen对本稿早期版本提出的宝贵意见。我们还要衷心感谢Rong Wang、Wei Mao和Hongdong Li分享手-物体渲染流程[^49]。 --- ## 参考文献 [^1]: Ma Baorui, Han Zhizhong, Liu Yu-Shen, and Zwicker Matthias. Neural-pull: Learning signed distance functions from point clouds by learning to pull space onto surfaces. In International Conference on Machine Learning (ICML), 2021. 2 [^2]: Aude Billard and Danica Kragic. Trends and challenges in robot manipulation. Science, 364(6446):eaat8414, 2019. 1, 8 [^3]: John S Bridle. Probabilistic interpretation of feedforward classification network outputs, with relationships to statistical pattern recognition. In Neurocomputing: Algorithms, architectures and applications, pages 227–236. Springer, 1990. [^4]: Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. Language models are few-shot learners. Advances in neural information processing systems, 33:1877–1901, 2020. 2 [^5]: Berk Calli, Aaron Walsman, Arjun Singh, Siddhartha Srinivasa, Pieter Abbeel, and Aaron M Dollar. Benchmarking in manipulation research: Using the yale-cmu-berkeley object and model set. IEEE Robotics & Automation Magazine, 22(3):36–52, 2015. 6 [^6]: Nicolas Carion, Francisco Massa, Gabriel Synnaeve, Nicolas Usunier, Alexander Kirillov, and Sergey Zagoruyko. End-to-end object detection with transformers. In Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part I 16, pages 213–229. Springer, 2020. 2 [^7]: Yu-Wei Chao, Wei Yang, Yu Xiang, Pavlo Molchanov, Ankur Handa, Jonathan Tremblay, Yashraj S Narang, Karl Van Wyk, Umar Iqbal, Stan Birchfield, et al. Dexycb: A benchmark for capturing hand grasping of objects. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 9044–9053, 2021. 1, 2, 6 [^8]: Hansheng Chen, Pichao Wang, Fan Wang, Wei Tian, Lu Xiong, and Hao Li. Epro-pnp: Generalized end-to-end probabilistic perspective-n-points for monocular object pose estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 2781–2790, 2022. 1 [^9]: Xingyu Chen, Yufeng Liu, Yajiao Dong, Xiong Zhang, Chongyang Ma, Yanmin Xiong, Yuan Zhang, and Xiaoyan Guo. Mobrecon: Mobile-friendly hand mesh reconstruction from monocular image. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 20544–20554, 2022. 6, 7 [^10]: Yunqiang Chen, Qing Wang, Hong Chen, Xiaoyu Song, Hui Tang, and Mengxiao Tian. An overview of augmented reality technology. In Journal of Physics: Conference Series, page 022082. IOP Publishing, 2019. 1, 8 [^11]: Yujin Chen, Zhigang Tu, Di Kang, Ruizhi Chen, Linchao Bao, Zhengyou Zhang, and Junsong Yuan. Joint hand-object 3d reconstruction from a single image with cross-branch feature fusion. IEEE Transactions on Image Processing, 30:4008–4021, 2021. 1,2 [^12]: Zerui Chen, Yana Hasson, Cordelia Schmid, and Ivan Laptev. Alignsdf: Pose-aligned signed distance fields for hand-object reconstruction. In Computer Vision–ECCV 2022: 17th European Conference, Tel Aviv, Israel, October 23–27, 2022, Proceedings, Part I, pages 231–248. Springer, 2022. 1, 2, 3, 6, 7 [^13]: Zerui Chen, Shizhe Chen, Cordelia Schmid, and Ivan Laptev. gSDF: Geometry-Driven signed distance functions for 3D hand-object reconstruction. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, 2023. 1, 2, 3, 6, 7, 4 [^14]: Alberto Silvio Chiappa, Alessandro Marin Vargas, and Alexander Mathis. Dmap: a distributed morphological attention policy for learning to locomote with a changing body. Advances in Neural Information Processing Systems, 35: 37214–37227, 2022. 2 [^15]: Alberto Silvio Chiappa, Pablo Tano, Nisheet Patel, Abigail Ingster, Alexandre Pouget, and Alexander Mathis. Acquiring musculoskeletal skills with curriculum-based reinforcement learning. bioRxiv, pages 2024–01, 2024. 1, 8 [^16]: Julian Chibane, Gerard Pons-Moll, et al. Neural unsigned distance fields for implicit function learning. Advances in Neural Information Processing Systems, 33:21638–21652, 2020. 2 [^17]: Christoph Feichtenhofer, Yanghao Li, Kaiming He, et al. Masked autoencoders as spatiotemporal learners. Advances in neural information processing systems, 35:35946–35958, 2022. 2 [^18]: Shreyas Hampali, Mahdi Rad, Markus Oberweger, and Vincent Lepetit. Honnotate: A method for 3d annotation of hand and object poses. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 3196–3206, 2020. 1, 2, 6 [^19]: Shreyas Hampali, Sayan Deb Sarkar, Mahdi Rad, and Vincent Lepetit. Keypoint transformer: Solving joint identification in challenging hands and object interactions for accurate 3d pose estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 11090–11100, 2022. 1, 2, 3, 5, 6, 7 [^20]: Yana Hasson, Gul Varol, Dimitrios Tzionas, Igor Kalevatykh, Michael J Black, Ivan Laptev, and Cordelia Schmid. Learning joint reconstruction of hands and manipulated objects. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 11807–11816, 2019. 1, 2, 6, 7 [^21]: Yana Hasson, Bugra Tekin, Federica Bogo, Ivan Laptev, Marc Pollefeys, and Cordelia Schmid. Leveraging photometric consistency over time for sparsely supervised hand-object reconstruction. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 571–580, 2020.7 [^22]: Yana Hasson, Gül Varol, Cordelia Schmid, and Ivan Laptev. Towards unconstrained joint hand-object reconstruction from rgb videos. In 2021 International Conference on 3D Vision (3DV), pages 659–668. IEEE, 2021. 1, 2, 6, 7 ## [^23]: Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In Proceedings --- IEEE计算机视觉与模式识别会议论文集，第770–778页，2016年。3, 6 [^24]: Kaiming He, Xinlei Chen, Saining Xie, Yanghao Li, Piotr Dollár, and Ross Girshick. Masked autoencoders are scalable vision learners. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 16000–16009, 2022. 2 [^25]: Yisheng He, Wei Sun, Haibin Huang, Jianran Liu, Haoqiang Fan, and Jian Sun. Pvn3d: A deep point-wise 3d keypoints voting network for 6dof pose estimation. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 11632–11641, 2020. 1 [^26]: Korrawe Karunratanakul, Jinlong Yang, Yan Zhang, Michael J Black, Krikamol Muandet, and Siyu Tang. Grasping field: Learning implicit representations for human grasps. In 2020 International Conference on 3D Vision (3DV), pages 333–344. IEEE, 2020. 2, 4 [^27]: Salman Khan, Muzammal Naseer, Munawar Hayat, Syed Waqas Zamir, Fahad Shahbaz Khan, and Mubarak Shah. Transformers in vision: A survey. ACM computing surveys (CSUR), 54(10s):1–41, 2022. 5 [^28]: Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In Proc. International Conference on Learning Representations (ICLR), 2015. 6 [^29]: Vincent Lepetit. Recent advances in 3d object and hand pose estimation. arXiv preprint arXiv:2006.05927, 2020. 2 [^30]: Kailin Li, Lixin Yang, Xinyu Zhan, Jun Lv, Wenqiang Xu, Jiefeng Li, and Cewu Lu. Artiboost: Boosting articulated 3d hand-object pose estimation via online exploration and synthesis. arXiv preprint arXiv:2109.05488, 2021. 1, 2 [^31]: Shile Li and Dongheui Lee. Point-to-pose voting based hand pose estimation using residual permutation equivariant layer. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 11927–11936, 2019. 5, 1 [^32]: Kevin Lin, Lijuan Wang, and Zicheng Liu. End-to-end human pose and mesh reconstruction with transformers. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 1954–1963, 2021. 1, 6, 7 [^33]: Zhifeng Lin, Changxing Ding, Huan Yao, Zengsheng Kuang, and Shaoli Huang. Harmonious feature learning for interactive hand-object pose estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 12989–12998, 2023. 1, 2, 3, 6, 7, 4 [^34]: Shaowei Liu, Hanwen Jiang, Jiarui Xu, Sifei Liu, and Xiaolong Wang. Semi-supervised 3d hand-object poses estimation with interactions in time. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 14687–14697, 2021. 6, 7 [^35]: Yunze Liu, Yun Liu, Che Jiang, Kangbo Lyu, Weikang Wan, Hao Shen, Boqiang Liang, Zhoujie Fu, He Wang, and Li Yi. Hoi4d: A 4d egocentric dataset for category-level human-object interaction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 21013–21022, 2022. 1, 2 [^36]: Mackenzie Weygandt Mathis and Alexander Mathis. Deep learning tools for the measurement of animal behavior in 神经科学。《当代神经生物学观点》，第60卷：1–11页，2020年。1, 8 [^37]: Ben Mildenhall, Pratul P Srinivasan, Matthew Tancik, Jonathan T Barron, Ravi Ramamoorthi, and Ren Ng. Nerf: Representing scenes as neural radiance fields for view synthesis. Communications of the ACM, 65(1):99–106, 2021. 3 [^38]: Roy Or-El, Xuan Luo, Mengyi Shan, Eli Shechtman, Jeong Joon Park, and Ira Kemelmacher-Shlizerman. Stylesdf: High-resolution 3d-consistent image and geometry generation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 13503–13513, 2022. 2, 4 [^39]: JoonKyu Park, Yeonguk Oh, Gyeongsik Moon, Hongsuk Choi, and Kyoung Mu Lee. Handoccnet: Occlusion-robust 3d hand mesh estimation network. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 1496–1505, 2022. 1, 6, 7 [^40]: Jeong Joon Park, Peter Florence, Julian Straub, Richard Newcombe, and Steven Lovegrove. Deepsdf: Learning continuous signed distance functions for shape representation. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 165–174, 2019. 2 [^41]: Sida Peng, Yuan Liu, Qixing Huang, Xiaowei Zhou, and Hujun Bao. Pvnet: Pixel-wise voting network for 6dof pose estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 4561–4570, 2019. 1 [^42]: Fuji Ren and Yanwei Bao. A review on human-computer interaction and intelligent robots. International Journal of Information Technology & Decision Making, 19(01):5–47, 2020. 1, 8 [^43]: Shaoqing Ren, Kaiming He, Ross Girshick, and Jian Sun. Faster r-cnn: Towards real-time object detection with region proposal networks. Advances in neural information processing systems, 28, 2015. 4, 5, 1 [^44]: Javier Romero, Dimitris Tzionas, and Michael J Black. Embodied hands: Modeling and capturing hands and bodies together. ACM Transactions on Graphics, 36(6), 2017. 5, 6, 7 [^45]: Yu Rong, Takaaki Shiratori, and Hanbyul Joo. Frankmocap: A monocular 3d whole-body pose estimation system via regression and integration. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 1749–1759, 2021. 1 [^46]: Olaf Ronneberger, Philipp Fischer, and Thomas Brox. U-net: Convolutional networks for biomedical image segmentation. In Medical Image Computing and Computer-Assisted Intervention–MICCAI 2015: 18th International Conference, Munich, Germany, October 5-9, 2015, Proceedings, Part III 18, pages 234–241. Springer, 2015. 3, 6 ## [^47]: Tze Ho Elden Tse, Kwang In Kim, Ales Leonardis, and Hyung Jin Chang. Collaborative learning for hand and object reconstruction with attention-guided graph convolution. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 1664–1674, 2022. 1, 2, 5, 6 --- [^48]: Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. Advances in neural information processing systems, 30, 2017. 2, 5, 6 [^49]: Rong Wang, Wei Mao, and Hongdong Li. Interacting hand-object pose estimation via dense mutual attention. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, 2023. 1, 2, 3, 5, 6, 7, 8, 4 [^50]: Xianghui Xie, Bharat Lal Bhatnagar, and Gerard Pons-Moll. Chore: Contact, human and object reconstruction from a single rgb image. In European Conference on Computer Vision, pages 125–145. Springer, 2022. 3 [^51]: Fu Xiong, Boshen Zhang, Yang Xiao, Zhiguo Cao, Taidong Yu, Joey Tianyi Zhou, and Junsong Yuan. A2j: Anchor-to-joint regression network for 3d articulated pose estimation from a single depth image. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 793–802, 2019. 1,5 [^52]: Hao Xu, Tianyu Wang, Xiao Tang, and Chi-Wing Fu. H2onet: Hand-occlusion-and-orientation-aware network for real-time 3d hand mesh reconstruction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 17048–17058, 2023. 6, 7 [^53]: Lixin Yang, Kailin Li, Xinyu Zhan, Jun Lv, Wenqiang Xu, Jiefeng Li, and Cewu Lu. Artiboost: Boosting articulated 3d hand-object pose estimation via online exploration and synthesis. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 2750–2760, 2022. 6, 7 [^54]: Yufei Ye, Abhinav Gupta, and Shubham Tulsiani. What's in your hands? 3d reconstruction of generic objects in hands. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 3895–3905, 2022. 2 [^55]: Lin Yen-Chen, Pete Florence, Jonathan T Barron, Alberto Rodriguez, Phillip Isola, and Tsung-Yi Lin. Inerf: Inverting neural radiance fields for pose estimation. In 2021 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pages 1323–1330. IEEE, 2021. 2 [^56]: Junsheng Zhou, Baorui Ma, Yu-Shen Liu, Yi Fang, and Zhizhong Han. Learning consistency-aware unsigned distance functions progressively from raw point clouds. Advances in Neural Information Processing Systems, 35:16481–16494, 2022. 3 [^57]: Christian Zimmermann and Thomas Brox. Learning to estimate 3d hand pose from single rgb images. In Proceedings of the IEEE international conference on computer vision, pages 4903–4911, 2017. 6 [^58]: Christian Zimmermann, Duygu Ceylan, Jimei Yang, Bryan Russell, Max Argus, and Thomas Brox. Freihand: A dataset for markerless capture of hand pose and shape from single rgb images. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 813–822, 2019. 1,6