# gSDF：用于3D手-物体重建的几何驱动有符号距离函数

陈泽瑞 陈世哲 科尔迪莉亚·施密德 伊万·拉普捷夫 法国国家信息与自动化研究所、巴黎高等师范学院、法国国家科学研究中心、PSL研究大学，巴黎75005，法国

<mailto:firstname.lastname@inria.fr>

<https://zerchen.github.io/projects/gsdf.html>

## 摘要

有符号距离函数（SDF）是一种极具吸引力的框架，近期在基于图像的3D形状重建任务中展现出了良好的效果。SDF能够无缝适配不同的形状分辨率和拓扑结构，但缺乏对底层3D几何的显式建模。在这项工作中，我们利用手部结构作为引导，来进行基于SDF的形状重建。具体而言，我们致力于从单目RGB图像中重建手部及被操纵物体的模型。为此，我们首先估计手部和物体的姿态，再利用它们来指导3D重建过程。更具体地说，我们预测姿态变换的运动链，并将SDF与高度关节化的手部姿态对齐。我们通过几何对齐来优化3D点的视觉特征，同时利用时间信息来增强算法对遮挡和运动模糊情况的鲁棒性。我们在具有挑战性的ObMan和DexYCB基准测试集上进行了大量实验，结果表明所提出的方法相比现有最优方法有了显著提升。

### 1. 引言

理解手部与物体的交互方式对于虚拟现实、机器人操控以及人机交互等广泛应用而言愈发重要。与稀疏手部关节的3D估计相比[^24] [^39] [^52] [^54] [^68]，手部与物体网格的关节重建[^11] [^18] [^21] [^26] [^63]能够提供关于手-物交互的丰富信息，近年来受到了越来越多的关注。

为了重建高质量的网格，一些近期的研究[^9] [^17] [^62]探索了多视角图像输入的方式。不过，无论是训练还是测试场景，多视角图像都相对少见。在这项工作中，我们聚焦于一种更实用、更贴合用户需求的情形：即从单目RGB图像中重建手部和物体网格。鉴于该任务的病态特性，许多现有方法[^7] [^19] [^21] [^55] [^63]

![Image](images/e87b981c56cf05b0b197fb36d9da83fc5e1384d92217801049c65397366e6cc6.jpg)

<div style="text-align: center;">Figure 1. We aim to reconstruct 3D hand and object meshes from monocular images (top). Our method gSDF (middle) first predicts 3D hand joints (blue) and object locations (red) from input images. We use estimated hand poses and object locations to incorporate strong geometric priors into SDF by generating hand- and object-aware kinematic features for each SDF query point. Our resulting gSDF model generates accurate results for real images with various objects and grasping hand poses (bottom).</div>

采用参数化网格模型（如MANO [^47]）来引入先验知识，减少3D手部重建中的歧义。然而，MANO手部网格的分辨率相对有限，对于精准捕捉手-物交互而言并非最优选择。

为了重建精细的手部和物体网格，另一类研究方法[^11] [^26]采用了有符号距离函数（SDF）。Grasping Field [^26]首次尝试用SDF来建模手部和物体表面。不过，它并未将3D几何与图像线索明确关联起来，SDF中也未融入任何先验知识，因此生成的网格并不符合实际。

---

AlignSDF [^11]提出将SDF与全局姿态（即手腕变换和物体平移）对齐，从而得到了更好的结果。不过，要捕捉更复杂手部运动以及操作不同物体时的几何细节——这些场景涉及多个手指的关节活动——仍然颇具挑战性。

为了解决以往研究的局限性，我们提出了一种几何驱动的SDF（gSDF）方法，该方法能够编码强姿态先验，并通过解耦姿态与形状估计来提升重建效果（见图1）。为此，我们首先从图像中预测稀疏的3D手部关节，再利用逆向运动学根据关节位置推导出完整的局部姿态变换运动链。与仅使用全局姿态的[^11]不同，我们对所有手部关节的姿态进行优化以得到SDF，从而实现3D形状与关节手部姿态之间更精细的对齐。此外，我们将3D点投影到图像平面上，以提取用于符号距离预测的几何对齐视觉特征。随后，利用Transformer模型结合时空上下文对这些视觉特征进一步细化，从而增强其对抗遮挡和运动模糊的能力。

我们开展了大量的消融实验，以验证该方法中各个组件的有效性。所提出的gSDF模型在极具挑战性的ObMan和DexYCB基准测试中大幅提升了现有技术的精度。我们的贡献可概括为三点：(i) 为了将强姿态先验嵌入SDF中，我们提出让SDF形状与其底层的姿态变换运动链对齐，从而减少3D重建中的歧义；(ii) 为了进一步消除因姿态估计不准确导致的对齐偏差，我们提出提取几何对齐的局部视觉特征，并利用时空上下文来增强其鲁棒性；(iii) 我们通过全面的实验证明，我们的方法在性能上显著优于现有技术水平。

### 2. 相关工作

本文致力于从RGB图像中同时重建手部及手持物体。在本节中，我们首先回顾有关3D手部姿态与形状估计的以往研究，随后探讨手部与物体联合重建的相关工作。

3D手部姿态与形状估计。自90年代以来，3D手部姿态估计这一课题便受到了广泛关注[^23] [^46]，近年来更是取得了显著进展[^31] [^66]。以RGB图像为输入的方法[^24] [^37] [^39] [^40] [^49] [^51] [^52] [^54] [^60] [^68]，通常利用设计精良的深度神经网络从视觉数据中估计稀疏的3D手部关节位置。尽管这些方法能达到较高的估计精度，但3D稀疏关节的输出所提供的关于3D手部表面的信息十分有限，而这正是AR/VR应用中的关键需求。自从类人参数化手部网格模型MANO被引入后[^47]，多项研究[^2] [^5] [^10] [^18] [^29] [^30] [^33] [^35] [^41] [^58]通过估计MANO手部的形状与姿态参数来恢复完整的手部表面。然而，MANO的网格分辨率有限，无法生成精细的表面细节。神经隐式函数[^13] [^25]具备重建更逼真、高分辨率手部表面的潜力[^12] [^38] [^43]。在本研究中，我们结合了稀疏建模、参数化建模与隐式建模的优势：我们从图像中精确预测稀疏的3D关节，利用逆向运动学估计MANO参数，随后针对底层运动结构对神经隐式函数进行优化，进而重建出逼真的网格。

3D手部与物体重建。手部与物体网格的联合重建能够更全面地揭示手部在3D空间中与所操纵物体的交互方式，近年来这一领域受到了更多关注。以往的研究通常依赖多视角对应关系[^3] [^9] [^17] [^42] [^59] [^62]或额外的深度信息[^15] [^16] [^50] [^56] [^57]来完成这项任务。在本研究中，我们聚焦于更具挑战性的场景，即利用单目RGB图像进行联合重建。鉴于该问题的不适定性，许多研究[7,18–21,55,61,63]采用MANO模型——该模型编码了从手部扫描数据中学习到的手部先验知识——来重建手部网格。为了简化物体重建任务，部分研究[^18] [^61] [^63]做出了一个强假设：测试时可获得真实的物体模型。我们的工作以及部分先前的研究[^11] [^21] [^26]放宽了这一假设，假定物体模型未知。Hasson等人[^21]利用可微分的MANO层来估计手部形状，并借助AtlasNet[^14]来重建被操纵的物体。然而，MANO和AtlasNet生成的网格分辨率有限，无法准确建模手部与物体间的精细接触。为了生成更精细的表面，Karunratanakul等人[^26]引入了抓取场概念，并提出利用SDF来重建手部与物体网格。但这种无模型的方法并未捕捉到关于手部或物体的任何先验知识，因此可能预测出不符合现实的三维几何结构。为缓解这一问题，Ye等人[^64]提出利用现成模型估计出的手部姿态来帮助重建手持物体的网格。与我们工作的主要区别在于：我们采用所提出的模型联合重建手部网格与物体网格，这一任务更具挑战性。此外，除了利用手部姿态辅助捕捉物体形状外，我们还预测物体姿态，并证明了其在基于SDF的物体重建中的优势。另一项名为AlignSDF的研究[^11]针对估计出的手-物全局姿态优化SDF，并将姿态先验编码进SDF中。除了将全局姿态作为SDF的引导外，我们提出从局部姿态变换的完整运动链中学习SDF，从而实现三维形状与底层姿态之间更精确的对齐。

---

![Image](images/a11d7af97e08a62f3790618065a483c0fafa92217ec05ec32e6e4aaa3ee82978.jpg)

<div style="text-align: center;">Figure 2. The overview of our proposed single-frame model. Our method reconstructs realistic hand and object meshes from a single RGB image. Marching Cubes algorithm [^34] is used at test time to extract meshes.</div>

为了进一步处理由遮挡或运动模糊导致的姿态估计不准确的困难情况，我们利用Transformer来累积多帧中的对应图像特征，从而助力几何恢复。

### 3. 方法

本节介绍我们用于从单目RGB图像进行3D手部与物体重建的几何驱动型SDF（gSDF）方法。我们的目标是学习两个有符号距离函数SDF $_{hand}$和SDF $_{obj}$，以隐式表示手部与物体的三维形状。SDF $_{hand}$和SDF $_{obj}$会将查询的三维点$x \in \mathbb{R}^3$映射到其距手部表面和物体表面的有符号距离。因此，可利用Marching Cubes算法[^34]根据SDF $_{hand}$和SDF $_{obj}$重建手部与物体。

#### 3.1. gSDF概述

图2展示了我们的gSDF重建方法的概览。给定图像$I_{t}$，我们提取两种类型的特征来预测每个查询点x的有符号距离，即运动学特征和视觉特征。

运动学特征编码了点x在手部或物体坐标系下的位置，它能提供强大的姿态先验来辅助SDF学习。由于该特征基于手部和物体的规范姿态，因此有助于将形状学习与姿态学习解耦。

现有研究[^64]提出利用手部姿态来重建物体网格，但并未考虑使用姿态先验来重建手部网格。另一项研究[^11]仅利用手部、腕部和物体位置的粗略几何信息，无法捕捉到细粒度的细节。在本研究中，我们旨在通过将点x的几何变换应用到所有手关节的姿态上（见图3），来增强运动学特征，从而实现手部和物体的重建。然而，直接预测手部姿态参数[^6]、[^28]、[^67]具有挑战性。为了改进手部姿态估计，我们提出先从图像中预测稀疏的3D关节位置$j_{h}$，再利用逆运动学从预测的关节推导出姿态变换$\theta_{h}$。通过这种方式，我们就能分别获得用于手部和物体的运动学特征$e_{h}$和$e_{o}$。

视觉特征编码了点x的视觉外观，以提供更多形状细节。先前的研究[^11]、[^26]对所有点使用相同的全局视觉特征，例如对SDF特征编码器在空间维度上的特征图取平均值。这种全局视觉特征会导致点与对应视觉外观之间的几何对齐不精确。为了克服这一局限，受[^48]的启发，我们应用几何变换来提取对齐的局部视觉特征。此外，针对单张图像中的遮挡和运动模糊等难题$I_t$，我们提出利用时空变换器，结合视频中的时间上下文来增强局部视觉特征。我们将点的局部视觉特征记为$e_v$。最后，我们将运动学特征与局部视觉特征拼接起来，以预测点x的有符号距离：

 $$ \begin{aligned}&\mathrm{S D F}_{h a n d}(x)=f_{h}([e_{v};e_{h}]),\\&\mathrm{S D F}_{o b j e c t}(x)=f_{o}([e_{v};e_{o}]),\\ \end{aligned} $$

其中$f_{h}$和$f_{o}$分别是手部SDF解码器和物体SDF解码器。

接下来，我们首先在第3.2节和第3.3节分别介绍所提出的几何驱动型运动学特征和视觉特征编码方法。然后，在第3.4节中，我们介绍手部和物体姿态预测器以及SDF特征编码器的不同图像骨干网络共享策略。最后，第3.5节描述了我们模型的训练策略。

---

![Image](images/5158fe9e6071a95f37fd6f0b6f67d069c2d51c4ac3e519e7b9bd996445b576fa.jpg)

<div style="text-align: center;">Figure 3. We define hand and object features by transforming queries x into hand- and object-centered coordinate systems. Compared to AlignSDF [^11] (left), each hand joint in our method defines its own coordinate frame.</div>

#### 3.2. 运动学特征编码

手部与物体姿态估计。直接从图像特征 [^11] [^19] [^21] 回归 MANO 的手部姿态参数已被证明是困难的 [^6] [^28] [^67]。相比之下，预测稀疏的 3D 关节位置更容易，并能达到更高精度。因此，我们首先训练一个 3D 手部关节预测模型，为 21 个手部关节生成体素热图 [^39] [^45]。我们使用可微分的 soft-argmax 算子 [^51] 从热图中提取手部关节的 3D 坐标 $\psi_h \in \mathbb{R}^{21 \times 3}$。然后，我们使用逆运动学从估计的 3D 关节 $\theta_h \in \mathbb{R}^{16 \times 3}$ 中得到手部姿态 $\phi_h \in \mathbb{R}^{16 \times 3}$, $\psi_h$ 的解析解，其中每个 $\theta_{h,i} \in \mathbb{R}^3$ 和 $\theta_{h,i} \in \mathbb{R}^3$ 表示相对于其父关节在旋转和平移意义上 $i_{th}$ 关节的相对姿态。这里，我们仅计算旋转，并使用 MANO 模型提供的默认肢体长度。具体而言，我们首先使用 MANO 中定义的模板姿态计算手腕姿态，然后沿手部运动学链递推求解其他手指关节的姿态。更多细节见附录。

对于物体姿态估计而言，由于许多物体具有高度对称性且常被手部遮挡，因此准确估算物体的旋转往往较为困难。因此我们遵循[^11]的做法，仅估算物体中心位置$\psi_o \in \mathbb{R}^3$相对于手腕的坐标。

手部运动特征。给定3D点x，我们通过将x变换到由手部关节定义的规范坐标系中来生成手部运动特征$e_h \in \mathbb{R}^{51}$。图3（右上）展示了所提出的手部几何变换方式。对于$i_{th}$关节的姿态$\theta_{h,i}$、$\phi_{h,i}$，用于获取局部手部运动特征$T_p(x, \theta_{h,i}, \phi_{h,i})$的姿态变换$e_{h,i} \in \mathbb{R}^3$定义如下：

 $$ \begin{aligned}&G_{h,i}=\prod_{j\in A(i)}\left[\frac{\exp\left(\theta_{h,j}\right)}{0}\left|\begin{array}{c}\phi_{h,j}\\ 1\end{array}\right.\right],\\&e_{h,i}=T_{p}(x,\theta_{h,i},\phi_{h,i})=\widetilde{H}(G_{h,i}^{-1}\cdot H(x)),\\ \end{aligned} $$

其中，$A(i)$ 表示 $i_{th}$ 关节的祖先有序集合。我们利用罗德里格斯公式 $\exp(\cdot)$ 将 $\theta_{h,i}$ 转换为旋转矩阵的形式。通过遍历手部运动链，我们可得到 $G_{h,i} \in \mathbb{R}^{4 \times 4}$ 关节的全局变换 $i_{th}$。接着，取 $G_{h,i}$ 的逆矩阵，即可将 x 转换到 $i_{th}$ 手部关节的齐次坐标中；$H(\cdot)$ 负责将 x 转换为齐次坐标，而 $\widetilde{H}(\cdot)$ 则负责将齐次坐标还原为欧几里得坐标。给定局部运动特征 $e_{h,i}$，手部运动特征 $e_h \in \mathbb{R}^{51}$ 被定义为：

 $$ e_{h}=[x,e_{h,1},\cdots,e_{h,16}]. $$

物体运动特征。为了获取可用于物体重建的几何感知SDF，我们提出了物体运动特征$e_o \in \mathbb{R}^{72}$。遵循[^11]的思路，我们利用估算出的物体中心$\psi_o$，通过平移变换$x_{oc} = T_t(x, \psi_o) = x - \psi_o$将x转换到物体的规范坐标系下。由于抓取手部的姿态也能反映被操纵物体的形状，因此类似[^64]的做法，我们将手部姿态的相关信息融入物体重建过程中。为此，对于第i个关节及其估算出的3D位置$\psi_{h,i}$，我们通过平移操作对x进行变换：

 $$ e_{o,i}=T_{t}(x,\psi_{h,i})=x-\psi_{j,i}. $$

鉴于手腕运动对物体抓取的重要性，我们还将x转换到手腕的规范坐标系$x_{ow} = T_p(x, \theta_{h,1}, \phi_{h,1}) = \widetilde{H}(G_{h,1}^{-1} \cdot H(x))$中，该坐标系能够规范化抓取时的方向，进而简化SDF物体解码器的任务。物体运动学特征由$e_o \in \mathbb{R}^{72}$定义如下：

 $$ e_{o}=[x,x_{o c},e_{o,1},\cdots,e_{o,21},x_{o w}]. $$

图3（右下）展示了为物体运动学特征所提出的几何变换方法。

#### 3.3. 视觉特征编码

几何对齐的视觉特征。以往的研究[^11] [^26]通常从全局图像特征中预测有符号距离，但这类特征缺乏空间分辨率。受[^48]的启发，我们的目标是为每个输入点x生成几何对齐的局部图像特征。假设$v_t^r \in \mathbb{R}^{16 \times 16 \times d}$是由SDF特征编码器生成的特征图，例如ResNet模型[^22]，其中$16 \times 16$表示空间特征分辨率，d为特征维度。我们将三维输入点x投影到$\hat{x}$上。

---

![Image](images/c32caf30efd13a6a6d8ec92778565c45085c588a86a1e6d07ed4452e0debd7db.jpg)

<div style="text-align: center;">(c) Asymmetric backbone.</div>

<div style="text-align: center;">Figure 4. Illustrations of three image backbone sharing strategies.</div>

通过相机投影矩阵将其映射到图像平面上，再利用双线性采样从与$e_v$对应的特征图位置获取局部特征$\hat{x}$。

时序增强的视觉特征。为了提高单帧内视觉特征$t_t$对抗遮挡或运动模糊的鲁棒性，我们提出利用视频中的时序信息来优化$v_t^r$。需要注意的是，由于手部运动是非刚性的，我们并不假设视频帧包含同一刚性场景的不同视角。我们利用时空变换器架构[^1] [^4]来高效地在帧间传播图像特征。假设$v_{t-1}^r, \cdots v_{t+1}^r$是视频中$I_t$相邻帧的特征图。我们将所有特征图在时空维度上展平为一个序列，得到$3 \times 16 \times 16$个令牌并输入到变换器模型中。我们将变换器输出的特征重新整理为特征图，用于$I_t$，记为$v_t \in \mathbb{R}^{16 \times 16 \times d}$。通过聚合多帧的空间和时序信息，$v_t$对噪声的鲁棒性更强，相比$v_t^r$能生成更稳定的重建结果。我们的完整gSDF模型依赖特征图$v_t$来计算给定输入点x的局部视觉特征$e_v$。

#### 3.4. 图像主干共享策略

如图2所示，我们的模型包含三个分支，分别用于手部和物体姿态估计以及SDF特征编码。这些不同的分支可以共享图像主干，这在多任务学习中可能具有优势。本节我们将介绍模型中三种可选的图像主干共享策略。

单一图像主干（图4a）。我们仅采用一个图像主干来进行姿态和形状预测。这也是AlignSDF[^11]中所采用的策略。

对称图像主干（图4b）。为了分离姿态和形状学习，我们共享用于手部和物体姿态估计的图像主干，但使用不同的主干来提取用于SDF学习的视觉特征。

非对称图像主干（图4c）。由于手部姿态估计在该任务中起着关键作用，我们使用独立的主干来预测手部姿态，同时共享图像主干给物体姿态预测器和SDF特征编码器使用。

#### 3.5. 训练

我们采用两阶段训练策略。在第一阶段，我们训练手部姿态预测器，以使用 $\psi_h$ 损失 $\ell_2$ 和序数损失 $\mathcal{L}_{hp}$ [^44] 来预测手部关节坐标 $\mathcal{L}_{ord}$；当 $i_{th}$ 关节与 $j_{th}$ 关节之间的预测深度顺序与真实关系 $\mathbb{1}_{i,j}^{ord}$ 不一致时，该序数损失会施加惩罚，其形式如下：

 $$ \mathcal{L}_{h p}=\frac{1}{21}\sum_{i=1}^{21}\left\|\psi_{h,i}-\hat{\psi}_{h,i}\right\|_{2}^{2}, $$

 $$ \mathcal{L}_{o r d}=\sum_{j=2}^{21}\sum_{i=1}^{j-1}\mathbb{1}_{i,j}^{o r d}\times\Big|\big(\psi_{h,i}-\psi_{h,j}\big)\cdot\overrightarrow{n}\Big|, $$

其中$\vec{n} \in \mathbb{R}^3$表示视点方向。我们随机采样二十个虚拟视角来优化$\mathcal{L}_{ord}$。由于所提出的运动学特征是基于预测的手部关节$\psi_h$，我们通过实验发现：在第一阶段预训练手部关节预测器，然后冻结其权重，能够取得更好的性能。

在第二训练阶段，我们以端到端的方式学习除手部关节预测器之外的所有模块。我们使用$\ell2$损失$\mathcal{L}_{op}$来预测物体姿态$\psi_{o}$，具体如下：

 $$ \mathcal{L}_{op}=\left\|\psi_{o}-\hat{\psi}_{o}\right\|_{2}^{2} $$

其中$\hat{\psi}_{o}$表示物体中心的真实位置。为了训练SDF，我们在手-物体表面周围采样大量三维点，并计算它们到手部网格和物体网格的真实有符号距离。我们使用$\ell_{1}$损失来优化SDF解码器：

 $$ \begin{aligned}\mathcal{L}_{h s d f}&=\left\|\mathrm{S D F}_{h a n d}-\mathrm{S}\hat{\mathrm{D}}\mathrm{F}_{h a n d}\right\|_{1}^{1},\\\mathcal{L}_{o s d f}&=\left\|\mathrm{S D F}_{o b j}-\mathrm{S}\hat{\mathrm{D}}\mathrm{F}_{o b j}\right\|_{1}^{1},\end{aligned} $$

其中$\hat{\mathrm{SDF}}_{hand}$和$\hat{\mathrm{SDF}}_{obj}$分别表示到手部和物体的真实有符号距离。第二阶段的总体训练目标$\mathcal{L}_{shape}$为：

 $$ \mathcal{L}_{s h a p e}=\mathcal{L}_{o p}+0.5\times\mathcal{L}_{h s d f}+0.5\times\mathcal{L}_{o s d f}. $$

---

### 4. 实验

我们在两个3D手-物体重建基准测试集上进行了大量实验，以评估所提出的gSDF模型的有效性。

#### 4.1. 数据集

ObMan [^21]是一个大规模合成数据集，包含针对ShapeNet [^8]中各类物体的多样化手部抓取姿态。我们遵循以往的方法 [^11] [^26] [^43] [^64] 来生成用于SDF训练的数据。首先，我们移除包含过多双面三角形的网格，最终得到87,190个手-物体网格。接着，我们将手-物体网格拟合到单位立方体中，并在立方体内部采样40,000个点。对于每个采样点，我们分别计算其到真实手部网格和物体网格的有符号距离。测试时，我们会在包含6,285个测试样本的整个ObMan测试集上报告性能。

DexYCB [^9]是目前最大的捕捉视频中手-物体交互的真实数据集。遵循 [^11] [^61] 的做法，我们重点关注右手样本，并使用官方的s0划分。我们采用与ObMan相同的方法来获取SDF训练样本。为了减少时间冗余，我们将视频数据降采样至每秒6帧，最终得到29,656个训练样本和5,928个测试样本。

#### 4.2. 评估指标

我们遵循先前的研究，采用以下多种指标对3D重建结果进行全面评估。

手部倒角距离（$CD_{h}$）。我们评估重建的手部网格与真实手部网格之间的倒角距离（$cm^{2}$）。我们遵循先前的研究[^11] [^26]，通过优化缩放和平移参数来对齐重建网格与真实网格，并在两个网格上各采样30,000个点以计算倒角距离。我们报告测试集上的中位数倒角距离，以反映重建手部网格的质量。

手部F分数（FS_h）。由于倒角距离易受异常值影响[^53] [^64]，我们还通过F分数来评估预测的手部网格质量。在将手部网格与其真实形状对齐后，我们分别报告1毫米（FS_h@1）和5毫米（FS_h@5）阈值下的F分数。

物体倒角距离（CD_o）。遵循[^11] [^26]的方法，我们首先利用优化后的手部缩放和平移参数来变换重建的物体网格。随后，我们采用与CD_h相同的过程来计算CD_o（单位：平方厘米），进而评估重建物体网格的质量。

物体F分数（FS $_{o}$）。我们依据先前的研究[^64]，采用5毫米（FS $_{o}$@5）和10毫米（FS $_{o}$@10）阈值下的F分数来评估重建的物体网格。

手部关节误差$E_{h}$。为了衡量手部姿态估计的精确度，我们计算所有21个关节相对于手腕的平均关节误差（单位：厘米），该误差通过$\ell2$距离来衡量。

<div style="text-align: center;">Table 1. Hand reconstruction performance with different hand kinematic features  $K_*$ and visual feature  $V_1$ on DexYCB dataset.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td colspan="2">Wrist only</td><td style='text-align: center; word-wrap: break-word;'>All joints</td><td style='text-align: center; word-wrap: break-word;'>$CD_{h}\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>$FS_{h}@1\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>$FS_{h}@5\uparrow$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>$K_{1}^{h}$</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>0.364</td><td style='text-align: center; word-wrap: break-word;'>0.154</td><td style='text-align: center; word-wrap: break-word;'>0.764</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>$K_{2}^{h}$</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>0.344</td><td style='text-align: center; word-wrap: break-word;'>0.167</td><td style='text-align: center; word-wrap: break-word;'>0.776</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>$K_{3}^{h}$</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>0.317</td><td style='text-align: center; word-wrap: break-word;'>0.171</td><td style='text-align: center; word-wrap: break-word;'>0.788</td></tr></table>

<div style="text-align: center;">Table 2. Object reconstruction performance with different object kinematic features  $K_o^o$ and visual feature  $V_1$ on DexYCB dataset.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td colspan="2">Obj pose</td><td style='text-align: center; word-wrap: break-word;'>Hand pose</td><td style='text-align: center; word-wrap: break-word;'>CD $_{o}$ $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>FS $_{o}$@5 $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>FS $_{o}$@10 $\uparrow$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>K $_{1}^{o}$</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>2.06</td><td style='text-align: center; word-wrap: break-word;'>0.392</td><td style='text-align: center; word-wrap: break-word;'>0.660</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>K $_{2}^{o}$</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>1.93</td><td style='text-align: center; word-wrap: break-word;'>0.396</td><td style='text-align: center; word-wrap: break-word;'>0.668</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>K $_{3}^{o}$</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>1.71</td><td style='text-align: center; word-wrap: break-word;'>0.418</td><td style='text-align: center; word-wrap: break-word;'>0.689</td></tr></table>

物体中心误差（$E_{o}$）。为了评估预测的物体平移位置的精确度，我们报告预测位置与真实位置之间的$\ell_{2}$距离（单位：厘米）。

此外，我们还报告接触比例（$C_r$）、穿透深度（$P_d$）以及相交体积（$I_v$）[^11] [^21] [^26] [^61] [^63]，以更详细地展示手部网格与物体网格之间的交互情况。更多细节请参阅附录。

#### 4.3. 实现细节

模型架构。我们采用ResNet-18[^22]作为图像特征提取骨干网络。对于手部和物体姿态估计，我们使用空间分辨率为$64 \times 64 \times 64$的体素热图来定位三维空间中的手部关节和物体中心。对于时空Transformer模块，我们使用了16层Transformer层，并配备4个注意力头。关于模型架构的更多细节，请参阅附录。

训练细节。针对DexYCB基准测试，我们根据手部和物体的边界框裁剪相应区域的图像。随后，我们相应地调整相机内参和外参[^36] [^65]，并将裁剪后的图像作为输入送入模型。所有模型的输入图像空间尺寸均为$256 \times 256$。我们采用了包括旋转（$[-45^{\circ}, 45^{\circ}]$）和颜色抖动在内的数据增强方法。在SDF训练阶段，我们分别为手部和物体随机采样1000个点（其中500个点在网格内部，500个点在网格外部）。我们在ObMan和DexYCB数据集上，使用Adam优化器[^27]，以256的批量大小训练模型，共训练1600个epoch；该过程使用了4块NVIDIA RTX 3090 GPU。初始学习率设为$1 \times 10^{-4}$，每训练600个epoch学习率减半。在DexYCB数据集上的训练耗时22小时，在ObMan数据集上则需60小时。

#### 4.4. 消融实验

我们在DexYCB数据集上进行了消融实验，以验证gSDF模型中各个组件的有效性。我们评估了手部运动学特征（表1中的$K_i^h$）、物体运动学特征（表2中的$K_i^o$）以及视觉特征的不同设置。

---

<div style="text-align: center;">Table 3. Hand-object reconstruction performance with different visual features on DexYCB dataset. The visual features are combined with the best kinematic features  $K_3^h$ (Table 1) and  $K_3^o$ (Table 2) to reconstruct hand and object respectively.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'>Global</td><td style='text-align: center; word-wrap: break-word;'>Local</td><td style='text-align: center; word-wrap: break-word;'>Transformer Spatial</td><td style='text-align: center; word-wrap: break-word;'>Temp.</td><td style='text-align: center; word-wrap: break-word;'>$CD_{{h}} \downarrow$</td><td style='text-align: center; word-wrap: break-word;'>$FS_{{h}}@1 \uparrow$</td><td style='text-align: center; word-wrap: break-word;'>$FS_{{h}}@5 \uparrow$</td><td style='text-align: center; word-wrap: break-word;'>$CD_{{o}} \downarrow$</td><td style='text-align: center; word-wrap: break-word;'>$FS_{{o}}@5 \uparrow$</td><td style='text-align: center; word-wrap: break-word;'>$FS_{{o}}@10 \uparrow$</td><td style='text-align: center; word-wrap: break-word;'>$E_{{h}} \downarrow$</td><td style='text-align: center; word-wrap: break-word;'>$E_{{o}} \downarrow$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>$V_{{1}}$</td><td style='text-align: center; word-wrap: break-word;'>☑</td><td style='text-align: center; word-wrap: break-word;'>☒</td><td style='text-align: center; word-wrap: break-word;'>☒</td><td style='text-align: center; word-wrap: break-word;'>☒</td><td style='text-align: center; word-wrap: break-word;'>0.317</td><td style='text-align: center; word-wrap: break-word;'>0.171</td><td style='text-align: center; word-wrap: break-word;'>0.788</td><td style='text-align: center; word-wrap: break-word;'>1.71</td><td style='text-align: center; word-wrap: break-word;'>0.418</td><td style='text-align: center; word-wrap: break-word;'>0.689</td><td style='text-align: center; word-wrap: break-word;'>1.44</td><td style='text-align: center; word-wrap: break-word;'>1.91</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>$V_{{2}}$</td><td style='text-align: center; word-wrap: break-word;'>☒</td><td style='text-align: center; word-wrap: break-word;'>☑</td><td style='text-align: center; word-wrap: break-word;'>☒</td><td style='text-align: center; word-wrap: break-word;'>☒</td><td style='text-align: center; word-wrap: break-word;'>0.310</td><td style='text-align: center; word-wrap: break-word;'>0.172</td><td style='text-align: center; word-wrap: break-word;'>0.795</td><td style='text-align: center; word-wrap: break-word;'>1.71</td><td style='text-align: center; word-wrap: break-word;'>0.426</td><td style='text-align: center; word-wrap: break-word;'>0.694</td><td style='text-align: center; word-wrap: break-word;'>1.44</td><td style='text-align: center; word-wrap: break-word;'>1.98</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>$V_{{3}}$</td><td style='text-align: center; word-wrap: break-word;'>☒</td><td style='text-align: center; word-wrap: break-word;'>☑</td><td style='text-align: center; word-wrap: break-word;'>☑</td><td style='text-align: center; word-wrap: break-word;'>☒</td><td style='text-align: center; word-wrap: break-word;'>0.304</td><td style='text-align: center; word-wrap: break-word;'>0.174</td><td style='text-align: center; word-wrap: break-word;'>0.797</td><td style='text-align: center; word-wrap: break-word;'>1.60</td><td style='text-align: center; word-wrap: break-word;'>0.434</td><td style='text-align: center; word-wrap: break-word;'>0.703</td><td style='text-align: center; word-wrap: break-word;'>1.44</td><td style='text-align: center; word-wrap: break-word;'>1.94</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>$V_{{4}}$</td><td style='text-align: center; word-wrap: break-word;'>☒</td><td style='text-align: center; word-wrap: break-word;'>☑</td><td style='text-align: center; word-wrap: break-word;'>☑</td><td style='text-align: center; word-wrap: break-word;'>☑</td><td style='text-align: center; word-wrap: break-word;'>0.302</td><td style='text-align: center; word-wrap: break-word;'>0.177</td><td style='text-align: center; word-wrap: break-word;'>0.801</td><td style='text-align: center; word-wrap: break-word;'>1.55</td><td style='text-align: center; word-wrap: break-word;'>0.437</td><td style='text-align: center; word-wrap: break-word;'>0.709</td><td style='text-align: center; word-wrap: break-word;'>1.44</td><td style='text-align: center; word-wrap: break-word;'>1.96</td></tr></table>

<div style="text-align: center;">Table 4. Hand-object reconstruction performance using different image backbone sharing strategies on DexYCB dataset. The ablation is carried out with visual features  $V_1$ and kinematic features  $K_3^h$ and  $K_3^o$.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Backbone</td><td style='text-align: center; word-wrap: break-word;'>$CD_{{h}}$ $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>$FS_{{h}}$@1 $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>$FS_{{h}}$@5 $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>$CD_{{o}}$ $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>$FS_{{o}}$@5 $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>$FS_{{o}}$@10 $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>$E_{{h}}$ $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>$E_{{o}}$ $\downarrow$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Single</td><td style='text-align: center; word-wrap: break-word;'>0.411</td><td style='text-align: center; word-wrap: break-word;'>0.148</td><td style='text-align: center; word-wrap: break-word;'>0.741</td><td style='text-align: center; word-wrap: break-word;'>1.88</td><td style='text-align: center; word-wrap: break-word;'>0.402</td><td style='text-align: center; word-wrap: break-word;'>0.674</td><td style='text-align: center; word-wrap: break-word;'>1.72</td><td style='text-align: center; word-wrap: break-word;'>1.83</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Symmetric</td><td style='text-align: center; word-wrap: break-word;'>0.324</td><td style='text-align: center; word-wrap: break-word;'>0.168</td><td style='text-align: center; word-wrap: break-word;'>0.779</td><td style='text-align: center; word-wrap: break-word;'>1.84</td><td style='text-align: center; word-wrap: break-word;'>0.405</td><td style='text-align: center; word-wrap: break-word;'>0.672</td><td style='text-align: center; word-wrap: break-word;'>1.46</td><td style='text-align: center; word-wrap: break-word;'>1.93</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Asymmetric</td><td style='text-align: center; word-wrap: break-word;'>0.317</td><td style='text-align: center; word-wrap: break-word;'>0.171</td><td style='text-align: center; word-wrap: break-word;'>0.788</td><td style='text-align: center; word-wrap: break-word;'>1.71</td><td style='text-align: center; word-wrap: break-word;'>0.418</td><td style='text-align: center; word-wrap: break-word;'>0.689</td><td style='text-align: center; word-wrap: break-word;'>1.44</td><td style='text-align: center; word-wrap: break-word;'>1.91</td></tr></table>

（表3中的V_{*}）。除非另有说明，否则我们采用非对称图像骨干网络。

手部运动学特征。在表1中，我们评估了所提出手部运动学特征对三维手部重建的贡献。模型$K_1^h$并未使用任何姿态先验来变换三维点；模型$K_2^h$仅利用手腕姿态来变换三维点，正如AlignSDF中所描述的那样[^11]。而我们的模型$K_3^h$会计算针对所有手部关节的变换，从而在各项评估指标上均取得最佳性能。与未使用任何姿态先验的$K_1^h$相比，我们的模型在$CD_h$和$FS_h@1$上的表现分别提升了超过12%和9%。与仅考虑手腕姿态的$K_2^h$相比，我们的模型将手部Chamfer距离从$0.344 \, cm^2$降低至$0.317 \, cm^2$，相对提升幅度达到7.8%。这些结果充分证明了姿态先验的重要性，以及gSDF在三维手部重建方面的优势。

物体运动学特征。在表2中，我们验证了所提出的物体运动学特征的有效性。模型$K_1^o$不包含任何姿态先验，而模型$K_2^o$则像[^11]中描述的那样，将查询点与物体中心对齐。我们的模型$K_3^o$进一步利用手部姿态来生成物体运动学特征，从而显著提升了不同指标下的物体重建性能。与$K_2^o$相比，我们所提出的物体运动学特征在$CD_o$和$FS_o@5$上的表现分别提升了超过11%和5.5%。

视觉特征。我们在表3中比较了用于SDF预测的不同视觉特征。$V_1$采用了全局视觉特征，例如以往研究中使用的ResNet特征图的平均池化结果[^11] [^26]。而我们提出的局部视觉特征$V_2$是通过与查询点的几何对齐得到的，它将手部Chamfer距离从0.317厘米$^2$减小到0.310厘米$^2$；不过它在物体形状精度方面的提升较为有限。在$V_3$和$V_4$中，我们采用Transformer模型来优化特征图。为了分析Transformer架构以及时间信息所带来的改进效果，

![Image](images/3db829cf326a84b6d15e6bf0cd521be6a4e5feffcb6de32c81dd234400da7cf3.jpg)

<div style="text-align: center;">Figure 5. The qualitative comparison between our single-frame model built with the transformer and our video model.</div>

在视频处理中，我们在$V_{3}$中仅针对单帧图像使用Transformer，而在$V_{4}$中则对多帧图像应用Transformer。可以看出，仅Transformer架构本身就对重建效果有积极促进作用。若再结合时间上下文来增强视觉特征，那么在所有评估指标上，尤其是物体重建方面，性能会得到进一步提升。如图5所示，与基于Transformer的单帧模型相比，我们的视频模型在一些复杂场景下（如运动模糊）能做出更稳健的预测。尽管第一个示例中罐子的重建结果并不精确，但我们的模型倾向于生成更规则的形状。

图像骨干网络共享策略。表4展示了采用不同图像骨干网络共享策略的结果。我们使用第3.5节所述的两阶段策略来训练这三个模型。仅使用单一骨干网络的模型在大多数评估指标下的表现最差。这是因为姿态学习与形状学习在训练过程中会相互竞争。将姿态与SDF的骨干网络分开的对称策略，其表现优于单一骨干网络模型。我们提出的非对称策略——为手部姿态估计采用独立骨干网络，而为物体姿态和SDF特征编码采用共享骨干网络——取得了最佳性能。我们还发——

---

<div style="text-align: center;">Table 5. Comparison with state-of-the-art methods on the image ObMan dataset.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Methods</td><td style='text-align: center; word-wrap: break-word;'>$CD_{{h}}$ $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>$FS_{{h}}$@1 $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>$FS_{{h}}$@5 $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>$CD_{{o}}$ $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>$FS_{{o}}$@5 $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>$FS_{{o}}$@10 $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>$E_{{h}}$ $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>$E_{{o}}$ $\downarrow$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Hasson et al. [^21]</td><td style='text-align: center; word-wrap: break-word;'>0.415</td><td style='text-align: center; word-wrap: break-word;'>0.138</td><td style='text-align: center; word-wrap: break-word;'>0.751</td><td style='text-align: center; word-wrap: break-word;'>3.60</td><td style='text-align: center; word-wrap: break-word;'>0.359</td><td style='text-align: center; word-wrap: break-word;'>0.590</td><td style='text-align: center; word-wrap: break-word;'>1.13</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Karunratanakul et al. [^26]</td><td style='text-align: center; word-wrap: break-word;'>0.261</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>6.80</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ye et al. [^64]</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>0.420</td><td style='text-align: center; word-wrap: break-word;'>0.630</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Chen et al. [^11]</td><td style='text-align: center; word-wrap: break-word;'>0.136</td><td style='text-align: center; word-wrap: break-word;'>0.302</td><td style='text-align: center; word-wrap: break-word;'>0.913</td><td style='text-align: center; word-wrap: break-word;'>3.38</td><td style='text-align: center; word-wrap: break-word;'>0.404</td><td style='text-align: center; word-wrap: break-word;'>0.636</td><td style='text-align: center; word-wrap: break-word;'>1.27</td><td style='text-align: center; word-wrap: break-word;'>3.29</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>gSDF (Ours)</td><td style='text-align: center; word-wrap: break-word;'>0.112</td><td style='text-align: center; word-wrap: break-word;'>0.332</td><td style='text-align: center; word-wrap: break-word;'>0.935</td><td style='text-align: center; word-wrap: break-word;'>3.14</td><td style='text-align: center; word-wrap: break-word;'>0.438</td><td style='text-align: center; word-wrap: break-word;'>0.660</td><td style='text-align: center; word-wrap: break-word;'>0.93</td><td style='text-align: center; word-wrap: break-word;'>3.43</td></tr></table>

<div style="text-align: center;">Table 6. Comparison with state-of-the-art methods on the video DexYCB dataset.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Methods</td><td style='text-align: center; word-wrap: break-word;'>$CD_{{h}}$ $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>$FS_{{h}}$@1 $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>$FS_{{h}}$@5 $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>$CD_{{o}}$ $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>$FS_{{o}}$@5 $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>$FS_{{o}}$@10 $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>$E_{{h}}$ $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>$E_{{o}}$ $\downarrow$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Hasson et al. [^21]</td><td style='text-align: center; word-wrap: break-word;'>0.537</td><td style='text-align: center; word-wrap: break-word;'>0.115</td><td style='text-align: center; word-wrap: break-word;'>0.647</td><td style='text-align: center; word-wrap: break-word;'>1.94</td><td style='text-align: center; word-wrap: break-word;'>0.383</td><td style='text-align: center; word-wrap: break-word;'>0.642</td><td style='text-align: center; word-wrap: break-word;'>1.67</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Karunratanakul et al. [^26]</td><td style='text-align: center; word-wrap: break-word;'>0.364</td><td style='text-align: center; word-wrap: break-word;'>0.154</td><td style='text-align: center; word-wrap: break-word;'>0.764</td><td style='text-align: center; word-wrap: break-word;'>2.06</td><td style='text-align: center; word-wrap: break-word;'>0.392</td><td style='text-align: center; word-wrap: break-word;'>0.660</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Chen et al. [^11]</td><td style='text-align: center; word-wrap: break-word;'>0.358</td><td style='text-align: center; word-wrap: break-word;'>0.162</td><td style='text-align: center; word-wrap: break-word;'>0.767</td><td style='text-align: center; word-wrap: break-word;'>1.83</td><td style='text-align: center; word-wrap: break-word;'>0.410</td><td style='text-align: center; word-wrap: break-word;'>0.679</td><td style='text-align: center; word-wrap: break-word;'>1.58</td><td style='text-align: center; word-wrap: break-word;'>1.78</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Chen et al. [^11] $^{{1}}$ $^{{1}}$ $^{{1}}$</td><td style='text-align: center; word-wrap: break-word;'>0.344</td><td style='text-align: center; word-wrap: break-word;'>0.167</td><td style='text-align: center; word-wrap: break-word;'>0.776</td><td style='text-align: center; word-wrap: break-word;'>1.81</td><td style='text-align: center; word-wrap: break-word;'>0.413</td><td style='text-align: center; word-wrap: break-word;'>0.687</td><td style='text-align: center; word-wrap: break-word;'>1.57</td><td style='text-align: center; word-wrap: break-word;'>1.93</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>gSDF (Ours)</td><td style='text-align: center; word-wrap: break-word;'>0.302</td><td style='text-align: center; word-wrap: break-word;'>0.177</td><td style='text-align: center; word-wrap: break-word;'>0.801</td><td style='text-align: center; word-wrap: break-word;'>1.55</td><td style='text-align: center; word-wrap: break-word;'>0.437</td><td style='text-align: center; word-wrap: break-word;'>0.709</td><td style='text-align: center; word-wrap: break-word;'>1.44</td><td style='text-align: center; word-wrap: break-word;'>1.96</td></tr></table>

![Image](images/ab673295829752c1c781ab62af5c2e3a850e9c1cda37b84d5b03db8df11e3961.jpg)

<div style="text-align: center;">Figure 6. Qualitative results of our model on test images from the ObMan and DexYCB benchmarks. Our model produces convincing results for different grasping poses and diverse objects.</div>

#### 4.5. 与现有先进方法的比较

现，同时学习物体姿态与SDF能够提升姿态精度和形状精度。可能的原因是，估计物体姿态有助于模型更专注于手-物体区域，从而提高三维重建精度。

我们在ObMan和DexYCB基准测试中，将我们的gSDF模型与现有先进方法进行比较。图6从定性角度展示了我们的方法能够生成令人信服的三维手-物体重建结果。

ObMan。表5展示了在合成ObMan数据集上手部与物体重建结果的对比情况。由于ObMan不包含视频数据，因此该模型中未采用时空变换器。所提出的gSDF模型显著优于以往的方法。与仅重建手持物体的最新方法[^64]相比，我们的联合方法能生成更精确的物体网格。gSDF在CD $_{h}$指标上提升了17.6%，在CD $_{o}$指标上提升了7.1%，这一结果反映出我们的模型能更好地重建手部网格及各类物体网格。

DexYCB。表6展示了DexYCB基准测试的结果。我们还列出了采用两个骨干网络的AlignSDF [^11]模型（[^11]-2BB）的性能。我们的模型较近期的方法有大幅提升。具体而言，它在$CD_{h}$和$CD_{o}$指标上的精度分别比现有先进水平高出12.2%和14.4%。gSDF在DexYCB上的高精度表现表明它能很好地适配真实图像。

### 5. 结论

在这项工作中，我们提出了一种用于三维手-物体重建的几何驱动SDF（gSDF）方法。我们显式地对底层三维几何进行建模以指导SDF学习。我们首先根据姿态变换的运动链来估计手部和物体的姿态，随后利用几何信息提取运动特征与局部视觉特征，进而进行有符号距离预测。在ObMan和DexYCB数据集上的大量实验证明了我们所提方法的有效性。

致谢。本研究得以使用IDRIS的高性能计算资源，该资源分配由GENCL批准的AD011013147项目提供。本研究部分由法国政府通过国家研究署管理，作为“未来投资”计划的一部分，项目编号为ANR19-P3IA-0001（PRAIRIE 3IA研究所），同时得到了路易·威登ENS人工智能讲席基金的支持。我们感谢Yana Hasson的有益讨论。

---

## 参考文献

[^1]: Anurag Arnab, Mostafa Dehghani, Georg Heigold, Chen Sun, Mario Lučić, and Cordelia Schmid. ViViT: A video vision transformer. In ICCV, 2021. 5

[^2]: Seungryul Baek, Kwang In Kim, and Tae-Kyun Kim. Pushing the envelope for RGB-based dense 3D hand pose estimation via neural rendering. In CVPR, 2019. 2

[^3]: Luca Ballan, Aparna Taneja, Jürgen Gall, Luc Van Gool, and Marc Pollefeys. Motion capture of hands in action using discriminative salient points. In ECCV, 2012. 2

[^4]: Gedas Bertasius, Heng Wang, and Lorenzo Torresani. Is space-time attention all you need for video understanding? In ICML, 2021. 5

[^5]: Adnane Boukhayma, Rodrigo de Bem, and Philip HS Torr. 3D hand shape and pose from images in the wild. In CVPR, 2019. 2

[^6]: Romain Brégier. Deep regression on manifolds: a 3D rotation case study. In 3DV, 2021. 3, 4

[^7]: Zhe Cao, Ilija Radosavovic, Angjoo Kanazawa, and Jitendra Malik. Reconstructing hand-object interactions in the wild. In ICCV, 2021. 1, 2

[^8]: Angel X Chang, Thomas Funkhouser, Leonidas Guibas, Pat Hanrahan, Qixing Huang, Zimo Li, Silvio Savarese, Manolis Savva, Shuran Song, Hao Su, et al. ShapeNet: An information-rich 3D model repository. arXiv preprint arXiv:1512.03012, 2015. 6

[^9]: Yu-Wei Chao, Wei Yang, Yu Xiang, Pavlo Molchanov, Ankur Handa, Jonathan Tremblay, Yashraj S Narang, Karl Van Wyk, Umar Iqbal, Stan Birchfield, et al. DexYCB: A benchmark for capturing hand grasping of objects. In CVPR, 2021. 1, 2, 6

[^10]: Xingyu Chen, Yufeng Liu, Chongyang Ma, Jianlong Chang, Huayan Wang, Tian Chen, Xiaoyan Guo, Pengfei Wan, and Wen Zheng. Camera-space hand mesh recovery via semantic aggregation and adaptive 2D-1D registration. In CVPR, 2021. 2

[^11]: Zerui Chen, Yana Hasson, Cordelia Schmid, and Ivan Laptev. AlignSDF: Pose-Aligned signed distance fields for hand-object reconstruction. In ECCV, 2022. 1, 2, 3, 4, 5, 6, 7, 8, 12, 13, 14

[^12]: Zhiqin Chen and Hao Zhang. Learning implicit fields for generative shape modeling. In CVPR, 2019. 2

[^13]: Enric Corona, Tomas Hodan, Minh Vo, Francesc Moreno-Noguer, Chris Sweeney, Richard Newcombe, and Lingni Ma. LISA: Learning implicit shape and appearance of hands. In CVPR, 2022. 2

[^14]: Thibault Groueix, Matthew Fisher, Vladimir G Kim, Bryan C Russell, and Mathieu Aubry. A papier-mâché approach to learning 3D surface generation. In CVPR, 2018. 2

[^15]: Henning Hamer, Juergen Gall, Thibaut Weise, and Luc Van Gool. An object-dependent hand pose prior from sparse training data. In CVPR, 2010. 2

[^16]: Henning Hamer, Konrad Schindler, Esther Koller-Meier, and Luc Van Gool. Tracking a hand manipulating an object. In ICCV, 2009. 2

[^17]: Shreyas Hampali, Mahdi Rad, Markus Oberweger, and Vincent Lepetit. HOnnotate: A method for 3D annotation of hand and object poses. In CVPR, 2020. 1,2

[^18]: Shreyas Hampali, Sayan Deb Sarkar, Mahdi Rad, and Vincent Lepetit. Keypoint Transformer: Solving joint identification in challenging hands and object interactions for accurate 3D pose estimation. In CVPR, 2022. 1,2

[^19]: Yana Hasson, Bugra Tekin, Federica Bogo, Ivan Laptev, Marc Pollefeys, and Cordelia Schmid. Leveraging photometric consistency over time for sparsely supervised hand-object reconstruction. In CVPR, 2020. 1, 2, 4

[^20]: Yana Hasson, Gül Varol, Cordelia Schmid, and Ivan Laptev. Towards unconstrained joint hand-object reconstruction from RGB videos. In 3DV, 2021. 2

[^21]: Yana Hasson, Gul Varol, Dimitrios Tzionas, Igor Kalevatykh, Michael J Black, Ivan Laptev, and Cordelia Schmid. Learning joint reconstruction of hands and manipulated objects. In CVPR, 2019. 1, 2, 4, 6, 8, 12, 13

[^22]: Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In CVPR, 2016. 4, 6

[^23]: Tony Heap and David Hogg. Towards 3D hand tracking using a deformable model. In FG, 1996. 2

[^24]: Umar Iqbal, Pavlo Molchanov, Thomas Breuel Juergen Gall, and Jan Kautz. Hand pose estimation via latent 2.5D heatmap regression. In ECCV, 2018. 1, 2

[^25]: Korrawe Karunratanakul, Adrian Spurr, Zicong Fan, Otmar Hilliges, and Siyu Tang. A skeleton-driven neural occupancy representation for articulated hands. In 3DV, 2021. 2

[^26]: Korrawe Karunratanakul, Jinlong Yang, Yan Zhang, Michael J Black, Krikamol Muandet, and Siyu Tang. Grasping Field: Learning implicit representations for human grasps. In 3DV, 2020. 1, 2, 3, 4, 6, 7, 8, 12, 13

[^27]: Diederik P Kingma and Jimmy Ba. Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980, 2014. 6

[^28]: Nikos Kolotouros, Georgios Pavlakos, Michael J Black, and Kostas Daniilidis. Learning to reconstruct 3D human pose and shape via model-fitting in the loop. In ICCV, 2019. 3, 4

[^29]: Dominik Kulon, Riza Alp Güler, I. Kokkinos, M. Bronstein, and S. Zafeiriou. Weakly-supervised mesh-convolutional hand reconstruction in the wild. In CVPR, 2020. 2

[^30]: Dominik Kulon, Haoyang Wang, Riza Alp Güler, Michael M. Bronstein, and Stefanos Zafeiriou. Single image 3D hand reconstruction with mesh convolutions. In BMVC, 2019. 2

[^31]: Vincent Lepetit. Recent advances in 3D object and hand pose estimation. arXiv preprint arXiv:2006.05927, 2020. 2

[^32]: Jiefeng Li, Chao Xu, Zhicun Chen, Siyuan Bian, Lixin Yang, and Cewu Lu. HybrIK: A hybrid analytical-neural inverse kinematics solution for 3D human pose and shape estimation. In CVPR, 2021. 12

[^33]: Mengcheng Li, Liang An, Hongwen Zhang, Lianpeng Wu, Feng Chen, Tao Yu, and Yebin Liu. Interacting attention graph for single image two-hand reconstruction. In CVPR, 2022. 2

## [^34]: William E Lorensen and Harvey E Cline. Marching Cubes: A high resolution 3D surface construction algorithm. TOG, 1987. 3

---

[^35]: Jun Lv, Wenqiang Xu, Lixin Yang, Sucheng Qian, Chongzhao Mao, and Cewu Lu. HandTailor: Towards high-precision monocular 3D hand recovery. In BMVC, 2021. 2

[^36]: Dushyant Mehta, Helge Rhodin, Dan Casas, Pascal Fua, Oleksandr Sotnychenko, Weipeng Xu, and Christian Theobalt. Monocular 3D human pose estimation in the wild using improved CNN supervision. In 3DV, 2017. 6

[^37]: Hao Meng, Sheng Jin, Wentao Liu, Chen Qian, Mengxiang Lin, Wanli Ouyang, and Ping Luo. 3D interacting hand pose estimation by hand de-occlusion and removal. In ECCV, 2022. 2

[^38]: Lars Mescheder, Michael Oechsle, Michael Niemeyer, Sebastian Nowozin, and Andreas Geiger. Occupancy Networks: Learning 3D reconstruction in function space. In CVPR, 2019. 2

[^39]: Gyeongsik Moon, Ju Yong Chang, and Kyoung Mu Lee. V2V-PoseNet: Voxel-to-voxel prediction network for accurate 3D hand and human pose estimation from a single depth map. In CVPR, 2018. 1, 2, 4

[^40]: Franziska Mueller, Florian Bernard, Oleksandr Sotnychenko, Dushyant Mehta, Srinath Sridhar, Dan Casas, and Christian Theobalt. Generated hands for real-time 3D hand tracking from monocular RGB. In CVPR, 2018. 2

[^41]: Franziska Mueller, Micah Davis, Florian Bernard, Oleksandr Sotnychenko, Mickeal Verschoor, Miguel A Otaduy, Dan Casas, and Christian Theobalt. Real-time pose and shape reconstruction of two interacting hands with a single depth camera. TOG, 2019. 2

[^42]: Iason Oikonomidis, Nikolaos Kyriazis, and Antonis A Argyros. Full DOF tracking of a hand interacting with an object by modeling occlusions and physical constraints. In ICCV, 2011. 2

[^43]: Jeong Joon Park, Peter Florence, Julian Straub, Richard Newcombe, and Steven Lovegrove. DeepSDF: Learning continuous signed distance functions for shape representation. In CVPR, 2019. 2, 6

[^44]: Georgios Pavlakos, Xiaowei Zhou, and Kostas Daniilidis. Ordinal depth supervision for 3D human pose estimation. In CVPR, 2018. 5

[^45]: Georgios Pavlakos, Xiaowei Zhou, Konstantinos G Derpanis, and Kostas Daniilidis. Coarse-to-fine volumetric prediction for single-image 3D human pose. In CVPR, 2017. 4

[^46]: James M Rehg and Takeo Kanade. Visual tracking of high DOF articulated structures: an application to human hand tracking. In ECCV, 1994. 2

[^47]: Javier Romero, Dimitrios Tzionas, and Michael J. Black. Embodied Hands: Modeling and capturing hands and bodies together. TOG, 2017. 1,2

[^48]: Shunsuke Saito, Zeng Huang, Ryota Natsume, Shigeo Morishima, Angjoo Kanazawa, and Hao Li. PiFu: Pixel-aligned implicit function for high-resolution clothed human digitization. In ICCV, 2019. 3,4

[^49]: Adrian Spurr, Aneesh Dahiya, Xi Wang, Xucong Zhang, and Otmar Hilliges. Self-supervised 3D hand pose estimation from monocular RGB via contrastive learning. In ICCV, 2021. 2

[^50]: Srinath Sridhar, Franziska Mueller, Michael Zollhöfer, Dan Casas, Antti Oulasvirta, and Christian Theobalt. Real-time joint tracking of a hand manipulating an object from RGB-D input. In ECCV, 2016. 2

[^51]: Xiao Sun, Bin Xiao, Fangyin Wei, Shuang Liang, and Yichen Wei. Integral human pose regression. In ECCV, 2018. 2,4

[^52]: Danhang Tang, Hyung Jin Chang, Alykhan Tejani, and Tae-Kyun Kim. Latent regression forest: Structured estimation of 3D articulated hand posture. In CVPR, 2014. 1,2

[^53]: Maxim Tatarchenko, Stephan R Richter, René Ranftl, Zhuwen Li, Vladlen Koltun, and Thomas Brox. What do single-view 3D reconstruction networks learn? In CVPR, 2019. 6

[^54]: Bugra Tekin, Federica Bogo, and Marc Pollefeys. H+O: Unified egocentric recognition of 3D hand-object poses and interactions. In CVPR, 2019. 1,2

[^55]: Tze Ho Elden Tse, Kwang In Kim, Ales Leonardis, and Hyung Jin Chang. Collaborative learning for hand and object reconstruction with attention-guided graph convolution. In CVPR, 2022. 1, 2

[^56]: Aggeliki Tsoli and Antonis A Argyros. Joint 3D tracking of a deformable object in interaction with a hand. In ECCV, 2018. 2

[^57]: Dimitrios Tzionas and Juergen Gall. 3D object reconstruction from hand-object interactions. In ICCV, 2015. 2

[^58]: Jiayi Wang, Franziska Mueller, Florian Bernard, Suzanne Sorli, Oleksandr Sotnychenko, Neng Qian, Miguel A Otaduy, Dan Casas, and Christian Theobalt. RGB2Hands: Real-time tracking of 3D hand interactions from monocular RGB video. TOG, 2020. 2

[^59]: Yangang Wang, Jianyuan Min, Jianjie Zhang, Yebin Liu, Feng Xu, Qionghai Dai, and Jinxiang Chai. Video-based hand manipulation capture through composite motion control. TOG, 2013. 2

[^60]: Fu Xiong, Boshen Zhang, Yang Xiao, Zhiguo Cao, Taidong Yu, Joey Tianyi Zhou, and Junsong Yuan. A2J: Anchor-to-joint regression network for 3D articulated pose estimation from a single depth image. In ICCV, 2019. 2

[^61]: Lixin Yang, Kailin Li, Xinyu Zhan, Jun Lv, Wenqiang Xu, Jiefeng Li, and Cewu Lu. ArtiBoost: Boosting articulated 3D hand-object pose estimation via online exploration and synthesis. In CVPR, 2022. 2, 6

[^62]: Lixin Yang, Kailin Li, Xinyu Zhan, Fei Wu, Anran Xu, Liu Liu, and Cewu Lu. OakInk: A large-scale knowledge repository for understanding hand-object interaction. In CVPR, 2022. 1,2

[^63]: Lixin Yang, Xinyu Zhan, Kailin Li, Wenqiang Xu, Jiefeng Li, and Cewu Lu. CPF: Learning a contact potential field to model the hand-object interaction. In ICCV, 2021. 1, 2, 6

[^64]: Yufei Ye, Abhinav Gupta, and Shubham Tulsiani. What's in your hands? 3D reconstruction of generic objects in hands. In CVPR, 2022. 2, 3, 4, 6, 8, 13

[^65]: Frank Yu, Mathieu Salzmann, Pascal Fua, and Helge Rhodin. PCLs: Geometry-aware neural reconstruction of 3D pose with perspective crop layers. In CVPR, 2021. 6

### [^66]: Shanxin Yuan, Guillermo Garcia-Hernando, Björn Stenger, Gyeongsik Moon, Ju Yong Chang, Kyoung Mu Lee, Pavlo Molchanov, Jan Kautz, Sina Honari, Liuhao Ge, Junsong

---

袁、陈星浩、王贵金、杨帆、秋山开、吴阳、万庆福、梅萨姆·马达迪、塞尔吉奥·埃斯卡拉拉、李世乐、李东辉、伊阿松·奥伊科诺米迪斯、安东尼斯·阿尔吉罗斯和金泰均。基于深度的3D手部姿态估计：从当前成果到未来目标。发表于CVPR，2018年6月。2

[^67]: Yi Zhou, Connelly Barnes, Jingwan Lu, Jimei Yang, and Hao Li. On the continuity of rotation representations in neural networks. In CVPR, 2019. 3, 4

### [^68]: Christian Zimmermann and Thomas Brox. Learning to estimate 3D hand pose from single RGB images. In ICCV, 2017. 1,2

---

### 附录

在附录中，我们提供了方法的更多细节以及额外的实验结果。我们首先在第A节介绍模型架构的细节；接着在第B节详细说明如何利用逆运动学从预测的3D关节点求解手部姿态；最后在第C节讨论额外的实验结果。

#### A. 网络架构

![Image](images/0ed6b2ae173916597a04846942a4fde50c8fd96c67fc613e8b59db2fdfd5756b.jpg)

<div style="text-align: center;">Figure 7. Network architecture used for our hand and object SDF decoders. Following [^11] [^26], we use five fully-connected layers (marked in purple) for the SDF decoder. The number in the box denotes the dimension of features.</div>

对于我们的SDF解码器（详见原文图2），我们采用了[^11] [^26]中所使用的模型架构，该架构采用五个全连接层作为解码器，如图7所示。给定输入图像中的视觉特征$e_v \in \mathbb{R}^{256}$（第3.2节）以及查询点处的运动学特征$e_h \in \mathbb{R}^{51}$或$e_o \in \mathbb{R}^{72}$（第3.3节），我们将它们拼接起来形成d维向量$e_{sdf}$，再将其输入SDF解码器。

##### B. 手部运动学

在本节中，我们首先介绍如图8(a)所示的手部正运动学和逆运动学原理，随后说明在我们的方法中如何利用逆运动学从预测的3D关节点计算手部姿态。

正运动学。正运动学通常定义为根据给定的手部姿态（即相对旋转$\psi_p \in \mathbb{R}^{21 \times 3}$和相对平移$\theta \in \mathbb{R}^{16 \times 3}$）以及模板手部关节$\phi \in \mathbb{R}^{16 \times 3}$，来计算已建模的手部关节$\psi_t \in \mathbb{R}^{21 \times 3}$的过程。$k_{th}$关节在$\psi_p$中的位置可通过以下公式计算：

 $$ \begin{aligned}&\psi_{p,k}=R_{k}\cdot\phi_{k}+\psi_{p,p a(k)},\\&R_{k}=R_{p a(k)}\cdot\exp(\theta_{k}),\\ \end{aligned} $$

其中$R_{k}$表示$k_{th}$关节的全局旋转矩阵，$pa(\cdot)$返回$k_{th}$关节的父节点索引。$\exp(\cdot)$表示用于将$\theta_{k}$转换为旋转矩阵形式的罗德里格斯公式。我们按照运动链的逆向顺序推导$k_{th}$关节的全局旋转。为简化计算，我们假设所有手部共享同一模板。

![Image](images/4393a22b367610f01d3c5190da4127987de07c3c2e63d0761eb1d5a19989333c.jpg)

<div style="text-align: center;">Figure 8. Illustration of hand kinematics. In Figure (a), we show functions of forward kinematics and inverse kinematics. In Figure (b), we show relevant joints (marked in yellow) that are involved in the computation of the hand wrist rotation.</div>

<div style="text-align: center;">Table 7. Comparison with state-of-the-art methods on ObMan.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Method</td><td style='text-align: center; word-wrap: break-word;'>$C_{r}$</td><td style='text-align: center; word-wrap: break-word;'>$P_{d}$</td><td style='text-align: center; word-wrap: break-word;'>$I_{v}$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Hasson et al. [^21]</td><td style='text-align: center; word-wrap: break-word;'>94.8%</td><td style='text-align: center; word-wrap: break-word;'>1.20</td><td style='text-align: center; word-wrap: break-word;'>6.25</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Karunratanakul et al. [^26]</td><td style='text-align: center; word-wrap: break-word;'>69.6%</td><td style='text-align: center; word-wrap: break-word;'>0.23</td><td style='text-align: center; word-wrap: break-word;'>0.20</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Chen et al. [^11]</td><td style='text-align: center; word-wrap: break-word;'>95.5%</td><td style='text-align: center; word-wrap: break-word;'>0.66</td><td style='text-align: center; word-wrap: break-word;'>2.81</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>gSDF (Ours)</td><td style='text-align: center; word-wrap: break-word;'>89.8%</td><td style='text-align: center; word-wrap: break-word;'>0.42</td><td style='text-align: center; word-wrap: break-word;'>1.17</td></tr></table>

同时设定相对平移为$\phi_{k} = \psi_{t,k} - \psi_{t,pa(k)}$，这样就能将式11的计算简化为：

 $$ \begin{aligned}&\psi_{p,k}=R_{k}\cdot(\psi_{t,k}-\psi_{t,p a(k)})+\psi_{p,p a(k)},\\&R_{k}=R_{p a(k)}\cdot\exp(\theta_{k}).\\ \end{aligned} $$

逆运动学。给定已建模的手部关节$\psi_p$和模板手部关节$\psi_t$，逆运动学用于求解定义从$(\theta, \phi)$到$\psi_t$变换的相对手部姿态$\psi_p$。与正运动学类似，我们在逆运动学的计算中同样忽略$\phi$，仅求解相对手部旋转$\theta$。我们首先根据图8(b)中三个相连关节的方向推导出手腕旋转矩阵$R_1 \in \mathbb{R}^{3 \times 3}$，并将其转化为一个优化问题：

 $$ R_{1}=\arg\min_{R\in\mathbb{S}\mathbb{O}^{3}}\sum_{i\in\{5,9,13\}}\left\|\psi_{p,i}-R\cdot\psi_{t,i}\right\|_{2}^{2}, $$

此时我们可以像在[^32]中那样应用奇异值分解（SVD）来求解该问题。接着，我们沿着手部运动链递归求解每个关节的3D旋转。为此，我们对正运动学中定义的式12进行改写：

 $$ R_{p a(k)}^{-1}\big(\psi_{p,k}-\psi_{p,p a(k)}\big)=\exp(\theta_{k})\big(\psi_{t,k}-\psi_{t,p a(k)}\big). $$

随后，我们可以通过计算向量$\theta_{k}$和向量$R_{pa(k)}^{-1}(\psi_{p,k}-\psi_{p,pa(k)})$之间的点积和叉积，分别求出$\psi_{t,k}-\psi_{t,pa(k)}$的模长和方向。

---

<div style="text-align: center;">Table 8. Comparison with state-of-the-art methods on DexYCB.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Method</td><td style='text-align: center; word-wrap: break-word;'>$C_{r}$</td><td style='text-align: center; word-wrap: break-word;'>$P_{d}$</td><td style='text-align: center; word-wrap: break-word;'>$I_{v}$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Hasson et al. [^21]</td><td style='text-align: center; word-wrap: break-word;'>95.7%</td><td style='text-align: center; word-wrap: break-word;'>1.15</td><td style='text-align: center; word-wrap: break-word;'>9.64</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Karunratanakul et al. [^26]</td><td style='text-align: center; word-wrap: break-word;'>96.0%</td><td style='text-align: center; word-wrap: break-word;'>0.92</td><td style='text-align: center; word-wrap: break-word;'>6.62</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Chen et al. [^11]</td><td style='text-align: center; word-wrap: break-word;'>96.6%</td><td style='text-align: center; word-wrap: break-word;'>1.08</td><td style='text-align: center; word-wrap: break-word;'>8.40</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>gSDF (Ours)</td><td style='text-align: center; word-wrap: break-word;'>95.4%</td><td style='text-align: center; word-wrap: break-word;'>0.94</td><td style='text-align: center; word-wrap: break-word;'>6.55</td></tr></table>

<div style="text-align: center;">Table 9. Object reconstruction performance with different object kinematic features on DexYCB dataset. * denotes our re-implementation of the method proposed in Ye et al. [^64].</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'>Model</td><td style='text-align: center; word-wrap: break-word;'>Obj. Pose</td><td style='text-align: center; word-wrap: break-word;'>$CD_{{o}} \downarrow$</td><td style='text-align: center; word-wrap: break-word;'>$FS_{{o}}@5 \uparrow$</td><td style='text-align: center; word-wrap: break-word;'>$FS_{{o}}@10 \uparrow$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>R1</td><td style='text-align: center; word-wrap: break-word;'>Ye et al. [^64]</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>0.420</td><td style='text-align: center; word-wrap: break-word;'>0.630</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>R2</td><td style='text-align: center; word-wrap: break-word;'>Ye et al. $^{{*}}$</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>2.09</td><td style='text-align: center; word-wrap: break-word;'>0.404</td><td style='text-align: center; word-wrap: break-word;'>0.663</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>R3</td><td style='text-align: center; word-wrap: break-word;'>gSDF</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>1.78</td><td style='text-align: center; word-wrap: break-word;'>0.411</td><td style='text-align: center; word-wrap: break-word;'>0.676</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>R4</td><td style='text-align: center; word-wrap: break-word;'>(Ours)</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>1.71</td><td style='text-align: center; word-wrap: break-word;'>0.418</td><td style='text-align: center; word-wrap: break-word;'>0.689</td></tr></table>

<div style="text-align: center;">Table 10. Comparing computational requirements of different models when reconstructing hand and object meshes of resolution  $128 \times 128 \times 128$ from an image on an NVIDIA 1080Ti GPU.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Method</td><td style='text-align: center; word-wrap: break-word;'>Input</td><td style='text-align: center; word-wrap: break-word;'>GPU Memory</td><td style='text-align: center; word-wrap: break-word;'>Latency</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>[^26]</td><td style='text-align: center; word-wrap: break-word;'>Image</td><td style='text-align: center; word-wrap: break-word;'>2357Mb</td><td style='text-align: center; word-wrap: break-word;'>2.87s</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>[^11]</td><td style='text-align: center; word-wrap: break-word;'>Image</td><td style='text-align: center; word-wrap: break-word;'>2847Mb</td><td style='text-align: center; word-wrap: break-word;'>3.17s</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ours</td><td style='text-align: center; word-wrap: break-word;'>Image</td><td style='text-align: center; word-wrap: break-word;'>3425Mb</td><td style='text-align: center; word-wrap: break-word;'>3.23s</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ours</td><td style='text-align: center; word-wrap: break-word;'>Video</td><td style='text-align: center; word-wrap: break-word;'>3764Mb</td><td style='text-align: center; word-wrap: break-word;'>4.14s</td></tr></table>

<div style="text-align: center;">Table 11. Comparison of our method with AlignSDF [^11] on DexYCB while using different numbers of backbones (BB).</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Model</td><td style='text-align: center; word-wrap: break-word;'>$\text{CD}_{h}\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>$\text{FS}_{h}@1\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>$\text{FS}_{h}@5\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>$\text{CD}_{o}\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>$\text{FS}_{o}@5\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>$\text{FS}_{o}@10\uparrow$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>[^11]-1BB</td><td style='text-align: center; word-wrap: break-word;'>0.358</td><td style='text-align: center; word-wrap: break-word;'>0.162</td><td style='text-align: center; word-wrap: break-word;'>0.767</td><td style='text-align: center; word-wrap: break-word;'>1.83</td><td style='text-align: center; word-wrap: break-word;'>0.410</td><td style='text-align: center; word-wrap: break-word;'>0.679</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ours-1BB</td><td style='text-align: center; word-wrap: break-word;'>0.329</td><td style='text-align: center; word-wrap: break-word;'>0.166</td><td style='text-align: center; word-wrap: break-word;'>0.787</td><td style='text-align: center; word-wrap: break-word;'>1.88</td><td style='text-align: center; word-wrap: break-word;'>0.420</td><td style='text-align: center; word-wrap: break-word;'>0.689</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>[^11]-2BB</td><td style='text-align: center; word-wrap: break-word;'>0.344</td><td style='text-align: center; word-wrap: break-word;'>0.167</td><td style='text-align: center; word-wrap: break-word;'>0.776</td><td style='text-align: center; word-wrap: break-word;'>1.81</td><td style='text-align: center; word-wrap: break-word;'>0.413</td><td style='text-align: center; word-wrap: break-word;'>0.687</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ours-2BB</td><td style='text-align: center; word-wrap: break-word;'>0.310</td><td style='text-align: center; word-wrap: break-word;'>0.172</td><td style='text-align: center; word-wrap: break-word;'>0.795</td><td style='text-align: center; word-wrap: break-word;'>1.71</td><td style='text-align: center; word-wrap: break-word;'>0.426</td><td style='text-align: center; word-wrap: break-word;'>0.694</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ours-3BB</td><td style='text-align: center; word-wrap: break-word;'>0.326</td><td style='text-align: center; word-wrap: break-word;'>0.168</td><td style='text-align: center; word-wrap: break-word;'>0.784</td><td style='text-align: center; word-wrap: break-word;'>1.82</td><td style='text-align: center; word-wrap: break-word;'>0.414</td><td style='text-align: center; word-wrap: break-word;'>0.679</td></tr></table>

#### C. 实验结果

#### C.1. 基于额外指标的评估

为了更全面地评估我们的3D重建性能，我们还报告了各模型对应的接触比（$C_r$）、穿透深度（$P_d$）（单位：厘米）以及相交体积（$I_v$）（单位：$cm^3$）。我们采用与以往研究[^11] [^26]相同的方法来计算这些指标。如表7和表8所示，我们可以发现，在ObMan和DexYCB两个基准测试集上，我们的方法生成的结果具有相对较低的穿透深度（$P_d$）和相交体积（$I_v$），这表明我们的模型能够生成物理上合理的手部与物体网格的3D重建结果。表10对比了不同模型的速度与内存占用情况。与[^11] [^26]相比，我们的图像模型仅略微增加了计算量。

#### C.2. 与Ye等人[^64]方法的对比

由于Ye等人[^64]的研究与我们的工作密切相关，我们在表9中提供了更多消融实验结果，以便与Ye等人[^64]的方法进行对比。Ye等人[^64]的工作与我们的研究主要有三点差异：首先，他们专注于3D手持物体重建，而非手物 jointly 重建；其次，他们在物体重建过程中仅考虑手部姿态，未涉及物体姿态，且手部姿态是由现成的模型预测的；最后，他们的研究中使用了更大的SDF解码器，而我们遵循[^11] [^26]的做法，采用了更小的解码器架构。因此，在表9中我们仅对比物体重建性能。为了公平比较，我们还重新实现了Ye等人[^64]的方法（表9中的R2），使用与我们相同的SDF解码器和预测得到的手部姿态。R3中的模型表明，与R2中的模型相比，手物 jointly 优化对重建是有益的。我们的R4模型同时利用手部姿态和物体姿态来生成物体运动学特征，在3D物体重建的所有指标上均取得了最佳性能。

#### C.3. 关于骨干网络数量的消融实验

表11报告了额外实验结果，显示在使用相同数量的骨干网络时，我们的方法相较于[^11]仍有性能提升。我们注意到该表中所有模型均采用表3定义的局部视觉特征$V_{2}$进行训练。我们发现，在单骨干网络设置下，gSDF的性能仍优于AlignSDF [^11]。为了更好地对比，我们还将AlignSDF扩展为双骨干网络结构，并采用两阶段训练策略。表11中的2BB结果显示，即使两种方法都使用双骨干网络，我们的方法仍优于[^11]。我们进一步开展了使用三个骨干网络的实验，分别为手部与物体姿态估计以及SDF学习配备三个独立的骨干网络。我们发现，使用3BB会消耗更多资源却并未提升性能。这一结果表明，在我们的2BB非对称架构中，物体姿态估计和SDF学习从共享骨干网络中受益。

#### C.4. 定性结果

在本节中，我们在图10中展示了更多定性示例，以证明我们的方法能够针对某些具有挑战性的情况重建高质量的手部网格和物体网格。我们还在ObMan和DexYCB基准测试上对我们的方法与最新研究成果AlignSDF [^11]进行了定性比较。如图9所示，我们可以观察到我们的方法能生成更逼真的重建结果。即便是对于某些具有薄结构的物体（如碗），我们的方法仍能精准地还原其三维表面。

---

![Image](images/59786da7fd792664bd4ec4b0c7f5be8081b6507cffa1f3378762b120791d34a5.jpg)

<div style="text-align: center;">Figure 9. Qualitative comparison between AlignSDF [^11] and our gSDF. Our approach can produce more realistic hand and object reconstruction results.</div>

#### C.5. 失败案例分析

在本节中，我们分析了我们的方法在DexYCB基准测试中的一些典型表现模式。如图11所示，在场景杂乱的情况下，我们的方法有时会做出不可靠的预测。由于我们的方法采用手部相对坐标系，因此当手部被严重遮挡时，手部和物体的重建可能会失败。因为

---

![Image](images/ed9ac9429d0e6e39b6b371106b22c07864e8274e6d84fed339dd8d420a54e1df.jpg)

<div style="text-align: center;">Figure 10. Qualitative results of our model on test images from the ObMan and DexYCB benchmarks. Our approach can produce convincing 3D reconstruction results for different hand grasping poses and challenging objects.</div>

![Image](images/c9412307aa7dd01936bedf9dfef3afaf3c563cee8de8427a75c552cdb623ebcf.jpg)

比例失调的问题。对于一些几何拓扑结构复杂的物体而言，即便存在强烈的运动模糊现象，要生成精确的三维重建仍然颇具挑战性。

<div style="text-align: center;">Figure 11. Failure cases analysis of our method on the DexYCB benchmark.</div>

我们的方法以单目RGB图像作为输入，因此重建出的物体——尤其是大型物体——可能会出现