# AlignSDF：用于手-物体重建的姿势对齐有符号距离场 Zerui Chen $^{1}$、Yana Hasson $^{1,2}$、Cordelia Schmid $^{1}$ 和 Ivan Laptev $^{1}$ $^{1}$ 法国国家信息与自动化研究所、巴黎高等师范学院、法国国家科学研究中心、PSL研究大学，75005巴黎 $^{2}$ 现任职于DeepMind 摘要：近期的研究在从单目彩色图像中联合重建手部与所操控物体方面取得了令人瞩目的进展。现有方法主要聚焦于两种替代性表示形式：参数化网格或有符号距离场（SDF）。一方面，参数化模型能够利用先验知识，但形状变形能力和网格分辨率有限。因此，网格模型可能无法精确重建手部与物体的接触面等细节。另一方面，基于SDF的方法能够表示任意细节，但缺乏显式的先验信息。在本研究中，我们旨在利用参数化表示提供的先验来改进SDF模型。具体而言，我们提出了一种将姿势与形状解耦的联合学习框架。我们从参数化模型中获取手部与物体的姿势，并利用它们来在三维空间中对齐SDF。我们发现，这种对齐后的SDF能更好地专注于重建形状细节，从而提高手部与物体的重建精度。我们对该方法进行了评估，结果显示其在极具挑战性的ObMan和DexYCB基准测试中相较于现有技术有显著提升。关键词：手-物体重建、参数化网格模型、有符号距离场（SDF） ## 1 引言从视觉数据重建手部与物体有望在虚拟现实、机器人操控以及人机交互领域开启广泛应用。随着深度学习的发展，我们在手部 [^4] [^5] [^24] [^39] [^57] [^74] 及物体 [^12] [^16] [^47] [^66] 的三维重建方面取得了巨大进展。然而，手部与所操控物体的联合重建，以及手-物体交互的精细建模，仍属于探索较少的领域，且面临更多挑战。以往的一些研究利用三维线索，从多视角图像 [^7]、深度图 [^1] [^61] [^73] 或点云 [^9] 中进行重建。本文中，我们聚焦于更具挑战性但也更实用的场景：从单目RGB图像中联合重建手部与物体。该场景下的现有方法大致可分为两类：使用参数化网格模型的方法 [^20] [^21] [^49] [^54] [^71]，以及基于隐式表示的方法 [^11] [^26] [^36] [^45]。第一类方法 [^20] [^21] [^71] 通常以MANO [^54] 为基础，这是一种常用的参数化手部模型，详见图1(a)。由于MANO源自3D扫描数据…… --- ![Image](images/af5cdda9b77ed0fd296d8653383c7c0761468c00f44bf9ad44597842c36d0c7b.jpg)

Fig. 1: Previous work on hand-object reconstruction use either (a) parametric shape models or (b) implicit 3D representations. Our proposed method (c) extends SDFs with prior knowledge on hand and object poses obtained via parametric models and can produce detailed meshes for hands and manipulated objects from monocular RGB images.

真实的人类手部具备很强的先验形状知识，因此这类方法通常能生成符合人类形态的手部网格。然而，参数化网格的分辨率有限，难以还原出精细的交互细节。此外，三维物体的重建仍是一项巨大挑战。Hasson等人[^21]提出使用AtlasNet[^16]来重建三维物体。不过，他们的方法只能重建简单物体，且重建精度仍然有限。为了提升重建效果，一些方法[^20] [^62] [^71]做了一个限制性假设：即在测试时已知真实的3D物体模型，仅需预测物体的6D姿态。近年来，神经隐式表示在物体重建领域展现出了良好的应用前景[^45]。沿着这一方向，Karunratanakul等人[^26]提出将手部和物体统一表示为有符号距离场（SDF），并展示了其建模手-物交互的潜力，详见图1(b)。我们在此采用SDF，并认为这类隐式表示或许能从关于手部和物体姿态的显式先验知识中获益。为了实现更精准的手部及被操纵物体重建，我们尝试结合参数化模型与SDF的优势。在此方向上，以往的研究[^10] [^14] [^25] [^56]试图利用参数化模型从3D姿态或原始扫描数据中学习SDF。而我们的工作针对的是更具挑战性的场景：从单目RGB图像中重建手部和物体。因此，我们提出了一种适用于该任务的新颖的姿态归一化SDF框架。 --- 场景几何结构既取决于物体的形状，也取决于其全局姿态。虽然姿态会通过低参数变换（如平移和旋转）影响所有物体点，但业界通常的做法是将模型的姿态参数与形状参数分离[^13] [^54]。因此，我们提出对手部和物体的姿态与形状学习进行解耦。如图1(c)所示，对于手部，我们首先估计其MANO参数，随后在与手腕旋转和平移无关的规范坐标系中学习手部SDF；对于物体，我们同样先估计其平移量，再在平移归一化的规范坐标系中学习物体SDF。通过归一化消除姿态的影响，我们简化了SDF学习任务，使其能专注于形状估计，无需考虑全局旋转和平移变换。在我们的框架中，MANO网络和物体姿态网络负责求解姿态，而SDF网络则专注于学习处于规范姿态下的手部和物体几何结构。为了验证我们方法的有效性，我们在两个极具挑战性的基准数据集上开展了大量实验：ObMan[^21]和DexYCB[^6]。ObMan是一个合成数据集，包含多种物体和抓取类型；DexYCB则是目前规模最大的用于采集手部和被操纵物体数据的真实数据集。实验结果表明，我们的方法在这两个基准数据集上的表现均显著优于现有最先进方法。我们的贡献可总结如下： • 我们提出结合参数化网格模型与SDF的优势，并构建了用于手部和物体三维重建的联合学习框架。 - 为了将先验知识有效地融入SDF学习过程，我们提出将姿态学习与形状学习分离开来。在我们的框架中，我们利用参数化模型来估计手和物体的姿态，同时利用SDF网络在姿态归一化的坐标系中学习手和物体的形状。 • 通过在ObMan数据集上进行全面的消融实验，我们证明了所提方法的优势。该方法能够生成更精细的关节重建结果，并在ObMan和DexYCB基准测试中取得了最先进的精度。 ## 2 相关工作我们的工作专注于从单目RGB图像中重建手与被操纵物体的关节结构。在本节中，我们首先回顾近期关于物体形状建模和3D手部重建的方法；随后，重点探讨基于单张彩色图像的手与物体交互建模问题。 3D物体建模。从单目图像中建模3D物体的姿态和形状，是计算机视觉领域由来已久的研究目标[^42] [^52]。近期的方法通过训练深度神经网络模型，直接从图像像素中计算出物体的形状[^11] [^16] [^36] [^55] [^70]以及姿态[^31] [^32] [^34] [^68]。基于单视图图像的物体形状重建最初主要聚焦于点云[^48]、网格[^16] [^66]以及体素[^12] [^51]表示形式。近年来，深度隐式表示[^11] [^36] [^45]逐渐受到青睐。与其他常用表示形式不同，隐式函数理论上能够以无限分辨率建模表面，因此成为建模精细交互的理想选择。我们提出利用隐式函数的灵活性来重建手部及任意未知物体。通过设定条件 --- 我们将有符号距离函数（SDF）建立在预测的姿态之上，从而能够充分利用现有模型提供的强大形状先验。近期的研究[^59]也证实，编码结构化信息确实能够提升NeRF[^37]在模拟关节物体时的重建质量。 3D手部重建。自20世纪90年代以来，3D手部重建这一课题便受到了广泛关注[^23] [^50]。在深度学习时代，我们见证了基于彩色图像的手部重建技术取得的显著进展。大多数研究侧重于预测稀疏关键点的3D位置[^24] [^38] [^40] [^60] [^69] [^75]。这些方法通过独立预测每个手部关节的位置，能够实现较高的精度。然而，手部的稀疏表示不足以精确描述手与物体的交互情况，而这类交互需要毫米级的精度。为克服这一局限，近期的一些研究开始对密集的手部表面进行建模[^2] [^4] [^5] [^8] [^29] [^30] [^41] [^44] [^65] [^74]。其中一条热门的研究路线是通过估计MANO模型[^54]的参数来重建手部表面，该模型是一种可变形的手部网格模型。这些方法利用参数化模型所捕捉到的强大手部先验知识，能够生成符合人类形态的逼真手部网格。此类方法要么直接从RGB图像中回归手部网格参数[^2] [^4] [^8] [^74]，要么在后期处理步骤中根据一系列约束条件来调整这些参数[^41] [^44] [^65]。与以往的方法不同，我们将手部的隐式表示以MANO参数为条件，从而生成视觉质量更佳的手部重建结果。 3D手部与物体重建。由于存在部分可见性以及强烈的交互遮挡现象，从单目RGB图像中同时重建手部与物体是一项极具挑战性的任务。传统方法通常依赖多视角图像[^3] [^19] [^43] [^67]或额外的深度信息[^17] [^18] [^58] [^63] [^64]来解决这一问题。近期基于学习的方法则致力于直接从单视角RGB图像中重建手部与物体。为了简化重建任务，一些方法[^15] [^20] [^62] [^71]做出了一个强假设：测试时已知真实的物体模型，并据此预测其6D姿态。还有些方法试图在测试时建模手部与未见过的物体之间的交互[^21] [^28] [^53]。与我们的方法最为相关的是Hasson等人[^21]提出的一种双分支网络，用于重建手部以及未知的被操纵物体。该网络中的物体分支利用AtlasNet[^16]来重建物体网格，并估算其相对于手部的位置。不过他们的方法只能重建可通过球体变形得到的简单物体。相比之下，SDF使我们能够建模任意形状的物体。为了提高手-物体重建的质量，[^21]在训练阶段引入了启发式交互惩罚机制；Yang等人[^71]将每次手-物体接触建模为弹簧-质量系统，并通过优化过程来细化重建结果。近期的研究[^33]也采用了在线数据增强策略来提升关节重建的精确度。尽管这些基于参数化网格模型的方法能够取得相对稳健的重建结果，但其建模精度仍受限于底层的参数化网格。与我们的方法最为接近的是Karunratanakul等人[^26]的研究，他们利用深度有符号距离函数来建模手部、物体及其接触区域。他们的方法能够以高分辨率重建手部与物体网格，并捕捉细致的交互细节。不过，他们的方法是无需模型的，无法利用关于手部或物体的任何先验知识。另一项同期研究[^72]采用了现成的手部姿态估计器，并利用手部姿态来优化手持物体的形状，但该研究的应用场景比我们的更简单。与以往的工作不同，我们的方法结合了参数化模型的双重优势。 --- ![Image](images/edbe15bfc8ae06315b8c117cb1f41ea9da8c0bc095e831df1fdfa1ad90961910.jpg)

Fig.2: Our method can reconstruct detailed hand meshes and object meshes from monocular RGB images. Two gray blocks of 3D points indicate the same set of 3D query points. The red arrows denote different loss functions applied during training. The dashed arrows denote Marching Cubes algorithm [^35] used at test time.

以及深度隐式函数。通过将先验知识嵌入到有符号距离函数的学习中，我们的方法能够生成更稳健且细节更丰富的重建结果。 ## 3 方法如图2所示，我们的方法旨在从单张RGB图像中重建手部与物体网格。我们的模型大致可分为两部分：手部部分与物体部分。手部部分负责估计MANO参数，并利用这些参数将3D点转换到手部的标准坐标系下。随后，手部有符号距离函数解码器会预测每个输入3D点的有符号距离，并在测试时使用Marching Cubes算法[^35]来重建手部网格。类似地，物体部分会估计物体相对于手腕的平移量，并利用该数值对同一组3D点进行转换。物体有符号距离函数解码器以转换后的3D点作为输入，进而重建物体网格。接下来，我们将分别介绍模型的三个主要组成部分：3.1节的手部姿态估计、3.2节的物体姿态估计，以及3.3节的手部与物体形状重建。 --- ### 3.1 手部姿态估计为了将更多关于人手的先验知识融入我们的模型，遵循以往的研究思路[^20] [^21] [^71]，我们采用参数化手部网格模型MANO[^54]来刻画人手的运动学特征。MANO是一种统计模型，能够将姿态$(\tilde{\theta}_p)$和形状$(\tilde{\beta}_h)$参数映射为手部网格。为了估计手部姿态，我们首先将从ResNet-18[^22]中提取的特征输入到手部编码网络中。该手部编码网络由全连接层构成，用于回归出$\tilde{\theta}_p$和$\tilde{\beta}_h$。随后，我们将MANO作为一个可微层集成到模型中，用它来预测手部顶点$(\tilde{v}_h)$、手部关节$(\tilde{j}_h)$以及手部姿态$(\tilde{\theta}_h)$。我们定义对关节位置 $(L_{\vec{j}_h})$、形状参数 $(L_{\vec{\beta}_h})$ 以及预测的手部姿态 $(L_{\vec{\theta}_h})$ 的监督。为了计算 $L_{\vec{j}_h}$，我们将预测的手部关节与真实值之间的误差应用 L2 损失。然而，仅使用 $L_{\vec{j}_h}$ 可能会导致极端的网格变形 [^21]。因此，我们使用了另外两项正则化项：$L_{\vec{\beta}_h}$ 和 $L_{\vec{\theta}_h}$。形状正则化项 $(L_{\vec{\beta}_h})$ 约束预测的手部形状 $(\vec{\beta}_h \in \mathbb{R}^{10})$ 与 MANO 训练集中的平均形状相近。预测的手部姿态 $(\vec{\theta}_h \in \mathbb{R}^{48})$ 由十六个关节的轴角旋转表示法构成，其中包括手腕关节的一个全局旋转以及其他十五个局部关节的旋转。姿态正则化项 $(L_{\vec{\theta}_h})$ 约束局部关节旋转与 MANO 训练集中的平均姿态相近。我们也会对这两项正则化项应用 L2 损失。对于手部姿态估计任务而言，总损失 $L_{hand}$ 是所有 $L_{\vec{j}_h}$、$L_{\vec{\beta}_h}$ 和 $L_{\vec{\theta}_h}$ 项的总和： $$ \begin{array}{r}{L_{h a n d}=\lambda_{\vec{j}_{h}}L_{\vec{j}_{h}}+\lambda_{\vec{\beta}_{h}}L_{\vec{\beta}_{h}}+\lambda_{\vec{\theta}_{h}}L_{\vec{\theta}_{h}},}\end{array} $$ 其中我们将 $\lambda_{\vec{j}_h}$、$\lambda_{\vec{\beta}_h}$ 和 $\lambda_{\vec{\theta}_h}$ 分别设为 $5 \times 10^{-1}$、$5 \times 10^{-7}$ 和 $5 \times 10^{-5}$。 ### 3.2 物体姿态估计在我们的方法中，将坐标系原点设为 MANO 中定义的手腕关节。为了解决物体姿态估计任务，我们通常需要预测物体的旋转及其平移量。然而，对未知物体进行 3D 旋转估计是一项极具挑战性且模糊的任务，尤其是针对对称物体而言。因此，我们在此仅预测相对于手腕的 3D 物体平移量。为了估计相对 3D 平移量 $(t_o)$，我们利用体素热图 [^38] [^46] 来预测物体质心的每个体素概率，并使用软最大值算子 [^60] 从热图中提取 3D 坐标。随后，我们利用相机内参和手腕位置，将该 3D 坐标转换到以手腕为原点的坐标系下。训练期间，我们通过最小化估计的 3D 物体平移量 $\vec{t}_o$ 与对应真实值之间的 L2 损失来优化网络参数。对于物体姿态估计任务而言，最终得到的损失 $L_{obj}$ 是 $L_{\vec{t}_o}$ 的总和： $$ \begin{array}{r}{L_{o b j}=\lambda_{\vec{t}_{o}}L_{\vec{t}_{o}},}\end{array} $$ 其中我们根据经验将 $\lambda_{\vec{t}_{0}}$ 设为 $5 \times 10^{-1}$。 --- ### 3.3 手部与物体形状重建遵循以往的研究 [^26] [^45]，我们使用神经网络来近似手部与物体的有符号距离函数。对于任意输入的 3D 点 $\vec{x}$，我们分别利用手部 SDF 解码器和物体 SDF 解码器来预测该点到手部表面和物体表面的有符号距离。然而，直接为这项任务学习神经隐式表示极具挑战性，因为 SDF 网络需要应对各种各样的物体和不同类型的抓取方式。结果就是，Grasping Field [^26] 在生成精细的手部与物体交互效果方面无法取得令人满意的结果。为了降低任务难度，我们的方法尝试将形状学习与姿态学习解耦，这有助于充分发挥SDF网络的能力。通过估计手部姿态，我们可以获得由MANO定义的全局旋转$(\vec{\theta}_{hr})$及其旋转中心$(\vec{t}_{h})$。全局旋转中心$(\vec{t}_{h})$取决于所估计的MANO形状参数$(\vec{\beta}_{h})$。利用估计出的$\vec{\theta}_{hr}$和$\vec{t}_{h}$，我们将$\vec{x}$转换为规范的手部姿态（即全局旋转等于零）： $$ \begin{array}{r}{\vec{x}_{h c}=\exp(\vec{\theta}_{h r})^{-1}(\vec{x}-\vec{t}_{h})+\vec{t}_{h},}\end{array} $$ 其中$\exp(\cdot)$表示利用罗德里格斯公式将轴角表示转换为旋转矩阵。接着，我们将$\vec{x}$与$\vec{x}_{hc}$拼接起来，输入到手部SDF解码器中，以预测其到手部的有向距离： $$ \mathrm{S D F}_{h}(\vec{x})=f_{h}(\vec{I},[\vec{x},\vec{x}_{h c}]), $$ 其中$f_{h}$表示手部SDF解码器，$\vec{I}$表示从ResNet骨干网络中提取的图像特征。得益于这种设定，手部SDF编码器能够识别处于规范手部姿态下的$\vec{x}$，从而专注于学习手部形状。类似地，通过估计物体姿态，我们可获得物体平移量$\vec{t}_{o}$，并将$\vec{x}$转换为规范的物体姿态： $$ \vec{x}_{oc}=\vec{x}-\vec{t}_{o}. $$ 随后，我们将$\vec{x}$与$\vec{x}_{oc}$拼接起来，输入到物体SDF解码器中，以预测其到物体的有向距离： $$ \mathrm{S D F}_{o}(\vec{x})=f_{o}(\vec{I},[\vec{x},\vec{x}_{o c}]), $$ 其中$f_{o}$表示物体SDF解码器。通过将$x_{oc}$输入到$f_{o}$中，物体SDF解码器便能专注于学习处于规范姿态下的物体形状。为了训练$\mathrm{SDF}_{h}(\vec{x})$和$\mathrm{SDF}_{o}(\vec{x})$，我们最小化预测的有向距离与对应采样3D点及训练图像的真实有向距离之间的L1距离。最终的损失是$L_{rec_{h}}$与$L_{rec_{o}}$之和： $$ \begin{array}{r}{L_{r e c}=\lambda_{r e c_{h}}L_{r e c_{h}}+\lambda_{r e c_{o}}L_{r e c_{o}},}\end{array} $$ 其中$L_{rec_h}$和$L_{rec_o}$分别用于优化$\mathrm{SDF}_h(\vec{x})$和$\mathrm{SDF}_o(\vec{x})$。我们将$\lambda_{rec_h}$和$\lambda_{rec_o}$设为$5 \times 10^{-1}$。总之，我们通过最小化上述各项损失来端到端地训练模型： $$ \begin{array}{r}{L=L_{h a n d}+L_{o b j}+L_{r e c}.}\end{array} $$ --- 借助训练好的SDF网络，手部与物体表面便由$\mathrm{SDF}_{h}(\vec{x})$和$\mathrm{SDF}_{o}(\vec{x})$的零水平集隐式定义。测试时，我们会在Marching Cubes算法[^35]的基础上生成手部与物体网格。 ## 4 实验在本节中，我们对所提出的方法进行了详细评估。我们在4.1节介绍了基准测试集，并在4.2-4.3节描述了评估指标与实现细节。随后，我们在4.5节和4.4节分别展示了仅涉及手部的消融实验以及基于ObMan基准测试集的手部-物体实验。最后，我们在4.6节给出了DexYCB基准测试集的实验结果。附录中，我们在A节阐述了网络架构，并在B节提供了更多实现细节。我们还在C节展示了额外的定性结果。 ### 4.1 基准测试集 ObMan基准测试 [^21]。ObMan包含合成图像及对应的3D网格，涵盖了多种手部姿态和物体下的手-物交互场景。在训练时，我们遵循 [^26] 和 [^45] 的方法，剔除包含过多双面三角形的网格，最终得到87,190个样本。对于每个样本，我们将手部网格和物体网格归一化至单位立方体内，并采样40,000个点。测试时，我们依据 [^21] 和 [^26] 的标准，在6,285个样本上报告结果。 DexYCB基准测试 [^6]。DexYCB包含针对20种YCB物体的582K帧抓取数据，是目前规模最大的真实手-物重建基准测试集。按照 [^33] 的要求，我们仅选取右手样本，并使用官方的“S0”划分。我们过滤掉手部网格与物体网格之间最小距离大于5毫米的帧。同样，我们将手部网格和物体网格归一化至单位立方体内，并采样40,000个点以生成DexYCB的SDF训练样本。最终，我们得到148,415个训练样本和29,466个测试样本。 ### 4.2 评估指标我们的模型输出具有结构化特征，单一指标无法全面反映其性能。因此，我们采用多种指标来评估该方法。更多细节请参见附录中的B节。手部形状误差（H_{se}）。我们遵循 [^26] 和 [^45] 的方法，通过计算重建手部网格与真实手部网格之间的倒角距离，来反映手部重建的精确度。由于单目图像中手部的尺度和平移存在不确定性，我们会对尺度和平移参数进行优化，使重建网格与真实网格对齐，随后从两个网格中各采样30,000个点来计算倒角距离。H_{se}（cm^{2}）为整个测试集上的倒角距离中位数。手部有效性误差（$H_{ve}$）。按照 [^19] 和 [^76] 的方法，我们通过优化尺度、平移和全局旋转参数来进行Procrustes分析，使其与真实值对齐。我们报告的 $H_{ve}$（$cm^{2}$）即为对齐后的倒角距离。 --- ![Image](images/69a53f6a323f1ceedd996c6fc92e04337772e7df7f1136d60a181f6a15fd86de.jpg)

Fig. 3: Three baseline models for hand-only ablation experiments. Dashed arrows denote the Marching Cubes algorithm [^35] used at test time.

物体形状误差（$O_{se}$）。我们复用计算 $H_{se}$ 时所得到的优化后的手部尺度和平移参数，对重建的物体网格进行变换，这一过程遵循 [^26] 的描述。我们计算 $H_{se}$（$O_{se}$）的过程与 $cm^{2}$ 的描述一致。手部关节误差（$H_{je}$）。为了衡量手部姿态的精确度，我们依据 [^75] 的标准，计算相对于手腕关节的21个关节的平均误差（cm）。物体平移误差（$O_{te}$）。如第3.2节所述，我们预测物体质心相对于手腕的位置。我们通过计算估计的物体质心与其真实位置之间的L2距离（cm）来得出 $O_{te}$。接触比例（$C_r$）。按照 [^26] 的方法，我们统计手部与物体之间的相互穿透深度大于零的样本占比。穿透深度：$(P_{d})$。我们参照 [^21] 和 [^26] 的方法，计算手部网格顶点到物体表面的最大距离（cm）。相交体积（I_v）。根据[^21]的描述，我们将手和物体以0.5厘米为体素大小进行体素化，并计算它们的相交体积（立方厘米）。 ### 4.3 实现细节我们采用ResNet-18 [^22]作为主干网络，从尺寸为$256 \times 256$的输入图像中提取特征。为了构建体素热图，我们使用三层反卷积层将特征图从$8 \times 8$逐步上采样至$64 \times 64$，并将体素热图的分辨率设置为$64 \times 64 \times 64$。有关SDF解码器的网络架构，请参阅附录中的A节。在训练手和物体的SDF解码器时，我们分别为手和物体随机采样1,000个三维点（其中500个为形状外部的正样本点，另外500个为形状内部的负样本点）。 ---

Table 1: Hand-only ablation experiments using 87K ObMan training samples.

Models	$H_{{se}} \downarrow$	$H_{{ve}} \downarrow$	$H_{{je}} \downarrow$
(a)	0.128	0.113	-
(b)	0.126	0.112	1.18
(c)	0.124	0.109	1.20
(c $^{{*}}$)	0.101	0.087	-

Table 2: Hand-only ablation experiments using 30K ObMan training samples.

Models	$H_{{se}} \downarrow$	$H_{{ve}} \downarrow$	$H_{{je}} \downarrow$
(a)	0.183	0.160	-
(b)	0.176	0.156	1.23
(c)	0.168	0.147	1.27
(c $^{{*}}$)	0.142	0.126	-

![Image](images/a20b8a87ff4850d64e979f444498d265a4f10be6e0c1e63b204102ce1a8749fa.jpg)

Fig.4: Four models for hand-object ablation experiments. Dashed arrows denote the Marching Cubes algorithm [^35] used at test time.

我们在训练过程中使用Adam优化器[^27]，批量大小为256。初始学习率设为$1 \times 10^{-4}$，在ObMan数据集上每600个训练轮次、在DexYCB数据集上每300个训练轮次将学习率减半。ObMan数据集上的总训练轮次为1,600次，DexYCB数据集上为800次，在四块NVIDIA 1080 Ti GPU上训练时间约为90小时。 ---

Table 3: Hand-object ablation experiments using 87K ObMan training data.

Models	$H_{{se}} \downarrow$	$H_{{ve}} \downarrow$	$O_{{se}} \downarrow$	$H_{{je}} \downarrow$	$O_{{te}} \downarrow$	$C_{{r}}$	$P_{{d}}$	$I_{{v}}$
(d)	0.140	0.124	4.09	-	-	90.3%	0.50	1.51
(e)	0.131	0.114	4.14	1.12	-	94.7%	0.58	2.00
(f)	0.148	0.130	3.36	-	3.29	92.5%	0.57	2.26
(g)	0.136	0.121	3.38	1.27	3.29	95.5%	0.66	2.81
(g $^{{*}}$)	0.111	0.093	2.11	-	-	94.5%	0.76	3.87

Table 4: Comparison with previous state-of-the-art methods on ObMan.

Methods	$H_{se} \downarrow$	$H_{ve} \downarrow$	$O_{se} \downarrow$	$H_{je} \downarrow$	$O_{te} \downarrow$	$C_{r}$	$P_{d}$	$I_{v}$
Hasson et al. [^21]	0.415	0.383	3.60	1.13	-	94.8%	1.20	6.25
Karunratanakul et al. [^26]-1De	0.261	0.246	6.80	-	-	5.63%	0.00	0.00
Karunratanakul et al. [^26]-2De	0.237	-	5.70	-	-	69.6%	0.23	0.20
Ours (g)	0.136	0.121	3.38	1.27	3.29	95.5%	0.66	2.81

### 4.4 基于ObMan数据集的仅手部实验为了验证我们方法的有效性，我们首先在ObMan数据集上进行仅手部的消融实验。如图3所示，我们构建了三种类型的基线模型。基线模型(a)直接利用手部SDF解码器从主干网络特征中学习$\mathrm{SDF}_{h}(\vec{x})$，但这种方式往往会导致重建出的手部轮廓模糊。基线模型(b)联合训练手部SDF解码器和MANO网络，取得了更好的结果；不过重建出的手部轮廓仍然不够清晰，通常会出现手指合并现象，如图5的第二列和第三列所示。与基线模型(b)相比，基线模型(c)进一步利用估计出的MANO参数将采样的三维点转换到手部的标准姿态，这有助于将手部形状学习与手部姿态学习解耦。最终，手部SDF解码器能够专注于学习手部的几何结构，从而重建出轮廓清晰的手部模型。模型(c*)使用的是真实的手部姿态，代表了我们方法的理论上限。表1和表2展示了这四种模型的定量结果。在表1中，我们利用所有ObMan训练样本进行测试，发现基线模型(c)的$H_{se}$和$H_{ve}$数值最低，这表明它实现了最佳的手部重建质量。基线模型(c)在手部姿态估计方面也表现优异，能将关节误差降低至1.2厘米。这说明模型(c)能够很好地把$\vec{x}$转换为手部的标准姿态，且依靠可靠的$\vec{\theta}_{hr}$和$\vec{t}_{h}$来促进手部SDF的学习。在图5中，我们还可视化了不同模型的结果，发现即使在遮挡情况下，我们的方法也能生成更精确的手部模型。为了检验在训练数据有限时我们的方法是否仍能正常工作，我们随机选取30K个样本来训练这三种模型，并将结果汇总在表2中。我们发现，在训练数据较少时，模型(c)的优势更加明显。与模型(a)相比，我们的方法在$H_{se}$和$H_{ve}$指标上能提升超过8%，这进一步验证了我们所提方法的有效性。 ---

Input

(a)

(b)

(c)

![Image](images/026ce5fddb48d58753f60b847d7b25eb8061f47e282d28a1089a84bad09798f3.jpg)

Fig.5: Qualitative comparison of hand reconstructions between different hand-only baseline models on ObMan (87K training samples).

### 4.5 基于ObMan数据集的手部-物体交互实验鉴于仅使用手部数据的实验结果令人鼓舞，我们接下来验证了该方法在手部与物体重建任务中的表现。如图4所示，我们首先构建了四种基线模型。基线模型(d)直接利用手部解码器和物体解码器来学习符号距离场。与模型(d)相比，模型(e)会估计手部的MANO参数，并利用该参数优化手部符号距离场解码器的学习过程。模型(f)会估计物体的姿态，并借助所估计的姿态来训练物体符号距离场解码器。模型(g)则结合了模型(e)和(f)的特点，利用估计出的手部与物体姿态分别优化手部及物体符号距离场的学习。模型(g*)采用真实的手部姿态和物体平移参数进行训练，可作为我们方法的性能上限。我们在表3中总结了这五种模型的实验结果。相较于基线模型(d)，模型(e)在$H_{se}$和$H_{ve}$两项指标上分别提升了6.4%和8.8%。这表明嵌入手部先验知识并将手部姿态对齐到规范姿态，能够改善手部符号距离场的学习效果。通过将模型(f)与基线模型(d)对比可知，我们利用估计的物体姿态参数将物体姿态对齐到其规范姿态后，$O_{se}$从4.09 cm $^2$降低到了3.36 cm $^2$。最终，我们的完整模型(g)融合了模型(e)和(f)的优势，能够生成高质量的手部网格和物体网格。在表4中，我们将我们的方法与以往的最先进方法进行了比较，结果显示我们的方法显著优于以往的最先进方法[^21] [^26]。当我们进一步观察反映手部与物体交互情况的指标（$C_r$、$P_d$、$I_v$）时可以发现，在超过95.5%的测试样本中，我们模型重建出的手部与物体均相互接触。与SDF方法[^26]相比，我们的方法更能促进手部网格与物体网格之间的接触；与基于MANO的方法[^21]相比， --- ![Image](images/7ed63c393c1a1460c7e888fb4f27bbf36fbe997a7219d2c034d5635c8e671e0a.jpg)

Fig.6: Qualitative comparison between different types of methods in hand-object experiments on ObMan. Compared with recent methods [^21] [^26], our approach produces more precise reconstructions both for the hands and objects.

Table 5: Comparison with previous state-of-the-art methods on DexYCB.

Method	$H_{{se}} \downarrow$	$H_{{ve}} \downarrow$	$O_{{se}} \downarrow$	$H_{{je}} \downarrow$	$O_{{te}} \downarrow$	$C_{{r}}$	$P_{{d}}$	$I_{{v}}$
Hasson et al. [^21]	0.785	0.594	4.4	2.0	-	95.8%	1.32	7.67
Karunratanakul et al. [^26]	0.741	0.532	5.8	-	-	96.7%	0.83	1.34
Ours (g)	0.523	0.375	3.5	1.9	2.7	96.1%	0.71	3.45

我们模型的穿透深度（$P_{d}$）和相交体积（$I_{v}$）要小得多，这说明我们的方法能够生成更精细的手部与物体交互结果。图6展示了不同方法的重建结果，与以往的方法相比，即便面对结构纤细的物体，我们的模型也能生成更逼真的关节重建结果。关于ObMan的更多定性分析内容，请参阅附录中的C节。 ### 4.6 基于DexYCB的手部与物体实验为了验证我们的方法在真实数据上的效果，接下来我们在DexYCB基准测试中开展实验，并将结果与现有最先进方法进行比较。我们在表5中总结了实验结果。与以往的方法相比，我们的指标提升了29.4%…… --- ![Image](images/a6e0341fbe61b555f37878476a1f023836e45308cf91a449d8bbbd9756cb87e5.jpg)

Fig. 7: Qualitative results of our model on the DexYCB benchmark. Our model produces convincing 3D hand-and-object reconstruction results in the real-world setting.

在$H_{se}$方面取得了提升，在$O_{se}$方面也有20.5%的改进，这表明我们的方法能够提高手部与物体的重建精度。DexYCB数据集中的手物交互指标也表明，我们的方法在真实图像上表现良好。图7展示了该方法在DexYCB基准测试上的定性结果。可以看出，无论手部姿态如何，以及面对各种现实物体时，我们的方法都能准确重建手部形状。更多关于DexYCB的定性结果可参见附录中的C节。 ## 5 结论在这项工作中，我们结合了参数化网格模型与SDF的优势，以完成手-物体联合重建任务。为了将先验知识嵌入到SDF中并提升学习效率，我们提出对手部和物体的形状学习与姿态学习进行解耦。随后，我们根据估计的姿态对SDF表示进行对齐，从而实现更精确的形状估计。在主要基准测试中，我们的模型显著优于以往的最先进方法。实验结果也显示出视觉质量的显著提升。致谢。本研究得以使用IDRIS的高性能计算资源，该资源由GENCI分配的AD011013147项目提供支持。本研究部分由法国政府通过国家研究署资助，属于“未来投资”计划范畴，项目编号为ANR19-P3IA-0001（PRAIRIE 3IA研究所）；同时，研究也得到了路易·威登ENS人工智能讲席项目的支持。 --- ## 参考文献 [^1]: Baek, S., Kim, K.I., Kim, T.K.: Augmented skeleton space transfer for depth-based hand pose estimation. In: CVPR (2018) [^2]: Baek, S., Kim, K.I., Kim, T.K.: Pushing the envelope for RGB-based dense 3D hand pose estimation via neural rendering. In: CVPR (2019) [^3]: Ballan, L., Taneja, A., Gall, J., Gool, L.V., Pollefeys, M.: Motion capture of hands in action using discriminative salient points. In: ECCV (2012) [^4]: Boukhayma, A., Bem, R.d., Torr, P.H.: 3D hand shape and pose from images in the wild. In: CVPR (2019) [^5]: Cai, Y., Ge, L., Cai, J., Thalmann, N.M., Yuan, J.: 3D hand pose estimation using synthetic data and weakly labeled RGB images. TPAMI (2020) [^6]: Chao, Y.W., Yang, W., Xiang, Y., Molchanov, P., Handa, A., Tremblay, J., Narang, Y.S., Van Wyk, K., Iqbal, U., Birchfield, S., et al.: DexYCB: A benchmark for capturing hand grasping of objects. In: CVPR (2021) [^7]: Chen, L., Lin, S.Y., Xie, Y., Lin, Y.Y., Xie, X.: MVHM: A large-scale multi-view hand mesh benchmark for accurate 3D hand pose estimation. In: WACV (2021) [^8]: Chen, X., Liu, Y., Ma, C., Chang, J., Wang, H., Chen, T., Guo, X., Wan, P., Zheng, W.: Camera-space hand mesh recovery via semantic aggregation and adaptive 2D-1D registration. In: CVPR (2021) [^9]: Chen, X., Wang, G., Zhang, C., Kim, T.K., Ji, X.: SHPR-Net: Deep semantic hand pose regression from point clouds. IEEE Access (2018) [^10]: Chen, X., Zheng, Y., Black, M.J., Hilliges, O., Geiger, A.: SNARF: Differentiable forward skinning for animating non-rigid neural implicit shapes. In: ICCV (2021) [^11]: Chen, Z., Zhang, H.: Learning implicit fields for generative shape modeling. In: CVPR (2019) [^12]: Choy, C.B., Xu, D., Gwak, J., Chen, K., Savarese, S.: 3D-R2N2: A unified approach for single and multi-view 3D object reconstruction. In: ECCV (2016) [^13]: Cootes, T.F., Taylor, C.J., Cooper, D.H., Graham, J.: Active shape models—their training and application. CVIU (1995) [^14]: Deng, B., Lewis, J.P., Jeruzalski, T., Pons-Moll, G., Hinton, G., Norouzi, M., Tagliasacchi, A.: NASA: Neural articulated shape approximation. In: ECCV (2020) [^15]: Doosti, B., Naha, S., Mirbagheri, M., Crandall, D.: HOPE-Net: A graph-based model for hand-object pose estimation. In: CVPR (2020) [^16]: Groueix, T., Fisher, M., Kim, V.G., Russell, B.C., Aubry, M.: A papier-mâché approach to learning 3D surface generation. In: CVPR (2018) [^17]: Hamer, H., Gall, J., Weise, T., Van Gool, L.: An object-dependent hand pose prior from sparse training data. In: CVPR (2010) [^18]: Hamer, H., Schindler, K., Koller-Meier, E., Van Gool, L.: Tracking a hand manipulating an object. In: ICCV (2009) [^19]: Hampali, S., Rad, M., Oberweger, M., Lepetit, V.: HOnnotate: A method for 3D annotation of hand and object poses. In: CVPR (2020) ## [^20]: Hasson, Y., Tekin, B., Bogo, F., Laptev, I., Pollefeys, M., Schmid, C.: Leveraging photometric consistency over time for sparsely supervised hand-object reconstruction. In: CVPR (2020) --- [^21]: Hasson, Y., Varol, G., Tzionas, D., Kalevatykh, I., Black, M.J., Laptev, I., Schmid, C.: Learning joint reconstruction of hands and manipulated objects. In: CVPR (2019) [^22]: He, K., Zhang, X., Ren, S., Sun, J.: Deep residual learning for image recognition. In: CVPR (2016) [^23]: Heap, T., Hogg, D.: Towards 3D hand tracking using a deformable model. In: FG (1996) [^24]: Iqbal, U., Molchanov, P., Gall, T.B.J., Kautz, J.: Hand pose estimation via latent 2.5D heatmap regression. In: ECCV (2018) [^25]: Karunratanakul, K., Spurr, A., Fan, Z., Hilliges, O., Tang, S.: A skeleton-driven neural occupancy representation for articulated hands. In: 3DV (2021) [^26]: Karunratanakul, K., Yang, J., Zhang, Y., Black, M.J., Muandet, K., Tang, S.: Grasping Field: Learning implicit representations for human grasps. In: 3DV (2020) [^27]: Kingma, D.P., Ba, J.: Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980 (2014) [^28]: Kokic, M., Kragic, D., Bohg, J.: Learning to estimate pose and shape of hand-held objects from RGB images. In: IROS (2019) [^29]: Kulon, D., Güler, R.A., Kokkinos, I., Bronstein, M., Zafeiriou, S.: Weakly-supervised mesh-convolutional hand reconstruction in the wild. In: CVPR (2020) [^30]: Kulon, D., Wang, H., Güler, R.A., Bronstein, M.M., Zafeiriou, S.: Single image 3D hand reconstruction with mesh convolutions. In: BMVC (2019) [^31]: Labbé, Y., Carpentier, J., Aubry, M., Sivic, J.: CosyPose: Consistent multi-view multi-object 6D pose estimation. In: ECCV (2020) [^32]: Labbé, Y., Carpentier, J., Aubry, M., Sivic, J.: Single-view robot pose and joint angle estimation via render & compare. In: CVPR (2021) [^33]: Li, K., Yang, L., Zhan, X., Lv, J., Xu, W., Li, J., Lu, C.: ArtiBoost: Boosting articulated 3D hand-object pose estimation via online exploration and synthesis. In: CVPR (2022) [^34]: Li, Y., Wang, G., Ji, X., Xiang, Y., Fox, D.: DeepIM: Deep iterative matching for 6D pose estimation. In: ECCV (2018) [^35]: Lorensen, W.E., Cline, H.E.: Marching Cubes: A high resolution 3D surface construction algorithm. TOG (1987) [^36]: Mescheder, L., Oechsle, M., Niemeyer, M., Nowozin, S., Geiger, A.: Occupancy Networks: Learning 3D reconstruction in function space. In: CVPR (2019) [^37]: Mildenhall, B., Srinivasan, P.P., Tancik, M., Barron, J.T., Ramamoorthi, R., Ng, R.: NeRF: Representing scenes as neural radiance fields for view synthesis. In: ECCV (2020) [^38]: Moon, G., Chang, J.Y., Lee, K.M.: V2V-PoseNet: Voxel-to-voxel prediction network for accurate 3D hand and human pose estimation from a single depth map. In: CVPR (2018) [^39]: Moon, G., Shiratori, T., Lee, K.M.: DeepHandMesh: A weakly-supervised deep encoder-decoder framework for high-fidelity hand mesh modeling. In: ECCV (2020) ### [^40]: Mueller, F., Bernard, F., Sotnychenko, O., Mehta, D., Sridhar, S., Casas, D., Theobalt, C.: GANerated hands for real-time 3D hand tracking from monocular RGB. In: CVPR (2018) --- [^41]: Mueller, F., Davis, M., Bernard, F., Sotnychenko, O., Verschoor, M., Otaduy, M.A., Casas, D., Theobalt, C.: Real-time pose and shape reconstruction of two interacting hands with a single depth camera. TOG (2019) [^42]: Mundy, J.L.: Object recognition in the geometric era: A retrospective. In: Toward Category-Level Object Recognition, Lecture Notes in Computer Science (2006) [^43]: Oikonomidis, I., Kyriazis, N., Argyros, A.A.: Full DOF tracking of a hand interacting with an object by modeling occlusions and physical constraints. In: ICCV (2011) [^44]: Panteleris, P., Oikonomidis, I., Argyros, A.: Using a single RGB frame for real time 3D hand pose estimation in the wild. In: WACV (2018) [^45]: Park, J.J., Florence, P., Straub, J., Newcombe, R., Lovegrove, S.: DeepSDF: Learning continuous signed distance functions for shape representation. In: CVPR (2019) [^46]: Pavlakos, G., Zhou, X., Derpanis, K.G., Daniilidis, K.: Coarse-to-fine volumetric prediction for single-image 3D human pose. In: CVPR (2017) [^47]: Peng, S., Jiang, C., Liao, Y., Niemeyer, M., Pollefeys, M., Geiger, A.: Shape As Points: A differentiable poisson solver. In: NeurIPS (2021) [^48]: Qi, C.R., Su, H., Mo, K., Guibas, L.J.: PointNet: Deep learning on point sets for 3D classification and segmentation. In: CVPR (2017) [^49]: Qian, N., Wang, J., Mueller, F., Bernard, F., Golyanik, V., Theobalt, C.: HTML: A parametric hand texture model for 3D hand reconstruction and personalization. In: ECCV (2020) [^50]: Rehg, J.M., Kanade, T.: Visual tracking of high DOF articulated structures: an application to human hand tracking. In: ECCV (1994) [^51]: Riegler, G., Ulusoy, A.O., Geiger, A.: OctNet: Learning deep 3D representations at high resolutions. In: CVPR (2017) [^52]: Roberts, L.G.: Machine perception of three-dimensional solids. Ph.D. thesis, Massachusetts Institute of Technology (1963) [^53]: Romero, J., Kjellström, H., Kragic, D.: Hands in Action: Real-time 3D reconstruction of hands in interaction with objects. In: ICRA (2010) [^54]: Romero, J., Tzionas, D., Black, M.J.: Embodied Hands: Modeling and capturing hands and bodies together. TOG (2017) [^55]: Saito, S., Huang, Z., Natsume, R., Morishima, S., Kanazawa, A., Li, H.: PIFu: Pixel-aligned implicit function for high-resolution clothed human digitization. In: ICCV (2019) [^56]: Saito, S., Yang, J., Ma, Q., Black, M.J.: SCANimate: Weakly supervised learning of skinned clothed avatar networks. In: CVPR (2021) [^57]: Spurr, A., Dahiya, A., Wang, X., Zhang, X., Hilliges, O.: Self-supervised 3D hand pose estimation from monocular RGB via contrastive learning. In: CVPR (2021) [^58]: Sridhar, S., Mueller, F., Zollhöfer, M., Casas, D., Oulasvirta, A., Theobalt, C.: Real-time joint tracking of a hand manipulating an object from RGB-D input. In: ECCV (2016) [^59]: Su, S.Y., Yu, F., Zollhöfer, M., Rhodin, H.: A-NeRF: Articulated neural radiance fields for learning human shape, appearance, and pose. In: NeurIPS (2021) ### [^60]: Sun, X., Xiao, B., Wei, F., Liang, S., Wei, Y.: Integral human pose regression. In: ECCV (2018) --- [^61]: Supančič, J.S., Rogez, G., Yang, Y., Shotton, J., Ramanan, D.: Depth-based hand pose estimation: methods, data, and challenges. IJCV (2018) [^62]: Tekin, B., Bogo, F., Pollefeys, M.: H+O: Unified egocentric recognition of 3D hand-object poses and interactions. In: CVPR (2019) [^63]: Tsoli, A., Argyros, A.A.: Joint 3D tracking of a deformable object in interaction with a hand. In: ECCV (2018) [^64]: Tzionas, D., Gall, J.: 3D object reconstruction from hand-object interactions. In: ICCV (2015) [^65]: Wang, J., Mueller, F., Bernard, F., Sorli, S., Sotnychenko, O., Qian, N., Otaduy, M.A., Casas, D., Theobalt, C.: RGB2Hands: Real-time tracking of 3D hand interactions from monocular RGB video. TOG (2020) [^66]: Wang, N., Zhang, Y., Li, Z., Fu, Y., Liu, W., Jiang, Y.G.: Pixel2Mesh: Generating 3D mesh models from single RGB images. In: ECCV (2018) [^67]: Wang, Y., Min, J., Zhang, J., Liu, Y., Xu, F., Dai, Q., Chai, J.: Video-based hand manipulation capture through composite motion control. TOG (2013) [^68]: Xiang, Y., Schmidt, T., Narayanan, V., Fox, D.: PoseCNN: A convolutional neural network for 6D object pose estimation in cluttered scenes. In: RSS (2018) [^69]: Xiong, F., Zhang, B., Xiao, Y., Cao, Z., Yu, T., Zhou, J.T., Yuan, J.: A2J: Anchor-to-joint regression network for 3D articulated pose estimation from a single depth image. In: ICCV (2019) [^70]: Xu, Q., Wang, W., Ceylan, D., Mech, R., Neumann, U.: DISN: Deep implicit surface network for high-quality single-view 3D reconstruction. In: NeurIPS (2019) [^71]: Yang, L., Zhan, X., Li, K., Xu, W., Li, J., Lu, C.: CPF: Learning a contact potential field to model the hand-object interaction. In: ICCV (2021) [^72]: Ye, Y., Gupta, A., Tulsiani, S.: What's in your hands? 3D reconstruction of generic objects in hands. In: CVPR (2022) [^73]: Zhang, H., Zhou, Y., Tian, Y., Yong, J.H., Xu, F.: Single depth view based real-time reconstruction of hand-object interactions. TOG (2021) [^74]: Zhou, Y., Habermann, M., Xu, W., Habibie, I., Theobalt, C., Xu, F.: Monocular real-time hand shape and motion capture using multi-modal data. In: CVPR (2020) [^75]: Zimmermann, C., Brox, T.: Learning to estimate 3D hand pose from single RGB images. In: ICCV (2017) ### [^76]: Zimmermann, C., Ceylan, D., Yang, J., Russell, B., Argus, M., Brox, T.: FreiHAND: A dataset for markerless capture of hand pose and shape from single RGB images. In: ICCV (2019) --- ### AlignSDF：用于手-物体重建的姿态对齐有符号距离场 ### 附录在本附录中，我们提供了实验设置的相关细节以及本方法的定性结果。我们首先在第A节介绍网络架构的细节；第B节则给出了训练与评估流程的补充实现细节；最后，我们在第C节展示并讨论额外的定性结果。 ### A 网络架构 ![Image](images/38c1be87c2708f6a9fab843b9a1ca1e9c411ea72478ed68acebd77b970e25f32.jpg)

Fig. A.1: Network architecture used for our hand and object SDF decoders. Following [^26], we also use five fully connected layers (marked in purple) for the SDF decoder. The number in the box denotes the dimension of features. $\vec{x}$ denotes the original 3D coordinate. $\vec{x}_{hc}$ and $\vec{x}_{oc}$ denote the transformed 3D coordinate in the hand and object canonical coordinate system, respectively.

遵循以往的研究[^21] [^26]，我们采用ResNet-18[^22]作为骨干网络。为了与先前的方法[^26]进行公平比较，如图A.1所示，我们还使用五个全连接层来估计查询点到手部表面或物体表面的有符号距离。SDF解码器以256维的图像特征和6维的点特征作为输入。图像特征由ResNet-18骨干网络提取。根据论文中的公式3和公式5，我们将原始的3D点$\vec{x}$转换为其在手部坐标系下的对应点$\vec{x}_{hc}$，或其在物体坐标系下的对应点$\vec{x}_{oc}$。随后，对于手部SDF解码器，我们通过拼接$\vec{x}$和$\vec{x}_{hc}$来构建点特征；对于物体SDF解码器，则通过拼接$\vec{x}$和$\vec{x}_{oc}$来构建点特征。 ### B 训练与评估我们采用以下数据增强方式训练所有模型：随机旋转输入图像以及相机坐标系中的3D点。通过实验我们发现， --- ![Image](images/f7b31b5a27d467d0da127d8c85d4322db223286ad40cc1306a7988e0850362c0.jpg)

Fig. C.1: Qualitative results of our method on the ObMan [^21] benchmark. Our method can produce convincing 3D reconstruction results even in cluttered scenes.

这种数据增强能够提升3D重建的性能。在ObMan数据集上的实验中，我们采用$[-45^{\circ}, 45^{\circ}]$旋转方式来随机增强训练样本[^21]；在DexYCB数据集上的实验中，则采用$[-15^{\circ}, 15^{\circ}]$旋转方式[^6]。我们将由MANO[^54]定义的手腕关节设为坐标系原点。训练时，我们使用固定的缩放因子，将数据集中所有位于手或物体网格内的负点缩放到单位立方体内。在ObMan和DexYCB数据集上，相应的缩放因子分别为7.02和6.21。为了评估关节重建的物理质量，我们报告了接触比（$C_r$）、穿透深度（$P_d$）以及相交体积（$I_v$）。我们使用trimesh库来检测手部网格与物体网格之间是否存在碰撞，并计算两个网格间的最大穿透深度。我们计算[^25]的过程与[^26]、$I_v$中描述的一致。 ### C 定性结果我们在图C.1中展示了ObMan数据集上的额外定性结果（[^21]），在图C.2中展示了DexYCB数据集上的结果（[^6]）。我们还在图C.3中分析了DexYCB数据集上的失败案例。从图C.1可以看出， --- ![Image](images/e7dfe7852f7be19dd53d2ba9ada434b3786e91c23d17d0c08965ea27eda51d4f.jpg)

Fig. C.2: Qualitative results of our method on the DexYCB [^6] benchmark. Our method can also produce realistic 3D reconstruction results for real scenes.

我们的方法能够处理各种类型的物体，并能还原手部与物体间的精细交互。在图C.2中，我们展示了该方法在DexYCB基准测试的真实图像上的定性结果。可以看出，该方法能够重建不同大小的物体，且通常能实现手部与物体的出色重建效果。尽管我们的方法在精度上较现有技术有显著提升，但在某些情况下仍未能达到令人满意的性能。图C.3展示了DexYCB数据集上的四个典型失败案例。如图C.3(a)所示，当手部或物体被严重遮挡时，我们的方法有时无法做出可靠的预测。图C.3(b)表明，输入图像中的运动模糊也可能干扰三维重建结果。如图C.3(c、d)所示，薄结构以及形状复杂的物体的重建仍然颇具挑战性。为解决这些问题，未来的研究 --- ![Image](images/be470c857e5596f74e01fa49fa324106e9f6599a3c1b423b8af3b30b03011951.jpg) ![Image](images/f9995fa33f56015d4554a2e0afb17e4e43877d1ddfddfd90cef0963525ea3317.jpg)

(a) Occlusion

![Image](images/754fae1780918c9915cb633caa1f163619085422cc0a16cd535fc8deb7e07be7.jpg) ![Image](images/8abe638c5c68650829866fa0ab8d2be402c9e37ec0b5ee6c52cfe638d8e83a7d.jpg)

(b) Motion Blur

![Image](images/60f5ceab05ea8d4bf65ef9c78825900b965b2c31b429c586f3ed542fc9887328.jpg)

![Image](images/5519f128be24baed06cc94314208fd2284768ea0df06dc1f8e77186fca8f66d5.jpg) 真实情况 ![Image](images/b459a2632b910c65ee172d930e05cbea1e313cb86fd4106ef57425f17605509b.jpg)

(d) Complex Details

![Image](images/95c5ba8cac3bcd514dc8873695a0d986424e276080dd4294e6845f00c62bf4b1.jpg)

Fig. C.3: Failure cases of our method on the DexYCB [^6] benchmark.

可以借助视频中的时序信息来过滤输入噪声，并获取更多关于三维场景的细节。