![Image](images/242fc9c5b3532f81d9f375c30533d81ba82dcb7a66591cb08dd7046c4e74c467.jpg) 研究论文 # ShapeGraFormer：基于GraFormer的单深度图手-物体重建网络 AHMED TAWFIK ABOUKHADRA $^{1,2}$、JAMEEL MALIK $^{1,3}$、NADIA ROBERTINI $^{1}$、AHMED ELHAYEK $^{4}$ 以及 DIDIER STRICKER $^{1,2}$ $^{1}$增强视觉小组，德国人工智能研究中心（DFKI），德国凯撒斯劳滕，邮编67663 $^{2}$计算机科学系，凯撒斯劳滕-兰道大学（RPTU），德国凯撒斯劳滕，邮编67663 $^{3}$电气工程与计算机科学学院（SEECS），国立科学技术大学（NUST），巴基斯坦伊斯兰堡，邮编44000 $^{4}$人工智能系，计算机与网络科学学院，穆格林王子大学（UPM），沙特阿拉伯麦地那，邮编42241 通讯作者：Ahmed Tawfik Aboukhadra () 本研究部分得到了德国联邦教育和研究部（BMBF）通过DECODE和GreifbAR项目提供的资助，项目编号分别为01IW21001和16SV8732。 ## 摘要 手-物体交互的3D重建对于模拟人类动作具有重要意义。大多数针对复杂物体操控场景的方法侧重于单独重建手部，而忽略了物体接触产生的物理和运动约束。一些方法通过联合重建3D手-物体交互来产生更真实的结果，但它们要么侧重于粗略的姿态估计，要么依赖于已知的手部及物体形状。我们提出了一种基于单张深度图实现逼真的3D手-物体形状和姿态重建的方法。与以往工作不同，我们的体素级重建网络能够回归手部和物体的顶点坐标，从而重建出更真实的交互效果。我们的流程还能预测体素化的手-物体形状，这些形状与输入的体素化深度图存在一一对应关系。随后，我们利用手部和物体形状的图结构特性，采用最新的GraFormer网络并借助位置嵌入功能，从模板网格中重建形状。此外，我们还验证了添加另一个GraFormer组件的效果——该组件能根据手-物体交互情况对重建形状进行优化，进而生成更精确的物体形状。基于上述贡献，我们将该系统命名为ShapeGraFormer。我们在HO-3D和DexYCB数据集上进行了广泛评估，结果表明该方法在手部重建方面优于现有方法，且能生成合理的物体重建结果。 关键词：计算机视觉、深度学习、图卷积网络、手-物体3D重建、姿态估计、Transformer。 ### 一、引言 理解和重建3D环境下的手-物体交互对于分析和模仿人类行为至关重要。逼真地建模手-物体交互在机器人、虚拟现实和增强现实等多个领域都有应用价值。过去十年间，3D手部姿态[^1]、[^2]、[^3]、[^4]、[^5]、[^6]、[^7]、[^8]、[^9]以及物体[^10]、[^11]、[^12]、[^13]、[^14]的重建技术取得了快速进展。 负责协调这篇手稿的评审并批准其发表的副编辑是 Davide Patti $^{ID}$。 单独进行估计的情况则有所不同。相比之下，从单目图像中同时重建手和物体所受到的关注较少。除了复杂的姿态变化、遮挡和自遮挡等常见问题外，用于重建紧密接触的手和物体的方法还必须应对相互遮挡的问题。现有针对复杂物体操作场景的方法往往仅专注于手的重建 [^15], [^16]。近期用于联合重建手和物体的方法，常常忽略了二者之间存在的固有运动学和物理相关性 [^17], [^18], [^19], [^20]。这类方法 --- 利用这种相互关系的做法通常侧重于粗略的姿态估计，或者假设手和物体的形状已知 [^21], [^22], [^23], [^24], [^25], [^26], [^27]。 在本文中，我们提出了首批能够从单个深度图联合重建物理上合理的手和物体形状的方法之一。与大多数方法不同，我们的方法能够直接回归网格顶点而非模型参数，从而可推广到不同的手部模型和未知的物体形状。由于我们在三维域中开展工作，因此避免了基于RGB图像的方法常见的透视失真和尺度模糊问题。我们深度网络的输入是给定深度图的3D体素化网格，该网格以手-物交互区域为中心。输出包括：(i)描述手-物姿态关键点位置的3D热图；(ii)体素化形式的手-物形状预测结果；以及(iii)对应的3D手-物网格顶点坐标。 为了有效解决手-物姿态和形状同时重建的问题，我们提出了一种基于图卷积网络和多头注意力层的新型架构。具体而言，我们引入了以下创新模块： 1) PoseNet与VoxelNet：分别用于手-物姿态和形状估计的两个3D到3D的体素化网络； 2) ShapeGraFormer：用于手-物形状重建的先进GraFormer（带图卷积层的Transformer）； 3) 基于手和物体模板网格的位置嵌入层； 4) 拓扑一致的物体网格配准机制，以实现最优的物体建模和形状预测； 我们验证了所选设计方案，并对我们的方法进行了定量和定性评估。正如挑战赛网站所报道的那样 [^28]，我们的方法在常用数据集上的表现优于以往的研究 [^29], $^{1}$，其形状重建精度较现有技术提升了0.43厘米。 ### 二、相关工作 在本节中，我们将讨论针对复杂单目物体操作场景中手-物联合重建的现有方法。关于单独重建手和物体的相关研究，可分别参考 [^9] 和 [^11]。 大多数从单目图像联合重建3D手物交互的方法，均采用单一的RGB [^20]、[^23]、[^24]、[^26]、[^27]、[^30]、[^31] 或 RGB+D 输入 [^17]、[^21]、[^22]。由于固有挑战，近期仅有极少数方法会考虑采用单一深度输入 [^32]、[^33]、[^34]。不过，深度信息的可用性是实现精准、符合比例且依赖场景的3D形状重建的关键因素，这类重建成果可应用于虚拟现实和增强现实领域，尤其适用于单帧、一次性处理的应用场景。而基于RGB的方法…… approaches can rely on large labeled data for training their models [^18], [^23], [^35], typically based on the MANO parametric hand model (hand Model with Articulated and Non-rigid defOrmations) [^36], methods that rely on the depth channel have access to only a limited amount of data, because labeling of real scenes in the 3D domain are impractical. For this reason, most depth as well as some RGB + D approaches build their synthetic datasets in an attempt to improve their results [^17], [^23], [^32], [^33], [^34]. Recently, some datasets have been introduced to bridge the gap between RGB and depth data availability, i.e., HO3D and DexYCB [^28], [^29]. Still, they only provide limited sample variation, especially in terms of number of objects considered. As a result, modeling and reconstructing the object of interaction remains an underconstrained, challenging problem. Many methods restrict themselves to objects with known shapes [^21], [^22] or reconstruct them on the fly, under certain object shape and visibility assumptions [^34], [^37], [^38]. The remaining approaches only output coarse object pose, e.g., represented with bounding boxes [^19], [^24], [^30], [^31]. Some more sophisticated methods, define a deformable object model, typically based on a 3D sphere, capable of coarsely adapting to virtually any convex shape [^20], [^23], [^37]. The resulting object reconstruction typically lacks surface details, due to over-smoothing. Nevertheless, we believe it to be a strong base with sufficient surface information to reliably reconstruct interactions with the hand surface. The remaining hand reconstruction as a standalone problem has been largely studied in the past [^39]. However, modeling and reconstructing 3D hand-object interactions is still very challenging, especially in a monocular setting due to the large mutual occlusions. To simplify the task, many approaches focus on fewer model parameter estimation [^23], [^26]. In contrast, we directly regress hand-object vertices, which makes our method capable to generalize to different models or geometries. While many approaches independently reconstruct hand and object before putting them in context [^23], [^26], our approach is designed to simultaneously regress hand-object geometries, thus allowing us to implicitly study the underlying physical and kinematic correlation existing among the two. Another advantage of direct vertex regression is the possibility of reconstructing extra, more realistic deformation, which cannot be synthesized via model-parameter tuning. In this case, to avoid distortions in the 3D reconstructions, though, particular care has to be given to the algorithm design, especially to the shape estimation components. To avoid perspective distortion from the start, we convert the input depth map to a 3D point cloud and base the remaining algorithmic steps on the corresponding voxelized domain, following the approach from Malik et al. [^9] (HandVoxNet). The core of our pipeline is based on a Graph Convolutional Network (GCN), which has been shown to effectively tackle shape reconstruction problems on graph-structured data, such as mesh topology [^40]. In contrast to the RGB-based approach by Aboukhadra et al. [^20] (THOR-Net), our depth-based --- 该方法能够一次性重建手与物体的几何形状，从而显著降低计算成本和训练时间。我们通过定性和定量分析证明了ShapeGraFormer组件的有效性——该组件结合了GCN和多头注意力层（详见[^41]），它不仅能同时重建手与物体的交互形态，还能实现形状优化。对于后者，我们验证了它在改善物理层面的手-物体交互方面的有效性：无需像以往研究那样依赖昂贵的物理仿真过程[^21]，也无需处理穿透和接触丢失问题[^23]、[^26]。 ### 三、方法 我们设计了基于体素的3D CNN以及ShapeGraFormer网络，以便从输入的深度图像中单次前向传播即可重建合理的3D手-物体形状。我们的流程如图1所示。在预处理阶段，我们将输入的深度图转换为体素形式$V_D$：具体做法是将原始深度图像像素投影到手-物体交互空间周围的立方二进制3D网格中，这一处理方式与[^9]中的方法类似。给定$V_D$后，流程中的第一个网络组件PoseNet会分别输出手和物体的3D姿态热图$\hat{P}^H$和$\hat{P}^O$，详见第III-B节。这些生成的热图会与$V_D$拼接后送入第二个网络组件VoxelNet，该组件会分别输出手和物体的体素化形状表示$\hat{V}^H$和$\hat{V}^O$，详见第III-C节。体素化后的深度数据$V_D$、中间体素化表示以及VoxelNet提取的特征会作为下一个网络组件ShapeGraFormer的输入，该组件会回归出拓扑一致的手和物体顶点，详见第III-D节。我们将在第下一节中介绍手模型和物体模型。 ### A. 手模型与物体模型 ## 1）手模型 为了表征手部，我们采用了MANO参数化手模型[^36]，该模型可将关节角度和形状参数映射为三角网格表示$S^H := \{\nu^H, f^H\}$：该网格包含$|\nu_H| = 778$个3D顶点，以及一组3D手骨骼关节$\mathcal{J}$，其中$|\mathcal{J}| = 21$代表手的姿态。 ## 2）物体模型 由于物体在形状和尺寸上存在巨大差异，若直接从一组拓扑不一致的网格中回归物体顶点，会导致输出结果包含大量噪声。为了将所有已知的物体几何形状统一为相同的拓扑一致表示$S^O := \{\nu^O, f^O\}$，我们通过一组顶点位移$D^j := \{d_i^j, \forall \nu_i^O\}$、缩放参数$c_j$和平移参数$t_j$来对源网格进行变形，从而近似所有目标物体$S^j$，公式如下： $$ S^{j}\sim c^{j}(S^{O}+D^{j})+t^{j},\forall j $$ 我们的源网格是一个球体：它是对半径为1、以原点为中心的正二十面体进行4次细分得到的，每次细分会在每个面上生成4个新面，最终共有$|\nu^O| = 2562$个顶点和$|f^O| = 5120$个面。物体姿态则由包含8个3D角点坐标的3D边界框来定义。 ## 3）物体近似流程 为了近似形状各异的物体，我们首先对目标网格 $(c^j)$ 进行缩放 $(t^j)$ 和平移 $S^j$，使其能装入球体内部。接着，为了学习位移集合 $D^i$，我们最小化预测网格与目标网格之间在总共 5,000 个表面样本上计算得到的倒角距离 $E^C$。我们还通过向目标函数中添加以下形状正则化项来确保表面的平滑性：(i) 表面拉普拉斯平滑度 $E^L$，用于保证相邻顶点之间的位置平滑；(ii) 相邻面之间的法线一致性 $E^N$；以及 (iii) 整个变形网格中的边长一致性 $E^E$，旨在最小化边长。我们利用随机梯度下降（SGD）来最小化下式中所有上述项的加权和。球形物体近似的完整实现可在 PyTorch3D 库中找到。$^2$ $$ E=w_{C}E^{C}+w_{L}E^{L}+w_{N}E^{N}+w_{E}E^{E} $$ ### B. PoseNet：3D姿态估计 我们网络流程的第一个组件 PoseNet，能够从输入的体素化深度图中同时估计3D手部关节位置和物体的3D边界框角点。我们对 [^42] 提出的 V2V-PoseNet 架构进行了改进，引入了一种新的 $1 \times 1 \times 1$ 体积卷积底层结构，旨在与3D手部姿态预测并行地预测3D物体姿态。输入的深度图会被转换为大小为 $V_D$ 的3D二值体素化表示 $88 \times 88 \times 88$。每个体素的值在被占据时设为1，否则为0，即 $V_D \in \{0, 1\}$。立方体尺寸被固定为经验得出的 200 毫米。网络的输出包含一组3D热图：(i) 每组对应一个手部关节坐标 $\hat{P}_j^H(v)$；(ii) 每组对应一个物体边界框角点坐标 $\hat{P}_b^O(v)$。所有热图都在大小为 $44 \times 44 \times 44$ 的网格上离散化。真实热图 $P_j^H(v)$ 和 $P_b^O(v)$ 是通过以真实位置为中心、采用固定标准差的3D高斯函数生成的。预测热图与目标热图之间的训练损失通过均方误差（MSE）来计算： $$ \mathcal{L}_{p o s e}=\sum_{\nu}\sum_{j=1}^{|J|}{||\hat{\boldsymbol{P}}_{j}^{H}-\boldsymbol{P}_{j}^{H}||}+\sum_{b=1}^{|B|}{||\hat{\boldsymbol{P}}_{b}^{O}-\boldsymbol{P}_{b}^{O}||} $$ 其中 J = 21 表示手部关节数量，B = 8 表示物体角点数量。为简洁起见，上式中省略了所有与体素 v 相关的依赖项。 --- ![Image](images/5ef306cbb478b420aa813504557f015afbb99d9264ee1f8558abc169a566b03e.jpg)
FIGURE 1. Overview of our pipeline. Our method takes as input a single depth image that is converted to a 3D voxelized representation and outputs 3D realistic hand-object interactions. The input depth is first forwarded through a sequence of three components, namely PoseNet, VoxelNet, and ShapeGraFormer, predicting respectively hand-object pose heatmaps, voxelized shape representations, and topologically-consistent shapes.
### C. VoxeLNet：3D体素化形状 给定 $V_D$、$\hat{P}^H$ 和 $\hat{P}^O$，我们流程的第二个组件 VoxelNet 会为网格中所有存在的体素 $\hat{V}^H(\nu)$ 预测手部和物体的体素化形状 $\hat{V}^O(\nu)$ 和 $\nu$。VoxelNet 基于3D CNN的架构受到了 Malik 等人 [^9] 研究的启发。我们新增了一个3D卷积层来预测体素化的物体形状。正如先前研究中所做的那样，我们定义的体素化手部和物体形状的范围为 [^0] [^1]。预测的体素化形状代表了手部和物体的完整表面表示，包括可见和遮挡的表面信息，这些信息是从数据集中学习得到的。因此，它为后续的算法步骤提供了更丰富的信息。 $$ \mathcal{L}_{voxel}^{H}(v)=-(V^{H}log(\hat{V}^{H})+(1-V^{H})log(1-\hat{V}^{H})) $$ shape): 为了训练 VoxelNet，我们针对体素化的手部形状采用逐体素组合 sigmoid 激活函数与二元交叉熵损失（对于体素化的物体而言同理，其中 $V^{H}$ 和 $\hat{V}^{H}$ 分别为真实值和估计的体素化手部及物体形状）。 ### D. SHAPEGRAFORMER 为了获得拓扑一致的手部与物体网格表示，我们利用从VoxelNet得到的体素化手部及物体预测结果，训练全新的ShapeGraFormer $^{[41]}$。ShapeGraFormer包含图卷积层和多头注意力层，能够将深度特征转化为手部与物体的姿态和形状。尽管GraFormer最初的设计目的是将2D姿态升维为3D，但其架构结合了图卷积网络与Transformer的优势，因而能够有效解决任何可表示为图的问题。 --- ![Image](images/6d69da2f99824ee8ac7713353b2d78008318b388a882caa00f58537e6f0bda50.jpg)
FIGURE 2. The complete collection of our sphere-based object approximations used as ground-truth.
由于手部和球形物体具有一致的拓扑结构，因此均可表示为图。基于此，在我们的方法中，采用了三个独立的GraFormer，即手部GraFormer、物体GraFormer以及细化GraFormer，同时配备两个特征提取器：手部特征提取器和物体特征提取器，具体描述见下一小节。 具体而言，网络会分别输出来自MANO手部模型的手部-物体顶点坐标$\nu^H$和基于球面的物体近似形状的顶点坐标$\nu^O$，即$S^H$和$S^O$。训练时采用均方误差来定义手部与物体顶点的损失： $$ \mathcal{L}_{s h a p e}=\frac{\sum_{i}(v_{i}^{H}-\hat{v}_{i}^{H})^{2}}{|\nu^{H}|}+\frac{\sum_{j}(v_{j}^{O}-\hat{v}_{j}^{O})^{2}}{|\nu^{O}|} $$ 其中，$\hat{v}_i^H$和$v_i^H$分别为第i个预测手部顶点坐标和对应的真实值，而$\hat{v}_j^O$和$v_j^O$则分别为预测的物体顶点坐标和真实值。 ## 1) 特征提取器与图初始化 在图初始化阶段，我们使用VoxelNet的输出以及原始体素化深度数据，如图1所示。具体来说，我们从VoxelNet中提取特征图$\mathcal{F}_V$，并将其传入多层感知机，将其转换为大小为256的特征向量。此外，我们还利用简单的3D CNN从体素化形状中提取特征，并将其压缩为128维特征。随后，通过3D最大池化层将原始体素化深度数据的尺寸从$44 \times 44 \times 44$缩减为$11 \times 11 \times 11$，最终得到1331维的特征向量。这些特征被合并后形成大小为1715的手部特征向量$\mathcal{F}_{1715}^H$，用于初始化图顶点，如图1所示。对物体顶点也执行相同的操作，从而得到$\mathcal{F}_{1715}^O$。为了初始化图的邻接矩阵 ![Image](images/d449b08a64478744cb9297230db0e151d6a40175601e073a3969e733078e32af.jpg)
FIGURE 3. Illustration of the GraFormer architecture.
中的各层，我们采用了MANO模型的网格面以及第III-A节中描述的球面网格面。 ## 2) 位置嵌入 为了为图中的每个顶点生成独特的特征，我们提出了一种位置嵌入层，它可将手部和物体的模板网格顶点转换为与特征向量尺寸相同的位置向量$\mathcal{E}_i^p$，其中i为组合后的手-物图中第i个顶点的索引。随后，根据第i个顶点属于手部还是物体，将位置向量$\mathcal{E}_i^p$与共享特征向量$\mathcal{F}_{1715}^H$、$\mathcal{F}_{1715}^O$相加，从而为每个顶点创建唯一的表示。对于手部网格，我们采用默认的MANO手部模型作为模板；而对于物体网格，则使用用于物体变形的球体，详见第III-A节。 ## 3) GraFormer细节 每个GraFormer由五个连续的GraAttention组件构成，随后是切比雪夫图卷积层，相关内容如[^41]所述，也如图3所示。一个GraAttention组件包含一个多头注意力层，其隐藏维度为128，注意力头数为4；这一设置源自[^41]中提到的消融实验，该实验研究了GraFormer中隐藏维度大小与层数对姿态估计的影响。与普通Transformer相比，GraFormer中多头注意力层的最后一个全连接层是图卷积层，而非前馈层。GraFormer还包含一个输入层，用于将特征向量映射到隐藏维度大小；以及一个输出层，用于将隐藏维度映射为图中每个顶点对应的3D坐标值。 ## 4）精细化GraFormer 为了提升预测物体形状的真实感并修正其中的细微形状相关瑕疵，我们添加了另一个用于精细化的GraFormer。我们将Hand和Object GraFormer生成的初始形状作为输入，送入另一个位置嵌入层，同时利用$\mathcal{F}_{1715}^{H}$和$\mathcal{F}_{1715}^{O}$来初始化新图。若在训练阶段使用精细化GraFormer，我们会得到两组独立的… --- 体素化深度 仅手部 重建后的形状 ![Image](images/c657ddcdc738460869c3b204b2d2dadebf8f3056365d3611e05ee98c319f7fe3.jpg) 重建形状叠加图（真实值+预测值） 3D姿态 叠加图（真实值+预测值） 2D姿态 手部+物体 仅物体
FIGURE 4. Reconstruction results at different steps. Each row shows a different sample from $\mathcal{D}^{valid}$ or $\mathcal{D}^{eval}$ from HO-3D (v3).
--- 投影后的形状 预测结果（蓝色）与THOR-Net（紫色）的叠加图 ![Image](images/141604a32ee508cbc87253f599d035e3dac2915afe64d11a94d92a4b92cda7b7.jpg)
FIGURE 5. Comparison of our hand-object reconstruction with the THOR-Net pipeline on the evaluation set $\mathcal{D}^{eval}$. Our hand-object reconstruction approach is shown to generate more accurate hand and object shapes.
将ShapeGraFormer输出的形状代入，并对两者应用III-D节中提到的同一损失函数。 ### E. 训练与实现细节 我们在标注完整的公开手-物姿态与形状数据集上训练网络的所有组件，即HO-3D [^28]和DexYCB [^29]。训练时采用Adam [^43]优化器，学习率设为0.001。为了提升收敛效率，我们先单独训练PoseNet，固定其权重后再训练网络的其余组件。所有学习与推理过程均在PyTorch中实现，并在NVIDIA A100 GPU上完成。 ### IV. 实验 在本节中，我们针对两个常用数据集——HO-3D数据集（v2和v3版本）[^28]与DexYCB [^29]，从定量和定性两个角度评估我们的3D手-物重建流程的有效性。我们还在第IV-B节中将我们的流程与现有最先进方法进行了比较。在定量评估与对比中，我们使用以下两项指标：(i) 平均3D关节位置误差（$\mathcal{J}$误差）；(ii) 所有测试帧上的平均3D顶点位置误差（$\mathcal{V}$误差）。 ### A. 数据集 ## 1）HO-3D HO-3D数据集[^28]是一个公开可用的数据集，包含从第三人称视角拍摄的、手与物体交互的3D姿态标注。该数据集有多个版本，我们报告了在数据集v2和v3上的实验结果。对于HO-3D（v3）而言，训练集$\mathcal{D} := \{\mathcal{D}^{train}, \mathcal{D}^{valid}\}$包含$|\mathcal{D}^{train}| = 71,662$张和$|\mathcal{D}^{valid}| = 10,927$张图像的标注，共计55个序列以及来自YCB-Video数据集的10种不同物体[^44]，其中9种用于训练集，1种（未见过的）用于评估集。评估集$\mathcal{D}^{eval}$包含13个序列，总计$|\mathcal{D}^{eval}| = 20,137$帧，涵盖了具有挑战性的场景：即(i) 3个序列，涉及2种已见过的物体和已见过的手；(ii) 5个序列，涉及1种已见过的物体但手为未见过的；以及(iii) 5个序列，涉及已见过的手但物体为未见过的。评估集中的手仅标注了腕部坐标，而整只手并未被标注。所有可用数据集中均标注了物体的姿态和形状。 ## 2) DexYCB 为了扩展我们的评估范围，我们也在Dex YCB数据集上训练我们的网络[^29]。Dex YCB包含针对10名不同受试者的582k帧图像的手部姿态、形状以及6D物体姿态标注，使用的物体有20种，拍摄视角有8种。我们采用作者指定的S1评估设置，其中$\mathcal{D}^{valid}$包含1名未见过的受试者，$\mathcal{D}^{eval}$包含2名未见过的受试者，而$\mathcal{D}^{train}$包含7名受试者以及所有不同的物体。具体的划分规模为：$|\mathcal{D}^{train}| = 407,088,|\mathcal{D}^{valid}| = 58,592,$和$|\mathcal{D}^{eval}| = 116,288.$。 在下一节中，我们将展示这两个数据集在$\mathcal{D}^{eval}$上的结果。 ### B. 评估 在本节中，我们评估手-物体形状和姿态重建效果，并将其在具有挑战性的场景中与最先进的方法进行比较。 ## 1) 用于比较的方法 我们在HO-3D数据集上对我们的方法与六种不同方法进行了定量比较。Hasson等人[^23]的研究以及THOR-Net[^20]在目标上与我们的研究最为相关。不过，由于它们侧重于RGB输入，因此比较是按比例进行的。另一方面，Malik等人[^9]的研究基于深度输入，其基于体素的网络流程与我们设计的类似。不过，他们忽略了物体的存在，仅孤立地重建手部。为了完整性，我们纳入了Hampali等人[^28]的代表性RGB基手部重建方法，以及ArtiBoost[^31]。为了公平比较，所有方法都在HO-3D数据集上进行了（重新）训练。前两种方法提供了公开可用的结果（仅手部），我们在表1中予以报告。我们按照作者的说明重新实现了HandVoxNet，并在HO-3D上训练了所有网络组件。除此之外，我们还在表2中报告了相对于根部的姿态估计误差，并将其与DexYCB作者提到的两种基准方法进行比较。我们还在图6中展示了来自DexYCB的手部重建定性样本。 ## 2) 手部重建 对手部姿态和形状重建的定量评估表明，我们的方法优于现有方法。 --- 体素化深度 重建后的形状 重建后的形状叠加（真实值+预测值） 3D姿态 叠加（真实值+预测值） 2D姿态 ![Image](images/c140be2f0469edb9da6d87e5484fc7a673cba000f4d3501660920c0fe5e3c555.jpg) 图6. 不同步骤下的重建结果。每一行展示了来自DexYCB数据集的$\mathcal{D}^{eval}$的不同样本。
TABLE 1. Quantitative results on the evaluation set $\mathcal{D}^{eval}$ of HO-3D [^28] dataset. Upper table: HO-3D (v2), lower table: HO-3D (v3).
Method$\mathcal{J}$ err. (cm)$\mathcal{V}$ err. (cm)
Hampali et al. [^28]8.428.34
Hasson et al. [^23]4.974.96
HandVoxNet [^9]2.772.67
HandVoxNet++ [^40]2.462.70
THOR-Net [^20]2.632.63
Ours (hand-object, w/ contact loss)2.272.20
Ours (hand-only, w/o refinement)2.132.07
ArtiBoost [^31]2.2610.95
THOR-Net [^20]2.562.37
Ours (hand-object, w/ refinement)2.152.09
Ours (hand-only, w/ refinement)2.001.94
Ours (hand-only, w/o refinement)1.991.94
参见表1以及图4、图5。与现有最先进方法相比，我们的姿态和形状预测误差分别降低了0.27厘米和0.43厘米。实验表明，仅训练用于手部重建的网络而不进行物体重建，也能提升手部重建效果；如表1所示，细化阶段对手部重建并无影响。然而，手部和物体的联合训练效果优于其他方法。图5展示了我们与THOR-Net在具有挑战性的评估序列中的几帧结果对比。与THOR-Net相比，我们的方法能重建出更精确的手部形状，因为它更好地利用了手与物体之间的运动学相关性和深度信息。这些信息是在同时预测两者交互形状时隐式学习得到的。在表2中，我们显示与DexYCB数据集上的基准结果相比，手部姿态估计误差降低了0.53厘米。图6也展示了DexYCB数据集上未使用额外细化网络的定性重建结果。 ## 3) 物体重建 我们发现拓扑一致性是ShapeGraFormer能够在所有序列中预测平滑顶点点云的关键因素，无需额外的平滑约束，详见图4。基于球体的近似处理之后，所有物体都具有相同的拓扑结构和顶点数量。我们认为所选的球体分辨率在近似质量和顶点数量之间取得了良好的平衡。基于球体的近似会隐式修复目标物体形状中的不规则之处，因此最适合用于手-物预测，不过代价是会使尖锐边缘和细微表面细节过于平滑，详见图2。 ---
TABLE 2. Root-relative hand pose estimation results on $\mathcal{D}^{eval}$ of DexYCB [^29] dataset (S1) in comparison to benchmark results.
Method$\mathcal{J}$ err. (cm)$\mathcal{V}$ err. (cm)
A2J [^45]2.55-
Spurr et al. [^46]2.27-
Ours1.742.65
Mean Per Object Reconstruction Error (mm)
![Image](images/825c0379a838f11c99f62f3b586ee4fa8334741a6a7c6b1ac4ddeb99722bf70d.jpg)
FIGURE 7. Object reconstruction error ( $\mathcal{V}$ err. in mm) on different objects from $\mathcal{D}^{valid}$ and $\mathcal{D}^{eval}$ of HO-3D. The results show that adding a refinement GraFormer improves object reconstruction.
注册完成后，所有物体共享相同的拓扑结构和顶点数量。我们认为所选的球体分辨率在近似质量和顶点数量之间取得了良好的平衡。基于球体的近似会隐式修复目标物体形状中的不规则之处，因此最适合用于手-物预测，不过代价是会使尖锐边缘和细微表面细节过于平滑，详见图2。 我们在HO-3D数据集的$\mathcal{D}^{valid}$和$\mathcal{D}^{eval}$上评估物体重建效果，详见图7和表3，也在DexYCB数据集上进行了评估，详见图6。额外的手-物细化步骤降低了所有物体的重建误差。这表明细化网络利用手部信息来提升物体重建效果。我们注意到，即使输入的姿态预测存在误差，我们的方法仍能恢复出平滑的物体形状，详见图4。与THOR-Net相比，我们的方法往往会使物体边缘过于平滑，详见图5，这可能是由于简化的重建方法所致。
TABLE 3. Object's reconstruction error ( $\mathcal{V}$ err. (cm)) on a selected set of objects from HO-3D and DexYCB.
BottleBoxCanMarkerWood
$\mathcal{V}$ err. (cm)5.96.47.09.711.5
### C. 消融研究 为了验证我们对ShapeGraFormer的设计选择，我们开展了消融研究，以分析$\mathcal{F}_{1715}^{H}$的模态以及GraFormer内部层的选择，并探究其对手部重建的影响。表4中的消融研究表明，将体素化深度$V_{D}$、$\mathcal{F}_{V}$和$\hat{V}^{H}$作为ShapeGraFormer的输入时，能得到最佳结果。此外，在GraFormer的设计中结合图层和Transformer对于实现最佳性能至关重要。
TABLE 4. Top: An ablation study on the modality of $\mathcal{F}_{1715}^{H}$. Bottom: An ablation study on the GraFormer design choice.
Experiment$\mathcal{J}$ err. (cm)$\mathcal{V}$ err. (cm)
ShapeGraFormer (w/o $V_D$)2.012.06
ShapeGraFormer (w/o $\mathcal{F}_V$)2.052.01
ShapeGraFormer (w/o $\hat{V}^H$)2.001.95
ShapeGraFormer (w/ $V_D \oplus \mathcal{F}_V \oplus \hat{V}^H$)1.991.94
ShapeGraFormer (w/o GCN)19.3219.36
ShapeGraFormer (w/o Transformer)2.062.01
ShapeGraFormer (w/ GCN + Transformer)1.991.94
## 1) 接触损失：避免穿透与强制接触 我们测试了可微接触损失的影响，该损失由吸引力项$\mathcal{L}_{attraction}$和排斥力项$\mathcal{L}_{repulsion}$组成，这与Hasson等人的研究类似[^23]。$\mathcal{L}_{attraction}$旨在通过惩罚物体与指尖之间的距离来强制实现手与物体的接触，而$\mathcal{L}_{repulsion}$则用于惩罚网格相互穿透的情况。如表1所示，新增的这项损失项并未带来显著的性能提升。这表明我们独立的Refinement GraFormer组件已经能够隐式且成功地学习到有效的手-物交互模式。 ### 五、结论 在本文中，我们提出了首批能够从单张深度图实现逼真手-物姿态与形状重建的方法之一。我们提出了一种新颖的基于3D体素的GraFormer网络流程，通过直接回归网格顶点来重建精细的3D形状。我们通过消融实验验证了设计选择的有效性，以及利用GCN与Transformer相结合在手-物形状估计与优化中的优势。我们在HO-3D数据集[^28]和DexYCB数据集[^29]上进行了定量与定性分析，结果显示我们的方法相较于现有最先进方法具有显著优势。在未来的工作中，我们计划解决标注不准确等局限性问题；此外，我们还将研究RGB+D方法，以充分利用RGB图像中的额外特征。 ## 参考文献 [^1]: J. Malik, A. Elhayek, F. Nunnari, K. Varanasi, K. Tamaddon, A. Heloir, and D. Stricker, “DeepHPS: End-to-end estimation of 3D hand pose and shape by learning from synthetic depth,” in Proc. Int. Conf. 3D Vis. (3DV), Sep. 2018, pp. 110–119. [^2]: J. Malik, A. Elhayek, and D. Stricker, "Structure-aware 3D hand pose regression from a single depth image," in Proc. Int. Conf. Virtual Reality Augmented Reality (EuroVR), 2018, pp. 3–17. ## [^3]: L. Ge, Z. Ren, Y. Li, Z. Xue, Y. Wang, J. Cai, and J. Yuan, "3D hand shape and pose estimation from a single RGB image," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2019, pp. 10825–10834 --- [^4]: D. Kulon, R. A. Güler, I. Kokkinos, M. M. Bronstein, and S. Zafeiriou, “Weakly-supervised mesh-convolutional hand reconstruction in the wild,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2020, pp. 4989–4999. [^5]: X. Zhang, Q. Li, H. Mo, W. Zhang, and W. Zheng, “End-to-end hand mesh recovery from a monocular RGB image,” in Proc. IEEE/CVF Int. Conf. Comput. Vis. (ICCV), Oct. 2019, pp. 2354–2364. [^6]: J. Yang, H. J. Chang, S. Lee, and N. Kwak, “SeqHAND: RGB-sequence-based 3D hand pose and shape estimation,” in Proc. Eur. Conf. Comput. Vis. (ECCV), 2020, pp. 122–139. [^7]: J. Malik, A. Elhayek, and D. Stricker, “WHSP-Net: A weakly-supervised approach for 3D hand shape and pose recovery from a single depth image,” Sensors, vol. 19, no. 17, p. 3784, Aug. 2019. [^8]: Y. Zhou, M. Habermann, W. Xu, I. Habibie, C. Theobalt, and F. Xu, “Monocular real-time hand shape and motion capture using multi-modal data,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2020, pp. 5345–5354. [^9]: J. Malik, I. Abdelaziz, A. Elhayek, S. Shimada, S. A. Ali, V. Golyanik, C. Theobalt, and D. Stricker, "HandVoxNet: Deep voxel-based network for 3D hand shape and pose estimation from a single depth map," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2020, pp. 7111–7120. [^10]: D. Tzionas and J. Gall, "3D object reconstruction from hand-object interactions," in Proc. IEEE Int. Conf. Comput. Vis. (ICCV), Dec. 2015, pp. 729–737. [^11]: B. Tekin, S. N. Sinha, and P. Fua, “Real-time seamless single shot 6D object pose prediction,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., Jun. 2018, pp. 292–301. [^12]: H. Wang, S. Sridhar, J. Huang, J. Valentin, S. Song, and L. J. Guibas, "Normalized object coordinate space for category-level 6D object pose and size estimation," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2019, pp. 2637–2646. [^13]: S. Peng, Y. Liu, Q. Huang, X. Zhou, and H. Bao, “PVNet: Pixel-wise voting network for 6DoF pose estimation,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2019, pp. 4556–4565. [^14]: C. Wang, R. Martín-Martín, D. Xu, J. Lv, C. Lu, L. Fei-Fei, S. Savarese, and Y. Zhu, “6-PACK: Category-level 6D pose tracker with anchor-based keypoints,” in Proc. IEEE Int. Conf. Robot. Autom. (ICRA), May 2020, pp. 10059–10066. [^15]: F. Mueller, D. Mehta, O. Sotnychenko, S. Sridhar, D. Casas, and C. Theobalt, “Real-time hand tracking under occlusion from an egocentric RGB-D sensor,” in Proc. IEEE Int. Conf. Comput. Vis. (ICCV), Oct. 2017, pp. 1163–1172. [^16]: S. Baek, K. I. Kim, and T.-K. Kim, “Weakly-supervised domain adaptation via GAN and mesh model for estimating 3D hand poses interacting objects,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2020, pp. 6120–6130. [^17]: S. Sridhar, F. Mueller, M. Zollhöfer, D. Casas, A. Oulasvirta, and C. Theobalt, “Real-time joint tracking of a hand manipulating an object from RGB-D input,” in Proc. Eur. Conf. Comput. Vis. (ECCV), 2016, pp. 294–310. [^18]: F. Mueller, F. Bernard, O. Sotnychenko, D. Mehta, S. Sridhar, D. Casas, and C. Theobalt, “GANerated hands for real-time 3D hand tracking from monocular RGB,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., Jun. 2018, pp. 49–59. [^19]: B. Doosti, S. Naha, M. Mirbagheri, and D. J. Crandall, “HOPE-Net: A graph-based model for hand-object pose estimation,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2020, pp. 6607–6616. [^20]: A. T. Aboukhadra, J. Malik, A. Elhayek, N. Robertini, and D. Stricker, "THOR-Net: End-to-end graformer-based realistic two hands and object reconstruction with self-supervision," in Proc. IEEE/CVF Winter Conf. Appl. Comput. Vis. (WACV), Jan. 2023, pp. 1001–1010. [^21]: D. Tzionas, L. Ballan, A. Srikantha, P. Aponte, M. Pollefeys, and J. Gall, “Capturing hands in action using discriminative salient points and physics simulation,” Int. J. Comput. Vis., vol. 118, no. 2, pp. 172–193, Jun. 2016. [^22]: A. Tsoli and A. A. Argyros, “Joint 3D tracking of a deformable object in interaction with a hand,” in Proc. Eur. Conf. Comput. Vis. (ECCV), 2018, pp. 484–500. [^23]: Y. Hasson, G. Varol, D. Tzionas, I. Kalevatykh, M. J. Black, I. Laptev, and C. Schmid, “Learning joint reconstruction of hands and manipulated objects,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2019, pp. 11799–11808. [^24]: B. Tekin, F. Bogo, and M. Pollefeys, “H+O: Unified egocentric recognition of 3D hand-object poses and interactions,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2019, pp. 4506–4515. [^25]: H. Zhang, Z.-H. Bo, J.-H. Yong, and F. Xu, “InteractionFusion: Real-time reconstruction of hand poses and deformable objects in hand-object interactions,” ACM Trans. Graph., vol. 38, no. 4, pp. 1–11, Aug. 2019. [^26]: Z. Cao, I. Radosavovic, A. Kanazawa, and J. Malik, “Reconstructing hand-object interactions in the wild,” in Proc. IEEE/CVF Int. Conf. Comput. Vis. (ICCV), Oct. 2021, pp. 12397–12406. [^27]: Y. Hasson, B. Tekin, F. Bogo, I. Laptev, M. Pollefeys, and C. Schmid, "Leveraging photometric consistency over time for sparsely supervised hand-object reconstruction," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2020, pp. 568–577. [^28]: S. Hampali, M. Rad, M. Oberweger, and V. Lepetit, “HOnnotate: A method for 3D annotation of hand and object poses,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2020, pp. 3193–3203. [^29]: Y.-W. Chao, W. Yang, Y. Xiang, P. Molchanov, A. Handa, J. Tremblay, Y. S. Narang, K. Van Wyk, U. Iqbal, S. Birchfield, J. Kautz, and D. Fox, "DexYCB: A benchmark for capturing hand grasping of objects," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2021, pp. 9040–9049. [^30]: S. Hampali, S. D. Sarkar, M. Rad, and V. Lepetit, “Keypoint transformer: Solving joint identification in challenging hands and object interactions for accurate 3D pose estimation,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2022, pp. 11080–11090. [^31]: L. Yang, K. Li, X. Zhan, J. Lv, W. Xu, J. Li, and C. Lu, “ArtiBoost: Boosting articulated 3D hand-object pose estimation via online exploration and synthesis,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2022, pp. 2740–2750. [^32]: M. Oberweger, P. Wohlhart, and V. Lepetit, "Generalized feedback loop for joint hand-object pose estimation," 2019, arXiv:1903.10883. [^33]: J. Chen, M. Yan, J. Zhang, Y. Xu, X. Li, Y. Weng, L. Yi, S. Song, and H. Wang, "Tracking and reconstructing hand object interactions from point cloud sequences in the wild," 2022, arXiv:2209.12009. [^34]: H. Zhang, Y. Zhou, Y. Tian, J.-H. Yong, and F. Xu, “Single depth view based real-time reconstruction of hand-object interactions,” ACM Trans. Graph., vol. 40, no. 3, pp. 1–12, Jun. 2021. [^35]: G. Garcia-Hernando, S. Yuan, S. Baek, and T.-K. Kim, “First-person hand action benchmark with RGB-D videos and 3D hand pose annotations,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., Jun. 2018, pp. 409–419. [^36]: J. Romero, D. Tzionas, and M. J. Black, “Embodied hands: Modeling and capturing hands and bodies together,” ACM Trans. Graph., vol. 36, no. 6, p. 245, 2017. [^37]: T. Groueix, M. Fisher, V. G. Kim, B. C. Russell, and M. Aubry, “A papier-mache approach to learning 3D surface generation,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., Jun. 2018, pp. 216–224. [^38]: H. Kato, Y. Ushiku, and T. Harada, “Neural 3D mesh renderer,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., Jun. 2018, pp. 3907–3916. [^39]: L. Huang, B. Zhang, Z. Guo, Y. Xiao, Z. Cao, and J. Yuan, “Survey on depth and RGB image-based 3D hand shape and pose estimation,” Virtual Reality Intell. Hardw., vol. 3, no. 3, pp. 207–234, Jun. 2021. [^40]: J. Malik, S. Shimada, A. Elhayek, S. A. Ali, C. Theobalt, V. Golyanik, and D. Stricker, “HandVoxNet++: 3D hand shape and pose estimation using voxel-based neural networks,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 44, no. 12, pp. 8962–8974, Dec. 2022. [^41]: W. Zhao, W. Wang, and Y. Tian, “GraFormer: Graph-oriented transformer for 3D pose estimation,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2022, pp. 20406–20415. [^42]: J. Y. Chang, G. Moon, and K. M. Lee, “V2V-PoseNet: Voxel-to-voxel prediction network for accurate 3D hand and human pose estimation from a single depth map,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., Jun. 2018, pp. 5079–5088. [^43]: D. P. Kingma and J. Ba, “Adam: A method for stochastic optimization,” in Proc. Int. Conf. Learn. Represent. (ICLR), 2015. [^44]: Y. Xiang, T. Schmidt, V. Narayanan, and D. Fox, “PoseCNN: A convolutional neural network for 6D object pose estimation in cluttered scenes,” in Proc. Robot., Sci. Syst. XIV, Jun. 2018. [^45]: F. Xiong, B. Zhang, Y. Xiao, Z. Cao, T. Yu, J. T. Zhou, and J. Yuan, "A2J: Anchor-to-joint regression network for 3D articulated pose estimation from a single depth image," in Proc. IEEE/CVF Int. Conf. Comput. Vis. (ICCV), Oct. 2019, pp. 793–802. ## [^46]: A. Spurr, U. Iqbal, P. Molchanov, O. Hilliges, and J. Kautz, “Weakly supervised 3D hand pose estimation via biomechanical constraints,” in Proc. Eur. Conf. Comput. Vis. (ECCV), 2020, pp. 211–228 --- ![Image](images/468be984813b715d3050f68ed778f843cdfd120e74d526e98ceaac56eedf0fbe.jpg) Ahmed Tawfik Aboukhadra于2019年在埃及开罗的德国大学获得计算机科学学士学位，2021年在荷兰马斯特里赫特大学获得人工智能硕士学位。他目前正在攻读博士学位。他是DFKI增强视觉小组以及莱茵兰-普法尔茨应用技术大学凯撒斯劳滕-兰道分校的研究员。他的研究方向包括基于深度学习的手-物3D重建。 ![Image](images/737d9bb2e655ede3ac77cea7b70ae17d8099102f09a9a51563553d1e3e870b56.jpg) Jameel Malik在巴基斯坦国立科学技术大学电气工程与计算机科学学院获得电气工程硕士学位，并于2020年在凯撒斯劳滕工业大学获得计算机科学博士学位，其博士研究内容为基于深度的3D手姿态与形状估计。他现任NUST电气工程与计算机科学学院的助理教授及兼职博士后研究员。他目前是德国人工智能研究中心（DFKI GmbH）凯撒斯劳滕分部增强视觉小组的博士后研究员。他当前的研究兴趣包括计算机视觉、深度学习及其应用。 Nadia Robertini在德国萨尔大学获得视觉计算硕士学位，2019年于萨尔布吕肯的马克斯·普朗克计算机研究所获得博士学位，其博士研究内容为全身3D人体动作捕捉。她目前是德国人工智能研究中心（DFKI GmbH）凯撒斯劳滕分部增强视觉小组的博士后研究员。她当前的研究兴趣包括计算机视觉， ![Image](images/161ab69d1cc2116b93bd9b138127f3ef852b5dd104d0176a9ee28a029c345d65.jpg) 机器学习以及人体动作捕捉。 ![Image](images/f501da5fab37acb35c82cf2a7773efe49212483d15e9046c1e99cfeb5eb62323.jpg) 艾哈迈德·埃尔哈耶克于2010年在德国萨尔大学获得硕士学位，并于2015年从马克斯·普朗克研究所和萨尔大学获得博士学位。他曾作为博士后研究员在德国人工智能研究中心（DFKI）的增强视觉小组工作。2018年，他加入穆格林王子大学计算机与网络科学系担任助理教授。2019年，他创立了该校的人工智能系。他目前担任人工智能系主任。 ![Image](images/c878f8fe0215c4a47a231626d2e82654467449e0089b8415ae2771ba6d8ec157.jpg) 迪迪埃·斯特里克尔现任凯泽斯劳滕大学计算机科学教授，同时担任德国人工智能研究中心的科学主任，负责领导该中心的增强视觉研究小组。他的研究方向包括认知接口、用户监测与体内传感器网络、计算机视觉、视频/图像分析以及人机交互。他于2006年获得德国计算机学会颁发的创新奖，还因在不同会议上发表的优秀论文或演示作品多次获奖。他担任多家欧洲及国家级科研机构的评审员，同时也是VR/AR和计算机视觉领域多家期刊及会议的审稿人。