# THOR-Net：基于Graformer的端到端真实双手与物体重建，结合自监督机制艾哈迈德·陶菲克·阿布卡德拉 $^{1,2}$、贾米尔·马利克 $^{1,3}$、艾哈迈德·埃尔哈耶克 $^{4}$ Nadia Robertini $^{1}$ Didier Stricker $^{1,2}$ $^{1}$DFKI-AV凯泽斯劳滕研究所 $^{2}$凯泽斯劳滕工业大学 $^{3}$巴基斯坦NUST-SEECS $^{4}$沙特阿拉伯UPM ## 摘要双手与物体交互的真实重建是一个全新且极具挑战性的问题，对于构建个性化的虚拟现实和增强现实环境至关重要。图卷积网络（GCN）通过将手部姿态和形状建模为图结构，能够保留其拓扑特征。在本研究中，我们提出了THOR-Net模型，它结合了GCN、Transformer以及自监督机制的优势，仅利用单张RGB图像即可实现双手与物体的真实重建。该网络包含两个阶段：特征提取阶段和重建阶段。在特征提取阶段，采用Keypoint RCNN从单目RGB图像中提取二维姿态、特征图、热图和边界框。随后，这些二维信息被建模为两个图，并输入到重建阶段的两个分支中。其中，形状重建分支利用我们提出的粗到细粒度的GraFormer形状网络来估计双手及物体的网格；另一个分支则利用GraFormer网络重建手部和物体的三维姿态。最后，通过自监督的光度损失函数，直接回归出手部网格中每个顶点的真实纹理。我们的方法在HO-3D数据集上的手部形状估计任务中取得了最先进的结果（误差仅为10.0毫米），优于ArtiBoost模型（误差为10.8毫米）。在具有挑战性的双手与物体（H2O）数据集上，该方法在左手姿态估计上的误差比现有方法小5毫米，右手姿态估计误差则小1毫米。THOR-Net的代码将发布于。 ### 1. 引言真实的双手-物体形状重建对于众多增强现实（AR）和虚拟现实（VR）应用而言至关重要，它能为用户创造更具沉浸感、更个性化的体验。此外，手部姿态 ![Image](images/6bc90588cb774119d31dbd9277ad3b88152f65f0974bed54a4e04507a21bbb7a.jpg)

Figure 1. Our Graformer-based algorithm jointly reconstructs up to two hands Poses and textured shapes together with a shape of one object from a monocular RGB image. Note that the hands' textures of the above shapes were directly regressed for each vertex based on self-supervision training.

在人体交互、动作识别、人类行为分析以及手势识别等应用中发挥着重要作用 [^9] [^28] [^2] [^6] [^1] [^26]。近年来，手部、身体及物体姿态估计领域取得了令人瞩目的进展 [^17] [^30] [^14] [^15] [^28]。然而，针对双手与物体交互的联合重建研究却鲜有涉及 [^15] [^17] [^2] [^9] [^36]。由于手部形状、纹理各异，自由度多，手部各部分存在相似性，还存在双手相互遮挡以及手与物体相互遮挡等问题，尤其是从仅包含二维信息的单目RGB图像中重建时，这一问题更具挑战性。借助深度学习领域的最新进展（如图卷积网络、Transformer以及自监督学习），人们已经提出了多种用于同时估计手部姿态和形状算法。近期，许多研究人员利用图卷积网络（GCN）[^39] 来解决姿态估计方面的挑战 [^9] [^41] [^43] [^44]，以及形状重建问题 [^2] [^28] [^38]。图卷积网络能够保留手部姿态和形状的固有运动学与图形结构。这一特性使图卷积网络能够处理深度歧义与遮挡问题，因为它能将手部的可见部分与不可见部分相关联 [^9]。Transformer网络 [^37] 也展现出了卓越的性能 --- 在许多领域，比如自然语言处理方面 [^8]，Transformer均表现出色。在计算机视觉领域 [^10]，Transformer同样被证明具有极高的有效性。众多研究人员已经探讨了Transformer在手部姿态和形状估计中的有效性 [^20] [^30] [^43] [^14] [^40] [^23]。在本文中，据我们所知，我们提出了首个结合GCN、Transformer与自监督机制的方法，该方法能够利用单目RGB图像同时估计两只手与物体交互时的3D形状及3D姿态，还能得到手部每个顶点的纹理信息，如图1所示。 THOR-Net基于Keypoint RCNN，可从单目RGB图像中提取多种2D特征（即热图、边界框、特征图以及2D姿态）。为了充分发挥GCN的优势，我们将所有这些2D信息建模为两张图。其中一张图会输入到我们新提出的粗到精的GraFormer形状生成网络中，用于估计手部与物体的网格模型。该网络会从姿态信息出发，逐步增加图中的节点数量直至得到形状，同时逐渐缩减特征维度，最终仅保留对应3D空间中每个顶点位置的三个值（x、y、z）。另一张图则会输入到基于GraFormer的2D到3D姿态估计网络中，用于估计手部与物体的3D姿态。综上所述，我们的贡献如下：我们通过自监督光度损失直接回归网格模型的手部纹理。具体而言，每个顶点的纹理是通过正交投影到输入图像上来学习的。与HTML[^31]从有限的手部纹理样本集中学习统计性手部纹理模型不同，我们的光度损失方法能够从任意手部数据集的大量RGB图像中学习手部纹理。 - 一种从RGB图像重建两只手与物体逼真3D形状的新颖流程，具有以下创新点： - 利用Keypoint RCNN生成的热图与特征来构建图，助力基于GraFormer的网络估计3D姿态与形状。 - 提出用于两只手与物体重建的粗到精GraFormer模型。 - 应用基于光度损失的自监督机制，以获得更逼真的手部视觉效果。 - 如第4节所示，我们的方法在HO-3D（v3）数据集上的手部网格估计任务以及H2O数据集上的手部姿态估计任务中均取得了最先进的结果。 ### 2. 相关工作虽然现有研究大多聚焦于单只手与物体交互时的重建问题，但我们的工作解决的是更具挑战性的双手与物体重建问题。在此，我们简要介绍最相关的研究工作。 #### 2.1. 用于姿态估计的图卷积网络近年来，利用图卷积网络（GCN）从二维姿态估计三维姿态取得了非常可观的成果[^9] [^43]。仅用二维姿态中的单个关键点来推断其在三维空间中的对应点属于一个非确定性问题。不过，利用其他二维关键点及其与目标关键点的关系信息，有助于估算其三维位置。HopeNet的作者[^9]提出了一种自适应GraphUNet，该网络分五个阶段对二维姿态进行池化，再通过反池化得到三维姿态，且在对应的池化层与反池化层之间设置了跳跃连接。 GraFormer[^43]能够将二维姿态转换为三维姿态，由于它结合了图卷积层、Transformer[^37]以及注意力机制，因此其性能远优于HopeNet。GraFormer既能利用图卷积层从节点中提取局部特征，又能借助注意力层获取关于整个图的全局信息。时空图解决了三维姿态估计中的深度模糊和严重遮挡难题[^4] [^41]。视频中的时间连续性会施加时间约束[^15]。因此，蔡等人[^4]通过为相邻帧中的关节及其对应点创建额外边，从几个时间上相邻的二维人体姿态中构建了时空图。 #### 2.2. 手-物体重建现有研究大多聚焦于手与物体交互时的手部形状估计，并未涉及物体形状的重建。Keypoint Transformer[^14]在基于RGB图像的手部姿态估计任务中取得了顶尖成果，它通过提取图像中每个关键点的特征，并利用自注意力层关联这些特征。HandOccNet[^30]是一种最新且鲁棒性强的基于Transformer的模型，它通过将从手部可见区域提取的特征注入到被物体遮挡的区域，解决了手与物体之间的遮挡歧义问题。ArtiBoost[^42]旨在通过生成合成图像，解决任何手-物体数据集中手-物体姿态在三维空间内的多样性不足问题。他们利用合成图像和真实图像训练CNN回归模型以估算姿态。刘等人[^24]利用RGB视频中的时空一致性来生成半监督训练的标签，进而估算三维姿态。与手-物体姿态估计以及仅手部的重建相比，双手与物体的重建尚未受到足够重视。 --- ![Image](images/8a36505c80e637908bb07f4e4b709b86dafa707f695103cf3de4db47c81d2d40.jpg)

Figure 2. An overview of our approach to estimating the 3D pose and 3D shape for hands interacting with an object from a monocular RGB frame. K is the number of keypoints in the Pose and V is the number of vertices in the Shape. The lower part describes more details about the graph initialization and the Coarse-to-fine Shape GraFormer network.

Hasson等人[^15]使用的网络能够输出手的MANO[^34]参数，以及物体类别和其三维变换参数。他们工作的一个重要特点是：当部分帧没有标注时，他们会利用随时间变化的光度一致性作为半监督训练方案。在他们的后续研究中[^16]，Hasson等人首先检测并分割RGB图像中的手和物体，随后估算手部形状和物体姿态，并通过平滑项和碰撞项来优化这些结果。 Malik等人[^27] [^25]研究了基于深度图的手部姿态和形状估计问题。[^25] [^28]利用体素化深度图来估计手部的体素化形状及形状表面，随后进行配准步骤。EventHands[^35]是一种采用事件相机输入以捕捉并重建超高速手部运动的网络。Almadani等人[^2]构建了一种基于深度的由粗到精的手部物体重建网络，该网络以GCN HopeNet[^9]为基础。在评估了模型的不同输入模态后，他们发现深度图的体素化表示与对应的RGB图像是最佳的输入模态。Pixel2Mesh[^38]是一种GCN网络，能够从单目RGB帧中估计物体的3D形状。 ### 3. 方法所提出的流程如图2所示，它以RGB帧$\mathcal{I}$作为输入，预测手部和物体的目标3D姿态$\mathcal{J}$以及3D形状$\mathcal{V}$。 #### 3.1. 关键点RCNN Mask RCNN[^18]是一种基于Faster RCNN[^33]构建的高效物体检测与语义分割模型。Mask RCNN会在包含物体的图像内划定感兴趣区域（RoI），并估算这些物体的边界框及类别。Mask RCNN的作者们还开发了名为关键点RCNN的变体，该模型能够估算RoI内任意一组2D关键点的热图。每个关键点都有对应的位置热图。凭借边界框和热图，关键点RCNN可以估算出构成2D姿态的图像中的2D位置。我们训练关键点RCNN来估算手部和物体的2D姿态，这一过程利用了3D姿态投影到2D的原理。因此，关键点RCNN能从RGB图像中提取重要信息，比如手部和物体的边界框、框内关键点的热图以及RoI特征。为了训练关键点RCNN，需要边界框标注数据。为获取边界框，我们使用了3D姿态投影到图像的结果。2D姿态的最小x、y值以及最大x、y值即构成了边界框。图2展示了关键点RCNN的两类输出：热图和特征，它们被用于训练我们的3D姿态和形状估计模型。关键点RCNN的一大优势在于它能在原始图像中定位物体，无需对手部-物体区域进行裁剪等图像预处理操作。 --- ![Image](images/e04622d113a30864985eef4b853bb33358cd424a69d137695bfa706a06c8b93e.jpg)

Figure 3. An illustration of the GraFormer network. The network consists of GCN and Attention layers repeated multiple times.

3D姿态投影到图像的结果即为上述边界框的来源。2D姿态的最小x、y值以及最大x、y值被定义为边界框。图2展示了关键点RCNN的两类输出——热图和特征，它们用于训练我们的3D姿态和形状估计模型。关键点RCNN的一大优势在于它能在原始图像中定位物体，无需对手部-物体区域进行裁剪等图像预处理操作。 #### 3.1.1 特征提取器关键点RCNN的骨干网络由ResNet50[^19]和特征金字塔网络（FPN）[^19]组成，它们能为RGB图像生成多尺度特征。将多尺度特征传入多尺度RoI对齐层[^18]后，骨干网络便能生成针对特定RoI的特征。这使我们能够提取出包含手或物体的RoI的定制特征。我们利用这些特征来丰富由粗到精的GraFormer的节点。为了在将特征传递到下一阶段前对其进行压缩，RCNN会将特征送入一个两层MLP，为每个RoI生成压缩后的2048维特征向量。如3.3节所述，这些特征向量会与热图拼接起来，从而为形状生成器生成图表示。 #### 3.2. 姿态GraFormer 为了将Keypoint RCNN提取的二维信息转换到三维空间，我们采用了GraFormer。GraFormer [^43]是一种图神经网络，旨在充分利用图卷积层和注意力层的优势 [^37]。图卷积层会根据节点间的连接关系从类图数据中提取特征，在本研究中即指姿态或形状中相邻关键点之间的边缘。此外，GraFormer中的多头自注意力 [^37] 层能够从图中提取全局特征。正是这些特性使得GraFormer在二维到三维姿态还原任务中优于其他方法。如图3所示，GraFormer由一个GraAttention层构成，该层是包含4个头部的多头自注意力层。GraAttention层的最后一层是LAM-GConv层，这是一种带有可训练邻接矩阵的图卷积层。GraAttention之后是两层名为ChebGConv的特殊图卷积层 $^{[7]}$，它们构成了GraFormer的核心组件。GraAttention和ChebGConv这一组合会重复五次以形成完整的GraFormer。我们在研究中首次使用GraFormer，将Keypoint RCNN生成的热图转换为手部和物体的三维姿态坐标。经实验发现，相较于用节点的二维像素位置来表示，使用热图能得到更精确的结果。 #### 3.3. 由粗到细的形状GraFormer 为了生成三维形状，我们提出了一种由粗到细的GraFormer模型，该模型从二维姿态图出发，逐步增加顶点数量，最终输出三维形状。Almadani等人 [^2] 和Wang等人 [^38] 此前曾探索过用于生成三维形状的由粗到细GCN模型。不过，鉴于GraFormer的性能优于普通GCN，我们按照图2所示，用GraFormer替换了他们提出的图卷积层。该网络分为三个阶段，每个阶段都由GraFormer和一个用于增加图中节点数量的反池化层组成。由粗到细GraFormer的输入图包含29个节点。每个节点i都对应一个特征向量 $\mathcal{F}_{2048}$ 以及大小为 $\mathcal{H}_i$ 的对应热图 $56 \times 56$，如图2所示。将热图展平后与 $\mathcal{F}_{2048}$ 拼接后，节点表示的大小即为5184。为了将手部网格建模为图，我们利用MANO [^34] 的面来创建邻接矩阵。不过，构建此类由粗到细的图网络面临两大挑战。HO-3D和H2O数据集中的物体顶点数量各不相同，且拓扑结构也不一致。第二个挑战是，由粗到细网络中的中间图层由于图中的顶点数量较少，需要简化版的邻接矩阵。在第3.3.1节中，我们将介绍如何创建简化版的手部网格邻接矩阵；第3.3.2节则会说明如何为物体创建一致的拓扑结构。 #### 3.3.1 手部网格下采样为了创建手部的中间图表示，我们采用二次边折叠简化算法（QECD） [^12] [^29] 来对默认的MANO手部网格进行下采样。简化后的网格的面便构成了中间图的邻接矩阵。我们对其进行简化 --- ![Image](images/fb9691f5c83981bbce19d1927a46633a87ebd31116f3291689a1da2203877cb8.jpg)

Figure 4. a) The process of simplifying and deforming a sphere to obtain a consistent topology representation for the mesh. b) Examples of different 3D object models and their simplified versions. The bottom row shows the downsampled spheres.

将778个手部顶点划分为两个粒度级别（即49个和194个），分别对应粗到细网络中的第1级和第2级。 #### 3.3.2 物体拓扑结构为解决物体拓扑结构不一致的问题，我们采用PyTorch3d中的一种可训练方法[^32]，将拓扑结构固定的球体变形为适配每个物体的形状。二十面体是一种通过对20面多面体的多边形进行递归细分得到的球体[^29]。在细分到第4级时，该二十面体拥有2556个顶点。我们使用QEC算法将该球体简化为1000个顶点。这一步骤是为了根据模型的复杂程度和所需的重建质量，控制表示物体形状的顶点数量。为了学习球体中每个顶点向目标物体网格的位移，变形算法会最小化变形后的球体与目标网格之间的Chamfer距离$\mathcal{L}_{chamfer}$，如图4所示。除了Chamfer损失外，还有另外3种正则化损失会对最终变形的球体产生平滑效果。这三种损失分别是边长约束$\mathcal{L}_{edge}$、相邻面的法向一致性约束$\mathcal{L}_{norm}$以及拉普拉斯平滑约束$\mathcal{L}_{laplacian}$。变形过程的最终损失项如下： $$ \mathcal{L}=\mathcal{L}_{c h a m f e r}+\mathcal{L}_{e d g e}+\lambda_{1}*\mathcal{L}_{n o r m}+\lambda_{2}*\mathcal{L}_{l a p l a c i a n} $$ 其中$\lambda_1$的值为0.01，$\lambda_2$的值为0.1。SGD优化器会最小化上述损失的加权和，直到球体达到与目标物体最接近的状态。图4展示了YCB数据集中的一些物体[^5]及其对应的包含1000个顶点的变形球体。 #### 3.3.3 光度损失为网格中的每个顶点估算纹理值，能够更丰富地呈现个性化的手部形状，并带来更逼真的视觉效果[^31]。此外，它还有助于提升估计出的形状与目标投影之间的对齐程度，进而改善重建误差。进一步而言，探索手部纹理是VR和AR领域的一个有趣课题，它能提升沉浸式体验。Qian等人[^31]提出了首个用于重建真实手部纹理的参数化手部纹理模型（HTML）。尽管该模型可以通过从纹理参数中随机采样来生成多样化的手部纹理，但这种方法受限于构建手部纹理模型时所用的小型训练数据集（即仅包含51名受试者的数据）。这意味着所提出的统计模型无法表示该数据集未涵盖的任何纹理。在本文中，我们提出了一种基于自监督的光度损失驱动的直接纹理回归方法[^15] [^31]。借此，我们可以为每个手部网格顶点直接学习其纹理，同时学习该顶点的3D位置。与HTML从有限的手部纹理样本中学习统计性手部纹理模型不同，我们的方法能够从任意手部数据集的大量RGB图像中学习手部纹理。基于这一思路，我们为模型训练添加了额外的损失项；模型不再仅估算顶点的XYZ坐标，还会估算其RGB值。计算该损失时，首先利用相机内参将目标3D形状投影到图像中。之后，通过计算投影后顶点的对应像素RGB值与模型估算出的RGB值之间的均方误差，对两者进行惩罚。这正是图2中最终形状所对应的六个数值的由来。光度损失$\mathcal{L}_{photo}$的定义如下： $$ \mathcal{L}_{p h o t o}=M S E(\mathcal{I}[p r o j(\mathcal{V}_{g t})],\mathcal{V}_{p r e d,r g b}) $$ ### 4. 实验在本节中，我们将介绍各个数据集以及对应的实现细节。随后会说明训练细节和损失函数。接着，我们在第4.4节和第4.5节中定量和定性地报告并对比我们与其他方法的结果。此外，我们还进行了消融研究，以证明我们流程中各组件的有效性。 #### 4.1. 数据集与实现细节近期，研究人员为了建模无标记的手部-物体交互，创建了多个数据集，例如HO-3D [^13]、H2O [^22]、H2O-3D [^14]、DexYCB [^6]、FPHAB [^11] 以及ContactPose [^3]。我们在两个最新的公开基准数据集上评估我们的方法：HO-3D [^13] 和 H2O [^22]。HO-3D数据集描述的是一只手与物体的交互，而H2O数据集则涉及两只手与物体的交互。 HO-3D视频数据集 [^13] 包含了在严重遮挡情况下手部及被操纵物体的3D姿态标注。 --- ![Image](images/f3eebe6d83141a2bc6df85bd3eb11011072c9bbee4cdbb394a17e8d12cee7ce1.jpg)

![Image](images/d408c93dedfb4965f8cfb923a71e1e325b92c42da7b1dcf58f7a009c4fb33e16.jpg)

![Image](images/4c09a8881c2f64358e7d0ce70d5bcc0909bca5f97f03d1b8d72738e922e82c59.jpg)

![Image](images/410f633f2962a859f556a437114b09389086699492aa0c66097a6397d0a67588.jpg)

Figure 5. Qualitative results for Hand-Object pose and shape estimation from the HO-3D and H2O datasets. a) Input frame with the predicted bounding boxes. b) 3D pose estimation. c) & d) Two views for the 3D reconstructed hand-object interaction.

该数据集还包含MANO参数和物体标签的标注。借助PyTorch Mano模型 $^{[17]}$，我们获取手部顶点和面片信息，并对手部进行简化，从而得到用于粗到细网络的中间邻接矩阵，具体如3.3.1节所述。数据集中的10个物体均取自YCB数据集 $^{[5]}$。我们按照3.3.2节的描述为这些物体创建球形表示，再利用姿态将它们转换到3D相机空间中。所有3D点都会被平移，以使手掌成为3D空间的原点。为了针对HO-3D训练Keypoint RCNN，我们将手部与物体置于同一个边界框内，如图5所示。我们报告了该数据集第二版和第三版上的实验结果。3D姿态中的关键点数量 $\mathcal{J}$ 为29个：其中手部关节占21个，物体角点占8个。3D形状中的顶点数量 $\mathcal{V}$ 为1778个：其中手部网格占778个，物体网格占1000个。 H2O [^22] 是一个新的基准视频数据集，它包含两只手和物体的3D姿态标注，以及手部的MANO参数和物体标签。该数据集涵盖8个物体，并为它们提供了3D模型。我们采用与HO-3D相同的方法来获取H2O中手部和物体的3D网格。该数据集是从五个不同的摄像头视角采集的，但在本研究中，我们仅关注第一人称视角。为了针对H2O训练Keypoint RCNN，我们将每只手的边界框与物体边界框分开。由于在H2O数据集上效果更佳，我们使用Keypoint RCNN生成的2D关键点作为GraFormer的输入，而非热图。3D姿态中的关键点数量 $\mathcal{J}$ 为50个：每只手的关节占21个，物体角点占8个。3D形状中的顶点数量 $\mathcal{V}$ 为2556个：每只手的网格占778个，物体网格占1000个。 #### 4.2. 训练为了训练THOR-Net，需要五种损失函数：用于热图的交叉熵损失 $\mathcal{L}_{\mathcal{H}}$、边界框分类损失 $\mathcal{L}_{cls}$、边界框估计的均方误差（MSE）损失 $\mathcal{L}_{bb}$、用于约束3D姿态的MSE损失 $\mathcal{L}_{\mathcal{J}}$ 以及用于约束3D形状的MSE损失 $\mathcal{L}_{\mathcal{V}}$。我们使用组合损失函数来训练网络： $$ \mathcal{L}=\mathcal{L}_{\mathcal{H}}+\mathcal{L}_{cls}+\mathcal{L}_{bb}+\mathcal{L}_{\mathcal{J}}+\mathcal{L}_{\mathcal{V}} $$ 在生成带纹理的形状时，我们会按照第3.3.3节的描述添加$\mathcal{L}_{photo}$。该网络包含1.92亿个参数，我们使用Adam优化器来训练模型。 --- ![Image](images/dc38ac4344dc14dd282a0aae80761856b1df4887e1d5234c0deef5a4655108e9.jpg) ![Image](images/6737a7687b9a2dcc4383e263e3438046eceaf079794bb277e0aac12d059dc1da.jpg)

Figure 6. PCV over distance in comparison with other methods. a) Procrustes-aligned error. b) Non-aligned error.

优化器为[^21]，学习率为0.0001，批量大小为8，运行在NVIDIA的A100 GPU上。 #### 4.3. 评估指标我们在HO-3D手部姿态与形状数据集上报告经过Procrustes对齐和未对齐的MPJPE（平均关节位置误差）数值（单位：毫米），并在表1和表3中将其与其他方法进行比较。此外，我们在图6中展示了不同距离下的正确顶点百分比（PCV）。为了评估模型在H2O数据集上的表现，我们在表2中报告了双手及物体的未对齐MPJPE数值。最后，我们在图5中定性展示了我们的结果。 #### 4.4. 3D姿态估计评估我们在HO-3D数据集的两个版本上评估我们的方法，并在表1中报告手部姿态的误差数值（单位：毫米）。表中列出了与现有方法相比，经过Procrustes对齐和未对齐的误差对比。相关结果可在HO-3D挑战赛网站$^{1}$上查看。我们还在H2O第一人称视角数据集上评估方法的姿态估计性能，并在表2中报告双手及物体3D姿态的平均关节误差。表格显示了与以往方法相比，左右手姿态误差的改善情况。结果显示，与以往方法相比，左手姿态估计误差降低了5毫米，右手姿态估计误差降低了1毫米。相关结果可在H2O挑战赛网站$^{2}$上查看。图5展示了来自这两个数据集的样本的3D姿态定性结果。从定量和定性评估结果来看，我们的姿态估计方法仍有待改进，因为它在HO-3D数据集上的表现并未超越以往方法，且在H2O数据集上的物体姿态估计也不够准确。

Methods	$\mathcal{J}$ Al. Err.	$\mathcal{J}$ Err.
Hasson et al. [^15]	11.4	55.2
Hasson et al. [^17]	11.1	-
Hampali et al. [^13]	10.7	84.2
METRO [^23]	10.4	-
Liu et al. [^24]	10.2	-
HandOccNet [^30]	9.1	-
THOR-Net (Ours)	11.3	26.3
Keypoint Trans. [^14]	10.9	-
ArtiBoost [^42]	10.8	22.6
THOR-Net (Ours)	11.2	25.6

Table 1. Comparison with state-of-the-art methods for 3D hand pose estimation on the HO-3D (v2) (upper table) and (v3) (lower table). Shown results are the Procrustes-aligned and non-aligned errors in mm.

Methods	L $\mathcal{J}$ Err.	R $\mathcal{J}$ Err.	Obj. $\mathcal{J}$ Err.
Hasson et al. [^15]	39.6	41.9	66.1
H+O [^36]	41.4	38.9	48.1
H2O [^22]	41.5	37.2	47.9
THOR-Net (Ours)	36.8	36.5	73.9

Table 2. Comparison with the state-of-the-art methods for 3D pose estimation on H2O dataset. The shown results from left to right are the non-aligned errors in mm for the left-hand pose, the right-hand pose, and the object pose.

#### 4.5. 3D形状估计评估我们在两个数据集上评估方法的3D形状估计性能，并将结果报告在表3中。结果显示，在HO-3D（v3）数据集上，我们的Procrustes对齐网格误差为10毫米，而目前最佳方法的误差为10.8毫米。据我们所知，我们是首个在H2O数据集上进行形状评估的研究团队。左手形状误差为54.1毫米，右手形状误差为59.4毫米，物体形状误差为66.6毫米。图5展示了手部与物体形状的定性结果。我们还在图7中将我们的手部形状结果与Hasson等人[^15]的结果进行了比较。结果表明，我们的模型能够捕捉到精细的手部细节。不过，该模型缺乏对未见物体的泛化能力。 #### 4.6. 消融研究我们通过评估三种版本的形状生成网络，研究了所提出的粗到细GraFormer对手部形状重建的影响。如图2所示，粗到细网络由三个GraFormer组成。为了验证这种设计的有效性，我们分别测试了仅包含1个GraFormer和2个GraFormer的网络。这两项实验的结果分别标注为表4中的编号1和编号2。结果显示，包含三个GraFormer的网络性能最优。这表明 --- ![Image](images/e94a98990a6985943dd3f91b5017611551177662937613169d1bc5ba45bc998a.jpg)

Figure 7. Qualitative comparison with Hasson et al. [^15]. Our method captures better hand details.

Methods	$\mathcal{V}$ Al. Err.	$\mathcal{V}$ Err.
HandVoxNet++ [^28]	-	27.0
Hasson et al. [^15]	11.4	55.2
METRO [^23]	10.4	-
Hasson et al. [^17]	11.0	-
Hampali et al. [^13]	10.6	83.4
Liu et al. [^24]	9.8	-
HandOccNet [^30]	8.8	-
THOR-Net (Ours)	10.7	26.3
ArtiBoost [^42]	10.4	-
THOR-Net (Ours)	10.0	23.7

Table 3. Comparison with state-of-the-art methods for 3D hand shape estimation on the HO-3D (v2) (upper table) and (v3) (lower table). Shown results are the Procrustes-aligned and non-aligned errors in mm.

逐步加深的粗到细网络对形状估计是有帮助的。为了证明将大小为2048的特征向量与热图拼接作为初始粗到细图的合理性，我们测试了其他四种不同的图输入模式。我们没有使用热图，而是尝试采用估计的2D姿态或3D姿态。此外，我们还测试了两种不同的特征向量大小（即1024和4096），以检验模型的容量及其与结果的相关性。从表4所示的结果可以明显看出，热图表示与大小为2048的特征向量相结合时能达到最高的准确率。 #### 4.7. 带纹理形状的质量图8展示了由光度损失生成的逐顶点纹理值的质量。尽管存在遮挡情况，网络仍能成功重建手部模型。此外，它还能捕捉到一些纹理细节以及书本的蓝色。有时会出现物体颜色的平滑效应，比如牛奶瓶就掩盖了细节。另外，手部会受到光照条件的影响，从而产生不同的肤色色调。

ID	# GraFo.	Gr. Inp.	$\mathcal{V}$ Al. Err.	$\mathcal{V}$ Err.
1	1	$\mathcal{H} + \mathcal{F}_{2048}$	11.4	26.8
2	2	$\mathcal{H} + \mathcal{F}_{2048}$	11.1	26.4
4	3	2D pose + $\mathcal{F}_{2048}$	14.6	46.8
3	3	3D pose + $\mathcal{F}_{2048}$	10.9	27.0
5	3	$\mathcal{H} + \mathcal{F}_{1024}$	13.5	29.5
6	3	$\mathcal{H} + \mathcal{F}_{4096}$	11.8	28.4
7	3	$\mathcal{H} + \mathcal{F}_{2048}$	10.0	23.7

Table 4. Ablation study for the depth of the Coarse-to-fine shape generator and the graph input modality.

![Image](images/b88b7b1cc064579f09beb99bfe74380d4da248156995749229faddcbea22051d.jpg)

Figure 8. Examples of textured hands and objects estimated using photometric loss.

颜色方面，如蓝色书本所示，物体的边缘会出现伪影。 ### 5. 结论与未来工作在这项工作中，我们提出了THOR-Net，用于从单目RGB帧中重建两只手与物体交互的逼真模型。该网络包含两个阶段：利用Keypoint RCNN进行2D特征提取，以及利用粗到细的GraFormer网络进行3D重建。为了获取形状的逐顶点纹理，我们采用自监督光度损失来训练网络。定量与定性评估结果表明，与以往方法相比，我们的粗到细网络在双手-物体形状估计方面效果显著。光度损失的定性结果显示纹理估计中存在平滑效应，这提示我们未来还需进一步研究。在未来的工作中，可以利用视频中的时间约束来构建时空图，从而提升重建效果。致谢：本研究部分得到了德国联邦教育和研究部GreifbAR项目（资助编号16SV8732）以及欧盟FLUENTLY项目（资助编号101058680）的支持。 --- ## 参考文献 [^1]: Mhd Rashed Al Koutayni, Vladimir Rybalkin, Jameel Malik, Ahmed Elhayek, Christian Weis, Gerd Reis, Norbert Wehn, and Didier Stricker. Real-time energy efficient hand pose estimation: A case study. Sensors, 20(10), 2020. [^2]: Murad Almadani, Ahmed Elhayek, Jameel Malik, and Didier Stricker. Graph-based hand-object meshes and poses reconstruction with multi-modal input. IEEE Access, 9, 2021. [^3]: Samarth Brahmbhatt, Chengcheng Tang, Christopher D. Twigg, Charles C. Kemp, and James Hays. ContactPose: A dataset of grasps with object contact and hand pose. In European Conference on Computer Vision (ECCV), 2020. [^4]: Yujun Cai, Liuhao Ge, Jun Liu, Jianfei Cai, Tat-Jen Cham, Junsong Yuan, and Nadia Magnenat Thalmann. Exploiting spatial-temporal relationships for 3d pose estimation via graph convolutional networks. In International Conference on Computer Vision (ICCV), 2019. [^5]: Berk Calli, Arjun Singh, Aaron Walsman, Siddhartha Srinivasa, Pieter Abbeel, and Aaron M. Dollar. The ycb object and model set: Towards common benchmarks for manipulation research. In International Conference on Advanced Robotics (ICAR), 2015. [^6]: Yu-Wei Chao, Wei Yang, Yu Xiang, Pavlo Molchanov, Ankur Handa, Jonathan Tremblay, Yashraj S. Narang, Karl Van Wyk, Umar Iqbal, Stan Birchfield, Jan Kautz, and Dieter Fox. DexYCB: A benchmark for capturing hand grasping of objects. In Computer Vision and Pattern Recognition (CVPR), 2021. [^7]: Michaël Defferrard, Xavier Bresson, and Pierre Vandergheynst. Convolutional neural networks on graphs with fast localized spectral filtering. Advances in Neural Information Processing Systems (NeurIPS), 29, 2016. [^8]: Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. 2018. [^9]: Bardia Doosti, Shujon Naha, Majid Mirbagheri, and David Crandall. Hope-net: A graph-based model for hand-object pose estimation. In Computer Vision and Pattern Recognition (CVPR), June 2020. [^10]: Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, Jakob Uszkoreit, and Neil Houlsby. An image is worth 16x16 words: Transformers for image recognition at scale. 2021. [^11]: Guillermo Garcia-Hernando, Shanxin Yuan, Seungryul Baek, and Tae-Kyun Kim. First-person hand action benchmark with rgb-d videos and 3d hand pose annotations. In Computer Vision and Pattern Recognition (CVPR), 2018. [^12]: Michael Garland and Paul S Heckbert. Surface simplification using quadric error metrics. In Proceedings of the 24th annual conference on Computer graphics and interactive techniques, 1997. [^13]: Shreyas Hampali, Mahdi Rad, Markus Oberweger, and Vincent Lepetit. Honnotate: A method for 3d annotation of hand and object poses. In Computer Vision and Pattern Recognition (CVPR), 2020. [^14]: Shreyas Hampali, Sayan Deb Sarkar, Mahdi Rad, and Vincent Lepetit. Keypoint transformer: Solving joint identification in challenging hands and object interactions for accurate 3d pose estimation. In Computer Vision and Pattern Recognition (CVPR), 2022. [^15]: Yana Hasson, Bugra Tekin, Federica Bogo, Ivan Laptev, Marc Pollefeys, and Cordelia Schmid. Leveraging photometric consistency over time for sparsely supervised hand-object reconstruction. In Computer Vision and Pattern Recognition (CVPR), 2020. [^16]: Yana Hasson, Gül Varol, Cordelia Schmid, and Ivan Laptev. Towards unconstrained joint hand-object reconstruction from RGB videos. In International Conference on 3D Vision (3DV), 2021. [^17]: Yana Hasson, Gül Varol, Dimitris Tzionas, Igor Kalevatykh, Michael J. Black, Ivan Laptev, and Cordelia Schmid. Learning joint reconstruction of hands and manipulated objects. In Computer Vision and Pattern Recognition (CVPR), 2019. [^18]: Kaiming He, Georgia Gkioxari, Piotr Dollár, and Ross Girshick. Mask r-cnn. In International Conference on Computer Vision (ICCV), 2017. [^19]: Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In Computer Vision and Pattern Recognition (CVPR), 2016. [^20]: Lin Huang, Jianchao Tan, Jingjing Meng, Ji Liu, and Junsong Yuan. Hot-net: Non-autoregressive transformer for 3d hand-object pose estimation. In Proceedings of the 28th ACM International Conference on Multimedia, 2020. [^21]: Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In International Conference on Learning Representations (ICLR), 2015. [^22]: Taein Kwon, Bugra Tekin, Jan Stühmer, Federica Bogo, and Marc Pollefeys. H2o: Two hands manipulating objects for first person interaction recognition. In International Conference on Computer Vision (ICCV), 2021. [^23]: Kevin Lin, Lijuan Wang, and Zicheng Liu. End-to-end human pose and mesh reconstruction with transformers. In Computer Vision and Pattern Recognition (CVPR), 2021. [^24]: Shaowei Liu, Hanwen Jiang, Jiarui Xu, Sifei Liu, and Xiaolong Wang. Semi-supervised 3d hand-object poses estimation with interactions in time. In Computer Vision and Pattern Recognition (CVPR), 2021. [^25]: Jameel Malik, Ibrahim Abdelaziz, Ahmed Elhayek, Soshi Shimada, Sk Aziz Ali, Vladislav Golyanik, Christian Theobalt, and Didier Stricker. Handvoxnet: Deep voxel-based network for 3d hand shape and pose estimation from a single depth map. In Computer Vision and Pattern Recognition (CVPR), 2020. [^26]: Jameel Malik, Ahmed Elhayek, Sheraz Ahmed, Faisal Shafait, Muhammad Imran Malik, and Didier Stricker. 3dairsig: A framework for enabling in-air signatures using a multi-modal depth sensor. Sensors, 18(11), 2018. [^27]: Jameel Malik, Ahmed Elhayek, and Didier Stricker. Whspnet: A weakly-supervised approach for 3d hand shape and pose recovery from a single depth image. Sensors, 19(17), 2019. ## [^28]: Jameel Malik, Soshi Shimada, Ahmed Elhayek, Sk Aziz Ali, Vladislav Golyanik, Christian Theobalt, and Didier Stricker --- Handvoxnet++：基于体素神经网络的3D手部形状与姿态估计。《IEEE模式分析与机器智能汇刊》（TPAMI），2021年。 [^29]: Alessandro Muntoni and Paolo Cignoni. PyMeshLab, 2021. [^30]: JoonKyu Park, Yeonguk Oh, Gyeongsik Moon, Hongsuk Choi, and Kyoung Mu Lee. Handoccnet: Occlusion-robust 3d hand mesh estimation network. In Computer Vision and Pattern Recognition (CVPR), 2022. [^31]: Neng Qian, Jiayi Wang, Franziska Mueller, Florian Bernard, Vladislav Golyanik, and Christian Theobalt. HTML: A Parametric Hand Texture Model for 3D Hand Reconstruction and Personalization. In European Conference on Computer Vision (ECCV), 2020. [^32]: Nikhila Ravi, Jeremy Reizenstein, David Novotny, Taylor Gordon, Wan-Yen Lo, Justin Johnson, and Georgia Gkioxari. Accelerating 3d deep learning with pytorch3d. 2020. [^33]: Shaoqing Ren, Kaiming He, Ross Girshick, and Jian Sun. Faster r-cnn: Towards real-time object detection with region proposal networks. In Advances in Neural Information Processing Systems (NeurIPS), volume 28, 2015. [^34]: Javier Romero, Dimitrios Tzionas, and Michael J. Black. Embodied hands: Modeling and capturing hands and bodies together. ACM Transactions on Graphics, (Proc. SIGGRAPH Asia), 36(6), Nov. 2017. [^35]: Viktor Rudnev, Vladislav Golyanik, Jiayi Wang, Hans-Peter Seidel, Franziska Mueller, Mohamed Elgharib, and Christian Theobalt. Evenhands: Real-time neural 3d hand pose estimation from an event stream. In International Conference on Computer Vision (ICCV), 2021. [^36]: Bugra Tekin, Federica Bogo, and Marc Pollefeys. H+o: Unified egocentric recognition of 3d hand-object poses and interactions. In Computer Vision and Pattern Recognition (CVPR), 2019. [^37]: Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems (NeurIPS), volume 30. Curran Associates, Inc., 2017. [^38]: Nanyang Wang, Yinda Zhang, Zhuwen Li, Yanwei Fu, Wei Liu, and Yu-Gang Jiang. Pixel2mesh: Generating 3d mesh models from single rgb images. In European Conference on Computer Vision (ECCV), 2018. [^39]: Max Welling and Thomas N Kipf. Semi-supervised classification with graph convolutional networks. In International Conference on Learning Representations (ICLR), 2016. [^40]: Yufei Xu, Jing Zhang, Qiming Zhang, and Dacheng Tao. Vitipose: Simple vision transformer baselines for human pose estimation, 2022. [^41]: Sijie Yan, Yuanjun Xiong, and Dahua Lin. Spatial temporal graph convolutional networks for skeleton-based action recognition. In Thirty-second AAAI conference on artificial intelligence, 2018. [^42]: Lixin Yang, Kailin Li, Xinyu Zhan, Jun Lv, Wenqiang Xu, Jiefeng Li, and Cewu Lu. ArtiBoost: Boosting articulated 3d hand-object pose estimation via online exploration and synthesis. In Computer Vision and Pattern Recognition (CVPR), 2022. [^43]: Weixi Zhao, Weiqiang Wang, and Yunjie Tian. Graformer: Graph-oriented transformer for 3d pose estimation. In Computer Vision and Pattern Recognition (CVPR), 2022.