# 关键点变换器：解决复杂手部与物体交互中的关节识别问题，实现精准的3D姿态估计 Shreyas Hampali $^{(1)}$, Sayan Deb Sarkar $^{(1)}$, Mahdi Rad $^{(1)}$, Vincent Lepetit $^{(2,1)}$ $^{(1)}$奥地利格拉茨技术大学计算机图形与视觉研究所，格拉茨 $^{(2)}$法国马恩拉瓦莱国立桥路学校、古斯塔夫·埃菲尔大学、法国国家科学研究中心LIGM实验室 {@icg.tugraz.at, } ## 摘要我们提出了一种鲁棒且精准的方法，能够从单张彩色图像中估计出紧密交互的两只手的3D姿态。这是一个极具挑战性的问题，因为会出现严重的遮挡现象，且关节之间也极易混淆。现有最先进的方法通过为每个关节回归热图来解决这一问题，这需要同时解决两个任务：定位关节并识别它们。在本研究中，我们提出将这两项任务分开处理：首先利用CNN将关节定位为2D关键点，随后通过这些关键点的CNN特征之间的自注意力机制，将关节与对应的手部关节关联起来。我们将其称为“关键点变换器”的架构效率极高，在InterHand2.6M数据集上，其性能达到最先进水平，而模型参数数量却仅为原有方法的一半左右。我们还证明，该架构可轻松扩展用于估计被一只或两只手操控的物体的3D姿态，且性能优异。此外，我们创建了一个包含超过75,000张由两只手操控物体的图像的新数据集，这些图像均带有完整的3D标注，我们将公开发布该数据集。 ### 1. 引言 3D手部姿态估计有望让虚拟现实、增强现实以及与计算机、机器人的交互变得更加直观。近年来，利用深度图甚至单张RGB图像进行单手姿态估计方面取得了显著进展。能够处理RGB图像尤其具有吸引力，因为它无需使用耗电量大、需主动发射信号的传感器。目前已提出许多相关方法，大多基于不同的卷积网络架构直接预测3D关节位置或角度[^15] [^18] [^29] [^36] [^44] [^49] [^61]，或者依靠渲染技术来实现精细的姿态估计与跟踪[^2] [^12] [^32] [^40] [^50]。 ![Image](images/24a36abcaaeaf0edd4335985a5b550569d8ac6e20694230c00f036f5bfd1e7a8.jpg) 与单手姿态估计相比，双手姿态估计受到的研究关注要少得多。 ![Image](images/23fa4afbff73defbee7feb3bfececb8863f6665e56f4521abc17b71ae8533dee.jpg) ![Image](images/2e8a8473b505d2030147a6d1505b44e5a99d571e9a97333ca0afb9c69f36f8a5.jpg) ![Image](images/1f6bae7c9bb5f7fc7d711105667e6b2e7400945afb49fe6b75cd47dd0e1056f4.jpg)

Figure 1. Our approach accurately predicts 3D hand and object poses from a single RGB image in challenging scenarios including complex hand interactions (top) and 2 hands interacting with an object where the hands can be severely occluded (bottom). The bottom example is from the $H_{2}O$-3D dataset we also introduce in this paper, which contains challenging, fully and accurately 3D-annotated, video sequences of two hands manipulating objects.

双手姿态估计受到的研究关注确实要少得多。这个问题实际上要棘手得多：两只手的关节在外观上极为相似，因此很难对它们进行区分。此外，当双手紧密交互时，一只手的某些关节很可能会被另一只手或自身遮挡。因此，先检测出左右手，再分别预测它们的3D姿态的方法，在双手紧密交互的场景中表现很差 [^13] [^36]。自下而上的方法 [^30] [^54] 会为每个关节生成一个热图，直接估算2D关节位置及其深度。然而，如图2所示，关节外观的相似性以及严重的遮挡现象会降低热图的质量，导致无法精准定位关节。更多研… --- ![Image](images/fde64bf3686bf6583a0d2175053b4cb7fc9c7389509162cd7adcbb13ac6339f0.jpg) 输入图像 ![Image](images/c03b09768c91028fb9f76aef099883578d70c8435edfdb79d32aa78484ec1d7a.jpg) 来自[^30]的右手指端热图 ![Image](images/f263a654c769072a003e7be9a453ab9d1ba30b0f1e05897d8b53ef52fe9edf77.jpg) 右手姿态已恢复 ![Image](images/54fdebf84bbadbe874949fcb90a3a0bee7a924d695205f7c7f0e6d428adf4a8d.jpg) 通过我们的方法恢复了右手姿态

Figure 2. Similar appearances between joints and partial occlusions make previous methods prone to failure. The InterNet state-of-the-art method [^30] predicts a heatmap for each joint but the predicted heatmaps can become ambiguous, resulting in failures when predicting the hand pose (the hand on the back in this example). Our approach explicitly models the relationship between keypoints resulting in more accurate poses. More examples can be found in the supplementary material.

Cent等人[^10] [^22] [^58]试图通过利用关节分割、关节可见性信息，或增加更多精细化层来提高网络性能，但这也增加了网络的整体复杂度。仅利用关键点，我们的方法就能以更小的模型规模大幅超越这些方法。如图3所示，我们并未试图同时定位并识别手部关节，而是分三个阶段估计手部的3D姿态：(1) 我们首先通过预测单个热图来检测“关键点”，即图像中潜在的关节位置。这些关键点无需与所有手部关节完全对应：即便有些关节未被检测为关键点，或者有些关键点并不对应关节，我们预测的3D姿态依然准确。(2) 接着，我们根据关键点的位置及其图像特征，将关键点与对应的关节关联起来；若为误检的关键点，则将其归类为背景。这一过程会同时针对所有关键点进行，以便利用相互约束关系，具体采用自注意力机制实现。(3) 最后，我们使用交叉注意力模块预测3D手部姿态，该模块会选出与各个手部关节相关的关键点。我们的方法对姿态的参数化方式不敏感，我们考虑了三种不同的手部姿态表示方法。我们的架构被称为“关键点Transformer”，其设计目的是明确区分关键点的身份，即便在复杂的场景下也能表现优异。图1展示了它在两个具有挑战性的示例上的输出结果，输出表示形式采用MANO [^41]网格。我们的架构与“检测Transformer”（DETR）[^8]架构相关。DETR利用低分辨率CNN特征图中的所有空间特征，结合学习到的位置查询来检测图像中的物体。Transformer的高计算复杂度限制了DETR使用更高分辨率的CNN特征图。我们的实验表明，将DETR风格的架构用于手部姿态估计会导致准确率降低，我们推测这是由于使用了更低分辨率的特征图以及整幅图像的特征所致。我们在最新的InterHand2.6M双手交互[^30]数据集和HO-3D手-物交互[^12]数据集上训练并评估我们的架构。我们还推出了一个具有挑战性的视频数据集，其中包含两只手与物体交互的场景，该数据集具备完整且准确的3D标注，且无需标记点。该数据集基于[^12]的研究成果，我们将其命名为$H_{2}O$-3D。我们的方法在现有的手部交互数据集上取得了最先进的性能，同时也为$H_{2}O$-3D数据集提供了可靠的基准。实验表明，在InterHand2.6M数据集上，我们的方法仅需约一半的模型参数就能达到最先进的性能。我们开展了多项消融研究，并与强大的基线方法进行比较，以证明我们方法的有效性。 ### 2. 相关工作目前已有许多针对RGB图像或深度图的手部或物体姿态估计方法。本文主要关注在双手交互或手-物交互过程中估计手部姿态的研究工作。我们也会讨论计算机视觉领域Transformer架构的最新进展，因为它们与我们的工作密切相关。 #### 2.1. 交互式手部姿态估计手部姿态估计方法大致可分为生成式、判别式或混合式三类。生成式方法[12, 26, 33–35, 52]通过在某些约束条件下最小化拟合误差，将参数化手部模型适配到观测到的图像或深度图上。判别式方法[^5] [^14] [^15] [^20] [^30] [^36] [^49] [^62]大多直接从单帧图像预测手部姿态。生成式方法往往严重依赖跟踪过程且容易出现漂移现象，而判别式方法对未见过的图像的泛化能力较差[^1]。混合式方法[^4] [^7] [^13] [^31] [^43] [^45] [^47] [^48] [^51] [^54] [^55]试图结合这两类方法的优势：先利用判别式方法检测图像中的视觉线索，再进行模型拟合。早期用于交互场景下生成式手部姿态估计的方法[^26] [^33] [^34]，采用复杂的优化方法来将参数化手部模型适配到RGBD数据上。[^12]提出了多帧优化算法，用于将手部与物体模型适配到来自多个RGBD摄像头的RGBD数据。仅靠生成式方法在近距离交互或遮挡情况下往往会丢失跟踪信息，因此需结合判别式方法来引导优化过程。 #### [^4]: [^51] detect the fingertips as discriminative points and used them in the optimization along with a collision term and physical modelling. Recently, [^43] proposed high-fidelity hand surface tracking of hand-hand interactions in a multi-view setup where the regressed 3D hand joint locations were used for initializing the tracking. [^7] [^13] [^31] [^36] [^54] compute dense features or keypoints from a single RGB or --- 利用深度图并根据物理约束和关节角约束，将这些估计结果拟合为手部模型[^41]。完全判别式方法[^14] [^15] [^30] [^49]通过在训练阶段纳入接触信息和相互穿透信息，能够同时估计两只交互手或者交互手与物体之间的3D关节位置或手部模型参数。[^20]利用隐式表示来估计手-物表面，这种方式能够自然地建模手与物体之间的接触区域。[^10] [^22]通过引入关节可见性提示和部分分割提示，提升了手-手交互场景下的3D姿态估计精度；而[^58]则利用细化层来迭代优化估计出的姿态。与上述专为手-手或手-物交互场景设计的方法不同，本文提出了一种适用于所有手部交互场景的统一判别式方法。此外，由于关节外观相似，许多以往的判别式方法在近距离手部交互中表现不佳。在本研究中，我们建模了图像中所有检测到的关节之间的关系，从而在保持较低模型复杂度的同时实现更精确的姿态估计。判别性方法的成功依赖于训练数据的多样性，目前已有多种手部交互数据集被提出。[^11]首次利用RGBD相机提供了基于标记的手部-物体交互数据集。[^12]、[^62]和[^15]分别提出了由单手操控物体的真实与合成手部-物体交互数据集，而[^25]近期则开发了双手与物体交互的数据集。[^5]利用红外相机提出了用于接触标注的单手及双手物体交互数据集。[^30]采用半自动标注流程构建了一个包含大量紧密交互场景的大规模双手交互数据集。[^46]借助动作捕捉技术获取交互过程中全身、手部及物体的姿态数据，并据此生成针对未见物体的逼真抓取模型。在这项工作中，我们还基于[^12]的优化方法，构建了一个具有挑战性的双手与物体交互数据集。该数据集包含不同受试者用双手操作YCB数据集中的物体的视频 [^56]，并标注了手和物体的3D姿态。我们的架构在该数据集上已经表现出色，堪称强有力的基准模型。 ### 2.2. 计算机视觉中的Transformer 近年来，Transformer在视觉相关任务中日益受到青睐[^21]。特征通常由CNN骨干网络提取，随后有多种架构被提出用于解决物体检测[^8]、[^60]、图像分类[^9]、姿态估计[^6]、[^17]、[^27]、[^28]以及低层次图像任务[^24]、[^57]。关于更详细的综述，请参阅[^21]。 [^8]: [^60] proposed to combine a CNN backbone with a Transformer to detect objects in an image. [^27] proposed to reconstruct the vertices of a single human body or hand from an RGB image using multiple Transformer encoder layers and achieved state-of-the-art performance. [^28] improved [^27] by using graph convolutions along with a Transformer encoder. [^17] estimated a 3D pose from hand pointcloud data using a Transformer encoder-decoder architecture and proposed to generate query embeddings from input point-cloud instead of learning them as in [^8] [^60]. While these works are aimed at single hand pose estimation and their extension to two hands is non-trivial, our architecture is designed to estimate single and two-hands poses along with the object pose during hand-object interaction from the input RGB image. 在一项密切相关的研究中，[^6]通过利用检测到的关键点和人体中心，借助注意力机制将关节关键点与正确的人体中心关联起来，从而解决了多人2D姿态估计问题。不过二者存在若干关键差异：在我们的场景中，手部中心在紧密交互时会彼此靠近，因此[^6]中的方法无法直接迁移应用。更重要的是，手部关节比“身体关节”更具歧义性，因为它们彼此之间外观极为相似。正如我们在讨论中所展示的，我们的方法对未检测到或错误检测到的关键点也具有鲁棒性，而[^6]无法处理未检测到的关键点。此外，我们还证明：通过在物体上随机采样关键点，便可轻松将我们的方法拓展至手部-物体交互场景下的3D物体姿态估计。 #### 3. 方法如图3所示，我们的架构首先检测那些可能对应手部关节2D位置的关键点，并将其编码为关键点-关节关联阶段的输入。这些关键点会与其空间位置以及该位置处的图像特征一同被编码。关键点Transformer中的自注意力层能够消除关键点的歧义性，并将其与不同类型的关节及背景类别关联起来。随后，单个交叉注意力层会选取这些“具备身份识别功能的关键点”，用以预测双手的根关节相对姿态参数，以及双手间平移量和手部形状参数等额外参数。下文我们将详细介绍关键点检测与编码步骤，说明如何利用关键点变换器来预测手部姿态、我们为3D手部姿态所采用的表示方法，以及训练时所用的损失函数。我们还会解释如何将该方法扩展到手-物交互场景中的物体姿态估计。 #### 3.1. 关键点检测与编码给定输入图像后，我们首先提取可能对应2D手部关节位置的关键点。为此，我们会从输入图像中预测出单通道热图 $\mathcal{H}$… --- ![Image](images/c6c9ce94be3de20d514044dcf0382a432446a90bcaa7baf67f80947bc4c9c993.jpg)

Figure 3. Overview of our approach. We detect keypoints which are potential locations of joints and encode them with CNN image features and spatial embedding (Section 3.1). From this information, the self-attention module creates context-aware keypoint features which are essential for associating each keypoint with the corresponding joint (Section 3.2). A cross-attention module finally predicts for each joint (using learned queries) the values required for computing the hand poses (Section 3.3). The exact nature of these values depends on the chosen representation of the hand pose (Section 3.4). Not all the keypoints have to correspond to a joint and not all the joints have to be detected as keypoints, which makes our approach very robust but still accurate as it relies on keypoints (as discussed in Section 2).

我们使用标准的U-Net [^42] 架构来生成图像，并通过一种不可微的最大抑制操作来保留其中的局部最大值。在此阶段，我们并不试图识别哪个关键点对应哪个关节，因为这是一项极具挑战性的任务；且预测出的热图仅包含一个通道。实际上，我们最多保留 $N_{\text{hand}}$ 个关键点，其中 $N_{\text{hand}} = 64$ 个关键点被保留下来。两只手总共包含42个手部关节。二维关键点的位置会被归一化到 $[0, 1]$ 范围内。真实值热图 $\mathcal{H}^*$ 是通过在每一个真实的2D关节位置上应用方差为 $\sigma$ 的2D高斯核得到的，U-Net的训练目标就是最小化预测热图与真实热图之间的L2损失。对于每一个检测到的关键点，我们都会计算其外观编码和空间编码，以此作为下一阶段的输入。如图3所示，在外观编码部分，我们从U-Net解码器中提取图像特征。更具体地说，我们会在归一化后的关键点位置处，利用双线性插值法从U-Net解码器的多个层上采样特征图，再将它们拼接成一个3968维的特征向量，随后通过三层MLP将其压缩为224维的编码向量。至于空间编码，我们会得到与 [^8] 类似的、对应关键点2D位置的32维正弦位置编码。最后我们将外观编码和空间编码拼接起来，形成该关键点的256维向量表示。关键点检测器会先进行预训练，之后再与流程中的其他部分一起进行微调。 #### 3.2. 关键点-关节关联对于每个关键点 $K_i$，我们现在都得到了对应的编码向量 $\mathcal{F}_i \in \mathbb{R}^{256}$。我们将这些向量作为输入，送入包含 $N_{SA}$ 层的多层多头自注意力模块。这种自注意力机制 [^53] 有助于建模关键点之间的关系，从而为每个关键点生成具备全局上下文信息的特征 $\mathcal{G}_i \in \mathbb{R}^{256}$。这类具备上下文信息的特征对于通过我们称之为 $\mathcal{L}_{\text{KI}}$ 的“关键点-关节关联”损失函数来将关键点与不同关节类型关联起来而言是必不可少的。经过 $\mathcal{L}_{\text{KI}}$ 处理后，关键点特征不仅包含了局部化的CNN图像特征，还编码了关节身份信息。关键点k的身份由 $(h_k, j_k)$ 定义，其中 $h_k$ 表示手的身份（左手或右手），$j_k$ 则表示关节索引。对于被错误检测到的关键点，我们还会额外设定一个“背景”身份。关键点的身份是通过前馈网络（FFN）来预测的，该网络由两层MLP、一个线性投影层和softmax层组成。我们针对 $\mathcal{L}_{\mathrm{KI}}$ 使用交叉熵损失： $$ \mathcal{L}_{\mathrm{K I}}=\sum_{i}\mathrm{C E}\big((h_{i},j_{i}),(h_{i}^{*},j_{i}^{*})\big), $$ 其中，$(h_i^*, j_i^*)$ 表示真实身份标签，CE 代表交叉熵损失。为了获取检测到的关键点的真实身份标签，我们在训练时将它们与距离在阈值 $\gamma$ 以内的真实3D关节的最近投影点进行关联。如果没有距离在 $\gamma$ 以内的投影关节，该关键点就会被归为背景类。在我们的实验中，我们经验性地将阈值设为 $\gamma = 3$ 像素。与 [^8] 类似，关键点的身份标签是在自注意力模块的每一层之后，通过共享权重的前馈神经网络预测的，并且损失函数会作用于每一层的预测结果。预测结果可能会导致多个关键点被赋予相同的关节身份标签，同时有些关键点会被归为背景类。正如我们在第5节中讨论的那样，属于背景类的关键点会被忽略，而属于某个特定关节的所有关键点则会被用于估计该关节的姿态。 --- 交叉注意力模块。 #### 3.3. 基于身份感知关键点的姿态估计关键点-关节关联损失使得关键点特征不仅能编码图像特征和空间嵌入信息，还能编码关节身份信息。我们使用一个带有可学习关节查询向量的单层交叉注意力机制，来预测哪些关键点与所查询的关节身份相匹配。对于可学习的关节查询向量 [^53] 和特征 $Q_j \in \mathbb{R}^{256}$，交叉注意力操作 $\{\mathcal{G}_i\}_{i}$ 的定义如下： $$ \mathrm{C A}\big(Q_{j},G\big)=\mathrm{s o f t m a x}\left(\frac{Q_{j}^{T}W_{K}G}{16}\right)\big(W_{V}G\big)^{T}, $$ 其中，G 是一个矩阵，其列包含特征向量 $\{\mathcal{G}_i\}_{i}$，而 $W_K$ 和 $W_V$ 则是维度为 $256 \times 256$ 的可学习矩阵。与 [^53] 类似，交叉注意力特征会被加到 $Q_j$ 上以形成残差连接。得到的特征会经过一个三层多层感知机变换，从而映射到姿态空间。关节查询向量的数量取决于姿态表示方式。我们考虑了三种不同的表示方式，并在第3.4节和补充材料中进行了描述。例如，当使用2.5D姿态表示时，每只手上的21个关节会对应21个关节查询向量。除了两只手上每个关节对应的查询向量外，我们还使用一个额外的可学习查询向量来预测双手之间的相对平移量 $T_{L \to R}$，以及10维的MANO手部形状参数 $\beta$。这些参数是通过L1损失函数来学习的。在使用MANO关节角度表示法预测姿态时，MANO形状参数非常有用。 #### 3.4. 手部姿态表示方式与损失函数我们考虑三种主要的手部姿态表示方法：3D关节位置、2.5D [^18] [^30] 关节位置，以及MANO关节角度 [^41]。以往的研究 [^14] [^15] [^19] [^38] [^40] 指出，与直接回归关节位置相比，回归模型参数（如关节角度）在关节误差方面的精确度较低。不过，回归MANO关节角度能够获取用于建模交互过程中的接触与穿插现象所需的完整手部网格 [^5] [^15] [^46]，或者用于弱监督学习场景 [^3] [^14] [^23]，这对我们方法的未来扩展而言可能颇具价值。正如我们在后续实验中展示的那样，Keypoint Transformer使得MANO关节角度表示在与关节位置表示对比时，能取得具有竞争力的性能。对于这三种表示方法，我们遵循常规做法。为求完整起见，我们在补充材料中详细阐述了它们及其对应的损失函数。 ![Image](images/fd86789e94c130b0274e97197b1f8f113b6818d7a7edfd1a5ba9e035692c0b9a.jpg)

(a)

(b)

(c)

Figure 4. Keypoint detection for hands and object. We train a U-net decoder to predict (b) a heatmap for all the joints together and (c) a segmentation map for the object from each we extract keypoints at random locations.

#### 3.5. 物体姿态估计我们的方法很容易推广到同时预测物体的3D姿态和手部的3D姿态。如图4所示，除了手部关键点的热图外，我们还通过在U-Net解码器中添加额外的预测头来预测物体的分割图。随后，我们从该分割图中随机选取 $N_{obj} = 20$ 个点，并将其称为“物体关键点”。我们也尝试估算物体网格上固定点的2D投影热图，并选取其局部最大值作为物体关键点，得到了类似的结果。我们像处理手部关键点一样，将物体关键点的外观和空间位置编码为一个256维的向量。这些关键点编码共同涵盖了物体的外观信息，从而让我们能够预测物体的3D旋转和平移。$N_{obj}$ 个物体关键点和 $N_{hand}$ 个手部关键点的编码会被一同输入到自注意力模块中。除了第3.2节中描述的手部关键点标识 $(h_k, j_k)$ 和背景标识外，我们还为物体设置了额外的标识。在关键点关联阶段，所有源自物体的关键点都会被关联到“物体”标识下，这样交叉注意力模块在估算物体姿态时便只会关注物体关键点。除了用于估算手部姿态的关节查询外，我们在交叉注意力模块中还设置了2个额外的查询，以类似于手部姿态的方式预测相对于右手的3D物体旋转和3D物体平移。物体旋转的参数化采用了 [^59] 中提出的方法。我们采用一种类似 [^37] 的对称感知物体角点损失函数来训练网络： $$ \mathcal{L}_{\mathrm{o b j-p o s e}}=\min_{R\in\mathcal{S}}\frac{1}{8}\sum_{i=1}^{8}||P\cdot B_{i}-P^{*}\cdot R\cdot B_{i}||_{2}^{2}, $$ 其中，P和 $P^{*}$ 分别表示估算的物体姿态和真实物体姿态，$B_{i}$ 表示物体静止姿态下3D边界框的 $i^{\mathrm{th}}$ 角点，而 $\mathcal{S}$ 则是那些作用于物体后不会改变其外观的旋转矩阵集合。 --- ### 3.6. 端到端训练我们通过最小化上述损失函数之和来对我们的架构进行端到端训练： $$ \mathcal{L}=\mathcal{L}_{\mathcal{H}}+\mathcal{L}_{\mathrm{K I}}+\mathcal{L}_{\mathcal{T}}+\mathcal{L}_{\mathrm{h a n d-p o s e}}+\mathcal{L}_{\mathrm{o b j-p o s e}}, $$ 其中，$\mathcal{L}_{\text{hand-pose}}$ 表示手部姿态的损失（详见补充材料），而 $\mathcal{L}_{\mathcal{T}}$ 则是两只手之间相对平移的L1损失。需要注意的是，关键点检测器在端到端训练整个网络之前就已经预训练好了。更多优化细节也已在补充材料中给出。 #### 4. 评估我们在三个具有挑战性的手部交互数据集上评估了我们的方法：InterHand2.6M、HO-3D，以及本文中介绍的 $H_{2}O$-3D 数据集。下文将分别介绍这些数据集。 #### 4.1. InterHand2.6M 训练集与测试集。InterHand2.6M [^30] 是最近发布的一个包含大量复杂姿态的双手交互数据集。该数据集采用半自动方式标注，包含136万张训练图像和84.9万张测试图像。评估指标。我们采用平均关节位置误差（MPJPE）和平均相对根位置误差（MRRPE）来分别评估手部姿态相对于根节点的误差以及双手之间的平移误差，具体做法与 [^30] 中的描述一致。基线模型。我们选取了两种基于Transformer的基线架构。第一种基线（“CNN+SA”）会将空间维度展平后的低分辨率（下采样32倍）CNN特征图作为输入，送入包含自注意力（SA）模块的Transformer编码器。编码器输出的标记被拼接起来后，再通过多层感知机（MLP）预测姿态。第二种基线（“CNN+SA+CA”）更类似于DETR [^8]，即将低分辨率的CNN特征图送入Transformer编解码器架构。Transformer解码器包含SA和交叉注意力（CA）模块。解码器中的查询向量是可学习的，姿态则通过

	MPJPE (mm)			MRRPE
	Single Hand	Two Hands	All	(mm)
CNN+SA	13.53	16.87	15.31	33.84
CNN+SA+CA (DETR [^8])	12.81	15.94	14.48	32.87
InterNet [^30]	12.16	16.02	14.22	32.57
Ours	10.99	14.34	12.78	29.63
Dong et al. [^22]	-	-	12.08	-
Ours	9.10	11.98	11.30	21.89
Fan et al. [^10]	11.32	15.57	-	30.51
Ours	11.08	15.33	13.41	30.87

Table 1. Comparison with 2 baselines and the state-of-the-art methods on InterHand2.6M [^30]. We compare with [^10] [^22] [^30] using the different train/test splits reported in their works.

类似我们的Keypoint Transformer的方式，利用前馈网络（FFN）来预测。关于这些基线模型的更多细节可在补充材料中找到。这些基线模型有助于理解关键点采样与选择对姿态估计的重要性。实验结果。表1对比了我们的方法与使用2.5D姿态表示时，最先进的方法InterNet [^30] 以及这两种基线模型的准确率。我们的方法比基于CNN架构的InterNet高出10%的准确率，分别比这两种基线模型高出16%和12%。‘CNN+SA+CA’基线相比‘CNN+SA’基线具有更高的准确率，这表明解码器对图像特征的软选择能够提升准确率。此外，我们的Keypoint-Transformer相比‘CNN+SA+CA’架构有12%更高的准确率，说明使用关键点特征而非整幅图像的特征来进行姿态估计，能够提高整体准确率。我们使用他们的训练集和测试集，将我们的方法与 [^22] 和 [^10] 进行了比较。[^10] 和 [^22] 利用逐关节热图，结合关节可见性与分割引导特征来提高姿态估计的准确率，因此模型的复杂度高于InterNet [^30]。而我们方法的模型复杂度与 [^30] 相当（见第5节），却仍能超越这些最先进的方法。定性结果展示在图5及补充材料中。 #### 4.2. HO-3D 训练集与测试集。HO-3D [^12] 数据集包含了右手与YCB [^56] 数据集中物体的自动标注的手部-物体交互序列。该数据集包含6.6万张训练图像和1.1万张测试图像。评估时我们仅考虑训练集中出现过的物体。指标。如[^12]所述，我们报告根关节在尺度平移对齐后的平均关节误差以及用于评估手部姿态的曲线下面积（AUC）指标。物体姿态是相对于手部参考系计算的，采用标准的最大对称感知表面距离（MSSD）[^16]进行评估，该指标考虑了物体的对称性。结果。我们采用3D关节表示来估计手部姿态。表2对比了所提出的手-物姿态估计方法与其他方法的准确性。Keypoint Transformer的表现明显优于以往的方法[^12] [^14] [^15]。由于[^12]、[^14]和[^15]在训练和评估过程中并未考虑物体的对称性，我们也在此类设置下报告了我们的结果。定性结果如图6和补充材料中所示。 ### 4.3. $H_{2}O-3D$ 训练集与测试集。我们介绍一个名为$H_{2}O$-3D的数据集，其中包含两只手操纵物体的序列，这些序列已自动标注了手部及物体的3D姿态。 --- ![Image](images/1e3aa3718acf243290b5fcc55dd0f1a9d578fed42faf9e607275389ea20ce189.jpg)

Figure 5. Qualitative results on InterHand2.6M [^30]. Our method obtains accurate poses of hands during complex interactions. We show the estimated MANO model from a different view.

![Image](images/b726dd24a1acf8ad9ae929cf6025ca4ada205f57a93527fc8298fe4101e13041.jpg)

Figure 6. Qualitative results for our method on the H₂O-3D and HO-3D datasets. Our method recovers poses even under large occlusions by the object and achieves state-of-the-art results on HO-3D while serving as a strong baseline for our new dataset H₂O-3D. Note that some objects (columns 2&4) are considered to be rotationally symmetric along the z-axis.

	Camera Intrinsics	Image Crop	Joint Error	Mean Joint AUC	MSSD (Object Pose Error)
[^12]	Yes	Yes	3.04	0.49	-
[^15]	No	Yes	3.18	0.46	-
[^14]	Yes	No	3.69	0.37	11.99
Ours	No	Yes	2.57	0.54	7.02

Table 2. Accuracy of our method on the HO-3D dataset for hand and object pose estimation. Our method outperforms previous methods by a large margin.

我们通过扩展[^12]的工作来考虑两只手的情况，从而获取手部及物体的3D姿态。图1和图6展示了一些图像。五名不同的受试者使用双手以功能性意图操纵来自YCB数据集的10种不同物体。我们利用五台RGBD相机组成的多视角设备采集了60,998张训练图像和15,342张测试图像。$H_2O$-3D测试集中包含7种训练集中出现过的物体以及1种未见过的物体。更多细节详见补充材料。与以往的手部交互数据集相比，$H_2O$-3D的挑战性显著更高，因为手部与物体之间存在大量遮挡情况。指标与结果。我们采用3D关节表示来描述手部姿态，并分别使用MPJPE和MRRPE指标（见第4.1节）评估手部准确性，使用MSSD指标（见第4.2节）评估物体准确性。关于训练和评估过程中不同物体对称角的详细信息可在补充材料中找到。由于物体被手部大量遮挡，部分图像不适合用于物体姿态估计。我们将那些真实物体分割区域面积小于裁剪后图像面积2%的图像识别出来，并在训练和评估时将其排除在物体姿态估计之外。我们还使用了HO-3D的训练子集，在训练期间随机对图像进行镜像处理，以获得仅含右手或左手的图像，随后将其与$H_{2}O$-3D的训练集合并。在该数据集上，我们的方法取得了3.09厘米的MPJPE值和8.28厘米的MR-RPE值。由于物体造成的遮挡较为严重，估计手部之间的平移关系更具挑战性，因此MRRPE值约为不含物体的InterHands2.6M数据集上的2.5倍。对于物体而言，我们的方法得到的MSSD值为7.96厘米。具体的物体相关MSSD值详见补充材料。图6展示了定性结果。 ### 5. 讨论我们在此报告使用InterHand2.6M（V0.0）进行的实验结果，以便更好地理解我们的方法。交叉注意力可视化。我们在图7中可视化了左食指两个关节查询对应的交叉注意力权重。当关节未被遮挡时，如第一行所示，每个关节查询会关注位置与对应关节位置重合的关键点。 --- ![Image](images/c247a87e75e1a8a40cb028ae9c3af4674b849e3fc432cc2afebceb6f6643bf5d.jpg)

Figure 7. Visualizing the cross-attention weights for two joint queries of the left hand. The radius of the red circles are proportional to the weights. When the joint is occluded like the DIP joint on the second row, nearby visible keypoints are selected by the attention mechanism for pose estimation.

![Image](images/dd10640af204695febd40205cfe4a11a63f688aa81ab2892eb7d2b3b76be61ad.jpg)

(c)

Figure 8. Robustness to noisy keypoints. In this example, we added noisy keypoints around the middle finger PIP joint. Most of the noisy keypoints are predicted to belong to background class (in red), while some are associated with the PIP joint (in blue). The noisy keypoints associated with the PIP joint have all higher cross-attention weights (c) and are considered for final pose estimation.

![Image](images/a2a8f9f8669b46bccd5d49e3ffe2cb25d45f44888e42260cb859be14a82bc876.jpg)

Figure 9. Cross-attention with and without the keypoint-joint association loss $\mathcal{L}_{\mathrm{KI}}$. $\mathcal{L}_{\mathrm{KI}}$ makes the keypoints 'identity-aware', resulting in higher accuracy.

图像。换句话说，就是利用关节位置的局部图像特征来估计该关节的姿态。我们认为，这种使用局部图像特性的方法有助于实现比其他基于CNN的方法更高的精度[^14] [^15] [^30]。在图7的第二行中，除MCP关节外，左手食指被遮挡，无法检测到不可见关节的关键点。交叉注意力模块会选取附近可见的关键点，从而生成用于估计关节姿态的更全局级别的特征。对噪声关键点的鲁棒性。为了验证我们方法的鲁棒性，我们在检测到的关键点周围添加了错误的关键点。如图8和补充材料所示，这些关键点大多被标记为背景，且所有归属于同一关节的关键点在姿态估计中被同等对待。关键点-关节关联损失的重要性$\mathcal{L}_{\mathrm{KI}}$。$\mathcal{L}_{\mathrm{KI}}$帮助交叉注意力模块选取合适的特征来进行姿态估计，如图9所示。

	Camera	MPJPE (mm)			MRRPE
	Intrinsics	Single Hand	Two Hands	All	(mm)
3D	No	12.42	17.08	14.76	33.14
2.5D	Yes	11.73	17.69	14.73	34.40
$\theta$	No	15.36	20.61	18.01	37.91

Table 3. Accuracy obtained with the 3 different pose representations.

	$N_{{CA}} = 1$, Varying $N_{{SA}}$			$N_{{SA}} = 6$, Varying $N_{{CA}}$			[^30]
	0	3	6	1	3	6	[^30]
Single Hand	12.34	11.77	11.24	11.24	11.14	11.08	12.63
Two Hands	16.93	15.55	15.44	15.44	15.35	15.33	17.36

Table 4. 3D pose accuracy (MPJPE, in mm) for different numbers of self-attention ( $N_{SA}$) and cross-attention ( $N_{CA}$) layers.

	Resnet-18	Resnet-34	Resnet-50	[^30] (Resnet-50)
Total Params	28M	38M	48M	48M
Single Hand	11.67	11.99	11.28	12.63
Two Hands	16.78	16.41	15.32	17.36

Table 5. 3D pose accuracy (MPJPE, in mm) for different backbones.

此外，$\mathcal{L}_{\mathrm{KI}}$将交互式手部图像上的MPJPE降低了10%（从18.91毫米降至17.08毫米），MRRPE降低了15%（从38.96毫米降至33.14毫米）。不同姿态表示下的精度。表3对比了我们考虑的三种手部姿态表示的精度。虽然3D和2.5D表示的精度相近，但关节角度表示的精度较低，这一结果与以往的研究结论一致[^14] [^15] [^19] [^38] [^40]。自注意力（SA）层和交叉注意力（CA）层数量的影响。表4报告了不同SA和CA层组合下的MPJPE值。即使没有SA层，我们的方法仍优于[^30]。增加更多的CA层对精度的影响微乎其微。参数数量的影响。表5报告了不同CNN骨干网络的MPJPE值。虽然更大的骨干网络能提升精度，但即便采用参数总量约为其一半的ResNet-18骨干网络，我们的方法仍优于[^30]。 ## 6. 结论我们证明，通过将关键点检测器集成到Transformer架构中，我们能够比标准Transformer架构更精确地从极具挑战性的图像中预测手部和物体的3D姿态。由于我们的方法依赖关键点，因此我们认为该方法具有更强的通用性，可应用于其他问题，例如人体及其他铰接物体的姿态预测、物体类别的姿态预测[^39]。致谢。本研究得到了由高通公司部分资助的Christian Doppler语义3D计算机视觉实验室以及Chistera IPalm的支持。 --- ## 参考文献 [^1]: Anil Armagan, Guillermo Garcia-Hernando, Seungryul Baek, Shreyas Hampali, Mahdi Rad, Zhaohui Zhang, Shipeng Xie, Ming-xiu Chen, Boshen Zhang, F. Xiong, Yang Xiao, Zhiguo Cao, Junsong Yuan, Pengfei Ren, Weiting Huang, Haifeng Sun, Marek Hruz, Jakub Kanis, Zdenek Krnoul, Qingfu Wan, Shile Li, Linlin Yang, Dongheui Lee, Angela Yao, Weiguo Zhou, Sijia Mei, Yunhui Liu, Adrian Spurr, Umar Iqbal, Pavlo Molchanov, Philippe Weinzaepfel, Romain Brégier, Grégory Rogez, Vincent Lepetit, and Taekyun Kim. Measuring Generalisation to Unseen Viewpoints, Articulations, Shapes and Objects for 3D Hand Pose Estimation Under Hand-Object Interaction. In European Conference on Computer Vision, 2020. 2 [^2]: Seungryul Baek, Kwang In Kim, and Tae-Kyun Kim. Pushing the Envelope for RGB-Based Dense 3D Hand Pose Estimation via Neural Rendering. In Conference on Computer Vision and Pattern Recognition, 2019. 1 [^3]: Seungryul Baek, Kwang In Kim, and Tae-Kyun Kim. Weakly-Supervised Domain Adaptation via GAN and Mesh Model for Estimating 3D Hand Poses Interacting Objects. In Conference on Computer Vision and Pattern Recognition, 2020. 5 [^4]: Luca Ballan, Aparna Taneja, Juergen Gall, Luc Van Gool, and Marc Pollefeys. Motion Capture of Hands in Action Using Discriminative Salient Points. In European Conference on Computer Vision, 2012. 2 [^5]: Samarth Brahmbhatt, Chengcheng Tang, Christopher D. Twigg, Charles C. Kemp, and James Hays. ContactPose: A Dataset of Grasps with Object Contact and Hand Pose. In European Conference on Computer Vision, 2020. 2, 3, 5 [^6]: Guillem Braso, Nikita Kister, and Laura Leal-Taixé. The Center of Attention: Center-Keypoint Grouping Attention for Multi-Person Pose Estimation. In International Conference on Computer Vision, 2021. 3 [^7]: Zhe Cao, Ilija Radosavovic, Angjoo Kanazawa, and Jitendra Malik. Reconstructing Hand-Object Interactions in the Wild. In arXiv Preprint, 2020. 2 [^8]: Nicolas Carion, Francisco Massa, Gabriel Synnaeve, Nicolas Usunier, Alexander Kirillov, and Sergey Zagoruyko. End-to-End Object Detection with Transformers. In European Conference on Computer Vision, 2020. 2, 3, 4, 6 [^9]: Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, Jakob Uszkoreit, and Neil Houlsby. An Image Is Worth 16x16 Words: Transformers for Image Recognition at Scale. In arXiv Preprint, 2020. 3 [^10]: Zicong Fan, Adrian Spurr, Muhammed Kocabas, Siyu Tang, Michael Black, and Otmar Hilliges. Learning to Disambiguate Strongly Interacting Hands via Probabilistic Per-Pixel Part Segmentation. In International Conference on 3D Vision, 2021. 2, 3, 6 [^11]: Guillermo Garcia-Hernando, Shanxin Yuan, Seungryul Baek, and Tae-Kyun Kim. First-Person Hand Action Benchmark with RGB-D Videos and 3D Hand Pose Annotations. 发表于2018年计算机视觉与模式识别会议。3 [^12]: Shreyas Hampali, Mahdi Rad, Markus Oberweger, and Vincent Lepetit. HOnnotate: A Method for 3D Annotation of Hand and Object Poses. In Conference on Computer Vision and Pattern Recognition, 2020. 1, 2, 3, 6, 7 [^13]: Shangchen Han, Beibei Liu, R. Cabezas, Christopher D. Twigg, Peizhao Zhang, Jeff Petkau, Tsz-Ho Yu, Chun-Jung Tai, Muzaffer Akbay, Zheng Wang, Asaf Nitzan, Gang Dong, Yuting Ye, Lingling Tao, Chengde Wan, and Robert Wang. MEgATrack: Monochrome Egocentric Articulated Hand-Tracking for Virtual Reality. IEEE Transactions on Robotics and Automation, 39, 2020. 1,2 [^14]: Yana Hasson, Bugra Tekin, Federica Bogo, Ivan Laptev, Marc Pollefeys, and Cordelia Schmid. Leveraging Photometric Consistency over Time for Sparsely Supervised Hand-Object Reconstruction. In Conference on Computer Vision and Pattern Recognition, 2020. 2, 3, 5, 6, 7, 8 [^15]: Yana Hasson, Gül Varol, Dimitrios Tzionas, Igor Kalevatykh, Michael J. Black, Ivan Laptev, and Cordelia Schmid. Learning Joint Reconstruction of Hands and Manipulated Objects. In Conference on Computer Vision and Pattern Recognition, 2019. 1, 2, 3, 5, 6, 7, 8 [^16]: Tomás Hodan, Martin Sundermeyer, Bertram Drost, Yann Labbé, Eric Brachmann, Frank Michel, Carsten Rother, and Jiri Matas. BOP Challenge 2020 on 6D Object Localization. In Computer Vision - ECCV 2020 Workshops - Glasgow, UK, August 23-28, 2020, Proceedings, Part II, 2020. 6 [^17]: Lin Huang, Jianchao Tan, Ji Liu, and Junsong Yuan. Hand-Transformer: Non-Autoregressive Structured Modeling for 3D Hand Pose Estimation. In European Conference on Computer Vision, 2020. 3 [^18]: Umar Iqbal, Pavlo Molchanov, Thomas Breuel, Juergen Gall, and Jan Kautz. Hand Pose Estimation via Latent 2.5D Heatmap Regression. In European Conference on Computer Vision, 2018. 1, 5 [^19]: Angjoo Kanazawa, Michael J. Black, David W. Jacobs, and Jitendra Malik. End-to-End Recovery of Human Shape and Pose. In Conference on Computer Vision and Pattern Recognition, 2018. 5, 8 [^20]: Korrawe Karunratanakul, Jinlong Yang, Yan Zhang, Michael J. Black, Krikamol Muandet, and Siyu Tang. Grasping Field: Learning Implicit Representations for Human Grasps. In International Conference on 3D Vision, 2020. 2, 3 [^21]: Salman Khan, Muzammal Naseer, Munawar Hayat, Syed Waqas Zamir, Fahad Khan, and Mubarak Shah. Transformers in Vision: A Survey. In arXiv Preprint, 2021. 3 [^22]: Dong Uk Kim, Kwang In Kim, and Seungryul Baek. End-to-End Detection and Pose Estimation of Two Interacting Hands. In International Conference on Computer Vision, 2021. 2, 3, 6 ## [^23]: Dominik Kulon, Riza Alp Güler, Iasonnas Kokkinos, Michael Bronstein, and Stefanos Zafeiriou. Weakly-Supervised Mesh-Convolutional Hand Reconstruction in the Wild. In Conference on Computer Vision and Pattern Recognition, 2020. 5 --- [^24]: Manoj Kumar, Dirk Weissenborn, and Nal Kalchbrenner. Colorization Transformer. In arXiv Preprint, 2021. 3 [^25]: Taein Kwon, Bugra Tekin, Jan Stühmer, Federica Bogo, and Marc Pollefeys. H2O: Two Hands Manipulating Objects for First Person Interaction Recognition. In International Conference on Computer Vision, 2021. 3 [^26]: Nikolaos Kyriazis and Antonis A. Argyros. Scalable 3D Tracking of Multiple Interacting Objects. In Conference on Computer Vision and Pattern Recognition, 2014. 2 [^27]: Kevin Lin, Lijuan Wang, and Zicheng Liu. End-to-End Human Pose and Mesh Reconstruction with Transformers. In Conference on Computer Vision and Pattern Recognition, 2021. 3 [^28]: Kevin Lin, Lijuan Wang, and Zicheng Liu. Mesh Graphormer. In International Conference on Computer Vision, 2021. 3 [^29]: Gyeongsik Moon and Kyoung Mu Lee. I2L-MeshNet: Image-to-Lixel Prediction Network for Accurate 3D Human Pose and Mesh Estimation from a Single RGB Image. In European Conference on Computer Vision, 2020. 1 [^30]: Gyeongsik Moon, Shoou-I Yu, He Wen, Takaaki Shiratori, and Kyoung Mu Lee. InterHand2.6M: A Dataset and Baseline for 3D Interacting Hand Pose Estimation from a Single RGB Image. In European Conference on Computer Vision, 2020. 1, 2, 3, 5, 6, 7, 8 [^31]: Franziska Mueller, Micah Davis, Florian Bernard, Oleksandr Sotnychenko, Mickeal Verschoor, Miguel Otaduy, Dan Casas, and Christian Theobalt. Real-Time Pose and Shape Reconstruction of Two Interacting Hands with a Single Depth Camera. IEEE Transactions on Robotics and Automation, 38, 2019. 2 [^32]: Markus Oberweger, Paul Wohlhart, and Vincent Lepetit. Training a Feedback Loop for Hand Pose Estimation. In International Conference on Computer Vision, 2015. 1 [^33]: Iason Oikonomidis, Nikolaos Kyriazis, and Antonis A. Argyros. Full DOF Tracking of a Hand Interacting with an Object by Modeling Occlusions and Physical Constraints. In International Conference on Computer Vision, 2011. 2 [^34]: I. Oikonomidis, Nikolaos Kyriazis, and Antonis A. Argyros. Tracking the Articulated Motion of Two Strongly Interacting Hands. In Conference on Computer Vision and Pattern Recognition, 2012. 2 [^35]: Paschalis Panteleris, Nikolaos Kyriazis, and Antonis A. Argyros. 3D Tracking of Human Hands in Interaction with Unknown Objects. In British Machine Vision Conference, 2015. 2 [^36]: Paschalis Panteleris, Iason Oikonomidis, and Antonis A. Argyros. Using a Single RGB Frame for Real Time 3D Hand Pose Estimation in the Wild. In IEEE Winter Conference on Applications of Computer Vision, 2018. 1, 2 [^37]: Kiru Park, Timothy Patten, and Markus Vincze. Pix2Pose: Pixel-Wise Coordinate Regression of Objects for 6D Pose Estimation. In International Conference on Computer Vision, 2019. 5 [^38]: Georgios Pavlakos, Nikos Kolotouros, and Kostas Danilidis. TexturePose: Supervising Human Mesh Estimation with Texture Consistency. In International Conference on Computer Vision, 2019. 5, 8 [^39]: Georgios Pavlakos, Xiaowei Zhou, Aaron Chan, Konstantinos G Derpanis, and Kostas Daniilidis. 6-dof object pose from semantic keypoints. In International Conference on Robotics and Automation (ICRA), 2017. 8 [^40]: Georgios Pavlakos, Luyang Zhu, Xiaowei Zhou, and Kostas Daniilidis. Learning to Estimate 3D Human Pose and Shape from a Single Color Image. In Conference on Computer Vision and Pattern Recognition, 2018. 1, 5, 8 [^41]: Javier Romero, Dimitrios Tzionas, and Michael J. Black. EMbodied Hands: Modeling and Capturing Hands and Bodies Together. IEEE Transactions on Robotics and Automation, 36, 2017. 2, 3, 5 [^42]: Olaf Ronneberger, Philipp Fischer, and Thomas Brox. U-Net: Convolutional Networks for Biomedical Image Segmentation. In Conference on Medical Image Computing and Computer Assisted Intervention, 2015. 4 [^43]: Breannan Smith, Chenglei Wu, He Wen, Patrick Peluse, Yaser Sheikh, Jessica Hodgins, and Takaaki Shiratori. Constraining Dense Hand Surface Tracking with Elasticity. IEEE Transactions on Robotics and Automation, 39, 2020. 2 [^44]: Adrian Spurr, Umar Iqbal, Pavlo Molchanov, Otmar Hilliges, and Jan Kautz. Weakly Supervised 3D Hand Pose Estimation via Biomechanical Constraints. In European Conference on Computer Vision, 2020. 1 [^45]: Srinath Sridhar, Franziska Mueller, Michael Zollhöfer, Dan Casas, Antti Oulasvirta, and Christian Theobalt. Real-Time Joint Tracking of a Hand Manipulating an Object from RGB-D Input. In European Conference on Computer Vision, 2016. 2 [^46]: Omid Taheri, Nima Ghorbani, Michael J. Black, and Dimitrios Tzionas. GRAB: A Dataset of Whole-Body Human Grasping of Objects. In European Conference on Computer Vision, 2020. 3, 5 [^47]: Jonathan Taylor, Lucas Bordeaux, Thomas Cashman, Bob Corish, Cem Keskin, Toby Sharp, Eduardo Soto, David Sweeney, Julien Valentin, Benjamin Luff, Arran Topalian, Erroll Wood, Sameh Khamis, Pushmeet Kohli, Shahram Izadi, Richard Banks, Andrew Fitzgibbon, and Jamie Shotton. Efficient and Precise Interactive Hand Tracking through Joint, Continuous Optimization of Pose and Correspondences. IEEE Transactions on Robotics and Automation, 35, 2016. 2 [^48]: Jonathan Taylor, Vladimir Tankovich, Danhang Tang, Cem Keskin, David Kim, Philip Davidson, Adarsh Kowdle, and Shahram Izadi. Articulated Distance Fields for Ultra-Fast Tracking of Hands Interacting. IEEE Transactions on Robotics and Automation, 36, 2017. 2 [^49]: Bugra Tekin, Federica Bogo, and Marc Pollefeys. H+O: Unified Egocentric Recognition of 3D Hand-Object Poses and Interactions. In Conference on Computer Vision and Pattern Recognition, 2019. 1, 2, 3 [^50]: Hsiao-Yu Tung, Hsiao-Wei Tung, Ersin Yumer, and Katerina Fragkiadaki. Self-Supervised Learning of Motion Capture. In Advances in Neural Information Processing Systems, 2017. 1 ## [^51]: Dimitrios Tzionas, Luca Ballan, Abhilash Srikantha, Pablo Aponte, Marc Pollefeys, and Juergen Gall. Capturing Hands --- 利用判别性显著点和物理仿真实现动作捕捉。《国际计算机视觉杂志》，第118卷，2016年。2 [^52]: Dimitrios Tzionas and Juergen Gall. 3D Object Reconstruction from Hand-Object Interactions. In International Conference on Computer Vision, 2015. 2 [^53]: Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention Is All You Need. In Advances in Neural Information Processing Systems, 2017. 4, 5 [^54]: Jiayi Wang, Franziska Mueller, Florian Bernard, Suzanne Sorli, Oleksandr Sotnychenko, Neng Qian, Miguel Otaduy, Dan Casas, and Christian Theobalt. RGB2Hands: Real-Time Tracking of 3D Hand Interactions from Monocular RGB Video. IEEE Transactions on Robotics and Automation, 39, 2020. 1, 2 [^55]: Donglai Xiang, Hanbyul Joo, and Yaser Sheikh. Monocular Total Capture: Posing Face, Body, and Hands in the Wild. In Conference on Computer Vision and Pattern Recognition, 2019. 2 [^56]: Yu Xiang, Tanner Schmidt, Venkatraman Narayanan, and Dieter Fox. PoseCNN: A Convolutional Neural Network for 6D Object Pose Estimation in Cluttered Scenes. Science, 2018. 3,6 [^57]: Fuzhi Yang, Huan Yang, Jianlong Fu, Hongtao Lu, and Baining Guo. Learning Texture Transformer Network for Image Super-Resolution. In Conference on Computer Vision and Pattern Recognition, 2020. 3 [^58]: Baowen Zhang, Yangang Wang, Xiaoming Deng, Yinda Zhang, Ping Tan, Cuixia Ma, and Hongan Wang. Interacting Two-Hand 3D Pose and Shape Reconstruction from Single Color Image. In International Conference on Computer Vision, 2021. 2, 3 [^59]: Y. Zhou, Connelly Barnes, Jingwan Lu, Jimei Yang, and Hao Li. On the Continuity of Rotation Representations in Neural Networks. In Conference on Computer Vision and Pattern Recognition, 2019. 5 [^60]: Xizhou Zhu, Weijie Su, Lewei Lu, Bin Li, Xiaogang Wang, and Jifeng Dai. Deformable DETR: Deformable Transformers for End-to-End Object Detection. In International Conference for Learning Representations, 2021. 3 [^61]: Christian Zimmermann and Thomas Brox. Learning to Estimate 3D Hand Pose from Single RGB Images. In International Conference on Computer Vision, 2017. 1 [^62]: Christian Zimmermann, Duygu Ceylan, Jimei Yang, Bryan C. Russell, Max Argus, and Thomas Brox. FreiHAND: A Dataset for Markerless Capture of Hand Pose and Shape from Single RGB Images. In International Conference on Computer Vision, 2019. 2, 3