# 两只交互手部的端到端检测与姿态估计
董旭·金（Dong Uk Kim）
权仁·金（Kwang In Kim）
蔚山科学技术院（UNIST）
白承烈（Seungryul Baek）
## 摘要
三维手部姿态估计技术已经趋于成熟，能够支持单手场景下的实际应用。然而，对于两只紧密交互的手部而言，准确估计其姿态仍是一项挑战——因为这种情况下一只手常常会遮挡另一只手。我们提出了一种新算法，能够在这种极具挑战性的场景下精准估计手部姿态。该算法的核心在于一个联合训练交互手部估计器的框架，充分利用两者之间的相互依赖性。此外，我们采用了一种用于判别交互手部姿态的GAN型鉴别器，以避免出现物理上不合理的姿态配置（例如手指交叉的情况），同时利用关节的可见性来优化中间的二维姿态估计结果。我们将这些模块整合到一个单一模型中，使其能够根据统一的姿态估计精度标准来检测手部并估计其姿态。据我们所知，这是首次尝试构建能够检测并估计两只紧密交互手部（以及单手）姿态的端到端网络。在针对三类代表具有挑战性的真实场景的数据集进行的实验中，我们的算法相比现有最先进方法展现出了显著且稳定的性能提升。
### 1. 引言
手部姿态估计有诸多应用场景，包括增强现实与虚拟现实、手语识别以及基于手势的交互界面等。得益于深度学习技术的进步，过去十年间该领域取得了显著进展。尤其是针对孤立的手部而言，骨骼姿态估计技术已经足够成熟，可应用于实际场景。因此，近期的研究重点转向了更具挑战性的场景：例如估计以心视相机视角拍摄的手部姿态[^28] [^54] [^13]，或是与物体交互时的手部姿态[^47] [^7] [^8] [^14] [^4]；还有恢复手部形状及骨骼姿态的任务[^24] [^3] [^5] [^57]。不过直到最近，人们才开始关注两只交互手部的姿态估计问题。这个问题颇具挑战性，因为交互手部常常会造成严重的自遮挡现象（具体示例见图1）。
目前针对该场景的大多数现有研究采用基于生成模型的拟合方法，例如在深度图上进行处理[^30] [^49] [^27] [^42]
Figure 1: Example hand detection and 3D pose estimation results on the InterHand2.6M dataset [^25]: (Rows 1–2) skeletal joints (overlaid on the inputs) estimated by Moon et al.'s state-of-the-art system [^25] and ours, respectively. Ours provides more accurate pose estimation than [^25] when two hands closely interact with each other (last two columns). For interacting hands, our joint estimation process is guided by the predicted joint visibility as shown in the third row (yellow: invisible, green and red: visible). For single-hands, visibility is not estimated (see supplemental for cases where single-hand joint visibility is also used). The last row visualizes our results in different views.
或在RGB图像上处理[^52]；而近期，基于卷积神经网络（CNN）的判别式学习方法也受到了研究人员的关注[^25] [^21]。基于CNN的方法在处理心视视角或物体交互场景中的遮挡问题时尤为有效。
---
tion [^28] [^54] [^13] [^47] [^7] [^8] [^14] [^4]。然而，由于缺乏训练数据，将这些技术应用于交互手部的案例一直受到限制：Ego3D 数据集 [^21] 提供了来自 Mixamo 的模拟角色的合成手部，而 Tzionas 数据集 [^49] 仅提供了少量带有 2D 骨架标注的双手示例。这些数据集在规模上有限，尤其是在紧密交互手部情况的覆盖方面。最近的 InterHand2.6M 数据集提供了由多视角相机拍摄的百万级真实图像 [^25]。然而，其中的紧密交互情况（边界框交并比，IOU 分数大于 0.5）仍仅局限于约 18,000 个实例。
在本文中，我们提出了一种基于CNN的手部姿态估计框架。我们的系统是在包含少量交互手部实例的现有数据集（Ego3D和InterHand2.6M）上训练的。然而，在测试交互手部场景时，其准确率水平与最先进的单手姿态估计系统相当。
我们的方法基于这样一个假设：可见的手部包含了用于推断被遮挡手部姿态的有用信息。我们通过统计检验验证了紧密交互手部各关节位置之间的独立性，并将这一发现转化为一个新框架，利用这种依赖性来联合估计它们的姿态。此外，我们利用双手之间的结构依赖性，训练一个GAN类型的判别器，以避免出现物理上不合理的手部关节配置，例如两根手指相互交叉的情况。我们还显式估计每个关节的可见性，并将这些信息用于优化2D姿态估计。
为了便于在此场景下训练手部姿态估计器，我们将手部检测网络嵌入到我们的框架中，将检测到的手部分为（紧密）交互类和非交互类（或单手类），随后分别将其送入对应的姿态估计器。这使我们能够：1）针对具有挑战性的交互手部场景定制手部姿态估计系统（通过交互场景的姿态估计器），同时仍能在单手场景上保持最先进的性能（通过单手姿态估计器）；2）以端到端的方式训练整个系统。
据我们所知，我们的系统是首个可端到端训练的流程，能够同时完成单手或双手交互场景的检测与姿态估计。通过在Ego3D[^21]、InterHands2.6M[^25]和Tzionas[^49]数据集上的实验，我们证明我们的联合估计方法相比1）独立估计手部的基准系统以及2）最先进的姿态估计系统均有显著提升。
### 2. 相关工作
单手（独立手）的姿态估计。过去几年中，单手的三维姿态估计取得了显著进展，相关方法要么基于深度图 [^56] [^29] [^43] [^50] [^29] [^55] [^23] [^34] [^55] [^2] [^51] [^1]，要么基于RGB图像 [^16] [^6] [^58] [^17]。由于深度图能捕捉丰富的三维信息，基于深度的三维手部姿态估计尤为成功 [^55]。自动数据采集与合成流程 [^56] [^8] 进一步助力实现高精度估计。在RGB领域，自动数据生成更具挑战性：合成数据集往往与真实世界数据存在明显差异 [^34] [^26] [^38]。近期获取高质量三维标注的尝试利用了多视角和/或时间信息 [^12] [^59] [^39] [^20]：Simon等人 [^39] 率先在多摄像头场景下收集强调标签一致性的手部姿态标注 [^17]；Zimmermann等人 [^59] 则利用八台多视角RGB摄像头收集三维标注。在 [^12] 中，Hampali等人提出了一种涉及5台RGBD摄像头且能保证时空一致性的全自动数据采集流程。此外，可微渲染器和透视模型 [^5] [^9] [^14] [^22] 使得无需显式三维网格监督即可训练CNN，从单张RGB图像中重建三维网格；这类方法通常以二维/三维骨架和二维分割掩码作为弱监督信号。
现有方法也可分为生成式方法和判别式方法：生成式方法会优化三维模型的参数（如MANO [^37]），以解释输入的点云和深度值 [^48] [^46] [^37] [^44] [^41] [^36] [^31]。在RGB领域，三维模型会被拟合到二维骨架等中间表示上 [^32]。不过大多数生成式方法都存在局部最优或收敛速度慢的问题。随着CNN和大规模数据集的出现 [^39] [^55] [^45] [^55]，判别式方法展现出了可观的效果，成为生成式方法的有力替代方案。更传统的方法包括迭代最近点法和基于随机森林的方法，相关内容可参见 [^33] [^18]。
交互手部的姿态估计。目前仅有少数研究关注交互手部的姿态估计 [^30] [^49] [^27] [^52] [^25] [^21] [^42] [^40]。Oikonomidis等人 [^30] 率先在这一领域展开研究，他们将三维模型拟合到RGBD序列中捕获的交互手部数据上。Sridhar等人 [^40] 则将三维关节高斯混合模型与和物体交互的手部对齐。Tzionas等人 [^49] 构建了一个带有二维标注的数据库，并开发了利用判别式检测到的显著点的生成模型；他们的方法既可使用单张RGBD图像，也可使用多视角RGB图像。
Taylor等人[^42]提出将CNN与随机森林相结合，用于估计手掌方向以及手部分割掩码，以便适配3D模型。Mueller等人[^27]构建了一个新的深度图数据集，并提出了一种适配MANO手部模型的两手姿态估计流程[^37]。
近期，Wang等人[^52]提出了一种基于单张RGB图像的方法，该方法可适配MANO模型来估计2D分割掩码和2D骨骼。Moon等人[^25]发布了InterHand2.6M数据集，其中包含数百万帧有紧密交互的手部图像。基于该数据集，他们训练了一种专为两只交互手部设计的新CNN姿态估计器InterNet。该模型在Ego3D和InterHand2.6M数据集上均取得了最先进的性能。由于该架构不具备手部检测能力，因此需要外部
---
Figure 2: A schematic diagram of the training process of our end-to-end hand detection and 3D pose estimation framework. Our system first detects hands, extracts features therein, and classify them into three handedness classes: 'left' and 'right', and 'interacting' hands ( $f^{Det}$). For single-hand cases ('left' and 'right'), the corresponding 3D pose is independently estimated by applying a 2D joint heatmap estimator $f^{SH2D}$ followed by a 3D depth estimator $f^{SZ3D}$, each supervised by the respective losses $L^{2D}$ and $L^{3D}$. For interacting hands, $f^{Det}$ generates a single feature map that encodes both hands. These features are fed to the 2D joint heatmap estimator $f^{TH2D}$, joint visibility estimator $f^{TVE}$, visibility-guided heatmap enhancer $f^{TVE}$, and 3D depth estimator $f^{TZ3D}$ guided by the respective skeletal joint position losses $L^{2D}$ and $L^{3D}$, visibility loss $L^{V}$, plus the supervision $L^{D}$ coming from a GAN-type joint hand pose discriminator. This structure helps the entire pipeline exploit 1) the statistical dependence (via joint training) and 2) structural dependence (via GAN discriminator) of two interacting hands. The black and green arrows denote the forward pass and supervision signals, respectively.
手部检测器。在[^21]中，Lin等人提出了一种结合双手检测与姿态估计的流程。不过，他们的检测步骤是基于分割掩码的，因此整个姿态估计流程无法端到端训练。实验结果表明，我们的方法显著优于这些最先进的方法。
### 3. 交互式手部的端到端检测与姿态估计
问题定义与动机。我们的系统接收任意尺寸的输入RGB图像，并生成其中出现的手部的3D关节位置。虽然该系统能够检测并估计任意数量手部的姿态（例如输入图像中出现多个人时），但我们的实验将聚焦于每张图像中仅出现一个人的一只手或两只手的情况。在这种情况下，我们的系统会生成一个（针对单只手）或两个（针对交互式手部）大小为$J \times 3$的向量，其中J表示编码手部姿态的关节数量。在整个实验中，我们将J固定为21。
当手部彼此紧密交互时，估计手部姿态会变得尤为困难：如图1所示，这种情况下一只手常常会遮挡另一只手。我们应对这一挑战的方法是利用可见手部的信息来改善对遮挡手部的姿态估计。
交互式手部的依赖性。我们进行了初步实验，以验证“可见手部的3D姿态会传递关于遮挡手部姿态的相关信息”这一假设：基于希尔伯特-施密特独立性准则（HSIC）[^11]，我们对两个分别编码手部姿态的随机向量进行了两个交互式手部关节的独立性统计检验。我们将每只手的边界框居中处理，以消除因关节绝对位置相似而产生的虚假依赖性影响。在零假设（独立性假设）的95%分位数下，我们的检验结果呈强烈正相关（检验统计量值比通过阈值高33倍，表明确定性很高；详情见[^11]）。同样的独立性检验应用于两只手没有紧密交互的情况（即它们的IOU得分为0时），结果也呈正相关，但确定性要低得多：检验统计量值仅比通过阈值高1.56倍。
检测与姿态估计网络概述。我们利用两只紧密交互的手之间的统计依赖性，通过联合训练相应的姿态估计器来实现：通过共享早期层，我们的姿态估计网络（用于左手和右手）能够隐式地捕捉并利用这种依赖性。这使得我们的框架成为多任务学习的一个实例。不过，上述测试结果也表明，当可见的手之间没有紧密交互时，这种统计依赖性会减弱。我们发现将此类情况纳入联合训练会降低性能（相关实验详见附带的补充文档）。因此，我们根据手 bounding box 的 IOU 将每个输入样本分为两类：1）（紧密）交互的手；2）非交互的手。
---
对于交互情况，姿态估计器会被联合训练和测试；而对于非交互的手，则像现有的手部姿态估计方法一样，单独应用单手姿态估计器。为了便于这一过程，我们的系统集成了手部检测网络。
对于交互的手，我们还会同时训练一个GAN类型的骨骼姿态判别器，以考虑它们之间的结构依赖性。这有助于防止生成物理上不合理的关节配置（例如两根手指相交的情况）。
整个系统采用端到端的方式训练，从而以统一的形式高效训练所有网络组件。图2展示了我们框架的概览。
#### 3.1. 网络架构
我们的系统由手部检测器 $f^{\mathrm{Det}}$ 和姿态估计器 $f^{\mathrm{HPE}}\colon f=f^{\mathrm{HPE}}\circ f^{\mathrm{Det}}$ 组成。手部检测器 $f^{\mathrm{Det}}\colon X\to F\times H^1$ 接收输入图像 $\mathbf{x}\in X$，生成定位后的手部 $28\times28\times256$ 及其手性 $\{\mathbf{f}_i\}\subset F$（“左手”、“右手”以及“两只（交互的）手”）的 $\{\mathbf{h}_i\}\subset H$ 维特征图。如果检测到的手处于交互状态，$f^{\mathrm{HPE}}$ 会联合估计两个大小为 $J\times3$ 的姿态向量 $(\mathbf{y}^{\prime}\mathrm{s})$；对于其他情况，$f^{\mathrm{HPE}}$ 会为每只手独立生成单个姿态向量 $\mathbf{y}$。
#### 3.1.1 手部检测网络 $f^{Det}$
我们的手部检测器结合了特征提取网络 $f^{\mathrm{Feat}}$、手部候选区域网络 $f^{\mathrm{HPN}}$、手部分类与框生成网络 $f^{\mathrm{CB}}$，以及感兴趣区域（ROI）特征池化网络 $f^{\mathrm{FP}}$ [^35]：$f^{\mathrm{Det}} = [f^{\mathrm{FP}}, f^{\mathrm{CB}} \circ f^{\mathrm{FP}}] \circ f^{\mathrm{HPN}} \circ f^{\mathrm{Feat}}$。我们采用在ImageNet上预训练的ResNet-50 [^15] 进行特征提取：$f^{\mathrm{Feat}}$ 接收尺寸为 $\mathbf{x}$ 的图像 $H \times W$，生成大小为 $\lfloor H/32 \rfloor \times \lfloor W/32 \rfloor \times 2,048$ 的全局特征图 $\mathbf{g}$。以 $\mathbf{g}$ 为输入，$f^{\mathrm{CB}} \circ f^{\mathrm{FP}} \circ f^{\mathrm{HPN}}$ 会估计手性h。与此同时，$f^{\mathrm{FP}}$ 会为 $28 \times 28 \times 256$ 提出的每个 bounding box 提取大小为 $\mathbf{f}$ 的局部特征表示 $f^{\mathrm{HPN}}$ [^35]。
手部候选区域网络 $f^{HPN}$。我们采用Faster R-CNN方法，以不同长宽比的锚框作为参考来表示物体bounding box候选区域 [^35]。它与特征提取器 $f^{Feat}$ 通过最小化下式定义的每幅图像的损失来联合训练：
$$ \begin{aligned}L^{\mathrm{HPN}}(f^{\mathrm{HPN}},f^{\mathrm{Feat}})=&\frac{1}{N_{\mathrm{Cls}}}\sum_{i}L^{\mathrm{Cls}}(p_{i},p_{i}^{*})\\+&\frac{1}{N_{\mathrm{REG}}}\sum_{i}p_{i}^{*}L^{\mathrm{Reg}}(\mathbf{t}_{i},\mathbf{t}_{i}^{*}),\end{aligned} $$
其中 $t_i$ 是一个包含四个变量的向量，代表第 i 个候选框。为了便于训练，$f^{\mathrm{HPN}}$ 还会估计辅助变量 $\{p_i\}$，用于表示对应候选框包含手的概率：具体来说，当 $\{p_i^*\}$ 与真实手框有显著重叠（即 IOU 分数高于 0.7）时，真实标签 $p_i^* = 1$ 被设定为 $t_i$；否则即为 $p_i^* = 0$。$L^{\mathrm{Cls}}$ 是标准的交叉熵损失，而 $L^{\mathrm{Reg}}$ 则是 $L_1$ 损失的光滑近似形式，该损失在 [^10] 中被提出。由于 $p_i^*$ 仅在 $L^{\mathrm{Reg}}$ 与真实框重叠时使用，因此第二个项会乘以 $t_i$。根据 $N_{\mathrm{Cls}}$ 中的设定，平衡参数 $N_{\mathrm{REG}}$ 和 [^35] 分别固定为 256 和 240。
手部分类与框生成网络 $f^{CB}$。该网络 1) 通过选取并优化 $f^{HPN}$ 生成的候选框来得到手部边界框；2) 确定每个输出框的类别，即“左手”、“右手”或“（两只）交互手”。由于 $f^{HPN}$ 生成的许多边界框实际上并不包含手，因此我们引入了额外的“背景”类别以辅助 $f^{CB}$ 的训练。在训练过程中，该网络会最小化以下损失：
$$ \begin{array}{r}{L^{\mathrm{H a n d}}(f^{\mathrm{C B}},f^{\mathrm{F e a t}})=\mathbb{1}_{\mathrm{H a n d}}L^{\mathrm{R e g}}(\mathbf{t},\mathbf{t}^{*})+L^{\mathrm{C l s}}(p_{c},p_{c}^{*}),}\end{array} $$
其中 $p_c$ 和 $p_c^*$ 分别是预测类别概率和真实类别概率（共四类，包括“背景”），$\mathbb{1}_{\text{Hand}}$ 是三个手部类别的指示变量，也就是说 $L^{\text{Reg}}$ 不适用于“背景”框。真实标签 $p_c^*$ 是根据手部 IOU 确定的：如果两个手框的 IOU 大于阈值 $\tau$，则将其归类为“交互手”。
讨论：$f^{\mathrm{HPN}}$ 和 $f^{\mathrm{CB}}$ 都能预测边界框的位置及其类别。二者的区别在于，$f^{\mathrm{HPN}}$ 将框分为“背景”或“手”两类，而 $f^{\mathrm{CB}}$ 则将边界框分为单只手或交互手两类。此外，$f^{\mathrm{CB}}$ 的设计目的是改进从 $f^{\mathrm{HPN}}$ 得到的初始边界框（类似于 Faster-RCNN）。
确定 $\tau$ 的值至关重要：在训练中，$\tau$ 的值决定了关节姿态估计器的训练集大小——较大的 $\tau$ 值会导致训练集较小，且侧重于具有挑战性的紧密交互情况；反之，较小的 $\tau$ 值会提供较大的训练集，但其中可能包含交互较松散（较简单）的情况。我们发现 $\tau=0.3$ 能在丰富的训练集与专注于挑战性情况的训练集之间取得良好平衡。在测试阶段，$\tau$ 的值被更保守地设定为 0.5。不同 $\tau$ 值的影响详见补充材料。
#### 3.1.2 手部姿态估计网络 $f^{HPE}$
该网络由两个子网络组成：$f^{SHPE}$ 和 $f^{THPE}$，分别用于单只手（“左手”或“右手”）和交互手的情况。
单手3D姿态估计网络$f^{\text{SHPE}}$。该网络结合了2D热图估计器$f^{\text{SH2D}}: F \to M$和3D深度值估计器$f^{\text{SZ3D}}: [F, M] \to Z$。热图估计器$f^{\text{SH2D}}$将输入特征图$\mathbf{f}$转换为J个大小为$28 \times 28$的2D热图，每个热图专门对应一个骨骼关节。生成的合并热图$\mathbf{m} \in \mathbb{R}^{J \times 28 \times 28}$与$\mathbf{f}$会被送入$f^{\text{SZ3D}}$，以估计对应于第i个关节的深度图向量$\mathbf{z}: [\mathbf{z}]_i$。
---
(a) Without $L^{D}$
(b) Witl
(c) Ground-truth
Figure 3: Example hand pose estimation results of our system trained (a) without and (b) with the hand pose discriminator loss $L^{D}$ (Eq. 6). Hand regions are cropped for improved visualization. Without $L^{D}$, our system can sometimes generate physically implausible configurations as shown in (a): (top) thumb and index finger intersect (bottom) third and middle finger intersect. Such configurations are detected and penalized by the discriminator $d^{THPE}$ providing the corresponding supervision signal via $L^{D}$, helping correct such cases (b).
最终的J个骨骼关节$\{(x^i,y^i,z^i)\}_{i=1}^J$是通过将$(x,y)$中每个2D热图的峰值位置$\mathbf{m}$与$\mathbf{z}$相结合而得到的。
交互式手部姿态估计网络$f^{\mathrm{THPE}}$。它由2D热图估计器$f^{\mathrm{TH2D}}$和3D深度估计器$f^{\mathrm{TZ3D}}$组成。$f^{\mathrm{THPE}}$的输出大小是$f^{\mathrm{SHPE}}$的两倍，因为前者会生成两只手的骨骼关节数据。
2D热图估计网络$f^{SH2D}$和$f^{TH2D}$。它们各包含九个2D卷积层，每个卷积层后都配有ReLU激活函数。在训练过程中，我们使用标准的$L_2$损失函数：
$$ \begin{aligned}&L^{\mathrm{2D}}(f^{\mathrm{SH2D}})=\|f^{\mathrm{SH2D}}(\mathbf{f})-\mathbf{m}^{\mathrm{SGT}}\|_{2}^{2},\\&L^{\mathrm{2D}}(f^{\mathrm{TH2D}})=\|f^{\mathrm{TH2D}}(\mathbf{f})-\mathbf{m}^{\mathrm{TGT}}\|_{2}^{2},\\ \end{aligned} $$
其中$\mathbf{m}^{\mathrm{SGT}}$和$\mathbf{m}^{\mathrm{TGT}}$分别表示单手（大小为$J\times28\times28$）和交互式手部（大小为$2\times J\times28\times28$）的真实热图。
关节可见性估计网络$f^{\mathrm{TJVE}}$和基于可见性的热图增强网络$f^{\mathrm{TVHE}}$。我们的关节可见性估计结果$\mathbf{v} \in \mathbb{V}$是一个42维向量，每个元素取值于$[0,1]$，代表相应关节的可见性。关节可见性估计网络$f^{\mathrm{TJVE}} : F \to V$用于估计$\mathbf{v}$，而基于可见性的热图增强网络$f^{\mathrm{TVHE}}: F \times M \to M$接收$\mathbf{v}$，并通过用预测的可见性$\mathbf{v}$对初始热图m进行加权来优化热图。这些网络是基于$L_2$损失函数训练的：
$$ \begin{align*}L^{\mathrm{V}}(f^{\mathrm{TJVE}})&=\|f^{\mathrm{TJVE}}(\mathbf{f})-\mathbf{v}^{\mathrm{TGT}}\|_{2}^{2},\\L^{2\mathrm{D}}(f^{\mathrm{TVHE}})&=\|f^{\mathrm{TVHE}}(\mathbf{f},\mathbf{v}\odot\mathbf{m})-\mathbf{m}^{\mathrm{TGT}}\|_{2}^{2},\end{align*} $$
其中$\mathbf{v} \odot \mathbf{m}$表示经相应可见性值加权后的热图。以这种方式对可见性进行加权有助于$f^{\mathrm{TVE}}$专注于更可靠的估计结果，因为可见性高的关节$\mathbf{v}$会得到更精确的热图$\mathbf{m}$。(伪)可见性真实值的构建细节$\mathbf{v}^{\mathrm{TGT}}$在补充材料中有所介绍。
3D深度估计网络$f^{SZ3D}$和$f^{TZ3D}$。这两个网络均由两个带有ReLU激活函数的卷积层以及两个带有Sigmoid激活函数的全连接层组成。使用Sigmoid函数可确保输出的深度值位于[^0]到[^1]的归一化区间内。这两个网络接收整体图像特征f与对应的2D热图m的拼接结果。训练前，我们会将3D关节值归一化到[^0]到[^1]范围内，并将中指的指间关节定位在(0.5, 0.5, 0.5)处。这些网络是基于$L_2$损失函数训练的：
$$ \begin{aligned}&L^{\mathrm{3D}}(f^{\mathrm{SZ3D}})=\|f^{\mathrm{SZ3D}}([\mathbf{f},\mathbf{m}])-\mathbf{z}^{\mathrm{SGT}}\|_{2}^{2},\\&L^{\mathrm{3D}}(f^{\mathrm{TZ3D}})=\|f^{\mathrm{TZ3D}}([\mathbf{f},\mathbf{m}])-\mathbf{z}^{\mathrm{TGT}}\|_{2}^{2}\\ \end{aligned} $$
其中$\mathbf{z}^{\mathrm{SGT}}$和$\mathbf{z}^{\mathrm{TGT}}$分别对应单手和双手的真实值。$f^{\mathrm{SH2D}}$和$f^{\mathrm{SZ3D}}$的详细架构在补充材料中有所说明。
交互手部姿态鉴别器 $d^{\text{THPE}}$。虽然在交互手部上联合训练手部姿态估计器 $f^{\text{THPE}}$ 有助于利用它们之间的统计依赖性，但有时也会产生物理上不合理的姿态配置（见图3a）。我们通过利用GAN类型的联合手部姿态鉴别器 $d^{\text{THPE}}$ 来捕捉这种结构上的依赖性，从而解决这一缺陷。由于我们的交互手部姿态估计网络 $f^{\text{THPE}}$ 由两个子网络 $f^{\text{TH2D}}$ 和 $f^{\text{TZ3D}}$ 组成，因此我们将 $d^{\text{THPE}}$ 分解为对应的鉴别器：热图鉴别器 $d^{\text{TH2D}} : M \to [0,1]$ 用于区分真实热图和由 $f^{\text{TH2D}}$ 生成的热图，而3D姿态鉴别器 $d^{\text{TZ3D}} : Y \to [0,1]$ 则用于区分真实3D骨骼和由m与z组合生成的估计骨骼。我们的鉴别器 $d^{\text{TZ3D}}$ 看到的是完整的3D关节y，而非仅其深度部分z。这为 $d^{\text{TZ3D}}$ 提供了更好的上下文信息：仅凭深度值本身不足以判断其真实性。需要注意的是，$d^{\text{TZ3D}}$ 无法为热图估计器 $f^{\text{TH2D}}$ 提供监督信号，因为从2D热图中检测到的x-y值是不可微的，因此我们采用 $d^{\text{TH2D}}$。
#### 3.2. 训练
我们的网络f是通过最小化各子网络的损失之和来训练的（公式1–5）：
$$ \begin{aligned}\boldsymbol{L}=&\boldsymbol{L}^{\mathrm{HPN}}(\boldsymbol{f}^{\mathrm{HPN}},\boldsymbol{f}^{\mathrm{Feat}})+\boldsymbol{L}^{\mathrm{Hand}}(\boldsymbol{f}^{\mathrm{CB}},\boldsymbol{f}^{\mathrm{Feat}})\\&+\boldsymbol{L}^{2\mathrm{D}}(\boldsymbol{f}^{\mathrm{H2D}},\boldsymbol{f}^{\mathrm{TVHE}})+\lambda_{1}\boldsymbol{L}^{3\mathrm{D}}(\boldsymbol{f}^{Z3\mathrm{D}})\\&+\lambda_{2}\boldsymbol{L}^{\mathrm{D}}(\boldsymbol{f}^{\mathrm{TH2D}},\boldsymbol{f}^{\mathrm{TZ3D}},\boldsymbol{f}^{\mathrm{TVHE}})+\lambda_{3}\boldsymbol{L}^{\mathrm{V}}(\boldsymbol{f}^{\mathrm{TJVE}}),\end{aligned} $$
其中损失 $L^{D}$ 代表由交互手部姿态鉴别器 $d^{\mathrm{THPE}}$ 提供的监督信号。权重参数
---
$\lambda_{1}$、$\lambda_{2}$ 和 $\lambda_{3}$ 分别根据在InterHand2.6M数据集上的交叉验证结果设定为30、0.01和1。类似于Faster-RCNN的训练方案 [^35]，我们交替进行以下更新操作：1）特征提取网络 $f^{\mathrm{Feat}}$ 和手部候选区域网络 $f^{\mathrm{HPN}}$（通过 $L^{\mathrm{HPN}}$）；2）特征提取网络 $f^{\mathrm{Feat}}$ 以及手部分类和边界框生成网络 $f^{\mathrm{CB}}$（通过 $L^{\mathrm{Hand}}$），随后均使用 $f^{\mathrm{HPE}}$、$L^{2\mathrm{D}}$ 和 $L^{3\mathrm{D}}$ 对 $L^{\mathrm{D}}$ 进行更新。
我们发现手部检测网络 $f^{\mathrm{Det}}$ 比手部姿态估计网络 $f^{\mathrm{HPE}}$ 收敛得更快，因此我们在总共10个训练轮次中，于第5轮之后冻结 $f^{\mathrm{Det}}$ 的权重，以加快训练进程。
数据增强。我们通过应用标准的数据增强步骤来扩充原始训练数据集，包括：1）最多平移10像素（不超过真实框尺寸的10%）；2）旋转角度不超过 $[-45, 45]$ 度；3）水平翻转；4）亮度和饱和度分别在原始值的 $[-20\%, 60\%]$ 和 $[-10\%, 20\%]$ 范围内进行调整。最终得到的数据集规模约为原始数据集的四倍。
实现细节。我们的实现基于Python和PyTorch库。$^{2}$ 所有网络权重均通过从均值为零、标准差为0.001的独立同分布高斯分布中采样来初始化。优化方面，我们采用Adam优化器 [^19]，初始学习率为0.001，并使用其默认参数 $\beta = (0.9,0.999)$。小批量大小和总训练轮数分别固定为3和10。
### 4. 实验
数据集。我们在三个包含双手交互情况的具有挑战性的数据集上评估了我们的方法：Ego3D [^21]、InterHand2.6M [^25] 和 Tzionas [^49] 数据集。
对于Ego3D数据集，我们采用了其“静态”评估协议 [^21]，该协议包含50,000张训练图像和5,000张测试图像。它提供了21个骨骼关节的3D真实标注（手腕1个，每个手指4个）。对于每个数据实例，x-y坐标值（即图像平面的高度和宽度）被归一化为 [^0] [^1]，而其z值则经过缩放，使得手腕与中指掌骨之间的骨骼长度达到10厘米。
InterHand2.6M（v0.0）是首个包含双手交互的RGB和3D姿态标注的真实数据集。它包含260万张大小为512 $\times$334的图像，涉及26名受试者（7名女性，19名男性）。我们采用了该数据集作者建议的“训练（H）”协议 [^25]：总共284,716张图像（76,445张孤立手部图像和208,271张交互手部图像）用于训练，而66,722张图像用于测试（18,399张单手图像和48,323张交互手部图像）。
在Tzionas数据集上的测试 [^49] 中，我们使用了其包含的7组双手序列，总计1,307帧。由于该数据集没有独立的训练集，我们采用了在InterHand2.6M上训练的系统。
基准方法和评估指标。我们将其与3种专为交互手部设计的先进手部姿态估计方法进行比较：Moon等人基于InterHand2.6M的系统 [^25]、Lin等人基于Ego3D的全局双手姿态估计方法 [^21]，以及Wang等人的基于模型的方法 [^52]。为了评估我们的算法在单手情况下的性能，我们还与Wei等人的卷积姿态机 [^53]（仅用于2D手部姿态）以及Boukhayma等人的手部姿态与网格估计方法 [^5] 进行了比较。
对于我们比较的所有基准方法，我们展示了各自出版物中报告的结果。我们的结果是基于相同的训练和测试集划分得出的，从而可以进行直接比较（按数据集划分；详见下文）。不过，只有 [^21]、[^52] 和我们的方法具备显式的手部检测能力，其余算法则假设每张输入图像都聚焦于单个手部。对于后者（[^25]、[^5]、[^53]），所报告的结果是基于使用真实边界框标注裁剪出的手部聚焦图像得出的。
在评估时，使用了三种误差度量指标：3D端点误差（EPE）和平均关节位置误差（MPJPE），单位均为毫米；2D端点误差（EPE）的单位为像素。对于Ego3D数据集 [^21]，采用了 [^53]、[^25] 和 [^21] 中的2D和3D EPE指标。对于InterHand2.6M数据集，按照 [^25] 的方法使用了MPJPE指标。由于Tzionas数据集每5帧才提供一次2D标注，因此我们使用2D EPE来便于与 [^25]、[^5] 和 [^52] 进行直接比较。
结果。表1总结了相关结果。此前在Ego3D上的最先进成果分别由Moon等人[^25]（以3D EPE衡量）和Wei等人[^53]（以2D EPE衡量）报告。我们的算法在这些结果基础上实现了显著的性能提升（错误率分别降低了3.93%和32.49%）。需要注意的是，Moon等人的算法在测试时使用了真实的手部边界框标注，而我们的算法即便不依赖此类标注也能取得更低的错误率。Wei等人的[^53]方法专为2D手部姿态估计设计：为进行2D层面的对比，我们将初始的3D姿态估计结果投影到图像平面上。
我们的算法还将Moon等人在InterHand2.6M上的最先进结果提升了4.05%。对于Tzionas数据集而言，此前的最佳结果由Boukhayma等人的方法[^5]取得。我们的算法比他们的方法性能高出3.80%。总体而言，我们的算法在所有数据集上均表现最优。
除了我们的算法外，Moon等人的方法在Ego3D和InterHand2.6M数据集上也排名最佳[^25]。我们还尝试使用他们公开提供的代码和网络权重，在Tzionas数据集上与该方法进行对比：$^{3}$ 相应结果（见表1）表明，我们的方法在不同数据集上的表现更加稳定。
图4展示了Moon等人算法[^25]生成的示例图像及对应的手部姿态估计结果。
---
(a) Moon et al. [^25]
(b) Ours
(c) Ground-truths
Single-hand
(d) Moon et al. [^25]
(e) Ours
(f) Ground-truths
Interacting hands
Figure 4: Example hand pose estimation results on Tzionas (top), Ego3D (second row), and InterHand2.6M (last two rows): Hand regions are further cropped for improved visualization. Our system automatically detects hands in each input image. The accompanying supplemental provides additional examples.
（使用他们的代码）以及我们的算法在单手和双手交互场景下的结果。Moon等人的方法和我们的算法在单手场景下均能生成精度极高的姿态估计结果。然而对于双手交互场景而言，严重的遮挡现象即便对最先进的Moon等人算法也会构成重大挑战（见图4第四列）。通过利用双手交互中存在的依赖性并联合训练相应的估计器，我们的方法能够给出质量更高的估计结果。
在InterHand2.6M数据集上，手部检测精度的平均AP值达到了98.62。在手部类别分类和关节可见性估计方面，平均分类准确率分别为97.64%和78.38%。
消融实验。我们评估了系统中针对双手交互场景的特定设计所起的作用：我们构建了
由于为单手场景构建真实的可见性标注较为困难，我们仅在双手交互场景下使用关节可见性信息。补充文档显示，当这类关节可见性信息可用时，能为单手场景带来轻微的性能提升。
四种变体的原始系统：1）移除公式6中GAN判别器$L^{D}$的贡献，记为“Ours ($-L^{D}$)”；2）进一步移除关节可见性估计模块和基于可见性的热图增强网络（“Ours ($-L^{V}, L^{D}$)”）；3）完全移除属于双手交互类别的实例的联合训练，记为“Ours ($-Interaction, L^{D}$)”。这些变体削弱了最终系统捕捉双手交互的结构与统计依赖性的能力。我们还通过4）一种在姿态估计器训练前先构建并冻结手部检测器的系统（“Ours (Separate detection)”），来评估我们提出的端到端手部检测与姿态估计设计的有效性。
我们在InterHand2.6M的两个测试案例中对它们的性能进行了评估：第一个案例聚焦于仅包含紧密交互手部的子集（对应的IOU分数小于$\tau$），而第二个案例则在整个数据集上进行评估。表2展示了相关结果。对于紧密交互案例的结果表明，我们的GAN判别器、基于可见性引导的热图增强模块以及交互手部联合训练策略，无论是共同作用还是单独使用，都有助于提升性能。
---
Table 1: Error rates of different hand pose estimation approaches. The best and second best results are highlighted in blue and green, respectively. The algorithms marked with '✓' on Box inf. column provide the hand detection capability. For the other algorithms (with X), the bounding boxes of hands in each image were generated based on the ground-truth box labels. The results of Moon et al.'s algorithm on Tzionas was obtained using code publicly available by Moon (see text for details).
| Method | Box inf. | Ego3D [^21] | InterHand2.6M [^25] | Tzionas [^49] |
| 2D EPE (px) | 3D EPE (mm) | MPJPE (mm) | 2D EPE (px) |
| Wei et al. [^53] | ✗ | 7.11 | N/A | N/A | N/A |
| Lin et al. [^21] | ✓ | 8.11 | 17.42 | N/A | N/A |
| Boukhayma et al. [^5] | ✗ | N/A | N/A | N/A | 12.91 |
| Wang et al. [^52] | ✓ | N/A | N/A | N/A | 13.31 |
| Moon et al. [^25] | ✗ | N/A | 12.20 | 12.58 | 17.61 |
| Ours | ✓ | 4.53 | 11.63 | 12.08 | 12.42 |
Table 2: Performances (MPJPE in mm) of alternative design choices of our algorithm on InterHand2.6M. For interacting hands, the error rates measured at only visible joints are also shown in parentheses (calculated using the joint visibility ground-truths which are available only for interacting hands).
| Method | MPJPE |
| Entire dataset |
| Ours (-Interaction, $L^{D}$) | 12.39 |
| Ours ( $-L^{V}, L^{D}$) | 12.23 |
| Ours ( $-L^{D}$) | 12.17 |
| Ours (Separate detection) | 13.69 |
| Ours | 12.08 |
| Only ‘interacting hands’ cases |
| Ours (-Interacting class, $L^{D}$) | 14.36 (14.16) |
| Ours ( $-L^{V}, L^{D}$) | 12.95 (12.47) |
| Ours ( $-L^{D}$) | 12.39 (11.93) |
| Ours (Separate detection) | 12.48 (12.04) |
| Ours | 11.52 (11.11) |
在整个数据集上的准确率提升并不那么明显，因为四种算法在单手案例中的输出结果相同。需要注意的是，我们最终算法在交互手部上的平均误差率仅比整个数据集高出0.8%，这说明该算法在单手案例以及更具挑战性的交互手部案例上都能达到相近的准确率水平。
### 5. 结论与讨论
由于一只手会被另一只手严重遮挡，手部交互给姿态估计带来了巨大挑战。我们通过实验验证了之前的猜想：交互手部可见部分的信息有助于推断被遮挡手部的姿态——我们的姿态估计网络被训练为利用潜在的统计相关性以及各个关节的可见性，来共同估计两只交互手部的姿态。我们还通过GAN类型的判别器增强了估计出的手部关节的结构一致性。我们的算法被实现为一个全新的端到端网络，能够自动检测并估计任意RGB图像中手部的姿态。在代表真实场景的三个具有挑战性的数据集上评估时，该算法相比现有最先进的方法（无论是专门针对交互手部还是单手的方法）均展现出显著的性能提升。
我们的GAN判别器仅关注骨骼关节。虽然这有助于避免生成物理上不合理的骨骼结构，但它无法直接捕捉交互手部表面几何结构的力学特征，比如皮肤形变，而这些特征能为被遮挡手部的姿态提供额外信息。未来的研究应探索估计并利用手部形状（网格）的可能性，例如通过拟合MANO模型[^37]，以及利用循环神经网络来建模其动态变化。
我们对交互手部关节位置之间的统计依赖性测试进一步支持了“可见手部包含关于被遮挡手部姿态的有用信息”这一假设。不过，我们的测试也可能反映出即便在非交互手部之间也存在虚假相关性。通过针对记录多人手部的数据集开展实验，就能排除这种可能性。未来的研究也应探讨这一问题，以及将我们的方法应用于估计交互状态下手部及物体的姿态和形状的可能性。
## 致谢
本研究得到了韩国政府（MSIT）资助的NRF项目（编号2021R1F1A1047920和2021R1A2C2012195）以及ITP项目（编号2020-0-01336、UNIST的AIGS项目、编号2021-0-01778“感知阈值以下的人体图像合成与鉴别技术开发”、编号2020-0-00537“基于5G的低延迟设备-边缘云交互技术开发”，以及编号2021-0-00537“通过自监督学习实现图像中不可见部分修复的视觉常识”），特此致谢。
---
## 参考文献
[^1]: Anil Armagan, Guillermo Garcia-Hernando, Seungryul Baek, Shreyas Hampali, Mahdi Rad, Zhaohui Zhang, Shipeng Xie, MingXiu Chen, Boshen Zhang, Fu Xiong, et al. Measuring generalisation to unseen viewpoints, articulations, shapes and objects for 3d hand pose estimation under hand-object interaction. In ECCV, 2020. 2
[^2]: Seungryul Baek, Kwang In Kim, and Tae-Kyun Kim. Augmented skeleton space transfer for depth-based hand pose estimation. In CVPR, 2018. 2
[^3]: Seungryul Baek, Kwang In Kim, and Tae-Kyun Kim. Pushing the envelop for RGB-based dense 3D hand pose estimation via neural rendering. In CVPR, 2019. 1
[^4]: Seungryul Baek, Kwang In Kim, and Tae-Kyun Kim. Weakly-supervised domain adaptation via GAN and mesh model for estimating 3D hand poses interacting objects. In CVPR, 2020. 1,2
[^5]: Adnane Boukhayma, Rodrigo de Bem, and Philip H. S. Torr. 3D hand shape and pose from images in the wild. In CVPR, 2019. 1, 2, 6, 8
[^6]: Yujun Cai, Liuhao Ge, Jianfei Cai, and Junsong Yuan. Weakly-supervised 3d hand pose estimation from monocular rgb images. In ECCV, 2018. 2
[^7]: Enric Corona, Albert Pumarola, Guillem Alenya, Francesc Moreno-Noguer, and Gregory Rogez. GanHand: Predicting human grasp affordances in multi-object scenes. In CVPR, 2020. 1,2
[^8]: Guillermo Garcia-Hernando, Shanxin Yuan, Seungryul Baek, and Tae-Kyun Kim. First-person hand action benchmark with RGB-D videos and 3D hand pose annotations. In CVPR, 2018. 1, 2
[^9]: Liuhao Ge, Zhou Ren, Yuncheng Li, Zehao Xue, Yingying Wang, Jianfei Cai, and Junsong Yuan. 3D hand shape and pose estimation from a single RGB image. In CVPR, 2019. 2
[^10]: Ross Girshick. Fast R-CNN. In ICCV, 2015. 4
[^11]: Arthur Gretton, Olivier Bousquet, Alex Smola, and Bernhard Schölkopf. Measuring statistical dependence with Hilbert-Schmidt norms. In ALT, 2005. 3
[^12]: Shreyas Hampali, Mahdi Rad, Markus Oberweger, and Vincent Lepetit. HOnnotate: A method for 3D annotation of hand and objects poses. In CVPR, 2020. 2
[^13]: Shangchen Han, Beibei Liu, Randi Cabezas, Christopher D. Twigg, Peizhao Zhang, Jeff Petkau, Tsz-Ho Yu, Chun-Jung Tai, Muzaffer Akbay, Zheng Wang, Asaf Nitzan, Gang Dong, Yuting Ye, Lingling Tao, Chengde Wan, and Robert Wang. MEgATrack: monochrome egocentric articulated hand-tracking for virtual reality. In SIGGRAPH, 2020. 1, 2
[^14]: Yana Hasson, Gül Varol, Dimitrios Tzionas, Igor Kalevatykh, Michael J. Black, Ivan Laptev, and Cordelia Schmid. 3D hand shape and pose estimation from a single RGB image. In CVPR, 2019. 1,2
[^15]: Kaming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In CVPR, 2016. 4
[^16]: Umar Iqbal, Pavlo Molchanov, Thomas Breuel, Juergen Gall, and Jan Kautz. Hand pose estimation via latent 2.5D heatmap regression. In ECCV, 2018. 2
[^17]: Hanbyul Joo, Hao Liu, Lei Tan, Lin Gui, Bart Nabbe, Iain Matthews, Takeo Kanade, Shohei Nobuhara, and Yaser Sheikh.
全景摄影棚：一种用于社交动作捕捉的大规模多视角系统。发表于ICCV 2015会议。2
[^18]: Cem Keskin, Furkan Kıraç, Yunus Emre Kara, and Lale Akarun. Real time hand pose estimation using depth sensors. 2013. 2
[^19]: Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In ICLR, 2014. 6
[^20]: Muhammed Kocabas, Salih Karagoz, and Emre Akbas. Self-supervised learning of 3D human pose using multi-view geometry. In CVPR, 2019. 2
[^21]: Fanqing Lin, Connor Wilhelm, and Tony Martinez. Two-hand global 3D pose estimation using monocular RGB. In ArXiv, 2020.1,2,3,6,8
[^22]: Jameel Malik, Ahmed Elhayek, Fabrizio Nunnari, Kiran Varanasi, Kiarash Tamaddon, Alexis Heloir, and Didier Stricker. DeepHPS: End-to-end estimation of 3D hand pose and shape by learning from synthetic depth. In 3DV, 2018. 2
[^23]: Gyeongsik Moon, Ju Yong Chang, and Kyoung Mu Lee. V2V-PoseNet: Voxel-to-voxel prediction network for accurate 3D hand and human pose estimation from a single depth map. In CVPR, 2018. 2
[^24]: Gyeongsik Moon, Takaaki Shiratori, and Kyoung Mu Lee. DeepHandMesh: Weakly-supervised deep encoder-decoder framework for high-fidelity hand mesh modeling from a single RGB image. In ECCV, 2020. 1
[^25]: Gyeongsik Moon, Shoou-I Yu, He Wen, Takaaki Shiratori, and Kyoung Mu Lee. InterHand2.6M: A new large-scale dataset and baseline for 3D single and interacting hand pose estimation from a single RGB image. In ECCV, 2020. 1, 2, 6, 7, 8
[^26]: Franziska Mueller, Florian Bernard, Oleksandr Sotnychenko, Dushyant Mehta, Srinath Sridhar, Dan Casas, and Christian Theobalt. GANerated hands for real-time 3D hand tracking from monocular RGB. In CVPR, 2018. 2
[^27]: Franziska Mueller, Micah Davis, Florian Bernard, Oleksandr Sotnychenko, Mickeal Verschoor, Miguel A. Otaduy, Dan Casas, and Christian Theobalt. Real-time pose and shape reconstruction of two interacting hands with a single depth camera. In SIGGRAPH, 2019. 1, 2
[^28]: Franziska Mueller, Dushyant Mehta, Oleksandr Sotnychenko, Srinath Sridhar, Dan Casas, and Christian Theobalt. Real-time hand tracking under occlusion from an egocentric RGB-D sensor. In ICCV, 2017. 1,2
[^29]: Markus Oberweger and Vincent Lepetit. DeepPrior++: Improving fast and accurate 3D hand pose estimation. In ICCV HANDS Workshop, 2017. 2
[^30]: Iasonas Oikonomidis, Nikolaos Kyriazis, and Antonis A. Arguros. Tracking the articulated motion of two strongly interacting hands. In CVPR, 2012. 1, 2
[^31]: Iason Oikonomidis, Nikolaos Kyriazis, and Antonis A. Argyros. Efficient model-based 3D tracking of hand articulations using kinect. In BMVC, 2011. 2
[^32]: Paschalis Panteleris, Iason Oikonomidis, and Antonis Argyros. Using a single RGB frame for real time 3D hand pose estimation in the wild. In WACV, 2018. 2
[^33]: Chen Qian, Xiao Sun, Yichen Wei, Xiaoou Tang, and Jian Sun. Realtime and robust hand tracking from depth. In CVPR, 2014. 2
## [^34]: Mahdi Rad, Markus Oberweger, and Vincent Lepetit. Feature mapping for learning fast and accurate 3D pose inference from synthetic images. In CVPR, 2018. 2
---
[^35]: Shaoqing Ren, Kaiming He, Ross Girshick, and Jian Sun. Faster R-CNN: Towards real-time object detection with region proposal networks. In CVPR, 2015. 4, 6
[^36]: Konstantinos Roditakis, Alexandros Makris, and Antonis A. Argyros. Generative 3D hand tracking with spatially constrained pose sampling. In BMVC, 2017. 2
[^37]: Javier Romero, Dimitrios Tzionas, and Michael J. Black. Embodied hands: Modeling and capturing hands and bodies together. In SIGGRAPH Asia, 2017. 2, 8
[^38]: Ashish Shrivastava, Tomas Pfister, Oncel Tuzel, Josh Susskind, Wenda Wang, and Russ Webb. Learning from simulated and unsupervised images through adversarial training. In CVPR, 2017. 2
[^39]: Tomas Simon, Hanbyul Joo, Iain Matthews, and Yaser Sheikh. Hand keypoint detection in single images using multiview bootstrapping. In CVPR, 2017. 2
[^40]: Srinath Sridhar, Franziska Mueller, Franziska, Michael Zollhöfer, Dan Casas, Antti Oulasvirta, and Christian Theobalt. Real-time joint tracking of a hand manipulating an object from rgb-d input. In ECCV, 2016. 2
[^41]: Jonathan Talyor, Richard Stebbing, Varun Ramakrishna, Cem Keskin, Jamie Shotton, Shahram Izadi, Aaron Hertzmann, and Andrew Fitzgibbon. User-specific hand modeling from monocular depth sequences. In CVPR, 2014. 2
[^42]: Jonathan Talyor, Vladimir Tankovich, Danhang Tang, Cem Keskin, David Kim, Philip Davidson, Adarsh Kowdle, and Shahram Izadi. Articulated distance fields for ultra-fast tracking of hands interacting. In SIGGRAPH, 2017. 1,2
[^43]: Danhang Tang, Hyung Jin Chang, Alykhan Tejani, and Tae-Kyun Kim. Latent regression forest: structural estimation of 3D articulated hand posture. TPAMI, 2016. 2
[^44]: Danhang Tang, Jonathan Taylor, Pushmeet Kohli, Cem Keskin, Tae-Kyun Kim, and Jamie Shotton. Opening the black box: hierarchical sampling optimization for estimating human hand pose. In ICCV, 2015. 2
[^45]: Danhang Tang, Tsz-Ho Yu, and Tae-Kyun Kim. Real-time articulated hand pose estimation using semi-supervised transductive regression forests. In ICCV, 2013. 2
[^46]: Jonathan Taylor, Lucas Bordeaux, Thomas Cashman, Bob Corish, Cem Keskin, Toby Sharp, Eduardo Soto, David Sweeney, Julien Valentin, Benjamin Luff, Arran Topalian, Erroll Wood, Sameh Khamis, Pushmeet Kohli, Shahram Izadi, Richard Banks, Andrew Fitzgibbon, and Jamie Shotton. Efficient and precise interactive hand tracking through joint, continuous optimization of pose and correspondences. In SIGGRAPH, 2016. 2
[^47]: Bugra Tekin, Federica Bogo, and Marc Pollefeys. H+O: Unified egocentric recognition of 3D hand-object poses and interactions. In CVPR, 2019. 1, 2
[^48]: Anastasia Tkach, Mark Pauly, and Andrea Tagliasacchi. Sphere-meshes for real-time hand modeling and tracking. In SIGGRAPH Asia, 2016. 2
[^49]: Dimitrios Tzionas, Luca Ballan, Abhilash Srikantha, Pablo Aponte, Marc Pollefeys, and Juergen Gall. Capturing hands in action using discriminative salient points and physics simulation. IJCV, 2016. 1, 2, 6, 8
[^50]: Chengde Wan, Thomas Probst, Luc Van Gool, and Angela Yao. Crossing nets: dual generative models with a shared latent space for hand pose estimation. In CVPR, 2017. 2
[^51]: Chengde Wan, Thomas Probst, Luc Van Gool, and Angela Yao. Self-supervised 3D hand pose estimation through training by fitting. In CVPR, 2019. 2
[^52]: Jiayi Wang, Franziska Mueller, Florian Bernard, Suzanne Sorli, Neng Qian, Oleksandr Sotnychenko, Miguel A. Otaduy, Dan Casas, and Christian Theobalt. RGB2Hands: Real-time tracking of 3D hand interactions from monocular RGB video. In SIGGRAPH Asia, 2020. 1, 2, 6, 8
[^53]: Shih-En Wei, Varun Ramakrishna, Takeo Kanade, and Yaser Sheikh. Convolutional pose machines. In CVPR, 2016. 6, 8
[^54]: Qi Ye and Tae-Kyun Kim. Occlusion-aware hand pose estimation using hierarchical mixture density network. In ECCV, 2018. 1,2
[^55]: Shanxin Yuan, Guillermo Garcia-Hernando, Björn Stenger, Gyeongsik Moon, Ju Yong Chang, Kyoung Mu Lee, Pavlo Molchanov, Jan Kautz, Sina Honari, Liuhao Ge, Junsong Yuan, Xinghao Chen, Guijin Wang, Fan Yang, Kai Akiyama, Yang Wu, Qingfu Wan, Meysam Madadi, Sergio Escalera, Shile Li, Dongheui Lee, Iason Oikonomidis, Antonis Argyros, and Tae-Kyun Kim. Depth-based 3D hand pose estimation: From current achievements to future goals. In CVPR, 2018. 2
[^56]: Shanxin Yuan, Qi Ye, Björn Stenger, Siddhant Jain, and Tae-Kyun Kim. Big hand 2.2M benchmark: hand pose data set and state of the art analysis. In CVPR, 2017. 2
[^57]: Yuxiao Zhou, Marc Habermann, Weipeng Xu, Ikhsanul Habibie, Christian Theobalt, and Feng Xu. Monocular real-time hand shape and motion capture using multi-modal data. In CVPR, 2020. 1
[^58]: Christian Zimmermann and Thomas Brox. Learning to estimate 3D hand pose from single RGB images. In ICCV, 2017. 2
[^59]: Christian Zimmermann, Duygu Ceylan, Jimei Yang, Bryan Russell, Max Argus, and Thomas Brox. FreiHand: A dataset for markerless capture of hand pose and shape from single RGB image. In ICCV, 2019. 2