Figure 1: The proposed semi-supervised learning framework and results. We train an initial model on an annotated dataset, and deploy it on a large-scale video dataset to collect pseudo-labels. We leverage spatial-temporal consistency to select pseudo-labels for self-training. After the semi-supervised learning, both the performance of hand-object pose estimation and hand pose generalization are improved.
## 摘要
从单张图像中估计3D手部与物体姿态是一项极具挑战性的任务：手部与物体在交互过程中常常会发生自遮挡现象，而且3D标注数据十分稀缺——甚至连人类也无法仅凭单张图像就精准标注出真实姿态。为应对这些挑战，我们提出了一种基于半监督学习的3D手-物体姿态统一估计框架。我们构建了联合学习框架，在手部与物体表征之间进行显式的上下文推理。除了利用单张图像中有限的3D标注外，我们还借助大规模手-物体视频中的时空一致性作为约束，来生成半监督学习所需的伪标签。我们的方法不仅提升了在具有挑战性的真实数据集上的手部姿态估计效果，还显著改善了物体姿态估计性能——毕竟每个物体实例对应的真实标注数量更少。通过利用大规模多样化视频进行训练，我们的模型在多个域外数据集上的泛化能力也更强。项目页面与代码：
### 1. 引言
手部是人类与物理世界交互的主要方式。捕捉手部及与之交互的物体的3D姿态，是理解人类行为的关键步骤。它也是包括增强现实 [^44] [^25]、第三人称模仿学习 [^17] [^10] 以及人机交互 [^58] 在内的多种应用的核心组成部分。虽然计算机视觉领域针对手部与物体3D姿态估计的研究由来已久，相关技术可在受控环境下借助深度相机 [^72] [^36] [^34] [^69] [^32] 或RGB-D传感器 [^70] [^49] [^38] [^54] [^11] 采集数据；但近期的研究也在基于单目RGB图像的姿态估计方面取得了令人鼓舞的成果 [^75] [^37] [^66]。
尽管已有诸多努力，当前的方法仍高度依赖人工标注的3D姿态数据，而这类数据极难获取：研究人员要么通过动作捕捉技术采集数据 [^50] [^13] [^74]，要么将网格模型与真实图像对齐 [^19] [^30] [^16] [^4]。由于监督学习所需的标注数据不足，导致训练出的模型难以泛化到新场景和域外环境。为了实现更优的估计性能与泛化能力，我们着眼于野外场景下的手-物体视频数据，且无需使用3D标注。
具体来说，我们提议利用随时间变化的手-物体交互信息。手部与物体的姿态通常高度相关：当手抓住物体时，其3D姿态往往能反映物体的朝向；而物体的姿态也会对手如何接近并与之交互产生约束。从视频中观察可知，双手和物体的3D姿态应平滑且连续地变化。这种连续性为在缺乏人工标注的情况下，选出连贯且准确的3D手部及物体姿态估计结果提供了重要线索。
---
目前尚无相关标注数据可供使用。
在本文中，我们提出了一种基于视频的3D手部及物体姿态估计半监督学习方法。首先，我们利用完全标注的数据，通过监督学习训练一个用于3D手部姿态和6自由度物体姿态估计的联合模型。随后，该模型被应用于没有3D标注的大规模视频中以进行手部姿态估计，我们将得到的估计结果作为新的伪标签用于自训练。具体而言，为了充分利用手与物体之间的交互信息，我们设计了一个统一框架：该框架从整幅输入图像中提取特征，再利用RoIAlign [^20] 来获取物体和手部区域的特征表示。基于这些特征表示，我们采用两个不同的子网络分支分别估计手部和物体的3D姿态。我们还引入了一个关系模块 [^61] ，用于连接这两个分支，以编码手与物体之间的相互上下文信息。
为了利用手-物体视频进行半监督学习，我们按照图1所示，在每一帧上运行我们的统一模型来生成伪标签。根据模型输出的3D手部姿态结果，我们设计了时空一致性约束条件，用以过滤掉不稳定且不准确的估计结果。直观来讲，只有那些随时间连续变化的结果才会被保留为伪标签，这反映了估计结果的鲁棒性。之后，我们便利用新收集到的数据和标签进行自训练。
我们通过在HO-3D数据集 [^16] 上训练初始模型，并利用Something-Something视频数据集 [^14] 开展半监督学习实验。借助我们的方法从大规模视频中获得的伪标签进行学习后，我们在HO-3D基准测试中的表现较现有最优方法有了显著提升。我们在3D手部姿态估计方面也取得了明显进步，这种进步在FPHA [^11] 和FreiHand [^76] 等域外数据集上同样得到了验证。更令人惊讶的是，尽管我们仅使用针对手部的伪标签，但这种联合自训练仍大幅提升了物体姿态估计的性能（某些物体上的提升幅度超过10%）。
我们的贡献包括：(i) 一个用于联合3D手部及物体姿态估计的统一框架；(ii) 一种利用大规模无标注手-物体交互视频的半监督学习流程；(iii) 在手部及物体姿态估计任务上取得显著性能提升，并实现了对域外数据的良好泛化能力。
### 2. 相关工作
手部姿态估计。基于RGB图像的手部姿态估计研究大致可分为两类：无模型方法 [^5] [^75] [^26] [^57] [^37] [^12] 和基于模型的方法 [^2] [^4] [^30] [^73] [^19]。无模型方法通过学习关节坐标 [^75] [^57] 或关节热图 [^26] [^37] [^5] 来估计姿态。例如，Zimmermann等人 [^75] 提出先检测2D手部关节，再利用关节运动先验将其映射到3D空间。相比之下，基于模型的方法则利用可微分的MANO模型 [^50] 来捕捉手部姿态和形状。例如，Boukhayma等人 [^4] 通过收集合成数据进行预训练，以提高手部姿态估计的精度。在我们的研究中，我们既没有依赖合成数据，也没有使用3D真实标注，而是利用大规模真实视频中的时空信息，以半监督的方式实现更优的手部姿态估计性能和泛化能力。
物体姿态估计。物体6自由度姿态估计同样存在两种主要范式：一种是直接通过网络输出回归姿态 [^28] [^67]；另一种则是先回归物体在图像中的投影3D控制点位置，再通过2D到3D的对应关系恢复姿态 [^45] [^60] [^43] [^24]。由于旋转空间的非线性特性，直接回归6D姿态会面临泛化问题 [^24] [^65]。以2D到3D这类方法为例，Hu等人 [^24] 通过生成像素级的结构化输出进行推理，这些输出包含多种用于计算姿态的候选结果，从而对未见数据展现出很强的鲁棒性。我们的方法受此启发，但进一步扩展为考虑手与物体的交互作用来进行物体姿态估计。我们提出了一种结合上下文推理的联合框架，以改善手部与物体的姿态估计效果。
手-物交互。在交互过程中同时估计手部与物体的姿态 [^59] [^8] [^40] [^41] [^18] [^9] [^7] 是一项极具挑战性的任务，原因在于存在自遮挡现象。为解决这一问题，Hasson等人 [^19] 利用物理约束，通过两个独立的网络同时回归手部与物体的网格。相比之下，我们观察到在两个姿态估计任务之间共享特征骨干，能够隐式地编码上下文信息。当应用于半监督学习场景时，这种上下文信息会发挥重要作用。与我们的方法类似，Chen等人 [^7] 提出融合手部与物体的表征，以获得用于联合姿态估计的交互感知特征，该方法采用了LSTM [^15]。然而，这种特征融合方法无法建模手部与物体之间的空间依赖关系。相反，我们的方法利用手部与物体表征之间的空间上下文推理模块，显式地获取交互感知的特征图，从而同时提升手部与物体的姿态估计效果。
半监督学习。当标注数据有限时，半监督学习在提升模型性能方面发挥着关键作用 [^46] [^35] [^68] [^55] [^71] [^48] [^51] [^6]。利用在人工标注数据集上训练好的模型，我们可以将其应用于未标注数据以收集用于进一步训练的伪标签 [^31] [^27] [^1] [^56]。例如，Hinton等人 [^22] 提出在测试阶段采用模型集成来提升估计性能。Radosavovic等人 [^46] 则没有使用多个模型，而是提出利用经过测试时增强的训练模型来提高
---
Figure 2: Overview of the framework for hand-object 3D poses joint estimation. The model consists of the shared encoder, the contextual reasoning module for modeling hand-object interaction and two decoders for estimating hand-object poses.
伪标签的置信度。虽然这些方法与我们的方法相关，但以往的大多数方法并未考虑视频中选择伪标签时的空间和时间约束，而这正是我们的创新点之一。
交互推理。交互推理 [^61] [^53] [^63] [^62] [^64] [^52] [^3] [^23] 旨在建模物体间的交互关系。例如，Santoro等人 [^53] 通过推断所有物体对之间的关系来解决视觉问答任务；Wang等人 [^61] 则在视频分类中通过时空非局部模块捕捉长距离依赖关系。我们工作的目标是利用手与物体之间的视觉相关性，来提升遮挡情况下的姿态估计性能。我们提出的上下文推理模块仅利用手与物体之间的相关单元对，而非整幅图像。
### 3. 概述
我们的3D手与物体姿态估计方法包含两大核心组件：(i) 结合手与物体间上下文推理的联合学习框架；(ii) 利用视频中的额外标签进行训练的半监督流程。
首先，我们在第4节介绍手-物体联合学习框架。该模型包含一个共享编码器、分别用于手和物体的两个解码器，以及一个用于更好地利用二者关系的上下文推理模块4.1。该模型在完全监督学习下训练。
接着，我们在第5节提出半监督学习流程。受时空一致性的约束，我们在一个大规模视频数据集上生成高质量的手部伪标签 [^14]，随后将完全标注的数据集 [^16] 与这些高置信度的伪标签合并，用于重新训练模型。由于手部伪标签具有多样性，模型既能提升手部姿态估计的准确性，也能增强泛化能力。借助上下文推理模块提供的更优质的手部特征作为上下文，模型的物体姿态估计性能也能得到改善。
### 4. 手-物体联合学习框架
我们的手-物体联合学习框架如图2所示。我们以ResNet-50 [^33] 为骨干网络，采用FPN [^21] 来提取手和物体的特征 $\mathcal{F}^h$ 和 $\mathcal{F}^o$，并通过RoIAlign $\mathbb{R}^{H \times W \times C}$ 将其映射到 [^20] 中，这些特征对应各自的
Figure 3: The contextual reasoning (CR) module: The key (features extracted from the region of hand intersecting with object) is taken as context to enhance the query (object features). First, we compute a synergy map as the spatial similarity between query and key. Then we use this map for fusing the key into the query.
边界框。接着，我们对这两种特征进行上下文推理，并将包含增强的交互上下文信息的优化后的特征图分别送入手部解码器和物体解码器，从而输出3D手部网格和6自由度物体姿态。系统的总损失函数是两个解码器分支之和$\mathcal{L} = \mathcal{L}_{hand} + \mathcal{L}_{object}$。上下文推理模块、手部与物体解码器以及训练损失$\mathcal{L}_{hand}$、$\mathcal{L}_{object}$将在后续章节中详细讨论。
#### 4.1. 上下文推理
如图3所示，我们通过上下文推理（CR）模块利用手部与物体特征之间的协同作用，其中物体特征中的查询位置可通过融合交互区域的信息得到增强。
在该模块中，我们将物体特征$\mathcal{F}^o$作为查询项，将手-物相交区域$\mathcal{F}^{ho}$作为键，以在RoIAlign[^20]的基础上建模它们之间的成对关系。设$\mathcal{F}^{o+}$表示输出的增强后的物体特征，下标i代表特征的给定位置i，则有
$$ \mathcal{F}_{i}^{o^{+}}=\sum_{j\in\Omega}w(i,j)\cdot V(\mathcal{F}_{j}^{h o})+\mathcal{F}_{i}^{o}\;, $$
其中$\Omega$表示键上所有位置的集合，其大小为
---
$H \times W$。V是由$W_v$参数化的数值变换函数，如图3左侧所示；$w(i,j)$是查询位置i与键位置j之间的成对空间相似度得分。$w(i,j)$的计算公式为
$$ \begin{array}{r}{w(i,j)=\frac{\exp(q_{i}^{T}k_{j})}{\sum_{s\in\Omega}\exp(q_{i}^{T}k_{s})}\;,}\end{array} $$
其中$q_i = W_q F_i^o$和$k_j = W_k F_j^{ho}$分别表示位置i和j处的查询嵌入与键嵌入。如图3右侧所示，$W_q$和$W_k$是分别应用于查询和键以生成嵌入的两个独立的一维卷积参数。
此外，我们在第6.5.1节中还探讨了使用不同特征作为CR模块查询项的情况，即分别选用手部特征或手-物联合特征作为查询项。
#### 4.2. 手部解码器
手部解码器由2D关节定位网络和网格回归网络组成。2D关节定位网络是一个沙漏式[^39]模块，它以RoI.align[^20]处理后的手部特征为输入，输出每个关节的2D热图$j \in \mathcal{J}^{2D}$，其中$\mathcal{J}^{2D} \in \mathbb{R}^{N^h \times 2}$和$N^h = 21$分别表示关节的数量。这些热图的分辨率为$32 \times 32$。2D关节定位网络的损失函数$\mathcal{L}_{\mathcal{H}}$是各关节j的真实热图$\mathcal{H}_j$与预测热图$\hat{\mathcal{H}}_j$之间的距离，即$\mathcal{L}_{\mathcal{H}} = \sum_{i \in N^h} \|\mathcal{H}_j - \hat{\mathcal{H}}_i\|_2^2$。
网格回归网络将手部特征与2D热图作为输入，预测由MANO模型参数化的手部网格参数[^50]。MANO模型将姿态参数$\theta \in \mathbb{R}^{48}$和形状参数$\beta \in \mathbb{R}^{10}$映射到手部网格顶点$\mathcal{V} \in \mathbb{R}^{778 \times 3}$以及3D关节$\mathcal{J}^{3D} \in \mathbb{R}^{N^h \times 3}$。网格回归网络的输入会被送入包含四个残差块的ConvNet中[^21]，随后被向量化为一个2048维的特征向量。通过三层全连接层，输出预测的MANO参数$\hat{\theta}$和$\hat{\beta}$。我们针对MANO模型参数和输出计算损失。具体而言，我们计算预测值$L_2$与真实值$(\hat{\theta}, \hat{\beta}, \mathcal{J}^{3D}, \hat{\mathcal{V}})$之间的$(\theta, \beta, \mathcal{J}^{3D}, \mathcal{V})$距离，将其作为网格回归网络中的损失$L_{\mathcal{M}}$。手部解码器的总损失是热图损失$\mathcal{L}_{\mathcal{H}}$与$L_{\mathcal{M}}$之和。
$$ \mathcal{L}_{h a n d}=\lambda_{\mathcal{H}}\cdot\mathcal{L}_{\mathcal{H}}+\mathcal{L}_{\mathcal{M}}\;. $$
其中$\lambda_{\mathcal{H}} = 0.1$用于平衡各项损失。
#### 4.3. 物体解码器
物体解码器包含两条分支，共有4个共享卷积层，每条分支各配备2个独立的卷积层。第一条分支预测……
Figure 4: Examples of hand mesh pseudo-labels generated from the video dataset [^14].
从图像网格提议中确定物体上的预定义3D控制点，第二条分支则回归每个提议对应的置信度分数。在获得控制点的2D位置后，利用2D控制点与物体网格上原始3D控制点之间的对应关系，即可通过PnP算法计算出物体的6自由度姿态。在本研究中，我们使用了$N^{o} = 21$个控制点，包括物体网格3D边界框的8个角点、12个边中点以及1个中心点。
在第一条分支中，我们采用基于网格的方法[^47]来更好地处理自遮挡问题，物体特征图中的每个网格g都会对每个控制点$i \in N^o$给出预测值。我们用$\delta_{g,i}$表示网格预测值与目标控制点之间的几何距离。第一条分支的损失函数是所有网格g和控制点i上的损失之和，记为$\mathcal{L}_{p2d} = \sum_g \sum_{i=1}^{N^o}||\delta_{g,i}||_1$。
第二条分支为每个网格g和控制点i回归一个置信度分数$c_{g,i}$，其中置信度的真实值$c_{g,i} = \exp(-||\delta_{g,i}||_2)$反映了预测结果与真实2D点位置的接近程度。测试时，我们会选取置信度最高的10个提议作为PnP算法的输入，以求解物体姿态。第二条分支的损失函数记为$\mathcal{L}_{conf} = \sum_{g} \sum_{i=1}^{N^o} ||\hat{c}_{g,i} - c_{g,i}||_2^2$，其中$c_{g,i}$和$\hat{c}_{g,i}$分别为真实值和预测值。
物体解码器的总损失为
$$ \mathcal{L}_{o b j e c t}=\lambda_{p}\cdot\mathcal{L}_{p2d}+\lambda_{c}\cdot\mathcal{L}_{c o n f}\;. $$
其中$\lambda_{p}=0.5$和$\lambda_{c}=0.1$为超参数。
### 5. 半监督学习
在用完全标注的数据集训练好手-物姿态估计模型后，我们将其部署到大规模无标注视频数据集[^14]上，用于生成3D手部伪标签。我们利用时空一致性来过滤掉不可靠的伪手部标签。在视频数据集[^14]上获得的伪标签示例如图4所示。
---
请注意，我们不会为物体生成伪标签，这是因为推理时需要物体的3D模型，且由于标注数据集中的实例有限，物体姿态的泛化能力较差。通过将选定的伪标签扩充到完全标注的数据集中，我们对手部和物体姿态估计进行自训练。
#### 5.1. 伪标签生成
我们首先在大规模视频数据集[^14]的视频帧上部署我们的模型，用于3D手部姿态估计。为了提高估计的鲁棒性，我们采用了测试时数据增强技术，并像[^46]那样对预测结果进行集成。在实验中，我们对每个实例执行8种不同的增强操作，再对结果取平均值。每一帧的输出包括2D关节点$\mathcal{J}^{2D}$、3D关节点$\mathcal{J}^{3D}$、3D手部网格顶点$\mathcal{V}$以及对应的MANO参数（$\theta$、$\beta$）。
虽然集成预测能降低生成样本中的噪声，但我们仍需识别出可信度高的样本。为此，我们创新性地利用视频数据集中的空间和时间一致性约束来建立过滤流程，如图5所示。
#### 5.1.1 空间一致性约束
基于空间一致性的过滤需要每帧对应的相机姿态信息。然而，对于像[^14]这样视角变化多样的视频数据集而言，直接推断相机姿态是不可行的。我们解决这一问题的方法是利用估计出的3D关节点$\mathcal{J}^{3D}$与2D关节点$\mathcal{J}^{2D}$之间的对应关系，求解出能将3D关节点投影到2D平面的最优相机参数$\Pi$，如图5a所示。我们采用弱透视相机模型，并使用SMPLify[^42]来进行优化。目标函数如下：
$$ \Pi^{*}=\arg\operatorname*{m i n}_{\Pi}||\Pi\mathcal{J}^{3D}-\mathcal{J}^{2D}||_{2}^{2}, $$
其中$\Pi^{*}$即为最优相机参数。
IoU约束。有了相机姿态后，我们就可以将估计出的3D网格V重新投影到图像平面上，进而计算提供的真实边界框$B_g$与重新投影后的网格边界框$B_d$之间的交并比（IoU），如图5b左侧所示。需要注意的是，尽管我们没有3D真值数据，但我们利用了[^14]提供的2D边界框标注。可信度高的预测结果在这两个边界框之间应保持一致，且IoU值较大。我们将可信预测的IoU阈值设为0.6。
姿态重投影约束。重新投影得到的3D手部关节点$\Pi \mathcal{J}^{3D}$与估计出的2D手部关节点$\mathcal{J}^{2D}$应当保持一致。我们首先将这两组关节点按输入尺寸进行归一化处理，然后计算它们之间的$L_2$距离，记为$\|\mathcal{J}^{2D} - \Pi \mathcal{J}^{3D}\|_2$。当该距离
(a) Solve the camera projection by utilizing correspondence between estimated 3D hand joints and 2D hand joints. Then project the predicted 3D mesh to 2D.
(b) Leverage spatial-temporal consistency for pseudo-label selection. First apply spatial constraints in both 2D and 3D, then perform temporal filtering between consecutive frames.
Figure 5: Pipeline of pseudo-label selection for video frames in the wild.
大于阈值$t_{p}$时，该预测结果就会被过滤掉。我们将$t_{p} = 0.65$
生物医学约束。预测出的手部姿态应符合自然人类手的特征。因此，我们利用0.1的最小归一化骨骼长度以及$(0, 90)$范围内符合物理规律的关节角度范围这两个额外约束，来剔除那些不自然的预测手部姿态。
对于数据集中的每个实例，如果它不违反上述三个空间一致性约束，我们就会进一步对其进行时间一致性约束的检验。
#### 5.1.2 时间一致性约束
平滑性约束。我们将时间一致性约束定义为连续两帧之间2D关节预测结果与3D网格预测的平滑程度，这两帧分别为 $t - 1$ 和 t。如图5b右侧所示，由于帧与帧之间是连续的，模型输出结果在时间上也应保持平滑。具体而言，这两帧之间的2D姿态估计结果差异 $\|\mathcal{J}_t^2D - \mathcal{J}_{t-1}^2D\|_2$ 应小于阈值 $t_j$。类似地，对于MANO姿态参数 $\theta$，我们通过 $\|\theta_t - \theta_{t-1}\|_2 \leq t_\theta$ 来保证3D网格的平滑性，其中 $t_j = 0.5$ 和 $t_\theta = 0.01$ 是两个常数阈值。
形状约束。在每个视频序列中，属于同一人的手部形状随时间应保持不变。给定置信预测子集C，即每个视频序列中满足上述约束的帧集合，我们计算平均手部形状为 $\bar{\beta} = \frac{1}{|C|} \sum_{t \in C} \beta_t$，其标准差为 $\sigma_C = \sqrt{\frac{1}{|C|} \sum_{t \in C} \|\beta_t - \bar{\beta}\|^2}$。我们会过滤掉C中形状偏差超过 $\bar{\beta}$ 两倍 $\sigma_C$ 的帧。
---
Figure 6: Qualitative results of predicted hand-object pose estimation on the HO-3D dataset. For each example, the first two columns show the recovered hand mesh and estimated 6-Dof object pose, the third row shows the estimated hand-object in 3D, the color of the object indicates the 3D object mesh error. Red indicated larger estimation error.
#### 5.2. 利用伪标签进行重新训练
我们在人工标注数据集与这些伪标签的并集上进行自训练。手部伪标签的多样性不仅能提升手部预测性能，还能通过CR模块为手部-物体交互推理提供更丰富的上下文信息，进而获得更精准的物体姿态估计结果。在重新训练阶段，由于我们尚未获得物体的伪标签，因此使用二值掩码来确保仅在伪标注数据集上计算手部的损失。重新训练阶段的总损失函数如下：
$$ \mathcal{L}=\mathcal{L}_{h a n d}+\mathcal{B}\cdot\mathcal{L}_{o b j e c t}\;. $$
其中B为掩码，在完全标注的数据集上取值为1，其余情况取值为0。
### 6. 实验
首先，我们在HO-3D [^16] 数据集上测试手-物姿态估计性能，并在第6.4节可视化预测结果。在第6.5节，我们对CR模块的设计进行了大量消融研究，并探讨了半监督学习的有效性。在第6.6节，我们分别在Freihand [^76] 和FPHA [^11] 数据集上测试了半监督学习前后模型的泛化能力。
#### 6.1. 实现细节
我们的模型在监督学习阶段和半监督学习阶段均从零开始端到端训练。联合学习框架中的共享编码器初始化时采用在ImageNet上预训练的ResNet-50。训练时批量大小为24，初始学习率为 $1e^{-4}$，优化器选用Adam。训练共进行50个轮次，每10个轮次学习率会缩放为原来的0.7倍。我们将输入图像裁剪为 $512 \times 512$，数据增强方式包括缩放（$\pm20\%$）、旋转（$\pm180^\circ$）、平移（$\pm10\%$）以及颜色抖动（$\pm10\%$）。
#### 6.2. 数据集
HO-3D数据集 [^16] 用于监督学习阶段的模型训练。该数据集包含由10名不同受试者与10个物体拍摄的65个以上序列，同时提供了手部和物体的3D姿态标注。其中用于训练和测试的三视角手-物交互图像分别有66,034张和11,524张。测试结果通过官方在线提交系统进行评估。
Something-Something数据集[^14]是一个大规模的手部与物体交互视频数据集，我们仅利用提供的手部与物体边界框来进行半监督学习。该数据集涵盖了多种手部形态以及大多数日常物体。最终，我们选取了包含伪标签手部的84063帧数据。
FPHA、Freihand数据集[^11] [^76]被用于验证跨域泛化能力。FPHA是一个包含手部与物体交互的第一人称视频数据集，该数据集是通过将磁传感器绑在手上采集的。第一人称视角以及手上的传感器给模型的泛化能力带来了巨大挑战。我们采用以往研究中所用的同一子集[^59] [^19] [^18]进行测试。Freihand数据集的测试集包含3960个样本，涵盖室内外环境；其中一半样本中的手部会与物体发生交互，另一半则没有物体存在。对于仅在手部与物体交互数据上训练的模型而言，这也是一项极具挑战性的基准测试。评估工作也在在线服务器上进行。
#### 6.3. 评估指标
对于手部姿态估计，我们报告提交系统返回的标准指标，即经过Procrustes对齐后的平均关节误差和网格误差（单位：毫米）。
---
Figure 7: Visualization of the CR module. The top row shows the synergy maps (red indicates higher response), the bottom row shows corresponding object query positions (red points). Hand, object and intersection boxes are in yellow, green, and blue.
| methods | Hand Error( $\downarrow$) | F-score( $\uparrow$) | Object Estimation |
| Joint | Mesh | F@5 | F@15 |
| Hasson et al. [^19] | 11.1 | 11.0 | 46.0 | 93.0 | ✓ |
| Hampali et al. [^16] | 10.7 | 10.6 | 50.6 | 94.2 | ✗ |
| Ours | 9.8 | 9.4 | 53.0 | 95.7 | ✓ |
Table 1: Hand pose estimation performance compared with state-of-the-art methods on HO-3D [^16] dataset. The joint and mesh errors are in mm. The checkmark denotes whether the method also estimates the object pose.
F分数。为了进一步评估跨数据集泛化能力，我们按照[^76]的方法，报告正确顶点百分比（PCV）和关键点百分比（PCK）曲线下的面积（AUC）。对于物体姿态估计，我们报告物体3D顶点误差在物体直径10%范围内的百分比（ADD-0.1D）。
#### 6.4. 姿态估计性能
定性结果。HO-3D数据集[^16]上的定性结果如图6所示。我们可视化了预测的二维和三维手部与物体图像。结果表明，我们的方法能够很好地处理交互过程中的遮挡问题，并恢复出精确的三维手部网格和物体六自由度姿态。此外，我们在图7中可视化了CR模块中不同物体查询位置的协同映射图。我们发现CR模块对接触区域会给出高响应，且倾向于利用接触模式进行关系推理。
与最先进方法的比较。如表1和图8所示，我们将我们的手部姿态估计结果与HO-3D数据集[^19]上的最先进方法[^16] [^16]进行了比较。从图中可以看出，我们的方法得到的网格AUC值高达81.2%，分别比[^16]和[^19]高出2.2%和3.9%。我们的模型手部网格误差也最低，仅为9.4毫米。除了更优的手部姿态性能外，与[^19] [^16]相比，我们的方法还能同时给出更精确的物体估计结果。
#### 6.5. 消融研究
我们在HO-3D数据集[^16]上开展消融研究。我们首先比较了CR模块的不同设计。接着，
| model | Hand Error( $\downarrow$) | F-score( $\uparrow$) | Object ADD-0.1D( $\uparrow$) |
| Joint | Mesh | F@5 | F@15 | cleanser | bottle | can | ave |
| w/o CR | 10.2 | 9.7 | 53.7 | 94.9 | 75.3 | 59.1 | 52.1 | 62.2 |
| h $^{+}$ | 10.6 | 10.1 | 52.6 | 94.5 | 75.5 | 62.0 | 57.6 | 65.0 |
| h $^{+}$+o $^{+}$ | 10.3 | 9.9 | 52.6 | 94.8 | 86.5 | 61.6 | 46.4 | 64.8 |
| o $^{+}$ | 10.1 | 9.7 | 52.9 | 95.2 | 87.6 | 60.1 | 54.8 | 67.5 |
Table 2: Comparison of different queries in CR module on HO-3D dataset [^16]. $\mathbf{h}^{+}$, $\mathbf{h}^{+}\mathbf{o}^{+}$ and $\mathbf{o}^{+}$ are to take hand features, both hand-object features, and object features as the query respectively. The key feature, which is extracted from the hand-object intersection region, is fused into the query feature. In detail, for $\mathbf{h}^{+}\mathbf{o}^{+}$, we use two separate CR modules for fusing the key into both the hand and object query. Ave means average.
| model | Hand Error( $\downarrow$) | F-score( $\uparrow$) | Object ADD-0.1D( $\uparrow$) |
| Joint | Mesh | F@5 | F@15 | cleanser | bottle | can | ave |
| sup-w/o CR | 10.2 | 9.7 | 53.7 | 94.9 | 75.3 | 59.1 | 52.1 | 62.2 |
| semi-w/o CR | 10.1 | 9.6 | 53.7 | 95.2 | 88.8 | 68.9 | 49.8 | 69.2 |
| sup- w/ CR | 10.1 | 9.7 | 52.9 | 95.2 | 87.6 | 60.1 | 54.8 | 67.5 |
| semi- w/ CR | 9.8 | 9.4 | 53.0 | 95.7 | 89.7 | 72.7 | 57.0 | 73.2 |
Table 3: Ablation analysis of semi-supervised learning on HO-3D dataset [^16]. sup and semi means under the supervised and semi-supervised phase. Best numbers of supervised learning results and semi-supervised learning results are shown in blue and red respectively. w/o CR is the baseline without CR module, and w/ CR is the proposed one with CR module. Ave means average.
我们研究了不同过滤约束以及分别用于手部与物体姿态估计的伪标签比例所产生的影响。
#### 6.5.1 CR模块的消融分析
我们研究了监督学习下CR模块中不同查询设计选择的影响。我们比较了三种类型的查询，而关键部分仍采用手与物体交集区域的特征。第一种选择是将手部特征作为查询，此时CR模块的输出仅输入到手部解码器，记为$h^+$。第二种选择是同时采用手部与物体特征作为查询，使用两个独立的CR模块，其输出分别输入到两个解码器，记为$h^+o^+$。第三种则是我们在4.1节中提出的方案，即采用物体特征作为查询，记为$o^+$。如表2所示，通过上下文推理来增强物体表征（$o^+$）能够显著改善物体姿态估计效果。相较于未使用CR模块的基线模型，平均物体ADD-0.1D指标提升了5.3%。然而，使用手部特征作为查询（$h^+$和$h^+o^+$）并未带来更好的手部姿态估计效果，甚至相比基线模型性能略有下降。这可能是由于CR模块功能退化，加之遮挡区域干扰了网络的注意力机制。
#### 6.5.2 半监督学习的消融实验
半监督学习性能。如表3所示，半监督学习同时改善了手部与
---
| model | Num Pseudo | Hand Error( $\downarrow$) Joint | Mesh | F-score( $\uparrow$) F@5 | F@15 |
| sup | 0 | 10.1 | 9.7 | 52.9 | 95.2 |
| w/o spatial | 84,063 | 10.0 | 9.7 | 51.8 | 95.4 |
| w/o temporal | 84,063 | 10.1 | 9.7 | 52.0 | 95.3 |
| proposed | 84,063 | 9.8 | 9.4 | 53.0 | 95.7 |
Table 4: Ablation analysis of using different filtering constraints in semi-supervised learning on the HO-3D dataset.
| eval\nmodel | FPHA [^19] | Freihand [^76] |
| AUC ( $\uparrow$) | F-Score ( $\uparrow$) | AUC ( $\uparrow$) | F-Score ( $\uparrow$) |
| Joint | Mesh | F@5 | F@15 | Joint | Mesh | F@5 | F@15 |
| supervised | 73.9 | 75.0 | 43.8 | 92.0 | 68.5 | 68.0 | 34.2 | 84.8 |
| semi-supervised | 74.8 | 75.9 | 45.3 | 92.9 | 69.7 | 69.1 | 35.4 | 86.3 |
Table 5: Cross-dataset generalization performance measured as joint AUC, mesh AUC, and F-scores between model trained with supervised learning and semi-supervised learning.
物体姿态估计效果，无论是否使用CR模块。即便仅收集了手部伪标签，物体姿态估计仍能从中受益。我们推测原因有二：其一，更优的手部表征可作为更好的上下文信息，通过上下文推理提升物体姿态估计；其二，手部伪标签的多样性有助于构建更稳健的共享骨干网络，该网络通过RoI Align提取用于获取手部与物体表征的基础特征。在半监督学习下，清洁器、瓶子和罐子的物体ADD-0.1D指标分别提升了2.1%、12.6%和2.2%，平均提升幅度达到5.7%。
伪标签过滤约束。我们在表4中评估了不同过滤约束对半监督学习的贡献。我们将其与仅采用监督学习的方法以及移除空间或时间过滤约束的方法进行了比较。从表中可以看出，每种约束都发挥着重要作用。若缺少空间或时间约束，手部姿态估计精度甚至会下降。因此，这两种约束对于筛选高质量伪标签并提升手部姿态估计性能至关重要。
伪标签数量。我们分析了在HO-3D数据集上，半监督学习中不同比例的伪标签对物体ADD-0.1D性能的影响[^16]。我们分别选取收集到的伪标签中的20%、40%、60%和80%用于半监督学习。如图9所示，训练中使用的伪手部标签越多，模型在物体性能上的表现越好。尽管训练中所标注的物体姿态数据量保持不变，但物体性能仍能得到提升，原因有二：其一，更优的手部性能可通过上下文推理直接辅助物体姿态估计；其二，半监督学习强化了共享编码器，从而间接提升了物体姿态估计能力。
Figure 8: The hand mesh 3D PCV performance on the HO-3D dataset. Our method outperforms previous work [^19] [^16] by a large margin.
Figure 9: Ablation study of different fractions of pseudo labels contributes to object pose performance gain on the HO-3D dataset.
#### 6.6. 跨域泛化能力
我们在半监督学习前后，评估了模型在FPHA [^11]和Freihand [^76]数据集上的泛化性能。遵循[^73]和[^76]提出的协议，我们报告了经过Procrustes对齐后的关节AUC与网格AUC，以及F分数 [^29]。为了评估模型在FPHA数据集上的手部网格性能，我们按照[^18]的方法，将MANO模型拟合到提供的真实手部关节数据上。泛化结果如表5所示。与仅采用监督学习训练的基线模型相比，采用半监督学习训练的模型在手部关节与网格估计方面表现更为精准。在半监督学习中，我们利用了来自Something-Something视频数据集 [^14]的更多训练数据，这些数据涵盖了各种与物体交互的手部姿态以及野外场景中的受试者。因此，模型能够在半监督训练阶段从这些数据源中获益，进而在不同域外数据集上取得更好的泛化效果。
### 7. 结论
在这项工作中，我们提出了一种用于同时估计3D手部姿态与6自由度物体姿态的半监督学习框架，该框架将手-物交互区域作为推理物体姿态的上下文信息。在标注数据集上训练模型后，我们将其部署在大规模视频数据集上以生成伪手部标签，随后通过时空滤波获得高质量的标签。最后，在半监督学习框架下，利用真实标签与伪标签的并集重新训练模型。实验结果表明，我们的方法显著提升了手部与物体姿态估计的性能，同时具备更好的跨域泛化能力。
致谢。本研究部分得到了DARPA LwLL、NSF 1730158 CI-New: Cognitive Hardware and Software Ecosystem Community Infrastructure (CHASE-CI)、NSF ACI-1541349 CC*DNI Pacific Research Platform的资助，并获得了Qualcomm和TuSimple的赞助。
---
## 参考文献
[^1]: Eric Arazo, Diego Ortego, Paul Albert, Noel E O'Connor, and Kevin McGuinness. Pseudo-labeling and confirmation bias in deep semi-supervised learning. arXiv preprint arXiv:1908.02983, 2019.
[^2]: Seungryul Baek, Kwang In Kim, and Tae-Kyun Kim. Pushing the envelope for rgb-based dense 3d hand pose estimation via neural rendering. In CVPR, pages 1067–1076, 2019.
[^3]: Peter Battaglia, Razvan Pascanu, Matthew Lai, Danilo Jimenez Rezende, et al. Interaction networks for learning about objects, relations and physics. In Advances in Neural Information Processing Systems, pages 4502–4510, 2016.
[^4]: Adnane Boukhayma, Rodrigo de Bem, and Philip HS Torr. 3d hand shape and pose from images in the wild. In CVPR, pages 10843–10852, 2019.
[^5]: Yujun Cai, Liuhao Ge, Jianfei Cai, and Junsong Yuan. Weakly-supervised 3d hand pose estimation from monocular rgb images. In ECCV, pages 666–682, 2018.
[^6]: Xinlei Chen, Abhinav Shrivastava, and Abhinav Gupta. Neil: Extracting visual knowledge from web data. In ICCV, pages 1409–1416, 2013.
[^7]: Y. Chen, Z. Tu, Di Kang, Ruizhi Chen, Linchao Bao, Zhengyou Zhang, and J. Yuan. Joint hand-object 3d reconstruction from a single image with cross-branch feature fusion. ArXiv, abs/2006.15561, 2020.
[^8]: Chiho Choi, Sang Ho Yoon, Chin-Ning Chen, and Karthik Ramani. Robust hand pose estimation during the interaction with an unknown object. In ICCV, pages 3123–3132, 2017.
[^9]: Bardia Doosti, Shujon Naha, M. Mirbagheri, and David J. Crandall. Hope-net: A graph-based model for hand-object pose estimation. CVPR, pages 6607–6616, 2020.
[^10]: Guillermo Garcia-Hernando, Edward Johns, and Tae-Kyun Kim. Physics-based dexterous manipulations with estimated hand poses and residual reinforcement learning. arXiv preprint arXiv:2008.03285, 2020.
[^11]: Guillermo Garcia-Hernando, Shanxin Yuan, Seungryul Baek, and Tae-Kyun Kim. First-person hand action benchmark with rgb-d videos and 3d hand pose annotations. CVPR, pages 409–419, 2018.
[^12]: Liuhao Ge, Zhou Ren, Yuncheng Li, Zehao Xue, Yingying Wang, Jianfei Cai, and Junsong Yuan. 3d hand shape and pose estimation from a single rgb image. In CVPR, pages 10833–10842, 2019.
[^13]: Oliver Glauser, Shihao Wu, Daniele Panozzo, Otmar Hilliges, and Olga Sorkine-Hornung. Interactive hand pose estimation using a stretch-sensing soft glove. TOG, 38(4):1–15, 2019.
[^14]: Raghav Goyal, Samira Ebrahimi Kahou, Vincent Michalski, Joanna Materzynska, Susanne Westphal, Heuna Kim, Valentin Haenel, Ingo Fründ, Peter Yianilos, Moritz Mueller-Freitag, Florian Hoppe, Christian Thurau, Ingo Bax, and Roland Memisevic. The “something something” video database for learning and evaluating visual common sense. ICCV, pages 5843–5851, 2017.
[^15]: Klaus Greff, R. Srivastava, J. Koutnik, Bastiaan Steunebrink, and J. Schmidhuber. Lstm: A search space odyssey. IEEE
《神经网络与学习系统汇刊》，第28卷：2222–2232页，2017年。
[^16]: Shreyas Hampali, Mahdi Rad, Markus Oberweger, and Vincent Lepetit. Honnotate: A method for 3d annotation of hand and objects poses. CVPR, 2019.
[^17]: Ankur Handa, Karl Van Wyk, Wei Yang, Jacky Liang, Yu-Wei Chao, Qian Wan, Stan Birchfield, Nathan Ratliff, and Dieter Fox. Dexpilot: Vision-based teleoperation of dexterous robotic hand-arm system. In 2020 IEEE International Conference on Robotics and Automation (ICRA), pages 9164–9170. IEEE, 2020.
[^18]: Yana Hasson, Bugra Tekin, Federica Bogo, Ivan Laptev, Marc Pollefeys, and Cordelia Schmid. Leveraging photometric consistency over time for sparsely supervised hand-object reconstruction. CVPR, 2020.
[^19]: Yana Hasson, Gul Varol, Dimitrios Tzionas, Igor Kalevatykh, Michael J Black, Ivan Laptev, and Cordelia Schmid. Learning joint reconstruction of hands and manipulated objects. In CVPR, pages 11807–11816, 2019.
[^20]: Kaiming He, Georgia Gkioxari, Piotr Dollár, and Ross Girshick. Mask r-cnn. In CVPR, pages 2961–2969, 2017.
[^21]: Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. CVPR, pages 770–778, 2016.
[^22]: Geoffrey E. Hinton, Oriol Vinyals, and J. Dean. Distilling the knowledge in a neural network. ArXiv, abs/1503.02531, 2015.
[^23]: Han Hu, Jiayuan Gu, Zheng Zhang, Jifeng Dai, and Yichen Wei. Relation networks for object detection. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 3588–3597, 2018.
[^24]: Yinlin Hu, Joachim Hugonot, Pascal Fua, and Mathieu Salzmann. Segmentation-driven 6d object pose estimation. CVPR, pages 3380–3389, 2019.
[^25]: Wolfgang Hürst and Casper Van Wezel. Gesture-based interaction via finger tracking for mobile augmented reality. Multimedia Tools and Applications, 62(1):233–258, 2013.
[^26]: Umar Iqbal, Pavlo Molchanov, Thomas Breuel Juergen Gall, and Jan Kautz. Hand pose estimation via latent 2.5 d heatmap regression. In ECCV, pages 118–134, 2018.
[^27]: Ahmet Iscen, Giorgos Tolias, Yannis Avrithis, and Ondrej Chum. Label propagation for deep semi-supervised learning. In CVPR, pages 5070–5079, 2019.
[^28]: Wadim Kehl, Fabian Manhardt, Federico Tombari, Slobodan Ilic, and Nassir Navab. Ssd-6d: Making rgb-based 3d detection and 6d pose estimation great again. ICCV, pages 1530–1538, 2017.
[^29]: Arno Knapitsch, Jaesik Park, Qian-Yi Zhou, and Vladlen Koltun. Tanks and temples: Benchmarking large-scale scene reconstruction. ACM Transactions on Graphics (ToG), 36(4):1–13, 2017.
[^30]: Dominik Kulon, Riza Alp Guler, Iasonas Kokkinos, Michael M. Bronstein, and Stefanos Zafeiriou. Weakly-supervised mesh-convolutional hand reconstruction in the wild. In CVPR, June 2020.
## [^31]: Dong-Hyun Lee. Pseudo-label: The simple and efficient semi-supervised learning method for deep neural networks
---
收录于ICML举办的表征学习挑战研讨会，第3卷，第2页，2013年。
[^32]: Xiaolong Li, He Wang, Li Yi, Leonidas J Guibas, A Lynn Abbott, and Shuran Song. Category-level articulated object pose estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 3706–3715, 2020.
[^33]: Tsung-Yi Lin, Piotr Dollár, Ross B. Girshick, Kaiming He, Bharath Hariharan, and Serge J. Belongie. Feature pyramid networks for object detection. CVPR, pages 936–944, 2017.
[^34]: Shaowei Liu, Guijin Wang, Pengwei Xie, and Cairong Zhang. Light and fast hand pose estimation from spatial-decomposed latent heatmap. IEEE Access, 8:53072–53081, 2020.
[^35]: David Lopez-Paz, Léon Bottou, Bernhard Schölkopf, and Vladimir Vapnik. Unifying distillation and privileged information. arXiv preprint arXiv:1511.03643, 2015.
[^36]: Gyeongsik Moon, Ju Yong Chang, and Kyoung Mu Lee. V2v-posenet: Voxel-to-voxel prediction network for accurate 3d hand and human pose estimation from a single depth map. In Proceedings of the IEEE conference on computer vision and pattern Recognition, pages 5079–5088, 2018.
[^37]: Franziska Mueller, Florian Bernard, Oleksandr Sotnychenko, Dushyant Mehta, Srinath Sridhar, Dan Casas, and Christian Theobalt. Generated hands for real-time 3d hand tracking from monocular rgb. In CVPR, page 11, 2018.
[^38]: Franziska Mueller, Dushyant Mehta, Oleksandr Sotnychenko, Srinath Sridhar, Dan Casas, and Christian Theobalt. Real-time hand tracking under occlusion from an egocentric rgb-d sensor. In ICCVW, pages 1284–1293, 2017.
[^39]: Alejandro Newell, Kaiyu Yang, and Jia Deng. Stacked hour-glass networks for human pose estimation. In ECCV, pages 483–499. Springer, 2016.
[^40]: Markus Oberweger, Paul Wohlhart, and Vincent Lepetit. Generalized feedback loop for joint hand-object pose estimation. IEEE TPAMI, 2019.
[^41]: Iason Oikonomidis, Nikolaos Kyriazis, and Antonis A Argyros. Full dof tracking of a hand interacting with an object by modeling occlusions and physical constraints. In ICCV, pages 2088–2095. IEEE, 2011.
[^42]: Georgios Pavlakos, Luyang Zhu, Xiaowei Zhou, and Kostas Daniilidis. Learning to estimate 3d human pose and shape from a single color image. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 459–468, 2018.
[^43]: Sida Peng, Yuan Liu, Qi-Xing Huang, Hujun Bao, and Xiaowei Zhou. Pvnet: Pixel-wise voting network for 6dof pose estimation. CVPR, pages 4556–4565, 2019.
[^44]: Thammathip Piumsomboon, Adrian Clark, Mark Billinghurst, and Andy Cockburn. User-defined gestures for augmented reality. In IFIP Conference on Human-Computer Interaction, pages 282–299, 2013.
[^45]: Mahdi Rad and Vincent Lepetit. Bb8: A scalable, accurate, robust to partial occlusion method for predicting the 3d poses of challenging objects without using depth. ICCV, pages 3848–3856, 2017.
[^46]: Ilija Radosavovic, Piotr Dollár, Ross Girshick, Georgia Gkioxari, and Kaiming He. Data distillation: Towards omnisupervised learning. In CVPR, pages 4119–4128, 2018.
[^47]: Joseph Redmon, Santosh Kumar Divvala, Ross B. Girshick, and Ali Farhadi. You only look once: Unified, real-time object detection. CVPR, pages 779–788, 2016.
[^48]: Ellen Riloff and Janyce Wiebe. Learning extraction patterns for subjective expressions. In EMNLP, pages 105–112, 2003.
[^49]: Grégory Rogez, Maryam Khademi, JS Supančič III, Jose Maria Martinez Montiel, and Deva Ramanan. 3d hand pose detection in egocentric rgb-d images. In ECCV, pages 356–371, 2014.
[^50]: Javier Romero, Dimitrios Tzionas, and Michael J Black. Embodied hands: Modeling and capturing hands and bodies together. ToG, 36(6):245, 2017.
[^51]: Chuck Rosenberg, Martial Hebert, and Henry Schneiderman. Semi-supervised self-training of object detection models. WACV/MOTION, 2, 2005.
[^52]: Amir Sadeghian, Alexandre Alahi, and Silvio Savarese. Tracking the untrackable: Learning to track multiple cues with long-term dependencies. In Proceedings of the IEEE International Conference on Computer Vision, pages 300–311, 2017.
[^53]: Adam Santoro, David Raposo, David G Barrett, Mateusz Malinowski, Razvan Pascanu, Peter Battaglia, and Timothy Lillicrap. A simple neural network module for relational reasoning. volume 30, 2017.
[^54]: Max Schwarz, Hannes Schulz, and Sven Behnke. Rgb-d object recognition and pose estimation based on pre-trained convolutional neural network features. In 2015 IEEE international conference on robotics and automation (ICRA), pages 1329–1335. IEEE, 2015.
[^55]: H Scudder. Probability of error of some adaptive pattern recognition machines. IEEE Transactions on Information Theory, 11(3):363–371, 1965.
[^56]: Weiwei Shi, Yihong Gong, Chris Ding, Zhiheng MaXiaoyu Tao, and Nanning Zheng. Transductive semi-supervised deep learning using min-max features. In ECCV, pages 299–315, 2018.
[^57]: Adrian Spurr, Jie Song, Seonwook Park, and Otmar Hilliges. Cross-modal deep variational hand pose estimation. In CVPR, 2018.
[^58]: Srinath Sridhar, Anna Maria Feit, Christian Theobalt, and Antti Oulasvirta. Investigating the dexterity of multi-finger input for mid-air text entry. In CHI, pages 3643–3652, 2015.
[^59]: Bugra Tekin, Federica Bogo, and Marc Pollefeys. H+o: Unified egocentric recognition of 3d hand-object poses and interactions. In CVPR, pages 4511–4520, 2019.
[^60]: Bugra Tekin, Sudipta N. Sinha, and Pascal Fua. Real-time seamless single shot 6d object pose prediction. CVPR, pages 292–301, 2018.
[^61]: Xiaolong Wang, Ross B. Girshick, Abhinav Gupta, and Kaiming He. Non-local neural networks. CVPR, pages 7794–7803, 2018.
[^62]: Xiaolong Wang and Abhinav Gupta. Videos as space-time region graphs. In Proceedings of the European conference on computer vision (ECCV), pages 399–417, 2018.
## [^63]: Nicholas Watters, Daniel Zoran, Theophane Weber, Peter Battaglia, Razvan Pascanu, and Andrea Tacchetti. Visual interaction networks: Learning a physics simulator from video. Advances in neural information processing systems, 30:4539–4547, 2017
---
[^64]: Chao-Yuan Wu, Christoph Feichtenhofer, Haoqi Fan, Kaiming He, Philipp Krahenbuhl, and Ross Girshick. Long-term feature banks for detailed video understanding. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 284–293, 2019.
[^65]: Sitao Xiang and Hao Li. Revisiting the continuity of rotation representations in neural networks. ArXiv, abs/2006.06234, 2020.
[^66]: Yu Xiang, Tanner Schmidt, Venkatraman Narayanan, and Dieter Fox. Posecnn: A convolutional neural network for 6d object pose estimation in cluttered scenes. arXiv preprint arXiv:1711.00199, 2017.
[^67]: Yu Xiang, Tanner Schmidt, Venkatraman Narayanan, and Dieter Fox. Posecnn: A convolutional neural network for 6d object pose estimation in cluttered scenes. ArXiv, abs/1711.00199, 2018.
[^68]: Qizhe Xie, Eduard Hovy, Minh-Thang Luong, and Quoc V Le. Self-training with noisy student improves imagenet classification. arXiv preprint arXiv:1911.04252, 2019.
[^69]: Chi Xu, Lakshmi Narasimhan Govindarajan, Yu Zhang, and Li Cheng. Lie-x: Depth image based articulated object pose estimation, tracking, and action recognition on lie groups. International Journal of Computer Vision, 123:454–478, 2017.
[^70]: Yuan Yao and Yun Fu. Real-time hand pose estimation from rgb-d sensor. In ICME, pages 705–710, 2012.
[^71]: David Yarowsky. Unsupervised word sense disambiguation rivaling supervised methods. In ACL, pages 189–196, 1995.
[^72]: Shanxin Yuan, Guillermo Garcia-Hernando, Björn Stenger, Gyeongsik Moon, Ju Yong Chang, Kyoung Mu Lee, Pavlo Molchanov, Jan Kautz, Sina Honari, Liuhao Ge, et al. Depth-based 3d hand pose estimation: From current achievements to future goals. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 2636–2645, 2018.
[^73]: Xiong Zhang, Qiang Li, Hong Mo, Wenbo Zhang, and Wen Zheng. End-to-end hand mesh recovery from a monocular rgb image. In CVPR, pages 2354–2364, 2019.
[^74]: Yuxiao Zhou, Marc Habermann, Weipeng Xu, Ikhsanul Habibie, Christian Theobalt, and Feng Xu. Monocular real-time hand shape and motion capture using multi-modal data. CVPR, 2020.
[^75]: Christian Zimmermann and Thomas Brox. Learning to estimate 3d hand pose from single rgb images. In CVPR, pages 4903–4911, 2017.
[^76]: Christian Zimmermann, Duygu Ceylan, Jimei Yang, Bryan Russell, Max Argus, and Thomas Brox. Freihand: A dataset for markerless capture of hand pose and shape from single rgb images. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 813–822, 2019.