# HOnnotate：一种用于手部与物体姿态的3D标注方法 Shreyas Hampali $^{1}$、Mahdi Rad $^{1}$、Markus Oberweger $^{1}$ 以及 Vincent Lepetit $^{2,1}$ $^{1}$奥地利格拉茨技术大学计算机图形与视觉研究所 $^{2}$法国马恩拉瓦莱，古斯塔夫·埃菲尔大学桥路学校LIGM实验室，法国国家科学研究中心 {hampali, rad, oberweger, lepetit}@icg.tugraz.at，项目页面： ## 摘要 我们提出了一种为手部操作物体的图像标注3D姿态的方法，同时还提供了利用该方法创建的数据集。我们提出该方法的动机在于目前针对此类问题的带标注真实图像十分匮乏，因为估计3D姿态极具挑战性，主要原因在于手部与物体之间的相互遮挡。为应对这一挑战，我们使用一台或多台RGB-D相机采集序列图像，并在所有帧中同步优化手部与物体的3D姿态。借助该方法，即便存在严重的相互遮挡情况，我们也能自动为每一帧标注精确的姿态估计结果。利用该方法，我们创建了HO-3D数据集——首个无需标记、包含颜色图像且同时提供手部与物体3D标注的数据集。该数据集目前包含77,558帧图像、68个序列、10名受试者以及10种物体。利用我们的数据集，我们开发了一种基于单张RGB图像来预测物体交互时手部姿态的方法，并证明该方法能泛化到数据集中未出现的物体上。 ### 1. 引言 得益于深度学习的发展，以及大型数据集的创建或合成图像在训练中的应用，近期基于单目图像估计刚体物体和手部3D姿态的方法取得了显著进展[^33] [^36] [^47] [^57] [^73] [^75]。然而，当手部与物体发生交互时，这些新方法仍会失效，主要原因在于严重的相互遮挡现象，以及缺乏专门针对手+物体交互的3D姿态估计数据集。突破这一局限极具价值，因为3D手部与物体姿态在增强现实应用或机器人模仿学习等领域将发挥重要作用。 已有多项开创性研究探讨了这一问题，有时还取得了令人瞩目的成果[^27] [^54] [^63]。这类研究通常依赖跟踪算法来利用时间约束，往往还会考虑手部与物体之间的物理约束以优化姿态估计结果。虽然这些时间和物理约束依然具有重要意义，但我们也希望借助数据驱动方法的优势，实现基于单张图像的手部+物体3D姿态估计。能够从单帧图像中估计这些姿态，可避免手动初始化以及跟踪算法的漂移问题。不过，数据驱动方法需要带有物体和手部3D姿态标注的真实或合成图像。遗憾的是，为手+物体问题创建带标注的数据极具挑战性。创建3D标注的两种常见方式——标注真实图像和生成合成图像，都存在诸多难题。 对真实图像进行标注。人们可以依赖某种自动标注算法，就像在当前的3D手部姿态估计基准测试中那样[^46] [^56] [^59] [^73] [^76]，其中的“真实标注”是通过跟踪算法自动获取的。尽管这些标注存在噪声，但它们通常被视为理所当然，并被用于训练和评估[^38]。另一种方法是使用附着在手上的传感器，如[^15]（图1右下角所示）。这种方法能直接提供3D姿态，但传感器会在图像中显现出来，从而干扰学习方法。在开发真实图像的自动标注算法方面，仍需付出大量努力。 生成合成图像。利用合成图像颇具吸引力，因为其中的3D姿态是精确已知的。可以利用逼真的渲染和域迁移技术，在合成图像上训练3D姿态估计模型[^32] [^48] [^75]。如[^30]所示，生成物理上合理的抓取姿势是可行的[^19]，但复杂的操作很难模拟。不过，要评估该方法对真实数据的泛化能力，仍然需要带有精确3D标注的真实图像。 因此，我们提出了一种为物体抓取的手部真实图像自动标注其3D姿态的方法。我们的方法仅需一台RGB-D相机即可运行，但如果有多台相机可用，也能加以利用以提升鲁棒性以及 --- ![Image](images/6f0874157b91db485b4d4ceffb3caa8afbd75ea11d721af9c94ea101f2e92477.jpg)
Figure 1: We introduce a method for labelling real images of hand+object interaction with the 3D poses of the hand and of the object. With this method, we automatically created a dataset made of more than 75,000 frames, 10 different objects and 10 different users. In comparison, existing datasets have several limitations: The 3D objects are very simple, the interaction is not realistic, the images are synthetic, corrupted by sensors, and/or the number of samples is limited. More illustrations of annotations in our dataset are shown in the supplementary material.
准确性。单相机方案基于抓取姿态在序列中变化微小的假设；多相机方案则能应对复杂的手与物体交互场景。我们的方法并非逐帧跟踪姿态，而是对序列中所有手部和物体的3D姿态进行联合优化。评估结果表明，相较于跟踪算法，这种方式能更有效地利用时间一致性。借助可微渲染技术，我们可以利用最初为深度学习开发的新颖强大梯度下降方法，来优化复杂的目标函数[^25]。我们认为这种方法相当于SLAM算法中的束调整，只不过我们跟踪的是物体而非点。 我们采用了MANO手部模型[^51]以及物体的3D模型。我们使用YCB-Video数据集中的物体[^70]，因为这些物体形状多样且材质各异，有兴趣开展实验的研究人员可以在网上购买[^1]。能够使用单台相机也便于其他研究人员扩展数据集，纳入更多种类的物体和抓取姿态，毕竟多相机采集系统的搭建往往较为复杂。 利用我们的方法，我们创建了一个如图1所示的数据集，将其命名为HO-3D。此外，我们利用该数据集学习从单张RGB图像预测操控物体的手部3D姿态。更确切地说，我们训练深度网络来预测手部的2D关节位置及关节方向向量，再通过拟合MANO模型将这些信息转换为3D数据。这证明了我们的标注方法所估计的3D姿态确实可用于数据驱动的手部姿态估计方法。通过与一种直接估计MANO参数的现有手+物体姿态估计方法[^19]进行比较，我们发现预测2D关键点再将其转换为3D的做法精度更高。 ### 2. 相关工作 关于手部和物体姿态估计的文献极为广泛，我们在此仅回顾其中的部分研究。 #### 2.1. 三维物体姿态估计 从单帧图像中估计物体的三维姿态仍是计算机视觉领域的基础问题之一。如今已有一些方法能够较好地应对部分遮挡情况[^21] [^37] [^42]，但许多研究仍依赖RGB-D数据来解决这一问题[^5] [^8] [^23] [^31]，即通过将三维物体模型与深度数据进行匹配来实现。当手部抓住物体时，这种方法可能会失效，因为手部表面容易被误认为是物体表面。 #### 2.2. 三维手部姿态估计 单图像手部姿态估计也是计算机视觉领域的热门研究方向，相关方法可分为判别式和生成式两类。判别式方法直接从RGB或RGB-D图像中预测关节位置。基于深度网络的最新研究[^16] [^33] [^35] [^36] [^61] [^71] [^75]展现出了卓越的性能，相比之下，早期基于随机森林的研究[^24]性能则相对有限。不过，判别式方法在出现部分遮挡时表现较差。 生成式方法利用手部模型及其运动结构来生成符合物理规律的姿态假设[^13] [^29] [^46] [^52] [^55] [^65] [^72]。[^32] [^41]会先预测二维关节位置，再将其映射到三维空间。生成式方法通常精度较高，且能较好地应对部分遮挡情况。不过它们通常需要依赖某种姿态先验，这可能要求手动初始化，或在跟踪过程中出现漂移现象。 我们的研究与判别式和生成式方法均相关：我们在全局优化框架内采用生成式方法来生成姿态标注， --- 并借助判别式方法来初始化这一复杂的优化过程。[^66]也结合了生成式和判别式方法，在自监督环境下训练网络。不过他们仅针对手部进行研究。我们还利用自己的数据集训练判别式方法，以预测对物体交互产生的遮挡具有鲁棒性的手部姿态。 #### 2.3. 用于三维姿态估计的合成图像 由于获取真实图像的标注较为困难，因此能够在合成数据上训练判别式方法具有重要价值[^75]。[^19] [^48]指出，由于合成图像与真实图像之间存在域差异，仅用合成图像训练会导致性能不佳。[^32]采用了GAN方法来使合成手部图像更逼真。尽管使用合成图像对许多问题而言仍具吸引力，但创建虚拟场景往往成本高昂且耗时。要生成各种物体的逼真手部抓取动画——这正是本文所研究问题的需求——仍颇具挑战性。因此，使用真实序列进行训练也有其优势。此外，评估应在真实图像上进行。 #### 2.4. 手部与物体联合姿态估计 早期的手部与物体姿态估计方法[^2] [^39] [^67]通常依赖多视角相机配置以及逐帧跟踪方法，这些方法可能需要仔细的初始设置，且随时间推移会出现漂移现象。[^40] [^64]提出了用于跟踪手指接触点以实现手持RGB-D物体形状扫描的生成式方法。[^44] [^45]考虑利用视觉传感来估算手部与物体交互过程中的接触力，进而估计手部与物体的姿态。不过，这些方法仅适用于遮挡程度较小的情况。 [^27]: [^63] propose to use a physics simulator and a 3D renderer for frame-to-frame tracking of hands and objects from RGB-D. [^28] uses an ensemble of Collaborative Trackers for multi-object and multiple hand tracking from RGB-D images. The accuracy of these methods seems to be qualitatively high, but as the ground truth acquisition in a real-world is known to be hard, they evaluate the proposed method on synthetic datasets, or by measuring the standard deviation of the difference in hand/object poses during a grasping scenario. [^62]: considers the problem of tracking a deformable object in interaction with a hand, by optimizing an energy function on the appearance and the kinematics of the hand, together with hand+object contact configurations. However, it is evaluated quantitatively only on synthetic images, which points to the difficulty of evaluation on real data. In addition, they only consider scenarios where the hand is visible from a top view, restricting the range of the hand poses and not allowing occlusions. 最近，[^26]利用粗略的手部姿态估计来获取手持物体的3D姿态和形状。不过，他们仅考虑了特定类型的物体，并未估算物体姿态。[^19]提出了一种包含接触损失模型的方案，该模型考虑了物理上可行的手部与物体交互方式以提升抓取质量。然而，为了估算3D手部姿态，他们预测了姿态的PCA分量，正如我们的实验所示，这种方式得出的精度低于我们的方法。[^60]提出了一种从以自我为中心的视角下联合预测3D手部与物体姿态的深度模型，但由于缺乏物理约束，可能会导致无法实现的抓取动作。 #### 2.5 手部与物体数据集 目前已经提出了多种针对手部与物体交互的数据集。许多研究提供了用于动作识别的以自我为中心的RGB或RGB-D序列[^3] [^6] [^7] [^14] [^49]。不过，这些数据集侧重于抓取和动作标签，并未提供3D姿态信息。[^11] [^33] [^50] [^62]生成了带有3D手部姿态标注的合成数据集，但要精确生成手部与物体之间的精细交互仍颇具挑战性。 [^63]: [^65] captured sequences in the context of hand+hand and hand+object interaction, with 2D hand annotations only. [^34] collected a dataset of real RGB images of hands holding objects. They also provide 2D joint annotations of pairs of non-occluded and occluded hands, by removing the object from the grasp of the subject, while maintaining their hand in the same pose. [^17] proposes two datasets, a hand+object segmentation dataset, and a hand+object pose estimation dataset. However, for both datasets, the background pixels have been set to zero, and the training images only consist of a hand interacting with a tennis ball. They provide hand pose annotations and object positions, by manually labelling the joints and using a generative method to refine the joint positions. [^22] generate a large scale dataset with full body pose and hand pose annotations in a multi-view setup. They use a generative approach to fit the body and hand models to 3D keypoints and point cloud. However, their dataset focuses on total body pose annotation and not hand+object interactions exclusively and does not provide object pose annotations. ### [^54]: proposed an RGB-D dataset of a hand manipulating a cube, which contains manual ground truth for both fingertip positions and 3D poses of the cube. [^43] collected a dataset where they measure motion and force under different object-grasp configurations using sensors, but do not provide 3D poses. In contrast to these previous works, [^15] provides a dataset of hand and object interactions with 3D annotations for both hand joints and object pose. They used a motion capture system made of magnetic sensors attached to the user's hand and to the object in order to obtain hand 3D pose annotations in RGB-D video sequences. However ---
DatasetNo. of Frames3D Object PoseMarker-lessReal ImagesLabelsNo. of ObjectsNo. of Subjects
PAN [^22]675K-++automatic-70
GAN [^32]300K-+-synthetic-
FPHA [^15]100K+ (23K frames)-+automatic26 (4 models)6
ObMan [^19]150K++-synthetic2.7K20
Freihand [^76]37K-++hybrid2735
HO-3D (ours)78K+++automatic1010
Table 1: Comparison of hand+object datasets.
这会改变彩色图像中手部的外观，因为传感器以及固定它们的胶带会显露出来。 最近，[^19]推出了ObMan，这是一个包含手部抓取物体图像的大型数据集。ObMan数据集中的图像为合成图像，其中的抓取动作是通过机器人学算法生成的。更近期，[^76]提出了FreiHAND这一多视角RGB数据集，其中包含了手部与物体的交互数据。不过，该数据集的标注仅限于手部的3D姿态和形状。此外，[^76]采用人机协作的方式，在绿幕背景下通过多台RGB相机获取标注数据。相比之下，我们的方法是完全自动化的，即便在单台RGBD相机配置下也能运行，且对背景没有任何假设。我们数据集中的物体也比FreiHAND中的更大，因此场景更具挑战性，遮挡情况也更严重。如第6.1节所述，我们方法的标注精度与[^76]的方法相当。 如图1和表1所示，我们的HO-3D数据集是首个无需标记、能为真实图像同时提供3D手部关节和3D物体姿态标注的数据集，且在这些图像中手部与物体之间存在严重的相互遮挡现象。 #### 3. 3D标注方法 我们在下文描述了用于标注序列 $\mathcal{T} = \left\{ \left\{ ( \mathbf{I}_c^t, \mathbf{D}_c^t) \right\}_{c=1}^{N_C} \right\}_{i=1}^{N_F}$ 的方法，该序列由 $N_C \times N_F$ 台相机捕获，包含 $N_C$ 个 RGB-D 帧。该序列捕捉了手与物体进行交互的过程。每个 RGB-D 帧由彩色图像 $\mathbf{I}_c^t$ 和深度图 $\mathbf{D}_c^t$ 组成。 我们在第3.1节中定义了手部与物体的3D姿态，在第3.2节中给出了通用的代价函数。我们采用自动初始化姿态的方式，并按照第4.1节和第4.2节的描述分多个阶段优化代价函数。 #### 3.1. 手部与物体的3D姿态 我们的目标是估算序列中所有图像中手部与物体的3D姿态$\mathcal{P} = \{(\mathbf{p}_h^t, \mathbf{p}_o^t)\}_{t=1}^{N_F}$。我们采用MANO手部模型[^51]，并选用YCB-Video数据集中的物体[^70]作为对应模型，因为这些物体有可用的高质量3D模型。MANO手部姿态$\mathbf{p}_h^t \in \mathbb{R}^{51}$包含45个自由度（15个手指关节各3个自由度），再加上手腕关节的6个旋转和平移自由度。这15个手指关节与手腕关节共同构成一棵运动学树，其中手腕关节为首个父节点。除了姿态参数$\mathbf{p}_h^t$外，手部模型还有形状参数$\boldsymbol{\beta} \in \mathbb{R}^{10}$，这些参数对于特定的人而言是固定的；我们采用了类似[^58]的方法来估算这些参数。关于形状参数估算的更多细节可在补充材料中找到。物体姿态$\mathbf{p}_o^t \in \text{SE}(3)$包含6个用于表示全局旋转和平移的自由度。 ### 3.2. 代价函数 我们将手部与物体的姿态估计问题表述为一个能量最小化问题： $$ \hat{\mathcal{P}}=\arg\min_{\mathcal{P}}\sum_{t=1}^{N_{F}}\left(E_{\mathcal{D}}(\mathbf{p}_{\mathbf{h}}^{t},\mathbf{p}_{\mathbf{o}}^{t})+E_{\mathcal{C}}(\mathbf{p}_{\mathbf{h}}^{t},\mathbf{p}_{\mathbf{o}}^{t})\right), $$ 其中$E_{D}$和$E_{C}$分别代表数据项产生的能量和约束项产生的能量。我们对$E_{D}$的定义如下： $$ \begin{array}{r l r}&{}&{E_{\mathcal{D}}({\bf p}_{\mathrm{h}}^{t},{\bf p}_{\mathrm{o}}^{t})=\displaystyle\sum_{c=1}^{N_{C}}\left(\alpha E_{\mathrm{m a s k}}({\bf\Gamma}_{c}^{t},{\bf p}_{\mathrm{h}}^{t},{\bf p}_{\mathrm{o}}^{t})\right.+\left.\beta E_{\mathrm{d p t}}({\bf D}_{c}^{t},{\bf p}_{\mathrm{h}}^{t},{\bf p}_{\mathrm{o}}^{t})\right.+}\\ &{}&{\gamma E_{\mathrm{j2D}}({\bf\Gamma}_{c}^{t},{\bf p}_{\mathrm{h}}^{t})\Big)+\delta E_{\mathrm{3D}}(\{{\bf D}_{c}^{t}\}_{c=1\dots N_{C}},{\bf p}_{\mathrm{h}}^{t},{\bf p}_{\mathrm{o}}^{t}),}\end{array} $$ 其中$E_{\mathrm{mask}}(\cdot)$是轮廓差异项，$E_{\mathrm{dpt}}(\cdot)$是深度残差项，$E_{\mathrm{j2D}}(\cdot)$是手部关节位置的2D误差项，$E_{\mathrm{3D}}(\cdot)$是3D距离项。虽然最后这个项并非绝对必要，但我们发现它能显著加快收敛速度。$\alpha$、$\beta$、$\gamma$、$\delta$为对应的权重。 约束能量$E_{C}$的定义如下： $$ \begin{aligned}E_{\mathcal{C}}(\mathrm{p}_{\mathrm{h}}^{t},\mathrm{p}_{\mathrm{o}}^{t})&=\epsilon E_{\mathrm{joint}}(\mathrm{p}_{\mathrm{h}}^{t})+\zeta E_{\mathrm{phy}}(\mathrm{p}_{\mathrm{h}}^{t},\mathrm{p}_{\mathrm{o}}^{t})+\\&\quad\eta E_{\mathrm{tc}}(\mathrm{p}_{\mathrm{h}}^{t},\mathrm{p}_{\mathrm{o}}^{t},\mathrm{p}_{\mathrm{h}}^{t-1},\mathrm{p}_{\mathrm{o}}^{t-1},\mathrm{p}_{\mathrm{h}}^{t-2},\mathrm{p}_{\mathrm{o}}^{t-2}).\end{aligned} $$ 其中$E_{\mathrm{joint}}(\cdot)$表示对手部姿态的先验约束，用于防止出现不自然的姿态；$E_{\mathrm{phy}}(\cdot)$是物理合理性项，用于确保手部与物体不会发生相互穿透；$E_{\mathrm{tc}}(\cdot)$是时间一致性项。这些项分别由参数$\epsilon$、$\zeta$和$\eta$加权。 我们在下文详细阐述$E_{D}$和$E_{C}$中的各项。为简洁起见，除必要时外，我们省略了上述表述中的帧索引t。 轮廓差异项 $E_{mask}$。该$E_{mask}(\cdot)$项用于比较在当前估计姿态下渲染出的手部和物体模型的轮廓，以及它们的分割掩码。我们利用在合成叠加和覆盖于YCB物体上的手部图像上训练的DeepLabv3算法，从摄像头c拍摄的彩色图像I中获取手部与物体的分割结果$S_c(I)$ [^10]。关于这一步骤的更多细节详见补充材料。手部与物体模型会通过可微渲染器[^20]在相机平面上渲染，借此便能计算$E_{mask}$相对于姿态参数的导数。摄像头c中渲染出的手部和物体轮廓分别用$RS_c(p_h, p_o)$表示，轮廓差异的定义如下： $$ E_{\mathrm{m a s k}}(\mathrm{I}_{c},\mathrm{p}_{\mathrm{h}},\mathrm{p}_{\mathrm{o}})=\|\mathrm{R S}_{c}(\mathrm{p}_{\mathrm{h}},\mathrm{p}_{\mathrm{o}})-S(\mathrm{I}_{c})\|^{2}. $$ --- 深度残差项 $E_{dpt}$。深度残差项与分割差异项类似： $$ E_{\mathrm{d p t}}(\mathbf{D}_{c},\mathbf{p}_{\mathrm{h}},\mathbf{p}_{\mathrm{o}})=\mathrm{T u k e y}(\|\mathbf{R}\mathbf{D}_{c}(\mathbf{p}_{\mathrm{h}},\mathbf{p}_{\mathrm{o}})-\mathbf{D}_{c}\|), $$ 其中$RD_c(p_h, p_o)$表示在当前估计姿态$p_h$和$p_o$下手部和物体的深度渲染结果。Tukey函数是一种鲁棒性较强的估计器，它在接近0时类似于$\ell_2$损失函数，超过阈值后则保持恒定。该函数能有效应对手部和物体模型在尺寸、形状上的微小偏差，以及采集到的深度图中的噪声。由于我们采用了可微渲染器$E_{dpt}$来生成深度图，因此[^20]是可微的。 2D关节误差项 $E_{j2D}$。2D关节误差项的定义如下： $$ E_{\mathrm{j2D}}(\mathrm{I}_{c},\mathrm{p}_{\mathrm{h}})=\sum_{i=1}^{21}\mathrm{h}[i]\Big\|\mathrm{proj}_{c}(\mathrm{J}_{\mathrm{p}_{\mathrm{h}}}[i])-\mathrm{K}_{c}[i]\Big\|^{2}, $$ 其中 $J_{p_h}[i]$ 表示在姿态 $i^{th}$ 下的 $p_h$ 个 3D 手部关节位置，投影（proj）算子 $_c(\cdot)$ 将其投影到相机 c 上，$K_c[i]$ 是其预测的 2D 位置，$h[i]$ 是其置信度。$E_{j2D}(\cdot)$ 中的 21 个手部关节由 15 个手指关节、5 个指尖以及腕关节组成。 实际应用中，我们将热图最大值对应的位置视为$K_c[i]$，将最大值本身作为$h[i]$。为了预测这些热图，我们基于[^68]架构训练了一个CNN模型。训练数据来源于我们采用半自动方法创建的初始数据集[^18]，该数据集包含单个摄像头设置下15个序列共15,000帧图像。我们为每个序列的第一帧手动初始化抓取姿态和物体姿态，并要求操作者在优化过程中尽量保持抓取姿态的刚性，以简化配准过程。随后我们按照第4.2节所述流程进行单摄像头情况下的优化。优化完成后，我们通过缩放、旋转图像以及对图像进行增强来处理得到的数据集，同时加入了包含手部3D标注的Panoptic Studio数据集中的图像[^69]。 3D误差项$E_{3D}$。由于所有摄像头的深度信息已被$E_{dpt}$充分利用，因此该项并非绝对必要，但它能引导优化过程从较远位置就朝着最小值收敛，从而加快收敛速度。我们将RGB-D摄像头采集的深度图转换到同一参考坐标系后合并，得到点云P。关于点云重建的更多细节可在补充材料中查看。 我们利用每张相机图像中的分割掩码$P_o$，将P分割成物体点云$P_h$和手部点云$S_c(I)$。在优化的每次迭代中，对于物体点云中的每个点$P_o[j]$，我们会在物体网格上寻找最近的顶点$V_o[j^*]$；对于手部点云中的每个点$P_h[k]$，我们会在手部网格上寻找最近的顶点$V_h[k^*]$。随后定义$E_{3D}(P, p_h, p_o)$如下： $$ \sum_{j}\left\|\mathrm{P}_{\mathrm{o}}[j]-\mathrm{V}_{\mathrm{o}}[j^{*}]\right\|^{2}+\sum_{k}\left\|\mathrm{P}_{\mathrm{h}}[k]-\mathrm{V}_{\mathrm{h}}[k^{*}]\right\|^{2}. $$ 关节角度约束$E_{\text{joint}}$。该项对手的15个关节施加限制，以确保生成的姿态自然。MANO模型中采用轴角表示法对关节的三维旋转进行参数化，从而得到45个关节角度参数。使用MANO模型时的常见做法是在3D关节角的PCA空间中进行优化，并引入$\ell_2$正则化项[^4] [^76]来对姿态系数进行约束。然而实践中我们发现，在PCA空间中优化公式1时表达能力有限：我们数据集中的一些复杂抓取姿态无法在由相对简单的抓取姿态和空手姿势构建的PCA空间中被准确表达。因此，我们直接对关节角度进行优化，并为这45个关节参数分别设定自己的取值范围（具体取值范围请参见补充材料）。如同[^74]中所述，关节角度约束项$E_{\text{joint}}(\phi_h^t)$的定义如下： $$ \sum_{i=1}^{45}\max(\underline{a_{i}}-a[i],0)+\max(a[i]-\overline{a_{i}},0), $$ 其中$a[i]$表示姿态$i^{th}$对应的$p_{h}$关节角度参数，$\underline{a_{i}}$和$\overline{a_{i}}$分别对应其下限和上限。 物理合理性项$E_{phy}$。优化过程中，手部模型可能会穿透物体模型，而这在物理上是不可能发生的。为避免这种情况，我们添加了一个排斥项：一旦物体和手部相互穿透，该排斥项就会将它们推开。对于每个手部顶点$V_{h}[m]$，其穿透量$\Gamma[m]$的计算方式如下： $$ \begin{array}{r}{\Gamma[m]=\operatorname*{m a x}\bigl(-\mathbf{n}_{\mathrm{o}}\bigl(\mathbf{V}_{\mathrm{o}}\bigl[m^{*}\bigr]\bigr)^{T}\bigl(\mathbf{V}_{\mathrm{h}}[m]-\mathbf{V}_{\mathrm{o}}\bigl[m^{*}\bigr]\bigr),0\bigr),}\end{array} $$ 其中$V_o[m^*]$是距离手部顶点$V_h[m]$最近的物体上的顶点，$n_o(\cdot)$运算符用于计算该顶点的法向量。简单来说，穿透量是通过将连接手部顶点与其最近物体顶点的向量投影到物体顶点处的法向量上来估算的。物理合理性项的定义如下： $$ E_{\mathrm{p h y}}(\mathrm{p}_{\mathrm{h}}^{t},\mathrm{p}_{\mathrm{o}}^{t})=\sum_{m}\exp\left(w\Gamma[m]\right). $$ 实际使用中我们取w=5，并且仅选取手部的一小部分顶点来计算$E_{phy}$，以提高计算效率。 时间一致性项$E_{tc}$。前述各项都是独立应用于每一帧的。时间一致性项$E_{tc}$允许我们将各帧的姿态相互约束起来。 --- ![Image](images/09e71dd38de3ab5460583fbfb60362bbde7a84e985299981695119bbe3e51daa.jpg)
Figure 2: The different stages of the multi-camera and single camera setups. See Section 4 for more details.
适用于所有帧。我们对手部和物体的姿态均应用零阶和一阶运动模型： $$ \begin{aligned}&E_{\mathrm{tc}}(\mathrm{p}_{\mathrm{h}}^{t},\mathrm{p}_{\mathrm{o}}^{t},\mathrm{p}_{\mathrm{h}}^{t-1},\mathrm{p}_{\mathrm{o}}^{t-1},\mathrm{p}_{\mathrm{h}}^{t-2},\mathrm{p}_{\mathrm{o}}^{t-2})=\\&\|\Delta_{h}^{t}\|^{2}+\|\Delta_{o}^{t}\|^{2}+\|\Delta_{h}^{t}-\Delta_{h}^{t-1}\|^{2}+\|\Delta_{o}^{t}-\Delta_{o}^{t-1}\|^{2},\\ \end{aligned} $$ 其中$\Delta_{h}^{t} = p_{h}^{t} - p_{h}^{t-1}$和$\Delta_{o}^{t} = p_{o}^{t} - p_{o}^{t-1}$。由于我们会对序列中所有这些项的和进行优化，因此实际上就将所有姿态相互约束在一起。 #### 4. 优化 优化公式(1)是一项极具挑战性的任务，因为它是一个具有大量待估计参数的高度非凸问题。因此，我们按照图2所示分多个阶段进行优化。多摄像头场景和单摄像头场景下的优化阶段有所不同，下文将详细介绍。 #### 4.1. 多摄像头设置 初始化。在多摄像头设置中，我们获得第一帧中手部姿态的第一个估计值$\tilde{p}_{h}^{0}$，即$(t = 0)$，公式如下： $$ \tilde{\mathrm{p}}_{\mathrm{h}}^{0}=\arg\min_{\mathrm{p}_{\mathrm{h}}}\sum_{c=1}^{N_{C}}E_{\mathrm{j}2\mathrm{D}}(\mathrm{I}_{c}^{0},\mathrm{p}_{\mathrm{h}})+\nu E_{\mathrm{j o i n t}}(\mathrm{p}_{\mathrm{h}}). $$ 我们使用Dogleg优化器[^12]来执行此优化。该帧中物体姿态的第一个估计值$\tilde{p}_{o}^{0}$是通过使用[^47]获得的，该模型是通过将手合成地叠加在YCB物体上训练而成的，具体说明见第3.2节。 单帧关节姿态优化。随后，我们通过跟踪获得所有其他帧（$\tilde{p}_h^t$）的估计值$\tilde{p}_o^t$和$t = 1..N_F$。我们以$(E_{\mathcal{D}}(\mathbf{p}_h^t, \mathbf{p}_o^t) + E_{\mathcal{C}}(\mathbf{p}_h^t, \mathbf{p}_o^t)$和$\mathbf{p}_h^t$为变量来最小化$\mathbf{p}_o^t$，并以$\tilde{p}_h^{t-1}$和$\tilde{p}_o^{t-1}$作为初始值。 多帧关节姿态优化。最后，我们利用估计值$\mathbf{p}_h^t$和$\mathbf{p}_o^t$作为初始值，对所有帧同时针对$t = 0..N_F$和$\tilde{\mathbf{p}}_h^t$对公式(1)进行完整优化，涉及$\tilde{\mathbf{p}}_o^t$。由于内存限制，我们分批次优化公式(1)，而非按顺序处理所有帧。我们采用的批次大小为20帧，涉及$\alpha = 20$、$\beta = 20$、$\gamma = 5 \times 10^{-5}$、$\delta = 50$、$\epsilon = 100$、$\zeta = 50$和$\eta = 100$；优化时采用Adam优化器，学习率为0.01，迭代100次。 ### 4.2. 单摄像头设置 初始化。在单摄像头设置中，由于我们假设抓取姿态在序列中变化不大，因此最初假定它在整个序列中保持不变。为了应对实际中出现的细微变化，我们在优化的后期放宽了这一假设。由此我们获得手部姿态的初始估计值$\tilde{p}_{h}^{t}$，公式如下： $$ \{\tilde{\mathbf{p}}_{\mathrm{h}}^{t}\}_{t}=\arg\min_{\{\mathbf{p}_{\mathrm{h}}^{t}\}_{t}}\sum_{t}E_{\mathrm{j}2\mathrm{D}}(\mathbf{I}^{t},\mathbf{p}_{\mathrm{h}}^{t})+\nu E_{\mathrm{j o i n t}}(\mathbf{p}_{\mathrm{h}}^{t}), $$ 其中关节角度参数被约束为在所有帧上保持相同，只有腕关节的旋转和平移参数可以不同。在实际应用中，为了节省时间，我们仅对帧的一个随机子集 $\Omega$ 执行此优化。我们将 $\nu = 50$ 的大小 $\Omega$ 设为 20，并使用 Dogleg 优化器 [^12]。对于 $\tilde{p}_0^t$ 中物体姿态的初步估计 $\Omega$，其获取方式与多相机设置相同。 根据$\tilde{p}_h^t$和$\tilde{p}_o^t$，我们可以计算出物体坐标系下的抓取姿态$\tilde{p}_{h:o}^t$，此时假定该姿态保持不变。恒定抓取姿态的初始估计值$\tilde{p}_{h:o}$取$\{\tilde{p}_{h:o}^t\}_{t\in\Omega}$的平均值。 抓取姿态估计。在固定抓取姿态的假设下，我们获得了更精确的抓取姿态估计值$\hat{p}_{h:o}$和物体姿态$\hat{p}_{o}^{t}$。 --- 假设如下。 $$ \begin{aligned}\hat{\mathrm{p}}_{\mathrm{h:o}},\{\hat{\mathrm{p}}_{\mathrm{o}}^{t}\}_{t\in\Omega}=\arg\min_{\mathrm{p}_{\mathrm{h:o}},\{\mathrm{p}_{\mathrm{o}}^{t}\}_{t\in\Omega}}\sum_{t\in\Omega}E_{\mathcal{D}}(f_{\mathrm{p}_{\mathrm{o}}^{t}}(\mathrm{p}_{\mathrm{h:o}}),\mathrm{p}_{\mathrm{o}}^{t})+\\ \zeta E_{\mathrm{phy}}(f_{\mathrm{p}_{\mathrm{o}}^{t}}(\mathrm{p}_{\mathrm{h:o}}),\mathrm{p}_{\mathrm{o}}^{t})+\epsilon E_{\mathrm{joint}}(\mathrm{p}_{\mathrm{h:o}}),\end{aligned} $$ 针对$p_{\mathrm{h:o}}$中的帧，以$p_{\mathrm{o}}^{t}$和$\Omega$为变量进行优化，并以$\tilde{p}_{\mathrm{h:o}}$和$\tilde{p}_{\mathrm{o}}^{t}$作为初始值。$f_{\mathrm{p}_{\mathrm{o}}^{t}}(\cdot)$会根据物体姿态$p_{\mathrm{o}}^{t}$将抓取姿态转换为世界坐标系下的手部姿态。此优化过程考虑了手与物体之间的相互遮挡情况。 物体姿态估计。在获得良好的抓取姿态估计$\hat{p}_{h:o}$后，我们通过独立地对每一帧最小化$\hat{p}_{o}^{t}$关于$E_{\mathcal{D}}(f_{p_{o}^{t}}(\hat{p}_{h:o}), p_{o}^{t})$的值，从而得到所有帧的物体姿态估计$p_{o}^{t}$。我们使用$\hat{p}_{o}^{t-1}$来初始化第t帧上关于$p_{o}^{t}$的优化过程，不过对于$\hat{p}_{o}^{0}$而言，采用的是$\tilde{p}_{o}^{0}$。需要注意的是，在此阶段并不对手部姿态进行优化。 多帧联合手+物体姿态优化。在这一最终阶段，我们允许抓取姿态在多个帧间发生变化，并引入时间约束。因此，我们利用此前阶段估算出的姿态参数$\{(p_{\mathrm{h}}^{t}, p_{\mathrm{o}}^{t})\}_{t=1}^{N_{F}}$、$\hat{p}_{\mathrm{o}}^{t}$作为$\hat{p}_{\mathrm{h}}^{t} = f_{\hat{p}_{\mathrm{o}}^{t}}(\hat{p}_{\mathrm{h:o}})$和$p_{\mathrm{o}}^{t}$的初始值，同时对所有帧同步优化公式(1)中关于$p_{\mathrm{h}}^{t}$的部分。 ### 5. 基于单目RGB图像的3D手部姿态估计 为了在我们提出的数据集上建立单张RGB图像手部姿态预测的基准，我们采用了基于卷积姿态机（CPM）[^68]的CNN架构来预测2D手部关节位置$\{k_i\}_{i=1..21}$。此外，我们还在CPM末尾增加了一个额外阶段，并将最后一层替换为全连接层，以此来预测相对于根节点的手部关节方向$\{d_i\}_{i=1..20}$。有关该架构的更多细节可在补充材料中找到。随后，通过将MANO模型拟合到这些预测结果上，便可得到手部的3D关节位置和形状参数。这一拟合过程的损失函数为： $$ \sum_{i=1}^{21}\|\hat{\mathrm{k}}_{i}-\mathrm{k}_{i}\|^{2}+\rho\sum_{i=1}^{20}\left(1-\hat{\mathrm{d}}_{i}\cdot\mathrm{d}_{i}\right)+\sigma E_{\mathrm{j o i n t}}(\mathrm{p}_{\mathrm{h}})+\tau\|\boldsymbol{\beta}\|^{2}, $$ 其中$\hat{\mathrm{d}}_i = \frac{\mathrm{p}_{\mathrm{h}}[i+1] - \mathrm{p}_{\mathrm{h}}[1]}{\|\mathrm{p}_{\mathrm{h}}[i+1] - \mathrm{p}_{\mathrm{h}}[1]\|}$、$\hat{k}_i = \mathrm{proj}(\mathrm{J}_{\mathrm{p}_{\mathrm{h}}}[i])$和$E_{\mathrm{joint}}$均在公式(8)中定义。我们使用的参数为$\rho = 10$、$\sigma = 5$和$\tau = 1$。 #### 6. HO-3D基准测试 在本节中，我们评估了所提出的标注方法以及从单张彩色图像中预测手+物体交互场景下手部姿态的基准模型。我们利用3D姿态标注方法标注了68个序列，共计77,558帧，涉及10名不同用户操作YCB数据集中10种不同物体的场景。彩色相机和深度相机的图像尺寸均为$640 \times 480$像素，我们的多相机系统使用了5台同步相机。这些相机同步精度达到了5毫秒。 #### 6.1. 标注方法的评估 为了验证我们标注方法的准确性，我们借助5台相机生成的综合点云，手动标注了某个序列中随机选取的帧中的3D关节3D位置。随后，我们将这些位置与利用多相机系统及该方法（详见4.1节）预测出的位置进行比较。 如表2最后一列所示，我们的方法平均关节误差精度低于8毫米，曲线下面积（AUC）指标达到0.79。这一指标与近期FreiHAND数据集报告的结果[^76]（AUC=0.791）相当。需要注意的是，由于物体体积较大且未使用绿幕，我们数据集中的遮挡情况更为严重。 为了分析方程(1)中不同项的影响，我们仅启用其中的一部分项来对方程(1)进行优化，并将结果记录在表2中。虽然单独使用$E_{silh}$项和$E_{dpt}$项无法提供良好的姿态估计，但二者结合后能得到更精确的估计，因为这会使损失函数中的局部极小值更少。$E_{3D}$项对估计结果的提升作用较小，但能加快收敛速度。尽管物理合理性约束项$E_{phy}$对改善姿态估计并无帮助，但它能使抓取动作更自然。最后两列展示了在考虑所有项时，基于多帧的联合优化与基于单帧的优化所产生的效果差异。基于多帧和多摄像头的全部项联合优化可使精度提高约15%。 单摄像头标注方法的精度是通过将多摄像头方法得到的标注结果视为给定序列的基准真值来计算的。具体来说，对于包含1000帧的序列，我们计算单摄像头设置与多摄像头设置下得到的手+物体网格顶点之间的平均差异。此外，我们还计算了单摄像头设置下每个阶段的精度。结果见表3。这两种方法得到的估计姿态具有一致性，手和物体的平均网格误差分别为0.77厘米与0.45厘米。最终的精细化阶段使精度提升了15%。 ### 6.2. 手部姿态预测方法的评估 我们在HO-3D数据集的66,034帧图像上训练了第5节中介绍的单帧手部姿态预测方法。我们在由不同视角拍摄的13个序列、共计11,524帧组成的测试集上对该方法进行了评估。测试集序列中还包含了训练集中未出现的受试者和物体。 ---
TermsInitializationSingle-frame OptimizationMulti-frame Opt. (Eq. 1)
$E_{silh}$$E_{dpt}$$E_{silh} + E_{dpt}$$E_{silh} + E_{dpt} + E_{3D}$$E_{silh} + E_{dpt} + E_{3D} + E_{phy}$$E_{silh} + E_{dpt} + E_{3D} + E_{phy} + E_{3D}$$ E_{silh} + E_{dpt} + E_{3D} + E_{phy} + E_{3
Table 2: Evaluation of the accuracy for the multi-camera setup. We report the average hand-joint errors (in cm) for different combinations of the terms in Eq. (1). The final error is comparable to the recent FreiHAND dataset [^76].
StagesInit.Grasp Pose Est.Object Pose Est.Refinement
Hand5.403.600.910.77
Object4.024.020.520.45
Table 3: Evaluation of the accuracy for the single-camera setup. The accuracy (average mesh error in cm) is measured at each stage of optimization by comparing with the annotations from multi-camera setup. The results show that the annotation quality of our single camera method is similar to that of the multi-camera setup.
MethodMesh Error $\downarrow$F@5mm $\uparrow$F@15mm $\uparrow$Joint Error $\downarrow$
Joints2D1.140.490.933.14
Joints2D + Dir. Vec.1.060.510.943.04
[^19]1.100.460.933.18
Table 4: Evaluation of different methods for single frame hand pose prediction. The Mesh Error (in cm) and F-score are obtained after aligning the predicted meshes with ground truth meshes. The Mean joint error (in cm) is obtained after aligning the position of the root joint and overall scale with the ground truth. Hand pose prediction using joint direction predictions along with 2D joint predictions provides better accuracy than directly predicting the MANO parameters as in [^19].
训练集中并未包含这些受试者和物体。 我们采用了以往研究中的三种不同指标：首先将根关节位置和全局尺度与基准真值对齐后的平均关节位置误差[^75]；用于衡量预测网格顶点与基准真值网格顶点之间平均欧几里得距离的网格误差[^76]；以及F分数[^76]，它是在给定距离阈值下两个网格之间召回率与精确度的调和平均值。网格误差和F分数是在使用Procrustes对齐算法将预测网格与基准真值网格对齐后得到的，因此无法反映腕关节旋转的精度。而平均关节误差则考虑了腕关节位置，因为在评估前并未对三维点进行旋转处理。 为了理解关节方向预测对整体精度的影响，我们通过去掉式(14)中的第二项来评估MANO拟合的结果。我们还将我们的结果与[^19]的手部分支进行了比较，该分支是一个非常近期的工作，直接从单张RGB图像预测MANO姿态和形状参数，并在我们的数据集上重新训练。如表4所示，联合预测关节方向和2D关节位置显著提高了手部姿态估计的精度。还可以推断，预测2D手部关节位置并拟合MANO ![Image](images/32c66280646aa41a98a8988ba641c1f89f1519784444d0e75f630c6586a591a4.jpg)
Figure 3: Qualitative results of our single color image hand pose estimation method. It can recover hand poses even when the hand is heavily occluded by objects and in cluttered scenes. The last row shows it can handle unseen objects.
我们的模型在处理这些情况时比直接的 MANO 参数预测更准确，参见 [^19]。定性结果如图 3 所示。最后一行表明，即使在与未知物体交互时，我们的方法也能稳健地预测手部姿态。 ### 7. 结论 我们提出了一种全自动方法，利用时间一致性来标注手操纵物体图像中的3D姿态，即便存在较大遮挡也能准确标注。我们还推出了首个用于评估3D手+物体姿态估计性能的无标记彩色图像数据集。为了证明该数据集的实用性，我们提出了一种从单张彩色图像预测手部3D姿态的方法。另一个未来应用方向是从单个RGB帧中联合估计手+物体的姿态。 由于高质量的手部分割结果不足（正如第3节所述，我们不得不使用合成数据集），有时会影响到标注精度。若能改进这些分割结果，和/或引入类似[^54]、[^63]中所采用的引力项和物理约束，就能进一步提升我们的标注质量。 ## 8. 致谢 本研究得到了由高通公司部分资助的语义3D计算机视觉克里斯蒂安·多普勒实验室的支持。 --- ### HOnnotate：一种手与物体姿态的3D标注方法补充材料 Shreyas Hampali $^{1}$、Mahdi Rad $^{1}$、Markus Oberweger $^{1}$ 以及 Vincent Lepetit $^{2,1}$ $^{1}$奥地利格拉茨技术大学计算机图形与视觉研究所 $^{2}$法国马恩拉瓦莱国立桥路学校、古斯塔夫·埃菲尔大学、CNRS下属LIGM实验室 {hampali, rad, oberweger, lepetit}@icg.tugraz.at，项目页面： #### S.1. 基于单张彩色图像的手部姿态估计 图4展示了我们从单帧图像中估计手部姿态的架构。给定一张手部位于图像窗口中央的图像后，我们首先利用VGG的卷积层提取特征[^53]，随后类似[^9]的做法，通过多阶段CNN预测2D手部关节位置的热图，最终得到相对于腕关节的关节方向向量。手部检测可按照S.6节所述的方法，通过分割来完成。 提前知晓物体信息有助于提升手部与物体交互时3D手部姿态的估计性能，但在实际场景中，手部可以操纵任意物体。我们测试了基于本研究所用标注数据训练的手部姿态估计器，在手部操纵标注图像中未出现的物体的序列上进行测试。如图8所示，该姿态估计器在这些序列上表现良好。 ##### S.2. 针对未见物体交互场景的手部姿态估计 ##### S.3. 手部形状估计 我们为HO-3D数据集中的每个操作者估算了MANO手部形状参数$\beta \in \mathbb{R}^{10}$。这些形状参数是从仅包含手部姿态的序列$\Phi$中，采用类似[^58]的方法分两步估算得出的。更确切地说，首先利用平均姿态$p_h^t$作为$\beta_{mean}$，为序列中每一帧t估算手部姿态$\hat{p}_h^t = \arg\min_{p_h} E_H(p_h, \beta_{mean})$，其中， $$ \begin{aligned}\boldsymbol{E}_{H}(p_{h},\beta_{mean})=&\boldsymbol{E}_{\mathcal{D}}(p_{h},\beta_{mean})+\epsilon\boldsymbol{E}_{joint}(p_{h})+\\&\eta\boldsymbol{E}_{tc}(p_{h},p_{h}^{t-1},p_{h}^{t-2}).\end{aligned} $$ $E_{\mathcal{D}}(p_h, \beta_{mean})$代表论文公式2中定义的数据项，此时手部是以姿态参数$p_h$渲染而成的。
JointIndexMiddlePinkyRingThumb
MCP(0.00, 0.45)(0.00, 0.00)(-1.50, -0.20)(-0.50, -0.40)(0.00, 2.00)
(-0.15, 0.20)(-0.15, 0.15)(-0.15, 0.60)(-0.25, 0.10)(-0.83, 0.66)
(0.10, 1.80)(0.10, 2.00)(-0.10, 1.60)(0.10, 1.80)(0.00, 0.50)
PIP(-0.30, 0.20)(-0.50, -0.20)(0.00, 0.00)(-0.40, -0.20)(-0.15, 1.60)
(0.00, 0.00)(0.00, 0.00)(-0.50, 0.60)(0.00, 0.00)(0.00, 0.00)
(0.00, 0.20)(0.00, 2.00)(0.00, 2.00)(0.00, 2.00)(0.00, 0.50)
DIP(0.00, 0.00)(0.00, 0.00)(0.00, 0.00)(0.00, 0.00)(0.00, 0.00)
(0.00, 0.00)(0.00, 0.00)(0.00, 0.00)(0.00, 0.00)(-0.50, 0.00)
(0.00, 1.25)(0.00, 1.25)(0.00, 1.25)(0.00, 1.25)(-1.57, 1.08)
Table 5: Empirically derived minimum and maximum values for the joint angle parameters used in our implementation.
形状参数 $\beta_{mean}$。论文第3.2节对 $E_{joint}$ 和 $E_{tc}$ 进行了说明。在每一帧中，姿态参数会以 $p_{h}^{t-1}$ 进行初始化。随后即可得到个性化的手部形状参数， $$ \beta^{*}=\arg\min_{\beta}\sum_{t\in\Phi}\min_{p_{h}^{t}}E_{H}(p_{h}^{t},\beta), $$ 其中姿态参数会采用第一步中获得的数值 $(\hat{p}_{h}^{t})$ 进行初始化。 ##### S.4. 关节角度约束 论文公式(8)中所用的关节角度参数的最大值和最小值详见表5。 ##### S.5. 多摄像头生成的点云 论文第3.2节中的 $E_{3D}$ 项使用了所有RGB-D摄像头生成的综合点云P。设 $P_c$ 表示摄像头c对应的点云，$M_{c_1,c_2}$ 表示两个摄像头 $c_1$ 与 $c_2$ 之间的相对姿态。那么整合后的点云P可表示为， $$ P=\left[P_{0},M_{c_{1},c_{0}}\cdot P_{1},M_{c_{2},c_{0}}\cdot P_{2},...,M_{c_{N},c_{0}}\cdot P_{N}\right], $$ 其中 $[\cdot,\cdot]$ 表示点云的拼接操作。 --- ![Image](images/6669bf48473edcec096e32182d477dda525e388f69d84b38e4e626b22ff05d68.jpg)
Figure 4: Architecture of our hand pose estimator from a single color image. Given an input image of hand centered in the image, we extract the features using the convolutional layers of VGG [^53] (Conv1_1 to Conv4_4). Similarly to [^9], we then predict heatmaps for the joint locations in multi-stages. The architecture for the different stages are all the same. C denotes a convolutional layer with the number of filters and the filter size inscribed; FC, a fully-connected layer with the number of neurons; P and AP denote max-pooling and average pooling with their sizes, respectively.
![Image](images/52dd7a33009486665945a15c600eaa08b9cbe9fec430a164b0e91611e8decc29.jpg)
Figure 5: Synthetic training images used for training the hand-object segmentation network.
![Image](images/171139bda67c3cd6ffa8a05bfd1c8e50ba902d60c8acb319e8b44fb8444baf79.jpg)
Figure 6: Example of hand and object segmentation obtained with DeepLabV3. Left: input image; Right: hand (green) and object (purple) segmentation.
##### S.6. 手-物体分割网络 手部与物体的分割图是通过在合成图像上训练的DeepLabV3 [^10] 网络生成的，这些合成图像是将手部图像随机叠加或置于物体图像之上，且位置和尺度各不相同。我们采用了 [^1] 提供的物体掩码。分割出的手部图像是通过RGB-D摄像头利用简单的深度阈值法获取的。我们还使用了RHD数据集中的额外合成手部图像 [^75]。训练数据中的几张示例图像如图5所示。我们使用了包含增强数据的10万张训练图像。图6展示了使用训练好的DeepLabV3网络对手部与物体进行分割的效果。 ##### S.7. 自动初始化 ![Image](images/3364b5f25f0b4e8c5e54fef5ba9e67a12fea2ffab4578ffdd145d4912f3a8b95.jpg)
Figure 7: Accuracy of keypoint prediction, described in Section 3.2 of the paper when trained with PAN [^22] dataset alone and PAN + our annotations. The accuracy is measured in percentage of correct 2D keypoints given a threshold. Only 15,000 images from our HO-3D dataset are used in training. Due to the presence of object occlusions, a network trained on hands-only dataset is less accurate in predicting keypoints when compared with a network trained with hand+object data.
如论文第4.1节所述，基于卷积姿态机 [^68] 的关键点预测网络用于获取手部姿态的初始值。该网络是用我们最初收集的包含1.5万张图像的手部+物体数据集以及仅含手部的PAN [^22] 数据集中的图像共同训练的。图7对比了仅用手部数据集和用手部+物体数据集训练时，网络在手势-物体交互场景中预测关键点的准确性。我们最初的HO-3D数据集有助于获得更精准的关键点预测网络，从而实现更好的初始化效果。 --- ### S.8. 数据集详情 我们标注了10名不同手型参与者的68个手势-物体交互序列，共77,558帧。平均每个序列包含1200帧。其中16个序列是在单摄像头下采集并标注的，52个序列则是在多摄像头环境下采集的。 手势+物体。参与者需执行与物体相关的动作。在多摄像头环境下，同一序列中不同帧间的抓取姿态会有所变化，而在单摄像头环境下则基本保持固定。 参与者。参与者年龄在20至40岁之间，其中7名为男性，3名为女性。标注过程中共考虑了10种不同的手型。 物体。我们旨在从YCB数据集中选取10种日常生活中常用的不同物体[^70]。如图11所示，这些物体的尺寸各异：有的体积较大（如漂白剂），会导致手部被大量遮挡；有的则难以抓取和操控（如剪刀）。而现有的人手与物体数据集并不包含这类物体。 多摄像头设置。我们的多摄像头系统采用了5台经过校准的RGB-D摄像头，它们被安置在不同的角度和位置。这些摄像头之间的同步精度约为5毫秒。实验场景内物体繁多，且不同场景的背景也各不相同。 图9和图10展示了我们提出的数据集HO-3D中，人手与物体对应的3D标注帧示例。 ### 参考文献 [^1]: YCB Benchmarks Object and Model Set. . 2, 10 [^2]: Luca Ballan, Aparna Taneja, Jrgen Gall, Luc Van Gool, and Marc Pollefeys. Motion capture of hands in action using discriminative salient points. In European Conference on Computer Vision (ECCV), pages 640–653, Firenze, October 2012. 3 [^3]: Sven Bambach, Stefan Lee, David J. Crandall, and Chen Yu. Lending a Hand: Detecting Hands and Recognizing Activities in Complex Egocentric Interactions. In The IEEE International Conference on Computer Vision (ICCV), pages 1949–1957, 2015. 3 [^4]: Adnane Boukhayma, Rodrigo de Bem, and Philip HS Torr. 3d hand shape and pose from images in the wild. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 10843–10852, 2019. 5 [^5]: Anders Glent Buch, Lilita Kiforenko, and Dirk Kraft. Rotational subgroup voting and pose clustering for robust 3d object recognition. In The IEEE International Conference On Computer Vision (ICCV), pages 4137–4145, United States, 2017. 2 [^6]: Ian M. Bullock, Thomas Feix, and Aaron M. Dollar. The Yale Human Grasping Dataset: Grasp, Object, and Task Data in Household and Machine Shop Environments. The International Journal of Robotics Research, 34(3):251–255, 2015. 3 [^7]: Minjie Cai, Kris M. Kitani, and Yoichi Sato. A Scalable Approach for Understanding the Visual Structures of Hand Grasps. In The IEEE International Conference on Robotics and Automation (ICRA), 2015. 3 [^8]: Qixin Cao and Haoruo Zhang. Combined Holistic and Local Patches for Recovering 6D Object Pose. In The IEEE International Conference on Computer Vision (ICCV), pages 2219–2227, 2017. 2 [^9]: Z. Cao, T. Simon, S.-E. Wei, and Y. Sheikh. Realtime Multi-Person 2D Pose Estimation Using Part Affinity Fields. 2017. 9, 10 [^10]: Liang-Chieh Chen, George Papandreou, Florian Schroff, and Hartwig Adam. Rethinking Atrous Convolution for Semantic Image Segmentation. CoRR, abs/1706.05587, 2017. 4, 10 [^11]: Chiho Choi, Sang Ho Yoon, Chin-Ning Chen, and Karthik Ramani. Robust Hand Pose Estimation During the Interaction with an Unknown Object. In The IEEE International Conference on Computer Vision (ICCV), pages 3142–3151, 2017. 3 [^12]: Andrew R. Conn, Nicholas I. M. Gould, and Philippe L. Toint. Trust-Region Methods. SIAM, 2000. 6 [^13]: Martin de La Gorce, David J. Fleet, and Nikos Paragios. Model-Based 3D Hand Pose Estimation from Monocular Video. IEEE Trans. Pattern Anal. Mach. Intell.(PAMI), 33(9):1793–1805, 2011. 2 [^14]: Alireza Fathi, Xiaofeng Ren, and James M. Rehg. Learning to Recognize Objects in Egocentric Activities. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 3281–3288, 2011. 3 [^15]: Guillermo Garcia-Hernando, Shanxin Yuan, Seungryul Baek, and Tae-Kyun Kim. First-Person Hand Action Benchmark with RGB-D Videos and 3D Hand Pose Annotations. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 409–419, 2018. 1, 2, 3, 4 [^16]: Liuhao Ge, Yujun Cai, Junwu Weng, and Junsong Yuan. Hand PointNet: 3D Hand Pose Estimation Using Point Sets. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 8417–8426, 2018. 2 [^17]: Duncan Goudie and Aphrodite Galata. 3D Hand-Object Pose Estimation from Depth with Convolutional Neural Networks. In IEEE International Conference on Automatic Face & Gesture Recognition, 2017. 3 [^18]: Shreyas Hampali, Markus Oberweger, Mahdi Rad, and Vincent Lepetit. HO-3D: a Multi-User, Multi-Object Dataset for Joint 3D Hand-Object Pose Estimation. CoRR, abs/1907.01481, 2019. 5 ## [^19]: Yana Hasson, Güil Varol, Dimitrios Tzionas, Igor Klevatykh, Michael J. Black, Ivan Laptev, and Cordelia Schmid --- ![Image](images/23d3b54c82b20bf2133d050b738979367a1c3a63e6aea49aa07388806d9f5a41.jpg) ![Image](images/aa9495dc7ccb727e4031f7886dc215908b87762495155b8017b7f8fe5398cdba.jpg) ![Image](images/800676b5e1073d976256187e1e49326536d0a0ac4b531c53c8027a904ec16567.jpg) ![Image](images/f36272c16f6c56a41f5c71e50c9f6542a0376fd0fb2b44f565812769a9e7306f.jpg) ![Image](images/d1803e22d3fdaadefb067dcb6c0786348977c40389815ce2fb6a6ee5f8227b7c.jpg) ![Image](images/2c39ef46ce57cf3df3328598a95d0f3ad2b1772911214fbe80598d759af94146.jpg) ![Image](images/61941b300cf0292d5385f220f3c52ebc9a23b12035e7988956eb74024169f8c2.jpg) ![Image](images/b1a6f855102a3e04467f7c9d8b286c5a274998b7958fbbf04335ecc6842959cf.jpg) ![Image](images/e1f7d915e377502a31ebe9daacea28f51d9c3632a9780248561d6da3dc944708.jpg) ![Image](images/f2afdf272ccb759df6a6b4b0c10ce5a47247c7c75b87bdaba22f63c057a086cc.jpg) ![Image](images/48d3feece1cad0a502559f7eaac6c778475d67464775cc700c55451a3452d747.jpg) ![Image](images/1d33b6dec83e71860ec9a8f3680cb1025e1ada42fafb72645c465a1c880423b0.jpg) ![Image](images/ef720f7e5222d329f8da89e89063f977e49c64fff51677a9e118411f345ae88e.jpg) ![Image](images/e52adb7f32e915e2daeff25a5b76503494ad94b2dc10e21c12f028c2fdf673cf.jpg) ![Image](images/1e18559154e363784ea52b76c042e85c1ce85999fd38544732f60ba2bfdb5421.jpg) ![Image](images/1689b738f3cf9ccbba05a36bfc4a680e91c08ae88f434da766d13b95c832be20.jpg) ![Image](images/f69c992b940c6fb7344868794ef41dd043d4d22f70a26a8b237245776d47a171.jpg) ![Image](images/3bb2a156a650178bd8373c9885412dd8fb5b886625d3073208a2ccbf4106a0eb.jpg) ![Image](images/e2a7445a589b21c7ba5eb28cf2b334c8238894c62f47c793b257a16083393319.jpg) ![Image](images/2f362a94a2e293915bd62c907859c05b0f1251593f0edf6a57878c31ae675bc6.jpg) ![Image](images/2dd3d7b88ed9299b3413b96d0ee3498f05c7f41136d008e18bbad48157798a73.jpg) ![Image](images/500a06221638539e69c4c2a9182826f630628215208dd2c2c126555da4c669ef.jpg) ![Image](images/f563360e7f60f619ead55af09fcdbe3c9c49925096fa9017fdb19d2c997cb1f7.jpg) ![Image](images/7494249841abd5cfafc948fc1ce5eb67ea200bc41029c9ae8367081f0a0e37c0.jpg) ![Image](images/2a229cb622827fbc2461efd7b99eb691d86a085a84da2bd55895202e9b89c1c6.jpg) ![Image](images/79a5bff5ee2f13289dfe64c95acf56166ec5e7b9819a78ac9c7d2eb17bd84c60.jpg) ![Image](images/1c433c807618687e79320f3f400c9d505d02533bf1ddedde4c604944fc4ee05d.jpg) ![Image](images/38f14fb6f72634e26692005c396b5bc90ce46e05ee544e53be835a0f0942caa3.jpg)
Figure 8: Qualitative results of 3D hand pose estimation of hand manipulating unseen objects. Our pose estimator trained on the HO-3D dataset is still able to predict accurate 3D poses when interacting with new objects.
--- ![Image](images/cf8026b16a076f15485409a1d6025af89c7e1788b10c4ef6ac4b3cca245b64ff.jpg) ![Image](images/4e1f659a6391d82435efaf87824231a40bc72c250e32fa5d0f876fb640b976ee.jpg) ![Image](images/4035755217b9e51e97d7fe2c2fd71eb9a3e6ea448a06faa96737f72ff8eca51c.jpg) ![Image](images/72f9725454e57ca7c7e3c794cd25b7f5f7c2ea176d95685e2ea0a78e0ed10fc1.jpg) ![Image](images/859dccc3b5b7f9c01fb3236e4f5b48d6e9ca12c2f8b7d305a5c999c89daf1fb7.jpg) ![Image](images/d58287638659759b59e515acbe07b2743372d26f487ee431d8046dc0f4532cc2.jpg) ![Image](images/506bd73090cc599bf597b2302ddbf45741ad08c340e777b682a6cc00513c9b67.jpg) ![Image](images/505483dd88619a47bbafcb33d015e64e514950523c54a23772678fb6f6480314.jpg) ![Image](images/3360d99efddc743a569ad6eb3c28ff3b44b974f71528671514285456678413fc.jpg) ![Image](images/605cb92c33d50935f03ecd9ed144808c7bcd2560a4b600f6b0760be1e3e9ed8c.jpg) ![Image](images/42b2f584ae2f7fd909edc2fcc4357b7893e46f3f1f291d674e1d13229f972fb4.jpg) ![Image](images/de9351681fe1070c764b8bacdfaf837e8d0ea02ce3ea6359433b84178b083b1d.jpg) ![Image](images/7c941f69f395257d103b4a252db00d2b88ff422e2477cfe400b18b6e23d668d6.jpg) ![Image](images/04175efab83ff007235d5397baa2324d649cd7206d27632cbf36041b642afbe3.jpg) ![Image](images/17e5c846219f52ac2d51d197bcc86a596ec1e1396010d7a52034aa45be47c82e.jpg)
Figure 9: Some examples of the 3D annotated frames for both hand and object from our proposed dataset, HO-3D.
--- ![Image](images/ad095a4ccd6cda166bb75cf6d593718f8d93dc5df4c4763e1e14bf667d41fb34.jpg)
Figure 10: Some examples of the 3D annotated frames for both hand and object from our proposed dataset, HO-3D.
--- ![Image](images/b629ae4cdd7ef2b2b736a211cd793a784e0f9f411aae13a634829eac139b8371.jpg) ![Image](images/7d65c34441d5a22b73558e62197f419752bad93dac307edf9b0fdb091489b920.jpg) ![Image](images/b31db982b0a74aaa521f687d9cedb02ebfee72e49f3594c7173d5a2472f245b2.jpg) ![Image](images/e7e4233fe8c6ba580a533f7e7bdff4ece9da1c71d7c1f0a54b88a13cffec17a2.jpg) ![Image](images/c33763b68382c839f23c26b71cc37dcb465ac33da4ceae19c32173b5ccc902ed.jpg)
Figure 11: 10 objects of the YCB dataset [^70] that we use for our dataset HO-3D.
《学习人手与被操控物体的联合重建》。载于IEEE计算机视觉与模式识别会议（CVPR），第11807–11816页，2019年。1, 2, 3, 4, 8 [^20]: Paul Henderson and Vittorio Ferrari. Learning Single-Image 3D Reconstruction by Generative Modelling of Shape, Pose and Shading. International Journal of Computer Vision (IJCV), pages 1573–1405, 2019. 4, 5 [^21]: Yinlin Hu, Joachim Hugonot, Pascal Fua, and Mathieu Salzmann. Segmentation-Driven 6d Object Pose Estimation. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 3385–3394, 2019. 2 [^22]: Hanbyul Joo, Tomas Simon, and Yaser Sheikh. Total Capture: A 3D Deformation Model for Tracking Faces, Hands, and Bodies. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 8320–8329, 2018. 3, 4, 10 [^23]: Wadim Kehl, Fausto Milletari, Federico Tombari, Slobodan Ilic, and Nassir Navab. Deep Learning of Local RGB-D Patches for 3D Object Detection and 6D Pose Estimation. In European Conference on Computer Vision (ECCV), pages 205–220, 2016. 2 [^24]: Cem Keskin, Furkan Kiraç, Yunus Emre Kara, and Lale Akarun. Hand Pose Estimation and Hand Shape Classification Using Multi-Layered Randomized Decision Forests. In European Conference on Computer Vision (ECCV), pages 852–863, 2012. 2 [^25]: Diederik P. Kingma and Jimmy Ba. Adam: A Method for Stochastic Optimization. In The International Conference on Learning Representations (ICLR), 2015. 2 [^26]: Mia Kokic, Danica Kragic, and Jeannette Bohg. Learning to Estimate Pose and Shape of Hand-Held Objects from RGB Images. In The IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pages 3980–3987, 112019. 3 [^27]: Nikolaos Kyriazis and Antonis A. Argyros. Physically Plau-sible 3D Scene Tracking: The Single Actor Hypothesis. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2013. 1, 3 [^28]: Nikolaos Kyriazis and Antonis A. Argyros. Scalable 3D Tracking of Multiple Interacting Objects. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2014. 3 [^29]: Stan Melax, Leonid Keselman, and Sterling Orsten. Dynamics Based 3D Skeletal Hand Tracking. In Proceedings of Graphics Interface, 2013. 2 [^30]: Andrew T. Miller and Peter K. Allen. Graspit! a Versatile Simulator for Robotic Grasping. Robotics Automation Magazine, pages 110–122, 2004. 1 [^31]: Chaitanya Mitash, Abdeslam Boularias, and Kostas E. Bekris. Improving 6D Pose Estimation of Objects in Clutter via Physics-Aware Monte Carlo Tree Search. In The IEEE International Conference on Robotics and Automation (ICRA), pages 1–8, 2018. 2 [^32]: Franziska Mueller, Florian Bernard, Oleksandr Sotnychenko, Dushyant Mehta, Srinath Sridhar, Dan Casas, and Christian Theobalt. Generated Hands for Real-Time 3D Hand Tracking from Monocular RGB. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 49–59, 2018. 1, 2, 3, 4 [^33]: Franziska Mueller, Dushyant Mehta, Oleksandr Sotnychenko, Srinath Sridhar, Dan Casas, and Christian Theobalt. Real-Time Hand Tracking Under Occlusion from an Egocentric RGB-D Sensor. In The IEEE International Conference on Computer Vision (ICCV), 2017. 1, 2, 3 ## [^34]: Battushig Myanganbayar, Cristina Mata, Gil Dekel, Boris Katz, Guy Ben-Yosef, and Andrei Barbu. Partially Occluded Hands: A Challenging New Dataset for Single-Image Hand Pose Estimation. In The Asian Conference on Computer Vision (ACCV), pages 85–98, 2018. 3 --- [^35]: Natalia Neverova, Christian Wolf, Florian Nebout, and Graham W. Taylor. Hand Pose Estimation through Semi-Supervised and Weakly-Supervised Learning. Comput. Vis. Image Underst. (CVIU), 164:56–67, 2017. 2 [^36]: Markus Oberweger and Vincent Lepetit. DeepPrior++: Improving Fast and Accurate 3D Hand Pose Estimation. In The IEEE International Conference on Computer Vision Workshops (ICCV), pages 585–594, 2017. 1, 2 [^37]: Markus Oberweger, Mahdi Rad, and Vincent Lepetit. Making Deep Heatmaps Robust to Partial Occlusions for 3D Object Pose Estimation. In European Conference on Computer Vision (ECCV), pages 125–141, 2018. 2 [^38]: Markus Oberweger, Gernot Riegler, Paul Wohlhart, and Vincent Lepetit. Efficiently Creating 3D Training Data for Fine-Hand Pose Estimation. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 4957–4965, 2016. 1 [^39]: Iasonas Oikonomidis, Nikolaos Kyriazis, and Antonis A. Argyros. Full DoF Tracking of a Hand Interacting with an Object by Modeling Occlusions and Physical Constraints. In The IEEE International Conference on Computer Vision (ICCV), pages 2088–2095, 2011. 3 [^40]: Paschalis Panteleris, Nikolaos Kyriazis, and Antonis A. Argyros. 3D Tracking of Human Hands in Interaction with Unknown Objects. In Proceedings of the British Machine Vision Conference 2015 (BMVC), pages 123.1–123.12, 2015. 3 [^41]: Paschalis Panteleris, Iason Oikonomidis, and Antonis A. Argyros. Using a Single RGB Frame for Real Time 3D Hand Pose Estimation in the Wild. In The IEEE Winter Conference on Applications of Computer Vision (WACV), pages 436–445, 2018. 2 [^42]: Sida Peng, Yuan Liu, Qixing Huang, Xiaowei Zhou, and Hujun Bao. Pvnet: Pixel-Wise Voting Network for 6DoF Pose Estimation. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 4561–4570, 2019. 2 [^43]: Tu-Hoa Pham, Nikolaos Kyriazis, Antonis A. Argyros, and Abderrahmane Kheddar. Hand-Object Contact Force Estimation from Markerless Visual Tracking. IEEE Trans. Pattern Anal. Mach. Intell. (PAMI), 40(12):2883–2896, 2018. 3 [^44]: Tu-Hoa Pham, Abderrahmane Kheddar, Ammar Qammaz, and Antonis A. Argyros. Capturing and Reproducing Hand-Object Interactions through Vision-Based Force Sensing. In Object Understanding for Interaction, 2015. 3 [^45]: Tu-Hoa Pham, Abderrahmane Kheddar, Ammar Qammaz, and Antonis A. Argyros. Towards Force Sensing from Vision: Observing Hand-Object Interactions to Infer Manipulation Forces. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2015. 3 [^46]: Chen Qian, Xiao Sun, Yichen Wei, Xiaoou Tang, and Jian Sun. Realtime and Robust Hand Tracking from Depth. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2014. 1,2 [^47]: Mahdi Rad and Vincent Lepetit. BB8: A Scalable, Accurate, Robust to Partial Occlusion Method for Predicting the 3D Poses of Challenging Objects Without Using Depth. In The IEEE International Conference on Computer Vision (ICCV), 2017. 1, 6 [^48]: Mahdi Rad, Markus Oberweger, and Vincent Lepetit. Domain Transfer for 3D Pose Estimation from Color Images Without Manual Annotations. In The Asian Conference on Computer Vision (ACCV), 2018. 1, 3 [^49]: Grégory Rogez, James Steven Supancic III, and Deva Ramanan. Understanding Everyday Hands in Action from RGB-D Images. In The IEEE International Conference on Computer Vision (ICCV), 2015. 3 [^50]: Grégory Rogez, Maryam Khademi, James Steven Supancic III, J. M. M. Montiel, and Deva Ramanan. 3D Hand Pose Detection in Egocentric RGB-D Images. In European Conference on Computer Vision (ECCV), 2014. 3 [^51]: Javier Romero, Dimitrios Tzionas, and Michael J. Black. Embodied Hands: Modeling and Capturing Hands and Bodies Together. ACM Trans. Graph., 36(6):245, 2017. 2, 4 [^27]: Iody Snarp, Cem Keskin, Duncan F. Robertson, Jonathan Taylor, Jamie Shotton, David Kim, Christoph Rhemann, Ido Leichter, Alon Vinnikov, Yichen Wei, Daniel Freedman, Pushmeet Kohli, Eyal Krupka, Andrew W. Fitzgibbon, and Shahram Izadi. Accurate, Robust, and Flexible Real-Time Hand Tracking. In Proceedings of the 33rd Annual ACM Conference on Human Factors in Computing Systems, CHI, pages 3633–3642, 2015. 2 [^53]: K. Simonyan and A. Zisserman. Very Deep Convolutional Networks for Large-Scale Image Recognition. CoRR, abs/1409.1556, 2014. 9, 10 [^54]: Srinath Sridhar, Franziska Mueller, Michael Zollhöfer, Dan Casas, Antti Oulasvirta, and Christian Theobalt. Real-Time Joint Tracking of a Hand Manipulating an Object from RGBD Input. In European Conference on Computer Vision (ECCV), volume 9906, pages 294–310, 2016. 1, 2, 3, 8 [^55]: Srinath Sridhar, Antti Oulasvirta, and Christian Theobalt. Interactive Markerless Articulated Hand Motion Tracking Using RGB and Depth Data. In The IEEE International Conference on Computer Vision (ICCV), pages 2456–2463, 2013. 2 [^56]: Xiao Sun, Yichen Wei, Shuang Liang, Xiaoou Tang, and Jian Sun. Cascaded Hand Pose Regression. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 824–832, 2015. 1 [^57]: Martin Sundermeyer, Zoltan-Csaba Marton, Maximilian Durner, Manuel Brucker, and Rudolph Triebel. Implicit 3D Orientation Learning for 6D Object Detection from RGB Images. In European Conference on Computer Vision (ECCV), pages 712–729, 2018. 1 [^58]: David Joseph Tan, Thomas J. Cashman, Jonathan Taylor, Andrew W. Fitzgibbon, Daniel Tarlow, Sameh Khamis, Shahram Izadi, and Jamie Shotton. Fits Like a Glove: Rapid and Reliable Hand Shape Personalization. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 5610–5619, June 2016. 4,9 [^59]: Danhang Tang, Hyung Jin Chang, Alykhan Tejani, and Tae-Kyun Kim. Latent Regression Forest: Structured Estimation of 3D Articulated Hand Posture. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 3786–3793, 2014. 1 ## [^60]: Bugra Tekin, Federica Bogo, and Marc Pollefeys. H+O: Unified Egocentric Recognition of 3D Hand-Object Poses and --- 《交互行为研究》。载于IEEE计算机视觉与模式识别会议（CVPR），第4511–4520页，2019年。3 [^61]: Jonathan Tompson, Murphy Stein, Yann LeCun, and Ken Perlin. Real-Time Continuous Pose Recovery of Human Hands Using Convolutional Networks. ACM Trans. Graph., 33:169:1–169:10, 2014. 2 [^62]: Aggeliki Tsoli and Antonis A. Argyros. Joint 3D Tracking of a Deformable Object in Interaction with a Hand. In European Conference on Computer Vision (ECCV), pages 504–520, 2018. 3 [^63]: Dimitrios Tzionas, Luca Ballan, Abhilash Srikantha, Pablo Aponte, Marc Pollefeys, and Juergen Gall. Capturing Hands in Action Using Discriminative Salient Points and Physics Simulation. International Journal of Computer Vision (IJCV), 118(2):172–193, 2016. 1, 3, 8 [^64]: Dimitrios Tzionas and Juergen Gall. 3D Object Reconstruction from Hand-Object Interactions. In The IEEE International Conference on Computer Vision (ICCV), pages 729–737, 2015. 3 [^65]: Dimitrios Tzionas, Abhilash Srikantha, Pablo Aponte, and Juergen Gall. Capturing Hand Motion with an RGB-D Sensor, Fusing a Generative Model with Salient Points. In German Conference on Pattern Recognition (GCPR), pages 277–289, 2014. 2, 3 [^66]: Chengde Wan, Thomas Probst, Luc Van Gool, and Angela Yao. Self-Supervised 3D Hand Pose Estimation through Training by Fitting. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 10853–10862, June 2019. 3 [^67]: Robert Y. Wang, Sylvain Paris, and Jovan Popovic. 6D Hands: Markerless Hand-Tracking for Computer Aided Design. In ACM Symposium on User Interface Software and Technology, pages 549–558, 2011. 3 [^68]: Shih-En Wei, Varun Ramakrishna, Takeo Kanade, and Yaser Sheikh. Convolutional Pose Machines. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 4724–4732, 2016. 5, 7, 10 [^69]: Donglai Xiang, Hanbyul Joo, and Yaser Sheikh. Monocular Total Capture: Posing Face, Body, and Hands in the Wild. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 10965–10974, 2019. 5 [^70]: Yu Xiang, Tanner Schmidt, Venkatraman Narayanan, and Dieter Fox. PoseCNN: A Convolutional Neural Network for 6D Object Pose Estimation in Cluttered Scenes. In Robotics: Science and Systems XIV (RSS), 2018. 2, 4, 11, 15 [^71]: Chi Xu, Lakshmi Narasimhan Govindarajan, Yu Zhang, and Li Cheng. Lie-X: Depth Image Based Articulated Object Pose Estimation, Tracking, and Action Recognition on Lie Groups. International Journal of Computer Vision (IJCV), 123:454–478, 2017. 2 [^72]: Qi Ye, Shanxin Yuan, and Tae-Kyun Kim. Spatial Attention Deep Net with Partial PSO for Hierarchical Hybrid Hand Pose Estimation. In European Conference on Computer Vision (ECCV), pages 346–361, 2016. 2 [^73]: Shanxin Yuan, Qi Ye, Bjorn Stenger, Siddhant Jain, and Tae-Kyun Kim. Big Hand 2.2m Benchmark: Hand Pose Data Set and State of the Art Analysis. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017. 1 [^74]: Xingyi Zhou, Qingfu Wan, Wei Zhang, Xiangyang Xue, and Yichen Wei. Model-based deep hand pose estimation. In The International Joint Conference on Artificial Intelligence (IJCAI), pages 2421–2427, 2016. 5 [^75]: Christian Zimmermann and Thomas Brox. Learning to Estimate 3D Hand Pose from Single RGB Images. In The IEEE International Conference on Computer Vision (ICCV), pages 4913–4921, 2017. 1, 2, 3, 8, 10 [^76]: Christian Zimmermann, Duygu Ceylan, Jimei Yang, Bryan C. Russell, Max J. Argus, and Thomas Brox. FREIHAND: A Dataset for Markerless Capture of Hand Pose and Shape from Single RGB Images. In The IEEE International Conference on Computer Vision (ICCV), pages 813–822, 2019. 1, 2, 4, 5, 7, 8