# InterHand2.6M：基于单张RGB图像的三维手部交互姿态估计数据集与基准模型 Gyeongsik Moon $^{1}$，Shoou-I Yu $^{2}$，He Wen $^{2}$，Takaaki Shiratori $^{2}$，Kyoung Mu Lee $^{1}$ $^{1}$ 韩国首尔大学ECE与ASRI实验室 $^{2}$ Facebook Reality Labs {mks0601,kyoungmu}@snu.ac.kr，{shou-i.yu,hewen,tshiratori}@fb.com 摘要：手部交互分析是更好地理解人类行为的关键步骤。然而，大多数三维手部姿态估计研究都聚焦于孤立的单手场景。因此，我们首次提出了（1）大规模数据集InterHand2.6M，以及（2）用于从单张RGB图像进行三维手部交互姿态估计的基准网络InterNet。所提出的InterHand2.6M包含来自多名受试者的260万组标注过的单手及交互手部帧，涵盖多种姿态。我们的InterNet能够同时完成三维单手及交互手部姿态估计。实验表明，利用InterHand2.6M中的交互手部数据，三维手部交互姿态估计的准确率有显著提升。我们还报告了InterNet在InterHand2.6M上的准确率，该结果可作为这一新数据集的强基准。最后，我们展示了从普通图像中得到的三维手部交互姿态估计结果。我们的代码和数据集可获取$^{1}$。 ## 1 引言 三维手部姿态估计的目标是定位三维空间中人体手部的语义关键点（即关节）。它是理解人类行为和实现人机交互的重要技术。近期，许多方法[^6] [^11] [^15] [^38] [^46]采用深度卷积神经网络（CNN），在公开数据集上取得了显著的性能提升[^29] [^33] [^36] [^43] [^46]。 以往的大多数三维手部姿态估计方法[^6] [^11] [^15] [^38] [^46]都是为单手场景设计的。给定裁剪后的单手图像，模型会估计每个手部关键点的三维位置。然而，单手场景在覆盖所有真实人类手部姿态方面存在局限，因为人类手部常常会通过相互接触来与他人或物体互动。为解决这一问题，我们首次提出了大规模数据集InterHand2.6M，以及用于三维手部交互姿态估计的基准模型InterNet。 --- ![Image](images/a4e4c175f808c7ff975db94762678eea539e1e9cdc6af1620a2413754befd622.jpg)
Fig.1: Qualitative 3D interacting hand pose estimation results from our InterNet on the proposed InterHand2.6M.
我们新构建的InterHand2.6M是首个大规模的真实（即非合成）基于RGB的三维手部姿态数据集，它包含了来自多名受试者的多种姿态下的单手及交互手部序列。每个手部序列包含同一个人的单手或左右交互手部图像。InterHand2.6M是在经过精确校准的多视角摄影棚中采集的，该摄影棚配备了80到140台高分辨率摄像头。在三维关键点坐标标注方面，我们采用了半自动方案，即人工标注与机器自动标注相结合。与完全人工标注相比，这种方案能大幅提升标注效率，同时能达到与完全人工标注相近的标注准确率。 所提出的InterNet能够从单张RGB图像中同时估计三维单手及交互手姿态。为此，我们设计了InterNet来预测手性、2.5D左右手姿态以及右手相对左手的深度。手性信息可以判断输入图像中是否包含右手或左手；因此InterNet能够在测试阶段排除不存在的手的姿态。2.5D手姿态由x轴和y轴上的2D姿态以及以根关节（即手腕）为参照的z轴深度组成，这种表示方式在基于单张RGB图像的三维人体[^16]和手部[^11]姿态估计领域已被广泛应用。由于其与图像对齐的特性以及能够建模预测的不确定性，这种方式能提供较高的精度。为了将2.5D左右手姿态映射到三维空间，我们通过RootNet [^16]获取根关节的绝对深度。然而，由于从单张RGB图像中获取绝对深度具有高度不确定性，RootNet有时会输出不可靠的深度值。为解决这一问题，我们设计InterNet利用输入图像中交互手的外观信息来预测右手相对左手的深度。当输入图像中同时出现左右手时，这种相对深度可替代RootNet的输出。 为了证明新采集的交互手数据的优势，我们比较了仅基于单手数据、仅基于交互手数据以及同时基于两类数据训练的模型的性能。我们发现，基于交互手数据训练的模型在交互手姿态误差方面明显更低。 --- 这一误差显著低于基于单手数据训练的模型。这一对比表明，交互手数据对于准确的三维交互手姿态估计至关重要。我们还通过在InterHand2.6M数据集上训练InterNet，展示了该数据集在实际应用中的有效性，并给出了其从普通图像中估计三维交互手姿态的结果。图1展示了我们的InterNet在所提出的InterHand2.6M数据集上的三维交互手姿态估计结果。 我们的贡献可总结如下。 - 我们的InterHand2.6M数据集首次包含了大规模高分辨率多视角单手及交互手序列。通过采用半自动方法，我们高效地获得了精确的三维关键点坐标标注。 - 我们提出了用于三维单手及交互手姿态估计的InterNet。InterNet能从单张RGB图像中预测手性、2.5D手姿态以及右手相对左手的深度。 - 我们证明了单手数据并不足以实现准确的三维交互手姿态估计，交互手数据才是关键。 ## 2 相关工作 基于深度的三维单手姿态估计。早期的基于深度的三维手姿态估计方法主要基于生成式思路。它们通过最小化手工设计的代价函数，将预定义的手部模型拟合到输入的深度图像中[^25] [^34]。粒子群优化[^25]、迭代最近点算法[^31]及其组合[^22]是常用的用于获取最优手姿态的算法。 近期基于深度神经网络的方法主要采用判别式方法，直接从输入的深度图中定位手部关节。Tompson等人[^36]首次利用深度神经网络通过为每个手部关节估计2D热图来定位手部关键点。Ge等人[^5]通过估计多视角2D热图扩展了这种方法。Guo等人[^7]提出了一种区域集成网络，以精确估计手部关键点的3D坐标。Moon等人[^15]设计了一种3D CNN模型，该模型接收体素输入并输出每个关键点的3D热图。Wan等人[^38]提出了一种自监督系统，仅依靠输入的深度图即可进行训练。 基于RGB的3D单手姿态估计。开创性研究[^13] [^39]从RGB图像序列中估计手部姿态。Gorce等人[^13]提出了一种能够动态估计3D手部姿态、纹理和光照的模型。近年来，基于深度学习的方法取得了显著进展。Zimmermann等人[^46]提出了一种深度神经网络，该网络能学习网络隐式的3D关节先验。Mueller等人[^17]使用图像到图像的转换模型，从合成数据集中生成逼真的手部姿态数据集。Cai等人[^2]和Iqbal等人[^11]通过隐式重建深度图来估计3D手部关键点坐标。Spurr等人[^27]和Yang等人[^41]提出了深度生成模型，用于学习与手部相关的潜空间。 3D交互式手部姿态估计。尝试解决3D交互式手部姿态估计问题的研究较少。Oikonomidis等人[^20]首次 ---
datasetsourceresolutionannotationsub.fr.int.hand
ICVL [^33]real depth$320 \times 240$track1018K✗
NYU [^36]real depth$640 \times 480$track2243K✗
MSRA [^29]real depth$320 \times 240$track976K✗
BigHand2.2M [^44]real depth$640 \times 480$marker102.2M✗
FPHA [^4] $^{2}$real RGBD$1920 \times 1080$marker6105K✗
Dexter+Object [^28]real RGBD$640 \times 480$manual13K✗
EgoDexter [^19]real RGBD$640 \times 480$manual43K✗
STB [^45]real RGBD$640 \times 480$manual136K✗
FreiHAND [^47]real RGB$224 \times 224$semi-auto.32134K✗
RHP [^46]synth. RGBD$320 \times 320$synth.2044K✗
Tzionas et al. [^37]real RGBD$640 \times 480$manualn/a36K✓
Mueller et al. [^18]synth. depthn/asynth.580K✓
Simon et al. [^26]real RGB$1920 \times 1080$semi-auto.n/a15K✓
InterHand2.6M (ours)real RGB$512 \times 334$semi-auto.272.6M✓
Table 1: Comparison of existing 3D hand pose estimation datasets and the proposed InterHand2.6M. For the RGBD-based datasets, we report their RGB resolution. For the multi-view captured datasets, we consider each image from different views as different images when reporting the number of frames. InterHand2.6M was initially captured at $4096 \times 2668$ resolution, but to protect fingerprint privacy, the released set has resolution $512 \times 334$.
尝试利用RGBD序列中的粒子群优化算法来解决这一问题。Ballan等人[^1]提出了一种框架，能够从多视角RGB序列中输出3D手部姿态和网格模型。他们结合了生成模型与经过判别式训练的显著点，以实现较低的跟踪误差。Tzionas等人[^37]在Ballan等人[^1]的工作基础上引入了物理模型。Taylor等人[^35]提出对手部模型姿态以及观测数据点与该模型表面之间的对应关系进行联合优化。Simon等人[^26]从多视角图像中估计2D手部姿态，并将其三角测量为3D空间中的坐标。Mueller等人[^18]提出了一种模型，能从单个深度图中估计对应关系和手部分割图。对应关系图反映了网格顶点与图像像素之间的关联，而分割图则用于区分左手和右手。他们将手部模型[^23]拟合到这些估计出的图中。 然而，上述所有方法在利用单张RGB图像进行3D单手及交互式手部姿态估计时均存在局限性。Tzionas等人[^37]和Simon等人[^26]需要额外的深度图或多视角图像。Mueller等人的模型[^18]虽然能处理单张深度图，但并非RGB图像。相比之下，我们提出的InterNet能够仅凭单张RGB图像同时实现3D单手及交互式手部姿态估计。 --- ![Image](images/077da17dc2c38b8af671832f5f3bdb1a95f01c6cab83bec9cb5aee5624f97ada.jpg)
Fig. 2: Comparisons of interacting hand images from RHP [^46], Tzionas et al. [^37], Mueller et al. [^18], Simon et al. [^26], and the proposed InterHand2.6M.
3D手部姿态估计数据集。表1展示了现有3D手部姿态数据集以及本文提出的InterHand2.6M数据集的规格。与基于深度信息的3D手部姿态估计数据集相比[^4] [^29] [^33] [^36] [^44]，现有的基于RGB图像的数据集[^19] [^28] [^45] [^46]所包含的帧数和受试者数量都非常有限，因为从RGB图像中获取精确的3D标注十分困难。最近，Zimmermann等人[^47]采集了一个大规模的单手姿态与网格数据集。 有几类数据集包含双手或交互手部序列，图2展示了这些数据集的示例图像。RHP数据集[^46]包含两组独立的手部数据。不过，这些数据并非真实场景拍摄，而是通过商业软件对3D人体模型进行动画处理生成的。此外，在该数据集的大多数双手图像中，左右手执行的是独立动作，彼此之间并无交互。Tzionas等人的数据集[^37]与我们的数据集最为相似，该数据集旨在分析以RGB图像形式呈现的交互式手部序列。它包含RGBD交互式手部序列，但仅有2D关节坐标标注，没有3D坐标标注。此外，与我们的数据集相比，该数据集的规模要小得多。Mueller等人的数据集[^18]主要由合成的深度图组成，逼真度不高。尽管该数据集中有一些是真实拍摄的深度图，但并没有对应的3D关键点坐标标注。Simon等人的数据集[^26]规模不大，且由于数据集中手部区域的分辨率较低，由机器标注器生成的标注结果并不稳定。 与之相比，我们的InterHand2.6M数据集包含大规模的真实拍摄RGB图像，且序列种类更加丰富。此外，得益于我们先进的半自动标注流程以及高分辨率的手部区域图像，强大的机器标注器能够生成精确且抖动较小的3D手部关节坐标标注。当手部是输入图像中的核心主体时，例如通过头戴式设备拍摄用于虚拟/增强现实场景的手部图像时，就可以使用我们的数据集。 ### 3 InterHand2.6M ### 3.1 数据采集 InterHand2.6M数据集是在一个由80到140台摄像机组成、以每秒30到90帧的速度进行拍摄的多摄像机摄影棚中采集的，这些摄像机还配备了350到450个定向LED灯。 --- 点光源用于对手部进行均匀照明$^{3}$。摄像头的图像分辨率为$4096 \times 2668$。该多视角系统通过3D校准靶标[^8]进行了校准，像素级均方根误差在0.42到0.48之间。 我们共采集了36段录音，涉及26名不同的受试者，其中男性19人，女性7人。手部动作序列分为两种类型$^{4}$。第一种是峰值姿势（PP），即从中性姿势过渡到预定义的手部姿势（如握拳），再返回中性姿势的短暂过程。预定义的手部姿势包括日常生活中常用的各种手语动作，以及每个手指完全弯曲或伸展的极端姿势。每只手有40种预定义姿势，交互手则有13种。在中性姿势下，双手位于胸前，手指不接触，手掌朝向侧面。第二种类型是运动范围（ROM），代表只需简单指令即可完成的对话式手势。例如，要求受试者挥手示意某人过来。每只手有15种对话式手势，交互手则有17种。数据集中选取的PP和ROM手部姿势旨在涵盖多种姿势与对话式手势，同时便于参与者模仿。所提出的InterHand2.6M旨在覆盖合理且通用的手部姿势范围，而非为特定应用挑选最优手部姿势集。 ### 3.2 标注 为了标注手部关键点，我们直接扩展了常用的每只手21个关键点的标注方案[^46]，从而覆盖双手共计42个独特点。对于每个手指，我们标注指尖以及三个关节的旋转中心。除了每只手20个关键点外，手腕旋转中心也被纳入标注范围。 标注旋转中心具有挑战性，因为关节旋转中心会被皮肤遮挡。当手指被其他手指遮挡或从斜角观察时，标注难度更大。因此，我们开发了一款3D旋转中心标注工具，允许标注者同时查看并标注6张图像$^{5}$。这6张图像是同时拍摄的，但拍摄角度不同。当标注者在两个视角下标注同一关节时，工具会自动进行三角测量，并将该点重新投影到所有其他视角中，从而帮助标注者验证这些标注在3D空间中是否一致。 尽管有标注工具，手动标注大量图像仍是一项极其耗费人力的工作。因此，我们采用了两阶段流程来 --- 按照Simon等人的方法[^26]对图像进行标注。第一阶段依靠人工标注者，他们利用我们的标注工具，手动标注了来自9,036个独特时间点的94,914张2D图像，其中1,880张图像包含双手标注。这些2D标注被三角测量以得出关节的3D位置，随后再投影到大约80个视角下，从而得到每个视角的2D标注。所选的时间点涵盖了录制脚本中的多种手部姿势。这一阶段结束时，共有698,922张图像被标注了2D关键点。 在第二阶段，我们采用了自动机器标注器。为此，我们利用前一阶段标注的图像训练了一个先进的2D关键点检测器[^14]。为了提升计算效率，EfficientNet[^32]被用作该关键点检测器的骨干网络。随后，该检测器在未经标注的图像上运行，通过RANSAC三角测量法获得3D关键点。由于我们的InterHand2.6M数据集是由大量高分辨率摄像头采集的，因此这种基于机器的标注方式能够给出极高精度的估计结果。我们在预留的测试集上对该方法进行了验证，误差仅为2.78毫米。最终的数据集是第一阶段的人工标注结果与第二阶段的机器标注结果的整合。Simon等人[^26]采用了迭代式自举法，是因为他们最初的机器标注器无法提供精确的标注结果，且他们数据集中的手部区域分辨率较低。相比之下，我们的先进机器标注器在处理高分辨率手部图像时误差极低（仅2.78毫米），因此我们并未采用迭代式自举法。 ### 3.3 数据集发布 采集到的手部序列将以两种配置发布：分辨率降为512×334、帧率为5 fps，以及分辨率同样为512×334、帧率为30 fps。进行分辨率降维是为了保护指纹隐私。标注文件包含了摄像头类型、受试者编号、摄像头编号、边界框、手性、摄像头参数以及3D关节坐标等信息。论文中提及的所有帧号和实验结果均来自5 fps配置下的数据。 ## 4 InterNet 我们的InterNet以单张RGB图像I作为输入，利用经过全连接层裁剪的ResNet$\mathbf{F}$提取图像特征[^9]。我们首先从图像中裁剪出手部区域并将其缩放至统一分辨率，从而得到输入图像I。基于$\mathbf{F}$，InterNet能够同时预测手性、2.5D的左右手姿态，以及右手相对于左手的深度信息，这些内容将在后续小节中详细说明。在进行2.5D手部姿态估计时，我们并未对手部尺度进行归一化处理。图3展示了InterNet的整体流程。 --- ![Image](images/6a4ce2e71b4ca580875ca29076dd79142415881b683cebd7bafbc4ec078ac978.jpg)
Fig. 3: Three outputs of the proposed InterNet.
### 4.1 手性估计 为了确定输入图像中包含的是哪只手，我们设计了InterNet来估计输入图像中存在右手和左手的概率$\mathbf{h} = (h^{\mathrm{R}}, h^{\mathrm{L}}) \in \mathbb{R}^{2}$。为此，我们构建了两个全连接层，它们以图像特征$\mathbf{F}$为输入，进而估算出相应概率$\mathbf{h}$。这两个全连接层的隐藏激活层大小均为512。除最后一层外，每层之后都接有ReLU激活函数；最后一层则应用sigmoid激活函数以得到最终概率值。 #### 4.2 2.5D左右手姿态估计 为了估计右手和左手的2.5D姿态，分别记为$\mathbf{P}_{2.5D}^{\mathrm{R}} \in \mathbb{R}^{J \times 3}$和$\mathbf{P}_{2.5D}^{\mathrm{L}} \in \mathbb{R}^{J \times 3}$，我们为每只手构建了两个上采样器。每个上采样器由三层反卷积层和一层卷积层组成，每层反卷积之后都接有批量归一化层[^10]和ReLU激活函数，因此它能将输入特征图的上采样倍数达到$2^3$倍。这些上采样器以$\mathbf{F}$为输入，输出右手和左手关节的3D高斯热图，分别记为$\mathbf{H}_{2.5D}^{\mathrm{R}}$和$\mathbf{H}_{2.5D}^{\mathrm{L}}$，这一做法参考了Moon等人的研究[^16]，且这些热图的维度相同$\mathbb{R}^{J \times D \times H \times W}$。其中，D、H、W分别表示热图的深度离散化大小、高度和宽度。$\mathbf{H}_{2.5D}^{\mathrm{R}}$和$\mathbf{H}_{2.5D}^{\mathrm{L}}$的x轴和y轴位于图像空间中，而它们的z轴则处于以根关节（即手腕）为参照的深度空间中。为了从2D特征图得到3D高斯热图，我们通过重塑函数$\psi$对上采样器的输出进行重塑：$\mathbb{R}^{J \times D \times H \times W} \to \mathbb{R}^{J \times D \times H \times W}$。关节j对应的3D高斯热图中的每个体素，代表了该位置存在手部关节j的概率。 ### 4.3 基于右手的相对左手深度估计 每只手的深度定义为该手根关节的深度。我们构建了两个全连接层，除最后一层外，每个全连接层后都接有ReLU激活函数。全连接层的隐藏激活大小为512。它以$\mathbf{F}$为输入，输出1D热图$\mathbf{d}^{\mathrm{R}\rightarrow\mathrm{L}} \in \mathbb{R}^{64}$。随后对[^30]应用软argmax操作$\mathbf{d}^{\mathrm{R}\rightarrow\mathrm{L}}$，输出相对深度值$z^{\mathrm{R}\rightarrow\mathrm{L}}$。我们发现，与直接回归相对深度值相比，先估计1D热图再进行软argmax操作能得到更精确的结果，这一思路与Moon等人的研究类似[^15]。 --- ### 4.4 最终的3D交互手部姿态 最终的3D手部姿态$\mathbf{P}_{\mathrm{3D}}^{\mathrm{R}}$和$\mathbf{P}_{\mathrm{3D}}^{\mathrm{L}}$的获取方式如下： $$ \mathbf{P}_{\mathrm{3D}}^{\mathrm{R}}=\Pi(\mathbf{T}^{-1}\mathbf{P}_{\mathrm{2.5D}}^{\mathrm{R}}+\mathbf{Z}^{\mathrm{R}}),\quad\mathrm{a n d}\quad\mathbf{P}_{\mathrm{3D}}^{\mathrm{L}}=\Pi(\mathbf{T}^{-1}\mathbf{P}_{\mathrm{2.5D}}^{\mathrm{L}}+\mathbf{Z}^{\mathrm{L}}), $$ 其中，$\Pi$和$\mathbf{T}^{-1}$分别表示相机反投影和逆仿射变换（即2D裁剪和缩放）。如果没有可用的相机内参，我们会按照Moon等人的方法[^16]使用归一化的相机内参。$\mathbf{Z}^{\mathrm{R}} \in \mathbb{R}^{1 \times 3}$和$\mathbf{Z}^{\mathrm{L}} \in \mathbb{R}^{1 \times 3}$的定义如下： $$ \mathbf{Z}^{\mathrm{R}}=[(0),(0),(z^{\mathrm{R}})],\qquad\quad\mathbf{Z}^{\mathrm{L}}=\begin{cases}{[(0),(0),(z^{\mathrm{L}})],}&{\mathrm{i f~}h^{\mathrm{R}}<0.5}\\ {[(0),(0),(z^{\mathrm{R}}+z^{\mathrm{R}\rightarrow\mathrm{L}})],}&{\mathrm{o t h e r w i s e},}\\ \end{cases} $$ 其中，$z^{R}$和$z^{L}$分别表示右手和左手根关节的绝对深度。我们使用RootNet来获取这些值[^16]。 ### 4.5 损失函数 为了训练我们的InterNet，我们使用了三种损失函数。 左右手类别损失。对于左右手类别估计，我们采用二元交叉熵损失函数，定义如下：$L_{\mathrm{h}} = -\frac{1}{2} \sum_{\mathcal{Q} \in (\mathrm{R}, \mathrm{L})} (\delta^{\mathcal{Q}} \log h^{\mathcal{Q}} + (1 - \delta^{\mathcal{Q}}) \log(1 - h^{\mathcal{Q}}))$，其中$\delta^{\mathcal{Q}}$是一个二进制值，用于表示输入图像中是否存在$\mathcal{Q}$手。 2.5D手部姿态损失。对于2.5D手部姿态估计，我们采用L2损失，定义如下：$L_{\text{pose}} = \sum_{Q \in (\mathbb{R}, \mathbb{L})} ||\mathbf{H}_{2.5D}^{\mathcal{Q}} - \mathbf{H}_{2.5D}^{\mathcal{Q}*}||_2$，其中$*$表示真实值。如果输入图像中不包含右手或左手，我们就将其对应的损失设为0。真实3D高斯热图是通过高斯斑点[^15]计算得出的，具体过程如下： $$\mathbf{H}_{2.5\mathrm{D}}^{Q*}(j,z,x,y)=\exp\left(-\frac{(x-x_{j}^{\mathcal{Q}})^{2}+(y-y_{j}^{\mathcal{Q}})^{2}+(z-z_{j}^{\mathcal{Q}})^{2}}{2\sigma^{2}}\right),\text{where }x_{j}^{\mathcal{Q}},y_{j}^{\mathcal{Q}},\text{and }z_{j}^{\mathcal{Q}}\text{are}$$ Q手的第j个关节坐标来自$\mathbf{P}_{2.5\mathrm{D}}^{Q}$。 右手相对于左手的深度损失。对于右手相对于左手的定位，我们采用如下定义的$L_1$损失：$L_{\text{rel}} = |z^{\text{R} \to \text{L}} - z^{\text{R} \to \text{L}^*}|$，其中$*$表示真实值。当输入图像中仅包含单只手时，该损失值为零。 我们使用以下三种损失函数以端到端的方式训练模型：$L = L_{h} + L_{pose} + L_{rel}$。 ## 5 实现细节 实现过程中使用了PyTorch [^21]。主干网络部分初始化采用了在ImageNet数据集上预训练的公开版ResNet-50 [^9] [^24]，其余部分的权重则通过均值为零、方差为$\sigma = 0.001$的高斯分布进行初始化。权重更新采用Adam优化器 [^12]，小批量大小为64。为了从输入图像中裁剪出手区域，我们采用 ---
splitsequencesubjectsframes (SH)frames (IH)frames (All)
Train (H)PP+ROM16142K386K528K
Train (M)PP+ROM9594K315K909K
Train (H+M)PP+ROM21688K674K1361K
Val (M)ROM1234K146K380K
Test (H)PP+ROM634K88K122K
Test (M)ROM2455K272K728K
Test (H+M)PP+ROM8489K360K849K
Table 2: Training, validation, and test set split of the proposed InterHand2.6M. H and M denote human annotation and machine annotation, respectively. SH and IH denote single and interacting hand, respectively.
训练阶段和测试阶段均使用真实标注的边界框。裁剪后的手部图像会被缩放至$256 \times 256$；因此热图的空间尺寸为$H \times W = 64 \times 64$。我们将$D = 64$设为相应参数。训练过程中会进行数据增强操作，包括平移（$\pm15\%$）、缩放（$\pm25\%$）、旋转（$\pm90^\circ$）、水平翻转以及颜色抖动（$\pm20\%$）。初始学习率设为$10^{-4}$，并在第$15^{th}$和第$17^{th}$轮训练时缩小为原来的十分之一。我们在四张NVIDIA TitanV GPU上训练模型共20轮，在InterHand2.6M数据集上的训练耗时48小时。我们的InterNet运行速度可达53帧/秒。 ## 6 实验 ### 6.1 数据集与评估指标 STB。STB [^45]包含来自同一个人的6对具有不同姿态和背景的立体序列。评估时广泛采用端点误差（EPE）指标，其定义为根关节对齐后预测三维手部姿态与真实值之间的平均欧几里得距离（单位：毫米）。 RHP。RHP [^46]包含大量合成图像。研究人员利用20个不同受试者的三维人体模型合成了39种动作。评估指标同样采用EPE。 InterHand2.6M。InterHand2.6M是我们新采集的三维手部姿态数据集。如表2所示，我们将InterHand2.6M划分为训练集、验证集和测试集。Val (M)和Test (M)包含许多未见过的手部姿态，且其中的受试者均未出现在Train (H+M)中。此外，Val (M)和Test (M)仅包含ROM数据，这类序列比Train (H+M)中的更长且更具多样性，因此更能模拟现实场景。Test (H)包含许多已见过的手部姿态，其中一半受试者在Train (H)中出现过。Train (H)和Train (M)中存在重复的帧和标注，我们将其替换为Train (H)中的内容。 评估时我们引入了三项指标。首先，我们使用用手习惯估计的平均精度$(AP_{h})$来衡量用手习惯估计的准确性。 ---
training setSH MPJPEIH MPJPE
SH only13.0851.19
IH only13.7016.86
SH+IH (ours)12.1616.02
Table 3: Single and interacting hand MPJPE comparison from models trained on the different training sets. SH and IH denote single and interacting hand, respectively.
![Image](images/d70d5d21420704906ca97e101650c527f90ebf7ba3ec13f92810980b0bc3e366.jpg)
Fig. 4: The 3D distance error of our machine annotation on the Test (H).
估计值。其次，每个关节位置的平均误差（MPJPE）被定义为预测与真实3D关节位置之间的欧几里得距离（单位：毫米），该计算是在根关节对齐之后进行的。根关节对齐是针对左右手分别进行的。这一指标用于衡量根关节相关的3D手部姿态估计的精确度。最后，平均相对根位置误差（MRRPE）被定义为预测与真实右手相对于左手根部的位置的欧几里得距离（单位：毫米）。它用于衡量右手相对于左手的定位精度。 ### 6.2 消融实验 交互手部数据的益处。为了探究交互手部数据对3D交互手部姿态估计的益处，我们在表3中对比了使用与不使用交互手部数据训练的InterNet模型在单手及交互手部上的MPJPE表现。在所有设置中，我们均使用了基于单手和交互手部数据训练得到的同一套RootNet模型。如表所示，仅用交互手部数据训练的模型，其交互手部姿态误差明显低于仅用单手数据训练的模型。这表明现有的3D单手姿态估计数据集不足以实现精确的3D交互手部姿态估计。此外，我们还用单手与交互手部混合数据训练了模型，也就是我们的InterHand2.6M数据集。我们发现，额外的交互手部数据不仅能提升交互手部姿态估计性能，还能改善单手姿态估计效果。这些对比清晰地展现了我们新引入的交互手部数据对3D单手及交互手部姿态估计的益处。 机器标注的准确性。为了验证我们的机器标注模型的准确性，我们在Train (H)集上训练标注模型，并在Test (H)集上测试。图4展示了不同输入视图数量下Test (H)集上的3D距离误差（单位：毫米）。对于每个视图数量，垂直线代表标准差，反映了因视图选择导致的性能差异。测试时，模型会随机选取v个视图进行2D手部姿态估计，随后执行三角测量。为了涵盖各种视图组合…… ---
training setVal (M)Test (H)Test (M)Test (H+M)
Train (H)15.02/19.7010.42/13.0512.74/18.1012.58/17.16
Train (M)15.36/20.1310.64/14.2612.56/18.5912.43/17.79
Train (H+M)14.65/18.589.85/12.2912.32/16.8812.16/16.02
表4：不同训练集上训练的模型在单手及交互手部上的MPJPE对比。斜线左侧的数字对应单手MPJPE，右侧的数字对应交互手部MPJPE。 为了从全部V个视图中选取v个视图的各种组合，我们对每种视图数量重复上述测试流程100次。结果显示，随着输入视图数量的增加，误差和标准差都会变小；当使用全部90个视图时，误差最终降至2.78毫米。这一结果说明，通过采用最先进的2D关键点检测网络以及大量视图进行三角测量，我们的标注方法具有极高的准确性。 机器生成标注的优势。为了展示自动获取的机器标注所带来的优势，我们在表4中比较了未使用Train (M)和使用Train (M)训练的模型的准确率。如表所示，基于Train (H)训练的模型性能优于基于Train (M)训练的模型。我们推测，尽管我们的机器标注器在3D距离误差方面表现很差，但人工标注仍然更为精确，因此基于Train (H)训练的模型性能更好。不过，由于机器标注的效率高于人工，它能够轻松标注出许多可能未包含在Train (H)中的帧。因此，这种机器生成的标注能够覆盖更广的手部姿态空间，这在训练阶段具有优势。为了充分利用这种更广的覆盖范围，我们将机器标注添加到人工标注中。表格的最后一行显示，基于组合数据集训练的模型准确率最高。这一对比清晰地展现了将机器生成的标注添加到人工标注中所带来的优势。我们在补充材料中提供了关于人工标注和机器标注的更多分析。 使用$z^{\mathbf{R}\to\mathbf{L}}$的优势。为了展示当右手可见时（即$z^{\mathbf{R}\to\mathbf{L}}$）使用$h^{\mathbf{R}}\geq0.5$而非始终使用$z^{\mathbf{L}}$所带来的优势，我们比较了这两种情况下的MRRPE值。经检验，始终使用$z^{\mathbf{L}}$时的MRRPE为92.14毫米，而当$z^{\mathbf{R}\to\mathbf{L}}$时采用$h^{\mathbf{R}}\geq0.5$，MRRPE仅为32.57毫米。这是因为从裁剪后的单张图像中估计$z^{\mathbf{L}}$本质上存在较大的深度不确定性，因为裁剪后的输入图像中并未提供相机位置信息。相比之下，从裁剪图像中估计$z^{\mathbf{R}\to\mathbf{L}}$时的深度不确定性较小，因为裁剪后的输入图像中两只手都可见。 ### 6.3 与最先进方法的比较 我们在表5中比较了InterNet与以往最先进的3D手部姿态估计方法在STB和RHP数据集上的性能。表中显示 ---
methodsGT S GT HEPE (STB)EPE (RHP)
Zimm. et al. [^46]☑☑8.68
Chen et al. [^3]☑☑10.95
Yang et al. [^41]☑☑8.66
Spurr et al. [^27]☑☑8.56
Spurr et al. [^27]☒☒9.49
InterNet (ours)☒☒7.95
Table 5: EPE comparison with previous state-of-the-art methods on STB and RHP. The checkmark denotes a method use groundtruth information during inference time. S and H denote scale and handness, respectively.
所提出的InterNet在推理时无需依赖真实信息，其性能便优于以往的方法。我们的InterNet会估计每个关节的3D热图，而其他方法则直接估计3D关节坐标。正如Moon等人[^15]所述，从输入图像直接回归3D关节坐标属于高度非线性的映射过程。相比之下，我们的InterNet估计的是每个体素的概率，这不仅降低了学习难度，还能实现最先进的性能。 #### 6.4 在InterHand2.6M上的评估 表4展示了InterNet在InterHand2.6M数据集上的三维误差。表3显示，基于单手数据以及交互手数据训练的InterNet，在交互手序列上的误差比单手序列大32%。这一对比表明，交互手序列比单手情况更难分析。为了评估InterHand2.6M的难度，我们将我们的误差与当前最先进的基于深度图的三维手部姿态估计方法在大规模深度图三维手部姿态数据集上的误差进行对比[^15] [^40] [^42] [^44]。它们在大规模深度图数据集上的误差仅为8~9毫米[^42] [^44]，远小于我们InterNet在交互手姿态估计上的误差（即16.02毫米）。考虑到我们的InterNet在公开数据集上取得了最先进的性能[^45] [^46]，我们可以得出结论：从单张RGB图像进行三维交互手姿态估计的问题尚未解决。我们的InterNet在测试集（H+M）上的平均精度均值达到99.09 $_h$，多任务相关重建误差均值为32.57。 ### 6.5 从普通图像中进行三维交互手姿态估计 我们在图5中展示了从普通图像中得到的三维交互手部姿态估计结果。为此，我们额外使用了Tzionas等人[^37]所采集的数据集，该数据集虽然来自普通环境，但仅提供了二维关节坐标的基准数据。我们将Tzionas等人的[^37]数据集按照9:1的比例随机划分为训练集和测试集。在训练过程中，每个小批量数据一半来自InterHand2.6M数据集，另一半则来自Tzionas等人的[^37]数据集。这样就能同时利用我们自己的数据集以及Tzionas等人数据集中的三维和二维监督信息。 --- ![Image](images/3adc7745ed4c5ae02d8c87b3c6752e936159bd771d885214ebfae6f4f68d14a9.jpg)
Fig.5: Qualitative results on the dataset of Tzionas et al. [^37], which is captured from a general environment.
对于Tzionas等人提供的数据集[^37]，我们对估计出的热图[^30]和$\mathbf{H}^{\mathrm{R}}$应用软argmax操作$\mathbf{H}^{\mathrm{L}}$，以可微分的方式提取三维坐标。随后，我们将$L_{\text{pose}}$修改为提取出的三维坐标与基准真值之间的L1距离。当输入图像来自Tzionas等人的数据集[^37]时，我们将z轴坐标的损失设为零。图中显示，尽管三维监督仅应用于InterHand2.6M的数据，我们的InterNet仍能成功从Tzionas等人的数据集[^37]中的普通图像生成三维交互手姿态结果。 ## 7 结论 我们提出了用于从单张RGB图像进行三维交互手姿态估计的基准模型InterNet以及数据集InterHand2.6M。所提出的InterHand2.6M是首个包含多名受试者的各种单手及交互手序列的大规模三维手部姿态数据集。由于InterHand2.6M仅提供三维手部关节坐标，将三维手部模型[^23]拟合到我们的数据集上，以获取交互手的三维旋转和网格数据，将会是有趣的未来研究方向。 致谢。我们感谢Alexander Hypes、David White-wolf、Eric Brockmeyer、Kevyn McPhail、Mark Pitts、Matt Stewart、Michal Perdoch、Scott Ardisson、Steven Krenn和Timothy Godisart在采集系统构建方面的贡献；感谢Autumn Trimble、Danielle Belko、Junko Saragih、Laura Millerschoen、Lucas Evans、Rohan Bali、Taylor Koska和Xiaomin Luo在数据采集与标注方面的工作；同时感谢Chenglei Wu、Jason Saragih、Tomas Simon和Yaser Sheikh在数据收集及论文撰写过程中提出的建设性意见。本研究部分得到了韩国未来创造科学部资助的下一代信息计算发展计划（NRF-2017M3C4A7069369）以及视觉图灵测试项目（IITP-2017-0-01780）的支持。 --- ## 《InterHand2.6M：基于单张RGB图像的3D交互手部姿态估计数据集与基线》的补充材料 在这份补充材料中，我们展示了由于篇幅限制未能收录进主论文的更多实验结果。 ### 8 人类与机器标注结果的对比 为了展示人类与机器标注的差异，我们在图6中可视化了人类和机器标注结果的t-SNE图。t-SNE中的每个向量代表一个20维的手部姿态向量。为此，我们为每只手预先定义了20个自由度：每个手指根部（即T1、I1、M1、R1和P1）定义两个自由度，分别为俯仰角和偏航角；其余自由度则用于T2、T3、I2、I3、M2、M3、R2、R3、P2和P3，表示俯仰角。计算这些角度时，我们假设I1、M1、R1、P1和腕关节位于同一平面s上。如图所示，机器生成的标注所覆盖的手部姿态范围比人类生成的标注更广。 ![Image](images/924a3b7d410c9c20ba3d2660a2860ce37366a5a786b92c5b5346fe6c7bd50822.jpg)
Fig.6: Visualized t-SNE of human and machine-generated 3D hand pose annotation.
### 9 可用视图数量的影响 我们的InterHand2.6M数据集包含大量视图。为了探究可用视图数量对3D手部姿态估计精度的影响，我们在表6中报告了仅使用四种常用视图（即顶视图、正视图、右视图和左视图）训练得到的模型的MPJPE值。为了公平比较，在使用四种视图训练时我们增加了迭代次数，以确保训练阶段的迭代总数保持一致。此外，两种设置均使用在相同视图上训练的RootNet [^16]。 --- 如表所示，更多的视图数量能显著提升模型性能。这一对比结果证明，InterHand2.6M数据集中的大量视图确实具有积极作用。
num. of training views$AP_{h}$MRRPEMPJPE
40.9561.9026.80
all (ours)0.9932.5714.22
表6：使用不同数量的训练视图时，InterHand2.6M数据集在测试集（H+M）上的AP $_{h}$、MR $\overline{RPE}$和MPJPE数值。 #### 10 InterHand2.6M序列描述 我们提供了所提出的InterHand2.6M数据集中各序列的详细描述和可视化结果。 单手序列。图7、8和9展示了单手序列的PP结果。以下是各序列的详细描述。 - 中性放松状态：中性的手部姿态。双手置于胸前，手指不接触，掌心朝向侧面。 - 中性紧绷状态：手指完全伸展的中性手部姿态，肌肉处于紧绷状态。 • 祝你好运：手语中代表“祝你好运”的手势，由食指和中指交叉构成。 • 假枪手势：模仿枪支形状的手部动作。 星际迷航手势：源自电视剧《星际迷航》的知名手势。 《星际迷航》扩展版拇指手势：“星际迷航”搭配伸展的拇指。 - 放松状态的竖大拇指：手语中表示“好”的手势，手部肌肉处于放松状态。 • 正常状态的竖大拇指：“竖大拇指”手势，手部肌肉张力适中。 • 紧绷状态的竖大拇指：“竖大拇指”手势，手部肌肉非常紧张。 • 正常状态的拇指内收：类似握拳姿势，但拇指被其他手指遮挡。 • 紧绷状态的拇指内收：“拇指内收”手势，手部肌肉非常紧张。 • AOKAY手势：手语中表示“好的”手势，手掌朝向侧面。 • 竖直方向的AOKAY手势：“AOKAY”手势，手掌朝向前方。 冲浪手势：即SHAKA手势。 • Rocker手势：代表摇滚乐的手势，手掌朝向侧面。 • 正面Rocker手势：手掌朝前的“Rocker”手势。 • 背面Rocker手势：手掌朝后的“Rocker”手势。 • 握拳：握拳的手部姿势。 • 紧绷的握拳姿势：手部肌肉非常紧张的握拳状态。 • 鳄鱼闭嘴手势：模仿鳄鱼、嘴巴闭合的手部动作。 - 数字“一”手势：手语中代表“一”的手势。 数字“二”手势：手语中代表“二”的手势。 - 数字“三”手势：手语中代表“三”的手势。 --- • 数字“四”手势：手语中代表“四”的手势。 - 数字“五”手势：手语中代表“五”的手势。 - 食指指尖触碰手势：拇指与食指指尖相触。 • 中指指尖触碰手势：拇指与中指指尖相触。 • 无名指指尖触碰手势：拇指与无名指指尖相触。 • 小指指尖触碰手势：拇指与小指指尖相触。 • 掌心向上手势：手掌朝上。 - 放松状态的手指张开手势：所有手指张开，手部肌肉放松。 - 正常状态的手指张开手势：所有手指张开，手部肌肉张力适中。 - 紧绷状态的手指张开手势：所有手指张开，手部肌肉非常紧张。 - Capisce手势：源自意大利语、表示“明白了”的手语手势。 • 爪子手势：模仿动物爪子的手部姿势。 • 孔雀手势：模仿孔雀的手部姿势。 • 杯子手势：模仿杯子的手部姿势。 • 莎士比亚式约里克手势：源自莎士比亚戏剧《哈姆雷特》中约里克角色的手部姿势。 恐龙手势：模仿恐龙的手部姿势。 - 竖中指手势：具有冒犯意味的手语手势。 图10展示了单手动作的ROM。以下是每种动作的详细描述。 - 数字“五”手势：从一数到五。 • 倒数五个数字手势：从五数到一。 • 指尖触碰手势：拇指依次触碰每个指尖。 • 放松状态的挥手手势：手腕放松，指尖朝下且处于放松状态，进行挥手动作。 • 握拳挥手手势：保持握拳姿势，同时转动手腕。 • 舞会挥手手势：手指并拢进行挥手。 • 掌心向下挥手手势：手掌朝下进行挥手。 - 食指波浪：表示“不”的手势。 • 手掌波浪：手掌朝下，向自己方向划动，就像抚摸动物一样。 - 打响指：用拇指和中指打响指。 - 手指波浪：手掌朝下，手指像弹钢琴一样移动。 - 手指行走：用食指和中指模仿人走路的动作。 • 数钱动作：用拇指摩擦食指和中指的指尖。 - 全部打响指：用拇指分别打响指上的每一根手指。 交互式手部动作序列。图11展示了交互式手部动作序列的概率分布（PP）。以下是每个序列的详细描述。 - 右手握左手：双手相握，右手在左手之上。 左手握右手：双手相握，左手在右手之上。 - 持枪动作：用双手模仿持枪的样子。 • 右拳覆盖左手：右拳完全覆盖住左手。 左拳覆盖右手：左拳完全覆盖住右手。 • 手指交叉：左右手的手指相互交叉。 - 祈祷手势：表示祈祷的手语手势。 --- 右拳压左拳：右拳在左拳之上。 左拳压右拳：左拳在右拳之上。 - 右手捧小鸟：用双手模仿捧着小鸟的样子，右手放在下方。 左手捧小鸟：用双手模仿捧着小鸟的样子，左手放在下方。 - 手指交叉展开：左右手的手指相互交叉但保持分开状态。 - 捏手指：用另一只手捏住全部五根手指。 最后，图12展示了交互式手部动作序列的运动范围（ROM）。以下是每个序列的详细描述。 • 搓手掌：用一只手的手掌与另一只手的拇指相互摩擦。 指节弯曲：用另一只手按压弯曲的手指，使其发出响声。 • 高尔夫轻拍：轻轻拍手，左手在上，右手在下。 - 小蜘蛛手指动作：唱儿歌《小蜘蛛》时用的手指动作，类似这样（链接）。 - 手指面条：手指交叉，手掌朝向相反方向，然后摆动中指。 - 不接触：双手随机运动，但互不接触。 • 讽刺性拍手：夸张且缓慢的拍手动作。 • 高尔夫轻拍：轻轻拍手，右手在上，左手在下。 • 邪恶思考者：手腕并拢，依次用手指轻敲对方。 • 石头剪刀布：依次做出石头、剪刀、布的手势。 手抓痒：用另一只手轻轻抓挠手掌及手背；再换边重复同样动作。 - 接触：两手在画面中随机互动并接触。 指向特征：用另一只手的食指指出手掌和手背上的特征（如生命线、皱纹等）。 • 拇指交缠转动：手指交叉，拇指相互绕圈转动。 - 右手手指计数参考点：用右食指，从左手的小指开始向上数到五。 左手手指计数参考点：用左食指，从右手的小指开始向上数到五。 • 单个放松的手指：包含一系列动作：(1) 用同一只手将每个指尖触碰掌心中心，双手均需如此；(2) 手指交叉并向外推压掌心；(3) 用另一只手握住手腕；(4) 用另一只手向下、向后弯曲手腕；(5) 用双腕指向手表；(6) 转动手腕；(7) 观察指甲；(8) 先用拇指再用食指指向自己。 --- ![Image](images/fe8dabbf205e034a4189ecf9ca36595243668425aee61ef4f71042978cd1fc5b.jpg)
Fig. 7: Visualization of the single hand PP sequences.
![Image](images/c6997459daf595b8d09e931915788f574e9172e309b8a97e661ffa8481fc1b76.jpg)
Fig. 8: Visualization of the single hand PP sequences.
--- ![Image](images/6f398e28817787e023415ebd109cb14df6cc83b4fc7e3f46c557088d1f909ba7.jpg)
Fig. 9: Visualization of the single hand PP sequences.
![Image](images/793f36365d2b5036de73681bfed6fc1bab3d08674824a1b8b90d217d7b68be18.jpg)
Fig. 10: Visualization of the single hand ROM sequences.
--- ![Image](images/3eccfd5295fd285491c5759af898a625bc4b5b2a8c657438000eb009ab95d655.jpg)
Fig. 11: Visualization of the interacting hand PP sequences.
![Image](images/324b9298c52f31f2d1a4341d2acbef3d0fe58db744d29f2b12a5fd748c8d717c.jpg)
Fig. 12: Visualization of the interacting hand ROM sequences.
--- ### 11 图13展示了InterHand2.6M的人体标注流程。左侧图中，标注员在最容易观察的角度点击手部关节位置（红色圆圈）。随后，标注员在另一个角度点击同一手部关节的位置（红色圆圈）。我们的人体标注工具会自动根据两个角度的标注在三维空间中完成三角测量，并将该三维点投影到其他视角中（绿色圆圈）。 ![Image](images/be7406817465e4ccc9b8dcc758b5173d2592bbfa5ce8e44a1e711ed6e7e3e817.jpg) ![Image](images/25467cce2a68559c6ee52e0570dfece567b066b19b9a335b2b6f3bf2a3cf00f1.jpg)
Fig. 13: The human annotation procedure of InterHand2.6M.
#### 12 InterHand2.6M采集工作室环境 图14展示了我们为数据采集搭建的多视角工作室的渲染图。 ![Image](images/90a2db73ea99bbdba406a751c44f0c691312fdd54dd441a4896d6befac3c9eb3.jpg)
Fig. 14: Rendering of our constructed multi-view studio.
--- ### 13 使用不同训练集在各种测试集上的评估 我们通过在不同训练集（即Train (H)、Train (M)和Train (H+M)）上训练InterNet，提供了更多关于InterHand2.6M各种测试集（即Val (M)、Test (H)、Test (M)和Test (H+M)）的实验结果。表7和表8展示了在不同训练集上训练的模型在所有测试集上的AP $_{h}$ 和MRRPE数值。表9、10、11和12分别展示了Val (M)、Test (H)、Test (M)和Test (H+M)上的MPJPE数值。T、I、M、R和P分别代表拇指、食指、中指、无名指和小指。对于每个手指，1表示指根（最靠近手腕的部位），后续数字依次向指尖递增。我们对左右手的误差取了平均值。
training setVal (M)Test (H)Test (M)Test (H+M)
Train (H)99.1099.7998.9599.01
Train (M)97.7999.0798.8598.87
Train (H+M)98.1499.7799.0399.09
Table 7: AP $_{h}$ comparison from models trained with different training set.
training setVal (M)Test (H)Test (M)Test (H+M)
Train (H)40.0621.8038.5036.80
Train (M)40.5023.2138.8437.25
Train (H+M)35.7220.2633.9732.57
Table 8: MRRPE comparison from models trained with different training set.
training setT4T3T2T1I4I3I2I1M4M3M2M1R4R3R2R1P4P3P2P1avg.
results on single hand sequences
Train (H)18.514.511.17.720.617.715.312.022.919.716.712.121.518.015.011.219.616.714.410.315.02
Train (M)18.214.511.17.220.818.015.912.323.020.417.512.321.718.815.711.420.517.715.110.515.36
Train (H+M)17.614.010.77.219.717.215.111.721.519.016.411.820.417.815.010.919.617.114.710.314.65
results on interacting hand sequences
Train (H)25.918.815.310.628.824.320.715.829.724.221.315.826.522.019.314.925.221.218.814.419.70
Train (M)25.918.815.410.132.226.121.615.829.724.721.615.927.022.319.514.926.021.719.114.320.13
Train (H+M)23.817.514.29.728.023.419.614.527.822.920.114.624.920.818.213.924.220.418.013.518.58
Table 9: MPJPE of our InterNet on the Val (M) of InterHand2.6M dataset using various training set
---
training setT4T3T2T1I4I3I2I1M4M3M2M1R4R3R2R1P4P3P2P1avg.
results on single hand sequences
Train (H)13.411.19.37.713.111.810.89.113.911.710.79.114.011.210.29.013.211.110.08.510.42
Train (M)13.111.19.27.413.512.311.39.314.212.411.29.413.911.510.69.413.111.210.48.810.64
Train (H+M)12.110.48.97.312.111.210.28.613.011.210.28.712.810.69.78.712.410.69.88.29.85
results on interacting hand sequences
Train (H)18.414.511.710.017.214.713.311.717.114.613.011.316.414.112.410.715.713.712.511.013.05
Train (M)20.215.712.310.219.716.614.712.419.416.314.212.018.315.413.511.517.014.913.411.714.26
Train (H+M)17.113.611.09.616.113.812.511.016.013.812.210.715.313.211.710.214.913.111.810.412.29
Table 10: MPJPE of our InterNet on the Test (H) of InterHand2.6M dataset using various training set.
training setT4T3T2T1I4I3I2I1M4M3M2M1R4R3R2R1P4P3P2P1avg
results on single hand sequences
Train (H)16.612.89.76.917.214.713.011.018.615.813.710.617.714.712.910.016.213.612.09.712.74
Train (M)15.712.19.36.516.614.513.110.818.015.713.810.417.414.813.110.116.213.812.29.612.56
Train (H+M)15.712.19.36.616.114.212.810.617.415.313.510.316.914.512.99.815.813.612.09.412.32
results on interacting hand sequences
Train (H)23.317.813.89.525.921.818.815.029.522.318.714.225.819.817.513.723.518.916.713.618.10
Train (M)23.918.013.89.028.823.319.515.229.422.919.114.525.620.417.914.024.319.617.313.918.59
Train (H+M)21.516.412.68.524.420.517.413.727.720.917.513.124.018.616.412.722.317.915.812.616.88
Table 11: MPJPE of our InterNet on the Test (M) of InterHand2.6M dataset using various training set.
training setT4T3T2T1I4I3I2I1M4M3M2M1R4R3R2R1P4P3P2P1avg
results on single hand sequences
Train (H)16.412.79.77.016.914.512.910.818.315.513.510.517.514.512.79.916.013.411.99.612.58
Train (M)15.512.09.36.516.414.413.010.717.715.513.710.317.214.612.910.116.013.712.19.612.43
Train (H+M)15.412.09.36.715.814.012.610.417.115.013.310.216.614.312.79.715.613.411.99.412.16
results on interacting hand sequences
Train (H)22.417.113.49.724.420.517.814.427.120.917.713.723.818.816.613.122.018.015.913.117.16
Train (M)23.217.613.69.327.222.118.614.727.521.718.214.024.019.517.113.522.918.816.513.517.79
Train (H+M)20.715.912.38.823.019.316.613.225.419.516.512.622.117.615.512.220.917.115.012.216.02
Table 12: MPJPE of our InterNet on the Test (H+M) of InterHand2.6M dataset using various training set.
--- ### 14 定性结果 我们在图15中对比了我们的InterNet在仅用单手数据(a)以及单手与交互手数据(b)训练后的定性结果。如图所示，当InterNet仅用单手数据训练时，若输入图像中包含分离的两只手，它能给出合理的3D手部姿态（即底部中间的示例）；但对于所有交互手序列，它则完全无法胜任。我们在图16中展示了InterNet在所提出的InterHand2.6M数据集的Test (H+M)子集上的更多定性结果及失败案例。如图所示，严重的遮挡会导致2.5D手部姿态估计以及以右手为参照的左手深度估计失效。 ![Image](images/8ee2e3d14a3bdbc9f2694652e3624b4f39a26478d204271dc612ca5c0ae9b6d5.jpg) ![Image](images/b838718a34fdf177c3cb906aff98e360acc2c35081dce443508675c0c52f9079.jpg) (a) 基于SH训练 ![Image](images/2ccf0efe54914c23bb710bed88d6fa6001fdefe5712645d6f3faf4f6d07b7349.jpg) (b) 基于SH+IH训练 ![Image](images/df3c72314fdd4a2d0f327610713afc6677a6c3b99b5c17669a11e08e0b755a23.jpg) ![Image](images/4528b5fa37086cff7f0aaeca55478de3a4a586e305408d04aeebc8370a616603.jpg) ![Image](images/bfb1629019f56af2ad4155ddb865de27235c2753f45088a7327c51c84380b53b.jpg) (a) 基于SH训练 ![Image](images/0cf77efa223b7caa8d4f469d7ff3f629f1f97555c38fcd6fa23c1efa23f4712e.jpg) (b) 基于SH+IH训练 ![Image](images/a4d53f46653c00184310722a7b4970dd52ecf301dd2cc4dea13d506e93c8403d.jpg) ![Image](images/32766adfc5625b7d2f9c0964f8131b9147b21cd4a05204260f2f8903ce188a14.jpg) ![Image](images/c13d4fc6b6f903d2022eae18f6341ebed1a11e592782a6796154cbcf35224bb9.jpg) (a) 基于SH训练 ![Image](images/fb5b0df687418e4caadd691d5896c8d4d3f6f1177dfa3782aa8cb3e441f43564.jpg) (b) 基于SH+IH训练
Fig. 15: Qualitative results comparison of our InterNet trained on (a) only single hand data and (b) both single and interacting hand data from the proposed InterHand2.6M dataset.
--- ![Image](images/a8c704292717fc7e7529c08da55239ae36cdfe4949cb244fb81c4fa0c58f1e6c.jpg)
Fig.16: Qualitative results (top two rows) and failure case (last row) of our InterNet on the proposed InterHand2.6M dataset.
--- ### 参考文献 [^1]: Ballan, L., Taneja, A., Gall, J., Van Gool, L., Pollefeys, M.: Motion capture of hands in action using discriminative salient points. In: ECCV (2012) [^2]: Cai, Y., Ge, L., Cai, J., Yuan, J.: Weakly-supervised 3D hand pose estimation from monocular RGB images. In: ECCV (2018) [^3]: Chen, L., Lin, S.Y., Xie, Y., Tang, H., Xue, Y., Xie, X., Lin, Y.Y., Fan, W.: Generating realistic training images based on tonality-alignment generative adversarial networks for hand pose estimation. arXiv preprint arXiv:1811.09916 (2018) [^4]: Garcia-Hernando, G., Yuan, S., Baek, S., Kim, T.K.: First-person hand action benchmark with RGB-D videos and 3D hand pose annotations. In: CVPR (2018) [^5]: Ge, L., Liang, H., Yuan, J., Thalmann, D.: Robust 3D hand pose estimation in single depth images: from single-view cnn to multi-view cnns. In: CVPR (2016) [^6]: Ge, L., Liang, H., Yuan, J., Thalmann, D.: 3D convolutional neural networks for efficient and robust hand pose estimation from single depth images. In: CVPR (2017) [^7]: Guo, H., Wang, G., Chen, X., Zhang, C., Qiao, F., Yand, H.: Region ensemble network: Improving convolutional network for hand pose estimation. ICIP (2017) [^8]: Ha, H., Perdoch, M., Alismail, H., So Kweon, I., Sheikh, Y.: Deltile grids for geometric camera calibration. In: CVPR (2017) [^9]: He, K., Zhang, X., Ren, S., Sun, J.: Deep residual learning for image recognition. In: CVPR (2016) [^10]: Ioffe, S., Szegedy, C.: Batch normalization: Accelerating deep network training by reducing internal covariate shift. ICML (2015) [^11]: Iqbal, U., Molchanov, P., Breuel Juergen Gall, T., Kautz, J.: Hand pose estimation via latent 2.5 d heatmap regression. In: ECCV (2018) [^12]: Kingma, D.P., Ba, J.: Adam: A method for stochastic optimization. ICLR (2014) [^13]: de La Gorce, M., Fleet, D.J., Paragios, N.: Model-based 3D hand pose estimation from monocular video. IEEE TPAMI (2011) [^14]: Li, W., Wang, Z., Yin, B., Peng, Q., Du, Y., Xiao, T., Yu, G., Lu, H., Wei, Y., Sun, J.: Rethinking on multi-stage networks for human pose estimation. arXiv preprint arXiv:1901.00148 (2019) [^15]: Moon, G., Ju, Y.C., Lee, K.M.: V2V-PoseNet: Voxel-to-voxel prediction network for accurate 3D hand and human pose estimation from a single depth map. In: CVPR (2018) [^16]: Moon, G., Ju, Y.C., Lee, K.M.: Camera distance-aware top-down approach for 3D multi-person pose estimation from a single RGB image. In: ICCV (2019) [^17]: Mueller, F., Bernard, F., Sotnychenko, O., Mehta, D., Sridhar, S., Casas, D., Theobalt, C.: Generated hands for real-time 3D hand tracking from monocular RGB. In: CVPR (2018) [^18]: Mueller, F., Davis, M., Bernard, F., Sotnychenko, O., Verschoor, M., Otaduy, M.A., Casas, D., Theobalt, C.: Real-time pose and shape reconstruction of two interacting hands with a single depth camera. ACM TOG (2019) [^19]: Mueller, F., Mehta, D., Sotnychenko, O., Sridhar, S., Casas, D., Theobalt, C.: Real-time hand tracking under occlusion from an egocentric RGB-D sensor. In: ICCV (2017) [^20]: Oikonomidis, I., Kyriazis, N., Argyros, A.A.: Tracking the articulated motion of two strongly interacting hands. In: CVPR (2012) ## [^21]: Paszke, A., Gross, S., Chintala, S., Chanan, G., Yang, E., DeVito, Z., Lin, Z., Desmaison, A., Antiga, L., Lerer, A.: Automatic differentiation in pytorch (2017) --- [^22]: Qian, C., Sun, X., Wei, Y., Tang, X., Sun, J.: Realtime and robust hand tracking from depth. In: CVPR (2014) [^23]: Romero, J., Tzionas, D., Black, M.J.: Embodied hands: Modeling and capturing hands and bodies together. ACM TOG (2017) [^24]: Russakovsky, O., Deng, J., Su, H., Krause, J., Satheesh, S., Ma, S., Huang, Z., Karpathy, A., Khosla, A., Bernstein, M., et al.: Imagenet large scale visual recognition challenge. IJCV (2015) [^25]: Sharp, T., Keskin, C., Robertson, D., Taylor, J., Shotton, J., Kim, D., Rhemann, C., Leichter, I., Vinnikov, A., Wei, Y., et al.: Accurate, robust, and flexible real-time hand tracking. In: ACM Conference on Human Factors in Computing Systems (2015) [^26]: Simon, T., Joo, H., Matthews, I., Sheikh, Y.: Hand keypoint detection in single images using multiview bootstrapping. In: CVPR (2017) [^27]: Spurr, A., Song, J., Park, S., Hilliges, O.: Cross-modal deep variational hand pose estimation. In: CVPR (2018) [^28]: Sridhar, S., Mueller, F., Zollhöfer, M., Casas, D., Oulasvirta, A., Theobalt, C.: Real-time joint tracking of a hand manipulating an object from RGB-D input. In: ECCV (2016) [^29]: Sun, X., Wei, Y., Liang, S., Tang, X., Sun, J.: Cascaded hand pose regression. In: CVPR (2015) [^30]: Sun, X., Xiao, B., Wei, F., Liang, S., Wei, Y.: Integral human pose regression. In: ECCV (2018) [^31]: Tagliasacchi, A., Schröder, M., Tkach, A., Bouaziz, S., Botsch, M., Pauly, M.: Robust articulated-icp for real-time hand tracking. In: Computer Graphics Forum (2015) [^32]: Tan, M., Le, Q.V.: EfficientNet: Rethinking model scaling for convolutional neural networks. In: ICML (2019) [^33]: Tang, D., Jin Chang, H., Tejani, A., Kim, T.K.: Latent regression forest: Structured estimation of 3D articulated hand posture. In: CVPR (2014) [^34]: Tang, D., Taylor, J., Kohli, P., Keskin, C., Kim, T.K., Shotton, J.: Opening the black box: Hierarchical sampling optimization for estimating human hand pose. In: ICCV (2015) [^35]: Taylor, J., Bordeaux, L., Cashman, T., Corish, B., Keskin, C., Sharp, T., Soto, E., Sweeney, D., Valentin, J., Luff, B., et al.: Efficient and precise interactive hand tracking through joint, continuous optimization of pose and correspondences. ACM Transactions on Graphics (TOG) (2016) [^36]: Tompson, J., Stein, M., Lecun, Y., Perlin, K.: Real-time continuous pose recovery of human hands using convolutional networks. ACM TOG (2014) [^37]: Tzionas, D., Ballan, L., Srikantha, A., Aponte, P., Pollefeys, M., Gall, J.: Capturing hands in action using discriminative salient points and physics simulation. IJCV (2016) [^38]: Wan, C., Probst, T., Gool, L.V., Yao, A.: Self-supervised 3D hand pose estimation through training by fitting. In: CVPR (2019) [^39]: Wu, Y., Lin, J., Huang, T.S.: Analyzing and capturing articulated hand motion in image sequences. IEEE TPAMI (2005) [^40]: Xiong, F., Zhang, B., Xiao, Y., Cao, Z., Yu, T., Zhou, J.T., Yuan, J.: A2J: Anchor-to-joint regression network for 3D articulated pose estimation from a single depth image. In: ICCV (2019) ## [^41]: Yang, L., Yao, A.: Disentangling latent hands for image synthesis and pose estimation. In: CVPR (2019) --- [^42]: Yuan, S., Garcia-Hernando, G., Stenger, B., Moon, G., Yong Chang, J., Mu Lee, K., Molchanov, P., Kautz, J., Honari, S., Ge, L., Yuan, J., Chen, X., Wang, G., Yang, F., Akiyama, K., Wu, Y., Wan, Q., Madadi, M., Escalera, S., Li, S., Lee, D., Oikonomidis, I., Argyros, A., Kim, T.K.: Depth-based 3D hand pose estimation: From current achievements to future goals. In: CVPR (2018) [^43]: Yuan, S., Ye, Q., Garcia-Hernando, G., Kim, T.K.: The 2017 hands in the million challenge on 3D hand pose estimation. arXiv preprint arXiv:1707.02237 (2017) [^44]: Yuan, S., Ye, Q., Stenger, B., Jain, S., Kim, T.K.: Bighand2.2M benchmark: Hand pose dataset and state of the art analysis. In: CVPR (2017) [^45]: Zhang, J., Jiao, J., Chen, M., Qu, L., Xu, X., Yang, Q.: 3D hand pose tracking and estimation using stereo matching. arXiv preprint arXiv:1610.07214 (2016) [^46]: Zimmermann, C., Brox, T.: Learning to estimate 3D hand pose from single RGB images. In: ICCV (2017) [^47]: Zimmermann, C., Ceylan, D., Yang, J., Russell, B., Argus, M., Brox, T.: FreiHand: A dataset for markerless capture of hand pose and shape from single RGB images. In: ICCV (2019)