# RenderIH：一个用于三维交互手部姿态估计的大规模合成数据集李立军 $^{*1,2}$、田林瑞 $^{1}$、张欣迪 $^{1}$、王琪 $^{1}$、张邦 $^{1}$、刘梦媛 $^{3}$、陈晨 $^{4}$ $^{1}$阿里巴巴集团，$^{2}$上海人工智能实验室，$^{3}$北京大学深圳研究生院机器感知重点实验室，$^{4}$中佛罗里达大学计算机视觉研究中心 ## 摘要当前的交互式手部（IH）数据集在背景和纹理方面较为简单，手部关节由机器标注器标注，可能存在不准确性，且姿态分布的多样性有限。然而，背景、姿态分布和纹理的多样性会对模型的泛化能力产生重大影响。因此，我们推出了一个大规模合成数据集——RenderIH，用于交互式手部数据，该数据集包含准确且多样的姿态标注。该数据集包含100万张具有不同背景、视角和手部纹理的逼真图像。为了生成自然且多样的交互式姿态，我们提出了一种新的姿态优化算法。此外，为了提升姿态估计的准确性，我们引入了基于Transformer的姿态估计网络TransHand，以利用交互式手部之间的相关性，并验证了RenderIH在提升估计效果方面的有效性。我们的数据集与模型无关，相较于其他真实或合成数据集，它能提升任何手部姿态估计方法的精度。实验表明，在我们的合成数据上预训练可将误差从6.76毫米显著降低至5.79毫米，且我们的TransHand模型性能优于现有方法。我们的数据集和代码可在获取。 ### 1. 引言从单张RGB图像中进行三维交互式手部（IH）姿态估计是人类动作理解的关键任务，在人机交互、增强现实与虚拟现实、手语识别等领域有广泛应用。然而，从真实图像中获取三维交互式手部姿态标注极具挑战性且耗时—— ![Image](images/5beebc10dac5cc1847a550b93068a2ddbaf95cd73764780ca34120f1c7c05ffa.jpg)

Figure 1. Randomly selected samples from RenderIH dataset. The rendered hands are realistic and varied, capturing a variety of poses, textures, backgrounds, and illuminations.

由于严重的自遮挡问题，部分以往的研究 [^12] [^18] 利用复杂的多视角相机系统收集了一些真实的手部交互数据并进行人工标注，但数据量有限。合成的三维标注数据因其易于获取且标注准确，越来越受到研究人员的青睐 [^27] [^22] [^3] [^7] [^15] [^24] [^41]。不过，目前仍存在两大主要挑战：生成的三维手部姿态的有效性，以及生成图像的多样性和真实感。因此，本文提出了一种用于精确单目手部姿态估计的高保真三维手部交互姿态合成数据集。首先，确保生成的3D交互手部姿态的有效性对于合成手系统而言是一项关键挑战。例如，Ego3d [^22]中的姿态是随机生成的，这意味着其中很大一部分数据并不具备有效性。为了确保有效的手部交互，生成的双手姿态必须彼此靠近，但这同时也增加了手部相互穿透的风险。因此，我们设计了一种优化流程，该流程同时考虑了手部相互吸引以及防止穿透的约束条件，以确保两只交互手能够保持接近状态，并避免穿透现象的发生。 ---

Dataset	Type	Data size	MT	AP	background	illumination	Hand type	IH Size
NYU [^31]	real	243K	-	✗	lab	uniform	SH	-
STB [^40]	real	36K	-	✗	lab	uniform	SH	-
H2O-3D [^12]	real	76K	-	✗	lab	uniform	HO	-
H2O [^38]	real	571K	-	✗	indoor scenes	uniform	HO	-
MVHM [^3]	synthetic	320K	✗	✗	static scenes	uniform	SH	-
ObMan [^15]	synthetic	147K	✓	✗	static scenes	uniform	HO	-
DARTset [^7]	synthetic	800K	✓	✗	static scenes	manual	SH	-
IH2.6M [^26]	real	2.6M	-	✗	lab	uniform	IH	628K
Ego3d [^22]	synthetic	50K	✗	✗	static scenes	random	IH	40K
RenderIH (Ours)	synthetic	1M	✓	✓	HDR scenes	dynamic	IH	1M

表1. 相关手部数据集对比。“MT”是“多纹理”的缩写，表示数据集中的手部模型是否赋予了多种纹理；“AP”代表防穿透；“手部类型”指数据集所侧重的交互类型（SH-单手、HO-手与物体交互、IH-手与手交互）；“IH占比”则表示IH姿态所占的比例。“HDR”即高动态范围。静态场景指的是使用随机选取的图像作为背景。手部穿透现象的分析详见第3.1节。此外，手部姿态的合理性也必须予以考虑。因此，我们引入了解剖学姿态约束，并应用对抗性学习机制，以确保生成的手部姿态符合解剖学约束且具备真实性。得益于姿态优化技术，我们生成的数据集包含了大量经过验证的双手交互姿态，如图1所示。其次，大多数现有的3D合成手部图像在背景、光照和纹理条件方面缺乏多样性，这导致它们无法捕捉真实手部数据的复杂分布[^22] [^3] [^15]。大多数现有的手势识别数据集，如Ego3d [^22]、Obman [^15]和MVHM [^3]，均未考虑图像的质量和多样性。例如，Ego3d [^22]使用的纹理与MANO模型相同[^29]，这种处理方式既不真实又单调乏味。相比之下，我们的渲染系统引入了多种纹理、背景和光照效果，能够生成生动逼真的合成手部图像（详见第3.2节）。通过结合HDR背景、动态光照和光线追踪渲染器，我们最终获得了100万张高质量手势图像（见图1）。为了评估我们所提出的数据集的性能，我们对其进行了全面的实验。我们展示了利用该合成数据集能在多大程度上降低对真实数据的依赖程度。接着，我们通过为每种数据集训练探测模型并在第三方数据集上测试，将我们提出的RenderIH与其他3D手部数据集（如H2O-3D [^12]和Ego3d [^22]）进行对比。最后，我们在RenderIH和InterHand2.6M（IH2.6M）的混合数据集上训练了一个基于Transformer的网络，并在3D交互手部姿态估计任务中取得了最先进的成果。我们的主要贡献如下： - 我们提出了一种优化方法，用于生成有效且自然的手部交互姿态，这些姿态既紧密贴合又能避免相互穿透。在图像生成方面，我们设计了一套高质量的图像合成系统，该系统融合了丰富的纹理、背景和光照效果，从而确保了生成图像的多样性和真实性。基于我们的数据生成系统，我们构建了一个名为$\text{RenderIH}$的大规模高保真合成交互手部数据集，该数据集包含100万张合成图像和10万组交互手部姿态。据我们所知，这是迄今为止规模最大、质量最高的合成交互数据集。 - 我们开展了大量实验来验证所提出的数据集RenderIH的有效性。结果表明，借助我们的合成数据集，仅使用10%的真实数据就能达到与基于真实手部数据训练的模型相媲美的准确率。我们还提出了一种基于Transformer的网络，该网络利用我们的数据集并取得了业界领先的结果。 ### 2. 相关工作 #### 2.1. 真实手部数据集构建真实的手部数据集是一项繁琐且极具挑战性的工作，大多数真实数据是通过多种传感器采集的 [^26] [^13] [^11] [^42] [^40] [^30] [^20]，这些传感器包括多台摄像机和深度传感器。STB数据集 [^40] 通过二维手动标注和深度数据来获取单手（SH）的三维标注信息。由于手动标注十分耗时 [^26]，一些研究人员 [^30] [^26] [^13] [^42] 采用了半自动方法进行标注。Moon等人 [^26] 利用数百台摄像机捕捉手部交互情况，他们仅在少数图像上手动标注双手的二维关键点，再利用机器检测器辅助标注其余数据。虽然一些研究人员 [^11] [^1] [^31] 提出了自动标注方法，但Hampali等人 [^11] 采集的是手-物体（HO）交互数据，他们通过优化多张RGB-D图像上的二维关键点来估计三维手部姿态。还有一些研究人员 [^8] [^38] [^9] 通过某些特殊设备获取手部的三维标注信息。 --- ![Image](images/863580261adbb120882230721b42c11d31555fd3054a545c4e64a30dcae32263.jpg)

Figure 2. The distribution of anchors and hand subdivision. Purple points denote the anchors.

Ye等人 [^38] 通过多个关节追踪器捕捉手部姿态。由于数据采集场景的限制，大多数真实数据集都来自简单场景，比如实验室 [^40] [^30] [^11] 或绿幕环境 [^42] [^26] [^38] [^1] [^32]。大多数真实数据集专注于单手或手-物体交互，很少有论文 [^26] [^32] 会采集交互式手部数据。 #### 2.2. 合成手部数据集为了获得精确的标注并增加数据集的多样性，多篇论文 [^27] [^22] [^3] [^7] [^15] [^24] [^41] 通过应用多种背景 [^41] 或不同的手部纹理 [^7] 来构建合成手部数据集。大多数数据集 [^3] [^7] [^27] [^41] 侧重于单手姿态数据。DARTset数据集 [^7] 引入了形状各异的手腕，并渲染了带有不同皮肤与配饰的手部图像，但该数据集并不包含交互式手部数据。为了模拟手-物体交互，Hasson等人 [^15] 利用物理引擎 [^25] 生成物体操控姿态，但他们渲染的图像不够逼真。尽管一些数据集 [^22] [^24] 提供了双手的姿态数据，但渲染的图像不够自然且缺乏多样性。Ego3d数据集 [^22] 中的姿态是随机生成的，这导致手部之间出现严重的相互穿透现象，且姿态也相对怪异。AIH数据集 [^26] 完全基于IH2.6M数据集 [^24] 的姿态标注信息，生成了一个合成的交互式手部数据集，但仅创建了手部掩码，缺少其他标注。我们在表1中总结了一些具有代表性的手部数据集，并将其与我们的数据集进行比较。虽然大多数数据集侧重于SH或HO交互，但在处理网格碰撞、保持高质量标注以及提供一定程度的姿态多样性方面存在不足。 ### 3. RenderIH数据集本文的主要贡献之一是能够生成有效且自然姿态的交互式手部姿态优化方法。在本文中，有效姿态指的是不发生穿透的手部姿态，且符合表2中所列的解剖学约束。自然姿态不仅符合解剖结构，而且在日常生活中也较为常见。我们将生成的姿态与各种手部纹理、高动态范围（HDR）背景以及相机视角统一结合起来。 ![Image](images/13c14ebc774b60b19e27d8b0db60a129518ab89c1902a29dd76610c89f54aaa6.jpg)

Figure 3. Visualization for the effect of different components in optimization.

所有集合都是独立采样的，以尽可能创建出多样化的图像。在第3.1节中，我们介绍了新的手部姿态生成算法。生成手部姿态后，第3.2节将展示如何渲染合成图像。第3.3节中，我们简要介绍了关于RenderIH数据集的一些统计数据。 #### 3.1. 交互式手部姿态优化手部模型。基于广泛使用的参数化手部模型MANO [^29]，Yang等人 [^37] 提出了A-MANO，该模型为运动树上的每个关节分配扭转-旋转-弯曲笛卡尔坐标系，从而能更好地拟合自然手部形态。因此，我们采用A-MANO来使优化结果更具生物学合理性。初始姿态生成。为了生成大量有效且自然的交互式手部（IH）姿态，我们从IH2.6M [^26] 中提取原始姿态，然后通过为手部关节赋予随机旋转偏移量来对原始姿态进行增强。增强后的姿态如图3所示，增强后，$j_{th}$ 手指关节的旋转可表示为： $$ \{R_{j i}\in S O(3)\}_{i=1}^{I}=\{R_{j}R_{b}(\theta_{i}^{b})R_{s}(\theta_{i}^{s})\}_{i=1}^{I}, $$ 其中I表示增强次数，$R_{b/s}(\theta)$ 表示沿弯曲/旋转轴的旋转，角度偏移量为 $\theta^b \in [-90^\circ, 90^\circ]$ 和 $\theta^s \in [-30^\circ, 30^\circ]$。$SO(3)$ 是一组三维旋转值。当该关节不是手指根关节时，值为 $\theta^s = 0$。为避免异常手势，每个增强后的关节都需根据表2进行限制。由于增强后的姿态完全随机，大多数姿态都存在严重的网格穿透现象且姿态不自然，因此有必要对这些姿态进行优化。防穿透处理。受 [^17] 的启发，我们对交互式手部采用多人穿透损失函数，并提议将手部区域划分为16个部分。设 $\Omega$ 为每只手经过修改后的有符号距离场（SDF） [^14]。SDF定义在维度为 $N \times N \times N$ 的体素网格上，其定义如下： $$ \Omega(x,y,z)=-m i n(S D F(x,y,z),0), $$ --- 其中 $\Omega$ 表示其在手部内部的值为正，且与到表面的距离成正比，而在外部则为零。单只手的穿透损失计算如下： $$ L_{p}^{s}=\sum_{v\in\{V\}}\Omega_{\hat{s}}(v). $$ 此处V表示手部顶点，s为一只手的边长，$\hat{s}$ 为另一只手的边长。由于手部结构复杂且姿态多变，基本的手部网格SDF精度不足。我们提议根据关节位置将手部划分为16个部分，并为每个手部子网格计算独立的 $\Omega$ 函数，这种划分方式如图2所示。应用每个子网格后，穿透损失定义为： $$ L_{p}^{s}=\sum_{i=1}^{N}\sum_{j=1}^{N}(\sum_{v\in\{M_{s j}\}}\Omega_{\widehat{s}i}(v)), $$ 其中，$M_{sj}$ 表示手的 $j^{th}$ 子网格。该部分的总损失为 $L_{p} = L_{p}^{right} + L_{p}^{left}$。基本SDF损失与我们的穿透损失之间的详细可视化对比详见补充材料（SM）。双手相互吸引。当IH紧密接触时，可能会出现严重的手部遮挡现象，从而导致标注困难。此外，现有的紧密接触数据也较为有限。为解决这一问题，建议确保IH保持紧密接触状态。要实现双手之间的接触，只需将最靠近的顶点放在一起即可。不过，为了降低优化的时间复杂度，我们采用锚点来引导双手的位置和姿态。如图2所示，为将手部顶点作为锚点进行下采样，我们遍历IH2.6M来评估每个顶点与另一只手接触的频率。我们选取接触频率最高的顶点作为初始锚点，随后依次采样其余顶点。之后，我们跳过2跳邻居节点，继续采样尚未被选中的顶点。最终，我们获得了108个锚点。如果左手上的锚点 $a_j^l$ 与右手上的锚点 $a_i^r$ 最为接近，它们就会构成一对锚点，而锚点对带来的损失定义为： $$ {\cal L}_{i j}^{A}=\frac{1}{2}k_{i j}\Delta d_{i j}{}^{2}, $$ 其中 $\Delta d_{ij} = ||a_i^r - a_j^l||_2$。而 $k_{ij} = 0.5 * cos(\frac{\pi}{s} \Delta \bar{d}_{ij}) + 0.5$，这里 $\Delta \bar{d}_{ij}$ 是锚点对之间的初始距离。这一定义意味着最初距离较近的锚点会倾向于保持接触。特别地，参数s被设为0.02米，且当 $k_{ij} = 0$ 成立时，我们设定 $\Delta \bar{d}_{ij} > s$。在优化过程中，锚点对连接以及 $k_{ij}$ 会被重新构建，以适应动态变化的IH姿态。

finger\joint	root (B,S)	middle (B)	end (B)
thumb	[-20, 40], [-30, 30]	[-8, 50]	[-10, 100]
index	[-25, 70], [-25, 15]	[-4, 110]	[-8, 90]
middle	[-25, 80], [-15, 15]	[-7, 100]	[-8, 90]
ring	[-25, 70], [-25, 15]	[-10, 100]	[-8, 90]
pinky	[-22, 70], [-20, 30]	[-8, 90]	[-8, 90]

Table 2. Joint rotation limitations. The values are in degrees. 'B'/'S' denotes whether the joint can bend/splay.

然而，仅靠这些约束无法保证随机关节角度下的交互姿态始终有效，因此我们进一步引入了解剖学优化。解剖学优化。手指由多个关节组成，即腕掌关节（CMC）、掌指关节（MP）和指间关节（IP）。根据A-MANO的坐标系，每根手指有三个关节，我们分别将其称为根部关节（拇指的CMC，其他手指的MP）、中间关节（拇指的MP，其他手指的近端IP）和末端关节（拇指的IP，其他手指的远端IP）。理论上，每个关节都有3个自由度。我们将图2中的手部姿态定义为T型姿态，此时所有旋转角度均为零。相关约束定义如下： • 允许的旋转方向。中间关节和末端关节只能围绕B（弯曲）轴进行 $\theta_{i}^{b}$ 旋转，而根部关节还可以围绕S（张开）轴进行 $\theta_{i}^{s}$ 旋转。围绕T（扭转）轴的旋转始终需保持 $\theta_{i}^{t} = 0$。 • 角度限制。根据手部运动学规律 [^10] [^19]，关节旋转限制如表2所示。每只手的解剖学优化目标定义为： $$ L_{a}=\sum_{i=1}^{15}\sum_{a\in\{b,s,t\}}(\beta(\theta_{i}^{a}))^{2}, $$ 其中 $\beta(\theta_i^a) = \max(\theta_i^a - \tilde{\theta}_i^a, 0) + \min(\theta_i^a - \tilde{\theta}_i^a, 0)$ 表示旋转角度与其允许范围的偏差，而 $\tilde{\theta}_i^a / \tilde{\theta}_i^a$ 则是 $\theta_i^a$ 范围的 \textit{最大值/最小值}。自然判别器。经过解剖结构优化后，姿态会变得合理。然而，如图3(e)所示，某些优化后的姿态仍不够自然。为了获得自然的姿态，我们进一步采用了判别器$\mathcal{D}$。该判别器的详细结构如图4所示。单手姿态$\Theta$被作为输入送入多层判别器中。输出层会预测一个值$\in [0,1]$，该值代表该姿态属于自然姿态的概率。$\mathcal{D}$的目标函数为： $$ {\cal L}_{\mathcal{D}}=\mathbb{E}_{\Theta\sim P_{R}}[(\mathcal{D}(\Theta)-1)^{2}]+\mathbb{E}_{\Theta\sim P_{G}}[\mathcal{D}(\Theta)^{2}], $$ 其中，$P_{R}$代表来自真实数据集的手部姿态，例如IH2.6M [^26]和Freihand [^42]；$P_{G}$则是生成的姿态。反向传播至姿态优化的对抗性损失定义为： --- ![Image](images/68983416536eee1551960e4bb6bda65b7b4361e69e3dc0eb6f1784c9e31d5348.jpg)

Figure 4. The architecture of the discriminator.

![Image](images/9af59b54cd42eace3a1dc786d94b049ca19ad7f3dd24acd9929948e4a1547cca.jpg)

Figure 5. Same hand with different hand textures.

优化的定义如下： $$ {\cal L}_{a d v}=\mathbb{E}_{\Theta\sim P_{G}}[\big(\mathcal{D}(\Theta)-1\big)^{2}]. $$ 判别器在优化前会先进行预训练。我们从Freihand [^42]、DexYCB [^2]和IH2.6M [^26]数据集中提取了63K个自然的单手姿态，将其“自然”概率$p_{n}$标记为1。为了生成不自然的姿态，我们采用“初始姿态生成”中的方法，随机给姿态添加偏移量，并根据偏移量计算其概率（偏移量越大，$p_{n}$越接近0）。D带来的定性和定量改进可在SM中看到。由于不同人对自然的标准可能有所差异，我们还通过用户研究来验证判别器在SM中的效果。姿态优化。在IH优化中，每只手包含15个关节的旋转$\Theta = \{R_i \in SO(3)\}_{i=1}^{15}$、手部根部的旋转$R_r \in SO(3)$以及手部根部的平移$T_r \in \mathbb{R}^3$，我们将$\psi = \{\Theta, T_r\}$作为优化参数，总的IH损失表示为： $$ \mathop{a r g m i n}_{\psi^{r},\psi^{l}}(w_{1}\sum_{i=1}^{A_{r}}\sum_{j=1}^{A_{l}}L_{i j}^{A}+w_{2}L_{a}+w_{3}L_{a d v}+w_{4}L_{p}), $$ 其中，$A_r/A_l$是右手/左手的锚点数量，$L_a = L_a^r + L_a^l$和$w_*$为权重超参数。 #### 3.2. 渲染我们的数据集具有诸多优势，包括能提供高分辨率的手部纹理，从而营造出更自然的外观。此外，我们模拟了自然光照和环境，以解决摄影棚场景中多样性不足的问题。而且，我们的数据集涵盖了广泛的姿态和相机位置，填补了实际应用与合成数据之间的差距。纹理。为了丰富皮肤纹理的种类，我们提供了如图5所示的多种色调选择。颜色基调包括白色、浅色欧洲人肤色、深色欧洲人肤色、地中海或橄榄色、黄色、深棕色以及黑色，共计30种纹理。此外，可以在着色器中将随机肤色参数叠加到这些基础色调上，以调整亮度、对比度等。除此之外，这些纹理还展现了皱纹、骨骼、血管和手毛，以适应不同性别、种族和年龄的差异。 ![Image](images/be01b0cd3d1e66097e8dc457c53b4c66c7666999018febea3003ca5a85303fe8.jpg)

Figure 6. Same hand under diverse illumination.

![Image](images/4147827ed81baaafd21c70142f093f21f6c9e4e4166f05139e5540ebdb43e399.jpg)

Figure 7. Different viewpoints from the camera track.

这些颜色包括棕色和黑色，共计有30种纹理可供选择。此外，着色器中还可以叠加随机肤色参数，用以调节亮度、对比度等属性。除此之外，这些纹理还模拟了皱纹、骨骼、血管以及手毛等细节，以适应不同性别、种族和年龄的差异。光照与背景。人们普遍认为，高质量的合成数据应尽可能还原真实场景。例如，作者在创建IH合成数据时，将合成手部图像与各种真实背景照片混合在一起 [^22]。然而，由于光照条件和光线角度的差异，直接将渲染出的手部图像粘贴到背景图上会显得很不自然。由于创建大量多样化的合成3D背景模型十分耗时，我们便将合成手部图像与各种真实场景的全景图像进行合成。我们收集了300张高动态范围（HDR）照片，这些照片包含光照适宜的真实室内外场景，可用于渲染。它们能让我们的手部模型与各种环境完美融合，从而生成高度逼真的渲染场景（见图6）。相机设置。我们定义了球形相机布局，能够涵盖多种视角，从而提升模型对不同视角的泛化能力。首先计算出双手模型的中心并将其置于世界坐标系原点，随后将相机轨道围绕该中心放置，且相机朝向中心。图7展示了我们的模拟环境布局。针对每种姿态，我们定义了四条360度环形轨道，可通过样本数量来调整视角的密集或稀疏程度。在稀疏采样模式下，每条轨道会选取10个视角。渲染质量。我们的主要目标是提升合成数据集的逼真度。因此，我们在Blender中基于光线追踪渲染引擎Cycles来渲染场景。在创建手部网格时，我们采用了定制的着色器设置，通过调整基色、次表面散射和粗糙度参数，使皮肤看起来更加真实。图像的分辨率为 --- ![Image](images/7be6e19a77f86be7291464fcf87fdffd35a22c27b0f3815380445d2862b8fa09.jpg)

Figure 8. Network architecture. We use the global features extracted by the encoder to predict the left-hand features and right-hand features. After that, our model gradually regresses the hand vertices from 3 identical correlation encoder blocks by fusing multi-resolution image features with hand features. Each correlation encoder contains two transformer encoders and lateral connection from the other hand feature.

![Image](images/e386b37d9d98c51d68d7848057b030b0165b5d3ae185ddd1a0b6ccffc478dcb9.jpg)

Figure 9. TSNE visualization for IH poses distribution. Our data not only contain the raw poses of IH2.6M but also fill the vacancy by augmentation, resulting in a broader distribution.

$512 \times 334$像素，色彩深度为8位。 #### 3.3. RenderIH数据集分析为了比较分布多样性，我们使用TSNE将IH2.6M和RenderIH中的手部姿态投影到嵌入空间中 [^34]。图9清晰显示出我们的数据相比IH2.6M具有更宽泛的姿态分布。合成图像的示例见图1，渲染视频可在补充材料中查看。不同优化模块的可视化效果及统计信息也可在补充材料中找到。 ### 4. TransHand 我们提出了一种基于Transformer的网络TransHand，用于三维交互手部姿态估计，并针对该网络开展了大量实验。由于Transformer模块在建模网格顶点与身体关节间的全局交互方面效果显著 [^23] [^35]，我们提出了基于Transformer的IH网络。我们的系统包含编码器和解码器两部分。给定尺寸为$256 \times 256$的图像，编码器会输出全局特征向量$G_F$以及中间特征图$\{F_i, i = 1, 2, 3\}$，其中i表示特征层级。之后，我们通过全连接层将$G_F$映射为左侧顶点特征$L_F$和右侧顶点特征$R_F$。由于全局特征不包含细粒度的局部细节，我们将不同层级的特征$F_i$与手部顶点特征拼接后，作为解码器模块的输入。如图8所示，解码器由3个相同的模块组成。每个模块包含2个子模块，每个子模块都是一个典型的Transformer编码器，由多头注意力模块和MLP层构成。每个模块由两个Transformer编码器组成。由于手部交互中通常存在相互遮挡现象，因此结合另一只手的特征来提高估计精度是自然而然的做法。受SlowFast [^6]的启发，我们采用对称结构来融入另一只手的特征，即图8中所展示的相关编码器（Correlation Encoder, CE）中的横向连接。每个模块有三个输入：左侧顶点特征、右侧顶点特征以及图像特征。这些模块会将粗糙网格逐步上采样为精细网格，最终得到包含778个顶点的原始尺寸网格。损失函数。在训练过程中，我们对3D网格顶点和手部关节应用$L_{1}$损失，对2D投影顶点和手部关节也应用$L_{1}$损失。 $$ \begin{array}{r l}&{L_{j o i n t}=\displaystyle\sum_{s=0}^{1}\displaystyle\sum_{i=0}^{M-1}\displaystyle\sum_{d\in\{3D,2D\}}\|J_{s,i}^{d}-J_{s,i}^{d,G T}\|_{1},}\end{array} $$ $$ {\cal L}_{m e s h}=\sum_{s=0}^{1}\sum_{i=0}^{N-1}\sum_{d\in\{3D,2D\}}\|V_{s,i}^{d}-V_{s,i}^{d,G T}\|_{1}, $$ 其中，s表示手部类别，i表示关节或顶点的编号，d则表示计算是针对3D还是2D。为保证预测顶点的几何连续性，我们引入了平滑损失，用于约束预测网格与真实网格之间法向的一致性： $$ \begin{array}{r l}&{L_{s m o o t h}=\displaystyle\sum_{s=0}^{1}\displaystyle\sum_{f=0}^{F-1}\displaystyle\sum_{j=0}^{2}\|e_{f,j,s}\cdot n_{f,s}^{G T}\|_{1},}\end{array} $$ --- ![Image](images/4f33feb5c6112cab582936570a75afedf467e305b7d43a1131f70f4340fdd383.jpg)

Figure 10. Qualitative results of our method on IH2.6M test set.

其中，f代表手部网格的面索引，j表示面f的一条边，而$n^{GT}$则是该面的真实法向量。 ### 5. 实验 #### 5.1. 实验设置数据集。IH2.6M [^26]是规模最大的手部交互真实数据集，我们的大部分实验均在该数据集上进行。由于我们只关注手部交互场景，因此仅选取同时有人工标注和机器标注的IH数据。剔除单手样本及标注无效的数据后，我们得到36.6万个训练样本和26.1万个测试样本。Tzionas数据集 [^33]是一个小型的手部交互数据集，我们仅利用它来评估模型在不同数据集上训练后的泛化能力。H2O-3D [^12]是一个包含双手与物体交互时3D姿态标注的真实数据集，共包含6万个样本。Ego3d [^22]提供了5万张合成图像及对应的双手标签，其中4万个样本属于手部交互场景，且姿态具有随机性。实现细节。输入图像会被缩放至$256 \times 256$大小，随后送入TransHand编码器以生成全局特征和图像特征图。我们选用ResNet50 [^16]作为编码器。所有实验均基于PyTorch [^28]实现。我们使用Adam优化器训练基于IH图像的所有模型，初始学习率为$1e^{-4}$，批量大小为64。所有实验均在1块NVIDIA Ampere A100 GPU上完成。为了验证RenderIH的有效性，我们在IH2.6M数据集上，以及IH2.6M与RenderIH组合数据集上，训练了三种主流的手部交互姿态估计算法：InterNet $^1$ [^26]、DIGIT $^1$ [^4]，以及最先进的方法IntagHand $^2$ [^21]。评估指标。为了评估这些方法，我们采用两个标准指标来报告结果：平均关节位置误差（Mean Per Joint Position Error, MPJPE）以及经过Procrustes对齐后的平均关节位置误差（PAMPJPE），单位均为毫米。

With D	No D	Raw poses	Augmented poses
81.25%	54.68%	90.82%	32.92%

Table 3. User study on natural rate. The higher the number, the more natural it is.

此外，为了确保与以往研究的比较具有公平性[^21] [^39]，我们选择中指的MCP关节作为根关节，同时报告对真实骨骼长度进行缩放后的SMPJPE指标。为了评估双手在交互过程中根关节相对位置的估计精度，我们采用了平均相对根位置误差（MRRPE）[^4]和双手接触偏差（CDev）[^5]这两个指标。更多结果将在补充材料中呈现，其中将手腕设为根关节以便后续比较。 #### 5.2. 结果与分析关于自然度的用户研究。由于人们对“自然”的认知可能存在差异，我们开展了实验以验证判别器的作用。我们邀请了20名有或无计算机技术背景的参与者，他们的年龄介于20到60岁之间，男女比例约为2:1。对于每位参与者，我们展示了120张IH姿态图片（包括30张增强姿态、30张优化姿态、30张未使用判别器优化的姿态以及30张来自IH2.6M的原始姿态），要求他们判断所展示的姿态是否自然，并统计每类的自然率（NR）。结果如表3所示，“原始姿态”来自IH2.6M数据集$^{[26]}$，由人类生成且自然率较高，但部分因标注错误导致的严重网格穿透现象可能会让测试者难以判定其是否“自然”。“增强姿态”是通过给手部关节添加随机旋转偏移量从原始姿态衍生而来，它们符合关节限制但具有随机性，其中一些存在网格穿透现象，因此这类姿态的自然率较低。不使用判别器优化增强姿态可以解决穿透问题，且姿态有效，但自然度仍不够高。显然，判别器提升了姿态的自然度。 --- 姿态的自然度。相关编码器的有效性。表4展示了包含/不包含CE的模型性能。基线方法通过变换编码器独立地将左手特征、右手特征与图像特征进行融合。结果表明，CE通过融合双手之间的相关性能够提升性能。我们的模型被用作后续实验的默认模型。

method\metric	PAMPJPE/MPJPE/SMPJPE(mm) $\downarrow$
Baseline	7.32/11.12/10.82
Baseline+CE	6.76/10.6/9.63

Table 4. Effect of correlation encoder (CE) on IH2.6M test set (PAMPJPE/MPJPE/SMPJPE(mm)↓). It is shown that CE helps reduce the error by a clear margin.

method\train set	IH2.6M	Mixed
InterNet	18.28	17.19
DIGIT	15.48	14.28
IntagHand	10.9	9.72
Ours	10.6	10.06

Table 5. Comparison between models trained from $\text{IH2.6M}$ and a mixture of RenderIH and $\text{IH2.6M}$ in MPJPE(mm) $\downarrow$. The methods are reproduced using their official training code.

![Image](images/9be25bec8c0fe92e687212afe67b933827ea26380383aec8874e28cd6d3fe406.jpg)

Figure 11. Comparing MPJPE by the degree of occlusion on Tzionas dataset. The IoU between groundtruth left/right masks measures the degree of interaction. The left (yellow) and right (blue) hand masks provide interaction examples in each IoU range

合成数据与真实数据混合使用。为了证明RenderIH的实用性，我们在使用/不使用RenderIH数据集全部100万条数据的训练设置下，在IH2.6M测试集上测试了InterNet、DIGIT、In-tagHand以及我们的TransHand模型。如表5所示，RenderIH有助于进一步降低估计误差。例如，对于最先进的IntagHand方法，误差可从10.9毫米大幅降至9.72毫米。这些结果证明了我们的RenderIH与真实数据具有良好的互补性。同时，当双手遮挡情况严重时，使用我们的合成数据集训练能比仅使用IH2.6M更好地处理这类情况，如图11所示。为了量化交互和遮挡的影响，我们参照DIGIT的方法[^4]计算左右手真实掩码之间的IoU值。IoU值越高，说明遮挡越严重；误差条的半长度对应MPJPE标准差的0.5倍。在遮挡程度较小时，混合图像模型与仅使用IH2.6M模型的MPJPE值相近。随着遮挡程度增加，混合图像模型比单独使用IH2.6M更能显著降低MPJPE值。这凸显了我们RenderIH数据的价值。 ![Image](images/75125bdd422413f3c2fd2072721f1a3078d27533c9bc651e0513305154c1feb3.jpg)

Figure 12. Results of training IH2.6M with different number of RenderIH images on MPJPE(mm) $\downarrow$.

合成数据规模的影响。在涉及不同组合的合成数据与IH2.6M训练集的训练阶段中，最初可观察到误差明显下降，而在加入90万张合成图像后，误差进一步逐渐减小，如图12所示。这一趋势表明，超过一定规模的合成数据后，增加更多数据所带来的益处便变得微乎其微。为了在训练成本与精度之间取得平衡，我们选定100万张作为RenderIH的最优规模。训练策略对比。本节研究了合成数据与真实数据的训练策略。从图13可以看出，混合数据训练和基于合成数据的预训练都能显著提升精度。与数据集混合相比，先在合成数据上预训练再在真实图像上微调能获得更高的精确度。我们的结果表明，相较于数据集混合，先在合成数据上预训练再在真实图像上微调是降低误差的更有效方法。 ![Image](images/b63e0381f30e2c3172577f6accb2c858fcaf07ffa4181b12d4cc511a92e188f5.jpg)

Figure 13. Comparison between training with RenderIH only, with part of IH2.6M only, the combination of the two, with pretraining on RenderIH and finetuning on IH2.6M.

真实数据规模的影响。我们研究了真实数据规模对估计精度的影响。 ---

Method	PAMPJPE $\downarrow$	MPJPE $\downarrow$	SMPJPE $\downarrow$	MRRPE $\downarrow$	CDev $\downarrow$
InterNet $^{{*}}$ [^26]	11.72	18.28	16.68	-	-
DIGIT $^{{*}}$ [^4]	9.72	15.48	13.43	-	-
InterShape [^39]	-	-	13.07	-	-
HDR [^24]	-	13.12	-	-	-
IntagHand [^21]	6.10	10.30	8.79	12.1	25.1
IntagHand $^{{*}}$	7.16	10.90	10.47	13.6	29.6
Ours	6.76	10.66	9.63	12.98	27.9
Ours $^{{\#}}$	5.79	9.64	8.18	11.95	24.6

Table 6. Comparing with SOTA methods on $IH2.6M$ test set (* means official code reproduction, # means RenderIH pretraining)

train set\test set	IH2.6M	Tzionas
H2O-3D	47.81/48.19	35.61/34.01
Ego3d	58.40/57.48	56.90/54.89
RenderIH	43.35/42.17	32.80/28.70

Table 7. Generalization ability comparison between H2O-3D, Ego3d, and RenderIH on MPJPE/SMPJPE (mm) $\downarrow$. The number of samples is 40K and fixed for each dataset.

train set\test set	IH2.6M	Tzionas
H2O-3D+IH2.6M	11.05/9.91	12.03/12.02
Ego3d+IH2.6M	10.66/9.60	11.13/11.06
RenderIH+IH2.6M	10.58/9.52	10.63/10.56

Table 8. Training on the mixture of datasets with all IH2.6M data on MPJPE/SMPJPE (mm)↓. The number of samples is 40K for each dataset.

如图13所示，我们分析了数据规模对估计精度的影响。本节中我们使用了RenderIH中的所有样本。对于真实数据，我们选取的样本数量范围从3663到366358，分别占真实数据的1%、5%、10%、30%、50%、70%和100%。尽管仅用RenderIH训练时表现较差，但仅用1%的真实数据微调就能将MPJPE从27.73毫米大幅降至12.6毫米；用10%的真实数据微调时，MPJPE几乎与用全部真实数据训练的结果相当；而当用全部真实数据微调时，误差甚至比仅用全部真实数据训练时还低0.96毫米。与H2O-3D数据集、Ego3d数据集及RenderIH子集的对比。在表7和表8中，我们以各40K样本为基准对比了这些数据集的泛化能力。表7显示，在RenderIH上预训练的模型误差低于在H2O-3D和Ego3d上预训练的其他模型，这证明我们生成的人工数据具有真实性，且所蕴含的知识更容易迁移。在RenderIH上训练的模型表现更佳，可能是因为H2O-3D中的图像均包含干扰双手交互的物体。当在RenderIH和IH2.6M上训练TransHand时，如表8所示，其在IH2.6M和Tzionas数据集上的估计误差均为最低。尤其是Tzionas数据集上的结果表明，我们设计的多样化姿态分布、背景和纹理有助于提升泛化能力。与现有最先进方法的对比。如表6所示，我们的TransHand性能优于根据其官方代码训练的现有最先进IntagHand方法。此外，该方法采用多任务学习机制，其网络包含复杂的图Transformer模块；相比之下，我们的方法更为简洁却同样高效。当在RenderIH上预训练并在IH2.6M数据上微调时，我们的方法能将MPJPE进一步降低约1毫米。从该表中还可观察到更好的手-手接触指标（CDev）以及更好的相对根部平移指标（MRRPE）。另外，表9显示，除了IH2.6M外，若再用我们的数据集训练，在Tzionas数据集上的误差会比仅用IH2.6M训练时明显更低。以手腕为根节点的计算结果详见补充材料第3.3节。

Metrics	MPJPE/MRRPE/CDev $\downarrow$
Training set\Test set	Tzionas
RenderIH	22.11/25.8/47.7
IH2.6M	11.38/11.1/19.9
IH2.6M+RenderIH	10.49/9.37/19.5

Table 9. The comparison of training with or without our dataset and test on Tzionas dataset.

定性结果。我们的定性结果如图10所示。可以看出，我们的方法能在IH2.6M图像中生成高质量的双手交互结果。更多真实场景下的结果可在补充材料中查看。 ### 6. 结论在本文中，我们提出了一种用于3D交互式手部姿态估计的新大规模合成数据集。我们通过一系列实验验证了RenderIH的有效性。仅使用全部合成手部图像以及10%的真实手部图像，就能达到与用所有真实手部图像训练的同一方法相媲美的精度。我们希望该数据集能成为开发不依赖真实数据且能适应各种场景的3D交互式手部姿态估计模型的重要一步。 --- ## RenderIH：用于3D交互式手部姿态估计的大规模合成数据集（补充材料）由于篇幅限制，本补充材料包含了无法纳入主稿的额外信息。我们首先会提供关于该数据集的更详细信息；接着简要介绍我们方法中姿态优化的细节；然后展示定性实验中的额外可视化结果；最后探讨该数据集的更广泛影响及局限性。 ### 1. 关于RenderIH的更多细节 RenderIH包含100万张通过改变姿态、相机视角以及环境（纹理、光照和背景）生成的合成图像。我们从IH2.6M数据集中提取标注信息，剔除姿态相似的样本后，得到了3680种独特的姿态。针对每种独特姿态，我们生成了I=30个变体姿态。经过增强和优化后，我们过滤掉仍存在明显穿插现象或超出关节极限的互动手部姿态，剩余数据占总数据的93%，最终得到约10万个自然且无穿插现象的互动手部姿态。随后，我们对每个姿态应用10种相机视角，总共生成100万张合成图像。对于每张图像，我们会从300张HDR图像中随机选取一张来为手部照明，同时配上背景和手部纹理贴图。整个渲染过程使用了4块NVIDIA A100 GPU，耗时超过200小时。在对应的标注方面，我们提供了姿态和形状参数、3D关节坐标、2D关节坐标，以及相机内参和外参。值得注意的是，用户可以根据自己的需求自由扩展合成数据的标签，比如生成手部部件分割掩码。自动生成的标注没有噪声，比传统真实数据集的标签更具灵活性。视频演示中展示了一些能体现其照片级真实效果的渲染示例。 ### 2. 姿态优化细节优化细节。如图15(a)所示，锚点对是在两个物体上最接近的锚点之间建立的。穿插损失对比。手部具有高度灵活性，整体呈弯曲且凹陷的形状。这使得原有的多人穿插损失[^17]难以检测出正确的穿插位置。不过，通过将手部划分为16个近似凸形的部分，我们可以对每个部分进行SDF计算以得出穿插情况，从而得到更精确的穿插检测结果。从图14中可以看出我们的算法与多人穿插损失[^17]之间的视觉差异。 ![Image](images/9bdce2eb97985070202e9870551469c9c6ab999f00fe2cb8df18947f7c407fb9.jpg) ![Image](images/7d637871d05ff19f453e44b40f38eedd6f6f1a0580c6c9233f11da1862688264.jpg)

a) Our penetration loss

b) Original multi-person loss

Figure 14. Visual comparison of penetration loss between ours and multi-person penetration loss [^17]. The penetration position of each hand can be obtained by utilizing the penetration loss. The green color and red color are used to denote where the right hand and left hand are penetrated respectively.

![Image](images/8c1b825cd611b13e1aebed6a170782281330f763c690f79d418824ffc96cc5f3.jpg)

Figure 15. Building anchor pairs between IH. a) Nearest anchors are connected as the pairs, they tend to make more contacts between both hands. b) Using face normals to avoid abnormal pairs. c) The proper pairs are hard to build when the hand parts are in serious overlaps.

![Image](images/41a3fdec03cfb9fe2ba24ed88f382816c397e4a72814d12286390674eeb35a8a.jpg)

Figure 16. Results for different components of optimization. a) The poses augmented from the IH2.6M. b) After being optimized by the proposed method, the poses become valid and natural. c) Using vertices instead of anchors to make IH attraction has no significant differences. d) Poses optimized without discriminator are valid but not natural. e) Poses optimized without IH attraction have fewer contacts.

--- ![Image](images/e2711f135ba6897d5341bbe9341a7b9362f5913864600e57757f4a9754321f7c.jpg)

Figure 17. Qualitative comparison with our method and IntagHand [^21] on InterHand2.6M under a variety of viewpoints and different levels of inter-hand occlusion. Red circles are used to highlight the positions where our methods can generate better results. In the first row, our result can be even better than the ground truth, where the middle, ring, and little fingers of the right hand are curved.

双手的动作使得交互手部有更大的接触面积。如图15(b)所示，为避免出现异常的锚点对，只有当$n_i^a \cdot n_j^a < 0$时才能建立配对关系，其中$n^a$表示锚点的网格面法向量。然而，当手部严重重叠时，交互手部的吸引力可能会产生负面影响；如图15(c)所示，锚点对之间会产生冲突，导致网格难以分离。解决此问题的简单方法就是先分开双手，这样才能获得更好的锚点对。 $$ \mathop{a r g m i n}_{\psi^{r},\psi^{l}}(w_{1}\sum_{i=1}^{A_{r}}\sum_{j=1}^{A_{l}}L_{i j}^{A}+w_{2}L_{a}+w_{3}L_{a d v}+w_{4}L_{p}), $$ 在我们的实现中，我们对主论文公式13中定义的损失函数进行了优化。经过215次迭代后，我们在初期为$w_4$赋予较大的权重$L_p$，而为$w_1$赋予较小的权重$L^A$，以实现双手分离；在优化过程中，$w_1$会增大而$w_4$会减小，这一过程持续到第165次迭代。为了适应动态变化的交互手部，每40次迭代就会重新构建锚点对。学习率被设定为0.01，且在连续20次迭代未出现损失下降后会进一步降低。优化过程采用Adam求解器。 ### 3. 更多可视化结果 #### 3.1. 不同优化组件的结果不同组件效果的可视化展示。我们定义了多种优化损失函数，以获得合理且自然的交互手部姿态。如图16所示，“增强姿态”是从IH2.6M中的原始姿态随机增强得到的，关节姿态需遵循主论文表2中的限制。经过完整约束的优化后，我们便能得到自然且无穿插的姿态。对比图16(b)和图16(c)可知，采用锚点来实现交互手部吸引力的方法与直接使用全部顶点相比并无显著差异，同时还能降低时间复杂度。此外，如图16(d)所示，自然判别器D能使交互手部姿态更自然；自然姿态的定义见主论文，它们不仅符合解剖学规律，而且在日常生活中也较为常见。另外，如图16(e)所示，交互手部的吸引力能增强手部接触，由于遮挡问题，这种接触在实际场景中很难标注出来。

Training set\Metrics	PAMPJPE/MPJPE/SMPJPE/MRRPE $\downarrow$
RenderIH	13.50/47.73/49.42/32.08
IH2.6M	6.76/16.78/13.97/14.63
IH2.6M+RenderIH	5.79/15.78/12.16/14.15

表10. 使用或不使用我们的数据集进行训练，并在IH2.6M数据集上测试的结果对比。以腕关节作为根节点。 #### 3.2. 定性结果对比与IntagHand的比较。为了更好地展示我们的数据及方法的优越性，我们将结果与现有最先进的方法IntagHand [^21]进行比较（他们的模型也是在IH2.6M [^26]与合成图像的组合上训练的）。与IntagHand的一些定性比较结果如图19所示。通过将3D手部网格直接投影到图像上，我们可以 --- ![Image](images/a6865017278c684d93cc329c2079c00307b96c96a9c881f2e219d3c0c7278a2f.jpg) ![Image](images/dd1766302c1e46c35dec2cb064119a3f458a8c90782b5f0f6aaf16e7a9c22de0.jpg)

Figure 18. Qualitative comparison of the interacting hand pose estimation with our method and IntagHand [^21] on in-the-wild images. The first three columns display images from the Tzionas dataset [^33], while the last three columns showcase images from the RGB2Hands dataset [^36]. Red circles are used to highlight the positions where our methods can generate better results. From the visualization results, we can clearly see that our model can generalize better for in-the-wild images.

看到我们的结果更接近原始图像中的姿态。此外，来自不同视角的相关图像结果也一并展示（见图17）。在图17的第一行中，我们的结果甚至优于真实值，即右手的中指、无名指和小指呈弯曲状态。为了进一步比较我们的泛化能力，我们在野外图像上与IntagHand进行了对比（见图18）。结果表明，我们的方法能显著减少双手之间的穿插现象，并实现更精确的手指交互。合成数据的影响。仅使用RenderIH进行训练时，其性能比仅使用IH2.6M时更差，部分原因是Tzionas数据集中的背景变化有限。这一趋势可以在图20的定性结果中看到。不过，作为合成数据集，我们的数据集的功能主要是大幅减少训练所需的真实数据量，而非完全取代真实数据。 #### 3.3. 以腕关节为根关节的定量结果为了便于后续比较，我们按照惯例报告了以腕关节为根关节时模型的性能。如表10所示，与仅用IH2.6M训练相比，用RenderIH和IH2.6M混合数据训练的模型在所有指标上均表现出稳定的提升。 ### 4. 更广泛的影响与局限性更广泛的影响。在本文中，我们介绍了一种具有精确且多样姿态的合成3D手部数据集——RenderIH。由于目前尚无大规模的合成交互式手部数据集，凭借其前所未有的规模、多样性和渲染质量，RenderIH将对相关领域产生重要影响。此外，该数据集不仅可用于提升模型在真实场景中的泛化能力，还可用于领域适配。局限性。姿态优化的超参数（如Interhand attraction中的因子k和s，以及最终优化损失中的权重）是根据实验结果选定的。未来，我们可能会将它们设为可学习的参数，以便从数据中自动学习。 ## 参考文献 ## [^1]: Samarth Brahmbhatt, Chengcheng Tang, Christopher D. Twigg, Charles C. Kemp, and James Hays. Contactpose: A dataset of grasps with object contact and hand pose. In Andrea Vedaldi, Horst Bischof, Thomas Brox, and Jan-Michael Frahm, editors, Computer Vision – ECCV 2020, pages 361–378, Cham, 2020. Springer International Publishing. 2, 3 --- ![Image](images/7a43debdd4c81c272e966f5f0bda572054bcb2507f3c815a963d25b30dfc3bc7.jpg)

Raw image IntagHand Ours

Figure 19. Qualitative comparison of the interacting hand pose estimation with our method and IntagHand [^21] on InterHand2.6M. Red circles are used to highlight the positions where our methods can generate better results.

![Image](images/185588da977315a4761690d516de753b90c1846a96dbde37bf1f0672a203870e.jpg)

Raw image

IH2.6M Only RenderIH Only RenderIH+IH2.6M

Figure 20. Qualitative comparison of our models trained on different training sets which test on in-the-wild images.

[^2]: Yu-Wei Chao, Wei Yang, Yu Xiang, Pavlo Molchanov, Ankur Handa, Jonathan Tremblay, Yashraj S. Narang, Karl Van Wyk, Umar Iqbal, Stan Birchfield, Jan Kautz, and Dieter Fox. Dexycb: A benchmark for capturing hand grasping of objects. In 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 9040–9049, 2021. 5 [^3]: Liangjian Chen, Shih-Yao Lin, Yusheng Xie, Yen-Yu Lin, and Xiaohui Xie. Mvhm: A large-scale multi-view hand mesh benchmark for accurate 3d hand pose estimation. pages 836–845, 01 2021. 1, 2, 3 [^4]: Zicong Fan, Adrian Spurr, Muhammed Kocabas, Siyu Tang, Michael J. Black, and Otmar Hilliges. Learning to disambiguate strongly interacting hands via probabilistic per-pixel part segmentation. In International Conference on 3D Vi- Sion, 3DV 2021, 英国伦敦，2021年12月1日至3日，第1–10页。IEEE, 2021. 7, 8, 9 [^5]: Zicong Fan, Omid Taheri, Dimitrios Tzionas, Muhammed Kocabas, Manuel Kaufmann, Michael J Black, and Otmar Hilliges. Arctic: A dataset for dexterous bimanual hand-object manipulation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 12943–12954, 2023. 7 [^6]: Christoph Feichtenhofer, Haoqi Fan, Jitendra Malik, and Kaiming He. Slowfast networks for video recognition. In 2019 IEEE/CVF International Conference on Computer Vision, ICCV 2019, Seoul, Korea (South), October 27 - November 2, 2019, pages 6201–6210. IEEE, 2019. 6 [^7]: Daiheng Gao, Yuliang Xiu, Kailin Li, Lixin Yang, Feng Wang, Peng Zhang, Bang Zhang, Cewu Lu, and Ping Tan. Dart: Articulated hand model with diverse accessories and rich textures, 10 2022. 1, 2, 3 [^8]: Guillermo Garcia-Hernando, Shanxin Yuan, Seungryul Baek, and Tae-Kyun Kim. First-person hand action benchmark with rgb-d videos and 3d hand pose annotations. In 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 409–419, 2018. 2 [^9]: Francisco Gomez-Donoso, Sergio Orts-Escolano, and Miguel Cazorla. Robust hand pose regression using convolutional neural networks. In Anibal Ollero, Alberto Sanfeliu, Luis Montano, Nuno Lau, and Carlos Cardeira, editors, ROBOT 2017: Third Iberian Robotics Conference, pages 591–602, Cham, 2018. Springer International Publishing. 2 [^10]: Verónica Gracia-Ibáñez, Margarita Vergara, Joaquín L. Sancho-Bru, Marta C Mora, and Catalina Piqueras. Functional range of motion of the hand joints in activities of the international classification of functioning, disability and health. Journal of Hand Therapy, 30(3):337–347, 2017. 4 [^11]: Shreyas Hampali, Mahdi Rad, Markus Oberweger, and Vincent Lepetit. Honnotate: A method for 3d annotation of hand and object poses. In 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 3193–3203, 2020. 2, 3 [^12]: Shreyas Hampali, Sayan Deb Sarkar, Mahdi Rad, and Vincent Lepetit. Keypoint transformer: Solving joint identification in challenging hands and object interactions for accurate 3d pose estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 11090–11100, 2022. 1, 2, 7 [^13]: Shangchen Han, Beibei Liu, Randi Cabezas, Christopher D. Twigg, Peizhao Zhang, Jeff Petkau, Tsz-Ho Yu, Chun-Jung Tai, Muzaffer Akbay, Zheng Wang, Asaf Nitzan, Gang Dong, Yuting Ye, Lingling Tao, Chengde Wan, and Robert Wang. Megatrack: Monochrome egocentric articulated hand-tracking for virtual reality. ACM Trans. Graph., 39(4), aug 2020. 2 [^14]: Mohamed Hassan, Vasileios Choutas, Dimitrios Tzionas, and Michael J Black. Resolving 3d human pose ambiguities with 3d scene constraints. In Proceedings of the IEEE/CVF international conference on computer vision, pages 2282–2292, 2019. 3 ## [^15]: Yana Hasson, Güil Varol, Dimitrios Tzionas, Igor Kalevatykh, Michael Black, Ivan Laptev, and Cordelia Schmid --- 学习手部与操纵物体的关节重建。Proceedings / CVPR, IEEE计算机协会计算机视觉与模式识别会议。IEEE计算机协会计算机视觉与模式识别会议，2019年4月。1, 2, 3 [^16]: Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In 2016 IEEE Conference on Computer Vision and Pattern Recognition, CVPR 2016, Las Vegas, NV, USA, June 27-30, 2016, pages 770-778. IEEE Computer Society, 2016. 7 [^17]: Wen Jiang, Nikos Kolotouros, Georgios Pavlakos, Xiaowei Zhou, and Kostas Daniilidis. Coherent reconstruction of multiple humans from a single image. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 5579–5588, 2020. 3, 10 [^18]: Hanbyul Joo, Tomas Simon, Mina Cikara, and Yaser Sheikh. Towards social artificial intelligence: Nonverbal social signal prediction in a triadic interaction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 10873–10883, 2019. 1 [^19]: Derek G Kamper, T George Hornby, and William Z Rymer. Extrinsic flexor muscles generate concurrent flexion of all three finger joints. Journal of biomechanics, 35(12):1581–1589, 2002. 4 [^20]: Taein Kwon, Bugra Tekin, Jan Stühmer, Federica Bogo, and Marc Pollefeys. H2o: Two hands manipulating objects for first person interaction recognition. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), pages 10138–10148, October 2021. 2 [^21]: Mengcheng Li, Liang An, Hongwen Zhang, Lianpeng Wu, Feng Chen, Tao Yu, and Yebin Liu. Interacting attention graph for single image two-hand reconstruction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 2761–2770, 2022. 7, 9, 11, 12, 13 [^22]: Fanqing Lin, Connor Wilhelm, and Tony Martinez. Two-hand global 3d pose estimation using monocular rgb. In Proceedings of the IEEE/CVF winter conference on applications of computer vision, pages 2373–2381, 2021. 1, 2, 3, 5, 7 [^23]: Kevin Lin, Lijuan Wang, and Zicheng Liu. Mesh graphormer. In 2021 IEEE/CVF International Conference on Computer Vision, ICCV 2021, Montreal, QC, Canada, October 10-17, 2021, pages 12919–12928. IEEE, 2021. 6 [^24]: Hao Meng, Sheng Jin, Wentao Liu, Chen Qian, Mengxiang Lin, Wanli Ouyang, and Ping Luo. 3d interacting hand pose estimation by hand de-occlusion and removal. In Shai Avidan, Gabriel Brostow, Moustapha Cissé, Giovanni Maria Farinella, and Tal Hassner, editors, Computer Vision – ECCV 2022, pages 380–397, Cham, 2022. Springer Nature Switzerland. 1, 3, 9 [^25]: Andrew Miller and Peter Allen. Graspit!: A versatile simulator for robotic grasping. Robotics & Automation Magazine, IEEE, 11:110–122, 01 2005. 3 [^26]: Gyeongsik Moon, Shoou-I Yu, He Wen, Takaaki Shiratori, and Kyoung Mu Lee. Interhand2.6m: A dataset and baseline for 3d interacting hand pose estimation from a single rgb image. In European Conference on Computer Vision, pages 548–564. Springer, 2020. 2, 3, 4, 5, 7, 9, 11 [^27]: Franziska Mueller, Dushyant Mehta, Oleksandr Sotnychenko, Srinath Sridhar, Dan Casas, and Christian Theobalt. Real-time hand tracking under occlusion from an egocentric rgb-d sensor. In 2017 IEEE International Conference on Computer Vision (ICCV), pages 1163–1172, Oct 2017. 1, 3 [^28]: Adam Paszke, Sam Gross, Francisco Massa, Adam Lerer, James Bradbury, Gregory Chanan, Trevor Killeen, Zeming Lin, Natalia Gimelshein, Luca Antiga, Alban Desmaison, Andreas Köpf, Edward Z. Yang, Zachary DeVito, Martin Raison, Alykhan Tejani, Sasank Chilamkurthy, Benoit Steiner, Lu Fang, Junjie Bai, and Soumith Chintala. PyTorch: An imperative style, high-performance deep learning library. In Hanna M. Wallach, Hugo Larochelle, Alina Beygelzimer, Florence d'Alché-Buc, Emily B. Fox, and Roman Garnett, editors, Advances in Neural Information Processing Systems 32: Annual Conference on Neural Information Processing Systems 2019, NeurIPS 2019, December 8-14, 2019, Vancouver, BC, Canada, pages 8024-8035, 2019. 7 [^29]: Javier Romero, Dimitrios Tzionas, and Michael Black. Embodied hands: Modeling and capturing hands and bodies together. ACM Transactions on Graphics, 36, 11 2017. 2, 3 [^30]: Tomas Simon, Hanbyul Joo, Iain Matthews, and Yaser Sheikh. Hand keypoint detection in single images using multiview bootstrapping. In 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 4645–4653, 2017. 2, 3 [^31]: Jonathan Tompson, Murphy Stein, Yann Lecun, and Ken Perlin. Real-time continuous pose recovery of human hands using convolutional networks. volume 33, 08 2014. 2 [^32]: Dimitrios Tzionas, Luca Ballan, Abhilash Srikantha, Pablo Aponte, Marc Pollefeys, and Juergen Gall. Capturing hands in action using discriminative salient points and physics simulation. International Journal of Computer Vision, 118(2):172–193, 2016. 3 [^33]: Dimitrios Tzionas, Luca Ballan, Abhilash Srikantha, Pablo Aponte, Marc Pollefeys, and Juergen Gall. Capturing hands in action using discriminative salient points and physics simulation. International Journal of Computer Vision, 118:172–193, 2016. 7, 12 [^34]: Laurens Van der Maaten and Geoffrey Hinton. Visualizing data using t-sne. Journal of machine learning research, 9(11), 2008. 6 [^35]: Ziniu Wan, Zhengjia Li, Maoqing Tian, Jianbo Liu, Shuai Yi, and Hongsheng Li. Encoder-decoder with multi-level attention for 3d human shape and pose estimation. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 13033–13042, 2021. 6 [^36]: Jiayi Wang, Franziska Mueller, Florian Bernard, Suzanne Sorli, Oleksandr Sotnychenko, Neng Qian, Miguel A Otaduy, Dan Casas, and Christian Theobalt. Rgb2hands: real-time tracking of 3d hand interactions from monocular rgb video. ACM Transactions on Graphics (ToG), 39(6):1–16, 2020. 12 ## [^37]: Lixin Yang, Xinyu Zhan, Kailin Li, Wenqiang Xu, Jiefeng Li, and Cewu Lu. Cpf: Learning a contact potential field to model the hand-object interaction. pages 11077–11086, 102021. 3 --- [^38]: Ruolin Ye, Wenqiang Xu, Zhendong Xue, Tutian Tang, Yanfeng Wang, and Cewu Lu. H2o: A benchmark for visual human-human object handover analysis. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 15762–15771, 2021. 2, 3 [^39]: Baowen Zhang, Yanggang Wang, Xiaoming Deng, Yinda Zhang, Ping Tan, Cuixia Ma, and Hongan Wang. Interacting two-hand 3D pose and shape reconstruction from single color image. In 2021 IEEE/CVF International Conference on Computer Vision, ICCV 2021, Montreal, QC, Canada, October 10-17, 2021, pages 11334–11343. IEEE, 2021. 7, 9 [^40]: Jiawei Zhang, Jianbo Jiao, Mingliang Chen, Liangqiong Qu, Xiaobin Xu, and Qingxiong Yang. 3d hand pose tracking and estimation using stereo matching. arXiv preprint arXiv:1610.07214, 2016. 2, 3 [^41]: Christian Zimmermann and Thomas Brox. Learning to estimate 3d hand pose from single rgb images. In 2017 IEEE International Conference on Computer Vision (ICCV), pages 4913–4921, 2017. 1, 3 [^42]: Christian Zimmermann, Duygu Ceylan, Jimei Yang, Bryan Russell, Max J. Argus, and Thomas Brox. Freihand: A dataset for markerless capture of hand pose and shape from single rgb images. In 2019 IEEE/CVF International Conference on Computer Vision (ICCV), pages 813–822, 2019. 2, 3, 4, 5