# ACR：用于任意双手重建的注意力协作式回归器

虞正迪 $^{1,2}$、黄少利 $^{1*}$、方晨 $^{1}$、Toby P. Breckon $^{2}$、王珏

 $^{1}$腾讯AI实验室

 $^{2}$杜伦大学

{zhengdiyu,shaolihuang,fcfang}@tencent.com

<mailto:toby.breckon@durham.com>

## 摘要

<mailto:arphid@gmail.com>

由于频繁遮挡和相互混淆，从单目RGB图像中重建双手是一项极具挑战性的任务。现有方法主要学习一种纠缠表示来编码两只相互作用的手，但这种表示对交互受损的情况极为脆弱，比如手部被截断、双手分离或存在外部遮挡。本文提出的ACR（基于注意力协作的回归器）首次尝试在任意场景下重建双手。为实现这一目标，ACR利用基于中心和部位的注意力机制进行特征提取，从而显式地减轻手与手之间、部位与部位之间的相互依赖关系。然而，降低相互依赖性虽然能放宽输入约束，却会削弱对交互手重建的协同推理能力。因此，基于中心注意力机制，ACR还学习了跨手先验，以更好地处理交互手问题。我们在多种手部重建数据集上评估了该方法。在InterHand2.6M数据集上，我们的方法显著优于现有的最佳交互手重建方法；在FreiHand数据集上，其性能与最先进的单手重建方法相当。在真实场景、手-物体交互数据集以及网络图像/视频上的更多定性结果进一步证明了该方法在任意手部重建中的有效性。我们的代码可在<https://github.com/ZhengdiYu/Arbitrary-Hands-3D-Reconstruction>获取。

### 1. 引言

基于单个RGB摄像头的3D手部姿态和形状重建在各类新兴应用中发挥着重要作用，比如增强现实/虚拟现实（AR/VR）、人机交互、电影和游戏中的3D角色动画等。然而，由于标注数据有限、遮挡、深度模糊等问题，这项任务极具挑战性。早期的研究 [^1] [^2] [^34] [^37] 降低了问题难度，专注于单手重建。

![Image](images/8b5938e53076a3a489340e15771cd667d483f08edaa69cabb21b39523de6bee8.jpg)

<div style="text-align: center;">Figure 1. Given a monocular RGB image, our method makes the first attempt to reconstruct hands under arbitrary scenarios by representation disentanglement and interaction mutual reasoning while the previous state-of-the-art method IntagHand [^13] failed.</div>

这些方法从探索弱监督学习范式 [^2] 起步，到设计更先进的网络模型 [^29]。尽管单手重建方法可以扩展用于重建双手，但它们通常忽略了相互遮挡和混淆问题，因此无法处理两只交互手的情况。

为此，近期的研究转向了两只交互手的重建。Wang等人 [^31] 提取多源互补信息来同时重建两只交互手。Rong等人 [^25] 和Zhang等人 [^33] 先得到初始预测结果，再将中间结果叠加起来以优化双手重建。最新的研究 [^13] 则整合了金字塔特征并

---

将双手特征作为输入，用于基于GCN的网络，从而共同回归两只相互作用的手。这些方法遵循相同的原理：将两只手视为一个整体，学习统一的特征以最终优化或回归交互手模型。这种策略的优势在于能够明确捕捉手部之间的相关性，但不可避免地引入了需要两只手作为输入的限制。这一局限性也使得这些方法特别脆弱，难以处理包含不完美手部交互的输入，比如手部被截断或受到外部遮挡的情况。

本文迈出了在任意场景下重建两只手的第一步。我们的首个关键洞见是利用中心与局部注意力机制来减轻手部之间以及各部位之间的相互依赖关系，从而解除输入限制，并消除预测对少量遮挡或截断部位的敏感性。为此，我们提出了基于注意力协作的回归器（ACR）。具体而言，它包含两个核心组件：注意力编码器（AE）和基于注意力协作的特征聚合器（ACFA）。前者利用跨手先验图学习手部中心和各部位的注意力图，使网络在手部回归前就能知晓两只手及每个部位的可见性；后者则利用手部中心和各部位的注意力提取全局与局部特征，作为独立回归每只手的协作表征，随后通过带有交互场的跨手先验推理来增强交互建模。与现有方法相比，我们的方法具有更多优势，比如无需手部检测器。此外，实验表明，在InterHand2.6M数据集上，ACR的误差低于现有的交互手方法，这证明了其在应对交互挑战时的有效性。最后，在真实场景图像或视频演示上的结果也表明，凭借强大的聚合表征能力，我们的方法在任意手部重建方面具有应用于现实世界的潜力。

我们的主要贡献可总结为：（1）我们迈出了在任意场景下重建两只手的第一步。（2）我们提出利用基于中心和局部的表征来减轻手部之间以及各部位之间的相互依赖关系，从而解除输入限制。（3）在交互手建模方面，我们提出了带有交互场的跨手先验推理模块，用以调整依赖强度。（4）在InterHand2.6M基准测试中，我们的方法显著优于现有的最先进方法。此外，在所有以往的手部重建技术中，ACR是针对各种真实场景最具实用性的方法。

### 2. 相关工作

单手重建：得益于三维手部参数化模型（如MANO [^24]和DeepHandMesh [^20]）的发展，基于单目图像的手部姿态与形状重建技术取得了快速进展。然而，手部网格标注成本高且难以获取，这构成了该任务的主要障碍。现有研究 [^1] [^2] [^34] [^37] 主要通过利用弱监督学习范式或合成伪数据来解决这一问题。例如，Boukhayma等人 [^2] 利用2D/3D关键点作为弱监督信号来指导MANO参数回归；Zhang等人 [^34] 和Baek等人 [^1] 则采用神经网格渲染器 [^10]，将分割掩码作为额外的弱标签用于训练。Zhou等人 [^37] 没有使用常规的2D标签，而是利用动作捕捉数据作为弱监督信号，并提出了一种逆运动学网络，从3D关键点恢复手部网格。生成伪数据是缓解网格标签稀缺问题的另一种有效途径：Kulon等人 [^12] 采用参数化模型拟合方法来生成伪网格真值，从而实现网格重建的全监督训练；Ge等人 [^7] 通过将渲染后的手部图像与背景图融合来创建合成数据集，进而用全监督方式训练基于图卷积神经网络的方法。近年来，随着新的手部姿态与形状数据集（如FreiHAND [^40]）的出现，最新研究聚焦于开发更先进的网络模型或学习策略以提升重建精度。例如，Moon和Lee [^19] 提出了一种考虑预测不确定性并保持空间关系的图像到像素网络；Tang等人 [^29] 则将手部网格重建任务拆解为多个阶段以确保更精细的重建效果。尽管这些方法在单目图像手部重建方面取得了稳步进展，但它们均针对单只手设计，在双手场景下往往表现不佳。相比之下，我们的方法明确解决了双手相互遮挡与混淆的问题，因此能够处理两只手相互作用的情况。

双手重建：处理双手重建的一种直接方法是分别定位每只手，再将任务转化为单手重建。这种策略常被应用于全身重建框架 [^4] [^6] [^9] [^32] [^35] [^38]。然而，独立重建两只手在应对相互作用场景时仍会失效，因为靠得较近的双手往往会相互遮挡，容易干扰模型的预测结果。早期成功处理手部相互作用的研究主要依赖模型拟合以及多视角或深度相机设置。例如，Taylor等人 [^30] 引入了双视角RGBD采集系统，并提出了一种手部几何隐式模型以促进模型优化；Mueller等人 [^22] 简化了系统，仅使用单个深度相机，他们还提出了一种回归网络，用于预测分割掩码以及用于姿态和形状拟合的顶点到像素对应关系；Smith等人

---

[^26]: adopted a multi-view RGB camera system to compute keypoints and 3D scans for mesh fitting. To handle self-interaction and occlusions, they introduced a physically-based deformable model that improved the robustness of vision-based tracking algorithms.

近期，研究热点已转向基于单目RGB相机的双手重建问题。Wang等人[^31]提出了一种多任务CNN，该网络能从RGB图像中预测多源互补信息，进而重建两只交互的手。Rong等人[^25]则提出了一种两阶段框架：先获得初始预测结果，再通过分解式细化来避免生成相互碰撞的手部模型。同样，Zhang等人[^33]先从深层特征中预测初始姿态和形状，再借助低层特征逐步细化回归结果。最新的研究成果[^13]提出了一种基于GCN的网格回归网络，该网络利用金字塔特征并学习隐式注意力机制来解决遮挡与交互问题。不过，这些方法主要将两只手视为一个整体，通过隐式学习纠缠表示来编码双手交互信息。相比之下，我们的方法为每只手学习独立的特征，并利用受注意力条件约束的跨手先验以及局部与全局线索，协同应对双手交互带来的挑战。

### 3. 方法论

与现有研究[^2] [^5] [^13] [^18] [^39]依赖外部检测器进行纠缠式边界框级表示学习不同，图2展示了我们提出的ACR方法的总体架构。ACR以单张RGB图像I作为输入，输出4种映射图：跨手先验图、参数图、手部中心图和部件分割图。基于参数图——该图在每个像素点处预测左右手的弱透视相机参数与MANO参数——ACR随后利用参数图中的三种像素级表示来进行注意力聚合。首先，ACR借助基于中心和部件的表述进行特征提取，通过部件级注意力显式缓解手之间以及部件之间的相互依赖关系。此外，ACR还学习了跨手先验，以便借助第三种跨手先验图更好地处理交互手的问题。最后，在聚合这些表示后，我们将估计出的参数$F_{out}$输入到MANO[^24]模型中，生成手部网格。

#### 3.1. 预备知识：手部网格表示

我们采用参数化模型MANO[^24]来表示手部，该模型包含姿态参数$\theta \in \mathbb{R}^{16 \times 3}$和形状参数$\beta \in \mathbb{R}^{10}$。我们利用6D表示[^36]来描述手部姿态，即$\theta \in \mathbb{R}^{16 \times 6}$。最终的手部网格M可通过可微分的MANO模型重构出来：$M = W(\beta, \theta)$。随后，可从网格中提取3D关节点$J_{3D} \in \mathbb{R}^{21 \times 3}$：$\hat{J}_{3D} = RM$，其中R是一个预训练的线性回归器，而$M \in \mathbb{R}^{778 \times 3}$。

#### 3.2. 注意力编码器的表示

在本节中，我们将详细介绍图2所示的各输出映射图或AE（注意力编码器）模块及其表示方式。给定单目RGB图像后，我们首先通过CNN骨干网络提取密集特征图$F \in \mathbb{R}^{C \times H \times W}$。随后，ACR利用三种像素级表示来实现鲁棒的非固定手部表示解耦，以及在复杂交互场景下的相互推理。为表述清晰，我们用$\boldsymbol{h} \in \{L, R\}$来表示手的左右属性。

参数映射：$M_p \in \mathbb{R}^{218 \times H \times W}$ 可以被拆分为左右手分别使用的两个映射，其中前 109 个维度用于左手特征聚合，其余部分用于右手。对于每个映射 $M_p^h \in \mathbb{R}^{109 \times H \times W}$ 而言，这 109 个维度由两部分组成：MANO 参数 $\theta \in \mathbb{R}^{16 \times 6}$、$\beta \in \mathbb{R}^{10}$，以及一组弱透视相机参数 $(s, t_x, t_y)$，这些参数代表了单只手在图像上 2D 投影的缩放与平移信息。该映射是我们用于聚合表示学习的基础模块。

手部中心映射：$A_c \in \mathbb{R}^{2 \times H \times W}$ 包含左右手对应的两部分内容，可表示为 $A_c^h \in \mathbb{R}^{1 \times H \times W}$。每个映射均以 2D 高斯热图的形式呈现，其中每个像素代表手部中心位于该 2D 位置的概率。手部中心被定义为所有可见的掌指关节的中心，即手指与手掌相连的关节。为了实现自适应的全局表示学习，我们在数据准备阶段会根据手的边界框大小来调整高斯核尺寸 K，从而生成用于监督的热图（详情见补充材料）。作为 ACR 的第一种表示形式，该映射能够明确缓解双手之间的相互依赖关系，并作为注意力掩码以辅助更好的全局表示学习。

部件分割映射：$A_p \in \mathbb{R}^{33 \times H \times W}$ 被学习为一个概率分割体。该体中的每个像素都是对应 33 个类别的概率逻辑值通道，其中包括 1 个背景类别以及每只手对应的 16 个手部部件类别，这些类别与 MANO 模型相对应。因此我们有 $A_p^h \in \mathbb{R}^{16 \times H \times W}$。我们通过使用可微神经渲染器对真实的 MANO 手部网格进行渲染，从而得到部件分割掩码 [^10]。作为 ACR 的第二种表示形式，该映射可作为部件表示学习的注意力掩码。

双手先验映射：$M_c \in \mathbb{R}^{218 \times H \times W}$ 包含两个映射 $M_c^h \in \mathbb{R}^{109 \times H \times W}$。它被拆分为两组参数，即 MANO 参数 $\theta \in \mathbb{R}^{16 \times 6}$、$\beta \in \mathbb{R}^{10}$ 以及用于双手逆向特征查询的 3 个相机参数。从经验来看，当两只手在交互过程中紧密接触时，它们的姿态会呈现出高度相关性。

---

![Image](images/44cc1799a427c104877d83aa68107acffe01438a2a8866df69f3e5d10003ce9c.jpg)

<div style="text-align: center;">Figure 2. ACR network architecture: ACR takes a full-person image and uses a feature map encoder to extract hand-center maps, part-segmentation maps, cross-hand prior maps, and parameter maps. Subsequently, the feature aggregator generates the final feature for the hand model regression based on these feature maps.</div>

交互场（IF），它在 3.4 节中有所介绍。作为我们的第三种表示形式，将该模块整合到我们稳健解耦的表示中，能够在剧烈交互场景下赋予我们强大的相互推理能力。

#### 3.3. 稳健的表示解耦

与现有所有用于交互式手部重建的方法 [^13] [^21] [^33] 不同，这些方法要求输入图像必须包含两只紧密交互的手，且占据图像的大部分区域，从而导致如图 1 所示的歧义性和不必要的输入限制。我们构建任意手部表示的第一步就是——通过分解模糊的手部表示来实现解耦。得益于手部中心映射强大的逐像素表示能力，我们能够解耦双手之间的依赖关系，并为两只手分别构建独立的特征表示。然而，当两个中心距离过近时，这些特征表示仍可能具有高度歧义性。随后，为了获得更好的解耦特征表示学习效果，受 [^28] 的启发，我们采用了一种考虑碰撞的中心基表示方式，通过应用公式 1 来进一步拆分两只手的特征。当两只手之间的距离 d 小于 $k_L + k_R + 1$ 时，新的中心将被生成如下：

 $$ \begin{aligned}\hat{\boldsymbol{C}}_{\boldsymbol{L}}&=C_{L}+\alpha R,\quad\hat{\boldsymbol{C}}_{\boldsymbol{R}}=C_{R}-\alpha R,\\\boldsymbol{R}&=\frac{k_{L}+k_{R}+1-d}{d}(C_{L}-C_{R})\end{aligned} $$

其中，$C_L, k_L$ 和 $C_R, k_R$ 代表两个手部中心及其核大小。R表示从$C_L$到$C_R$的排斥向量。此外，$\alpha$是指用于调节强度的系数。最后，全局表征$\boldsymbol{F}_g^h \in \mathbb{R}^{J*6+(10+3)}$是通过将手部中心图$A_c$与参数图$M_p$结合得到的：

 $$ F_{g}^{h}=f_{g}(\sigma(A_{c}^{h})\otimes M_{p}^{h}) $$

其中，$\sigma$、$\odot$和$f_g$分别对应空间softmax、逐像素乘法以及逐点多层感知机（MLP）层，还有$\boldsymbol{h} \in \{L, R\}$。

借助这样的全局特征表征$F_g$，我们成功解耦了各部分间的依赖关系。然而，仅依靠这种全局表征会在遮挡情况下导致不稳定性，并且由于各手部部件间存在不必要的内部依赖，还会丧失恢复细节的能力。因此，我们需要进一步利用部位分割图$A_p$来解耦表征，具体做法参考[^11]。为简单起见，此处忽略$\boldsymbol{h} \in \{L, R\}$，两只手的计算公式如下：

 $$ F_{p}^{(j,c)}=\sum_{h,w}\sigma(A_{p}^{j})\odot M_{p}^{c}, $$

其中，$F_p \in \mathbb{R}^{J \times C}$是最终的部位表征，$F_p^{(j,c)}$是其在(j, c)处的像素值。$\odot$表示哈达玛积运算。因此，经过空间softmax归一化后的部位分割图$\sigma$被用作软注意力掩码，以在$M_p^c$中聚合特征。我们遵循现有方法，通过先对张量进行重塑来实现基于点积的方法：$F_p = \sigma(A_p^*)^T M_p^c$，

---

![Image](images/ec46e2181052438a359784cb08ea8b3b7d2faeb34335c2fbae30b6871f674757.jpg)

<div style="text-align: center;">Figure 3. This compares our full model and a model without mutual reasoning module. It is shown that our mutual reasoning module explicitly helps to deduce and recover the correlation between closely interacting hands with less mutual occlusion.</div>

其中，$M_p^* \in R^{HW \times C}$和$A_p^* \in R^{HW \times J}$分别是参数图$M_p$以及去除背景掩码后的重塑部位分割图$A_p$。最终，全局特征表征$F_g$、部位表征$F_p$被整合为我们所提出的鲁棒的交互与内部依赖解耦表征。

#### 3.4. 交互的相互推理

尽管这种解耦表征能力强大，但研究表明，当两只手紧密交互时，它们的状态高度相关[^13] [^33]。若仅将交互依赖与内部依赖解耦后作为最终表征，会削弱重建交互手部时的相互推理能力。因此，我们设计了一种新颖的相互推理策略，通过逆向查询来复用基于中心的注意力机制：

 $$ \begin{align*}F_{c}^{R\rightarrow L}&=f_{c}(\sigma(A_{c}^{R})\otimes M_{c}^{L}),\\F_{c}^{L\rightarrow R}&=f_{c}(\sigma(A_{c}^{L})\otimes M_{c}^{R}),\end{align*} $$

其中，$F_c^{R \to L}$是从右手注意力中推导出的左手先验表征，反之亦然。$M_c$是跨手先验注意力块输出的密集特征图，$A_c$是我们基于中心的注意力图，L和R分别代表左手和右手。$\sigma$、$\otimes$和$f_c$分别对应空间softmax、逐像素乘法以及逐点MLP层。

然而，对于距离较远的两只手或单只手而言，它们之间的相关性应被减弱或消除。为此，我们还提出了一种新机制——交互场（IF）来调节依赖强度。具体来说，首先计算两只手之间的欧几里得距离d；当两只手过于靠近并进入$\mathbf{IF} = \gamma(k_L + k_R + 1)$所定义的区域时，其中$\gamma$为场灵敏度尺度，此时交互强度系数$\lambda$可表示为：

 $$ \lambda_{(}C_{L},C_{R})=\left\{\begin{array}{l l}0,&d>I F\\ \frac{I F-d}{d}||C_{L}-C_{R}||_{1},&d<=I F\end{array}\right. $$

交互强度系数$\lambda$能够帮助我们的双手交叉先验表示来构建自适应交互场，从而更好地建模两只手之间的相关性，同时对紧密交互和分离状态保持敏感性，以避免不必要的特征纠缠。最终，我们得到的自适应鲁棒表示可表示为：

 $$ F_{o u t}^{h}=f_{o u t}(c o n c a t(F_{g}^{h},F_{p}^{h*},\lambda F_{c}^{\hat{h}\to h})) $$

其中$f_{out}$是用于回归最终表示$F_{out}^h \in \mathbb{R}^{109}$的逐点MLP层，而$F_c^{h*} \in \mathbb{R}^{J*C}$则是经过重塑的部件解耦表示。最终，这些结果会被输入到MANO模型中以回归最终的手部网格。为简便起见，我们在公式5中用$\hat{h}$来表示另一只手。

#### 3.5. 损失函数

为了利用三种强大的表示来训练ACR，我们的损失函数被分为三组，如图2所示。具体而言，ACR的训练由左手和右手所有损失项的加权和进行监督：网格恢复损失、基于中心的注意力损失以及基于部件的注意力损失。

中心注意力损失可以被视为一个分割问题，不过图像上的高斯分布区域相对较小，且正负样本之间存在不平衡现象。因此，我们利用焦点损失[^16]来对中心图回归器进行监督，其形式如下：

 $$ \mathcal{L}_{\mathbf{c}}=\sum_{h\in\{L,R\}}f(A_{c}^{h},\hat{A}_{c}^{h}), $$

其中f代表焦点损失[^16]，$h \in \{L, R\}$表示左手和右手，$\hat{A}_c^h$则是手型h对应的真实手部中心图。为简便起见，此处我们简化了焦点损失的公式表述，详细内容可在补充材料中查看。

部件注意力损失用于监督基于部件的表示学习。我们仅在最初2个训练周期中使用交叉熵损失来监督该损失，之后便与其他损失一同继续训练，直至模型收敛。

 $$ \mathcal{L}_{s e g}=\frac{1}{H W}\sum_{h,w}{C r o s s E n t r o p y}(\sigma(A_{p}^{h w}),A_{p}^{\hat{h}w}), $$

其中$\hat{A}_p$表示真实部件分割图，$A_p^{hw}$则是位置(h,w)处的真实类别标签。与我们使用的部件软注意力掩码不同，这里的$A_p^{hw} \in \mathbb{R}^{33 \times 1 \times 1}$

---

指的是像素位置$(h, w)$处的概率分割体积，而$\sigma$则表示沿通道维度的softmax运算。此处无需省略背景类别。

网格恢复损失针对每只手单独应用，因此为简便起见，此处我们忽略了手性$\boldsymbol{h} \in \{L, R\}$。最终，左手和右手的损失会被汇总为总损失。我们并未依赖真实顶点位置，因为这样做可能会损害模型的泛化能力；而是将网格损失拆分为三个部分：

 $$ \mathcal{L}_{m e s h}=\mathcal{L}_{m a n o}+\mathcal{L}_{j o i n t}, $$

其中$\mathcal{L}_{mano}$是MANO参数$\theta$和$\beta$的L2损失加权之和，即$w_{\theta}\mathcal{L}_{\theta} + w_{\beta}\mathcal{L}_{\beta}$：

 $$ \mathcal{L}_{\boldsymbol{\theta}}=w_{\boldsymbol{\theta}}||\boldsymbol{\theta}-\hat{\boldsymbol{\theta}}||_{2}^{2},\quad\mathcal{L}_{\boldsymbol{\beta}}=w_{\boldsymbol{\beta}}||\boldsymbol{\beta}-\hat{\boldsymbol{\beta}}||_{2}^{2}, $$

其中$\mathcal{L}_{joint}$是$\mathcal{L}_{3D}$、$\mathcal{L}_{2D}$以及骨长损失$\mathcal{L}_{bone}$的加权和，旨在为重建的网格提供更好的几何约束。该骨长损失通过真实骨长$i^{th}$与预测骨长$\hat{b}_{i}$之间的L2距离来计算，即$b_{i}$：

 $$ \begin{aligned}&\mathcal{L}_{\mathbf{3}D}=w_{j3d}\mathcal{L}_{M P J P E}+w_{p a j3d}\mathcal{L}_{P A-M P J P E},\\&\mathcal{L}_{P J\mathbf{2}D}=w_{p j2d}||P J_{2D}-\hat{J_{2D}}||_{2}^{2},\\&\mathcal{L}_{b o n e}=\sum_{i}||b_{i}-\hat{b_{i}}||_{2}^{2},\\ \end{aligned} $$

其中 $\mathcal{L}_{MPJPE}$ 是真实3D关节 $J_{3D}$ 与从预测网格中得到的预测关节 $J_{3D}$ 之间的L2损失。$\mathcal{L}_{PA-MPJPE}$ 被定义为经过Procrustes对齐的平均关节位置误差（PA-MPJPE）。我们并不直接监督相机参数，而是通过计算真实值 $J_{2D}$ 与由弱透视相机投影得到的2D关节 $P_{2D}$ 之间的L2损失来调整相机参数：即 $P_{2D}$ 表示为 $x_{pj2d} = s x_{3D} + t_{x}, y_{pj2d} = s y_{3d} + t_{y}$。最后，为了计算作为加权和的 $\mathcal{L}_{mesh}$，我们应用 $w_{j3d} = 200$、$w_{paj3d} = 360$、$w_{pj2d} = 400$、$w_{bl} = 200$。对于 $\mathcal{L}_{mano}$，我们在实验中使用了 $w_{pose} = 80$ 和 $w_{shape} = 10$。

总损失是上述各种损失的加权和，可以表示为：

 $$ \mathcal{L}_{t o t a l}=\mathcal{L}_{m e s h}+w_{c}\mathcal{L}_{c}+w_{p}\mathcal{L}_{s e g}, $$

其中 $w_c = 80$、$w_p = 160$ 以及 $\mathcal{L}_{mesh}$ 本身已经是加权求和形式。只有当相应的真实数据可用时，各个部分才会被激活。最终，所有这些损失会以端到端的方式同时训练。

### 4. 实验

实现细节：我们的网络基于PyTorch实现 [^23]。对于主干网络，我们分别使用ResNet-50 [^8] 和HRNet-W32 [^3] 进行训练，以分别获得更快的推理速度或更好的重建效果。与现有需要手部检测器的方法不同，我们的方法能够以端到端方式重建任意手部。此外，我们的方法不限于双手输入。给定未经裁剪或检测的单目原始RGB图像，所有输入原始图像和分割图都会被缩放至 $512 \times 512$，同时保持相同的宽高比并用零填充，随后我们通过CoordConv $f \in R^{(C+2) \times H \times W}$ 从主干网络中提取特征图 [^17]。这些特征图最终会被送入四个卷积块，以生成用于表征聚合的四张图谱。

训练：为了在InterHand2.6M数据集上进行对比，我们使用Adam优化器，学习率设为 $5e^{-5}$，训练八个周期。当没有有效的MANO标签时，我们不会监督 $L_{seg}$ 和 $L_{MANO}$，因为我们的真实分割数据是通过神经渲染器 [^10] 对真实的MANO手部网格进行渲染得到的。在所有实验中，为了加快训练进程，我们使用来自 [^5] 的预训练HRNet-32W主干网络来初始化我们的网络。我们使用2块V100 GPU进行训练，批量大小为64。主干网络的特征尺寸为 $128 \times 128$，四个像素对齐输出图谱的尺寸为 $64 \times 64$。训练期间我们采用了随机缩放、旋转、翻转和颜色抖动等数据增强手段。

测试：除非另有说明，所有实验中使用的主干网络均为HRNet-32W。为了与最先进的方法进行对比，我们采用完整的官方测试集进行评估。置信度阈值设为0.25，最大检测数量为一只左手和一只右手，因为在所有训练和测试集中都仅包含一只左手和一只右手。

评估指标：为了评估双手重建的准确性，我们首先报告平均关节位置误差（MPJPE）以及经过Procrustes对齐的平均关节位置误差（PA-MPJPE），单位均为毫米。根据以往的研究方法，这两种误差都是在关节根节点对齐之后计算得出的。我们还通过平均顶点位置误差（MPVPE）以及经过Procrustes对齐的平均顶点位置误差（PA-MPVPE）来评估在FreiHand数据集上手部形状的重建精度。有关这些指标的详细信息请参阅补充材料。

#### 4.1. 数据集

InterHand2.6M [^21]是首个也是目前唯一一个公开可用的包含精准双手网格标注的双手交互数据集。这个大规模的真实采集数据集不仅包含精准的人体（H）和机器（M）三维姿态及网格标注，总共包含1,361,062帧训练数据、849,160帧测试数据以及380,125帧验证数据。这些数据集被分为两部分：交互手（IH）和单手（SH）。我们的实验采用的是带有H+M标注的5 FPS IH子集。

---

![Image](images/f46376bc2f2e0f56798d2c4a246eb988eaa9376c82a14edbe90c2b9f38f3fdff.jpg)

<div style="text-align: center;">Figure 4. Qualitative comparison with on InterHand 2.6M test dataset. Our approach generates better results in two-hand reconstruction, particularly in challenging cases such as external occlusion (1), truncation (3-4), or bending one finger with another hand (6). More results can be found in the Supplementary Material.</div>

FreiHand [^40]是一个单手三维姿态估计数据集。每一帧数据都包含MANO标注和三维关键点标注。其中用于训练的帧数为$4 \times 32,560$，用于评估和测试的帧数为3960帧。最初的包含32560帧的数据序列是在绿幕背景下采集的，因此便于去除背景。

#### 4.2. 与现有最先进方法的比较

在InterHand2.6M和FreiHand数据集上的结果：我们首先在InterHand2.6M数据集上将我们的方法与单手及交互手方法进行比较。我们按照官方划分方式训练模型，并在InterHand2.6M数据集的官方测试集上报告结果以确保比较的公平性。由于IntagHand的报道结果是基于筛选后的测试集得出的，因此我们运行其开源代码以获取在标准测试集上的结果。表1展示了在交互手（IH MPJPE）、单手（SH MPJPE）子集以及完整数据集（MPJPE）上的比较结果。不出所料，我们可以观察到单手方法在IH子集上的表现通常较差，因为其设计是针对单手输入。接下来，我们与两种最先进的交互手方法[^33]和[^13]进行比较。前者采用了一种细化策略，即从深层特征中预测初始姿态和形状，再逐步利用低层特征对回归结果进行细化；后者IntagHand则结合金字塔特征和基于GCN的模块来学习隐式注意力机制，以解决遮挡和交互问题，且IntagHand是与我们同时期开展的研究，其性能优于[^33]。然而，我们提出的方法无需额外信息就能持续超越IntagHand。具体而言，我们的方法在IH子集上取得了8.49的最低MPJPE值，证明了其在处理交互手任务时的有效性；在SH数据集上，我们的方法MPJPE值达到6.91，大幅优于IntagHand，显示出该方法在单手重建任务中依然具有优越性。

我们还在单手数据集FreiHand [^40]上将我们的方法与单手方法进行比较。我们按照官方划分方式分别在该数据集上训练和测试模型。如表2所示，基于Transformer的方法取得了最佳结果。尽管如此，我们的方法仍能与这种最先进的单手方法相媲美，这显示出其在改进单手重建方面的潜力。

定性评估：我们此前已在定量实验中证明，我们的方法显著优于IntagHand。为了深入探究这一结果，我们对这两种方法进行了定性比较。有趣的是，在外部遮挡和手部被截断等复杂情况下，我们的方法通常能生成比IntagHand更好的重建结果。图4展示了一些此类案例。这一结果表明我们的方法…

---

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'>extra info.</td><td style='text-align: center; word-wrap: break-word;'>MPJPE</td><td style='text-align: center; word-wrap: break-word;'>MPVPE</td><td style='text-align: center; word-wrap: break-word;'>IH MPJPE</td><td style='text-align: center; word-wrap: break-word;'>IH MPVPE</td><td style='text-align: center; word-wrap: break-word;'>SH MPJPE</td><td style='text-align: center; word-wrap: break-word;'>SH MPVPE</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>(-) Zimmermann et al.[^39]</td><td style='text-align: center; word-wrap: break-word;'>Box</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>36.36</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>(-) Zhou et al.[^37]</td><td style='text-align: center; word-wrap: break-word;'>Box</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>23.48</td><td style='text-align: center; word-wrap: break-word;'>23.89</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>(-) Boukhayma et al.[^2]</td><td style='text-align: center; word-wrap: break-word;'>Box</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>16.93</td><td style='text-align: center; word-wrap: break-word;'>17.96</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>(-) Spurr et al. [^27]</td><td style='text-align: center; word-wrap: break-word;'>Box</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>15.40</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Moon et al. [^21]</td><td style='text-align: center; word-wrap: break-word;'>Box</td><td style='text-align: center; word-wrap: break-word;'>13.98</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>16.02</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>12.16</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Fan et al. [^5]</td><td style='text-align: center; word-wrap: break-word;'>Box</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>14.27</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>11.32</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Zhang et al. [^33]</td><td style='text-align: center; word-wrap: break-word;'>Box</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>13.48</td><td style='text-align: center; word-wrap: break-word;'>13.95</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>IntagHand [^13]</td><td style='text-align: center; word-wrap: break-word;'>Box</td><td style='text-align: center; word-wrap: break-word;'>9.95</td><td style='text-align: center; word-wrap: break-word;'>10.29</td><td style='text-align: center; word-wrap: break-word;'>10.27</td><td style='text-align: center; word-wrap: break-word;'>10.53</td><td style='text-align: center; word-wrap: break-word;'>9.67</td><td style='text-align: center; word-wrap: break-word;'>9.91</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ours</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>8.09</td><td style='text-align: center; word-wrap: break-word;'>8.29</td><td style='text-align: center; word-wrap: break-word;'>9.08</td><td style='text-align: center; word-wrap: break-word;'>9.31</td><td style='text-align: center; word-wrap: break-word;'>6.85</td><td style='text-align: center; word-wrap: break-word;'>7.01</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>IntagHand [^13]</td><td style='text-align: center; word-wrap: break-word;'>Box+scale</td><td style='text-align: center; word-wrap: break-word;'>9.18</td><td style='text-align: center; word-wrap: break-word;'>9.42</td><td style='text-align: center; word-wrap: break-word;'>9.40</td><td style='text-align: center; word-wrap: break-word;'>9.68</td><td style='text-align: center; word-wrap: break-word;'>9.0</td><td style='text-align: center; word-wrap: break-word;'>9.18</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ours</td><td style='text-align: center; word-wrap: break-word;'>scale</td><td style='text-align: center; word-wrap: break-word;'>7.41</td><td style='text-align: center; word-wrap: break-word;'>7.63</td><td style='text-align: center; word-wrap: break-word;'>8.41</td><td style='text-align: center; word-wrap: break-word;'>8.53</td><td style='text-align: center; word-wrap: break-word;'>6.09</td><td style='text-align: center; word-wrap: break-word;'>6.21</td></tr></table>

<div style="text-align: center;">Table 1. Comparison with state-of-the-art on InterHand2.6M[^21]. (-) means single hand reconstruction method. Except for our approach, all the others use ground-truth bounding boxes from the dataset. The single-hand results are taken from [^33]. We report results on the official test split of the InterHand2.6M dataset for fair comparison. We noted that the reported result of IntagHand is obtained from a filtered test set. We, therefore, get the result on the standard test set by running its released code [^33].</div>

<div style="text-align: center;">Input</div>

<div style="text-align: center;">Ours</div>

<div style="text-align: center;">IntagHand</div>

![Image](images/3edc9b8e7bcfab5d616ce2192931e619695cd75e7c63904e7f94435e3a34e811.jpg)

<div style="text-align: center;">Figure 5. Qualitative comparison with IntagHand [^13] on in-the-wild images.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Method</td><td style='text-align: center; word-wrap: break-word;'>PA-MPJPE</td><td style='text-align: center; word-wrap: break-word;'>PA-MPVPE</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Mesh Graphormer $^{[15]}$</td><td style='text-align: center; word-wrap: break-word;'>6</td><td style='text-align: center; word-wrap: break-word;'>5.9</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>METRO $^{[14]}$</td><td style='text-align: center; word-wrap: break-word;'>6.8</td><td style='text-align: center; word-wrap: break-word;'>6.7</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>I2L-MeshNet $^{[19]}$</td><td style='text-align: center; word-wrap: break-word;'>7.4</td><td style='text-align: center; word-wrap: break-word;'>7.6</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HandTailor $^{[18]}$</td><td style='text-align: center; word-wrap: break-word;'>8.2</td><td style='text-align: center; word-wrap: break-word;'>8.7</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>ours</td><td style='text-align: center; word-wrap: break-word;'>6.9</td><td style='text-align: center; word-wrap: break-word;'>7.0</td></tr></table>

<div style="text-align: center;">Table 2. Comparison with state-of-the-art on FreiHand [^40] Benchmark.</div>

用于双手重建的方法对某些受损观测数据的敏感度更低。我们还尝试用该方法对包含单手、自拍视角、手物交互以及手部被截断等情况的野外图像进行重建。图5展示了一些手部被精准重建的代表性图像，这证明了我们的方法具有很强的…

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'>MPJPE</td><td style='text-align: center; word-wrap: break-word;'>IH MPJPE</td><td style='text-align: center; word-wrap: break-word;'>SH MPJPE</td><td style='text-align: center; word-wrap: break-word;'>PAMPJPE</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>G(ResNet-50)</td><td style='text-align: center; word-wrap: break-word;'>9.78</td><td style='text-align: center; word-wrap: break-word;'>10.56</td><td style='text-align: center; word-wrap: break-word;'>8.77</td><td style='text-align: center; word-wrap: break-word;'>6.56</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>G(HRNet-32W)</td><td style='text-align: center; word-wrap: break-word;'>9.56</td><td style='text-align: center; word-wrap: break-word;'>10.35</td><td style='text-align: center; word-wrap: break-word;'>8.65</td><td style='text-align: center; word-wrap: break-word;'>6.41</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>P</td><td style='text-align: center; word-wrap: break-word;'>8.70</td><td style='text-align: center; word-wrap: break-word;'>9.76</td><td style='text-align: center; word-wrap: break-word;'>7.26</td><td style='text-align: center; word-wrap: break-word;'>5.59</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>G+C</td><td style='text-align: center; word-wrap: break-word;'>9.1</td><td style='text-align: center; word-wrap: break-word;'>9.88</td><td style='text-align: center; word-wrap: break-word;'>8.11</td><td style='text-align: center; word-wrap: break-word;'>6.08</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>G+P</td><td style='text-align: center; word-wrap: break-word;'>8.52</td><td style='text-align: center; word-wrap: break-word;'>9.69</td><td style='text-align: center; word-wrap: break-word;'>6.87</td><td style='text-align: center; word-wrap: break-word;'>5.49</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>G+C+P</td><td style='text-align: center; word-wrap: break-word;'>8.09</td><td style='text-align: center; word-wrap: break-word;'>9.08</td><td style='text-align: center; word-wrap: break-word;'>6.85</td><td style='text-align: center; word-wrap: break-word;'>5.21</td></tr></table>

<div style="text-align: center;">Table 3. Ablation study on the part (P), global (G), and cross-hand (C) prior representation. We do not use any extra information such as bounding box and GT scale in ablation study.</div>

通用性，在现实世界应用中极具前景。

#### 4.3. 消融研究

如第3节所述，基于注意力协作的特征聚合器（ACFA）主要通过三种表征的协作来发挥作用：全局表征（G，基线）、基于局部的表征（P）以及跨手注意力先验（C）。因此，我们研究了每个模块的有效性。我们将基于中心的表征作为基线，逐步添加其他模块以观察其带来的改进。如表3所示，我们可以清楚地看到基于局部的表征和跨手注意力先验都能显著改善基线性能。更有趣的是，在IH数据集上添加C所带来的改进比在SH数据集上更为显著。这表明跨手注意力先验有助于应对手部交互带来的挑战。

### 5. 结论与未来工作

结论：我们提出了一种简单却有效的任意手部重建方法，能够应对单目RGB图像中的更多挑战，比如手部交互、手部被截断以及外部遮挡等问题。为此，我们提出利用中心和局部注意力来缓解手部之间及局部之间的依赖关系，从而放宽输入约束，降低预测结果对少量被遮挡或截断区域的敏感度。实验表明，我们的方法是一种颇具前景的解决方案，可作为基准来启发更多关于任意手部姿态和形状重建的研究。

---

局限性及未来工作：我们的主要局限在于缺乏针对网格碰撞的明确解决方案，导致偶尔会出现网格相互穿透的现象，而这一问题可通过利用相对信息或透视相机模型来进行精确的深度推理并更好地模拟平移来解决。

## 参考文献

## 参考文献

[^1]: S. Baek, K. I. Kim, and T.-K. Kim. Pushing the envelope for rgb-based dense 3d hand pose estimation via neural rendering. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 1067–1076, 2019. 1, 2

[^2]: A. Boukhayma, R. d. Bem, and P. H. Torr. 3d hand shape and pose from images in the wild. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 10843–10852, 2019. 1, 2, 3, 8

[^3]: B. Cheng, B. Xiao, J. Wang, H. Shi, T. S. Huang, and L. Zhang. Higherhrnet: Scale-aware representation learning for bottom-up human pose estimation. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 5386–5395, 2020. 6

[^4]: V. Choutas, G. Pavlakos, T. Bolkart, D. Tzionas, and M. J. Black. Monocular expressive body regression through body-driven attention. In European Conference on Computer Vision, pages 20–40. Springer, 2020. 2

[^5]: Z. Fan, A. Spurr, M. Kocabas, S. Tang, M. Black, and O. Hilliges. Learning to disambiguate strongly interacting hands via probabilistic per-pixel part segmentation. In International Conference on 3D Vision (3DV), 2021. 3, 6, 8

[^6]: Y. Feng, V. Choutas, T. Bolkart, D. Tzionas, and M. J. Black. Collaborative regression of expressive bodies using moderation. In 2021 International Conference on 3D Vision (3DV), pages 792–804. IEEE, 2021. 2

[^7]: L. Ge, Z. Ren, Y. Li, Z. Xue, Y. Wang, J. Cai, and J. Yuan. 3d hand shape and pose estimation from a single rgb image. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 10833–10842, 2019. 2

[^8]: K. He, X. Zhang, S. Ren, and J. Sun. Deep residual learning for image recognition. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 770–778, 2016. 6

[^9]: H. Joo, T. Simon, and Y. Sheikh. Total capture: A 3d deformation model for tracking faces, hands, and bodies. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 8320–8329, 2018. 2

[^10]: H. Kato, Y. Ushiku, and T. Harada. Neural 3d mesh renderer. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 3907–3916, 2018. 2, 3, 6

[^11]: M. Kocabas, C.-H. P. Huang, O. Hilliges, and M. J. Black. Pare: Part attention regressor for 3d human body estimation. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 11127–11137, 2021. 4

[^12]: D. Kulon, R. A. Guler, I. Kokkinos, M. M. Bronstein, and S. Zafeiriou. Weakly-supervised mesh-convolutional hand reconstruction in the wild. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 4990–5000, 2020. 2

[^13]: M. Li, L. An, H. Zhang, L. Wu, F. Chen, T. Yu, and Y. Liu. Interacting attention graph for single image two-hand reconstruction. In IEEE/CVF Conf. on Computer Vision and Pattern Recognition (CVPR), June 2022. 1, 3, 4, 5, 7, 8

[^14]: K. Lin, L. Wang, and Z. Liu. End-to-end human pose and mesh reconstruction with transformers. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 1954–1963, 2021. 8

[^15]: K. Lin, L. Wang, and Z. Liu. Mesh graphormer. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 12939–12948, 2021. 8

[^16]: T.-Y. Lin, P. Goyal, R. Girshick, K. He, and P. Dollár. Focal loss for dense object detection. In Proceedings of the IEEE international conference on computer vision, pages 2980–2988, 2017. 5

[^17]: R. Liu, J. Lehman, P. Molino, F. Petroski Such, E. Frank, A. Sergeev, and J. Yosinski. An intriguing failing of convolutional neural networks and the coordconv solution. Advances in neural information processing systems, 31, 2018. 6

[^18]: J. Lv, W. Xu, L. Yang, S. Qian, C. Mao, and C. Lu. Handtailor: Towards high-precision monocular 3d hand recovery. arXiv preprint arXiv:2102.09244, 2021. 3, 8

[^19]: G. Moon and K. M. Lee. I2l-meshnet: Image-to-lixel prediction network for accurate 3d human pose and mesh estimation from a single rgb image. In European Conference on Computer Vision, pages 752–768. Springer, 2020. 2, 8

[^20]: G. Moon, T. Shiratori, and K. M. Lee. Deephandmesh: A weakly-supervised deep encoder-decoder framework for high-fidelity hand mesh modeling. In European Conference on Computer Vision, pages 440–455. Springer, 2020. 2

[^21]: G. Moon, S.-I. Yu, H. Wen, T. Shiratori, and K. M. Lee. Interhand2.6m: A dataset and baseline for 3d interacting hand pose estimation from a single rgb image. In European Conference on Computer Vision (ECCV), 2020. 4, 6, 8

## [^22]: F. Mueller, M. Davis, F. Bernard, O. Sotnychenko, M. Verschoor, M. A. Otaduy, D. Casas, and C. Theobalt. Real-time pose and shape reconstruction of two interacting hands with a single depth camera. ACM Transactions on Graphics (TOG), 38(4):1–13, 2019. 2

---

[^23]: A. Paszke, S. Gross, F. Massa, A. Lerer, J. Bradbury, G. Chanan, T. Killeen, Z. Lin, N. Gimelshein, L. Antiga, et al. Pytorch: An imperative style, high-performance deep learning library. Advances in neural information processing systems, 32, 2019. 6

[^24]: J. Romero, D. Tzionas, and M. J. Black. Embodied hands: Modeling and capturing hands and bodies together. ACM Transactions on Graphics, 36(6), 2017. 2, 3

[^25]: Y. Rong, J. Wang, Z. Liu, and C. C. Loy. Monocular 3d reconstruction of interacting hands via collision-aware factorized refinements. In 2021 International Conference on 3D Vision (3DV), pages 432–441. IEEE, 2021. 1, 3

[^26]: B. Smith, C. Wu, H. Wen, P. Peluse, Y. Sheikh, J. K. Hodgins, and T. Shiratori. Constraining dense hand surface tracking with elasticity. ACM Transactions on Graphics (TOG), 39(6):1–14, 2020. 3

[^28]: Y. Sun, Q. Bao, W. Liu, Y. Fu, B. Michael J., and T. Mei. Monocular, one-stage, regression of multiple 3d people. In ICCV, 2021. 4

[^27]: A. Spurr, J. Song, S. Park, and O. Hilliges. Cross-modal deep variational hand pose estimation. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 89–98, 2018. 8

[^29]: X. Tang, T. Wang, and C.-W. Fu. Towards accurate alignment in real-time 3d hand-mesh reconstruction. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 11698–11707, 2021. 1, 2

[^30]: J. Taylor, V. Tankovich, D. Tang, C. Keskin, D. Kim, P. Davidson, A. Kowdle, and S. Izadi. Articulated distance fields for ultra-fast tracking of hands interacting. ACM Transactions on Graphics (TOG), 36(6):1–12, 2017. 2

[^31]: J. Wang, F. Mueller, F. Bernard, S. Sorli, O. Sotnychenko, N. Qian, M. A. Otaduy, D. Casas, and C. Theobalt. Rgb2hands: real-time tracking of 3d hand interactions from monocular rgb video. ACM Transactions on Graphics (ToG), 39(6):1–16, 2020. 1, 3

[^32]: D. Xiang, H. Joo, and Y. Sheikh. Monocular total capture: Posing face, body, and hands in the wild. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 10965–10974, 2019. 2

[^33]: B. Zhang, Y. Wang, X. Deng, Y. Zhang, P. Tan, C. Ma, and H. Wang. Interacting two-hand 3d pose and shape reconstruction from single color image. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 11354–11363, 2021. 1, 3, 4, 5, 7, 8

[^34]: X. Zhang, Q. Li, H. Mo, W. Zhang, and W. Zheng. End-to-end hand mesh recovery from a monocular rgb image. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 2354–2364, 2019. 1, 2

[^35]: Y. Zhang, Z. Li, L. An, M. Li, T. Yu, and Y. Liu. Lightweight multi-person total motion capture using sparse multi-view cameras. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 5560–5569, 2021. 2

[^36]: Y. Zhou, C. Barnes, J. Lu, J. Yang, and H. Li. On the continuity of rotation representations in neural networks. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 5745–5753, 2019. 3

[^37]: Y. Zhou, M. Habermann, W. Xu, I. Habibie, C. Theobalt, and F. Xu. Monocular real-time hand shape and motion capture using multi-modal data. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 5346–5355, 2020. 1, 2, 8

[^38]: Y. Zhou, M. Habermann, I. Habibie, A. Tewari, C. Theobalt, and F. Xu. Monocular real-time full body capture with interpart correlations. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 4811–4822, 2021. 2

[^39]: C. Zimmermann and T. Brox. Learning to estimate 3d hand pose from single rgb images. Technical report, arXiv:1705.01389, 2017. URL <https://lmb.informatik.uni-freiburg.de/projects/hand3d/>. <https://arxiv.org/abs/1705.01389>. 3, 8

[^40]: C. Zimmermann, D. Ceylan, J. Yang, B. Russell, M. Argus, and T. Brox. Freihand: A dataset for markerless capture of hand pose and shape from single rgb images. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 813–822, 2019. 2, 7, 8