Fig. 1. The proposed method, OmniHands, can robustly recover interactive hand motions and their relative movement from monocular inputs.
在本文中，我们提出了OmniHands——一种从单目或多视角输入中恢复交互式手部运动及其相对运动的通用方法。我们的方法解决了以往方法的三个主要局限：缺乏处理单手和交互式手部图像输入的统一解决方案；缺乏支持视频类任务和多视角任务等各类4D任务的通用框架；无法在真实世界数据中保持稳健的性能。为克服这些挑战，我们开发了一种具备新颖分词策略和上下文特征融合策略的通用架构，能够适配多种任务。具体而言，我们提出了关系感知型双手分词（RAT）方法，将位置关系信息嵌入到手部词元中。通过这种方式，我们的网络既能处理单手和双手输入，又能充分利用手部的相对位置信息，从而能够在真实场景中重建复杂的手部交互。由于这种分词方式体现了两只手的相对关系，它还能支持更有效的特征融合。为此，我们进一步开发了4D交互推理（FIR）模块，利用注意力机制对4D中的手部词元进行融合，并将其解码为3D手部网格和相对时序运动。我们在多个基准数据集上验证了该方法的有效性。在野外视频和真实场景中的实验结果，证明了该方法在交互式手部重建方面的卓越性能。代码和视频结果可在omnihands.github.io查看。
CCS概念：• 计算方法 → 运动捕捉。
其他关键词：手部运动捕捉、双手交互、多视角、时序
## ACM参考格式
## ACM 参考文献格式
Dixuan Lin、Yuxiang Zhang、Mengcheng Li、Wei Jing、Qi Yan、Qianying Wang、Yebin Liu 和 Hongwen Zhang。2026年。OmniHands：基于通用Transformer的交互式手部稳健运动捕捉技术。《ACM图形学汇刊》第45卷第4期，文章编号39（2026年4月），共17页。
手部网格恢复是虚拟/增强现实、人机交互、机器人技术以及具身人工智能等众多先进应用的基础技术。
尽管现有方法[Li等人，2022年；Lin等人，2021年；Yu等人，2023年]在该领域取得了显著进展，但仍有三大挑战尚未解决。首先，缺乏通用的方法……
尽管现有方法[Li等人，2022年；Lin等人，2021年；Yu等人，2023年]在该领域取得了显著进展，但仍有三大挑战尚未解决。首先，缺乏一种通用的方法。
---
该模型能够应对单手和双手输入的各种状态。当利用现有的单手重建模型来重建双手时，虽然它们可以分别重建每只手，但无法解决手部遮挡问题，也无法计算两手之间的相对距离。另一方面，当前的两手重建模型由于以包含双手的单张图像作为输入，因此仅限于重建双手靠近的场景，导致其泛化能力较差。其次，当前的手部恢复方法仅针对单目手部重建、基于视频的重建以及多视图重建等特定子问题，但至今仍缺乏能够统一处理这些任务的通用模型。第三，尽管当前的手部重建方法在测试数据上表现良好，但由于训练数据集规模不足，其在真实场景中的效果有限，实用价值不高。
近期基于Transformer的大规模模型（如GPT-4 [Achiam et al. 2023]、ViTpose [Xu et al. 2022]、HaMeR [Pavlakos et al. 2023]）所取得的成功，为我们提供了使用简单且容量大的模型以及大规模真实场景数据的思路。因此，我们提出了OmniHands——一种基于Transformer的通用解决方案，用于在各种场景下恢复交互式手部网格。Transformer具有多功能性，能够对单帧输入、时序输入和多视图输入等不同形式的输入执行统一的前向运算。此外，多层Transformer处理大规模数据的能力，使我们能够训练出在真实场景中具备强鲁棒性的通用模型，无论光照条件、背景或交互姿态如何。
在所提出的OmniHands方法中，我们统一了以下几个方面以实现鲁棒的四维手部网格恢复：i) 手部图像的状态。输入可以是单手图像或交互式手部图像。在以往的手部交互恢复方法中，通常将包含双手的单张图像作为输入。然而，为了同时适应单手和手部交互恢复场景，我们需要统一输入格式，使其能处理这两种输入类型，同时保留手部的相对位置信息。ii) 视点。输入同一时刻从多个相机视角拍摄的图像序列，通过不同视点间的信息互补来提升细节表现。iii) 时序序列。输入单目动态序列，通过评估运动模糊和物体遮挡条件下的手部运动，做出更精确的预测。由于多视图数据和时序数据均可视为上下文序列，因此可以应用统一的模块来融合这些上下文信息。
为解决这些问题，我们提出了关系感知型双手标记化（RAT）方法和四维交互推理（FIR）模块，用以统一处理空间上下文或时间上下文中的特征。
在关系感知型双手分词（Relation-aware Two-Hand Tokenization, RAT）中，我们分别对每只手的RGB信息进行裁剪和分词，同时在分词中保留手与手之间的相对位置信息。这种分词方法带来了三方面优势：i) RAT不依赖于两只手的同时出现，因此能够以统一的方式处理单手和双手输入；ii) RAT会考虑两只手的重叠情况并相应调整分词，这使得网络能够学习到更集中的手部分词分布，无论手的大小和位置如何变化；iii) RAT将两只手的相对位置显式编码到分词中，从而便于在现实场景中重建紧密且复杂的手部交互。
在获得图像分词后，我们引入上下文交互推理（Context Interaction Reasoning, FIR）模块，以统一融合上下文通道内的关联关系。这些关联关系可以是时间上的（随时间变化），也可以是空间上的（来自多个摄像头视角）。得益于所提出的RAT分词方法，FIR能够更有效地融合这些上下文信息，因为手部分词能够反映两只手的相对关系，进而提升手部网格和上下文运动恢复的鲁棒性。
综上所述，本研究的主要贡献可列举如下：
- 我们在Transformer中引入了关系感知型双手分词（RAT）。通过在分词过程中嵌入位置关系信息，RAT能够在各种场景下实现通用且信息丰富的手部输入处理，无论两只手是处于交互状态还是分离状态。
- 我们提出了一种4D交互推理（FIR）模块，用于融合空间或时间上的手部特征。RAT与FIR的结合进一步提升了手部网格和时间运动恢复的稳定性。
- 我们的最终解决方案OmniHands能够在现实场景中实现鲁棒的手部动作捕捉，作为一种多功能解决方案，可处理各种形式的手部输入，无论是包含单手还是双手的图像、单帧数据、时间序列数据还是多视角序列数据。
## 2 相关工作
### 2.1 单目手部动作捕捉
近年来，基于单目RGB输入的手部网格恢复取得了巨大进展。继单目人体网格恢复领域取得进展之后[Kanazawa et al. 2018; Kolotouros et al. 2019; Kolotouros et al. 2019; Tian et al. 2023; Zhang et al. 2022; Zhang et al. 2021]，一些研究人员[Baek et al. 2019; Boukhayma et al. 2019; Park et al. 2022; Pavlakos et al. 2023; Zhang et al. 2019]利用神经网络来回归MANO [Romero et al. 2017]等手部模板的驱动参数以恢复手部网格；而另一些研究者则倾向于通过GCN[Chen et al. 2021, 2022; Choi et al. 2020; Ge et al. 2019; Kulon et al. 2020; Tang et al. 2021]或Transformer[Lin et al. 2021; Lin et al. 2021]直接估计手部网格的顶点坐标。
近期，也有研究尝试同时恢复人的两只手。然而，由于姿态分布更广且遮挡情况更严重，双手网格恢复比单手恢复更具挑战性。此外，与包含丰富捕捉场景和姿势的大规模单手数据集[Pavlakos et al. 2023]相比，现有的双手数据集数量较少，且大多是在有限的环境中采集的。
双手网格恢复的一种简单方法是从输入图像中分别定位并裁剪出每只手，然后通过处理两张裁剪后的手部图像，将任务转化为单手场景。
---
这种策略在全身体姿态估计框架中被广泛应用[Choutas et al. 2020; Feng et al. 2021; Joo et al. 2018; Moon et al. 2022; Rong et al. 2021; Zhang et al. 2023, 2021b]。不过，该方法仍然基于单手恢复网络，在双手紧密交互的情况下往往表现不佳。此外，当两只手被单独处理时，它们之间的相对位移信息会变得模糊不清。
### 2.2 交互场景下的手部动作捕捉
为了更好地解决紧密交互场景下的双手姿态估计与网格恢复问题，一些研究人员[Kim et al. 2021; Li et al. 2022, 2024; Meng et al. 2022; Moon et al. 2020; Yu et al. 2023; Zhang et al. 2021a; Zuo et al. 2023]采用包含双手的图像作为输入。Zhang等人[Zhang et al. 2021a]利用二维关节投影注意力机制和上下文感知细化模块来提升姿态估计精度。Li等人[Li et al. 2022]、Cho等人[Cho et al. 2023]以及Jiang等人[Jiang et al. 2023]则利用Transformer模块[Dosovitskiy et al. 2020]来学习双手之间的隐性注意力关系。Zuo等人[Zuo et al. 2023]提出了一种基于数据的双手交互先验。Yu等人[Yu et al. 2023]基于二维手部中心图构建了双手之间的注意力关系。尽管上述方法取得了不错的效果，但仍存在一些局限。由于这些方法以包含双手的单张图像作为输入，当两只手距离较远时，图像中手部所占比例会过小，从而影响网格恢复的精度。Moon等人[Moon 2023]将两只手分开作为输入，但其对双手相对位置的预测依赖于边界框信息，而非图像中的视觉线索。此外，由于分离操作是在前向传播过程中进行的，因此该方法也需要输入包含双手的图像。更重要的是，上述网络设计本质上不具备恢复单手网格的能力，只能在双手场景下运行。
因此，我们提出了一种既支持单手恢复又支持双手恢复的新网络。我们以一张或两张裁剪后的手部图像作为输入，从而能够利用大规模单手数据集来提升双手恢复效果。我们还通过强大的Transformer模块[Dosovitskiy et al. 2020; Vaswani et al. 2017]对两张裁剪后的手部图像之间的二维相对距离和重叠区域进行编码，进而实现精准的相对根节点位移估计以及交互手部网格的恢复。
### 2.3 时序手部动作捕捉
目前已提出多种从时序数据恢复手部网格的方法 [Choi et al. 2021; Fu et al. 2023; Hasson et al. 2020; Kocabas et al. 2020; Liu et al. 2021; Yang et al. 2020]。RGB2Hands [Wang et al. 2020] 提出了一种实时手部追踪方法，该方法利用分割和深度预测来提升性能。Hasson等人 [Hasson et al. 2020] 利用相邻帧的光流，通过光度监督来约束手部和物体的运动。SeqHAND [Yang et al. 2020] 引入了卷积-LSTM层，以捕捉连续手部姿态之间的时序关系。Deformer [Fu et al. 2023] 提出了一种新颖的动态融合模块，该模块会对手部可见性清晰的相邻帧进行显式变形，从而从时序输入中实现鲁棒的手部姿态估计。VIBE [Kocabas et al. 2020] 和 TCMR [Choi et al. 2021] 则利用循环神经网络来生成时间上一致的运动。
然而，这些方法仅依赖序列数据。我们的方法引入了4D交互推理（FIR）模块，使得该方法不仅能从单帧输入中恢复出精确的双手交互网格，还能从被遮挡和运动模糊的时序输入中生成平滑且稳定的4D手部恢复结果。
### 2.4 多视角手部动作捕捉
从多视角输入恢复手部数据与多视角人体重建任务类似。近期已有许多针对多视角3D人体姿态估计的研究被提出 [Dong et al. 2019; Pavlakos et al. 2017; Qiu et al. 2019; Tu et al. 2020; Zhang et al. 2021b]。其中一些方法 [Dong et al. 2019; Qiu et al. 2019; Tu et al. 2020] 侧重于将3D关键点的投影与多个相机视角下的对应2D关键点进行匹配，而另一些方法 [Pavlakos et al. 2017; Zhang et al. 2021b] 则侧重于融合2D视觉特征来构建3D结构。
近期在多视角手部重建领域出现了各种创新方法。一些研究者 [Corona et al. 2022; Guo et al. 2023] 利用隐式场来恢复手部的形状和外观。Yang等人 [Yang et al. 2023] 将手部顶点作为点云，嵌入到多个相机视锥体的相交体积中，以此整合多视角信息。Wang等人 [Wang et al. 2024] 利用多视角手部数据来提升单视角手部重建的性能。此外，Gan等人 [Gan et al. 2024] 提出了一种神经渲染方案，用于优化手部网格和纹理。不过，大多数多视角方法都需要每个相机的外部和内部标定信息，才能准确确定手部的3D位置。相比之下，我们的方法仅需利用视觉信息就能恢复出精确的手部网格。
## 3 方法
在本节中，我们将介绍OmniHands的技术细节。如图2所示，OmniHands是一个基于Transformer的网络，它能够接受多种形式的输入：单帧图像、视频和多视角图像，以估计手部网格及其相对位置。在所提出的Transformer中，关键组件包括关系感知型双手标记化（RAT）和4D交互推理（FIR）。正如稍后将讨论的那样，这种标记化和推理策略使OmniHands能够成为处理各种形式手部图像的通用解决方案，无论图像中是单手还是双手，也无论图像是单帧、时序序列还是多视角序列。
### 3.1 问题表述
给定单帧图像、时间序列图像或多视角序列图像I，我们的目标是重建手部网格及其相对位置。我们采用了广泛使用的参数化手部模型MANO [Romero et al. 2017]。MANO定义了一个函数$\mathbf{M}\mathbf{n}(\theta, \beta)$，它以姿态参数$\theta \in \mathbb{R}^{48}$和形状参数$\beta \in \mathbb{R}^{10}$作为输入，输出3D手部网格$V \in \mathbb{R}^{778 \times 3}$以及3D关节关键点。
---
Fig. 2. Overview of our OmniHands framework. OmniHands is a transformer-based network, which takes various forms of inputs and estimates two-hand meshes with their relative positions. General modules are used to process different forms of input data. For simplicity of representation, since the hand tokens of both hands will undergo the same processing in FIR, the hand tokens $G^{*}$, $L^{*}$ in the diagram represent those of one hand. In the top left corner we present our training set, indicating the data volume and whether including Interaction, Time sequences, Multi-view, Real-World data.
$V \in \mathbb{R}^{21 \times 3}$。我们模型的输出为两只手的MANO参数：$\theta_R$、$\theta_L$、$\beta_R$、$\beta_L$，借助这些参数即可回归出每只手的网格和关节，同时还会输出一个向量v来表示两只手的根关节距离。我们将v定义为：从右手的3D根关节位置减去两只手的关节后，所得到的左手根关节的位置。需要注意的是，我们的方法能够稳健地处理单手和双手输入情况。当图像中仅能看到一只手时，我们的方法便简化为对单只手网格的估计。
### 3.2 关系感知型双手分词
现有的手部网格恢复方法通常以裁剪后的手部图像作为输入，却忽略了图像中的手部关系。此外，这些方法对双手场景和单手场景的处理方式不同，导致两只手交互或分开运动时会出现抖动伪影。为了在我们的基于Transformer的架构中解决这些问题，我们提出了关系感知型双手分词（Relation-aware Two-Hand Tokenization, RAT）方法，该方法会考虑两只手之间的关系，并能处理各种场景下的输入。借鉴3D人体/手部网格恢复领域的最新前沿做法 [Goel et al. 2023; Pavlakos et al. 2023; Xu et al. 2022]，我们采用ViT [Dosovitskiy et al. 2020]作为视觉编码器来对图像块进行分词。与这些方法不同的是，我们以统一的方式处理单手和双手输入，并在分词过程中将每只手的位置关系信息嵌入到其对应的词元中。
为实现这一点，我们首先从输入中定位每只手，并将其居中裁剪为对应的左手和右手图像。这一策略
---
能让我们的方法无论面对不同的尺度和相对位置，都能学习到更集中的手部词元分布。此外，通过分别对两只手的图像进行分词，我们的方法能在各种交互场景下保持输入的稳定性，最终提升解决方案的鲁棒性。为了弥补分离词元中缺少关系信息的问题，我们进一步考虑为手部词元补充相对位置嵌入信息，从而使它们能够感知到与另一只手及输入图像的相对位置。
具体来说，对于每张输入图像，我们按照ViT [Dosovitskiy et al. 2020]的方法将其分割成$H \times W$个图像块，随后将它们送入ViT骨干网络，得到视觉词元图$M \in \mathbb{R}^{H \times W \times C}$。为了给每个词元图补充关系信息，我们进一步计算出关系图$\{\mathcal{R}_{R2L}, \mathcal{R}_{L2R}\}$，并将它们嵌入最终的图像词元中，这样词元就能同时包含基于块级的视觉信息和块与块之间的关系信息。本质上，关系图是由相对距离图和重叠图组合而成的。在不影响通用性的前提下，我们详细描述右手的关系图$\mathcal{R}_{R2L}$如下。左手的关系图$\mathcal{R}_{L2R}$可采用类似方法计算。
相对距离图。相对距离图是根据原始图像中的手部位置计算得出的。
设 $\mathcal{B} = [c_x, c_y, s_x, s_y]$ 为一只手的边界框，$c_x, c_y$ 为其中心位置的x坐标和y坐标，$s_x, s_y$ 为x轴和y轴上的框尺度长度。我们得到一个位置图 $C \in \mathbb{R}^{H \times W \times 2}$，用于表示每个图像块中中心点的位置。对于位于第i列和第k行的图像块 $p(i, k)$，其值为
$$ C(p)=[c_{x}+\frac{(2i-W)\cdot s_{x}}{2W},c_{y}+\frac{(2k-H)\cdot s_{y}}{2H}]. $$
在我们的方法中，对于每只右手和左手，我们首先获取它们的位置图 $C_R, C_L$，然后计算相对距离图 $\mathcal{D} \in \mathbb{R}^{H \times W \times 2}$。右手在 $p(i, k)$ 处的相对距离表达式如下：
$$ \mathcal{D}_{R2L}(p)=\psi(\tau\cdot\frac{C_{R}(p)-C_{L}(p)}{s}) $$
其中 $s = (s_x, s_y)$ 是右手边界框的尺度，$\psi$ 是激活函数，$\tau$ 是用于调节激活距离的超参数。通过这种方式，当两只手靠近时，相对距离图会被激活。在我们的实验中，采用Sigmoid作为激活函数 $\psi$。
重叠图。为了明确表示两只手的重叠关系，我们进一步引入重叠图。将Inside $(p(i,k), \mathcal{B})$ 定义为一个函数，用于指示图像块p的中心是否位于边界框 $\mathcal{B}$ 内，我们将重叠图 $O \in \mathbb{R}^{H \times W \times 1}$ 定义为
$$ O_{R2L}(p)=\begin{cases}{1,}&{{I n s i d e}(p,\mathcal{B}_{L})}\\ {-1,}&{{o t h e r w i s e}}\\ \end{cases} $$
基于上述相对距离图和重叠图，关系图的计算方法是：首先将它们沿最后一个维度拼接起来，再利用多层感知机将其维度匹配到图像特征维度C：
$$ \mathcal{R}_{R2L}={M L P}(\mathcal{D}_{R2L}\oplus\mathcal{D}_{L2R}\oplus\mathcal{O}_{R2L}), $$
其中 $\oplus$ 表示拼接操作。最终，关系图作为相对位置嵌入，通过与原始ViT标记 $M_R$ 拼接，形成具有关系感知能力的标记 $M_R \in \mathbb{R}^{HW \times C}$。
$$ \mathcal{M}_{\mathcal{R}}=\mathit{F l a t t e n}(M_{R}+\mathcal{R}_{R2L}) $$
双手特征融合。借助这些标记图，我们可以通过双手解码器来融合双手特征。具体来说，对于每个单帧图像，我们将两只手的标记拼接成 $M = M_R \oplus M_L$。随后将M输入注意力模块以融合双手之间的信息。为了增强模型的适应性，我们首先利用空间编码器对标记序列M进行处理：
$$ \mathcal{M}^{*}=F F N(S o f t m a x(\frac{Q(\mathcal{M})K(\mathcal{M})}{\sqrt{d i m(\mathcal{M})}})V(\mathcal{M})) $$
其中Q、K、V分别代表经过左乘运算得到的查询矩阵、键矩阵和值矩阵。
由于关系感知标记同时包含了视觉特征和关系特征，自注意力模块能够根据视觉与相对位置关联性自适应地调整权重，从而减轻双手信息之间的相互依赖。例如，当关系感知标记表明两只手相距较远时，自注意力模块主要会分别与每只手的标记进行交互。自注意力模块的输出 $M^*$ 会进一步输入到空间解码器中，在此我们以常数向量 $\alpha \in \mathbb{R}^C$ 作为查询向量，从而得到对应每只手的全局手标记 $G \in \mathbb{R}^C$：
$$ G=F F N(S o f t m a x(\frac{Q(\alpha)K(\mathcal{M}^{*})}{\sqrt{d i m(\mathcal{M}^{*}))}})V(\mathcal{M}^{*})) $$
向量 $\alpha$ 是预先定义的，且左手和右手的取值不同。随后会根据具体任务需求，对手标记进行进一步的特征融合。
### 3.3 4D交互推理
无论输入是由单目时序帧还是多视角非时序帧组成，我们都可以将输入集合视为在上下文上相关的，因此采用类似的方法来关联其中的信息。我们的目标是利用统一的4D交互推理（FIR）模块来融合上下文知识，从而推断手部姿态以及两只手之间的相对位置。我们将讨论时序输入和多视角输入在处理方式上的差异。
时间上下文融合。在处理时间序列输入时，我们使用 $\{G_t\}_{t=1}^T$ 来表示两只手之一的时间序列，为简单起见，$\{G_t\}_{t=1}^T$ 将由全局上下文解码器进一步处理。
通过融合序列信息，我们的模型能够更稳健地预测中间帧的手部姿态，有效应对物体遮挡和动态模糊造成的干扰。需要注意的是，我们的方法也兼容单帧输入。在这种情况下，
---
我们会重复堆叠手部标记以获得序列标记$\mathcal{G} \in \mathbb{R}^{T \times C}$。由于时序输入具有顺序性，在将其输入到集体解码器以获取全局特征之前，需要为$\mathcal{G}$添加位置嵌入。我们只输出中间第$\frac{t}{2}$帧的结果，因为在预测中间帧时，既可以利用过去的信息也可以利用未来的信息，从而得到更精确的预测结果：
$$ G^{*}=F F N(S o f t m a x(\frac{Q(\alpha)K(\mathcal{G})}{\sqrt{d i m(\mathcal{G})}})V(\mathcal{G}) $$
在完成空间和时间维度的特征融合后，我们分别得到作为右手集体标记和左手集体标记的整合特征$G_R^*, G_L^* \in \mathbb{R}^C$。最后，这些特征会送入基于MLP的回归网络——全局回归器中，用于估计两只手的MANO参数$\theta_R, \theta_L, \beta_R, \beta_L$、它们之间的相对位置v，以及用于2D投影的相机参数$\pi$。
多视角上下文融合。在输入多摄像头视角的帧时，我们采用上述相同的方式获取手部标记$\mathcal{G} \in \mathbb{R}^{T \times C}$，此处T代表摄像头的数量而非时间长度。随后将它们拼接起来以获得序列全局特征$\mathcal{G}$。与时序上下文融合不同的是，由于不需要将相机参数作为输入，输入帧没有固定顺序，可以以任意序列组合，因此这种情况下我们不会为$\mathcal{G}$添加位置嵌入。在时序上下文融合中，我们利用前后帧的信息来预测中间帧的精确结果；而在多视角上下文融合中，由于没有顺序之分，所有帧之间的距离相等，能够实现各帧信息的相互补充。因此我们可以输出所有帧的预测结果，借助集体信息得到精确的结果：
$$ \mathcal{L}^{*}=F F N(S o f t m a x(\frac{Q(\mathcal{G})K(\mathcal{G})}{\sqrt{d i m(\mathcal{G})}})V(\mathcal{G}) $$
我们从个体编码器（公式9）中得到个体标记$\mathcal{L}^* \in \mathbb{R}^{T \times C}$，从集体解码器（公式8）中得到融合后的集体特征$G^* \in \mathbb{R}^{\times C}$。由于所有帧都是从不同视角同时拍摄的，因此手势姿态$\theta_{3:45}$和形状$\beta$应当是一致的，而根部朝向$\theta_{0:3}$、相机参数$\pi$以及根部偏移量v则会有所不同。所以我们将全局特征$G^*$送入集体回归器，以回归出一致的参数$\theta_{3:45}$和形状$\beta$；而将$\mathcal{L}^*$送入基于MLP的回归器，以回归出每帧不一致的参数$\theta_{0:3}$、$\pi$和v。
尽管我们为每一帧单独预测根节点的方向和平移向量，但右手与左手之间的相对方向和距离在所有帧中应保持不变。这意味着当我们把所有右手变换到零位置和零旋转状态时，左手的位置和方向也应保持一致。因此，我们应用一个约束条件（公式17）来维持这种不变性。在推理过程中，我们对相对平移和相对方向取平均值，以确保不同视角下的一致性。
### 3.4 损失函数
由于我们的方法以解耦的方式预测两只手，因此我们引入了单手损失和双手交互损失，以提高单手重建的精度以及双手交互的准确性。
#### 3.4.1 maxMSE损失
参照[Fu等人，2023年]的研究，我们采用maxMSE损失来调整各关节的权重，从而使MSE损失最大化。给定关节位置$\mathcal{P}^*$、$\mathcal{P}$，maxMSE损失的定义如下：
$$ m a x M S E(\mathcal{P},\mathcal{P}^{*})=\frac{\sum_{i=1}^{N}||\mathcal{P}_{i}-\mathcal{P}^{*}{}_{i}||^{4}}{\sum_{i=1}^{N}||\mathcal{P}_{i}-\mathcal{P}^{*}{}_{i}||^{2}}. $$
通过maxMSE损失，误差较大的关节或顶点（通常是指尖处的顶点）会被赋予更大的损失权重。
#### 3.4.2 单手损失
在单手对齐方面，我们使用MANO参数损失、3D损失和2D损失来训练模型。对于单手图像，模型会预测其姿态$\theta$、形状$\beta$以及相机参数$\pi$。利用真实的MANO参数$\tilde{\theta}$和形状$\tilde{\beta}$，我们通过MSE损失来优化MANO参数：
$$ L_{m a n o}=||\tilde{\theta}-\theta||^{2}+||\tilde{\beta}-\beta||^{2} $$
根据姿态和形状参数，我们可以获得3D顶点V和3D关节关键点J。借助精确的3D真实数据$\tilde{V}$和$\tilde{J}$，我们可以利用maxMSE通过3D损失对输出的3D关键点进行监督。
$$ L_{3D}=max MSE(\tilde{V},V)+max MSE(\tilde{J},J) $$
有了3D关节关键点和相机参数的真实值，我们就可以在原始图像上得到2D关键点$\tilde{j} = \tilde{\pi}(\tilde{J})$。预测的2D关键点是通过预测的相机参数$\pi$计算得出的。2D投影损失的定义如下：
$$ L_{2D}=maxMSE(\pi(J),\tilde{j}) $$
#### 3.4.3 双手交互损失
为了优化两只手的手指接触细节，我们采用了双手交互损失。为了计算右手关键点与左手关键点之间的相对距离，我们将所有关键点重新定位，使右手的掌关节位于坐标原点。我们用$\phi_j(i, k) \in \mathbb{R}^3$表示从左手关节$i-th$到右手关节$k-th$的距离向量，用$\phi_v(i, k) \in \mathbb{R}^3$表示顶点的距离向量，定义方式相同。
为了监督交互手势，针对真实的关节和预测的关节，我们分别计算每个右手关节到每个左手关节的距离。关节关系损失的定义如下：
$$ L_{j rel}=\sum_{i=1}^{N_{j}}\sum_{k=1}^{N_{j}}||\tilde{\phi}_{j}(i,k)-\phi_{j}(i,k)||^{2} $$
其中$N_{j} = 21$代表关节关键点的数量。为了实现更精细的手部接触重建，我们对靠近的顶点距离进行监督：
$$ L_{c l o s e}=\sum_{i=1}^{N_{v}}\sum_{k=1}^{N_{v}}\begin{cases}{||\tilde{\phi}_{v}(i,k)-\phi_{v}(i,k)||^{2},}&{\mathrm{i f~}||\tilde{\phi}_{v}(i,k)||^{2}\leq\alpha}\\ {0,}&{\mathrm{i f~}||\tilde{\phi}_{v}(i,k)||^{2}>\alpha}\\ \end{cases} $$
---
其中$N_{v}=778$是顶点的数量，$\alpha$是一个超参数，代表距离阈值。我们在实验中将$\alpha=0.005$设为相应的值。
#### 3.4.4 序列一致性损失
当以视频作为输入时，我们使用平滑损失函数来保持视频帧之间预测网格的平滑性，并减少抖动现象：
$$ L_{consis}=\sum_{t=1}^{N_{t}-1}||\theta_{t+1}-\theta_{t}||^{2} $$
其中 $N_{t}$ 表示视频序列的长度。我们在平滑度损失函数中选择对关节速度进行约束，而非加速度，因为加速度涉及二阶差分，经验表明这会产生较弱的梯度，往往导致训练过程中优化效果不稳定或不够有效。
当以多视角图像作为输入时，所有输入图像中的双手相对距离和相对旋转角度应当保持一致。由于不同视角的相机外部参数存在差异，各视角下旋转角度和相对距离的预测会与相机的旋转和平移预测相互耦合。因此，在每一帧中，我们对两只手的预测关节执行相同的旋转和平移操作，以消除相机参数的影响。这一过程会将右手的根关节移至坐标原点，并将旋转角度设为零，随后将变换后的左手关节记为 $J^{*}$。一致性损失的计算如下：
$$ L_{c o n s i s}=\sum_{i=1}^{N_{t}}\sum_{k=1}^{N_{t}}||J_{i}^{*}-J_{k}^{*}||^{2} $$
## 4 实验
### 4.1 实现细节
我们的模型基于PyTorch [Paszke et al. 2019]实现。我们采用预训练的巨型Vision Transformer（ViT-h）作为骨干网络来编码图像特征，该模型包含32层。输入图像的分辨率为 $256 \times 192$，特征图的大小为 $H = 16$、$W = 12$、$C = 1280$。我们在特征融合模块中使用了Transformer编码器和解码器。我们使用AdamW优化器训练模型共1,000,000步，学习率采用线性衰减策略，初始学习率为 $1 \times 10^{-5}$，每200,000步衰减率为0.7。训练集由Interhand2.6m [Moon et al. 2020]、Re:Interhand [Moon et al. 2024]以及单手数据集混合而成，采样比例分别为40%、40%和20%。当以时间序列作为输入时，图像序列长度设为9，为提取连续视频序列中的图像，相邻图像间隔设为5帧。
### 4.2 数据集
我们使用的训练数据集是交互手数据集与单手数据集的混合。交互手数据集用于优化双手靠近时的手部关系；单手数据集则用于优化双手相距较远时单手网格预测的准确性。
Interhand2.6M [Moon et al. 2020]是首个公开可用的带有精确标注的交互手序列数据集，广泛应用于双手重建方法的训练和测试。30 fps版本的InterHand2.6M适用于视频相关研究，5 fps版本是30 fps版本的子集，去除了冗余数据，适用于单图像研究。在我们的方法中，我们使用了带有人类和机器（H+M）标注的30 fps和5 fps交互双手（IH）数据，并按照[Li et al. 2022]的方法过滤掉无效数据。最终我们选取160万张图像用于训练，120万张图像用于测试。
Re:InterHand [Moon et al. 2024]包含外观逼真且多样的图像，以及精确的3D交互手真值。该数据集包含73.8万张第三人称视角的基于视频的图像。我们将整个数据集用于训练。
DexYCB [Chao et al. 2021]包含单手与物体交互的序列，共有1000个序列，总计58.2万张图像。尽管它并非双手数据集，但我们仍将其纳入训练集和测试集，以提升模型在物体遮挡和运动模糊场景下的性能。
静态单手数据集。为了提升在野外视频中的性能，我们采用提供3D手部标注的单手数据集进行训练。遵循先前的研究[Pavlakos et al. 2023]，我们使用了包含FreiHAND [Zimmermann et al. 2019]、HO3D [Hampali et al. 2020]、MTC [Xiang et al. 2019]、RHD [Zimmermann and Brox 2017]、H2O3D [Hampali et al. 2020]、DEX YCB [Chao et al. 2021]、COCO WholeBody [Jin et al. 2020]、Halpe [Fang et al. 2022]以及MPII NZSL [Simon et al. 2017]的数据集。我们通过随机组合两张单手图像并为其分配两个不重叠的边界框，来模拟一对距离较远的手。
野外数据集。我们使用HIC [Tzionas et al. 2016]、ARCTIC [Fan et al. 2023]和RenderIH [Li et al. 2023]这些野外数据集来评估模型在各种场景下的性能。HIC提供了多样化的手与手交互及物体与手交互序列，且包含双手的3D真实网格数据。ARCTIC是一个多视角序列数据集，记录了双手与日常用品的交互过程，其中涉及遮挡现象和精细的交互动作。RenderIH则提供了具有各种姿态、纹理、背景和光照条件的逼真渲染手部图像，能够模拟现实中的多种场景。对于所有野外数据集，我们仅将其用于测试，以评估模型在未见过的场景中的性能。
### 4.3 评价指标
我们采用平均关节位置误差（MPJPE）、平均顶点位置误差（MPVPE）以及曲线下面积（AUC）来衡量估计网格的姿势和形状精度，同时采用平均相对根部位置误差（MRRPE）来衡量两只手的相对位置精度。对于平均位置误差和AUC，我们分别在根部相关分析（Ra）和普洛克鲁斯特斯分析（Pa）下获取结果。遵循先前的方法[Li et al. 2022]，我们在评估MPJPE时会进行根部关节对齐和骨骼缩放处理。此外，我们采用加速度误差Accel_E来评估时间一致性，这一指标参考了VIBE[Kocabas et al. 2020]的方法。为了更准确地评估双手交互的准确性，我们提出了平均关节间误差（MIJE）作为评价指标。
---
Fig. 3. Qualitative Comparison. We compare OmniHands with state-of-the-art methods on in-the-wild datasets ARCTIC[Fan et al. 2023] and RenderIH[Li et al. 2023]. ARCTIC provides two-hand object interacting images, and RenderIH provides interactive hands under different lighting conditions. We have demonstrated the results from both the camera perspective and an arbitrary perspective. The results show that our method outperforms the state-of-the-art methods in complex real-world environments.
### 4.4 定性结果
对于单目输入，我们的定性比较结果如图3所示。我们展示了训练阶段未出现过的野外数据集ARCTIC [Fan et al. 2023]和RenderIH [Li et al. 2023]的结果。我们在相机视角和任意视角下与IntagHand[Li et al. 2022]、ACR [Yu et al. 2023]以及InterWild[Moon 2023]进行了对比，以展示更多细节。图4中展示了更多关于复杂交叉手交互样本的结果，并与InterWild进行了比较。这些结果证明了OmniHands在现实场景及复杂交互情况下的稳定性。
对于多视角输入，定性结果如图5所示，图中选取了4个相机视角进行演示。在每个视角下，手部均存在不同程度的遮挡现象。可以看出，通过整合多视角信息，手部交互信息能够相互补充，从而成功重建出对应视角的手部网格，即便在某些视角下手被完全遮挡也是如此。值得注意的是，由于缺少相机参数
---
Fig. 4. Qualitative Results of in-the-wild hard cases. We show our model's results on complex cross-hand interactions in realistic scenarios to demonstrate its performance. For a detailed perception, views of multiple perspectives are demonstrated.
输入信息，我们的模型必须仅依据视觉信息来预测相机角度，并在存在遮挡的情况下确定手部朝向，这确实是一项不易实现的成果。
### 4.5 与最先进方法的比较
为了展示OmniHands在不同场景下的多功能性和稳定性，我们在多个领域与最先进的方法进行了对比分析，这些领域包括时序双手评估、基于帧的双手评估、时序单手评估、基于帧的单手评估以及真实场景数据集评估。
与时序双手方法的对比。在表1中，我们将所提出的OmniHands与以往在Interhand2.6m 30fps [Moon et al. 2020]上的时序方法进行了比较。为了证明使用大规模混合训练数据集对模型的好处，以及使用时序特征对模型精度的影响，我们根据是否使用额外的训练数据和时序特征，训练了四组模型。对于训练数据集，我们使用Interhand2.6m [Moon et al. 2020]、Re:Interhand [Moon et al. 2024]以及混合的单手数据集作为训练集，以提升模型的泛化能力。为了与其他仅在Interhand2.6m上训练的双手重建方法进行公平比较，我们使用相同的训练集来训练我们的模型，相关结果也用†标记出来。如前所述，OmniHands可以接受连续帧或单帧作为输入；为了探究使用时序特征的影响，我们分别报告并比较了OmniHands以单帧和连续帧为输入时的结果，其中单帧版本用§表示。结果显示，我们的方法远远优于现有的双手时序模型，MPJPE指标提升了23.34%（从9.09毫米降至7.37毫米），Accel_E指标提升了24.05%（从3.70毫米/秒²降至2.81毫米/秒²）。对比使用时序特征与否的结果可以发现，使用时序特征能提升帧间的稳定性以及关键点的精度：Accel_E分别提升了18.86%（从3.34毫米/秒²降至2.81毫米/秒²）和17.55%（从3.55毫米/秒²降至3.02毫米/秒²），MPJPE和MPVPE指标也有显著提升。通过改变训练集我们发现，使用额外的训练数据能明显提升模型的精度和稳定性。
与基于帧的双手方法的对比。为了与最先进的基于帧的方法进行比较并展示
---
在单帧输入场景下的性能，我们在Interhand2.6m 5fps [Moon et al. 2020]数据集上开展了实验，将序列长度设为1。如表2所示，即便我们摒弃了时序信息，我们的方法仍保持高性能，且优于专门为单帧输入场景设计的以往方法，其MPJPE、MPVPE和MRRPE指标分别达到了7.49毫米、7.72毫米和24.58毫米。当在完整数据集上训练时，我们模型的性能提升更为显著，MPJPE、MPVPE和MRRPE指标分别达到6.77毫米、6.96毫米和22.01毫米。我们还报告了多视角帧输入的结果：在无需任何相机参数的情况下，我们的模型在MPJPE、MPVPE和MRRPE指标上分别达到了5.93毫米、6.20毫米和14.08毫米，其精度显著超越了单目估计的结果。
Table 1. Quantitative comparisons with frame-based and temporal methods on Interhand2.6m 30fps dataset. The sign † stands for using only Interhand2.6m 30fps as training set, and § stands for using frame-based input.
| Methods | Accel $E\downarrow$ | MPJPE $\downarrow$ | MPVPE $\downarrow$ |
| HPS [Boukhayma et al. 2019] | 8.14 | 19.40 | 19.78 |
| ITH-3D[Zhang et al. 2021a] | 6.01 | 14.45 | 14.74 |
| SeqHand[Yang et al. 2020] | 6.69 | 18.20 | 19.46 |
| Zhao et. al.[Zhao et al. 2024] | 3.70 | 13.45 | 13.91 |
| Intaghand[Li et al. 2022] | 4.40 | 9.26 | 9.71 |
| DIR[Ren et al. 2023] | 8.92 | 9.09 | 9.43 |
| Ours $\dagger$ § | 3.55 | 7.99 | 8.15 |
| Ours $\dagger$ | 3.02 | 7.59 | 7.79 |
| Ours § | 3.34 | 7.80 | 7.95 |
| Ours | 2.81 | 7.37 | 7.58 |
Table 2. Performance comparisons on the Interhand2.6m 5fps dataset. We compare with the most recent methods. 'Ours†' was trained on Interhand2.6m 5fps. 'Ours' was trained on mixed dataset. 'Ours◇' takes multiview images as input and was trained on Interhand2.6m 5fps.
| Methods | MPJPE $\downarrow$ | MPVPE $\downarrow$ | MRRPE $\downarrow$ |
| InterWild[Moon 2023] | 14.76 | 13.24 | 26.25 |
| IntagHand[Li et al. 2022] | 8.79 | 9.02 | 27.74 |
| MEMAHand[Wang et al. 2023] | 8.65 | 8.89 | - |
| ACR[Yu et al. 2023] | 8.41 | 8.53 | - |
| Zuo et.al[Zuo et al. 2023] | 8.34 | 8.51 | - |
| DIR[Ren et al. 2023] | 7.51 | 7.72 | 28.98 |
| Ours $^{\dagger}$ | 7.49 | 7.72 | 24.58 |
| Ours | 6.77 | 6.96 | 22.01 |
| Ours $\diamond$ | 5.93 | 6.20 | 14.08 |
单手数据集上的对比。尽管我们的框架主要是为交互式手部重建设计的，但它在单手重建任务上的表现也与最先进的单手方法相当。我们在两个广泛使用的基准测试集上测试了OmniHands：Freihand [Zimmermann et al. 2019]和HO3Dv2 [Hampali et al. 2020]，相关结果见表6和表7。为了公平比较，我们采用了与Hamba [Dong et al. 2024]相同的训练设置。具体而言，表6中的模型仅使用FreiHAND数据集进行训练，表7中的模型则在与HaMeR [Pavlakos et al. 2023]相同的数据集上训练。
在双手交互重建任务中，我们主要使用MRRPE来评估两手之间相对根部位置（尤其是手腕位置）的准确性，以此作为交互准确性的指标。然而，这种数值化指标无法有效反映双手手指的前后顺序，而这恰恰会导致视觉质量的显著差异。因此，我们提出了平均关节间误差（Mean Inter-Joint Error, MIJE）来评估手部交互性能。MIJE的计算方法如下：
$$ \mathbf{M I J E}=\frac{1}{\left|J_{r}\right|\cdot\left|J_{l}\right|}\sum_{j_{r}\in J_{r}}\sum_{j_{l}\in J_{l}}\|j_{r}-j_{l}\|_{2} $$
我们在InterHand2.6M数据集上对该指标进行了评估，并与现有最先进的方法进行了比较，结果如表5所示。可以看出，我们的方法在处理复杂的双手交互姿态时表现明显更优。这一优势在其他定性结果中也得到了体现。
与单手时序方法的比较。为了进一步挖掘我们方法的通用性，我们在Dex-YCB [Chao et al. 2021]单手时序数据集上开展了实验。我们通过将输入图像翻转来模拟另一只手，并利用距离较远的边界框来表示双手并未发生交互。我们报告了Root-Aligned和Procrustes对齐后的指标结果。从表8中可以发现，我们的方法在所有指标上均优于现有的所有单手时序方法。值得注意的是，我们在Root-Aligned指标上的领先幅度要大于Procrustes对齐后的指标（+38.63%对比+9.00%的MPJPE值，+12.70%对比+0.89%的JAUC值），这说明即便没有真实对齐结果的辅助，我们也能预测出准确的形状与旋转角度。
自然场景数据集上的定量比较。我们选取了三个自然场景数据集：Arctic [Fan et al. 2023]、HIC [Tzionas et al. 2016]和RenderIH [Li et al. 2023]，来对比模型在自然场景下的性能。Arctic包含双手与物体交互的图像，其中大量样本存在手-物遮挡和手-手遮挡情况；HIC是一个小型的双手交互序列数据集；RenderIH则包含各种光照条件下复杂的双手交互图像。我们仅选用双手均可见的样本进行实验。为了保证比较的公平性，这些实验中并未使用时序数据或多视角数据，每个样本均以单张图像作为输入。
在表4中，我们将结果与IntagHand [Li et al. 2022]、InterWild [Moon 2023]和DIR [Ren et al. 2023]进行了比较。IntagHand [Li et al. 2022]和DIR [Ren et al. 2023]是两款开源的双手重建模型，它们在Interhand2.6m [Moon et al. 2020]的训练和测试中都展现出了优异的性能。InterWild [Moon 2023]是专为自然场景下双手重建设计的最先进方法。为了证明使用大规模训练数据的有效性，我们报告了在两种训练集上训练的模型的结果。其中一款报告模型仅在InterHand2.6M上训练，与其他对比方法使用相同的训练集以实现公平的定量比较；该模型标记为$\dagger$。另一款未标记的模型则是在混合数据集上训练的。
---
Table 3. Multi-view single hand recovery results on Dex-YCB, comparing with other single hand multi-view methods. The model reported was trained on Dex-YCB.
| Method | Ra-MPJPE $\downarrow$ | Pa-MPJPE $\downarrow$ | Ra-JAUC $\uparrow$ | Ra-MPVPE $\downarrow$ | Pa-MPVPE $\downarrow$ | Ra-VAUC $\uparrow$ |
| MVP[Zhang et al. 2021a] | 6.23 | 4.26 | 0.69 | 9.77 | 8.14 | 0.53 |
| PE-Mesh-TR[Yang et al. 2023] | 7.49 | 4.76 | 0.64 | 7.41 | 4.70 | 0.64 |
| FTL-Mesh-TR[Yang et al. 2023] | 8.66 | 5.51 | 0.59 | 8.75 | 5.75 | 0.59 |
| POEM[Yang et al. 2023] | 6.06 | 3.93 | 0.68 | 6.13 | 4.00 | 0.70 |
| Multi-view Fit.[Yang et al. 2023] | 7.33 | 5.29 | 0.65 | 7.22 | 5.19 | 0.65 |
| Ours | 6.44 | 3.18 | 0.87 | 6.42 | 3.26 | 0.87 |
Table 4. Comparison of two-hand reconstruction methods on in-the-wild datasets. Arctic, HIC and RenderlH are taken as test set, which are unseen during training. Our method marked with $\dagger$ is trained on only Interhand2.6m, and the unmarked one is trained on mixed training set.
| Dataset | Method | Joints | Vertices |
| Ra-MPJPE $\downarrow$ | Pa-MPJPE $\downarrow$ | Ra-JAUC $\uparrow$ | Pa-JAUC $\uparrow$ | MRRPE $\downarrow$ | Ra-MPVPE $\downarrow$ | Pa-MPVPE $\downarrow$ | Ra-VAUC $\uparrow$ | Pa-VAUC $\uparrow$ |
| Arctic[Fan et al. 2023] | IntagHand[Li et al. 2022] | 24.88 | 12.02 | 0.57 | 0.76 | 203.04 | 26.30 | 12.52 | 0.55 | 0.75 |
| InterWild[Moon 2023] | 22.74 | 11.31 | 0.59 | 0.72 | 143.19 | 23.92 | 11.74 | 0.56 | 0.71 |
| DIR[Ren et al. 2023] | 26.63 | 11.97 | 0.55 | 0.76 | 253.49 | 28.33 | 12.39 | 0.52 | 0.75 |
| ours † | 14.21 | 9.22 | 0.69 | 0.78 | 112.81 | 15.12 | 9.76 | 0.63 | 0.81 |
| ours | 13.57 | 7.98 | 0.74 | 0.84 | 105.43 | 14.51 | 8.75 | 0.72 | 0.82 |
| HIC[Tzionas et al. 2016] | IntagHand[Li et al. 2022] | 12.01 | 7.46 | 0.76 | 0.85 | 36.46 | 12.77 | 7.82 | 0.74 | 0.84 |
| InterWild[Moon 2023] | 11.23 | 6.62 | 0.79 | 0.86 | 30.35 | 11.65 | 6.99 | 0.76 | 0.86 |
| DIR [Ren et al. 2023] | 11.90 | 7.12 | 0.76 | 0.85 | 32.83 | 12.79 | 7.55 | 0.75 | 0.84 |
| ours † | 9.47 | 5.55 | 0.81 | 0.88 | 26.84 | 10.35 | 6.07 | 0.79 | 0.87 |
| ours | 8.66 | 4.81 | 0.82 | 0.90 | 26.56 | 9.31 | 5.30 | 0.81 | 0.89 |
| RenderIH[Li et al. 2023] | IntagHand[Li et al. 2022] | 33.84 | 15.19 | 0.47 | 0.70 | 80.28 | 35.17 | 15.34 | 0.45 | 0.69 |
| InterWild[Moon 2023] | 19.12 | 13.16 | 0.62 | 0.72 | 56.10 | 19.74 | 12.77 | 0.61 | 0.73 |
| DIR[Ren et al. 2023] | 29.48 | 12.93 | 0.53 | 0.74 | 78.53 | 30.93 | 12.89 | 0.51 | 0.74 |
| ours † | 17.22 | 10.91 | 0.66 | 0.78 | 45.94 | 18.01 | 11.11 | 0.64 | 0.77 |
| ours | 13.71 | 9.17 | 0.72 | 0.81 | 42.26 | 14.32 | 9.48 | 0.71 | 0.81 |
Table 5. The Mean Inter-Joint Error (MIJE) metric, measured in millimeters, of our method compared to the SOTA in two-hand reconstruction on the InterHand2.6M dataset. Lower values indicate better performance.
| Ours | IntagHand | InterWild | DIR |
| 26.56 | 32.36 | 58.51 | 73.40 |
Table 6. Quantitative comparisons with other single hand reconstruction methods on Freihand dataset.
| Method | PA-MPJPE $\downarrow$ | PA-MPVPE $\downarrow$ | F@5mm $\uparrow$ | F@15mm $\uparrow$ |
| PointHMR[Kim et al. 2023] | 6.1 | 6.6 | 0.720 | 0.984 |
| zhou et. al [Zhou et al. 2024] | 5.7 | 6.0 | 0.772 | 0.986 |
| HaMeR [Pavlakos et al. 2023] | 6.0 | 5.7 | 0.785 | 0.990 |
| Hamba [Dong et al. 2024] | 5.8 | 5.5 | 0.798 | 0.991 |
| Ours | 5.2 | 5.7 | 0.779 | 0.993 |
Table 7. Quantitative comparisons with other single hand reconstruction methods on HO3Dv2 dataset.
| Method | PA-MPJPE $\downarrow$ | PA-MPVPE $\downarrow$ | F@5mm $\uparrow$ | F@15mm $\uparrow$ |
| H2ONet [Xu et al. 2023] | 8.5 | 8.6 | 0.966 | 0.570 |
| HandBooster [Xu et al. 2024] | 8.2 | 8.4 | 0.972 | 0.585 |
| HaMeR [Pavlakos et al. 2023] | 7.6 | 7.9 | 0.980 | 0.635 |
| Hamba [Dong et al. 2024] | 7.5 | 7.7 | 0.982 | 0.648 |
| Ours | 6.9 | 7.7 | 0.985 | 0.616 |
该混合数据集包含InterHand2.6M、Re:InterHand以及单手数据集。
Table 8. Quantitative comparisons with other single hand temporal reconstruction methods on the Dex-YCB dataset. The model reported was trained on Dex-YCB
| Methods | Ra-MAJPE $\downarrow$ | Ra-JAUC $\uparrow$ | Pa-MPJPE $\downarrow$ | Pa-JAUC $\uparrow$ |
| HaMeR [Pavlakos et al. 2023] | 19.45 | 68.4 | 6.09 | 87.8 |
| VIBE[Kocabas et al. 2020] | 16.95 | 67.5 | 6.43 | 87.1 |
| TCMR[Choi et al. 2021] | 16.03 | 70.1 | 6.28 | 87.5 |
| Tu et al. [Tu et al. 2023] | 19.67 | 62.5 | 7.27 | 85.5 |
| MeshGraphormer[Lin et al. 2021] | 16.21 | 69.1 | 6.41 | 87.2 |
| Deformer[Fu et al. 2023] | 13.64 | 74.0 | 5.22 | 89.6 |
| Ours | 8.37 | 83.4 | 4.75 | 90.4 |
在这三个未见过的数据集中，我们的方法均取得了最佳性能，在所有指标上均名列前茅。我们还可以发现，使用较大的训练集时，我们的模型能够应对更多样化的场景，从而在这三个测试集上均获得更高的准确率。HIC [Tzionas et al. 2016] 包含了Interhand2.6m中不存在的交互式手势，不过其场景相对简单且测试样本较少，因此其他方法也能取得不错的结果。在HIC数据集上，我们的方法在Ra-MPJPE指标上提升了16.33%（从10.35毫米降至8.66毫米），在Pa-MPJPE指标上提升了29.47%（从4.81毫米降至3.34毫米）。Arctic [Fan et al. 2023] 包含大量双手与物体交互的图像，这与Interhand2.6m中的数据存在显著差异；此外，该数据集中有很多手部被遮挡的情况，使得场景更为复杂。在该数据集上，其他方法表现欠佳，而我们的方法则保持了鲁棒性并取得了优异的结果。
---
Fig. 5. The qualitative results of OmniHands with multi-view inputs. We present the results on Interhand2.6m [Moon et al. 2020] at row 1 to row 5 and results on Arctic [Fan et al. 2023] at row 6 to row 9. In each row, we present pairs of input and output images from 4 different camera views. The images on the left side of each pair serve as the multi-view sequence input.
---
在Ra-MPJPE指标上提升了45.46%（从24.88毫米降至13.57毫米），在Pa-MPJPE指标上提升了33.61%（从12.02毫米降至7.98毫米）。在RenderIH [Li et al. 2023] 数据集中，光照和背景的多样性对模型的跨场景鲁棒性提出了很高要求。我们提出的OmniHands在Ra-MPJPE指标上提升了13.89%（从15.92毫米降至13.71毫米），在Pa-MPJPE指标上提升了13.00%（从10.54毫米降至9.17毫米）。
单手多视角数据集上的对比。为了验证以多视角图像为输入时我们模型的性能，我们在表3中将它与Dex-YCB [Chao et al. 2021] 上的其他单手多视角方法进行了比较。为保证对比公平性，我们的模型是在Dex-YCB数据集上训练的。我们还与[Yang et al. 2023] 中报道的多视角姿态估计方法进行了对比。值得一提的是，其他方法需要以相机参数作为输入，这虽然便于它们对齐不同视角，但灵活性较差。而我们的方法无需相机参数作为输入，仅需来自不同视角的多张图像，既省去了繁琐的相机标定步骤，又能取得比其他方法更高的准确率。
### 4.6 消融研究
我们通过在时序输入条件下开展消融实验，来评估OmniHands中各个模块的重要性；实验采用帧率为30fps的时序数据集Interhand2.6m作为训练集和测试集。此外，我们还评估了以多视角图像为输入时相机数量所产生的影响，所用数据集为帧率为5fps的Interhand2.6m多视角数据集。
4.6.1 模块消融。ViT基线。我们使用完整训练集，基于ViT和Transformer解码器训练了一个基线模型。该基线模型未采用位置图嵌入、双手特征交互以及时序/多视角交互机制，因此移除了双手法解码器、集体解码器和独立编码器。表9展示了相关结果。尽管ViT在单手检测方面性能优异，但手部交互造成的遮挡会降低其预测能力；此外，由于缺乏双手间的关联信息，该模型会分别预测两只手的位置，从而导致相对位置上的巨大误差。
双手信息的有效性。我们通过两种方式尝试加入双手信息：（1）输入包含两只手的全局图像（+Cross H）；（2）输入单独的图像，每张图像仅包含一只手（+Cross S）。两种方式下我们都加入了双手法解码器模块来整合双手信息，结果显示第二种方式能取得更高的准确率。主要原因在于，通过将两只手分开作为输入，视觉编码器能专注于提取单手特征，从而使ViT在大规模数据集上学习时能获取更丰富的手部细节。
关系感知分词的有效性。当移除RAT中的位置词元映射嵌入（即RAT(+Cross S w/o RAT)）后，模型在推理过程中会丢失全局位置信息，这意味着模型只能从视觉信息中推断出双手的相对位置。在InterHand2.6m数据集[Moon等人，2020年]中，两只手的距离较近且每只手的二维尺度相似。因此，即便没有全局位置信息，也能从输入图像中推断出两只手的大致位置。我们测试了两只手距离较远以及每只手二维尺度不同的情况。如表7所示，
Fig. 6. Ablation study on occlusion case. 'Full Model' is our model with all modules. 'w/o Temporal Fusion' means that the temporal integrating module is removed.
若没有位置词元映射，模型在预测双手相对位置时表现较差。
Fig. 7. Ablation study of RAT. Two views of predicted hand meshes are visualized to demonstrate details of relative position. 'Full Model' is our model with all modules. 'w/o RAT' means that the position embedding is removed.
时序融合的有效性。通过添加用于交互时序信息的集合解码器（+Cross S + Seq），我们的方法能够做出连贯的序列预测，从而在出现遮挡时推断出合理的手部姿态，且MPJPE指标提升了0.32毫米。在图6中，我们可视化了严重遮挡情况下的预测网格序列：左侧手完全被遮挡，未采用时序融合的模型做出了错误预测；而我们的完整模型则借助过去和未来的辅助信息，预测出了连贯的序列。
4.6.2 训练数据的消融实验。在本节中，我们开展消融实验以评估扩大训练数据规模的影响。我们在三个数据集上对我们的方法进行了基准测试：InterHand2.6m [Moon等人，2020年]、
---
HIC [Tzionas等人，2016年]以及Arctic [Fan等人，2023年]，并与两个最先进的基线模型IntagHand [Li等人，2022年]和InterWild [Moon，2023年]进行比较。结果见表11。对于每种方法，我们均在InterHand2.6M 5fps数据集和混合数据集上训练模型。具体而言，OmniHands所用的混合数据集包括InterHand2.6M、Re:InterHand和静态单手数据集；静态单手数据集是通过随机组合两张单手图像来模拟一对距离较远的手。不过，这种输入并不适用于IntagHand或InterWild，因为它们的输入要求图像中同时包含两只手。因此，对于IntagHand和InterWild而言，混合数据集由InterHand2.6M和Re:InterHand组成。关于混合数据集，虽然OmniHands在训练时利用了额外的单手数据集，但所有方法均在相同的交互手数据集上训练。由于相对手部位置的预测是从交互手数据中学习得到的，因此MRRPE指标可作为比较各方法在交互手重建性能方面的有效指标。
实验结果表明，OmniHands从增加的数据多样性中受益，使用混合数据集训练时性能更佳。相比之下，IntagHand在增加训练数据后性能反而下降。这很可能是由于其架构局限性，导致其无法在更大的数据规模和更复杂的场景及光照条件下有效泛化，最终削弱了对强先验的依赖。总体而言，这些结果证实：无论模型是在单域数据集还是更丰富的混合数据集上训练，OmniHands的性能始终优于最先进的方法。
4.6.3 相机视图消融实验。在多视角重建中，输入相机视图的数量对最终精度有着重要影响。我们试图探究相机视图的影响，实验结果如表10所示。我们根据是否使用混合训练数据将实验结果分为两组：“I”表示仅使用Interhand2.6m[Moon等人，2020]作为训练数据，而“I+R+A”则表示使用由Interhand2.6m、Re:Interhand[Moon等人，2024]和Arctic[Fan等人，2023]组成的混合训练数据集。
从表中呈现的结果可以看出，仅仅从单目输入切换到双相机多视角输入就能显著提升预测精度，而且在使用混合数据集训练时这种提升更为明显。无论采用何种训练集，随着相机数量从2个增加到16个，精度指标也会相应提高。这与直观认知相符：视角越多，预测结果越准确。这表明我们的FIR模块能够有效利用4D数据来优化预测结果，并且在处理不同长度的4D数据时展现出显著的灵活性。此外，通过比较表中“I”和“I+R+A”的结果可以发现，无论相机数量多少，使用混合训练数据集时的精度都明显高于单一训练数据集。这凸显了我们模型高效处理大规模混合数据的能力。
Table 9. Ablation studies of the RAT and FIR modules on InterHand2.6M.
| Methods | MPJPE $\downarrow$ | MPVPE $\downarrow$ | MRRPE $\downarrow$ |
| Baseline | 10.94 | 11.35 | 137.53 |
| +Cross H | 8.78 | 9.01 | 28.65 |
| +Cross S | 7.69 | 7.92 | 24.79 |
| +Cross S w/o RAT | 7.81 | 8.00 | 25.81 |
| +Cross S + Seq (Ours) | 7.37 | 7.58 | 24.48 |
Table 10. Results on Interhand2.6m using different number of camera views. "I" means only using Interhand2.6m training set, and "I+R+A" means using Interhand2.6m, Re:Interhand and Arctic as training set.
| Train | cameras | MPJPE $\downarrow$ | MPVPE $\downarrow$ | MRRPE $\downarrow$ |
| I | 2 | 7.02 | 7.28 | 20.59 |
| 4 | 6.88 | 7.13 | 18.90 |
| 8 | 6.79 | 7.05 | 17.91 |
| 12 | 6.65 | 6.93 | 16.86 |
| 16 | 6.49 | 6.76 | 17.08 |
| I+R+A | 2 | 6.51 | 6.74 | 17.72 |
| 4 | 6.28 | 6.55 | 16.49 |
| 8 | 6.21 | 6.47 | 16.26 |
| 12 | 6.14 | 6.42 | 14.15 |
| 16 | 5.93 | 6.20 | 14.08 |
Table 11. Albation study on training dataset. Models denoted with '-i' is trained on Interhand2.6m. Models denoted with '-m' is trained on mixed datasets.
| Dataset | Methods | MPJPE | MPVPE | MRRPE |
| Inter2.6m 5fps | IntagHand-i | 8.79 | 9.02 | 27.74 |
| IntagHand-m | 10.55 | 10.98 | 30.04 |
| InterWild-i | 14.76 | 13.24 | 26.25 |
| InterWild-m | 14.45 | 13.01 | 25.68 |
| Ours-i | 7.49 | 7.72 | 24.58 |
| Ours-m | 6.77 | 6.96 | 22.01 |
| HIC | IntagHand-i | 12.06 | 12.77 | 36.46 |
| IntagHand-m | 12.54 | 13.32 | 35.41 |
| InterWild-i | 11.23 | 11.65 | 30.35 |
| InterWild-m | 11.13 | 11.54 | 30.59 |
| Ours-i | 9.47 | 10.35 | 26.84 |
| Ours-m | 8.66 | 9.31 | 26.56 |
| Arctic | IntagHand-i | 24.88 | 26.30 | 203.14 |
| IntagHand-m | 27.64 | 32.78 | 225.49 |
| InterWild-i | 22.74 | 23.92 | 143.19 |
| InterWild-m | 21.85 | 22.98 | 134.69 |
| Ours-i | 14.21 | 15.12 | 112.81 |
| Ours-m | 13.57 | 14.51 | 105.43 |
## 5 局限性
尽管OmniHands在离线视频重建中展现了高精度，但仍存在若干挑战
---
这些挑战目前阻碍了其用于实时交互手部重建。我们的方法以ViT-h作为骨干网络，因此相比基于CNN的方法，计算需求更高，这也是Transformer模型常见的难题，如HaMeR[Pavlakos等人，2023]和Hamba[Dong等人，2024]便存在此类问题。在单个A800 GPU上运行Python代码进行推理时，我们的模型能达到16.05 FPS的帧率，这一数值无法满足实时渲染至少25至30 FPS的要求。此外，由于我们的方法依赖外部检测模型来定位手部并回归边界框，整体推理速度也受到这些检测模型性能的限制。实时重建面临的另一挑战在于我们预测的是中间帧，这会导致实时视频流中产生至少4帧的延迟，因为模型需要输入4个未来帧。我们将通过用C++而非Python重新实现模型并优化计算过程，来加速模型运行以实现实时渲染。
## 6 结论
在本文中，我们提出了OmniHands——一种从单目输入中恢复手部交互运动及其相对运动的鲁棒解决方案。OmniHands是一种基于Transformer的方法，采用了新颖的标记化和特征融合策略。为此，我们引入了关系感知型双手标记化（RAT）方法，该方法将位置信息嵌入到手部标记中。这使得我们的网络能够处理单手和双手输入，利用它们的相对位置来重建现实场景中的精细手部交互。此外，这种标记化方法通过指示手部的相对位置来增强特征融合效果。为了实现这一目标，我们开发了4D交互推理（FIR）模块，该模块利用注意力机制在4D空间中融合手部标记，并将其解码为3D手部网格及其时序运动。通过在基准数据集上的广泛评估，证明了OmniHands的有效性；来自野外视频和真实场景的结果显示出其在手部交互重建方面的卓越性能。
## 参考文献
Josh Achiam、Steven Adler、Sandhini Agarwal、Lama Ahmad、Ilge Akkaya、Florencia Leoni Aleman、Diogo Almeida、Janko Altenschmidt、Sam Altman、Shyam Anadkat等。2023年。GPT-4技术报告。arXiv预印本arXiv:2303.08774（2023年）。
Seungryul Baek、Kwang In Kim和Tae-Kyun Kim。2019年。通过神经渲染推动基于RGB的密集3D手部姿态估计的极限。载于IEEE/CVF计算机视觉与模式识别会议论文集。
Adnane Boukhayma、Rodrigo de Bem和Philip HS Torr。2019年。基于野外图像的3D手部形状和姿态估计。载于IEEE/CVF计算机视觉与模式识别会议论文集。
Yu-Wei Chao、Wei Yang、Yu Xiang、Pavlo Molchanov、Ankur Handa、Jonathan Tremblay、Yashraj S. Narang、Karl Van Wyk、Umar Iqbal、Stan Birchfield、Jan Kautz和Dieter Fox。2021年。DexYCB：用于捕捉物体抓取动作的基准测试。载于IEEE/CVF计算机视觉与模式识别会议论文集。
Xingyu Chen、Yufeng Liu、Chongyang Ma、Jianlong Chang、Huayan Wang、Tian Chen、Xiaoyan Guo、Pengfei Wan和Wen Zheng。2021年。通过语义聚合与自适应2D-1D配准实现相机空间手部网格恢复。载于IEEE/CVF计算机视觉与模式识别会议论文集。
Xingyu Chen、Yufeng Liu、Dong Yajiao、Xiong Zhang、Chongyang Ma、Yanmin Xiong、Yuan Zhang和Xiaoyan Guo。2022年。MobRecon：基于单目图像的移动端友好型手部网格重建。载于IEEE/CVF计算机视觉与模式识别会议论文集。
Hoseong Cho、Chanwoo Kim、Jihyeon Kim、Seongyeong Lee、Elkhan Ismayilzada和Seungryul Baek。2023年。基于Transformer的双手统一识别
用于物体操控。载于IEEE/CVF计算机视觉与模式识别会议论文集，第4769–4778页。
Hongsuk Choi、Gyeongsik Moon、Ju Yong Chang和Kyoung Mu Lee。2021年。超越静态特征：从视频中恢复时间一致的3D人体姿态与形状。载于IEEE/CVF计算机视觉与模式识别会议论文集，第1964–1973页。
Hongsuk Choi、Gyeongsik Moon和Kyoung Mu Lee。2020年。Pose2Mesh：基于图卷积网络的2D人体姿态到3D人体姿态及网格的恢复。载于欧洲计算机视觉会议（ECCV）论文集。
Vasileios Choutas、Georgios Pavlakos、Timo Bolkart、Dimitrios Tzionas和Michael J. Black。2020年。通过身体驱动的注意力机制实现单目表达性人体回归。载于欧洲计算机视觉会议（ECCV）。
Enric Corona、Tomas Hodan、Minh Vo、Francesc Moreno-Noguer、Chris Sweeney、Richard Newcombe和Lingni Ma。2022年。Lisa：学习手的隐式形状和外观。载于IEEE/CVF计算机视觉与模式识别会议论文集。
Haoye Dong、Aviral Chharia、Wenbo Gou、Francisco Vicente Carrasco和Fernando De la Torre。2024年。Hamba：基于图引导的双扫描Mamba的单视图3D手部重建。《神经信息处理系统进展》第37卷（2024年），第2127–2160页。
Junting Dong、Wen Jiang、Qixing Huang、Hujun Bao和Xiaowei Zhou。2019年。基于多视角的高效鲁棒多人3D姿态估计。载于IEEE/CVF计算机视觉与模式识别会议论文集。
Alexey Dosovitskiy、Lucas Beyer、Alexander Kolesnikov、Dirk Weissenborn、Xiaohua Zhai、Thomas Unterthiner、Mostafa Dehghani、Matthias Minderer、Georg Heigold、Sylvain Gelly等。2020年。一张图片的价值相当于$16 \times 16$个词：用于大规模图像识别的Transformer。arXiv预印本arXiv:2010.11929（2020年）。
Zicong Fan、Omid Taheri、Dimitrios Tzionas、Muhammed Kocabas、Manuel Kaufmann、Michael J Black和Otmar Hilliges。2023年。ARCTIC：一个用于灵巧双手法-物体交互的数据集。载于IEEE/CVF计算机视觉与模式识别会议论文集，第12943–12954页。
Hao-Shu Fang、Jiefeng Li、Hongyang Tang、Chao Xu、Haoyi Zhu、Yuliang Xiu、Yong-Lu Li和Cewu Lu。2022年。Alphapose：实时全身区域多人姿态估计与跟踪。发表于《IEEE模式分析与机器智能交易》（2022年）。
Yao Feng、Vasileios Choutas、Timo Bolkart、Dimitrios Tzionas和Michael J. Black。2021年。利用调节机制协同回归表达性人体姿态。载于3D视觉国际会议（3DV）。
Qichen Fu、Xingyu Liu、Ran Xu、Juan Carlos Niebles和Kris M Kitani。2023年。Deformer：用于鲁棒手部姿态估计的动态融合Transformer。载于IEEE/CVF国际计算机视觉会议论文集，第23600–23611页。
Qijun Gan、Wentong Li、Jinwei Ren和Jianke Zhu。2024年。基于逆渲染的细粒度多视角手部重建。载于AAAI人工智能会议论文集。
Liuhao Ge、Zhou Ren、Yuncheng Li、Zehao Xue、Yingying Wang、Jianfei Cai和Junsong Yuan。2019年。基于单张RGB图像的3D手部形状与姿态估计。载于IEEE/CVF计算机视觉与模式识别会议论文集。
Shubham Goel、Georgios Pavlakos、Jathushan Rajasegaran、Angjoo Kanazawa和Jitendra Malik。2023年。4D人体：利用Transformer重建并跟踪人体。载于IEEE/CVF国际计算机视觉会议论文集，第14783–14794页。
Zhiyang Guo、Wengang Zhou、Min Wang、Li Li和Houqiang Li。2023年。HandNeRF：用于可动画交互式手部的神经辐射场。载于IEEE/CVF计算机视觉与模式识别会议论文集。
Shreyas Hampali、Mahdi Rad、Markus Oberweger和Vincent Lepetit。2020年。Honnotate：一种用于手部与物体姿态的3D标注方法。载于IEEE/CVF计算机视觉与模式识别会议论文集，第3196–3206页。
Yana Hasson、Bugra Tekin、Federica Bogo、Ivan Laptev、Marc Pollefeys和Cordelia Schmid。2020年。利用时间上的光度一致性实现稀疏监督下的手-物体重建。载于IEEE/CVF计算机视觉与模式识别会议论文集。
Changlong Jiang、Yang Xiao、Cunlin Wu、Mingyang Zhang、Jinghong Zheng、Zhiguo Cao和Joey Tianyi Zhou。2023年。A2j-transformer：用于从单张RGB图像估计三维交互手部姿态的锚点-关节Transformer网络。载于IEEE/CVF计算机视觉与模式识别会议论文集，第8846–8855页。
Sheng Jin、Lumin Xu、Jin Xu、Can Wang、Wentao Liu、Chen Qian、Wanli Ouyang和Ping Luo。2020年。野外环境下的全身人体姿态估计。载于ECCV会议论文集。Springer出版社，第196–214页。
Hanbyul Joo、Tomas Simon和Yaser Sheikh。2018年。Total Capture：一种用于追踪面部、手部及身体的三维形变模型。载于IEEE/CVF计算机视觉与模式识别会议论文集。
Angjoo Kanazawa、Michael J Black、David W Jacobs和Jitendra Malik。2018年。人体形状与姿态的端到端恢复。载于IEEE/CVF计算机视觉与模式识别会议论文集，第7122–7131页。
Dong Uk Kim、Kwang In Kim和Seungryul Baek。2021年。两只交互手部的端到端检测与姿态估计。载于IEEE/CVF国际...
---
计算机视觉会议论文集。
Jeonghwan Kim、Mi-Gyeong Gwon、Hyunwoo Park、Hyukmin Kwon、Gi-Mun Um和Wonjun Kim。2023年。采样至关重要：基于点引导的三维人体网格重建。载于IEEE/CVF计算机视觉与模式识别会议论文集，第12880–12889页。
Muhammed Kocabas、Nikos Athanasiou和Michael J Black。2020年。Vibe：用于人体姿态与形状估计的视频推理方法。载于IEEE/CVF计算机视觉与模式识别会议论文集，第5253–5263页。
Nikos Kolotouros、Georgios Pavlakos、Michael J Black和Kostas Daniilidis。2019年。通过在循环中拟合模型来学习重建三维人体姿态与形状。载于IEEE/CVF国际计算机视觉会议论文集，第2252–2261页。
Nikos Kolotouros、Georgios Pavlakos和Kostas Daniilidis。2019年。用于单图像人体形状重建的卷积网格回归方法。载于IEEE/CVF计算机视觉与模式识别会议论文集。
Dominik Kulon、Riza Alp Güler、Iasonas Kokkinos、Michael Bronstein和Stefanos Zafeiriou。2020年。野外环境下的弱监督网格卷积手部重建。载于IEEE/CVF计算机视觉与模式识别会议论文集。
Lijun Li、Linrui Tian、Xindi Zhang、Qi Wang、Bang Zhang、Liefeng Bo、Mengyuan Liu和Chen Chen。2023年。Renderih：一个用于三维交互手部姿态估计的大规模合成数据集。载于IEEE/CVF国际计算机视觉会议论文集，第20395–20405页。
Mengcheng Li、Liang An、Hongwen Zhang、Lianpeng Wu、Feng Chen、Tao Yu和Yebin Liu。2022年。用于单图像双手重建的交互式注意力图。载于IEEE/CVF计算机视觉与模式识别会议论文集，第2761–2770页。
Mengcheng Li、Hongwen Zhang、Yuxiang Zhang、Ruizhi Shao、Tao Yu和Yebin Liu。2024年。HHMR：通过增强图扩散模型的多模态可控性来实现整体手部网格恢复。载于IEEE计算机视觉与模式识别会议论文集。
Kevin Lin、王丽娟和刘子成。2021年。基于Transformer的端到端人体姿态与网格重建。载于IEEE/CVF计算机视觉与模式识别会议论文集。
Kevin Lin、王丽娟和刘子成。2021年。Mesh Graphormer。载于IEEE/CVF国际计算机视觉会议论文集，第12939–12948页。
刘少伟、江涵文、徐佳瑞、刘思飞和王小龙。2021年。基于时序交互的半监督3D手-物体姿态估计。载于IEEE计算机视觉与模式识别会议论文集。
孟浩、金升、刘文涛、钱晨、林梦翔、欧阳万里和罗平。2022年。通过手部遮挡消除实现3D交互式手部姿态估计。载于ECCV会议论文集，Springer出版社，第380–397页。
Moon Gyeongsik。2023年。将输入映射到共享域以实现野外3D交互式手部恢复。载于IEEE/CVF计算机视觉与模式识别会议论文集，第17028–17037页。
Moon Gyeongsik、崔洪硕和李炅模。2022年。用于全身3D人体网格估计的精确3D手部姿态估计。载于IEEE/CVF计算机视觉与模式识别会议研讨会论文集。
Moon Gyeongsik、Saito Shunsuke、徐伟鹏、Joshi Rohan、Buffalo Julia、Bellan Harley、Rosen Nicholas、Richardson Jesse、Mize Mallorie、De Bree Philippe等。2024年。一个重光照3D交互式手部数据集。《神经信息处理系统进展》第36卷（2024年）。
Moon Gyeongsik、Yu Shoou-I、何文、白鸟贵明和李炅模。2020年。InterHand2.6M：基于单张RGB图像的3D交互式手部姿态估计数据集及基准方法。载于ECCV会议论文集。
Park JoonKyu、Oh Yeonguk、Moon Gyeongsik、崔洪硕和李炅模。2022年。HandOccNet：抗遮挡的3D手部网格估计网络。载于IEEE/CVF计算机视觉与模式识别会议论文集。
Paszke Adam、Gross Sam、Massa Francisco、Lerer Adam、Bradbury James、Chanan Gregory、Killeen Trevor、Lin Zeming、Gimelshein Natalia、Antiga Luca等。2019年。PyTorch：一种命令式风格的高性能深度学习库。载于NeurIPS会议论文集。
Pavlakos Georgios、Shan Dandan、Radosavovic Ilija、Kanazawa Angjoo、Fouhey David和Malik Jitendra。2023年。利用Transformer重建3D手部模型。arXiv预印本arXiv:2312.05251（2023年）。
Pavlakos Georgios、Zhou Xiaowei、Derpanis Konstantinos G和Daniilidis Kostas。2017年。利用多视角数据标注无标记3D人体姿态。载于IEEE计算机视觉与模式识别会议论文集。
邱海波、王春宇、王京东、王乃炎和曾文军。2019年。基于跨视角融合的3D人体姿态估计。载于IEEE/CVF国际计算机视觉会议论文集。
任鹏飞、温超、郑晓正、薛周、孙海峰、齐琪、王景宇和廖建新。2023年。基于单张RGB图像的交互式手部重建解耦迭代优化框架。载于IEEE/CVF国际计算机视觉会议论文集，第8014–8025页。
Romero Javier、Tzionas Dimitrios和Black Michael J.。2017年。具身化手部：手部与身体的联合建模与捕捉。载于SIGGRAPH Asia会议论文集。
虞荣、白鸟贵明和朱汉彪。2021年。FrankMocap：通过回归与集成实现快速单目3D手部与人体动作捕捉。载于IEEE/CVF国际计算机视觉会议研讨会论文集。
托马斯·西蒙、朱汉彪、伊恩·马修斯和亚瑟·谢赫。2017年。利用多视角引导技术在单张图像中检测手部关键点。载于IEEE计算机视觉与模式识别会议论文集，第1145–1153页。
唐潇、王天宇和傅赤伟。2021年。迈向实时3D手网格重建中的精确对齐。载于IEEE/CVF国际计算机视觉会议论文集。
田雅婷、张宏文、刘烨斌和王利民。2023年。从单目图像中恢复3D人体网格：综述。IEEE模式分析与机器智能交易（2023年）。
涂汉月、王春宇和曾文军。2020年。Voxelpose：面向野外环境的多摄像头3D人体姿态估计。载于ECCV会议论文集。
涂志刚、黄志胜、陈宇进、康迪、鲍林超、杨必生和袁军松。2023年。通过自监督学习实现视频中一致的3D手部重建。IEEE模式分析与机器智能交易（2023年）。
迪米特里奥斯·齐奥纳斯、卢卡·巴兰、阿布希拉什·斯里坎塔、巴勃罗·阿蓬特、马克·波勒费斯和尤尔根·加尔。2016年。利用判别性显著点与物理模拟捕捉动态中的手部动作。《国际计算机视觉杂志》第118卷（2016年），第172–193页。
阿希什·瓦斯瓦尼、诺姆·沙泽尔、妮基·帕尔玛、雅各布·乌兹科雷特、利昂·琼斯、艾丹·N·戈麦斯、卢卡什·凯泽和伊利亚·波洛苏金。2017年。注意力机制就是一切。载于第31届神经信息处理系统国际会议论文集（美国加利福尼亚州长滩）（NIPS'17）。Curran Associates Inc.，纽约州雷德胡克，第6000–6010页。
王从义、朱飞达和温世雷。2023年。MeMaHand：利用网格与单目图像的交互实现双手重建。载于IEEE/CVF计算机视觉与模式识别会议论文集，第564–573页。
王家一、弗朗西斯卡·穆勒、弗洛里安·伯纳德、苏珊娜·索利、奥列克桑德尔·索特尼琴科、钱能、米格尔·A·奥塔杜伊、丹·卡萨斯和克里斯蒂安·特博尔特。2020年。RGB2Hands：从单目RGB视频中实时追踪3D手部交互。《ACM图形学交易》（ToG）第39卷（2020年），第1–16页。
王银桥、徐浩、邢鹏安和傅赤伟。2024年。SiMA-Hand：通过单视图到多视图适配提升3D手网格重建效果。载于AAAI人工智能会议论文集。
向东来、朱汉彪和亚瑟·谢赫。2019年。单目全身捕捉：在野外环境中定位面部、身体和手部。载于IEEE/CVF计算机视觉与模式识别会议论文集，第10965–10974页。
徐浩、李海鹏、王银桥、刘帅成和傅赤伟。2024年。HandBooster：通过手部与物体交互的条件合成与采样来提升3D手网格重建效果。载于IEEE/CVF计算机视觉与模式识别会议论文集，第10159–10169页。
徐浩、王天宇、唐潇和傅赤伟。2023年。H2Net：一种具备手部遮挡与方向感知能力的实时3D手网格重建网络。载于IEEE/CVF计算机视觉与模式识别会议论文集，第17048–17058页。
徐玉飞、张静、张启明、陶大程。2022年。Vitpose：用于人体姿态估计的简单视觉Transformer基线。《神经信息处理系统进展》第35卷（2022年），第38571–38584页。
杨约翰、张亨珍、李承圭、郭诺俊。2020年。Seqhand：基于RGB序列的3D手部姿态与形状估计。收录于ECCV会议论文集。施普林格出版社，第122–139页。
杨立新、徐健、钟立成、詹欣宇、王志成、吴克建、卢泽武。2023年。Poem：在基于点嵌入的多视角立体视觉中重建手部模型。收录于IEEE/CVF计算机视觉与模式识别会议论文集。
余正迪、黄少利、方晨、Toby P Breckon、王珏。2023年。Acr：基于注意力协作的任意双手重建回归器。收录于IEEE/CVF计算机视觉与模式识别会议论文集。第12955–12964页。
张宝文、王阳刚、邓晓明、张银达、谭平、马翠霞、王宏安。2021a。从单张彩色图像中重建交互式双手3D姿态与形状。收录于IEEE/CVF国际计算机视觉会议论文集。第11354–11363页。
张宏文、曹杰、陆果、欧阳万里、孙振南。2022年。从密集身体部位学习3D人体形状与姿态。《IEEE模式分析与机器智能汇刊》第44卷第5期（2022年），第2610–2627页。
张宏文、田雅婷、张宇翔、李梦成、安亮、孙振南、刘烨斌。2023年。PyMAF-X：从单目图像中实现对齐良好的全身模型回归。《IEEE模式分析与机器智能汇刊》（2023年）。
张宏文、田雅婷、周新驰、欧阳万里、刘烨斌、王利民、孙振南。2021年。PyMAF：带有金字塔网格对齐反馈循环的3D人体姿态与形状回归。收录于IEEE/CVF国际计算机视觉会议论文集。
张建峰、蔡宇军、颜水成、冯继生等。2021a。直接多视角多人3D姿态估计。《神经信息处理系统进展》（2021年）。
张雄、李强、莫宏、张文博、郑文。2019年。从单目RGB图像中端到端恢复手部网格。收录于IEEE/CVF国际计算机视觉会议论文集。
---
张宇翔、李哲、安亮、李梦成、余涛、刘烨斌。2021b。利用稀疏多视角摄像头实现轻量级多人全身动作捕捉。收录于IEEE/CVF国际计算机视觉会议论文集。
张哲、王春宇、邱伟超、秦文虎、曾文军。2021b。Adaptive：用于野外精准人体姿态估计的自适应多视角融合方法。《国际计算机视觉杂志》第129卷（2021年），第703–718页。
赵伟超、胡赫真、周文刚、李丽、李厚强。2024年。利用时空上下文在单目RGB视频中进行交互式手部重建。《ACM多媒体计算、通信与应用交易》第20卷第6期（2024年），第1–18页。
周志山、周世豪、吕智、邹敏强、唐尧、梁佳俊。2024年。一种用于高效手部网格重建的简单基线。收录于…
IEEE/CVF计算机视觉与模式识别会议论文集。第1367–1376页。
齐默尔曼·克里斯蒂安、布罗克斯·托马斯。2017年。从单张RGB图像中学习估计3D手部姿态。收录于IEEE国际计算机视觉会议论文集。第4903–4911页。
Christian Zimmermann、Duygu Ceylan、Jimei Yang、Bryan Russell、Max Argus和Thomas Brox。2019年。Freihand：一个用于从单张RGB图像中无标记捕捉手部姿态与形状的数据集。载于IEEE/CVF国际计算机视觉会议论文集，第813–822页。
Binghui Zuo、Zimeng Zhao、Wenqian Sun、Wei Xie、Zhou Xue和Yangang Wang。2023年。利用交互先验从单目图像中重建交互中的手部。载于IEEE/CVF国际计算机视觉会议论文集，第9054–9064页。