# 从2D对齐到3D合理性：统一异构2D先验与无穿透扩散模型以实现抗遮挡的双手重建
韩高歌 $^{1,2}$ 程永康 $^{1,2}$ 陈哲 $^{4}$ 黄少利 $^{1,*}$ 刘同良 $^{3,2}$ $^{1}$AgiBot
$^{2}$穆罕默德·本·扎耶德人工智能大学
$^{3}$悉尼大学
$^{4}$拉筹伯大学
## 摘要
基于单目图像的双手重建受到复杂姿态和严重遮挡的影响，常常导致手部交互错位以及双手相互穿透的问题。我们通过将问题拆解为2D结构对齐和3D空间交互对齐来解决这一问题，每个环节都由专门的组件处理。在2D对齐方面，我们首次尝试将视觉基础模型输出的异构结构先验（关键点、分割结果和深度信息）统一为双手恢复的互补性结构指导。我们并未将先验预测结果作为显式输入，而是提出了一种融合对齐编码器，能够隐式吸收其中的结构知识，从而以较低成本实现基础模型级别的指导效果。在3D空间对齐方面，我们提出了一种双手无穿透扩散模型，该模型能学习从相互穿透的姿态到真实、无碰撞配置的生成映射。在去噪过程中，模型会借助碰撞梯度引导，逐步收敛到有效的双手交互流形上，从而保持几何和运动的一致性。这种生成式建模方法即便在存在遮挡或视觉输入模糊的情况下，也能实现物理上可信的重建结果。我们在InterHand2.6M和HIC数据集上进行的大量实验表明，该模型在交互对齐和穿透抑制方面取得了业界领先或顶尖的性能。项目链接：
### 1. 引言
3D双手恢复旨在在3D空间中重建一个人的双手，这一技术对于3D角色动画、AR/VR和机器人等新兴应用而言至关重要。大规模手部数据集[^16] [^17]推动了相关研究的进展：这些研究既包括扩大数据规模[^20]、强化骨干网络[^12] [^20]，也包括利用注意力机制建模双手关系[^10] [^11] [^28]。与此同时，基础模型先验和生成式先验在3D恢复领域的应用也展现出巨大潜力：在人体重建领域，WHAM [^23]利用2D关键点模型作为运动先验，TRAM [^26]利用分割和深度信息，而BUDDI [^18]则采用扩散模型作为生成先验。这些趋势表明，由视觉基础模型推断出的结构化2D线索（如关键点、分割掩码和深度信息）能够为3D手部重建提供宝贵的指导。
不过，直接将此类先验应用于双手重建并非易事。微调大型2D编码器并处理多任务预测在计算上开销巨大，且会导致2D与3D特征对齐模糊不清；在双手相互遮挡的情况下，2D线索的可靠性也会降低；虽然3D生成式先验（如扩散模型）能够建模手部交互，但它们需要与观测数据精确对齐，否则就会偏离到不合理的状态。此外，现有的双手重建方法[^11] [^15] [^28]通常缺乏专门的对齐机制，从而导致空间不一致、交互不自然以及穿透现象。因此，我们将该问题拆解为两个互补的对齐阶段：2D结构对齐和3D空间交互对齐，每个阶段都由专门的组件来处理。
为此，我们将双手恢复任务拆分为2D对齐和3D空间对齐，并将它们整合到一个统一的流程中。这种渐进式设计直接针对导致失败的根本原因——模糊的2D-3D对应关系以及穿透现象，从而实现抗遮挡的双手重建。
### 在2D阶段，据我们所知，我们是首个将视觉基础模型中包括关键点、分割和深度在内的多种2D结构先验统一用于双手恢复的研究。我们提出了一种轻量级的融合对齐编码器（FAE），能够以紧凑且可学习的方式整合这些异构线索。
---
Figure 1. Two-hand recovery on InterHand2.6M (1st, 3rd columns), Re:InterHand (4th, 5th columns), and In-the-Wild (2nd, 6th columns).
训练期间，FAE并非依赖显式的先验预测，而是从视觉基础模型的[^8]潜在输出中隐式地学习融合后的先验特征，以捕捉一致的几何与语义结构。这一过程无需运行基础模型来预测多种先验任务，同时还能让网络将它们的互补性推理能力整合为统一的表征。推理时，所有基础编码器均被移除，从而支持无需编码器的部署方式，在大幅提升效率的同时仍能保持多先验条件下的高精度。
在3D阶段，我们提出了一种无穿透现象的双手扩散模型，该模型能学习从相互穿透的姿态到物理上合理且无穿透现象的配置之间的生成映射。虽然像InterHandGen [^9]这样的基于扩散的方法主要用作输出正则化器，并未显式建模3D空间交互，但它们往往无法完全解决双手穿透问题。同样，基于CNN的交互框架[^34]严重依赖图像级特征，缺乏强大的几何约束，导致3D一致性有限且接触重建不稳定。为克服这些局限，我们的基于扩散的空间对齐模块将多先验2D证据与3D中的显式条件去穿透机制相结合，从而能够直接学习可行的交互流形。此外，为增强去穿透能力，我们在去噪过程中引入了碰撞梯度引导。
总体而言，这种两阶段设计既利用了信息丰富的2D先验，又确保了3D交互的合理性，即便存在遮挡情况也能生成几何精确且交互一致的双手重建结果，如图1所示。我们在多种场景和交互姿态下均验证了该方法的稳健性能。
我们的主要贡献可总结如下。
- 我们首次尝试通过一种仅在训练期间使用的轻量级融合与对齐编码器，将包括关键点、分割和深度在内的异构结构先验统一应用于双手恢复，从而在推理时无需使用复杂的编码器，同时仍能保持高精度。
• 我们提出了首个无需双手穿透的扩散模型，该模型通过学习生成映射来产生物理上合理且不存在穿透现象的重建结果，即便在存在遮挡的情况下也能实现稳健的恢复。
- 这些阶段共同解决了2D和3D对齐问题，从而实现能够感知遮挡且逼真的双手重建；在InterHand2.6M、HIC和FreiHAND数据集上取得了业界领先的结果，消融实验也验证了多先验2D对齐与基于扩散的交互建模的有效性。
#### 2. 相关工作
#### 2.1. 3D手部恢复
随着一些高质量手部数据集的出现，从单目输入图像中恢复3D手部MANO [^22] 参数的技术近期取得了显著进展。
单手恢复：METRO [^31]利用卷积神经网络来提取单个全局图像。
---
该特征通过将图像特征与网格模板的3D坐标反复拼接来进行位置编码。MeshGraphormer [^12] 引入了一种基于图卷积增强的Transformer，能够有效建模局部和全局交互作用。AMVUR [^6] 提出了一种概率方法，用于估计手部关节和顶点的先验概率分布。Zhou等人 [^32] 将网格解码器拆分为令牌生成器和网格回归器，简化了处理流程；这种简单却有效的基准方法实现了高性能与实时效率的平衡。HaMeR [^20] 强调了扩大训练数据规模以及采用大容量深度架构对提升手部网格恢复精度与效果的重要影响。双手恢复任务中的IntagHand [^10] 提出了一种基于GCN的网络，能够从单张RGB图像中重建两只相互作用的手；该网络采用了金字塔图像特征注意力（PIFA）和交叉手注意力（CHA）模块，以应对遮挡和交互带来的挑战。InterWild [^15] 通过利用单手ITW数据进行2D尺度空间对齐，并借助几何特征实现外观不变的空间表示，从而将MoCap数据与ITW样本结合起来，实现野外场景下稳健的3D交互手重建。ACR [^28] 通过利用基于中心和部件注意力机制进行特征提取，明确缓解了手与手之间以及部件之间的相互依赖问题。4DHands [^11] 能够同时处理单手和双手输入，并利用相对手位信息；其基于Transformer的架构包含了关系感知的双手令牌化（RAT）模块和时空交互推理（SIR）模块。
尽管这些方法在手部姿态和形状重建方面总体取得了具有竞争力的结果，但在更精细的细节表现上仍有不足。
### 2.2. 整合任务相关先验
近期的研究表明，融入任务相关的先验知识能够显著提升各类视觉任务的性能。
2D先验[^23] [^27] [^30]：ECON[^27]以RGB图像为输入，并以人体数字化任务中渲染的正面与背面身体法向图像为条件。这种策略使其能够在推断穿着宽松衣物且姿势复杂的逼真3D人体方面表现出色。在文本生成图像任务中，ControlNet[^30]也成功利用了多种类型的条件输入，如草图、深度图和分割图。它利用预训练的文本生成图像扩散模型，成功生成与这些条件引导一致的图像。在3D人体运动估计任务中，WHAM[^23]利用人体2D关键点来提取运动特征，作为运动解码器和轨迹解码器的输入。这种方法能够在全局坐标下实现更稳健、稳定的3D人体运动估计。
生成式先验[^1] [^3] [^4] [^9] [^34]：Zuo等人[^34]在VAE的潜空间中捕捉交互先验，并将其应用于交互手重建，从而有效估计合理的手部姿态。InterHandGen[^9]训练了一个级联的双手生成模型，该模型作为生成式先验，用于构建损失正则项，以解决双手重建难题。
在本文中，我们试图从基础模型中获取多模态2D手部先验作为2D域约束，并利用基于扩散的双手交互先验，分别解决双手参数估计中的2D和3D对齐难题。
#### 3. 方法
本节详细阐述了我们的双手重建方法的两阶段技术框架。如图2所示，与传统双手估计流程相比，我们的方法有两个关键创新点：1）基于多模态2D先验的双手对齐：在训练期间通过融合对齐编码器整合多模态2D先验以实现双手对齐；2）双手交互细化：利用我们提出的双手扩散模型进行交互感知的细化处理。
#### 3.1. 双手多模态2D先验对齐
现有方法通常通过骨干网络提取单目手部图像的视觉特征，进而直接回归MANO[^22]参数。与这种仅依赖图像特征的标准流程不同，我们的方法还引入了来自局部关键点及深度线索的结构化引导，以实现更精确的双手姿态与形状对齐。为了获取稳健的多模态先验，我们采用了以人为中心的视觉基础模型Sapiens[^8]，该模型可处理2D关键点、分割和深度任务。
2D手部关键点先验。受WHAM[^23]的启发——该方法提取全身2D关键点来识别人体特征——我们专注于提取2D手部关键点作为手部特征，而非关节级特征。这些2D关键点提供了关节和指尖等关键手部特征的精确位置，从而能更准确地理解手部姿态。在提取2D关键点特征方面，与需要额外2D转3D预训练的WHAM不同，我们的方法省去了这些额外的预训练步骤，并在图像空间中对齐它们，从而构建了更高效的信息整合框架。
双手分割先验。分割图提供了像素级的细节，有助于精确定位手部并去除背景，从而减少噪声。它们能使模型通过聚焦于分割区域来更有效地提取手部特征。值得注意的是，尽管手部相互重叠严重时会导致二维关键点预测不可靠，但分割图仍能提供准确的二维手轮廓。
---
Figure 2. The overall pipeline of our proposed method. "Feat.", "Proj.", "Enc.", "FA", "Key.", "Seg.", "Pen." and "RelTrans" are abbreviations for "Feature", "Projection", "Encoder", "Fusion Alignment", "key points", "Segmentation", "Penetration" and "Relative Translation", respectively. c denotes the condition of penetrated two hands. The purple arrow path will be activated during inference, while the yellow arrow path will be activated when the Intersection over Union (IoU) of both hands is greater than 0.
尽管手部相互重叠严重时会导致二维关键点预测不可靠，但分割图仍能提供准确的二维手轮廓。
手部深度先验。深度图提供了手部与相机之间的距离信息，有助于捕捉真实环境中手部的相对位置和空间关系。深度信息受光照条件变化的影响较小，因此在光照多变或较差的环境中，手部识别的可靠性更高。针对深度尺度模糊问题，我们的解决方案得益于以人为中心的视觉基础模型Sapiens [^8]，该模型经过专门优化，能有效应对这一挑战。
融合对齐编码器（FAE）。整合辅助二维先验的简单方案是使用原始视觉基础模型的编码器，但这会在推理阶段带来巨大的计算开销。为此，我们提出了一种高效的替代方案：在保持具有竞争力的性能的同时大幅降低计算成本。具体而言，我们设计了一种轻量级的融合对齐编码器，通过均方误差优化从图像中直接学习融合后的辅助信息嵌入，如图2的第1阶段所示。这种方法使我们无需在推理时借助额外的基础模型编码器来获取这些先验特征。
用$\mathbf{F}_k$、$\mathbf{F}_m$和$\mathbf{F}_d$分别表示二维关键点、分割图和深度图所对应的基础模型先验特征，通过可学习的投影层Proj即可获得融合后的先验特征$\mathbf{F}_p$。其公式可表示为：
$$ \mathbf{F}_{p}={P r o j}(\mathbf{F}_{k},\mathbf{F}_{s},\mathbf{F}_{d}). $$
融合对齐编码器的输出特征$\mathbf{F}_{fa}$将学会与$\mathbf{F}_{p}$对齐。
双手恢复流程。在我们的双手恢复框架中，Transformer编码器会有效整合图像特征$\mathbf{F}_{i}$与融合后的先验特征$\mathbf{F}_{p}$，随后由手部回归器从这些统一表示中预测手部参数。最终输入手部回归器的整合特征$\mathbf{F}$可表示为：
$$ \mathbf{F}={T r a n s}E n c(<\mathbf{F}_{i},\mathbf{F}_{p}>)[0:l], $$
此处，<, >表示拼接操作。TransEnc代表Transformer编码器，l表示特征图的通道长度。
双手恢复损失函数。基于以往的双手恢复方法[^15] [^28]，我们通过最小化预测值与真实值（GT）MANO参数、三维及2.5维关节坐标以及三维相对平移之间的L1距离，以端到端方式训练模型。对于融合对齐编码器的训练，我们采用均方误差损失。给定融合对齐编码器的特征$\mathbf{F}_{fa}$，总损失可表示为：
$$ \mathcal{L}_{t o t a l}=\mathcal{L}_{h a n d}+\mathcal{L}_{p r i o r}(\mathbf{F}_{p},\mathbf{F}_{f a}). $$
---
### 3.2. 双手空间交互细化
除了二维先验对齐外，我们认为重建的手部模型在物理交互中仍可能存在不一致性，即一只手会遮挡另一只手的重要手指。在这种情况下，前文提到的三种额外信息无法为被遮挡的手部区域提供有效指导。因此，两只手被遮挡区域的估计结果很容易出现穿透现象。
为此，我们提出了带穿透引导的双手扩散模型，通过迭代去噪相互穿透的姿势，逐步将其引导至符合物理规律的合理配置，从而优化手部交互效果。
无穿透双手扩散模型。我们构建了双手扩散模型，以对应的穿透参考双手姿态作为条件输入来还原清晰的手部姿态，并在去噪阶段引入穿透梯度引导。对于穿透型双手姿态，我们通过两种方法生成：1）首先用性能较低的双手估计模型合成结果，选取其中相互穿透的双手姿态；2）对双手的MANO参数真值施加轻微噪声，直至出现穿透现象。
我们的方法相较于InterHandGen [^9]（采用基于扩散的正则化方式约束输出）和zuo等人[^34]（从CNN编码器中提取交互特征）的方法存在显著差异且更具优势：通过基于扩散的方式显式建模交互先验，能有效将穿透的手部转化为干净且无碰撞的对应姿态。如图2的第2阶段所示，在使用双手扩散模型之前，我们会先对两只手进行IoU和穿透性检测，从而在大多数情况下减少不必要的扩散推理。这种梯度引导的双手扩散机制能有效缓解被遮挡区域的穿透问题。
双手扩散损失函数。我们的双手扩散损失用于衡量每个时间步中干净手部$\mathbf{X}_0$与输入模型的含噪手部$\mathbf{X}_t$之间的L2距离，该计算依赖于时间步t以及穿透手部输入$\mathbf{X}_c$。给定双手扩散模型$\mathcal{D}$，扩散损失可表示为：
$$ \mathcal{L}_{d i f f u s i o n}=\|\mathbf{X}_{0}-\mathcal{D}(\mathbf{X}_{t},\mathbf{X}_{c})\|_{2}. $$
碰撞梯度引导。在推理阶段，我们引入梯度引导策略来解决手部间的遮挡问题并防止相互穿透。在反向扩散过程的每一步去噪中，我们计算两只手之间的碰撞损失，并通过梯度下降迭代调整手部姿态。具体而言，首先利用DDIM采样从$\tilde{\mathbf{X}}_0$中估计出干净的双手参数$\mathbf{X}_{t-1}$。这些参数被输入到MANO模型中，得到网格顶点$\mathbf{V}_{t-1}$和$\mathbf{V}_c$。为了精准检测碰撞，我们设计了混合的距离-方向判定准则：1）计算Chamfer距离$\mathbf{N}_{ij} = |\mathbf{V}_{t-1}^i - \mathbf{V}_c^j|^2$，保留满足条件的顶点对$\mathbf{N}_{ij} < d_{\text{threshold}}$；2）对保留的顶点对，计算其法向量间的余弦相似度$\cos(\theta_{ij})$，当满足特定条件时即判定为碰撞$\cos(\theta_{ij}) < \cos(\theta_{\text{thre}}$。由此得到碰撞集合$\mathbf{C}_{\text{col}}$。随后我们使用GMoF函数构建稳健的碰撞损失：
$$ \mathcal{L}_{c o l l i s i o n}=\sum_{i}\sum_{j}(\frac{||\mathbf{V}_{t-1}^{i}-\mathbf{V}_{c}^{j}||^{2}}{||\mathbf{V}_{t-1}^{i}-\mathbf{V}_{c}^{j}||^{2}-\rho}), $$
并通过传播该损失的负梯度来更新$\hat{X}_{0}$：
$$ \hat{\mathbf{X}_{0}}=\hat{\mathbf{X}_{0}}-\lambda(\delta_{i}\mathcal{L}_{c o l l i s i o n}), $$
其中$\lambda$用于控制调整幅度。
#### 4. 实验
本节通过定量和可视化实验来验证我们方法的有效性，具体表现为：1）融合对齐编码器的高效性，以及2）双手扩散模块在消除手部相互穿透现象方面的能力。数据集和指标详情详见附录。
#### 4.1. 实现细节
双手重建模型。我们使用PyTorch [^19]来实现该网络。在图像特征提取器方面，我们以ResNet-50 [^5]作为骨干网络；而对于2D先验信息编码器和融合对齐编码器，则分别采用以人为中心的视觉基础模型Sapiens [^8]和ResNet-50。手部边界框检测器采用了RT-MDet [^14]。我们的模型在4块A100 GPU上训练，优化器选用AdamW，初始学习率为$1e^{-4}$，在第4个训练轮次时学习率会缩小为原来的十分之一。迷你批量大小设为48。其他细节我们遵循[^15]中的方法。我们的训练数据集仅包含少数具有代表性的双手和单手数据集，包括InterHand2.6M [^16]、Re:InterHand [^17]、COCO whole-body [^7]、FreiHand [^33]以及HO-3D [^2]，这比最新方法4DHands [^11]的实验设置（3种双手数据集和9种单手数据集）要少。在测试阶段，我们主要使用InterHand2.6M、FreiHAND以及自然场景数据集HIC [^25]。
双手扩散模型。我们为双手扩散模型采用了基于Transformer的架构，利用多层感知机对输入的时间步进行编码，并通过全连接层对相互穿透的双手输入进行编码并预测干净的双手输出。该扩散模型采用了MDM风格的[^24]扩散过程来提升几何学习能力。该模型经过了1,000步加噪训练和余弦噪声调度。训练数据集包括InterHand2.6M [^16]和Re:InterHand [^17]。
---
| Methods | MRRPE | MPJPE | MPVPE | IH MPJPE | IH MPVPE | SH MPJPE | SH MPVPE |
| Moon et al. [^16] | - | 13.98 | - | 16.02 | - | 12.16 | - |
| Zhang et al. [^29] | - | 11.58 | 12.04 | 11.28 | 12.01 | 11.73 | 12.06 |
| IntagHand [^10] | - | 9.95 | 10.29 | 10.27 | 10.53 | 9.67 | 9.91 |
| Zuo et al. [^34] | - | 8.34 | 8.51 | - | - | - | - |
| ACR [^28] | - | 8.09 | 8.29 | 9.08 | 9.31 | 6.85 | 7.01 |
| InterWild [^15] | 26.74 | 7.85 | 8.16 | 8.24 | 8.68 | 6.72 | 6.93 |
| Ren et al. [^21] | 28.98 | 7.51 | 7.72 | - | - | - | - |
| InterHandGen [^9] | 25.42 | 7.50 | 7.78 | 8.13 | 8.52 | 6.47 | 6.85 |
| 4DHands [^11] | 24.58 | 7.49 | 7.72 | - | - | - | - |
| Ours | 21.60 | 5.36 | 5.58 | 5.93 | 5.87 | 4.84 | 4.86 |
Table 1. Comparison with state-of-the-art methods on InterHand2.6M[^16] 5fps test dataset. The results that are bolded and underlined represent the best result, while the bolded results represent the second-best result.
#### 4.2. 数据集详情
这些数据集分为两大类：交互式手部（IH）和单手（SH）。InterHand2.6M [^16]同时提供了精确的人体（H）和机器（M）3D姿态及网格标注，其中用于训练的帧数为136万帧，用于测试的帧数为85万帧。Re:InterHand [^17]包含来自第三人称视角的73.9万张视频图像和49.3万张基于帧的图像，以及来自第一人称视角的14.7万张视频图像。COCO WholeBody [^7]在COCO数据集 [^13]的基础上增加了全面的人体标注，涵盖了整个人体的手动标注信息。FreiHand [^33]是一个专为单手3D姿态估计设计的数据集，为每一帧提供了MANO标注；其中用于训练的帧数为4×32,560帧，用于评估与测试的帧数为3,960帧。HO-3D [^2]专注于手-物体交互场景，包含66,000张训练图像和11,000张测试图像，涵盖68个不同的序列。HIC提供了多样化的手-手交互及手-物体交互序列，且包含双手的3D真实网格数据；与InterHand2.6M相比，该数据集中的图像外观更加多样且更贴近现实。
#### 4.3. 评估指标
我们主要采用平均关节位置误差（MPJPE）和平均顶点位置误差（MPVPE）来衡量对齐根关节平移后，每个估计手部的姿态和形状的3D误差（单位：毫米）；采用平均相对根位置误差（MRRPE）来衡量两只手相对位置的性能（单位：毫米）。经过Procrustes对齐的平均关节位置误差（PA-MPJPE）以及经过Procrustes对齐的平均顶点位置误差（PA-MPVPE），分别指的是利用Procrustes对齐方式将预测的手部结果与真实值对齐后的MPJPE和MPVPE。为了更深入地探究加入额外2D信息对性能的影响，我们在消融研究中引入了MPJPE-XY、MPJPE-Z、MPVPE-XY和MPVPE-Z。
| Methods | MRRPE | MPJPE | MPVPE |
| IntagHand [^10] | 73.04 | 20.38 | 21.56 |
| InterWild [^15] | 26.43 | 15.62 | 15.17 |
| 4DHands [^11] | 25.26 | 9.32 | 9.93 |
| Ours | 22.24 | 6.67 | 6.93 |
Table 2. Comparison with state-of-the-art methods on HIC dataset [^25].
这些指标分别计算了MPJPE和MPVPE在XY维度与Z维度上相对于真实值的手部恢复误差。
#### 4.4. 与最先进方法的比较
InterHand2.6M数据集上的定量结果。我们在InterHand2.6M测试数据集上对本文方法与近期最先进的手部姿态和形状估计方法进行了全面对比，结果如表1所示。我们的方法在MRRPE指标上取得了21.60毫米的最佳性能，分别比InterWild、Ren等人提出的方法和4DHands高出5.14毫米、7.38毫米和2.98毫米。我们的方法在MPJPE和MPVPE指标上也展现出持续的提升，分别比当前最优方法4DHands高出2.13毫米和2.14毫米。此外，我们在IH MPJPE/MPVPE和SH MPJPE/MPVPE指标上也观察到了一致的性能提升，这凸显了该方法在单手及双手交互估计任务中的泛化能力和鲁棒性。
HIC数据集上的定量结果。我们展示了HIC数据集[^25]上的结果，该数据集包含自然场景下的双手交互数据，用于评估模型在现实场景中的性能。这些模型的训练集中并不包含HIC数据集。在表2中，我们将这些结果与IntagHand、InterWild以及专为自然场景下双手恢复设计的最先进方法4DHands进行了对比。我们的方法在未使用基础模型推理的情况下，就在多个指标上超越了4DHands和InterWild。这些结果凸显了其在未见数据上的卓越稳定性。
---
Figure 3. Qualitative two-hand recovery results in real scenes. The images are all sourced from the internet. The red circle indicates distortion or inaccurate estimation.
实验结果凸显了其在未见数据上的卓越稳定性。
真实场景中的定性结果。图3展示了我们的方法与ACR [^28]、InterWild [^15]在真实图像上的对比情况。现有方法存在对齐偏差（第1行）、拇指扭曲（第2行）、肢体穿插现象（第2、4行）以及遮挡情况下的失效问题（第3行），而我们的方法在所有具有挑战性的案例中都能始终输出准确且稳定的结果。
### 4.5. 消融研究
在所有具有挑战性的场景中，它都能提供准确且稳定的结果。
Fusion Alignment Encoder 的效率。在表4中，我们给出了我们的 pro- 之间的综合比较
---
| Methods | MRRPE | MPJPE | MPVPE | MPJPE-XY | MPJPE-Z | MPVPE-XY | MPVPE-Z |
| Baseline | 25.30 | 7.77 | 7.93 | 5.21 | 4.54 | 5.29 | 4.63 |
| + Key Points | 24.71 | 6.48 | 6.72 | 4.28 | 4.43 | 4.39 | 4.53 |
| + Segmentation Prior | 24.52 | 6.19 | 6.34 | 4.21 | 4.40 | 4.33 | 4.50 |
| + Depth Prior | 22.38 | 5.74 | 5.98 | 4.13 | 3.37 | 4.19 | 3.46 |
| + Penetration-Free Diffusion | 21.60 | 5.36 | 5.58 | 3.87 | 3.01 | 3.76 | 3.05 |
Table 3. Ablation studies on InterHand2.6M [^16].
| Methods | MRRPE | MPJPE | MPVPE | Params | FPS |
| Ours $^{*}$ | 21.91 | 5.54 | 5.83 | 52.6M + 1B | 3 |
| Ours $^{*}$ | 22.38 | 5.74 | 5.98 | 52.6M | 56 |
| Ours $^{**}$ | 21.60 | 5.36 | 5.58 | 74.2M | 18 |
Table 4. Comparison in model parameters and inference time. ★ represents with fusion alignment encoder & without two-hand diffusion. ★ represents with fusion alignment encoder & two-hand diffusion. · denotes using foundation model encoder [^8] without diffusion model for inference.
Figure 4. Qualitative two-hand recovery results compared with InterHandGen [^9], Ours (before diffusion) and Ours (after diffusion) on InterHand2.6M [^16].
所提出的融合对齐编码器与基础模型编码器[^8]在性能、模型参数以及推理效率方面进行了对比，测试平台为NVIDIA RTX 3090 GPU。我们的方法在这三个关键指标上取得了最优平衡。
不同先验信息的有效性。如表3所示，我们逐步加入不同类型的信息进行融合，以观察它们对性能的影响，且推理阶段不使用基础模型编码器。我们发现，引入2D关键点和分割图显著改善了MPJPE和MPVPE指标，尤其是在XY维度上。其中，2D关键点由于包含更详细的关节级信息而贡献更大，而分割图提供的空间线索则较为粗略。
| Methods | PenVol $\downarrow$ | PenDist $\downarrow$ | ProxRatio $\uparrow$ |
| InterHandGen [^9] | 0.76 | 0.04 | 0.97 |
| Ours | 0.11 | 0.01 | 0.99 |
Table 5. Comparison on penetration metrics. We provide penetration metrics following [^9]: PenVol, PenDist, and ProxRatio stand for penetration volume, penetration distance, and proximity ratio, respectively.
此外，融合深度图进一步提升了MPJPE/MPVPE-Z和MRRPE指标，这表明深度信息能够增强三维结构推理能力。
双手扩散模型的有效性。表3展示了双手扩散模型对手部恢复性能的影响。可以看出，加入扩散模块后，MRRPE、MPJPE和MPVPE指标均得到提升，且在XY和Z维度上均呈现相同的改善趋势。如图4所示，我们展示了应用双手扩散模型前后的视觉对比结果。具体而言，作为交互先验，它能有效减少因遮挡导致的手部穿透现象。表5显示了与现有方法相比，我们的方法在穿透消除指标上的提升情况。这些定量和视觉结果直观地验证了该方法优越性。
## 5. 结论
本文提出了一种双手重建方法，该方法整合额外的2D参考信息以改善手部对齐和深度恢复性能。此外，当一只手被另一只手遮挡导致该手的2D参考信息不可靠时，我们引入了双手扩散模型作为交互先验来解决穿透问题。大量的定性和定量实验结果表明，我们的方法明显优于以往的双手及单手重建方法。局限性与未来工作：我们的方法在处理手部图像的极端运动模糊问题时仍面临挑战，因为在此类情况下额外的2D信息可能变得不可靠。我们认为，未来引入时序处理机制能够有效缓解这一问题。
---
## 参考文献
[^1]: Yongkang Cheng, Mingjiang Liang, Shaoli Huang, Gaoge Han, Jifeng Ning, and Wei Liu. Conditional gan for enhancing diffusion models in efficient and authentic global gesture generation from audios. In 2025 IEEE/CVF Winter Conference on Applications of Computer Vision (WACV), pages 2164–2173. IEEE, 2025. 3
[^2]: Shreyas Hampali, Mahdi Rad, Markus Oberweger, and Vincent Lepetit. Honnotate: A method for 3d annotation of hand and object poses. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 3196–3206, 2020. 5, 6
[^3]: Gaoge Han, Shaoli Huang, Mingming Gong, and Jinglei Tang. Humotion: Human-tuned navigation of latent motion diffusion models with minimal feedback. In Proceedings of the AAAI Conference on Artificial Intelligence, pages 2031–2039, 2024. 3
[^4]: Gaoge Han, Mingjiang Liang, Jinglei Tang, Yongkang Cheng, Wei Liu, and Shaoli Huang. Reindiffuse: Crafting physically plausible motions with reinforced diffusion model. In 2025 IEEE/CVF Winter Conference on Applications of Computer Vision (WACV), pages 2218–2227. IEEE, 2025. 3
[^5]: Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 770–778, 2016. 5
[^6]: Zheheng Jiang, Hossein Rahmani, Sue Black, and Bryan M Williams. A probabilistic attention model with occlusion-aware texture regression for 3d hand reconstruction from a single rgb image. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 758–767, 2023. 3
[^7]: Sheng Jin, Lumin Xu, Jin Xu, Can Wang, Wentao Liu, Chen Qian, Wanli Ouyang, and Ping Luo. Whole-body human pose estimation in the wild. In Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part IX 16, pages 196–214. Springer, 2020. 5, 6
[^8]: Rawal Khirodkar, Timur Bagautdinov, Julieta Martinez, Su Zhaoen, Austin James, Peter Selednik, Stuart Anderson, and Shunsuke Saito. Sapiens: Foundation for human vision models. arXiv preprint arXiv:2408.12569, 2024. 2, 3, 4, 5, 8
[^9]: Jihyun Lee, Shunsuke Saito, Giljoo Nam, Minhyuk Sung, and Tae-Kyun Kim. Interhandgen: Two-hand interaction generation via cascaded reverse diffusion. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 527–537, 2024. 2, 3, 5, 6, 8
[^10]: Mengcheng Li, Liang An, Hongwen Zhang, Lianpeng Wu, Feng Chen, Tao Yu, and Yebin Liu. Interacting attention graph for single image two-hand reconstruction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 2761–2770, 2022. 1, 3, 6
[^11]: Dixuan Lin, Yuxiang Zhang, Mengcheng Li, Yebin Liu, Wei Jing, Qi Yan, Qianying Wang, and Hongwen Zhang. 4dhands: Reconstructing interactive hands in 4d with trans-
Transformer模型。arXiv预印本arXiv:2405.20330，2024年。1、3、5、6
[^12]: Kevin Lin, Lijuan Wang, and Zicheng Liu. Mesh graphormer. In Proceedings of the IEEE/CVF international conference on computer vision, pages 12939–12948, 2021. 1, 3
[^13]: Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, and C Lawrence Zitnick. Microsoft coco: Common objects in context. In Computer Vision–ECCV 2014: 13th European Conference, Zurich, Switzerland, September 6-12, 2014, Proceedings, Part V 13, pages 740–755. Springer, 2014. 6
[^14]: Chengqi Lyu, Wenwei Zhang, Haian Huang, Yue Zhou, Yudong Wang, Yanyi Liu, Shilong Zhang, and Kai Chen. Rtmdet: An empirical study of designing real-time object detectors. arXiv preprint arXiv:2212.07784, 2022. 5
[^15]: Gyeongsik Moon. Bringing inputs to shared domains for 3d interacting hands recovery in the wild. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 17028–17037, 2023. 1, 3, 4, 5, 6, 7
[^16]: Gyeongsik Moon, Shoou-I Yu, He Wen, Takaaki Shiratori, and Kyoung Mu Lee. Interhand2.6m: A dataset and baseline for 3d interacting hand pose estimation from a single rgb image. In Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part XX 16, pages 548–564. Springer, 2020. 1, 5, 6, 8
[^17]: Gyeongsik Moon, Shunsuke Saito, Weipeng Xu, Rohan Joshi, Julia Buffalo, Harley Bellan, Nicholas Rosen, Jesse Richardson, Mallorie Mize, Philippe De Bree, et al. A dataset of relighted 3d interacting hands. Advances in Neural Information Processing Systems, 36, 2024. 1, 5, 6
[^18]: Lea Müller, Vickie Ye, Georgios Pavlakos, Michael Black, and Angjoo Kanazawa. Generative proxemics: A prior for 3d social interaction from images. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 9687–9697, 2024. 1
[^19]: Adam Paszke, Sam Gross, Francisco Massa, Adam Lerer, James Bradbury, Gregory Chanan, Trevor Killeen, Zeming Lin, Natalia Gimelshein, Luca Antiga, et al. Pytorch: An imperative style, high-performance deep learning library. Advances in neural information processing systems, 32, 2019.
[^20]: Georgios Pavlakos, Dandan Shan, Ilija Radosavovic, Angjoo Kanazawa, David Fouhey, and Jitendra Malik. Reconstructing hands in 3d with transformers. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 9826–9836, 2024. 1, 3
[^21]: Pengfei Ren, Chao Wen, Xiaozheng Zheng, Zhou Xue, Haifeng Sun, Qi Qi, Jingyu Wang, and Jianxin Liao. Decoupled iterative refinement framework for interacting hands reconstruction from a single rgb image. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 8014–8025, 2023. 6
## [^22]: Javier Romero, Dimitrios Tzionas, and Michael J Black. Embodied hands: modeling and capturing hands and bodies together. ACM Transactions on Graphics (TOG), 36(6):1–17, 2017. 2, 3
---
[^23]: Soyong Shin, Juyong Kim, Eni Halilaj, and Michael J Black. Wham: Reconstructing world-grounded humans with accurate 3d motion. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 2070–2080, 2024. 1, 3
[^24]: Guy Tevet, Sigal Raab, Brian Gordon, Yonatan Shafir, Daniel Cohen-Or, and Amit H Bermano. Human motion diffusion model. arXiv preprint arXiv:2209.14916, 2022. 5
[^25]: Dimitrios Tzionas, Luca Ballan, Abhilash Srikantha, Pablo Aponte, Marc Pollefeys, and Juergen Gall. Capturing hands in action using discriminative salient points and physics simulation. International Journal of Computer Vision, 118:172–193, 2016. 5, 6
[^26]: Yufu Wang, Ziyun Wang, Lingjie Liu, and Kostas Daniilidis. Tram: Global trajectory and motion of 3d humans from in-the-wild videos. In European Conference on Computer Vision, pages 467–487. Springer, 2024. 1
[^27]: Yuliang Xiu, Jinlong Yang, Xu Cao, Dimitrios Tzionas, and Michael J Black. Econ: Explicit clothed humans optimized via normal integration. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 512–523, 2023. 3
[^28]: Zhengdi Yu, Shaoli Huang, Chen Fang, Toby P Breckon, and Jue Wang. Acr: Attention collaboration-based regressor for arbitrary two-hand reconstruction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 12955–12964, 2023. 1, 3, 4, 6, 7
[^29]: Baowen Zhang, Yangang Wang, Xiaoming Deng, Yinda Zhang, Ping Tan, Cuixia Ma, and Hongan Wang. Interacting two-hand 3d pose and shape reconstruction from single color image. In Proceedings of the IEEE/CVF international conference on computer vision, pages 11354–11363, 2021. 6
[^30]: Lvmin Zhang, Anyi Rao, and Maneesh Agrawala. Adding conditional control to text-to-image diffusion models. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 3836–3847, 2023. 3
[^31]: Xiong Zhang, Qiang Li, Hong Mo, Wenbo Zhang, and Wen Zheng. End-to-end hand mesh recovery from a monocular rgb image. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 2354–2364, 2019. 2
[^32]: Zhishan Zhou, Shihao Zhou, Zhi Lv, Minqiang Zou, Yao Tang, and Jiajun Liang. A simple baseline for efficient hand mesh reconstruction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 1367–1376, 2024. 3
[^33]: Christian Zimmermann, Duygu Ceylan, Jimei Yang, Bryan Russell, Max Argus, and Thomas Brox. Freihand: A dataset for markerless capture of hand pose and shape from single rgb images. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 813–822, 2019. 5, 6
[^34]: Binghui Zuo, Zimeng Zhao, Wenqian Sun, Wei Xie, Zhou Xue, and Yangang Wang. Reconstructing interacting hands with interaction prior from monocular images. In Proceedings of the IEEE/CVF international conference on computer vision, pages 9054–9064, 2023. 2, 3, 5, 6