# 将输入数据映射到共享域以实现野外环境下的三维交互手部恢复 Moon Gyeongsik Meta Reality Labs ## 摘要 尽管近期取得了不少成果，但现有三维交互手部恢复方法主要在动作捕捉（MoCap）环境下取得效果，在野外（ITW）环境下表现欠佳。这是因为即便对于二维数据而言，在野外采集三维交互手部数据也极具挑战性。我们提出了InterWild方法，它将MoCap样本与ITW样本映射到共享域中，从而能够在有限的ITW二维/三维交互手部数据条件下，实现鲁棒的野外三维交互手部恢复。三维交互手部恢复包含两个子问题：1）单只手的三维恢复；2）两只手之间的三维相对位移恢复。针对第一个子问题，我们将MoCap样本与ITW样本映射到共享的二维尺度空间。虽然ITW数据集提供的二维/三维交互手部数据量有限，但它们包含大规模的单手二维数据。受此启发，无论两只手是否处于交互状态，我们都将单手图像作为第一个子问题的输入。因此，MoCap数据集中的交互手部数据被映射到ITW数据集单手的二维尺度空间中。针对第二个子问题，我们将MoCap样本与ITW样本映射到共享的外观不变空间中。与第一个子问题不同，由于三维位移存在歧义，ITW数据集的二维标签对第二个子问题并无帮助。因此，我们并未依赖ITW样本，而是通过仅提取几何特征而非图像作为第二个子问题的输入，来提升MoCap样本的泛化能力。由于几何特征不受外观影响，MoCap样本与ITW样本不会因两个数据集间的巨大外观差异而受影响。相关代码已公开 $^{1}$。 ### 1. 引言 3D交互手部恢复旨在在3D空间中重建同一个人的左右手交互状态。近期出现的大规模动作捕捉（MoCap）数据集 ![Image](images/ffeaa9ad252b7faf0741536c2dc310bb4d3b5b85d2748c6a3523696b30612d4e.jpg)
(a) The number of single hand vs. interacting hands in MSCOCO
![Image](images/cfd461da0e1ad5b3887d0343ed1980c37d11ef0fd4f157aefcb1b70fc72c9b11.jpg)
(b) The failure case of the 2D-based weak supervision for the 3D relative translation between two hands
图1. （a）尽管采用了宽松的交并比（IoU）阈值，ITW数据集中可用的二维交互手部数据仍极少。我们规定：若两只手的区域框交并比大于0.1，则判定它们处于交互状态。（b）来自ITW数据集的基于二维的弱监督往往会导致错误的三维相对位移结果（橙色箭头所示）。 (MoCap) 数据集 [^20] 推动了许多 3D 交互手部恢复方法 [^4] [^6] [^14] [^25] [^32]。 尽管这些方法在MoCap数据集上取得了稳健的结果，但没有一种方法专门针对自然场景（ITW）数据集的鲁棒性展开研究。仅仅在MoCap数据集上训练网络，再在ITW数据集上测试，由于两者之间存在巨大的域差异，会导致结果不稳定。最典型的域差异就是外观差异。例如，InterHand2.6M [^20]（IH2.6M）数据集中的图像具有黑色背景和人工照明，这与ITW数据集的情况相差甚远。解决这一问题的根本办法是收集带有3D真实标注的大规模ITW数据，但这极具挑战性。比如，采集3D数据需要数十个经过校准的 --- ![Image](images/b9edf2e2f135e24c73fc4f01863aa2b0ba94224e3087c8ddc3a2be1d07896afe.jpg)
Figure 2. Mini-batch comparison for the first sub-problem (i.e., estimation of separate 3D meshes of left and right hands).
![Image](images/37f3caa4bef443eac95ce8a90bec47a7fbdf5e1bb82806634638ffdb45c24461.jpg) 以及同步摄像头。要在野外不同地点搭建这样的系统需要耗费大量人力。此外，由于严重的遮挡和形状相似性，即便要收集大规模的交互式手部二维数据并进行人工标注也极具挑战性。正因如此，目前尚不存在大规模的交互式手部二维/三维数据集。 不过，ITW数据集确实提供了大规模的单手二维数据，如图1(a)所示。利用ITW数据集中的这类大规模单手二维数据，可成为野外交互式手部二维/三维数据采集的一个互补研究方向。混合批次训练是利用ITW数据集的二维数据实现三维人体重建的最主流方法[^3] [^11] [^12] [^17] [^19] [^24]。在混合批次训练过程中，一个小批量中的样本有一半来自MoCap数据集，另一半则来自ITW数据集。MoCap数据集中的样本配有完整的三维真实标签，而ITW数据集中的样本仅配有较弱的二维真实标签。ITW数据集中的样本能让网络接触到多样化的手部外观，从而成功实现对未见过的ITW图像的泛化能力。这种基于二维的弱监督机制依托于MANO[^23]手部模型，该模型能够通过姿态和形状参数以可微的方式生成三维手部网格。具体来说，从三维网格中提取出的三维关节坐标，会借助估算出的三维全局平移量（即摄像头到手部根关节的三维平移量）和固定的虚拟摄像头内参投影到二维空间。随后，投影得到的二维关节坐标会与二维真实标签进行比对监督。通过这种方式，二维真实标签就能对MANO参数进行弱监督，进而使三维网格的所有顶点都能与二维真实标签相匹配。
Figure 3. Mini-batch comparison for the second sub-problem (i.e., estimation of 3D relative translation between two hands).
然而，若直接采用混合批次训练方式重新训练以往的三维交互式手部重建方法所对应的网络[^4] [^6] [^14] [^25] [^32]，并不能得到稳健的重建结果。三维交互式手部网格重建包含两个子问题：1）分别估计三维右手和左手的形态；2）估计两只手之间的三维相对平移量。针对第一个子问题，以往的研究[^4] [^6] [^14] [^25] [^32]会选取双手交互时的图像，以及双手未交互时的单手图像（图2(a)）。由于ITW数据集主要包含单手数据（图1(a)），因此在混合批次训练期间，ITW数据集中的大多数样本都只包含单只手。问题在于，如图5所示，MoCap数据集中的双手图像与ITW数据集中的单手图像相比，其二维手部尺度分布存在显著差异。例如，当输入图像中包含两只手时，每只手的二维尺度会比单手裁剪图像中的尺度小得多。 与第一个子问题不同，第二个子问题几乎无法从基于2D的ITW数据集弱监督中获益。图1(b)展示了基于2D的弱监督失效的情况。当为基于2D的弱监督估算出的3D全局平移量出现错误时（图中标记为①），所得到的3D相对平移量也会被错误地监督（图中的橙色箭头所示）。这种错误的3D全局平移量同样可能出现在第一个子问题中；但关键区别在于：第二个子问题的输出——即3D相对平移量的尺度约束非常弱，而第一个子问题的输出——即手部3D尺度却受到MANO形状参数的强烈约束[^23]。例如，两只手之间的相对位置可以根据它们之间的交互情况自由调整，而成年人手部尺寸通常约为15厘米。由于对相对平移量没有如此强的约束，它就可能取任意值，从而导致错误的监督信号（图中的橙色箭头所示）。需要注意的是，从单张图像中估算3D全局平移量存在很大的不确定性，且常常会出现错误，因为输入图像中并未提供相机位置信息。就此而言，我们观察到在IntagHand中用于3D相对平移的基于2D的弱监督方法[^14]（图3(a)）会导致结果恶化，这一情况在实验部分有所体现。然而，若没有ITW数据集提供的基于2D的弱监督，网络就只能像以往的研究那样[^4] [^6] [^25] [^32]（图3(a)）仅基于MoCap数据集的图像进行训练，这会因MoCap数据集与ITW数据集之间的外观差异而导致泛化能力失效。 --- 我们提出了InterWild框架，用于野外场景下3D交互手部网格的恢复。针对第一个子问题，无论是否存在双手交互现象，InterWild都会输入裁剪后的单手图像，如图2(b)所示。通过这种方式，交互手部的2D尺度会被归一化为单手的2D尺度。这种归一化将所有单手及交互手部统一到相同的2D尺度空间中；因此，与未进行归一化的情况相比，ITW数据集中大规模的单手数据能发挥更大的作用。 针对第二个子问题，InterWild采用无需图像的几何特征，如图3(b)所示。具体而言，第二个子问题的输出——即3D相对平移量，仅针对MoCap样本进行完全监督，以防止ITW样本的基于2D的弱监督损害3D相对平移量的准确性。这些几何特征对颜色和光照等外观因素具有不变性，能够缩小MoCap数据集与ITW数据集之间的巨大外观差异，将来自两个数据集的样本映射到共享的外观不变空间中。因此，尽管估算出的3D相对平移量仅在MoCap数据集上接受监督，在ITW数据集上并无监督，我们的InterWild仍能在ITW数据集上生成鲁棒的3D相对平移结果。 我们证明，InterWild能够从ITW图像中生成高度鲁棒的3D交互手部网格。由于野外场景下的3D交互手部恢复研究尚属起步阶段，我们希望我们的工作能为后续研究提供有益参考。为了便于持续研究，我们已公开相关代码和训练好的模型。 我们的贡献可总结如下。 - 我们提出了InterWild，一个用于野外场景下3D交互手部恢复的框架。 - 对于独立的左右手3D模型，无论双手是否交互，InterWild都会采用裁剪后的单手图像，以便将所有手部数据统一到相同的2D尺度空间中。 - 对于两只手之间的3D相对平移，InterWild仅提取对外观不敏感的几何特征。 ### 2. 相关工作 3D交互手部恢复。早期的大多数研究[^1] [^21] [^22] [^28] [^29] [^31]都是将3D手部模型拟合到几何证据上，例如RGBD序列[^22]、手部分割图[^21]以及密集匹配图[^31]。近期，Moon等人[^18] [^20]发布了IH2.6M数据集，这是首个包含交互手部精确真实3D姿态和网格的大规模真实采集数据集，同时配套了一个基于回归的基准模型InterNet。受IH2.6M和InterNet的启发，人们提出了几种基于回归的方法，其性能优于上述基于拟合的方法。Rong等人[^25]提出了一种用于最小化双手之间碰撞的两阶段框架。Zhang等人[^32]提出了一种级联式3D交互手部网格估计网络，可逐步优化3D交互手部模型。Kwon等人[^13]提出了一种用于恢复双手与物体交互时的3D网格的基准方法，但他们的系统主要聚焦于手部与物体的交互，而非双手之间的交互。Li等人[^14]提出了一种用于精准重建3D交互手部的图卷积网络。Hampali等人[^6]提出了一种基于Transformer[^30]的系统，可分离手部关键点的定位与识别。Di等人[^4]提出了一种轻量级的3D交互手部网格恢复系统。此外，还有几项研究[^5] [^10] [^16]仅能恢复3D手部关节位置，而无法得到3D网格。 上述3D交互手部重建方法[^5] [^10] [^14] [^16] [^20] [^25] [^32]在ITW数据集上的表现并不稳健，而我们的方法却能做到。二者存在两大差异：首先，当双手交互时，传统方法以双手图像作为输入（图2(a)），而我们的方法无论双手是否交互都采用单手图像（图2(b)），因此输入数据会被统一到相同的2D尺度空间中；其次，传统方法利用带有2D弱监督的图像来估计两只手之间的3D相对平移（图3(a)），而我们的方法仅从对外观不敏感的几何特征中估计相对平移（图3(b)），无需依赖2D弱监督。 利用几何特征缩小外观差异。已有多种3D人体和手部网格估计方法利用几何特征来缩小MoCap数据集与ITW数据集之间的外观差异。Pose2Mesh[^2]和Song等人[^26]将2D人体关节坐标作为输入来预测3D人体网格。Zhou等人[^34]根据3D单手关节坐标预测3D单手网格。Zhang等人[^33]利用身体部位UVI图来进行3D人体网格恢复。而我们的InterWild是首个利用几何特征来估计稳健的双手之间3D相对平移的研究。 ### 3. InterWild 图4展示了InterWild的整体流程，该流程由DetectNet、SHNet和TransNet组成。DetectNet从输入图像中检测手部。随后，用于单手处理的SHNet会将每个检测到的手部图像作为输入，输出每只手的3D网格和2.5D姿态。左右手的2.5D姿态会被传入TransNet，由后者输出两只手之间的3D相对位移。最终的三维交互手部模型是通过将3D相对位移叠加到左手的3D网格上得到的。DetectNet和SHNet采用了Pose2Pose的结构 [^17]。详情请参阅补充材料。 --- ![Image](images/514a1615df46797633e26d9463b3a1bb6cc1dc50bcb3633b1fb97caeb21d6a66.jpg)
Figure 4. The overall pipeline of the proposed InterWild. From the hand boxes, obtained by DetectNet, we crop and resize the hand area from the high-resolution human image. Each right and left hand image is fed to SHNet, which produces 3D mesh and 2.5D heatmap. Next, TransNet takes the 2.5D heatmap of two hands to produce the 3D relative translation between two hands. Final 3D interacting hand meshes are obtained by adding the 3D relative translation to the left hand mesh. For simplicity, we do not visualize DetectNet.
![Image](images/88d0599496eb0ba1d6da5359c25bfd659a77189855ee6626035615891b5defdb.jpg)
Figure 5. Average of each hand's width and height, where the width and height are normalized with the size of the input image. We extended all hands' boxes to set their aspect ratio to 1 before calculating the scales. Yellow: Each hand in the two-hand image of IH2.6M [^20] when hands are interacting (Previous approach). Brown: Each hand in the single-hand image of IH2.6M [^20] when hands are interacting (Ours). Green: Each hand in the single-hand image of MSCOCO [^15].
以获取其详细结构。 #### 3.1. SHNet 输入：单手图像。无论双手是否处于交互状态，SHNet都接收单手图像；而以往的方法在双手交互时会采用包含两只手的图像，如图2所示。因此，交互手的2D尺度会被归一化为单手图像的尺度。图5显示，当我们为交互手裁剪包含两只手的图像时（即以往的方法，图中为黄色部分），双手图像中每只手的2D尺度分布与单手图像中每只手的2D尺度分布存在显著差异（图中为绿色部分）。另一方面，无论双手是否交互，我们均裁剪出包含单手的图像（即我们的方法，图中为棕色部分），此时双手图像中每只手的2D尺度分布与单手图像中每只手的2D尺度分布几乎一致（图中为绿色部分）。这一分析证明了我们设计SHNet来接收裁剪后的单手图像的合理性。 单手图像是利用DetectNet预测的边界框，从高分辨率人体图像中裁剪并调整大小得到的。在裁剪手部之前，我们会将边界框的宽和高扩大一倍，以防止遗漏手部并为SHNet提供更多周围上下文信息。左手图像会被水平翻转成右手图像；因此，输入图像始终代表右手图像。右手图像和翻转后的左手图像会在批次维度上拼接，由SHNet并行处理。通过采用右手和翻转后的左手图像，SHNet只需专注于学习处理右手图像，从而减轻其同时学习处理左右手图像的压力。此外，当两只手严重交互导致两者的边界框大量重叠时，这种翻转策略尤为有效。例如，假设左手的大部分被右手遮挡，那么来自左右手边界框的图像会包含几乎相同的右手部分。通过将左手图像翻转，原左手图像中的右手会变为左手。我们训练SHNet忽略输入图像中的左手，仅输出输入图像中右手的3D手网格。因此，翻转后左手图像的输出结果是原本被遮挡的左手所对应的、被遮挡的右手的3D手网格。这种翻转策略的有效性已在实验部分得到验证。 输出结果：每只手的3D网格和2.5D姿态。借助Pose2Pose [^17]的网络架构，我们的SHNet能够输出每只手的3D网格和2.5D姿态 [^27]。我们会将翻转后的左手图像的输出结果还原。我们分别用$M_1$和$M_r$来表示左手和右手的3D网格。每个3D网格都是通过将估计出的姿态参数和形状参数输入到MANO [^23]层中得到的。我们将3D网格从其3D根关节位置处减去，这样3D网格就处于以根关节为参照的空间中。此外，我们分别用$\mathbf{P}_1 \in \mathbb{R}^{J \times 3}$和$\mathbf{P}_r \in \mathbb{R}^{J \times 3}$来表示左手和右手的2.5D姿态。J代表单手关节的数量。2.5D姿态编码了2.5D空间中的手部关节位置。第j个2.5D姿态的x轴和y轴 --- 表示第j个关节的像素坐标，其中像素空间是由SHNet的输入图像（即单手图像）定义的。z轴则是在以根关节为参照的深度空间中定义的。 #### 3.2. TransNet 图6展示了TransNet的整体流程，这是一种用于预测两只手之间3D相对位移的网络。 输入：两只手的2.5D姿态。TransNet接收两只手的2.5D姿态作为输入，而以往的方法则是接收包含两只手的图像，如图3所示。这两只手的2.5D姿态来自SHNet，分别用$P_r$和$P_1$表示。在将其传入网络之前，我们对$P_r$和$P_1$应用2D仿射变换，把SHNet的输入空间（即单手图像）转换为两只手框的并集空间（即双手图像）。通过把它们映射到双手框并集中，我们就能得到2D像素空间中两只手之间的相对2D缩放比例和位移。基于这类相对2D信息和姿态信息，TransNet就能预测出3D相对位移。 例如，当两只手的2.5D姿态的xy距离较小时，3D相对位移的$(x, y)$就会趋近于零。另外，当一只手在输入的xy空间中占据的面积较小时，这只手可能具有更大的深度；不过由于手部是可变形的，这一规律并非总是成立。当一只手处于自然姿态而另一只手呈握拳姿态时，尽管握拳的手占据的面积更小，但它们的3D相对深度仍可能为零。因此，要确定3D相对位移的z值，姿态信息是必不可少的。需要注意的是，2D仿射变换并不会影响每个2.5D姿态的深度；因此，每个2.5D姿态的深度仍然代表每只手的以根关节为参照的深度。我们把变换后的$\mathbf{P}_r$和$\mathbf{P}_1$分别记为$\mathbf{P}_r'$和$\mathbf{P}_1'$。 右手的2.5D姿态$\mathbf{P}_r'$和左手的2.5D姿态$\mathbf{P}_l'$会通过在坐标周围生成高斯斑点的方式，被转换为2.5D高斯热图。通过将坐标转换为热图，我们可以利用ResNet [^8]强大的特征提取能力，因为ResNet接收的是张量输入而非向量输入。接着，我们将两只手的2.5D高斯热图在通道维度上拼接起来，记为$\mathbf{H} \in \mathbb{R}^{2J \times D \times H \times W}$。D、H和W分别代表2.5D热图的深度、高度和宽度，我们将其均设为64。 输出结果：两只手之间的3D相对位移。我们根据2.5D高斯热图H来预测两只手之间的3D相对位移$t \in \mathbb{R}^3$。我们将H输入ResNet-18模型[^8]，该模型会生成特征图$\mathbf{F} \in \mathbb{R}^{C \times H/8 \times W/8}$。$C = 512$代表$\mathbf{F}$的通道维度。我们采用了去掉第一个卷积块后的原始ResNet-18模型，以减少下采样操作以及最后的全连接层。由于3D相对位移表示的是右手腕相对于左手腕的3D位置，因此提取有用的手腕信息至关重要。 ![Image](images/41a422881869bfbb4fb79fb4cdfa293cffae3bb30cf6561d2c5df7962af871e5.jpg)
Figure 6. The overall pipeline of TransNet. It applies a 2D affine transformation to the 2.5D pose of each left and right hand to bring them to the union hand box space of the original input image. Then, wrist features are extracted for the 3D relative translation estimation.
为了实现精确的3D相对位移计算。然而，大多数现有方法[^5] [^20] [^25] [^32]会对骨干网络的最后一个特征图执行全局平均池化（GAP）操作，再将输出结果传入多个全连接层。由于GAP只是对空间维度取平均值，它可能无法有效捕捉到有用的手腕信息。相反，我们在F图中左右手腕对应的2D位置处执行双线性插值操作，其中2D手腕位置分别来自$\mathbf{P}_f'$和$\mathbf{P}_1'$。提取出的手腕特征会与2D手腕坐标拼接后送入线性层，最终生成3D相对位移t。与以往基于GAP的方法相比，我们的手腕特征提取方法的有效性在实验部分有所体现。 #### 3.3. 最终输出与损失函数 最终的3D交互手部网格由两部分组成：1）右手的3D网格$M_r$；2）左手的3D网格$M_l$与3D相对位移t之和。我们通过最小化预测框、MANO参数、3D关节坐标以及3D相对位移之间的$L_1$距离，以端到端的方式训练InterWild模型。需要注意的是，3D相对位移仅由MoCap数据集提供监督信息，因为ITW数据集并未给出相应的GT值。 ### 4. 实验 #### 4.1. 数据集 训练集。训练过程中使用了IH2.6M [^20]以及MSCOCO的全身体版本[^9] [^15]。训练时的小批量数据由一半IH2.6M样本和一半MSCOCO样本组成。 测试集。由于我们的主要目标是实现野外环境下的3D交互手部网格恢复，因此选用Hands In Action数据集（HIC）[^29]作为主要测试集。HIC [^29]包含用RGBD相机采集的单手及交互手部序列。HIC提供了手部的3D GT网格[^7]，这些网格已拟合到 ---
Inputs of SHNetHIC [^29]IH2.6M [^20]
Two-hand image29.80 / 35.8611.36 / 13.20
Single-hand image (Ours)15.65 / 15.7011.12 / 13.01
Table 1. MPVPE comparisons between SHNets that take an image of 1) two hands and 2) a single hand as an input when hands are interacting. Both settings take a single hand image when hands are not interacting. The left and right numbers for each setting represent errors from single and interacting hand sequences, respectively.
一个3D点云中。尽管HIC是在室内环境中采集的，但与IH2.6M相比，它所包含的图像外观更加多样且更贴近真实场景。此外，由于我们在训练阶段并未使用HIC，其图像外观不会暴露给网络；因此我们认为网络在HIC上的测试性能能够反映其对未见过的图像外观的泛化能力，而这正是野外3D交互手部网格恢复任务所要求的。另外，我们也报告了模型在IH2.6M上的误差，尽管它属于MoCap数据集，但仍是3D交互手部网格恢复领域具有代表性的数据集之一。定性结果则在MSCOCO上展示，由于该数据集包含多样的图像外观，它是应用最广泛的ITW数据集。 #### 4.2. 评估指标 MPJPE和MPVPE。平均关节位置误差（MPJPE）和平均顶点位置误差（MPVPE）分别用于评估3D关节和网格顶点的位置。它们表示在将预测结果与GT对齐到根关节平移后，预测位置与GT之间的平均3D关节及网格顶点距离（单位：毫米）。MPJPE和MPVPE用于衡量每只手3D网格的3D误差。 MRRPE。平均相对根位置误差（MRRPE）用于评估两只手之间的3D相对平移情况。它计算预测结果与GT中右手相对于左手根位置之间的3D距离（单位：毫米）。 #### 4.3. 消融实验 SHNet：单手图像采集的有效性。表1显示，当双手发生交互时，采集单手图像（图2(b)）相比采集双手图像（图2(a)），能使SHNet的误差更低，尤其是在HIC数据集上。这表明我们的方法在复杂场景下尤为有效。我们取得更优结果的原因是：当SHNet采集单手图像时，MoCap数据集中的大规模3D交互手数据[^20]以及野外数据集中的大规模2D单手数据[^15]会被映射到共享的2D尺度空间。另一方面，像以往的研究[^5] [^10] [^14] [^16] [^20] [^25] [^32]那样，在双手交互时采集双手图像，会导致每只手的2D尺度分布差异很大，如图5所示；因此，学习处理分布差异极大的输入会更有效。
SettingsHIC [^29]IH2.6M [^20]
Without flip / shared weights15.80 / 17.3612.54 / 18.21
Without flip / separated weights15.34 / 16.9611.48 / 13.77
With flip / shared weights (Ours)15.65 / 15.7011.12 / 13.01
Table 2. MPVPE comparisons of SHNets that take 1) left and right hands and 2) flipped left hand and right hand. ‘Shared weights’ indicates that SHNet’s weights are shared for left and right hand inputs, while ‘separated weights’ indicates that the weights are not shared. The left and right numbers for each setting represent errors from single and interacting hand sequences, respectively.
![Image](images/17b13574cb35bc7005f8a8430c1d2d875f31afb4d8ae5534aadd370c214bcf3c.jpg)
Figure 7. Comparison between 2.5D hand pose from SHNets that take (a) an image of left and right hand images and (b) an image of flipped left hand and right hand. The result from the flipped left hand is flipped back.
这种差异会给SHNet带来负担。$IH2.6M$的较小差距是因为大规模交互手数据集（如$IH2.6M$）能够减轻这种负担。我们观察到，减少$IH2.6M$类交互手样本的数量后，HIC数据集上会呈现相同的趋势，这也支持了我们的观点。然而，在野外收集大规模交互手数据极具挑战性；由于严重的自相似性和遮挡现象，就连收集2D数据都需要耗费巨大精力。我们通过将两个数据集映射到共享的2D尺度空间，有效减轻了这种数据收集负担。在这两种设置下，当双手未交互时均采集单手图像，而在双手交互时第一种设置采集双手图像。对于采集双手图像的设置，我们将SHNet的输出部分翻倍，以便同时估计左手和右手。 SHNet：翻转左手图像的有效性。表2显示，当双手交互时，翻转左手图像对SHNet获得准确结果至关重要。如图7(a)所示，若不翻转左手图像，当双手严重重叠时，SHNet接收到的单手图像几乎相同。由于输入图像几乎一致，SHNet针对左手和右手图像输出的两个3D手部模型也几乎相同。另一方面，当我们输入翻转后的左手图像时，SHNet能够区分这两幅图像。由于SHNet训练时会被要求忽略所有左手信息并仅恢复右手信息，这可视为从输入图像中隐式地去除左手遮挡的效果。图7(b)表明，即便双手严重重叠，我们的SHNet也能恢复出正确的3D手部模型。 除了翻转图像外，也可以将SHNet的输出部分翻倍，训练SHNet同时输出左手和右手。 ---
Inputs of TransNetweak sup.HIC [^29]IH2.6M [^20]
Img.✗206.8327.67
✓215.3535.72
Img. + 2.5D hm.✗54.3627.19
✓58.5333.15
2D hm.✗38.6431.51
✓51.1935.51
2.5D hm.✗(Ours)31.3529.29
✓61.0533.91
Table 3. MRRPE comparisons of TransNets that take various inputs and are trained without and with the 2D-based weak supervision. The hm. represents a heatmap.
SettingsHIC [^29]IH2.6M [^20]
GAP39.8529.14
All joint features48.9931.57
Wrist features (Ours)31.3529.29
Table 4. MRRPE comparisons between TransNet that outputs the 3D relative translation with various feature extraction settings.
同时，由于严重重叠导致输入的手部图像几乎相同，SHNet的输出部分被训练用来区分左手和右手。然而，我们观察到采用翻转操作能得到比这种变体更好的结果。我们认为这是因为在我们的设置中，输入图像的左右手属性被归一化为右手，而这种变体并未如此处理。这种归一化能够减轻SHNet的负担。请注意，“启用翻转”与“分离权重”这两种设置无法同时使用，因为翻转操作会归一化左右手属性。 TransNet：几何输入的有效性。表3显示，将2.5D热图作为TransNet的输入（图3(b)）在HIC数据集上取得了最低的MRRPE值，在IH2.6M数据集上的结果也颇具竞争力。我们的2.5D热图之所以能取得比2D热图更好的效果，是因为它包含了每只手的额外深度信息。一个有趣的现象是，使用图像作为输入（第一行和第二行）在IH2.6M数据集上表现良好，但在HIC数据集上结果却很差。这种使用图像输入的设置与以往的方法类似 [^5] [^14] [^20] [^25] [^32]，而IntagHand [^14] 还额外采用了分割技术和DensePose。 这种设置在HIC数据集上产生较高MRRPE值的原因有两个。首先，当禁用基于2D的弱监督时，ITW数据集与IH2.6M数据集之间巨大的外观差异是主要原因。没有弱监督的情况下，TransNet仅在IH2.6M数据集上接受训练。包括IH2.6M在内的MoCap数据集中的图像具有单调的色彩和人工照明效果，这与ITW图像相差甚远。另一方面，我们使用纯粹的几何特征（即2.5D热图），因为它们不受外观影响。得益于这种不变性，尽管TransNet仅在IH2.6M数据集上训练，仍能成功泛化到ITW数据集。其次，当启用基于2D的弱监督时，由于相对平移存在尺度歧义，弱监督反而会使相对平移结果变差。关于基于2D的弱监督的详细分析将在下文给出。
MethodsHIC [^29]IH2.6M [^20]
MPVPEMRRPEMPVPEMRRPE
IHMR [^25]30.76 / 46.38119.6415.35 / 18.5333.39
Zhang et al. [^32]23.53 / 31.79110.2511.76 / 14.1731.56
IntagHand [^14]18.83 / 27.3152.4611.18 / 13.4929.31
InterWild (Ours)15.65 / 15.7031.3511.12 / 13.0129.29
Table 5. Comparison of our InterWild and 3D interacting hand mesh estimation methods.
MethodsMPJPEMRRPE
AIH [^16]76.83 / 36.05N/A
InterWild (Ours)16.00 / 16.1731.35
Table 6. Comparison of our InterWild and 3D interacting hand pose estimation methods on HIC.
![Image](images/3f9b08d2077b271221d5bab98534381bbab30d913193fcd2ff85e4b9f195b63c.jpg) ![Image](images/b0981b41922a0107a45fe162708eb4d9b6a43316afbb7a4f8a35bec6e1aa52fb.jpg)
— IHMR — Zhang et al. — IntagHand — InterWild (Ours)
Figure 8. Comparison with previous methods [^14] [^25] [^32] on HIC. For each x-axis value, denoted by $\tau$, MPVPE and MRRPE of y-axis are calculated from samples whose x-axis values are larger than $\tau$.
TransNet：基于2D的弱监督带来的负面效应。表3显示，像IntagHand [^14] 那样引入基于2D的弱监督来估计两只手之间的3D相对平移，会导致TransNet在所有输入数据及两个评估基准上的MRRPE值均有所恶化。这是因为，与受MANO形状参数严格约束的手部3D尺度不同，3D相对平移的尺度约束非常弱。例如，根据手之间的互动方式，我们可以让两只手靠得很近或很远，而成年人手的大小通常约为15厘米。缺乏这种强约束时，由于错误的3D全局平移，3D相对平移可能取任意值。图1(b)显示，当3D全局平移出现错误时（图中①处），受监督的3D相对平移也会随之出错（图中的橙色箭头）。关于我们如何引入基于2D的弱监督，请参阅补充材料。 TransNet：手腕特征的有效性。表4显示，基于手腕特征的3D相对平移估计效果优于以往广泛使用的GAP方法[^5] [^20] [^25] [^32]。这是因为GAP会对整个空间域取平均值，因此其输出未必包含两只手之间3D相对平移所需的关键手腕信息。相比之下，我们明确提取了手腕特征，从而获得了更好的结果。有趣的是，使用所有关节的特征时效果反而最差。我们认为这是因为来自所有关节的特征包含了过多不必要的信息。 --- ![Image](images/f797ef02af63df4f6bb71e80a301e9036f079549e834f4a10a74c64cec91f6fd.jpg)
Figure 9. Qualitative comparison between our InterWild and IntagHand [^14] on MSCOCO validation set. Ours detects hand boxes from the human images, while IntagHand takes the hand images using GT boxes.
这些信息会给回归器带来额外负担。 #### 4.4. 与现有先进方法的比较 表5和图8表明，在HIC和IH2.6M数据集上，我们的方法性能均优于所有现有的3D交互手部网格恢复方法。值得注意的是，在HIC数据集上MPVPE和MRRPE的差距尤为明显，这体现了InterWild对真实场景环境的强鲁棒性。这得益于我们在图2和图3中展示的领域共享策略。表6进一步证明了InterWild的优越性。AIH方法[^16]为了在未见过的外观数据上取得稳健结果，使用了额外的合成数据集。然而，这类合成数据集仍是基于IH2.6M数据集构建的，其与真实场景数据集在外观上存在显著差异。相比之下，我们的方法通过将SHNet和TransNet的输入映射到共享领域，有效缩小了领域差距，从而在真实场景数据集上取得了优异的性能。最后，图9直观展示了我们的方法能够成功从真实场景图像中恢复3D网格，而以往先进的方法[^14]却无法做到这一点。 表5中所列以往研究的公开模型仅在IH2.6M数据集上训练，且其训练代码并未公开。因此，我们根据其测试代码复现了这些网络，并像我们一样在IH2.6M和MSCOCO数据集上重新训练所有网络，以保证比较的公平性。我们将在补充材料中验证复现结果。在评估时，我们遵循Moon等人[^20]的做法，不将预测结果与真实值进行尺度对齐。我们发现，当训练集中加入MSCOCO数据时，Keypoint Transformer方法[^6]会产生较差的结果，因为该方法需要3D真实值来计算相机参数损失函数，而MSCOCO中并不包含此类数据。以往的所有方法在推理时都按照其设定使用真实的手部边界框，而我们的方法则使用DetectNet预测得到的手部边界框。 ### 5. 结论 我们提出了InterWild，一个用于真实场景下3D交互手部网格恢复的框架。InterWild能有效缩小动作捕捉数据集与真实场景数据集之间的领域差距。为此，无论双手是否交互，它都能通过单手图像来估计左右手的3D网格；此外，它还利用几何特征来估计两只手之间的3D相对平移。将我们的InterWild与全身3D人体网格估计方法相结合，有望成为未来重要的研究方向。 --- ## 参考文献 [^1]: Luca Ballan, Aparna Taneja, Jürgen Gall, Luc Van Gool, and Marc Pollefeys. Motion capture of hands in action using discriminative salient points. In ECCV, 2012. 3 [^2]: Hongsuk Choi, Gyeongsik Moon, and Kyoung Mu Lee. Pose2Mesh: Graph convolutional network for 3D human pose and mesh recovery from a 2D human pose. In ECCV, 2020. 3 [^3]: Hongsuk Choi, Gyeongsik Moon, JoonKyu Park, and Kyoung Mu Lee. Learning to estimate robust 3D human mesh from in-the-wild crowded scenes. In CVPR, 2022. 2 [^4]: Xinhan Di and Pengqian Yu. LWA-HAND: Lightweight attention hand for interacting hand reconstruction. In ECCV, 2022. 1, 2, 3 [^5]: Zicong Fan, Adrian Spurr, Muhammed Kocabas, Siyu Tang, Michael J Black, and Otmar Hilliges. Learning to disambiguate strongly interacting hands via probabilistic per-pixel part segmentation. In 3DV, 2021. 3, 5, 6, 7 [^6]: Shreyas Hampali, Sayan Deb Sarkar, Mahdi Rad, and Vincent Lepetit. Keypoint transformer: Solving joint identification in challenging hands and object interactions for accurate 3D pose estimation. In CVPR, 2022. 1, 2, 3, 8 [^7]: Yana Hasson, Gul Varol, Dimitrios Tzionas, Igor Kalevatykh, Michael J Black, Ivan Laptev, and Cordelia Schmid. Learning joint reconstruction of hands and manipulated objects. In CVPR, 2019. 5 [^8]: Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In CVPR, 2016. 5 [^9]: Sheng Jin, Lumin Xu, Jin Xu, Can Wang, Wentao Liu, Chen Qian, Wanli Ouyang, and Ping Luo. Whole-body human pose estimation in the wild. In ECCV, 2020. 5 [^10]: Dong Uk Kim, Kwang In Kim, and Seungryul Baek. End-to-end detection and pose estimation of two interacting hands. In ICCV, 2021. 3, 6 [^11]: Muhammed Kocabas, Chun-Hao P Huang, Otmar Hilliges, and Michael J Black. PARE: Part attention regressor for 3D human body estimation. In ICCV, 2021. 2 [^12]: Nikos Kolotouros, Georgios Pavlakos, Michael J Black, and Kostas Daniilidis. Learning to reconstruct 3D human pose and shape via model-fitting in the loop. In ICCV, 2019. 2 [^13]: Taein Kwon, Bugra Tekin, Jan Stühmer, Federica Bogo, and Marc Pollefeys. $H_{2}O$: Two hands manipulating objects for first person interaction recognition. In ICCV, 2021. 3 [^14]: Mengcheng Li, Liang An, Hongwen Zhang, Lianpeng Wu, Feng Chen, Tao Yu, and Yebin Liu. Interacting attention graph for single image two-hand reconstruction. In CVPR, 2022. 1, 2, 3, 6, 7, 8 [^15]: Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, and C Lawrence Zitnick. Microsoft COCO: Common objects in context. In ECCV, 2014. 4, 5, 6 [^16]: Hao Meng, Sheng Jin, Wentao Liu, Chen Qian, Mengxiang Lin, Wanli Ouyang, and Ping Luo. 3d interacting hand pose estimation by hand de-occlusion and removal. In ECCV, 2022. 3, 6, 7, 8 [^17]: Gyeongsik Moon, Hongsuk Choi, and Kyoung Mu Lee. Accurate 3D hand pose estimation for whole-body 3D human mesh estimation. In CVPRW, 2022. 2, 3, 4 [^18]: Gyeongsik Moon, Hongsuk Choi, and Kyoung Mu Lee. NeuralAnnot: Neural annotator for 3D human mesh training sets. In CVPRW, 2022. 3 [^19]: Gyeongsik Moon and Kyoung Mu Lee. I2L-MeshNet: Image-to-Lixel prediction network for accurate 3D human pose and mesh estimation from a single RGB image. In ECCV, 2020. 2 [^20]: Gyeongsik Moon, Shoou-I Yu, He Wen, Takaaki Shiratori, and Kyoung Mu Lee. InterHand2.6M: A dataset and baseline for 3D interacting hand pose estimation from a single RGB image. In ECCV, 2020. 1, 3, 4, 5, 6, 7, 8 [^21]: Franziska Mueller, Micah Davis, Florian Bernard, Oleksandr Sotnychenko, Mickeal Verschoor, Miguel A Otaduy, Dan Casas, and Christian Theobalt. Real-time pose and shape reconstruction of two interacting hands with a single depth camera. ACM TOG, 2019. 3 [^22]: Iasonas Oikonomidis, Nikolaos Kyriazis, and Antonis A Argyros. Tracking the articulated motion of two strongly interacting hands. In CVPR, 2012. 3 [^23]: Javier Romero, Dimitrios Tzionas, and Michael J Black. Embodied Hands: Modeling and capturing hands and bodies together. ACM TOG, 2017. 2, 4 [^24]: Yu Rong, Takaaki Shiratori, and Hanbyul Joo. FrankMocap: A monocular 3d whole-body pose estimation system via regression and integration. In ICCV Workshop, 2021. 2 [^25]: Yu Rong, Jingbo Wang, Ziwei Liu, and Chen Change Loy. Monocular 3D reconstruction of interacting hands via collision-aware factorized refinements. In 3DV, 2021. 1, 2, 3, 5, 6, 7 [^26]: Jie Song, Xu Chen, and Otmar Hilliges. Human body model fitting by learned gradient descent. In ECCV, 2020. 3 [^27]: Xiao Sun, Bin Xiao, Fangyin Wei, Shuang Liang, and Yichen Wei. Integral human pose regression. In ECCV, 2018. 4 [^28]: Jonathan Taylor, Lucas Bordeaux, Thomas Cashman, Bob Corish, Cem Keskin, Toby Sharp, Eduardo Soto, David Sweeney, Julien Valentin, Benjamin Luff, et al. Efficient and precise interactive hand tracking through joint, continuous optimization of pose and correspondences. ACM TOG, 2016. 3 [^29]: Dimitrios Tzionas, Luca Ballan, Abhilash Srikantha, Pablo Aponte, Marc Pollefeys, and Juergen Gall. Capturing hands in action using discriminative salient points and physics simulation. IJCV, 2016. 3, 5, 6, 7 [^30]: Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. NeurIPS, 2017. 3 [^31]: Jiayi Wang, Franziska Mueller, Florian Bernard, Suzanne Sorli, Oleksandr Sotnychenko, Neng Qian, Miguel A Otaduy, Dan Casas, and Christian Theobalt. RGB2Hands: real-time tracking of 3D hand interactions from monocular RGB video. ACM TOG, 2020. 3 ## [^32]: Baowen Zhang, Yangang Wang, Xiaoming Deng, Yinda Zhang, Ping Tan, Cuixia Ma, and Hongan Wang. Interacting two-hand 3D pose and shape reconstruction from single color image. In ICCV, 2021. 1, 2, 3, 5, 6, 7 --- [^33]: Hongwen Zhang, Jie Cao, Guo Lu, Wanli Ouyang, and Zhenan Sun. Learning 3D human shape and pose from dense body parts. TPAMI, 2020. 3 [^34]: Yuxiao Zhou, Marc Habermann, Weipeng Xu, Ikhsanul Habibie, Christian Theobalt, and Feng Xu. Monocular real-time hand shape and motion capture using multi-modal data. In CVPR, 2020. 3