# 日常自拍视角图像中的3D手部姿态估计 Aditya Prakash、Ruisen Tu、Matthew Chang和Saurabh Gupta 伊利诺伊大学厄巴纳-香槟分校 {adityap9,ruisent2,mc48,saurabhg}@illinois.edu 摘要：在日常自拍视角图像中进行3D手部姿态估计面临诸多挑战：视觉信号较差（与物体交互时产生遮挡、分辨率低且存在运动模糊）、透视畸变严重（手部距离摄像头很近），以及受控环境之外缺乏3D标注数据。现有方法通常将手部裁剪图像作为输入，以利用细粒度的视觉信息来应对视觉信号差的问题，但关于透视畸变以及野外环境中缺乏3D标注所带来的挑战尚未得到系统性研究。我们聚焦于这一空白，探究不同处理方式的影响，即采用裁剪图像作为输入、融入摄像头信息、引入辅助监督以及扩大数据集规模。我们给出了多项适用于卷积模型和Transformer模型的见解，这些见解有助于提升模型性能。基于我们的研究成果，我们还推出了WildHands系统，用于在日常自拍视角图像中估计3D手部姿态。在4个不同类型的数据集（H2O、AssemblyHands、Epic-Kitchens、Ego-Exo4D）上进行的零样本评估表明，我们的方法在2D和3D指标上均表现出色，性能较以往方法提升了7.4%至66%。在系统级对比中，WildHands在ARCTIC自拍子集上的3D手部姿态估计效果最佳，在所有指标上均优于FrankMocap，且在6个指标中有3个指标的表现超过HaMeR；同时它的模型规模仅为后者的十分之一，训练所需数据量也仅为后者的五分之一。关键词：3D手部姿态 · 自拍视角视觉 · 单图像3D重建 ## 1 引言理解3D视角下的自拍手部图像能够支撑AR/VR、机器人等领域的应用。尽管已有多项研究针对非自拍视角下的手部展开探讨[^52] [^59]，但目前尚无现有方法能在实验室环境之外的多样化自拍场景中取得良好效果。我们聚焦于这一空白，研究常见处理方式的影响，即采用裁剪图像作为输入、融入摄像头信息、引入辅助监督以及扩大数据集规模，从而实现从单张自拍图像中预测绝对3D手部姿态。我们确定了两个重要因素：a) 建模自拍视角下手部成像过程中的3D到2D投影关系；b) 利用辅助监督机制，扩大训练数据的多样性以覆盖更多数据集。让我们逐一剖析各个组成部分。现有方法通常基于图像裁剪结果进行处理，并假设该裁剪图像位于摄像头视场的中心。 --- ![Image](images/9c60de4bd5a8332f5818b4ee78900a89154e1c862723c4ebc13874910f2d7576.jpg)

Fig. 1: WildHands predicts the 3D shape, 3D articulation and 3D placement of the hand in the camera frame from a single in-the-wild egocentric RGB image and camera intrinsics. It produces better 3D output compared to FrankMocap [^59] in occlusion scenarios and is more adept at dealing with perspective distortion than HaMeR [^52], in challenging egocentric hand-object interactions from Epic-Kitchens [^9] dataset.

并采用虚构的焦距参数。对于非自拍场景而言，这些设定是合理的——因为此时图像中手部的位置无法为手部关节运动提供任何线索，且由于手部距离摄像头较远、在视场中占据的面积较小，透视畸变效应也微乎其微。然而，这些假设在处理自拍图像时并不理想。由于手的生物力学特性，它在以自我为中心的图像中的位置包含了关于其姿态的信息。此外，在以自我为中心的场景中，手离摄像头更近，因此会经历比以外部为中心的图像中更多的透视畸变。能够准确解释以自我为中心图像中某一区域2D手部外观的3D手部姿态，在图像的另一区域可能并不适用。因此，在进行3D预测时，必须考虑手在图像中的位置。这意味着需要将手在图像中的2D位置信息输入到网络中。不过，图像帧中的2D位置概念是针对特定摄像头的。更具普适性的量其实是手在摄像头视野中的角度位置。因此，我们采用了最新的KPE嵌入方法[^54]，通过对手部裁剪特征进行其摄像头视野中位置的正弦编码来增强特征，发现这确实能提升性能。然而，仅仅以正确的方式处理图像裁剪并不足以实现泛化。模型还需要在实验室环境之外广泛且多样的数据集上进行训练。这并不容易，因为 3D 手部姿态难以在图像中直接标注。因此，我们转向在实验室数据集的 3D 监督和野外数据的 2D 辅助监督上进行联合训练，监督形式为 2D 手部掩码 [^6] [^10] 及抓取标签 [^6]。为了吸收来自分割标签的监督，我们以可微分方式渲染 [^42] 预测的 3D 手部到图像中，并通过渲染反向传播损失。对于抓取监督，我们注意到 --- 手部姿态能够反映抓取类型，因此我们采用以预测的3D手部姿态为输入的抓取分类器所提供的监督信号。实验室环境之外缺乏准确的3D标注，这使得评估模型的泛化能力颇具挑战性。为此，我们采用了零样本评估策略。尽管单个实验室数据集的多样性有限，但如果一个模型在未见过该数据集任何图像的情况下就能在其中表现良好，那么它很可能具备良好的泛化能力。此外，我们收集了Epic-HandKps数据集，其中包含来自VISOR [^10]划分的野外场景Epic-Kitchens [^7]数据集中的5000张图像的2D手部关节标注，用于评估预测出的3D手部姿态在日常图像上的2D投影效果。我们还考虑了同期发布的Ego-Exo4D [^18]数据集提供的3D手部姿态来进行评估。我们认为这些评估综合起来能够全面检验不同模型的泛化能力。我们的实验（第4节）证明了以下几点的重要性：(1) 使用裁剪区域而非整幅图像；(2) 输入2D裁剪位置信息而非不输入；(3) 对裁剪区域在摄像头视野中的位置进行编码，而非仅基于图像帧；(4) 采用2D掩码和抓取监督。我们将这些经验应用于卷积模型和Transformer模型，均取得了更好的性能。我们还推出了WildHands（图1），它在以自我为中心的图像上的表现优于FrankMocap [^59]，与同期的HaMeR [^52]相比也毫不逊色，同时它的模型规模$10\times$更小，训练所用的数据量$5\times$也更少。 ## 2 相关工作手部姿态估计与重建：几十年的研究 [^15] [^28] [^56] 已涉及不同方面：2D姿态 [^4] [^63] 与3D姿态 [^40] [^50] [^68] [^72] 与网格模型 [^1] [^25] [^65]，RGB [^14] [^22] [^25] 与RGBD [57,62–64,66,68] 输入，自我中心 [^14] [^50] 与他人中心 [^14] [^21] [^22]，孤立的手部 [^48] [^79] 与物体交互 [^21] [^44] [^73]，前馈预测 [^14] [^22] [^25] [^60] 与测试时优化 [^3] [^24]。在参数化手部模型 [^53] [^58] 的进展推动下，最近的研究已从3D关节点估计转向3D网格恢复 [^14] [^22] [^25] [^52] [^59] [^77]，涵盖三种场景：孤立状态下的单手 [^78]、与物体交互的手部 [^14] [^70] 以及两只手相互交互 [^22] [^48]。同时对手部和物体进行推理已被证明能有效提升手部和物体的重建效果 [^25] [^36] [^74]。虽然一些表现力强的模型专注于实验室环境中的3D手部姿态估计 [22,31–33,60]，但只有少数研究 [^52] 处理Ego4D [^17]、Epic-Kitchen [^7] 等日常自我中心图像中的问题。我们聚焦于这一场景，原因在于其涉及透视失真、动态交互和严重遮挡等挑战。我们探索了卷积模型 [^14] [^59] 和Transformer模型 [^51] [^52]，研究使用裁剪、裁剪在相机视野中的位置以及辅助监督对零样本泛化到多样化自我中心场景的影响。手部数据集：由于从单张图像获取3D手部标注较为困难，大多数数据集在受控环境中采集，以使用动作捕捉 [^14] [^67]、多相机设置 [^21] [^22] [^40] [^44] [^50] 或磁性传感器 [^16] 获得3D真实标注。它们通常包括孤立状态下的单手 [^79]、手物交互 [^14] [^21] [^22] [^40] 和手手交互 [^48]。与这些包含3D姿态的数据集不同，[^6] [^10] [^61] 提供分割掩码 [^6] [^10]、2D边界 --- ![Image](images/f4e4c04f18388d6dbac033228c117862e26f09b534ea4e70c9f633558bd91203.jpg)

Fig. 2: Model Overview. We crop the input images around the hand and process them using a convolutional backbone. The hand features along with the global image features (not shown above for clarity) and intrinsics-aware positional encoding (KPE [^54]) for each crop are fed to the decoder to predict the 3D hand. The hand decoders predict MANO parameters $\beta$, $\theta_{local}$, $\theta_{global}$ and camera translation which are converted to 3D keypoints & 2D keypoints and trained using 3D supervision on lab datasets, e.g. ARCTIC [^14], AssemblyHands [^50]. We also use auxiliary supervision from in-the-wild Epic-Kitchens [^10] dataset via hand segmentation masks and grasp labels. The hand masks are available with the VISOR dataset [^10] whereas grasp labels are estimated using off-the-shelf model from [^6].

在互联网视频 [^61] 和真实环境下的第一人称图像 [^6] [^61] 中使用边界框 [^9] 和抓取标签 [^17]。我们的工作结合了在受控环境中捕获的数据集 [^14] [^50] 的3D监督，以及来自实验室外数据集 [^6] [^10] 的2D辅助监督（即分割掩码和抓取标签），以学习在具有挑战性的日常图像中表现良好的模型。我们收集了 Epic-HandKps 数据集，其中包含来自 Epic-Kitchens 的5K张图像上的2D手部关键点，用于在实验室环境之外的日常图像中进行评估。我们还采用了同期发布的 Ego-Exo4D [^18] 数据集，该数据集在配对的第一人称和第三人称视图中标注了2D关键点，以获取3D手部标注。辅助监督：多项关于从单张图像预测3D形状的研究 [^34] [^69] 通常会利用辅助监督来解决3D注释缺失的问题。[^34] 采用关键点监督来实现3D人体网格恢复，而 [^69] 则利用多视图一致性线索进行3D物体重建。借助可微渲染技术 [^37] [^43]，分割和深度预测已被用于为3D重建提供监督 [^3] [^24] [^35]。我们采用了这种将分割作为3D姿态辅助线索的方法。此外，我们基于“手部抓取能反映手部姿态”这一认知，利用手部抓取标签作为监督信息。歧义性：由于尺度-深度混淆 [^23] 和裁剪 [^54] 带来的歧义，从单张图像进行3D估计是一个不适定问题。近期的研究 [^54] 指出了图像裁剪中由透视畸变引起的形状歧义，并采用基于相机内参的位置编码来缓解这一问题。我们研究了自我中心图像中手部裁剪的此类歧义，并采用了所提出的嵌入方法来消除它。类似嵌入方法此前已在文献中被使用，主要是从在不同相机拍摄的图像上训练模型的角度 [^12] [^19]，来编码外部信息 [^20] [^47] [^75]。 --- ## 3 方法我们提出了WildHands，这是一种用于从野外拍摄的自我中心图像中估计3D手部姿态的新系统。该系统基于ArcticNet-SF [^14] 和FrankMocap [^59] 构建。给定手部周围的裁剪图像及对应的相机内参，WildHands会预测以MANO [^58] 参数表示的3D手部形状、形状 $\beta$ 以及姿态 $\theta$。$\theta$ 包含15个手部关节的关节活动角度 $\theta_{local}$，以及根关节在相机坐标系中的全局姿态 $\theta_{global}$。WildHands的训练数据涵盖了实验室环境（ARCTIC、AssemblyHands）和野外环境（Epic-Kitchens、Ego4D）中的数据，且监督来源多样。图2展示了我们模型的概览。接下来，我们将详细介绍WildHands的各个组成部分。 ### 3.1 架构手部编码器：我们的模型将手部裁剪图像作为输入（分辨率调整为$224 \times 224$），这些图像由ResNet50 [^27] 骨干网络处理，以生成$7 \times 7 \times 2048$ 特征图。左右手部的裁剪图像分别处理，但参数共享。我们的模型还使用了全局图像特征，通过对$7 \times 7 \times 2048$ 特征图进行平均池化来得到2048维的向量。引入KPE：近期研究[^54] 表明，从图像裁剪图中估计三维量时会受到透视畸变引起的形状歧义的影响[^54]。这引发了人们的担忧：使用手部裁剪图预测三维姿态时是否也存在这种歧义，以及如何应对它。遵循[^54] 中的研究方法，我们分析了ARCTIC数据集中的手部图像（详情见补充材料），发现手部裁剪图中也存在这种歧义。因此，我们采用了[^54] 中提出的固有感知位置编码（KPE）来消除这种歧义。具体来说，我们向网络提供手部裁剪图在相机视野中的位置信息。将主点设为$(p_x, p_y)$，焦距设为$(f_x, f_y)$。对于每个像素$(x, y)$，我们计算$\theta_x = \tan^{-1} \left( \frac{x - p_x}{f_x} \right)$、$\theta_y = \tan^{-1} \left( \frac{y - p_y}{f_y} \right)$，并将其转换为正弦编码[^46]。我们将KPE添加到$7 \times 7 \times 2048$ 特征图中。KPE包含角度$\theta_x$ 和$\theta_y$ 的正弦编码（详见正文第4.1节），由此生成$5 \times 4 \times K$ 维的稀疏编码（角点处为4个，中心像素为1个）以及$H \times W \times 4 \times K$ 分辨率的密集编码，其中K为频率分量数（设为4）。对于稀疏KPE变体，我们将其广播至$7 \times 7$ 分辨率；而对于密集KPE变体，我们将其插值到$7 \times 7$ 分辨率后再与特征图拼接。拼接后的特征会送入3层卷积层（通道数分别为1024、512、256，核大小均为$3 \times 3$，激活函数为ReLU [^49]），以得到$3 \times 3 \times 256$ 特征图。该特征图被展平为2304维向量，再经过一层MLP处理，最终得到2048维的特征向量。由于我们希望保留KPE中的空间信息，此处不使用批归一化[^30]。手部解码器：它采用迭代式架构，类似于HMR中的解码器[^34]。输入为2048维的特征向量和初始参数。 --- MANO模型[^58]（形状参数$\beta$、关节参数$\theta_{local}$ 以及全局姿态参数$\theta_{global}$，均初始化为零向量）和弱透视相机参数（由2048维特征向量初始化）。这些参数均由独立的解码器头进行预测。旋转参数$\theta_{local}$、$\theta_{global}$ 以矩阵形式预测，随后转换为轴角表示，再输入到MANO模型中。每个解码器都是三层MLP，其中两层中间层的通道数为1024，输出层的通道数与所预测参数的维度一致。每个解码器的输出会与初始参数相加，从而得到更新后的参数。这一过程重复3次，最后一次迭代的输出即为最终预测结果。用于掩码预测的可微渲染：解码器输出的、关于预测手部的$\beta$、$\theta_{local}$和$\theta_{global}$，会被传入可微的MANO层[^25] [^58]以生成手部网格。该网格会用于通过SoftRasterizer[^43] [^55]来可微地渲染出软分割掩码M。借助可微的手部模型（MANO）和可微渲染技术，我们能够实现模型的端到端训练。抓取分类器：我们利用这样一个认知——与物体交互时的抓取类型能够反映手部姿态。我们基于WildHands预测的$\theta_{local}$、$\theta_{global}$和$\beta$，通过一个四层MLP（分别包含1024、1024、512、128个节点，每层后接ReLU非线性激活函数）来训练抓取预测头。该MLP会输出[^6]中定义的8种抓取类别的对数，随后通过softmax将其转换为概率G。 ### 3.2 训练监督我们采用以下方式训练WildHands：（1）在实验室数据集上，对$\beta$、$\theta_{local}$、$\theta_{global}$、3D手部关键点以及图像中3D关键点的2D投影进行监督；（2）在自然场景数据集上，使用手部掩码和抓取标签进行监督。 $$ \mathcal{L}_{\theta}=\left\|\theta-\theta^{g t}\right\|_{2}^{2}\qquad\mathcal{L}_{\beta}=\left\|\beta-\beta^{g t}\right\|_{2}^{2}\qquad\mathcal{L}_{c a m}=\left\|(s,T)-(s,T)^{g t}\right\|_{2}^{2} $$ $$ \mathcal{L}_{k p3d}=\left\|J_{3D}-J_{3D}^{g t}\right\|_{2}^{2}\qquad\mathcal{L}_{k p2d}=\left\|J_{2D}-J_{2D}^{g t}\right\|_{2}^{2} $$ $$ \mathcal{L}_{m a s k}=\|M-M^{g t}\|\qquad\mathcal{L}_{g r a s p}=C E(G,G^{g t}) $$ 此处，$\mathcal{L}_{\theta}$同时用于$\theta_{local}$和$\theta_{global}$，$(s,T)$代表弱透视相机参数，CE表示交叉熵损失。$J_{2D}=K[J_{3D}+(T,f/s)]$中，$J_{3D}$是MANO坐标系下的3D手部关键点，K为相机内参，f为焦距，s为弱透视相机的缩放因子。注意$(\cdot)^{gt}$代表真实值。总损失为： $$ \begin{aligned}\mathcal{L}&=\lambda_{\theta}\mathcal{L}_{\theta}+\lambda_{\beta}\mathcal{L}_{\beta}+\lambda_{cam}\mathcal{L}_{cam}+\lambda_{kp3d}\mathcal{L}_{kp3d}+\lambda_{kp2d}\mathcal{L}_{kp2d}\\&+\lambda_{mask}\mathcal{L}_{mask}+\lambda_{grasp}\mathcal{L}_{grasp}\end{aligned} $$ 实验室数据集：对于ARCTIC数据集，我们使用$\lambda_{\theta}=10.0$、$\lambda_{\beta}=0.001$、$\lambda_{kp3d}=5.0$、$\lambda_{kp2d}=5.0$、$\mathcal{L}_{cam}=1.0$，并将其他损失权重设为0。AssemblyHands并不采用MANO表示手部，而是提供21个手部关节的3D和2D关键点标签。因此，我们使用$\lambda_{kp3d}=5$、$\lambda_{kp2d}=5$，并将其他损失权重设为0。 --- 自然场景数据：对于Epic-Kitchens和Ego4D数据集，我们将手部掩码和抓取标签作为辅助监督信息。虽然VISOR包含手部掩码，但缺乏抓取标签；Ego4D既无手部掩码也无抓取标签。为了提取这些标签，我们使用现成模型[^6]的预测结果作为伪真实值。我们使用$\lambda_{mask} = 10.0$、$\lambda_{grasp} = 0.1$，并将其他损失权重设为0。 ### 3.3 实现细节我们的模型以手部裁剪图像作为输入。训练期间，我们使用手部位剪裁的真实边界框（带有微小扰动），该边界框是根据2D关键点估算得出，并乘以1.5的固定值以纳入手部周围的额外上下文信息。测试时，我们需要预测图像中手部的边界框。在ARCTIC数据集上，我们通过微调MaskRCNN[^26]来训练边界框预测器。该模型也用于向ARCTIC排行榜提交结果。对于Epic-HandKps数据集，我们使用[^5]最新发布的手部检测器。所有消融实验均使用手部位剪裁的真实边界框。我们采用ARCTIC数据集中的训练集（18.7万张图像）、AssemblyHands数据集（36万张图像），以及EPIC数据集的VISOR划分部分（3万张图像）和Ego4D厨房视频中的4.5万张图像来训练我们的模型。WildHands模型是在不同数据集上联合训练的，输入批次中包含来自多个数据集的图像。所有模型均以ArcticNet-SF模型为初始化基础，该模型是在ARCTIC数据集的他心视角划分上训练得到的 [^14]。所有模型均训练100个周期，学习率为 $1e^{-5}$。多数据集训练在2块A40 GPU上进行，批量大小为144，优化器采用Adam [^39]。更多细节详见补充材料。 ## 4 实验我们采用零样本评估策略：在实验室数据集（H2O、AssemblyHands）上进行3D评估，对3D手部预测结果的2D投影在Epic-HandKps上进行评估，并在EgoExo4D上进行3D评估 [^18]。我们系统分析了各种设计选择（使用裁剪区域、KPE）、损失函数中的不同项以及用于训练的不同数据集的有效性。我们还在ARCTIC排行榜上与FrankMocap [^59] 及HaMeR [^52] 进行了系统级比较。 ### 4.1 协议训练数据集：我们考虑用于训练的4个数据集：2个实验室数据集（ARCTIC和AssemblyHands）以及2个自然场景数据集（Epic-Kitchens和Ego4D）。我们选择ARCTIC数据集，是因为它在现有数据集中拥有最广泛的手部姿态变化范围 [^14] [^4] [^21] [^22] [^44] [^67]。我们使用包含超过18.7万张训练图像的他心视角划分部分。我们也选用AssemblyHands数据集，因为它是一个大规模数据集，训练划分中包含超过36万张他心视角图像。不同实验会采用这些数据集的不同组合。我们利用Epic-Kitchens和Ego4D中的他心视角图像作为自然场景数据来训练模型，并辅以监督信息。我们使用其中的3万张训练图像 --- ![Image](images/dee2ff2fc1d34b28f9816bcf7f96a07c1fd8590e78b8509561821c7fb4aee7d6.jpg)

Fig. 3: Epic-HandKps annotations. We collect 2D joint annotations (shown in blue) for 5K in-the-wild egocentric images from Epic-Kitchens [^8]. We show few annotations here with images cropped around the hand. We also have the label for the joint corresponding to each keypoint. Note the heavy occlusion & large variation in dexterous poses of hands interactioning with objects. More visualizations in supplementary.

这些图像来自Epic-Kitchens的VISOR划分部分；此外还有来自Ego4D的4.5万张图像。为了提取手部掩码和抓取标签，我们使用了来自 [^6] 的现成模型。评估数据集：我们考虑用于零样本泛化实验的4个数据集：H2O [^40]、AssemblyHands、Epic-HandKps和Ego-Exo4D。需要注意的是，这些数据集涵盖了广泛的输入类型：H2O包含实验室环境下的RGB图像，AssemblyHands由灰度图像组成，而Epic-HandKps和Ego-Exo4D的图像则展示了自然场景下人们进行日常活动时的手部状态。我们使用H2O和AssemblyHands的验证集，分别包含2.9万张和3.2万张图像。由于自然场景图像的3D手部标注难以收集，我们转而针对Epic-Kitchens的VISOR划分验证集中的5千张他心视角图像收集2D手部关键点标注。我们将这个数据集称为Epic-HandKps。图3中展示了该数据集的样本图像。我们也在Ego-Exo4D手部姿态数据集的验证集上进行了评估。 Epic-HandKps：Epic-HandKps包含针对21个手部关节的2D标注，用于评估预测3D关键点的2D投影效果。我们从Epic-Kitchens的VISOR划分验证集中抽取5000张图像，通过Scale AI对这21个关节进行标注。我们采用与ARCTIC相同的关节定义方式 [^14]。我们利用VISOR中的分割掩码对手部周围的图像进行裁剪，再将裁剪后的图像提供给标注员进行标注。需要注意的是，这些图像中大多无法看到全部21个关键点。遵循ARCTIC的做法，我们仅将至少包含3个可见关节的图像纳入评估范围。此外，由于实验中所用模型需要以手部裁剪图像作为输入，我们仅对那些能通过最新发布的手部检测模型[^6]预测出手部边界框的图像进行评估。最终我们得到4724组手部标注数据，其中右侧手部有2697组，左侧手部有2027组。我们在图3中展示了部分标注结果。评价指标：在3D手部姿态评估方面，我们考虑两项指标：(1) 平均关节位置误差（MPJPE）：即每个手部21个预测关节与真实关节之间的L2距离（单位：毫米）。 ---

Table 1: Benefits of using crops and KPE. Zero shot generalization performance improves through the use of crops as input (HandNet uses crops vs. ArcticNet-SF uses full image) and KPE helps (WildHands uses KPE with crops vs. HandNet only uses crops). All models use the same backbone and are trained on the same data in each setting for fair comparisons. $\mathcal{D}$: {ARCTIC, AssemblyHands, EPIC}.

	$H_{2}O$		Assembly		Ego-Exo4D	Epic-HandKps
	MPJPE	MRRPE	MPJPE	MRRPE	MPJPE	L2 Error
Training data	D		D - Assembly		D	D - EPIC
ArcticNet-SF	83.84	325.55	110.76	326.94	114.24	35.02
HandNet	38.06	141.06	109.88	317.49	89.72	31.62
WildHands	31.08	49.49	84.91	164.90	55.84	11.05

& 减去根关节后的真实关节之间的L2距离（该指标用于衡量相对姿态）。(2) 平均相对根关节位置误差（MRRPE）：即左右手根关节之间的度量距离，参考[^13]、[^14]、[^48]的定义（该指标考虑了绝对姿态）。(3) 针对Epic-HandKps的2D评估，我们测量真实关键点与预测3D关键点的2D投影之间的L2误差（对于224×224的图像输入，单位为像素）。基准模型：(1) ArcticNet-SF [^14]是与ARCTIC基准测试一同发布的单图像模型。它采用卷积主干网络（ResNet50 [^27]）来处理输入图像，随后通过类似HMR [^35]的解码器来预测手部和物体姿态。预测得到的手部姿态采用MANO [^58]参数化方式表示。(2) FrankMocap [^59]是在受控环境下收集的多数据集上训练而成的模型，常被应用于野外场景 [^3]、[^24]、[^74]。它以手部裁剪图像而非整幅图像作为输入，再由卷积主干网络进行处理。其解码器与HMR [^35]类似，可输出手部的MANO参数，训练过程则利用3D姿态和2D关键点监督信息。(3) HandNet：由于FrankMocap的训练代码不可获取，我们无法在其框架下训练该模型。因此，我们实现了一种ArcticNet-SF的变体，它以裁剪图像作为输入，搭配HMR风格的解码器，并在我们的环境中利用3D和2D监督信息进行训练。这一基准模型相当于未使用KPE的WildHands以及采用裁剪输入的ArcticNet-SF。(4) HandOccNet [^51]：它以裁剪图像作为输入，通过FPN [^41]主干网络进行编码。编码后的特征会被送入Transformer [^71]模块，生成基于热图的中间表示，再进一步解码为MANO参数。(5) HaMeR [^52]：它同样以裁剪图像作为输入，通过ViT [^11]主干网络进行处理。随后特征会被送入Transformer解码器，以预测MANO参数。需要注意的是，在我们的实验环境中，所有模型的训练均未使用对抗损失。 ### 4.2 实验结果我们系统研究了若干因素的影响：是否使用裁剪图像（表1）及KPE（表1、表5）、透视畸变（表4）、辅助监督（表3）、训练数据集（表6）对卷积模型（表1）和Transformer模型的影响。 ---

Table 2: Impact on transformer models. We investigate if our insights are useful for transformer models as well, i.e. if KPE helps on top of positional encodings used in transformers & if auxiliary supervision leads to better generalization for large capacity models. All models are trained on the same data in each setting for fair comparisons.

	$H_{2}O$		Assembly		Ego-Exo4D	Epic-HandKps
	MPJPE	MRRPE	MPJPE	MRRPE	MPJPE	L2 Error
Training data	D		D - Assembly		D	D - EPIC
HandOccNet [^51]	60.58	187.24	110.28	293.92	80.96	32.77
HandOccNet + KPE	47.57	72.25	103.30	232.83	78.64	13.54
HaMeR [^52] (ViT)	30.57	113.26	79.48	227.59	55.36	25.48
HaMeR (ViT) + KPE	24.15	62.99	71.64	184.55	47.02	9.77

Table 3: Role of auxiliary supervision. We consider grasp and mask supervision from both Epic-Kitchens & Ego4D to train WildHands and show results in zero-shot generalization settings. Both grasp & mask supervision lead to improvements in 3D & 2D metrics, with hand masks providing larger gain compared to grasp labels. Even though auxiliary supervision is on Epic/Ego4D, it leads to improvements in all settings, i.e. benefits from training on broad data extend beyond datasets with auxiliary supervision.

	$H_{{2}}O$		Assembly		Ego-Exo4D	Epic-HandKps
	MPJPE	MRRPE	MPJPE	MRRPE	MPJPE	L2 Error
Wildhands (no aux)	39.52	77.07	93.44	208.32	70.39	17.07
+ EPIC grasp	38.34	76.04	90.23	180.85	63.30	-
+ EPIC mask	34.29	60.23	87.94	175.31	56.41	-
+ EPIC grasp + EPIC mask	31.08	49.49	84.91	164.90	55.84	-
+ Ego4D grasp	41.06	111.47	86.44	222.23	69.73	8.22
+ Ego4D mask	38.17	57.93	82.55	145.78	63.43	7.87
+ Ego4D grasp + Ego4D mask	35.62	62.10	79.08	148.12	60.80	7.20

通过对照实验对模型（见表2）进行测试，即把我们想要考察其影响之外的所有因素都保持恒定。所有结果均在零样本设置下报告，也就是说模型并未在评估数据集上训练。作物的影响：为了了解使用作物而非完整图像作为输入所带来的益处，我们在表1中对比了ArcticNet-SF和HandNet。这两个模型唯一的区别在于：ArcticNet-SF以完整图像作为输入，而HandNet则使用作物作为输入。我们发现，在不同设置下，MPJPE指标提升了27.7%，MRRPE指标提升了29.7%，PA-MPJPE指标提升了10.7%，2D姿态指标提升了9.7%。这证明了将作物作为输入具有实用性 [^50] [^59]。 KPE的益处：在表1中，HandNet与WildHands的唯一区别在于是否使用KPE。这带来了MPJPE指标20.5%、MRRPE指标56.4%以及2D姿态指标65.1%的提升。与作物带来的影响相比，MRRPE指标的提升更为显著（表明绝对姿态精度更高），且在Epic-HandKps数据集上的表现也更好（说明泛化能力更强）。辅助监督的作用：我们从Epic-Kitchens和Ego4D数据集中提取手部掩码和抓取标签，并在表3中展示了它们在零样本评估设置下的益处。掩码监督使MPJPE指标提升8.5%，MRRPE指标提升21.5%，2D姿态指标提升55.5%。抓取标签则使MPJPE指标提升2.5%，MRRPE指标提升7.3%。 ---

Table 4: Comparison of KPE with relevant approaches. KPE is more effective than other methods for dealing with perspective distortion, e.g. Perspective Correction [^45], Perspective Crop Layers (PCL [^76]), or other encodings, e.g. CamConv [^12]

	$H_{2}O$		Assembly		Ego-Exo4D	Epic-HandKps
	MPJPE	MRRPE	MPJPE	MRRPE	MPJPE	L2 Error
HandNet +
CamConv	36.86	67.62	96.72	180.73	60.69	17.35
Perspective Corr.	39.95	159.13	59.10	637.32	67.45	28.68
PCL [^76]	36.82	158.88	45.18	483.92	63.65	28.21
KPE (WildHands)	31.08	49.49	84.91	164.90	55.84	11.05

Table 5: KPE Design Choices. We study the impact of different design choices of KPE on WildHands: adding KPE with the input instead of latent features (w/ input), removing intrinsics from KPE (no intrx), dense variant of KPE from [^54]. WildHands uses sparse variant of KPE. We observe that all variants of KPE provide significant benefits compared to the model without KPE and the sparse variant performs the best.

	$H_{2}O$		Assembly		Ego-Exo4D	Epic-HandKps
	MPJPE	MRRPE	MPJPE	MRRPE	MPJPE	L2 Error
no KPE	38.06	141.06	109.88	317.49	89.72	31.62
KPE w/ input	45.51	80.96	94.45	252.34	93.56	17.30
KPE no intrx	36.97	61.98	92.12	246.45	60.80	11.63
KPE dense	36.86	80.54	95.34	201.33	69.11	11.24
KPE sparse	31.08	49.49	84.91	55.84	55.84	11.05

2D姿态指标则提升4.3%。虽然这两种监督源都有效果，但手部掩码带来的提升更大。将掩码监督与抓取监督结合后，在大多数设置下3D和2D姿态的表现都会进一步改善。此外，针对野外数据的辅助监督也有助于提升实验室数据集上的性能，这表明基于广泛数据训练所获得的泛化能力提升并非特定于某类数据集。 KPE与相关方法的对比：在表4中我们发现，在处理透视畸变方面，KPE比其他方法更有效，例如透视校正 [^45]、透视裁剪层（PCL [^76]），或是不同形式的位置编码，如CamConv [^12]。对Transformer模型的影响：我们研究了这些发现是否也适用于Transformer模型，即KPE是否能在Transformer已有的位置编码基础上进一步提升性能，以及辅助监督是否能帮助大容量模型实现更好的泛化。为此，我们在HandOccNet [^51]和HaMeR [^52]中实现了这些组件，并在我们的设置下训练这些模型。从表2的结果来看，我们在所有设置中都观察到了一致的性能提升。 KPE的设计选择：我们在表5中对KPE的不同变体进行了消融实验：将KPE与输入特征结合而非潜层特征（w/ input）、移除KPE中的内在稀疏性（no intrx），以及采用来自 [^54] 的密集型KPE变体。值得注意的是，稀疏型变体的表现最佳，因此我们在WildHands中采用了稀疏型KPE。 ---

Table 6: Effect of scaling up data. Training on more datasets leads to consistent improvements in models performance on held out datasets.

	$H_{2}O$		Ego-Exo4D	Epic-HandKps
	MPJPE	MRRPE	MPJPE	L2 Error
ARCTIC	47.30	75.17	87.71	17.07
ARCTIC + Assembly	39.52	77.07	70.39	11.05
ARCTIC + Assembly + Ego4D (aux)	35.62	62.10	60.80	7.20

训练过程中的相机内参：用于获取辅助监督的野外数据中可能并不总是包含相机内参。为了研究这种场景，我们选取了包含多摄像头图像的野外Ego4D数据，且不假设能获取到相机内参。在这种情况下，我们用相对于图像中心归一化后的坐标的正弦位置编码来替代KPE。表3中的Ego4D结果正是基于这种设置得出的，我们发现即便没有相机信息，来自Ego4D的辅助监督仍能带来性能提升。扩大训练数据规模：我们在零样本设置下，使用ARCTIC、ARCTIC + AssemblyHands、ARCTIC + Ego4D以及ARCTIC + AssemblyHands + Ego4D对WildHands的不同变体进行消融实验，测试数据涵盖H2O、Ego-Exo4D和Epic-HandKps。针对ARCTIC与AssemblyHands数据集我们采用3D监督方式，对Ego4D则采用辅助监督（手部掩码、抓取标签）。表6显示，来自AssemblyHands和Ego4D数据集的3D及2D指标均有稳定提升，这表明进一步扩大数据规模能够进一步改善性能。 ### 4.3 系统级评估虽然我们此前的所有实验均在受控环境下开展，但我们还是将该方法与其他既往方法进行了系统级对比，具体对比对象为提交至ARCTIC排行榜的方法（截至2024年7月13日），以及已公开发布的FrankMocap [^59]和HaMeR [^52]模型。 ARCTIC排行榜：与近期的先进卷积模型（如ArcticNet-SF、DIGITHRNet、HMR-ResNet50）及Transformer模型（如JointTransformer）（截至2024年7月13日）相比，我们的方法在中心视角子集上的3D手部姿态估计效果最佳。不过由于大多数此类模型并未公开，因此无法进行详细对比。

Table 7: Leaderboard results. WildHands leads the 3D hand pose on the egocentric split of ARCTIC leaderboard (as of July 13, 2024).

Method	MPJPE	MRRPE
ArcticNet-SF	19.18	28.31
ArcticOccNet	19.77	29.75
DIGIT-HRNet	16.74	25.49
HMR-ResNet50	20.32	32.32
JointTransformer	16.33	26.07
WildHands	15.72	23.88

JointTransformer）模型（截至2024年7月13日）。不过由于这些模型大多未公开，因此无法进行详细对比。与FrankMocap [^59]和HaMeR [^52]的对比：表8展示了使用已公开发布模型得到的结果。需注意，HaMeR采用的是ViT-H骨干网络，其规模更大、性能也更优，而WildHands使用的是ResNet50骨干网络。WildHands在所有指标上均优于FrankMocap，在6个指标中有3个超过HaMeR，且其模型规模$10 \times$更小，训练所用的数据量也$5 \times$更少。 --- ![Image](images/2257e7254c4072bff7fc1dc3ce51c5c20192003234c333f655bc26d3764e0889.jpg)

Fig. 4: Visualizations. We show projection of the predicted hand in the image & rendering of the hand mesh from 2 more views. WildHands predicts better hand poses from a single image than FrankMocap [^59], HaMeR [^14] and ArcticNet [^14] in challenging egocentric scenarios involving occlusions and perspective distortion.

### 4.4 可视化结果我们展示了WildHands预测的手部姿态与FrankMocap在Epic-HandKps上的定性对比结果（图4a），以及与ArcticNet-SF在ARCTIC上的对比结果（图4b）。通过观察网格在相机视图中的投影以及从其他视角渲染的网格，我们发现WildHands在存在遮挡或物体交互的图像中能更好地预测手部姿态——例如手指会弯曲环绕接触的物体（图4），而FrankMocap则无法做到这一点。在ARCTIC数据集上也观察到了类似趋势（图4b），我们的模型在物体接触场景下能预测出更精准的手部姿态。更多结果详见补充材料。失败案例：我们发现，当手指几乎不可见时（如顶部行中的揉面场景，图5），或当手部姿态极端时（如底部行中的抓取姿势，图5），对所有模型而言都具有较大挑战性。局限性：KPE编码需要已知相机内参，而某些场景下可能无法获取该信息。不过，在多类真实场景中，元数据往往包含相机信息。此外，我们目前是将不同损失项的权重设为超参数，这种方式可能并不理想，因为各类监督信号的来源不同，导致损失值的尺度也存在差异。采用可学习的加权方案可能会更有帮助，例如基于不确定性的损失加权 [^2] [^29] [^38]。 ---

Table 8: Systems comparison. We evaluate against publicly released models: FrankMocap [^59] (a popular method for 3D hand pose estimation), and HaMeR [^52]. FrankMocap uses a ResNet-50 backbone and is trained on 6 lab datasets. HaMeR uses a ViT-H [^11] backbone and is trained on 7 lab + 3 in-the-wild + HInt datasets across nearly 3M frames. WildHands model uses a ResNet-50 backbone and is trained on 3 datasets. WildHands outperforms FrankMocap across all metrics and HaMeR on 3 of 6 metrics while being 10× smaller & trained on 5× less data. We expect scaling up the backbone and datasets used to train WildHands can lead to even stronger performance.

	$H_{2}O$		Assembly		Ego-Exo4D	Epic-HandKps
	MPJPE	MRRPE	MPJPE	MRRPE	MPJPE	L2 Error
FrankMocap [^59] (ResNet-50, 6 lab)	58.51	-	97.59	-	175.91	13.33
HaMeR [^52] (ViT-H, 7 lab+3 wild+Hint)	23.82	147.87	45.49	334.52	116.46	4.56
WildHands (ResNet-50, 2 lab + 1 wild)	31.08	49.49	80.40	148.12	55.84	7.20

![Image](images/7f2097b062d5bcff85be8cf3308981d5d0a824732c1e6220c3f921bcf9b95a49.jpg)

Fig. 5: Failure cases. We observe that images with (top) barely visible fingers, e.g. kneading dough or (bottom) extreme grasp poses are challenging for all models.

## 5 结论我们提出了WildHands系统，它借鉴了文献中的最佳实践：以裁剪图像作为输入、采用考虑内参的位置编码、利用辅助监督源以及多数据集训练，从而能够在真实场景的中心视角图像上稳健地预测3D手部姿态。在实验室数据集和真实场景中的实验均证明了WildHands的有效性。未来，WildHands可用于基于人类交互来扩展机器人策略的学习规模。致谢：我们感谢Arjun Gupta、Shaowei Liu、Anand Bhattad和Kashyap Chitta对草稿提出的宝贵意见，也感谢David Forsyth的有益讨论。本研究基于以下机构资助的项目：NSF（IIS2007035）、NASA（80NSSC21K1030）、DARPA（机器常识项目）、亚马逊研究奖、英伟达学术硬件赠款，以及NCSA Delta系统（由NSF OCI 2005572和伊利诺伊州政府资助）。 --- ## 参考文献 [^1]: Ballan, L., Taneja, A., Gall, J., Gool, L.V., Pollefeys, M.: Motion capture of hands in action using discriminative salient points. In: Proceedings of the European Conference on Computer Vision (ECCV) (2012) [^2]: Brazil, G., Kumar, A., Straub, J., Ravi, N., Johnson, J., Gkioxari, G.: Omni3d: A large benchmark and model for 3d object detection in the wild. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). pp. 13154–13164 (2023) [^3]: Cao, Z., Radosavovic, I., Kanazawa, A., Malik, J.: Reconstructing hand-object interactions in the wild. In: Proceedings of the IEEE International Conference on Computer Vision (ICCV) (2021) [^4]: Chao, Y., Yang, W., Xiang, Y., Molchanov, P., Handa, A., Tremblay, J., Narang, Y.S., Wyk, K.V., Iqbal, U., Birchfield, S., Kautz, J., Fox, D.: Dexycb: A benchmark for capturing hand grasping of objects. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (2021) [^5]: Chen, Z., Zhang, H.: Learning implicit fields for generative shape modeling. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (2019) [^6]: Cheng, T., Shan, D., Hassen, A.S., Higgins, R.E.L., Fouhey, D.: Towards a richer 2d understanding of hands at scale. In: Advances in Neural Information Processing Systems (NeurIPS) (2023) [^7]: Damen, D., Doughty, H., Farinella, G.M., Fidler, S., Furnari, A., Kazakos, E., Moltisanti, D., Munro, J., Perrett, T., Price, W., Wray, M.: Scaling egocentric vision: The epic-kitchens dataset. Proceedings of the European Conference on Computer Vision (ECCV) (2018) [^8]: Damen, D., Doughty, H., Farinella, G.M., Fidler, S., Furnari, A., Kazakos, E., Moltisanti, D., Munro, J., Perrett, T., Price, W., Wray, M.: The epic-kitchens dataset: Collection, challenges and baselines. IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI) (2020) [^9]: Damen, D., Doughty, H., Farinella, G.M., Fidler, S., Furnari, A., Kazakos, E., Moltisanti, D., Munro, J., Perrett, T., Price, W., et al.: Scaling egocentric vision: The epic-kitchens dataset. In: Proceedings of the European Conference on Computer Vision (ECCV) (2018) [^10]: Darkhalil, A., Shan, D., Zhu, B., Ma, J., Kar, A., Higgins, R., Fidler, S., Fouhey, D., Damen, D.: Epic-kitchens visor benchmark: Video segmentations and object relations. In: NeurIPS Track on Datasets and Benchmarks (2022) [^11]: Dosovitskiy, A., Beyer, L., Kolesnikov, A., Weissenborn, D., Zhai, X., Unterthiner, T., Dehghani, M., Minderer, M., Heigold, G., Gelly, S., et al.: An image is worth 16x16 words: Transformers for image recognition at scale. arXiv preprint arXiv:2010.11929 (2020) [^12]: Facil, J.M., Ummenhofer, B., Zhou, H., Montesano, L., Brox, T., Civera, J.: Cam-convs: Camera-aware multi-scale convolutions for single-view depth. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). pp. 11826–11835 (2019) [^13]: Fan, Z., Spurr, A., Kocabas, M., Tang, S., Black, M.J., Hilliges, O.: Learning to dis-ambiguate strongly interacting hands via probabilistic per-pixel part segmentation. In: Proceedings of the International Conference on 3D Vision (3DV) (2021) ## [^14]: Fan, Z., Taheri, O., Tzionas, D., Kocabas, M., Kaufmann, M., Black, M.J., Hilliges, O.: ARCTIC: A dataset for dexterous bimanual hand-object manipulation. In --- IEEE计算机视觉与模式识别会议（CVPR）论文集（2023年） [^15]: Freeman, W.T., Roth, M.: Orientation histograms for hand gesture recognition. In: International workshop on automatic face and gesture recognition. vol. 12, pp. 296–301. Citeseer (1995) [^16]: Garcia-Hernando, G., Yuan, S., Baek, S., Kim, T.K.: First-person hand action benchmark with rgb-d videos and 3d hand pose annotations. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (2018) [^17]: Grauman, K., Westbury, A., Byrne, E., Chavis, Z., Furnari, A., Girdhar, R., Hamburger, J., Jiang, H., Liu, M., Liu, X., et al.: Ego4d: Around the world in 3,000 hours of egocentric video. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (2022) [^18]: Grauman, K., Westbury, A., Torresani, L., Kitani, K., Malik, J., Afouras, T., Ashutosh, K., Baiyya, V., Bansal, S., Boote, B., et al.: Ego-exo4d: Understanding skilled human activity from first-and third-person perspectives. arXiv preprint arXiv:2311.18259 (2023) [^19]: Guizilini, V., Vasiljevic, I., Chen, D., Ambrus, R., Gaidon, A.: Towards zero-shot scale-aware monocular depth estimation. In: Proceedings of the IEEE International Conference on Computer Vision (ICCV) (2023) [^20]: Guizilini, V., Vasiljevic, I., Fang, J., Ambru, R., Shakhnarovich, G., Walter, M.R., Gaidon, A.: Depth field networks for generalizable multi-view scene representation. In: Proceedings of the European Conference on Computer Vision (ECCV) (2022) [^21]: Hampali, S., Rad, M., Oberweger, M., Lepetit, V.: Honnotate: A method for 3d annotation of hand and object poses. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (2020) [^22]: Hampali, S., Sarkar, S.D., Rad, M., Lepetit, V.: Keypoint transformer: Solving joint identification in challenging hands and object interactions for accurate 3d pose estimation. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (2022) [^23]: Hartley, R., Zisserman, A.: Multiple view geometry in computer vision. Cambridge university press (2003) [^24]: Hasson, Y., Tekin, B., Bogo, F., Laptev, I., Pollefeys, M., Schmid, C.: Leveraging photometric consistency over time for sparsely supervised hand-object reconstruction. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (2020) [^25]: Hasson, Y., Varol, G., Tzionas, D., Kalevatykh, I., Black, M.J., Laptev, I., Schmid, C.: Learning joint reconstruction of hands and manipulated objects. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (2019) [^26]: He, K., Gkioxari, G., Dollár, P., Girshick, R.B.: Mask R-CNN. In: Proceedings of the IEEE International Conference on Computer Vision (ICCV) (2017) [^27]: He, K., Zhang, X., Ren, S., Sun, J.: Deep residual learning for image recognition. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (2016) [^28]: Heap, T., Hogg, D.: Towards 3d hand tracking using a deformable model. In: Proceedings of the Second International Conference on Automatic Face and Gesture Recognition. pp. 140–145. Ieee (1996) ## [^29]: Hu, A., Murez, Z., Mohan, N., Dudas, S., Hawke, J., Badrinarayanan, V., Cipolla, R., Kendall, A.: FIERY: future instance prediction in bird's-eye view from surround monocular cameras. In: Proceedings of the IEEE International Conference on Computer Vision (ICCV) (2021) --- [^30]: Ioffe, S., Szegedy, C.: Batch normalization: Accelerating deep network training by reducing internal covariate shift. In: Bach, F.R., Blei, D.M. (eds.) Proceedings of the International Conference on Machine Learning (ICML) (2015) [^31]: Ivashechkin, M., Mendez, O., Bowden, R.: Denoising diffusion for 3d hand pose estimation from images. arXiv 2308.09523 (2023) [^32]: Jiang, C., Xiao, Y., Wu, C., Zhang, M., Zheng, J., Cao, Z., Zhou, J.T.: A2j-transformer: Anchor-to-joint transformer network for 3d interacting hand pose estimation from a single RGB image. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (2023) [^33]: Jiang, Z., Rahmani, H., Black, S., Williams, B.M.: A probabilistic attention model with occlusion-aware texture regression for 3d hand reconstruction from a single RGB image. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (2023) [^34]: Kanazawa, A., Black, M.J., Jacobs, D.W., Malik, J.: End-to-end recovery of human shape and pose. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (2018) [^35]: Kanazawa, A., Tulsiani, S., Efros, A.A., Malik, J.: Learning category-specific mesh reconstruction from image collections. In: Proceedings of the European Conference on Commuter Vision (ECCV) (2018) [^36]: Karunratanakul, K., Yang, J., Zhang, Y., Black, M.J., Muandet, K., Tang, S.: Grasping field: Learning implicit representations for human grasps. In: Proceedings of the International Conference on 3D Vision (3DV) (2020) [^37]: Kato, H., Ushiku, Y., Harada, T.: Neural 3d mesh renderer. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (2018) [^38]: Kendall, A., Gal, Y., Cipolla, R.: Multi-task learning using uncertainty to weigh losses for scene geometry and semantics. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (2018) [^39]: Kingma, D.P., Ba, J.: Adam: A method for stochastic optimization. In: Bengio, Y., LeCun, Y. (eds.) Proceedings of the International Conference on Learning Representations (ICLR) (2015) [^40]: Kwon, T., Tekin, B., Stühmer, J., Bogo, F., Pollefeys, M.: H2o: Two hands manipulating objects for first person interaction recognition. In: Proceedings of the IEEE International Conference on Computer Vision (ICCV) (2021) [^41]: Lin, T., Dollár, P., Girshick, R.B., He, K., Hariharan, B., Belongie, S.J.: Feature pyramid networks for object detection. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (2017) [^42]: Liu, S., Chen, W., Li, T., Li, H.: Soft rasterizer: A differentiable renderer for image-based 3d reasoning. In: Proceedings of the IEEE International Conference on Computer Vision (ICCV) (2019) [^43]: Liu, S., Li, T., Chen, W., Li, H.: A general differentiable mesh renderer for image-based 3d reasoning. IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI) (2020) [^44]: Liu, Y., Liu, Y., Jiang, C., Lyu, K., Wan, W., Shen, H., Liang, B., Fu, Z., Wang, H., Yi, L.: HOI4D: A 4d egocentric dataset for category-level human-object interaction. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (2022) ## [^45]: Mehta, D., Rhodin, H., Casas, D., Fua, P., Sotnychenko, O., Xu, W., Theobalt, C.: Monocular 3d human pose estimation in the wild using improved CNN supervision. In: Proceedings of the International Conference on 3D Vision (3DV) (2017) --- [^46]: Mildenhall, B., Srinivasan, P.P., Tancik, M., Barron, J.T., Ramamoorthi, R., Ng, R.: Nerf: Representing scenes as neural radiance fields for view synthesis. In: Proceedings of the European Conference on Computer Vision (ECCV) (2020) [^47]: Miyato, T., Jaeger, B., Welling, M., Geiger, A.: GTA: A geometry-aware attention mechanism for multi-view transformers. arXiv (2023) [^48]: Moon, G., Yu, S., Wen, H., Shiratori, T., Lee, K.M.: Interhand2.6m: A dataset and baseline for 3d interacting hand pose estimation from a single RGB image. In: Proceedings of the European Conference on Computer Vision (ECCV) (2020) [^49]: Nair, V., Hinton, G.E.: Rectified linear units improve restricted boltzmann machines. In: Proceedings of the International Conference on Machine Learning (ICML) (2010) [^50]: Ohkawa, T., He, K., Sener, F., Hodan, T., Tran, L., Keskin, C.: Assemblyhands: Towards egocentric activity understanding via 3d hand pose estimation. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). pp. 12999–13008 (2023) [^51]: Park, J., Oh, Y., Moon, G., Choi, H., Lee, K.M.: Handoccnet: Occlusion-robust 3d hand mesh estimation network. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (2022) [^52]: Pavlakos, G., Shan, D., Radosavovic, I., Kanazawa, A., Fouhey, D., Malik, J.: Reconstructing hands in 3d with transformers. arXiv preprint arXiv:2312.05251 (2023) [^53]: Potamias, R.A., Ploumpis, S., Moschoglou, S., Triantafyllou, V., Zafeiriou, S.: Handy: Towards a high fidelity 3d hand shape and appearance model. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). pp. 4670–4680 (June 2023) [^54]: Prakash, A., Gupta, A., Gupta, S.: Mitigating perspective distortion-induced shape ambiguity in image crops. arXiv 2312.06594 (2023) [^55]: Ravi, N., Reizenstein, J., Novotny, D., Gordon, T., Lo, W.Y., Johnson, J., Gkioxari, G.: Accelerating 3d deep learning with pytorch3d. arXiv:2007.08501 (2020) [^56]: Rehg, J.M., Kanade, T.: Visual tracking of high dof articulated structures: an application to human hand tracking. In: Proceedings of the European Conference on Computer Vision (ECCV) (1994) [^57]: Rogez, G., Khademi, M., Supančič III, J., Montiel, J.M.M., Ramanan, D.: 3d hand pose detection in egocentric rgb-d images. In: Proceedings of the European Conference on Computer Vision (ECCV) (2014) [^58]: Romero, J., Tzionas, D., Black, M.J.: Embodied hands: Modeling and capturing hands and bodies together. ACM Transactions on Graphics (ToG) (2017) [^59]: Rong, Y., Shiratori, T., Joo, H.: Frankmocap: Fast monocular 3D hand and body motion capture by regression and integration. Proceedings of the IEEE International Conference on Computer Vision Workshops (ICCV Workshops) (2021) [^60]: Sener, F., Chatterjee, D., Shelepov, D., He, K., Singhania, D., Wang, R., Yao, A.: Assembly101: A large-scale multi-view video dataset for understanding procedural activities. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (2022) [^61]: Shan, D., Geng, J., Shu, M., Fouhey, D.F.: Understanding human hands in contact at internet scale. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (2020) ## [^62]: Sharp, T., Keskin, C., Robertson, D., Taylor, J., Shotton, J., Kim, D., Rhemann, C., Leichter, I., Vinnikov, A., Wei, Y., et al.: Accurate, robust, and flexible real-time hand tracking. In: Proceedings of the 33rd annual ACM conference on human factors in computing systems. pp. 3633–3642 (2015) --- [^63]: Simon, T., Joo, H., Matthews, I.A., Sheikh, Y.: Hand keypoint detection in single images using multiview bootstrapping. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (2017) [^64]: Sridhar, S., Mueller, F., Zollhöfer, M., Casas, D., Oulasvirta, A., Theobalt, C.: Real-time joint tracking of a hand manipulating an object from rgb-d input. In: Proceedings of the European Conference on Computer Vision (ECCV) (2016) [^65]: Sridhar, S., Oulasvirta, A., Theobalt, C.: Interactive markerless articulated hand motion tracking using RGB and depth data. In: Proceedings of the IEEE International Conference on Computer Vision (ICCV) (2013) [^66]: Sun, X., Wei, Y., Liang, S., Tang, X., Sun, J.: Cascaded hand pose regression. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (2015) [^67]: Taheri, O., Ghorbani, N., Black, M.J., Tzionas, D.: GRAB: A dataset of whole-body human grasping of objects. In: Proceedings of the European Conference on Computer Vision (ECCV) (2020) [^68]: Tompson, J., Stein, M., Lecun, Y., Perlin, K.: Real-time continuous pose recovery of human hands using convolutional networks. ACM Transactions on Graphics (ToG) 33(5), 1–10 (2014) [^69]: Tulsiani, S., Zhou, T., Efros, A.A., Malik, J.: Multi-view supervision for single-view reconstruction via differentiable ray consistency. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). pp. 2626–2634 (2017) [^70]: Tzionas, D., Gall, J.: 3d object reconstruction from hand-object interactions. In: Proceedings of the IEEE International Conference on Computer Vision (ICCV) (2015) [^71]: Vaswani, A., Shazeer, N.M., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A.N., Kaiser, L., Polosukhin, I.: Attention is all you need. Advances in Neural Information Processing Systems (NeurIPS) (2017) [^72]: Wan, C., Yao, A., Gool, L.V.: Hand pose estimation from local surface normals. In: Proceedings of the European Conference on Computer Vision (ECCV) (2016) [^73]: Yang, L., Li, K., Zhan, X., Wu, F., Xu, A., Liu, L., Lu, C.: Oakink: A large-scale knowledge repository for understanding hand-object interaction. In: Proceedings of the IFFF Conference on Computer Vision and Pattern Recognition (CVPR) (2022) [^74]: Ye, Y., Gupta, A., Tulsiani, S.: What's in your hands? 3D reconstruction of generic objects in hands. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (2022) [^75]: Yifan, W., Doersch, C., Arandjelović, R., Carreira, J., Zisserman, A.: Input-level inductive biases for 3d reconstruction. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (2022) [^76]: Yu, F., Salzmann, M., Fua, P., Rhodin, H.: Pcls: Geometry-aware neural reconstruction of 3d pose with perspective crop layers. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (2021) [^77]: Zhang, X., Li, Q., Mo, H., Zhang, W., Zheng, W.: End-to-end hand mesh recovery from a monocular rgb image. In: ICCV (2019) [^78]: Zimmermann, C., Brox, T.: Learning to estimate 3d hand pose from single RGB images. In: Proceedings of the IEEE International Conference on Computer Vision (ICCV) (2017) [^79]: Zimmermann, C., Ceylan, D., Yang, J., Russell, B.C., Argus, M.J., Brox, T.: Freihand: A dataset for markerless capture of hand pose and shape from single RGB images. In: Proceedings of the IEEE International Conference on Computer Vision (ICCV) (2019)