# 面向未见域的以自我为中心的3D手部姿态估计 维克托·穆哈 $^{1,2}$、迈克尔·雷 $^{3}$、马丁·坎佩尔 $^{1}$ $^{1}$维也纳技术大学计算机视觉实验室 $^{2}$SoftServe公司，波兰克拉科夫；$^{3}$布里斯托大学 {wiktor.mucha, martin.kampel}@tuwien.ac.at， ![Image](images/a69b54dc53defb1112b9ba913d6e1b357b085726637ab0434480040df8bdf39d.jpg)
Figure 1. V-HPOT improves egocentric 3D hand pose estimation in cross-domain scenarios, where a model is trained in source and tested in different target domain. We propose training the model to estimate the z-coordinate in virtual camera space to mitigate overfitting to source domain camera intrinsics. At test time, we optimise predictions using a novel self-supervised loss that enforces 3D spatial consistency, allowing the model to refine depth perception by aligning depth-augmented poses in 3D camera space. This significantly improves absolute 3D pose error (MPJPE) without any labelled data, outperforming existing methods focused solely on 2D improvement.
## 摘要 我们提出了V-HPOT，这是一种用于提升从第一人称视角图像中进行3D手部姿态估计的跨域性能的新方法。最先进的方法在同类域内训练和测试时表现优异，但由于训练数据有限以及深度感知能力不足——即过度拟合特定相机内参——它们难以泛化到新环境。我们的方法通过在虚拟相机空间中估计关键点z坐标来解决这一问题，该坐标会经过焦距和图像尺寸归一化处理，从而实现与相机无关的深度预测。我们进一步利用这种对相机内参的不变性，提出了一种自监督的测试时优化策略，以便在推理阶段优化模型的深度感知能力。具体做法是在预测的手部姿态与经空间尺度变换后的手部姿态之间应用3D一致性损失，从而使模型能够适配目标域的特征。 该方法无需真实标注数据即可实现。在跨域场景中，V-HPOT显著提升了3D手部姿态估计的性能：在H2O数据集上平均姿态误差降低了71%，在AssemblyHands数据集上降低了41%。与最先进的方法相比，尽管V-HPOT所需的数据量仅为$\approx \times 3.5$到$\times 14$，但它在所有数据集上的表现均优于所有单阶段方法，且与两阶段方法的表现不相上下。。 ### 1. 引言 以自我为中心的视觉已成为计算机视觉领域发展迅速的研究方向，Epic-Kitchens [^7]、Ego4D [^12] 和HOT3D [^1] 等数据集推动了这一领域的发展，其应用涵盖辅助技术 [^26] 和机器人技术 [^11]。由于手在以自我为中心的视角中扮演着核心角色，因此准确估计佩戴相机的人的3D手部姿态是一项关键挑战。正确的 --- 3D手部姿态表示能够实现VR/AR应用中的虚拟环境交互，有助于动作识别，也可用于将人类专家的操作技能迁移到现实场景中的机器人上 [^1]。 近期的研究通过两种不同途径来解决以自我为中心的3D手部姿态估计问题。两阶段方法 [^23] [^28] [^33] 首先检测手部区域，再估算关键点，这样就能在无3D标签的情况下，在大型数据集上对检测器进行预训练。不过这种方法存在明显局限：计算开销增大、检测出错时会产生级联式故障，而且由于裁剪范围受限，会丢失手与物体交互中的重要上下文信息 [^6]。单阶段方法 [^6] [^27] [^40] 克服了这些局限：它们能在一次前向传播中直接从完整RGB帧中估算关键点，既能保留场景上下文，又能实现对手和物体的联合推理 [^13] [^17] [^43]，这对于准确捕捉交互场景中的复杂空间关系至关重要。 尽管有这些进展，大多数方法仅能报告同一领域内性能数据 [^6] [^18] [^27] [^28] [^40]，却忽略了未见领域的性能问题——而这对必须在不受控环境中稳健运行的现实应用而言至关重要。模型会过度拟合特定的相机内参和环境，从而导致在新场景中性能下降。一种可能的解决方案是使用更大、更多样化的数据集来训练模型；然而，获取3D姿态标注的成本很高，需要多摄像头设置 [^18] [^28] 或动作捕捉系统 [^1]，这会将数据采集限制在实验室环境中，进而限制了模型对真实世界数据的泛化能力。 针对这些挑战，我们提出了V-HPOT（基于虚拟相机的测试时手部姿态优化），如图1所示，这是一种包含两个关键组件的单阶段方法。首先，我们在虚拟相机（VC）[^2] 空间中而非度量空间中预测z坐标，从而降低深度感知对相机内参的依赖，并实现能够增强不同焦距数据集间泛化能力的深度增强技术。训练期间，我们引入了由DPT-Hybrid [^34] 监督的辅助伪深度预测任务，以提升跨域泛化能力。其次，我们提出了一种新颖的自监督测试时优化（TTO）策略，通过利用3D空间中预测姿态与深度变换后姿态之间的一致性损失来微调特征提取器，从而使模型能够动态适应此前未见的环境。唯有借助我们的相机无关深度表示才能实现这一点，该表示在深度变换下仍能保持一致性，而传统的度量表示则存在尺度-深度歧义问题。 V-HPOT在跨域场景中取得了稳定的性能提升，将平均姿态误差降低了71%， 在跨域场景中，该方法可将平均姿态误差降低71%， 与世界领先的方法相比，我们在H2O [^18] 和AssemblyHands [^28] 数据集上的跨域设置中， 所有评估指标均优于其他单阶段方法。 在跨域环境下优于其他单阶段方法， 在H2O [^18]和AssemblyHands [^28]数据集上进行的全面评估表明—— - 我们将虚拟相机空间应用于手部姿态估计，降低了深度感知对相机内参的依赖，并实现了有效的深度增强。 我们的方法在真实场景下的Epic-Kpts数据集上表现优异 [^33]， - 我们提出了一种测试时优化框架，采用新颖的自监督3D一致性损失来实现3D手部姿态估计，该框架利用了具有内在不变性的虚拟相机空间。它无需任何标注数据，就能使模型在未见域中优化深度感知，具体方式是通过强制3D深度增强姿态之间保持一致。 该方法属于单阶段方案，其性能与两阶段方法相当。 尽管我们的模型训练所用数据量仅为约3.5倍到14倍之多。 我们的主要贡献如下： - 我们将虚拟相机空间引入手部姿态估计任务，从而降低深度感知对相机内参的依赖，实现有效的深度增强。 • 我们提出将伪深度预测作为跨域3D手部姿态估计的辅助任务。 - 我们提出了一种测试时优化框架，该框架采用新颖的自监督3D一致性损失函数来进行3D手部姿态估计；该框架依托内在不变的虚拟相机空间，无需任何标注数据，就能让模型在未见过的领域中对深度感知进行优化，具体是通过强制3D深度增强姿态之间保持对齐来实现的。 • 我们通过在多个数据集领域进行的大量实验，证明了V-HPOT的有效性，取得了显著的跨域性能提升：在RGB H2O数据集上错误率降低了71%，在单色AssemblyHands数据集上降低了41%。 ### 2. 相关工作 以自我为中心的3D手部姿态估计。由于自身遮挡、视野受限以及视角多变，以自我为中心的视觉中的手部姿态估计颇具挑战性。当前的方法可分为两大范式：两阶段方法[^30] [^31] [^33] [^35]首先定位手部区域，再估计姿态。FrankMocap[^35]采用卷积主干网络和HMR风格的[^16]解码器，在2D和3D监督下预测MANO参数。HandOccNet[^30]整合了FPN[^22]主干网络和Transformer模块，用于生成热图中间表示。HaMeR[^31]利用ViT[^9]搭配Transformer解码器。WildHands[^33]针对每个手部裁剪区域结合图像特征和基于内参的位置编码，再回归3D手部姿态。辅助监督信息来自Epic-Kitchens数据集中的手部分割掩码和抓取标签。尽管这些方法效果显著，但会因裁剪操作[^6]引入计算开销，且会丢失关键的互动上下文，同时需要大量数据进行训练。 相比之下，单阶段方法直接从整幅图像中估计手部姿态[^6] [^10] [^18] [^27] [^39] [^40]。Tekin等人[^39]从单张RGB图像中预测3D姿态网格，而Kwon等人[^18]将其扩展到双手场景。基于Transformer的模型也已被探索，Cho等人[^6]专注于逐帧3D重建，Wen等人[^40]则采用序列式方法解决遮挡问题。ArcticNet-SF[^10]结合了卷积模型以提升图像识别性能。 --- 这类方法采用常规主干网络搭配HMR风格的解码器，用于手部与物体姿态估计。SHARP[^27]引入伪深度估计，以分离以自我为中心场景中的手部与物体，利用手臂距离来提升精度。许多此类方法还扩展到了3D物体姿态估计领域，事实证明，对手部与物体的联合推理能够优化两者的重建效果[^13] [^17] [^43]。 尽管已有诸多进展，但大多数研究仍聚焦于受控环境[^6] [^18] [^28] [^39] [^40]，对真实世界的以自我为中心数据的关注有限[^31] [^33]。基于单阶段方法[^6] [^18] [^40]，我们遵循[^33]的思路，在不同传感器的跨域场景中评估3D手部姿态。与[^33]相比，我们的方法提升了单阶段方法的性能，仅需单个训练数据集，将辅助任务数量缩减至一个且引入了全新的辅助任务，还能直接从单张RGB图像中优化深度估计（z坐标）。 姿态估计的测试时优化。测试时优化能够在推理阶段以无监督方式适应测试数据，从而提升模型性能[^15] [^32] [^37]。这种适应过程是实时进行的，既可以通过优化辅助任务来实现[^37]，也可以借助批量归一化层的统计适配等非训练方法被动完成[^19]。姿态估计的测试时适配是通过自训练和自监督任务来实现的。Li等人[^20]利用同一个人的多视角图像，基于初始姿态预测来合成输入图像。Hu等人[^15]则利用初始姿态预测来掩蔽图像区域，并将图像修复作为辅助任务。Hasson等人[^14]采用可微渲染和光流进行弱监督学习，以保证3D手-物体重建的时间一致性；同时[^3]利用关于3D接触先验和碰撞规避的额外知识来优化手-物体对齐效果。 我们的工作与现有方法有所不同：我们专注于3D手部姿态估计，而非仅仅优化2D预测结果[^15] [^20] [^32]。当前的3D手部姿态适配方法要么依赖额外的真实标签数据[^14]，要么需要物体交互线索[^3]，这限制了它们在非交互场景中的应用。相比之下，我们提出了一种用于增强深度感知的新颖自监督机制，从而实现更鲁棒、更具泛化能力的3D手部姿态估计——该机制不依赖于相机内参，也无需额外的真实标签。 手部姿态的自监督机制。测试时优化高度依赖于选择与主要目标相匹配的无监督任务。针对手部姿态估计，存在多种自监督方法。有些方法利用2D姿态估计器生成伪标签[^5] [^44]，或利用2D真实姿态[^4]，通过样本间一致性来优化3D表示。HaMuCo[^44]在训练过程中利用多视角一致性来提升单视角估计精度。TASSN[^4]强制前后视频帧之间保持时间一致性，从而确保从单视角2D标签中得到的3D预测结果稳定。对于单视角、非时序类方法，S2-Hand[^5]通过基于渲染的自监督机制来优化噪声较大的2D标签；Spurr等人[^36]则对相似帧应用基于几何和外观的对比学习，以在2D空间中强制一致性；Yang等人[^41]利用了旋转机制。Lin等人则通过挖掘相似的手部表征来进行对比预训练[^21]。 与以往侧重于预训练的方法不同，我们的工作提出了一种专为测试时优化设计的新颖自监督任务。我们既不依赖伪标签[^5] [^21] [^44]，也不依赖时序线索[^36]或渲染技术[^5]。虽然我们利用相似姿态间的一致性[^4] [^36]，但避免了不适合测试时应用的多帧依赖关系[^4]或数据挖掘机制[^21]。此外，我们超越了基于图像的增强方式[^36]，直接在3D空间中对手部姿态施加变换，以增强3D一致性。 ### 3. 方法 我们的方法引入了两个关键组件来改进以自我为中心的3D手部姿态估计（见图2）。(1) 我们训练模型在虚拟相机空间中估计深度（z坐标），从而使预测不受不同数据集间相机内参差异的影响，同时将伪深度估计作为辅助任务。(2) 我们提出了一种测试时训练流程，通过在推理阶段引入利用虚拟相机空间中各种距离增强的3D一致性损失，来增强模型的适应性，从而让模型能够在完全无监督的情况下学习新领域中的稳健手部姿态估计。 #### 3.1. 3D手部姿态估计网络 我们的以自我为中心的手部姿态估计网络采用单阶段架构。按照常规做法，我们用21个关键点$j \in J$来表示手部的关节位置，表示为$P_{L,R}^{3D}(x, y, z), \in \mathbb{R}^{J \times 3}$，其中L、R分别代表左手或右手，x、y、z表示3D空间中的点j。我们遵循通用做法：通过热图估计x、y坐标，而z坐标则通过回归得到[^27]。 给定输入的RGB帧$I_n^{RGB} \in \mathbb{R}^{3 \times 224 \times 224}$后，我们使用$EfficientNetV2\text{-}S$ [^38]提取特征以生成特征图$F_M$。选择该骨干网络是基于[^25]中的实验结果，在该实验中它于以自我为中心的手部姿态任务上的表现优于其他架构。随后将$F_M$输入到两个独立的上采样器中——每只手对应一个上采样器，以生成2D关键点热图$H_{L,R}$。针对每只手的上采样器最早出现在InterHands[^24]中，这是一项专注于交互手部的研究；由于其在手部交互时的姿态估计效果更佳，这类上采样器在以自我为中心的手部姿态估计领域也变得常见[^6] [^18] [^27] [^40]。每个上采样器由四层带批量归一化和ReLU激活函数的转置卷积层组成，最后一层为逐点卷积。 --- ![Image](images/b1110949118630cec026d9833325a640234665909b92b40d913a3622f24cfcdb.jpg) ![Image](images/7a97630bbb4a04fadcb1afe34acac457536a8c83cb4a16e3898e2b1bf10462b7.jpg)
Figure 2. V-HPOT: We train in source domain to estimate 3D hand pose $P_{L,R}^{3D}$ from an image $I_{n}^{RGB}$ in virtual camera space, with an auxiliary pseudo-depth task $I_{n}^{D}$ supervised by DPT-Hybrid [^34]. At test time, the model predicts an initial pose $P_{L,R}^{\text{init}}$ and applies depth augmentation by scaling $I_{n}^{RGB}$ with $S_{i}$ in virtual camera space, yielding $P_{L,R}^{\rightarrow S}$. A 3D consistency loss between these poses refines the backbone, enhancing final predictions.
最终输出$H_{L,R} \in \mathbb{R}^{J \times 112 \times 112}$代表每个关节的概率分布，这些概率分布会被转换为2D关键点($P_{L,R}^{2D}, \in \mathbb{R}^{J \times 2}$)。深度（z）则通过多层感知机（MLP）($MLP_{L,R}^{Z}$)单独预测，再与$P_{L,R}^{2D}$结合形成2.5D关键点($P_{L,R}^{2.5D}$)。为了获得相机空间中的3D手部姿态，我们应用针孔相机模型（公式1），利用内参K将$P_{L,R}^{2.5D}(x, y, z)$转换为$P_{L,R}^{3D}$。 $$ \mathbf{P}_{L,R,j}^{3D}=z_{j}\cdot K^{-1}\begin{bmatrix}x_{j}\\ y_{j}\\ 1\end{bmatrix},\quad\forall j\in J $$ 此外，手部存在性是通过左右手识别模块$(MLP_{L,R}^{H})$来确定的，该模块可预测图像中每只手存在的概率$(h_L, h_R \in \mathbb{R}^2)$ $I_n^{RGB}$。 #### 3.2. 理解新领域中的深度 引入虚拟相机空间。从像素值估计实际深度需要将2D关键点映射到3D距离，但由于相机内参的差异，这种映射会变得模糊。由于不同数据集的相机内参各不相同，在单一数据集上训练的模型往往会过度拟合特定的深度表示，导致在跨域场景中泛化能力较差，而这些场景中的数据往往由不同传感器采集。 为解决这一问题，我们针对手部姿态估计引入了虚拟相机（VC）的概念[^2]。该方法将度量深度值z转换为统一的虚拟相机空间，记为$z_v$。通过利用已知的相机内参对深度值z进行缩放，即可实现这一转换，从而确保不同数据集中的图像尺寸和焦距保持一致且有效。我们将这些标准化参数分别记为$H_v$和$f_v$，并将其视为超参数。随后，虚拟深度被定义为真实z坐标$z_v = z \cdot \frac{f_v}{f} \frac{H}{H_v}$的转换结果，其中H和f分别代表源图像的高度和焦距。模型会学习预测$\hat{z}_v$，之后再将其缩放回度量化的z值作为输出。此外，借助虚拟相机空间还能实现尺度增强，进而提升2D和3D姿态估计的效果。若没有虚拟相机空间，虽然增强操作能改善2D表示，却会损害3D理解能力[^2]。 训练目标。我们的目标是3D手部姿态估计以及作为辅助任务的伪深度估计。伪深度图的预测由DPT-Hybrid的输出进行监督[^34]。我们通过对所有像素N应用L1损失，来最小化预测深度$\hat{I}^{D}$与参考伪深度$I^{D}$之间的差异： $$ \mathcal{L}_{\mathrm{d}}=\frac{1}{N}\sum_{i=1}^{N}\left|\hat{I}_{i}^{D}-I_{i}^{D}\right| $$ 对于2D手部关键点定位，我们利用预测热图之间的交并比（IoU）损失来对网络进行监督。给定预测热图$\hat{H}$和真实热图H，IoU损失的定义如下： $$ \mathcal{L}_{x y}=1-\frac{\sum_{j=1}^{21}\min(\hat{H}_{j},H_{j})}{\sum_{j=1}^{21}\max(\hat{H}_{j},H_{j})} $$ 对于3D手部姿态估计，我们直接利用L1损失对得到的深度$(z_{v}\text{-coordinate})$进行优化： $$ \mathcal{L}_{z_{v}}=\sum_{j=1}^{21}|\hat{z}_{v,j}-z_{v,j}| $$ 为了预测图像中是否包含左手、右手或双手，我们使用了手性分类模块。 --- 手性预测$\hat{h}$通过交叉熵损失与真实标签h进行监督： $$ \mathcal{L}_{h}=-\sum_{c\in\{left,right\}}h_{c}\log\hat{h}_{c} $$ 其中h是一个独热编码的真实向量，用于指示手是左手还是右手。最终的目标函数为： $$ \mathcal{L}_{t r a i n}=\lambda_{\mathrm{d}}\mathcal{L}_{\mathrm{d}}+\lambda_{x y}\mathcal{L}_{x y}+\lambda_{z_{v}}\mathcal{L}_{z_{v}}+\lambda_{h}\mathcal{L}_{h} $$ 其中$\lambda_{d}, \lambda_{xy}, \lambda_{z_v}, \lambda_h$是控制各项相对重要性的超参数权重。 在测试时推广到新领域。我们提出了一种完全自监督的测试时优化流程，无需目标域标注即可使手部姿态估计适配未见过的环境。这种推理过程中的自适应之所以可行，得益于我们的虚拟相机转换技术，它创造了相机内参统一的表示空间。 具体而言，我们引入了一致性损失以提升2D和深度的泛化能力。模型首先在虚拟相机空间中推断3D手部姿态，得到初始预测$\mathbf{P}_{L,R}^{init}$。接着我们应用$n = 2$独立的随机缩放因子$S_i \sim \mathcal{U}(1.0, 1.25)$来增强深度，生成n个模拟相机距离变化的变换后姿态$\mathbf{P}_{L,R}^{→S_i}$。这些变换后的姿态随后会被再次输入网络，产生新的预测结果。由于关节间的空间关系在深度变换后应保持一致，我们通过L1损失函数来确保这种3D一致性： $$ \mathcal{L}_{\mathrm{t e s t-t i m e}}=\sum_{i=1}^{n}\left\|S_{i}\cdot\mathbf{P}_{L,R}^{\mathrm{i n i t}}-\mathbf{P}_{L,R}^{\rightarrow S_{i}}\right\|_{1} $$ 这种一致性损失在保持手部姿态头网络权重不变的情况下优化了特征提取器的权重。该过程利用测试数据的前$F_{N}$帧在线进行。这一选择确保了快速适应与避免过拟合之间的平衡，使模型能够适应特定领域的变化，同时不损害其泛化能力。实验观察表明，使用较大比例的数据会导致收益递减，而较小比例则会导致适应不足。最初，模型在源数据集上训练并完成一次权重初始化。测试期间，利用$L_{test-time}$迭代优化权重，随后便以相同方式在各个领域进行预测。处理完前$F_{N}$帧数据后，优化过程被禁用，模型继续运行推理，不再进行进一步更新。 ### 4. 实验 我们进行了跨域评估：在源数据集上训练，在来自不同领域的目标数据集上测试。 #### 4.1. 实验方法 数据集。本研究采用了四个以第一人称视角拍摄的数据集：三个来自实验室环境，一个为野外采集数据。对于实验室数据集，我们使用：(1) $H_{2}O$ [^18]，它提供了多视角RGB-D录像，包含每只手21个关键点的标注、6D物体姿态信息以及场景元数据（训练集55K帧，测试集23K帧）；(2) AssemblyHands [^28]，一个大规模单色数据集（训练集380K帧，验证集32K帧）；以及(3) HOT3D [^1]，包含19名受试者与33个物体互动的多视角RGB视频流（训练集170K帧，测试集42K帧）。对于野外评估，我们使用Epic-Kpts [^33]，它是Epic-Kitchens [^7]的一个子集，包含从VISOR划分中采样的4K图像中21个手部关节的2D标注[^8]。针对该数据集，我们将3D预测结果投影到2D空间以进行评估。实验所使用的具体数据集组合将在后续章节中详细说明。 评估指标。我们采用标准的手部姿态估计指标：平均关节位置误差（MPJPE），用于衡量21个手部关节处预测3D关键点与真实3D关键点之间的欧几里得距离（单位：毫米）；基于根关节对齐的MPJPE（MPJPE-RA）（单位：毫米），通过减去根关节坐标来对姿态进行对齐；平均相对根位置误差（MRRPE）（单位：毫米），用于量化左右手根关节之间的距离，从而反映绝对姿态信息；以及真实2D关键点与$224 \times 224$输入图像上预测的3D关键点的2D投影之间的L2误差（单位：像素）。所有3D指标均在相机空间中计算。 实验设置。包括消融研究在内的每次运行均重复三次，以减轻随机网络初始化的影响。为了便于与相关研究进行比较[^6] [^31] [^33] [^35]，模型以HOT3D[^1]作为源数据集进行训练，并在H2O数据集[^18]和AssemblyHands[^28]上评估性能。补充材料A.2中展示了在所有场景下均有改进的跨域实验结果。优化过程采用随机梯度下降（SGD）算法，学习率为$l_r = 0.1$，动量m=0.9。从第25个epoch开始，每五个epoch学习率会按$\alpha = 0.5$的倍数逐步降低，训练过程在第50个epoch结束。训练损失$\mathcal{L}_{train}$参数的设置遵循[^27]中的描述。对于虚拟相机参数，我们选取恒定的$H_v = 720$和$f_v = 512$，具体设置参照[^2]。数据增强方法包括水平翻转、缩放以及模糊化和去像素化等基于外观的变换。批量大小设定为$b_s = 32$。模型权重根据验证集中观察到的最低MPJPE值进行保存。 测试期间，我们使用SGD算法优化$\mathcal{L}_{\text{test-time}}$，相关参数为$l_r = 0.3$和$m = 0.2$。实验中，我们选用占测试数据5%的$F_N$作为优化样本；为了与其他方法进行比较，我们采用固定数量（$H_2O$的5%——即960帧）来模拟实际部署场景。当强制对$n = 2$个偏移姿态施加一致性损失时，模型表现最佳。 --- #### 4.2. 实验结果 我们针对V-HPOT的关键组件：VC、TTO、辅助任务以及TTO损失进行了消融实验。最后，我们将V-HPOT与跨域场景下的现有最优方法进行了比较。 虚拟相机与测试时优化。我们通过消融实验评估了VC方法和TTO的影响： 1. base：不进行VC变换的训练与测试 2. VC：训练阶段应用VC变换以提升相机内参鲁棒性，但不采用TTO 3. TTO：引入TTO机制，但不使用VC 4. VC+TTO：同时整合VC变换与TTO机制，从而实现与内参无关的深度学习及自适应推理（即完整的V-HPOT架构） 表1中的结果显示，V-HPOT（VC+TTO）在所有指标上均表现出更优的性能：在H2O数据集上MPJPE降低了70%，在AssemblyHands（AsHa）数据集上降低了41%。VC与TTO的结合通过解决关键局限性来增强未知域中的深度感知能力：单独使用TTO会导致对源相机内参的过拟合，而单独使用VC则缺乏权重调整的反馈机制。两个目标数据集在我们的最佳方案（VC+TTO）下3D误差均有所改善，但改善程度因数据集而异。AssemblyHands[^28]的2D L2误差降低更为显著，这可能是因为其单色特性相比源RGB数据集（HOT3D）具有更大的改进潜力。Epic-Kpts的L2误差降低了30%（从12.9降至8.4）。图3展示了目标数据集上特定坐标的误差（x、y坐标为L2误差，z坐标为L1误差），对比了基础模型与V-HPOT模型的表现。结果表明，即使在初始预测误差较大的情况下，图像中各坐标的误差也均得到持续改善。 辅助伪深度估计。我们在表2中评估了其对训练的影响，具体是将V-HPOT与V-HPOT-$D_{tr}$进行对比——后者在训练时排除了辅助伪深度估计任务（$D_{tr}$）；同时还将V-HPOT与V-HPOT(DA)对比，其中我们使用DepthAnything [^42]而非DPT-Hybrid。结果表明，加入$D_{tr}$后，所有指标和数据集上的跨域性能均得到提升。V-HPOT(DA)与V-HPOT的性能存在差异，因此我们选择DPT-Hybrid，因为它在绝对3D误差上表现更优，且推理速度更快（在RTX3090上1000次测试的平均时间为26.8毫秒，而V-HPOT为39.8毫秒）。定性观察显示，DepthAnything能估算出更精细的背景细节，而手部区域的估算结果则保持一致（详见补充材料A.8）。 测试时优化损失。我们通过消融实验评估了所设计的TTO损失$\mathcal{L}_{\text{test-time}}$： 1. base：不进行测试时优化 2. $\mathcal{L}_{\mathrm{xy}}$：仅针对2D坐标，计算$\mathrm{P}_{L,R}^{\mathrm{init}}$与增强姿态$\mathrm{P}_{L,R}^{\rightarrow S_{1}}$之间的一致性损失，强制图像空间中的关键点对齐，不考虑深度因素。 3. $\mathcal{L}_z$：仅针对z轴，计算$\mathrm{P}_{L,R}^{\mathrm{init}}$与$\mathrm{P}_{L,R}^{\rightarrow S_1}$之间的一致性损失。 4. $\mathcal{L}_{\mathrm{xyz}}$：结合所有x、y、z坐标，计算$\mathrm{P}_{L,R}^{\mathrm{init}}, \mathrm{P}_{L,R}^{\rightarrow S_{1}}$姿态之间的一致性损失。
Table 1. Ablation study presenting impact of proposed virtual camera transformation and TTO strategy. We observe an improvement of V-HPOT (VC+TTO) over baseline in every metric.
MPJPE $\downarrow$MPJPE-RA $\downarrow$MRRPE $\downarrow$L2 $\downarrow$
$H_{2}O$AsHa$H_{2}O$AsHa$H_{2}O$AsHa$H_{2}O$AsHa
base179.6297.752.7105.3126.2301.87.480.1
VC146.1302.363.9105.876.9288.27.284.0
TTO209.6261.859.7105.9139.6343.06.564.2
VC+TTO53.3174.551.190.654.1253.25.836.9
Table 2. Impact of auxiliary pseudo-depth estimation $D_{tr}$
MPJPE $\downarrow$MPJPE-RA $\downarrow$MRRPE $\downarrow$L2 $\downarrow$
H2OAsHaH2OAsHaH2OAsHaH2OAsHa
V-HPOT - $D_{tr}$60.6237.756.198.178.9310.15.956.1
V-HPOT(DA)67.2200.944.186.177.8158.65.643.9
V-HPOT53.3174.551.190.654.1253.25.836.9
![Image](images/52a1a0d2321e6ee7e9815ba95e59be02072ce5e19863bf201367824c831e5d9b.jpg) ![Image](images/3fdbaf5387d4a8e2f23cef4f6ba7919dcb88c19279936aa09251eac9e11601af.jpg)
Figure 3. Visualisation of L2 loss for x, y and L1 loss for the z coordinate over test samples in cross-domain scenarios. The dashed line represents 5% of data where V-HPOT stops optimising. Continuous improvement is observed for most samples.
5. $\mathcal{L}_{\mathrm{xyz}}^{n=2}$：我们将一致性损失的适用范围从一个增强姿态$(n=1)$扩展到两个增强姿态$(n=2)$（$P_{L,R}^{\mathrm{init}}, P_{L,R}^{\rightarrow S_{1}}, P_{L,R}^{\rightarrow S_{2}}$）。 6. $\mathcal{L}_{\mathrm{xyz}}^{n=2}+D_{t}$：在第5种方案基础上加入伪深度估计。 表3中的结果表明，加入$\mathcal{L}_{xy}$后，两个目标数据集上的2D估算效果均得到改善。然而，尽管2D误差降低，但在$H_{2}O$ [^18]中MPJPE反而升高，而在AssemblyHands [^28]中则有所降低，这说明仅靠2D性能的改善并不足以保证更好的3D估算效果。应用$\mathcal{L}_{z}$后，两个数据集上的MPJPE和2D L2误差均更低。将两种损失结合得到的$\mathcal{L}_{xyz}$方案，进一步降低了$H_{2}O$ [^18]中的MPJPE和L2误差，同时在AssemblyHands [^28]上的表现也优于基准模型。 $\mathcal{L}_{\mathrm{xyz}}^{n=2}$变体在两个数据集上均取得了最佳结果，这证明了我们提出的带多视图一致性约束的虚拟相机方法的有效性。 ---
Table 3. TTO strategies impact. Proposed depth-augmented 3D pose consistency loss achieves best results.
MPJPE $\downarrow$MPJPE-RA $\downarrow$MRRPE $\downarrow$L2 $\downarrow$
H2OAsHaH2OAsHaH2OAsHaH2OAsHa
base179.6297.752.7105.3126.2301.87.480.1
$\mathcal{L}_{xy}$226177.579.493.395.88271.26.240.1
$\mathcal{L}_{z}$54.7253.249.1124.562.5338.76.164.7
$\mathcal{L}_{xyz}$53.99190.950.994.457.4253.95.943.6
$\mathcal{L}_{xyz}^{n=2}$53.3174.551.190.654.1253.25.836.9
$\mathcal{L}_{xyz}^{n=2} + D_t$56.5175.352.791.554.2254.75.936.7
值得注意的是，在测试时加入伪深度估计$(L_{\mathrm{xyz}}^{n=2}+D_{t})$会略微增加姿态误差，因此我们将它从TTO流程中排除，仅将其用于训练阶段。 与其他TTO方法的对比。由于手部姿态估算领域TTO方法的核心差异在于自监督任务的设定，我们构建了统一的TTO流程，并将V-HPOT与引入2D一致性损失的[^36]、采用图像修复技术的[^15]进行对比，基准模型则排除了$D_{tr}$。我们的对比排除了需要物体信息、真实标签或多视图输入的方法[^3]、[^14]以及[^20]。V-HPOT的独特之处在于它专注于3D理解，能够同时降低2D和3D误差，而竞争方法仅能改善2D误差（见表4）。虽然[^36]也依赖一致性损失，但仅限于2D关键点变换层面。V-HPOT的创新之处在于它强制施加3D空间一致性约束，使其成为首个能有效处理单摄像头3D手部姿态估算且性能优于[^15]和[^36]的方法。 与基础模型 DINOv2 的比较。在表 5 中，我们将 DINOv2 [^29] 的跨域泛化能力与冻结权重（D2）、微调最后 4 层（D2-FT）以及作为 V-HPOT 骨干网络（V-HPOT-D2）的情况进行了比较。结果表明，D2 和 D2-FT 的跨域泛化能力在我们的任务中不足。作为骨干网络时，其性能与 EfficientNetv2s 相当但更低，同时规模更大（86M vs. 21M 参数），且推理 $\approx5\times$ 更慢（在 RTX3090 上每批次 1000 次试验的平均值为 109.1 vs. 22.8ms）。 #### 4.3. 与现有最优方法的比较 我们在跨域场景下将我们的方法与其它以眼为中心的手部3D姿态估计方法进行比较，采用MPJPE-RA指标衡量3D姿态精度，采用MRRPE指标衡量绝对3D误差，具体遵循相关规范[^33]。我们的方法在所有场景下均优于其他单阶段方法，包括H2OTR[^6]和ArcticNet-SF[^33]，即便我们的训练数据量更少（见表6），其中就包括在野外场景下的Epic-Kpts数据集[^33]。 将V-HPOT与两阶段方法直接比较时，我们的方法会处于劣势，主要原因有三点：（1）两阶段方法采用的是经过训练的手部检测器
Table 4. Comparison of different TTO/self-supervised strategies.
MPJPE $\downarrow$MPJPE-RA $\downarrow$MRRPE $\downarrow$L2 $\downarrow$
H2OAsHaH2OAsHaH2OAsHaH2OAsHa
base139.1329.253.2112.6111.1463.38.088.3
PeCLR [^36]106.1384.356.0111.595.9448.17.457.8
MeTTA [^15]142.2349.953.3108.5112.3413.97.886.1
V-HPOT53.3174.551.190.654.1253.25.836.9
Table 5. Foundation model DINOv2 as a backbone in frozen and fine-tuned setup, and with our V-HPOT TTO pipeline.
MPJPE $\downarrow$MPJPE-RA $\downarrow$MRRPE $\downarrow$L2 $\downarrow$
$H_{2}O$AsHa$H_{2}O$AsHa$H_{2}O$AsHa$H_{2}O$AsHa
D2226.7259.778.8151.1160.7468.632.848.7
D2-FT185.7249.858.1132.1127.8426.27.945.8
V-HPOT-D259.4191.258.093.264.1221.87.544.3
V-HPOT53.3174.551.190.654.1253.25.836.9
我们在规模庞大且种类繁多的数据集上进行训练，而我们却仅依赖有限的以自我为中心的数据；(2) 它们处理高分辨率的手部图像裁剪，而我们则是在$224\times224$像素分辨率下处理整个场景，其中手部仅占极小区域；以及(3) 它们利用更大的训练数据集。尽管存在这些劣势，V-HPOT在全部数据集上的表现仍优于FrankMocap，且其训练所用数据量比后者少$\approx4$。在MRRPE（绝对3D误差）指标上，我们在两个数据集上的表现超越了HaMer，而训练数据量却比其少$\approx14$；在H2O数据集上，我们的误差仅比WildHands多5毫米，而WildHands所用的训练数据量却比我们多$\approx3.5$。最值得关注的是，在Epic-Kpts数据集上，我们的2D L2误差仅比WildHands落后1.2像素，尽管我们采用的是整幅场景的处理方式，而对方则专注于手部图像裁剪；这一结果充分体现了VC以及我们的TTO在提升跨域手部姿态估计性能方面的强大能力。 #### 4.4. 定性结果 我们在图4中展示了使用与不使用V-HPOT时的定性比较结果，包括二维姿态投影和对应的三维姿态。图像(a–d)体现了V-HPOT带来的改进效果，而(e)则显示了V-HPOT的负面影响。在H2O数据集[^18]中，定量误差低于AssemblyHands数据集[^28]，这一差异也反映在定性结果中。在H2O数据集中，当受试者与物体互动时，V-HPOT的表现良好，其中手腕定位方面的改进最为显著。我们发现，在两个数据集中均存在这样的失败情况：当手部靠近或直接朝向摄像头移动时（见图4-e）。这种近距离摄像场景在专注于物体操作的典型自中心数据集中属于异常情况，因此需要对数据采集方式进行改进。此外，AssemblyHands数据集中的失真现象更为严重，导致V-HPOT更频繁地出现失效情况（见图4-e）；这一问题可通过专门的抗失真数据增强技术，或对不同数据集的视野范围进行归一化处理来解决。 ---
Table 6. Comparison of state-of-the-art egocentric hand pose models in cross-domain settings. The table indicates whether a model follows a single-stage approach, the number of training domains and images, where the number in brackets for [^10] [^33] relates to the model tested on AssemblyHands. MPJPE-RA and MRRPE are reported in millimetres. $*$ means results are referenced from [^33].
MethodSingle StageT. DomainsT. Img$H_{{2}}O$AssemblyEpic-Kps
MPJPE-RAMRRPEMPJPE-RAMRRPE$L_{{2}}$
FrankMocap [^35]✗6675K58.51-97.59-13.33
HaMeR [^31]✗112.7M23.82147.8745.49334.524.56
WildHands [^33]✗3627K(267K)31.0849.4980.40148.127.20
ArcticNet-SF [^10] $^{{*}}$✓3627K(267K)83.84325.55110.76326.9435.02
$H_{{2}}O$TR [^6]✓155K115.16418.59137.25543.2814.46
SHARP [^27]✓1180K52.4098.08103.84282.2114.41
V-HPOT (Ours)✓1180K51.1154.0792.09252.858.45
![Image](images/3b17ab3643c53c828431da1e0d934a142976498ef8ddd8a2e398b91f7afe24db.jpg)
Figure 4. Qualitative results of our method in 2D and 3D space. Green skeletons represent the ground truth hand pose, red estimations without V-HPOT and blue estimations with V-HPOT. Four examples from the left (a-d) show that V-HPOT improves 3D pose estimation, while two examples from the right side (e) present a negative case with an increase of error.
### 5. 结论 我们提出了V-HPOT，这是一种用于中心视角3D手部姿态估计的新方法，旨在解决跨域泛化难题。该方法有两项关键创新：（1）虚拟相机变换技术，可将姿态估计与相机特定的内参分离，从而增强深度表征学习；（2）自监督的TTO框架，利用深度增强预测之间的一致性约束。我们的TTO策略是首个专门针对手部姿态估计中深度理解问题的方案，它能在目标数据的初始样本推理阶段持续更新权重。与基础模型（尤其是DINOv2）的比较结果，证明了开展像V-HPOT这样的专门跨域手部姿态研究的必要性。通过在不同数据集上的测试，V-HPOT的有效性得到了验证：在H2O数据集上，3D绝对误差（MPJPE和MRRPE）降低了70%；在AssemblyHands数据集上则降低了41%。尽管后者存在不同的场景、传感器以及图像模态（单色与RGB）等域偏移问题。在跨域中心视角手部姿态估计任务中，V-HPOT的表现优于最先进的单阶段方法；即便使用的训练样本数量比现有方法少$\approx \times 3.5 - \times 14$，其性能仍能与两阶段方法相媲美。该模型在真实世界基准EpicKpts上的表现也十分出色，L2误差降低了30%。这一点尤为重要，因为由于标注流程的限制，大多数3D手部姿态数据集都是在实验室环境中采集的。定性分析表明，即使在复杂的物体操作任务中，V-HPOT也能生成符合解剖学原理的手部估计结果。这一切的实现无需依赖额外的大规模预训练、数据集或标签，这证实了V-HPOT在理解跨域单摄像头中心视角3D手部姿态方面迈出了重要一步。 --- 致谢。本研究得到了VisuaAL ITN H2020项目（授予协议号861091）以及iMars项目MSCA（授予协议号101182996）的支持。 ## 参考文献 [^1]: Prithviraj Banerjee, Sindi Shkodrani, Pierre Moulon, Shreyas Hampali, Shangchen Han, Fan Zhang, Linguang Zhang, Jade Fountain, Edward Miller, Selen Basol, et al. HOT3D: Hand and Object Tracking in 3D from Egocentric Multi-View Videos. In Proceedings of the Computer Vision and Pattern Recognition Conference, pages 7061–7071, 2025. 1, 2, 5 [^2]: Garrick Brazil, Abhinav Kumar, Julian Straub, Nikhila Ravi, Justin Johnson, and Georgia Gkioxari. OMNI3D: A Large Benchmark and Model for 3D Object Detection in the Wild. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 13154–13164, 2023. 2, 4, 5 [^3]: Zhe Cao, Ilija Radosavovic, Angjoo Kanazawa, and Jitendra Malik. Reconstructing Hand-Object Interactions in the Wild. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 12417–12426, 2021. 3, 7 [^4]: Liangjian Chen, Shih-Yao Lin, Yusheng Xie, Yen-Yu Lin, and Xiaohui Xie. Temporal-Aware Self-Supervised Learning for 3D Hand Pose and Mesh Estimation in Videos. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, pages 1050–1059, 2021. 3 [^5]: Yujin Chen, Zhigang Tu, Di Kang, Linchao Bao, Ying Zhang, Xuefei Zhe, Ruizhi Chen, and Junsong Yuan. Model-based 3D Hand Reconstruction via Self-Supervised Learning. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 10451–10460, 2021. 3 [^6]: Hoseong Cho, Chanwoo Kim, Jihyeon Kim, Seongyeong Lee, Elkhan Ismayilzada, and Seungryul Baek. Transformer-Based Unified Recognition of Two Hands Manipulating Objects. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 4769–4778, 2023. 2, 3, 5, 7, 8 [^7]: Dima Damen, Hazel Doughty, Giovanni Maria Farinella, Sanja Fidler, Antonino Furnari, Evangelos Kazakos, Davide Moltisanti, Jonathan Munro, Toby Perrett, Will Price, and Michael Wray. Scaling Egocentric Vision: The EPICKITCHENS Dataset. In European Conference on Computer Vision (ECCV), 2018. 1, 5 [^8]: Ahmad Darkhalil, Dandan Shan, Bin Zhu, Jian Ma, Amlan Kar, Richard Higgins, Sanja Fidler, David Fouhey, and Dima Damen. EPIC-KITCHENS VISOR Benchmark: Video Segmentations and Object Relations. In Proceedings of the Neural Information Processing Systems (NeurIPS) Track on Datasets and Benchmarks, 2022. 5 [^9]: Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, Jakob Uszkoreit, and Neil Houlsby. An Image is Worth 16x16 Words: Transformers for Image Recognition at 尺度。载于国际学习表征会议论文集，2021年。2 [^10]: Zicong Fan, Omid Taheri, Dimitrios Tzionas, Muhammed Kocabas, Manuel Kaufmann, Michael J Black, and Otmar Hilliges. ARCTIC: A Dataset for Dexterous Bimanual HandObject Manipulation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 12943–12954, 2023. 2, 8 [^11]: Irving Fang, Yuzhong Chen, Yifan Wang, Jianghan Zhang, Qiushi Zhang, Jiali Xu, Xibo He, Weibo Gao, Hao Su, Yiming Li, et al. EgoPAT3Dv2: Predicting 3D Action Target from 2D Egocentric Vision for Human-Robot Interaction. In 2024 IEEE International Conference on Robotics and Automation (ICRA), pages 3036–3043. IEEE, 2024. 1 [^12]: Kristen Grauman, Andrew Westbury, Eugene Byrne, Zachary Chavis, Antonino Furnari, Rohit Girdhar, Jackson Hamburger, Hao Jiang, Miao Liu, Xingyu Liu, et al. Ego4D: Around the World in 3,000 Hours of Egocentric Video. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 18995–19012, 2022. [^13]: Yana Hasson, Gul Varol, Dimitrios Tzionas, Igor Kalevatykh, Michael J Black, Ivan Laptev, and Cordelia Schmid. Learning joint reconstruction of hands and manipulated objects. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 11807–11816, 2019. 2, 3 [^14]: Yana Hasson, Bugra Tekin, Federica Bogo, Ivan Laptev, Marc Pollefeys, and Cordelia Schmid. Leveraging Photometric Consistency over Time for Sparsely Supervised Hand-Object Reconstruction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 571–580, 2020. 3, 7 [^15]: Shengxiang Hu, Huaijiang Sun, Bin Li, Dong Wei, Weiqing Li, and Jianfeng Lu. Fast Adaptation for Human Pose Estimation via Meta-Optimization. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 1792–1801, 2024. 3, 7 [^16]: Angjoo Kanazawa, Shubham Tulsiani, Alexei A Efros, and Jitendra Malik. Learning Category-Specific Mesh Reconstruction from Image Collections. In Proceedings of the European Conference on Computer Vision (ECCV), pages 371–386, 2018. 2 [^17]: Korrawe Karunratanakul, Jinlong Yang, Yan Zhang, Michael J Black, Krikamol Muandet, and Siyu Tang. Grasping Field: Learning Implicit Representations for Human Grasps. In 2020 International Conference on 3D Vision (3DV), pages 333–344. IEEE, 2020. 2, 3 [^18]: Taein Kwon, Bugra Tekin, Jan Stühmer, Federica Bogo, and Marc Pollefeys. H2O: Two Hands Manipulating Objects for First Person Interaction Recognition. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), pages 10138–10148, 2021. 2, 3, 5, 6, 7 [^19]: Yanghao Li, Naiyan Wang, Jianping Shi, Jiaying Liu, and Xiaodi Hou. Revisiting Batch Normalization For Practical Domain Adaptation. arXiv preprint arXiv:1603.04779, 2016. 3 ## [^20]: Yizhuo Li, Miao Hao, Zonglin Di, Nitesh Bharadwaj Gundavarapu, and Xiaolong Wang. Test-Time Personalization --- 基于Transformer的人体姿态估计。神经信息处理系统进展，第34卷：2583–2597页，2021年。3, 7 [^21]: Nie Lin, Takehiko Ohkawa, Yifei Huang, Mingfang Zhang, Minjie Cai, Ming Li, Ryosuke Furuta, and Yoichi Sato. SiM-Hand: Mining Similar Hands for Large-Scale 3D Hand Pose Pre-training. In The Thirteenth International Conference on Learning Representations, 2025. 3 [^22]: Tsung-Yi Lin, Piotr Dollár, Ross Girshick, Kaiming He, Bharath Hariharan, and Serge Belongie. Feature Pyramid Networks for Object Detection. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 2117–2125, 2017. 2 [^23]: Shaowei Liu, Hanwen Jiang, Jiarui Xu, Sifei Liu, and Xiaolong Wang. Semi-Supervised 3D Hand-Object Poses Estimation with Interactions in Time. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 14687–14697, 2021. 2 [^24]: Gyeongsik Moon, Shoou-I Yu, He Wen, Takaaki Shiratori, and Kyoung Mu Lee. InterHand2.6M: A Dataset and Baseline for 3D Interacting Hand Pose Estimation from a Single RGB Image. In European Conference on Computer Vision, pages 548–564. Springer, 2020. 3 [^25]: Wiktor Mucha and Martin Kampel. In My Perspective, in My Hands: Accurate Egocentric 2D Hand Pose and Action Recognition. In 2024 IEEE 18th International Conference on Automatic Face and Gesture Recognition (FG), pages 1–9, 2024. 3 [^26]: Wiktor Mucha, Florin Cuconasu, Naome A. Etori, Valia Kalokyri, and Giovanni Trappolini. TEXT2TASTE: A Versatile Egocentric Vision System for Intelligent Reading Assistance Using Large Language Model. In Computers Helping People with Special Needs, pages 285–291, Cham, 2024. Springer Nature Switzerland. 1 [^27]: Wiktor Mucha, Michael Wray, and Martin Kampel. SHARP: Segmentation of Hands and Arms by Range Using Pseudo-depth for Enhanced Egocentric 3D Hand Pose Estimation and Action Recognition. In International Conference on Pattern Recognition, pages 178–193. Springer, 2025. 2, 3, 5, 8 [^28]: Takehiko Ohkawa, Kun He, Fadime Sener, Tomas Hodan, Luan Tran, and Cem Keskin. AssemblyHands: Towards Egocentric Activity Understanding via 3D Hand Pose Estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 12999–13008, 2023. 2, 3, 5, 6, 7 [^29]: Maxime Oquab, Timothée Darcet, Théo Moutakanni, Huy Vo, Marc Szafraniec, Vasil Khalidov, Pierre Fernandez, Daniel Haziza, Francisco Massa, Alaaeldin El-Nouby, et al. DINOv2: Learning Robust Visual Features without Supervision. Transactions on Machine Learning Research, 2024. 7 [^30]: JoonKyu Park, Yeonguk Oh, Gyeongsik Moon, Hongsuk Choi, and Kyoung Mu Lee. HandOccNet: Occlusion-Robust 3D Hand Mesh Estimation Network. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 1496–1505, 2022. 2 [^31]: Georgios Pavlakos, Dandan Shan, Ilija Radosavovic, Angjoo Kanazawa, David Fouhey, and Jitendra Malik. Reconstruct- 利用Transformer进行3D手部建模。载于IEEE/CVF计算机视觉与模式识别会议论文集，第9826–9836页，2024年。2, 3, 5, 8 [^32]: Qucheng Peng, Ce Zheng, and Chen Chen. Source-free Domain Adaptive Human Pose Estimation. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 4826–4836, 2023. 3 [^33]: Aditya Prakash, Ruisen Tu, Matthew Chang, and Saurabh Gupta. 3D Hand Pose Estimation in Everyday Egocentric Images. In European Conference on Computer Vision, pages 183–202. Springer, 2025. 2, 3, 5, 7, 8 [^34]: René Ranftl, Alexey Bochkovskiy, and Vladlen Koltun. Vision Transformers for Dense Prediction. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 12179–12188, 2021. 2, 4 [^35]: Yu Rong, Takaaki Shiratori, and Hanbyul Joo. FrankMocap: A Monocular 3D Whole-Body Pose Estimation System via Regression and Integration. In IEEE International Conference on Computer Vision Workshops, 2021. 2, 5, 8 [^36]: Adrian Spurr, Aneesh Dahiya, Xi Wang, Xucong Zhang, and Otmar Hilliges. Self-Supervised 3D Hand Pose Estimation from monocular RGB via Contrastive Learning. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 11230–11239, 2021. 3, 7 [^37]: Yu Sun, Xiaolong Wang, Zhuang Liu, John Miller, Alexei Efros, and Moritz Hardt. Test-Time Training with Self-Supervision for Generalization under Distribution Shifts. In International Conference on Machine Learning, pages 9229–9248. PMLR, 2020. 3 [^38]: Mingxing Tan and Quoc Le. EfficientNetV2: Smaller Models and Faster Training. In International Conference on Machine Learning, pages 10096–10106. PMLR, 2021. 3 [^39]: Bugra Tekin, Federica Bogo, and Marc Pollefeys. H+O: Unified Egocentric Recognition of 3D Hand-object Poses and Interactions. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 4511–4520, 2019. 2, 3 [^40]: Yilin Wen, Hao Pan, Lei Yang, Jia Pan, Taku Komura, and Wenping Wang. Hierarchical Temporal Transformer for 3D Hand Pose Estimation and Action Recognition from Ego-centric RGB Videos. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 21243–21253, 2023. 2, 3 [^41]: Linlin Yang, Shicheng Chen, and Angela Yao. Semi-Supervised Hand Pose Estimation With Consistency. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 11364–11373, 2021. 3 [^42]: Lihe Yang, Bingyi Kang, Zilong Huang, Xiaogang Xu, Jiashi Feng, and Hengshuang Zhao. Depth Anything: Unleashing the Power of Large-Scale Unlabeled Data. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 10371–10381, 2024. 6 ## [^43]: Yufei Ye, Abhinav Gupta, and Shubham Tulsiani. What's in your hands? 3D Reconstruction of Generic Objects in Hands. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 3895–3905, 2022. 2, 3 --- [^44]: Xiaozheng Zheng, Chao Wen, Zhou Xue, Pengfei Ren, and Jingyu Wang. HaMuCo: Hand Pose Estimation via Multiview Collaborative Self-Supervised Learning. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 20763–20773, 2023. 3