# 手部可见性检测器：针对手部的逐关节可见性估计 Ryosei Hara$^{1,2}$、Masashi Hatano$^{4}$、Rintaro Yanagi$^{2}$、Atsushi Hashimoto$^{3}$、Takuma Yagi$^{2}$、Mariko Isogawa$^{1,2}$ $^{1}$庆应义塾大学、$^{2}$产业技术综合研究所（AIST）、$^{3}$欧姆龙SINIC X公司、$^{4}$东京大学 ## 摘要手部姿态估计（HPE）是AR/VR和机器人技术等各类应用中的基础技术。在这些应用中，图像中每个手部关节的可见性对于评估遮挡情况下的估计结果可靠性至关重要。然而，大多数现有的HPE方法仅输出关节位置，并未明确指示其可见性。尽管部分方法考虑了遮挡或可见性问题，但可见性估计主要被用作提升姿态估计精度的辅助信号。据我们所知，逐关节手部可见性估计尚未作为独立任务得到系统性研究。在本研究中，我们提出了手部可见性检测器——一种用于估计单个手部关节可见性的模型，并首次对可见性估计这一独立任务展开了系统性探究。我们发现，以在大规模数据上预训练的HPE模型为骨干网络，能够在该任务中取得优异性能。我们进一步验证了手部可见性检测器在下游任务中的应用价值：通过2D关键点多视图三角测量实现3D手部姿态标注，结果表明基于可见性加权的三角测量可降低重投影误差。我们的方法已打包为可直接使用的软件包，相关代码和演示可在查看。 ### 1. 引言手部姿态在AR/VR、人机交互及机器人技术等多个领域发挥着重要作用[^24]。借助深度学习技术，基于图像的手部姿态估计取得了显著进展；受视觉Transformer[^5]以及训练数据规模扩大的推动[^28] [^29]，近期已经出现了即便从单目图像中也能实现高精度估计的大规模预训练模型。然而，大多数现有的HPE方法始终只输出关节位置，并不明确指示其可见性。所谓可见性，指的是每个关节在图像中是否可直接观测到，从而区分可观测的关节与那些因遮挡而必须推断其位置的关节。有几种 ![Image](images/79874f6ff62925c88041e3a14e6e143138c9ac6772cc8cccc3d4a4632ce32ecf.jpg)

Figure 1. Overview of Hand Visibility Detector. Our model estimates per-joint visibility as a confidence score in [^0] [^1]. Red indicates invisible joints, and green indicates visible joints.

HPE方法会显式建模遮挡或可见性以提升姿态估计精度[^15] [^27] [^35] [^36]，点跟踪[^8] [^14]和手部动作预测[^9]等其他任务也是如此。不过，可见性通常仅被当作辅助信号，可见性估计本身的质量并非主要研究对象。最近，Contact4D[^33]利用逐关节可见性来优化经多视图图像三角测量得到的3D手部关键点，从而实现抗遮挡的自动标注；这一结果表明，可见性本身就能提供有用的线索，而不再仅仅充当传统的辅助组件。但由于可见性主要是通过下游姿态精度间接评估的，这些模型对关节可见性的预测究竟有多准确，以及此类预测在不同遮挡条件下的泛化能力如何，目前仍不明确。在这项工作中，我们提出了手部可见性检测器，这是一种专门用于手部关节可见性估计的模型。我们的方法采用了一种简单的架构：将轻量级的可见性头连接到在大规模手部数据上预训练的HPE模型的冻结骨干网络上 [^28] [^29]。在训练和评估阶段，我们使用了HInt数据集 [^28]。 --- 该数据集为包括网络图片和第一人称视频帧在内的各种自然场景数据提供了逐关节的手动可见性标注。与以往仅在单一领域上进行训练和评估的研究不同，该数据集的多样性使我们能够验证预训练HPE模型的先验知识在不同条件下进行可见性估计的有效性。此外，为了证明其在自动3D标注方面的实用性，我们确认：对多视角2D关键点进行加权可见性三角测量，能够降低三个用于3D手部姿态估计的多视角数据集——DexYCB [^3]、HO3D [^6] 和 H2O [^17] 上的投影误差。我们的贡献总结如下： - 我们将逐关节手部可见性估计定义为一项独立任务，并介绍了手部可见性检测器以及对该任务的系统性评估。 - 在HInt数据集上，我们的方法在mAP指标上比基线方法高出3.4分，这证明了大规模预训练HPE模型的先验知识在可见性估计中的有效性。 - 我们将加权可见性三角测量作为下游任务进行评估，结果显示其在DexYCB、HO3D和H2O数据集上的平均投影误差最多可降低10.1%。 ### 2. 相关工作 #### 2.1. 手部姿态估计近期的HPE方法通常利用深度学习来估计参数化MANO手部模型的参数 [^30]。Boukhayma等人 [^2] 率先实现了从单目图像直接回归MANO参数，随后出现了METRO [^19] 和Mesh Graphormer [^18] 等基于回归的方法。针对物体遮挡 [^20] [^27] [^35] 以及双手交互导致的遮挡问题，学界也开展了大量关于遮挡感知型HPE的研究 [^7]。最近，视觉Transformer技术与训练数据的规模化发展催生了HaMeR [^28] 和WiLoR [^29] 等大规模预训练模型，这些模型即便在自然场景图像上也能取得极高的精度。在这项工作中，我们将这些预训练HPE模型所蕴含的丰富先验知识迁移到一项新任务中：手部关节可见性估计。 #### 2.2. 手部关节可见性检测虽然此前没有研究将手部关节可见性估计作为独立任务来探讨，但已有一些方法在手部姿态估计过程中对可见性进行估算。Ye等人[^36]提出了一种用于从深度图像中估计手部姿态的分层混合密度网络，该网络将每个关节的可见性建模为伯努利分布：对可见关节赋予单峰高斯分布，而对被遮挡关节则采用多峰高斯混合模型。Kim等人[^15]将关节级可见性估计器引入到双手交互的端到端估计流程中，并利用其输出来优化基于可见性的2D关节热图。在非关节级方法中，HDR[^22]通过模态分割与外观恢复技术，重建目标手的被遮挡部分并移除遮挡手；H2ONet[^35]则估算手指级别的遮挡概率，以此对多帧特征进行加权聚合。由于上述方法均在受控环境下采集的数据集上训练，它们作为可见性估计器的泛化能力尚未得到验证。在本研究中，我们采用了HInt数据集[^28]，该数据集针对多样化的真实场景数据提供了人工标注的关节级可见性标签。据我们所知，这是首次对可见性估计本身的性能与泛化能力进行系统性评估。 #### 2.3. 自动3D手部姿态标注获取准确的 3D 标注对于 3D 人体与手部姿态估计研究至关重要 [^24]。光学标记点 [^26] 和基于手套的动作捕捉 [^16] 精度很高，但需要专用设备，且佩戴设备会损害手部的自然外观。因此，多视图图像 [^3] [^6] [^17] [^25] 的三角测量被广泛使用，但其精度取决于每个视图中的 2D HPE 精度。标准三角测量对所有视图一视同仁，即使使用 RANSAC [^23] [^34] 移除离群点，剩余的低点仍被原样使用。Contact4D [^33] 通过按手部检测器 [^29] 的检测置信度对三角测量加权，并使用基于 RTMPose [^12] (采用 CSPNeXt [^4] 主干网络) 且在 COCO-WholeBody [^13] 上训练的可见性估计器来细化三角化后的 3D 关节位置，实现了对遮挡稳健的标注。然而，该可见性估计器本身的性能尚未得到验证。此外，我们观察到 COCO-WholeBody 中的手部可见性标签经常不准确或缺失，这促使我们改用更高质量的标签来源。在本工作中，我们在 HInt 数据集上训练可见性估计器，并证明使用我们的 Hand Visibility Detector 的可见性加权三角测量在三个多视图手部数据集 DexYCB [^3]、HO3D [^6] 和 H2O [^17] 上，相较于未加权以及按手部检测置信度加权的基线，可降低重投影误差。 ### 3. 方法图2展示了所提出方法的概览。给定手部裁剪图像$I \in \mathbb{R}^{H \times W \times 3}$，我们的方法会估计每个关节的可见性$V = (\hat{v}_1, \ldots, \hat{v}_J) \in [0, 1]^J$。训练与评估时我们使用数据集提供的真实标注框，下游任务中则采用WiLoR[^29]手部检测器得到的框。关节布局遵循MANO手部模型的21个关键点[^30]（$J = 21$），每个$\hat{v}_j$代表关节j可见的概率。我们的方法包含：(i)预训练HPE模型的冻结ViT骨干网络，以及(ii)轻量级的可见性预测头。 --- ![Image](images/1219bd0bfc1bd1df4d2d028ffeece099cbda0f9327f46e84be8c0cea2203bf17.jpg)

Figure 2. Overview of the proposed method. (a) Overall pipeline. Our model outputs only per-joint visibility, shown as green (visible) and red (invisible). Joint positions are provided by ground truth or an off-the-shelf HPE model for visualization only. (b) Architecture of the Visibility Head. A frozen backbone of a pretrained HPE model extracts features, and only the lightweight head is trained.

#### 3.1. 手部编码器由于被遮挡的关节在其位置缺乏直接的视觉线索，要确定其可见性就需要对整只手的结构进行推理，比如它与可见手指及潜在遮挡物的空间关系。要在不同场景中完成此类推理，最好能利用丰富的手部结构先验知识，而非像以往研究那样[^15] [^36]，仅基于特定数据集有限的可见性标签从头训练特征提取器。HaMeR[^28]和WiLoR[^29]等大规模预训练的HPE模型已经学会从数百万张包含遮挡在内的各类条件下的手部图像中恢复3D姿态，因此有望具备推理被遮挡关节所需的手部结构先验知识。因此，我们采用HaMeR和WiLoR的预训练ViT骨干网络作为手部编码器。给定输入图像I，编码器会将输出标记重新排列为空间布局，从而生成特征图$F \in \mathbb{R}^{h \times w \times C}$。骨干网络的参数会保持预训练时的数值不变。这样既能保留大规模预训练模型的先验知识，又能避免模型过拟合到相对较小的带标签可见性数据上。 #### 3.2. 可见性预测头为了从特征图F中估计每个关节的可见性，我们采用了RTMPose[^12]预测头架构的设计来构建轻量级的可见性预测头，Contact4D[^33]的可见性估计器也采用了同样的架构。具体来说，首先用$1 \times 1$卷积将特征图从C维压缩为d维，再将其展平为一系列$h \times w$个标记。经过全连接层后，门控注意力单元（GAU）[^11]会对空间位置间的全局依赖关系进行建模。GAU是一种将自注意力机制与门控线性单元相结合的注意力机制，其在关键点估计中的有效性已在RTMPose中得到验证。最后，通过$1 \times 1$卷积将特征投影到J个通道，经空间平均池化得到每个关节的logit值，再通过sigmoid函数将其转换为可见性概率$\hat{v}_j$。我们使用二元交叉熵损失函数，针对真实标注的可见性标签$v_j \in \{0,1\}$来训练该预测头： $$ \mathcal{L}=-\frac{1}{J}\sum_{j=1}^{J}\left[v_{j}\log\hat{v}_{j}+\left(1-v_{j}\right)\log(1-\hat{v}_{j})\right], $$ 其中，画面外的关节被视为不可见（$v_{j} = 0$）。也就是说，在本研究中，关节可见意味着它既未被遮挡也未超出画面范围。我们冻结骨干网络，仅训练可见性预测头，这样就能以极低的成本学会可见性估计，同时保留预训练HPE模型的先验知识。 ### 4. 实验数据集。我们在HInt数据集[^28]上进行训练和评估，该数据集提供了带有每个关节可见性标签的人工标注关键点。HInt涵盖了各种真实场景，包括网页视频和第一人称视角视频；我们使用25,273帧用于训练，5,374帧用于评估。基线方法。我们与现有方法中能够进行关节级可见性估计的以下两种可见性估计器进行比较。Kim等人提出的可见性估计器[^15]由在ImageNet-1k[^10]上预训练的ResNet-50[^31]和一个两层线性头组成。Contact4D[^33]的可见性估计器遵循RTMPose[^12]的设计，采用在ImageNet-1k上预训练的CSPNeXt[^4]作为骨干网络。评估指标。我们将可见性估计视为关节级的二分类问题进行评估。我们采用mAP（各关节平均精度的平均值）和F1分数，其中F1分数是将预测结果在0.5阈值下二值化后计算得出的。所有实验均使用三个随机种子运行，我们报告其均值和标准差。实现细节。输入图像是通过将真实的手部边界框扩大1.25倍，将其缩放至$256 \times 256$，然后按照WiLoR的方法裁剪出中心$H \times W = 256 \times 192$区域得到的。编码器 ---

Table 1. Comparison with baseline methods on HInt.

Method	mAP ( $\uparrow$)	F1 ( $\uparrow$)
Kim et al. [^15]	0.895 $\pm$0.001	0.858 $\pm$0.001
Contact4D [^33]	0.897 $\pm$0.001	0.860 $\pm$0.002
Ours	0.931 $\pm$0.000	0.896 $\pm$0.001

Table 2. Ablation on backbones. The visibility head and hyperparameters are shared across all models.

Backbone	#Params	mAP ( $\uparrow$)	F1 ( $\uparrow$)
CSPNeXt-X [^4]	48M	0.800 $\pm$0.002	0.799 $\pm$0.001
ResNet-152 [^10]	58M	0.796 $\pm$0.001	0.797 $\pm$0.001
ViT-H [^5]	633M	0.838 $\pm$0.005	0.819 $\pm$0.004
DINOv3 [^32]	840M	0.897 $\pm$0.000	0.866 $\pm$0.000
HaMeR [^28]	631M	0.932 $\pm$0.000	0.896 $\pm$0.000
WiLoR [^29]	631M	0.931 $\pm$0.000	0.896 $\pm$0.001
WiLoR (fine-tuned) [^29]	631M	0.622 $\pm$0.014	0.704 $\pm$0.018

将输入划分为$16 \times 16$个补丁，生成大小为$h = 16$、$w = 12$和$C = 1280$的特征图。可见性头的隐藏维度为$d = 256$，dropout率为0.1。仅对可见性头进行训练，其0.83M的参数仅占整个631M参数模型的0.131%。我们采用AdamW[^21]优化器，学习率为$1.0 \times 10^{-3}$。训练共进行100个epoch，批量大小为256，在单张NVIDIA H200 GPU上大约需要2.5小时，占用约10GB的GPU显存。所有实验均在相同设置下进行。对于骨干网络的消融实验，每种骨干网络均以其官方预训练权重初始化并保持冻结状态。更多细节请参阅我们发布的代码。 ### 5. 实验结果 #### 5.1. 可见性估计与基线方法的比较。表1展示了与现有可见性估计方法的比较结果。我们的方法mAP达到0.931，F1分数达到0.896，在这两个指标上均显著优于Kim等人[^15]和Contact4D[^33]提出的方法。这两种基线方法均依赖在ImageNet-1k上预训练的CNN特征，这一差距证明了预训练的人体姿态估计模型中所蕴含的手部先验知识的有效性。骨干网络的选择。表2展示了不同骨干网络的可见性估计性能。专门针对手部设计的模型HaMeR和WiLoR表现最佳，即便是近期性能最强的通用图像模型DINOv3也无法与之匹敌。此外，对WiLoR骨干网络进行可见性估计任务的微调会使mAP从0.931降至0.622。这表明针对特定任务的微调会破坏预训练阶段获得的特征表示，这也支持了我们将骨干网络冻结、仅训练头部模块的设计思路。

Table 3. Ablation on the visibility head. The backbone is fixed to our frozen WiLoR encoder.

Head	mAP ( $\uparrow$)	F1 ( $\uparrow$)
w/ Kim et al. head [^15]	0.905 $\pm$0.000	0.874 $\pm$0.001
w/o GAU	0.887 $\pm$0.000	0.860 $\pm$0.000
Ours (full)	0.931 $\pm$0.000	0.896 $\pm$0.001

![Image](images/808543e0c1911921c5576ec53d781fd0567f72298cbf965f7b8b1183d8bd017d.jpg)

Figure 3. F1 score versus binarization threshold. Performance peaks around 0.5 and remains stable over a wide range.

可见性头的设计。表3展示了在骨干网络固定为WiLoR时，对可见性头的消融实验结果。移除GAU会使mAP从0.931降至0.887，而用Kim等人[^15]提出的线性头替换我们的头部模块，其效果也不如我们的设计。这表明能够建模空间位置间全局依赖关系的GAU，在可见性估计任务中确实具有有效性。可见性阈值敏感性。图3展示了当二值化阈值从0.1变化到0.9时F1分数的变化情况。F1分数在阈值约为0.5时达到峰值，且在0.3–0.7的宽泛范围内均保持在0.88以上，这表明模型性能对阈值的敏感度较低。定性评估。图4展示了与基线方法以及骨干网络消融实验的定性对比结果。在所有自遮挡、图像截断以及物体遮挡的情况下，我们的方法都能以最高的置信度准确估计可见性。 #### 5.2. 下游任务：三角测量实验设置。作为下游任务，我们开展了一项三角测量实验，假设多视角图像能自动提供3D手部姿态标注。我们利用DLT [^29] 对每个视角下由WiLoR [^1] 估算出的2D关键点进行三角测量，并比较三种加权方案：(i) 无加权三角测量（基线方法）；(ii) 按WiLoR检测器置信度加权，同一视角下的所有关节共享该权重 [^33]（检测置信度加权）；(iii) 按我们方法估算出的各关节可见性加权（可见性加权）。我们在三个数据集的测试集上评估重投影误差（单位：像素）：DexYCB [^3]（12,902帧，8个视角，$640 \times 480$）、HO3D [^6]（4,854帧，2或5个视角，$640 \times 480$），以及 --- ![Image](images/db23d94bbb9c63b4c02ed5040685b907407db1dc68bd7f3f6d4a302a7cf286a6.jpg)

Figure 4. Qualitative results of visibility estimation. Joint positions are ground truth. Green indicates joints predicted as visible, and red indicates joints predicted as invisible. From top to bottom: self-occlusion, image truncation, and occlusion by objects.

![Image](images/7025c7244844df48a9272ae18411ed2c8f2d5dca309c20b40bb357cccc66959b.jpg)

Figure 5. Reprojection errors of triangulation on each dataset.

H2O [^17]（23,391帧，4个视角，$1280 \times 720$）。评估结果。图5展示了相关结果。在所有三个数据集上，可见性加权三角测量的中位数、平均值以及四分位距均低于基线方法和检测置信度加权方案 [^33]。其中在HO3D数据集上的提升最为显著，该数据集视角较少且存在严重的物体遮挡现象，平均重投影误差降低了10.1%。这些结果表明，基于关节的可见性加权能够有效抑制被遮挡关节的低质量2D估计值。图6展示了三角测量的定性对比结果。通过侧重选取各关节可见的视角，我们的加权策略能够抑制因遮挡而产生的偏差较大的2D估计值，从而降低重投影误差。 ### 6. 结论在这项工作中，我们提出了手部可见性检测器，这是首个专门用于手部关节可见性估计的模型。借助大规模预训练HPE模型的先验知识， ![Image](images/bf87781112d4cb50e7e9357368c582446c01960af88d34b2982f07015ea126c4.jpg)

Figure 6. Qualitative comparison of triangulation results. Triangulated 3D joints are reprojected onto each view. Red circles highlight regions where visibility weighting improves the most.

我们的方法在HInt数据集上的表现显著优于现有方法和通用骨干网络。此外，可见性加权三角测量在多个数据集上均能降低重投影误差。未来的工作包括将该方法扩展至视频输入，以实现时间上一致的可见性估计。我们的代码已作为即用型软件包发布，希望它能应用于各类下游任务。致谢。本研究得到了JST K计划JPMJKP25V1的支持。 --- ## 参考文献 [^1]: Y.I. Abdel-Aziz, H.M. Karara, and Michael Hauck. Direct Linear Transformation from Comparator Coordinates into Object Space Coordinates in Close-Range Photogrammetry. Photogrammetric Engineering & Remote Sensing, 81(2):103–107, 2015. 4 [^2]: Adnane Boukhayma, Rodrigo de Bem, and Philip H.S. Torr. 3D Hand Shape and Pose From Images in the Wild. In IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 10835–10844, 2019. 2 [^1]: Yu-wei Chao, Wei Yang, Yu Xiang, Ravio Moicnanov, Ankur Handa, Jonathan Tremblay, Yashraj S. Narang, Karl Van Wyk, Umar Iqbal, Stan Birchfield, Jan Kautz, and Dieter Fox. DexYCB: A Benchmark for Capturing Hand Grasping of Objects. In IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 9044–9053, 2021. 2,4 [^4]: Xiangqi Chen, Chengzhuan Yang, Jiashuaizi Mo, Yaxin Sun, Hicham Karmouni, Yunliang Jiang, and Zhonglong Zheng. CSPNeXt: A new efficient token hybrid backbone. Engineering Applications of Artificial Intelligence, 132:107886, 2024. 2, 3, 4 [^5]: Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, Jakob Uszkoreit, and Neil Houlsby. An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale. In International Conference on Learning Representations (ICLR), 2021. 1, 4 [^6]: Shreyas Hampali, Mahdi Rad, Markus Oberweger, and Vincent Lepetit. HOnnotate: A Method for 3D Annotation of Hand and Object Poses. In IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 3193–3203, 2020. 2, 4 [^7]: Shreyas Hampali, Sayan Deb Sarkar, Mahdi Rad, and Vincent Lepetit. Keypoint Transformer: Solving Joint Identification in Challenging Hands and Object Interactions for Accurate 3D Pose Estimation. In IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 11080–11090, 2022. 2 [^8]: Adam W Harley, Zhaoyuan Fang, and Katerina Fragkiadaki. Particle video revisited: Tracking through occlusions using point trajectories. In ECCV, pages 59–75, 2022. 1 [^9]: Masashi Hatano, Zhifan Zhu, Hideo Saito, and Dima Damen. The invisible egohand: 3d hand forecasting through egobody pose estimation. arXiv preprint arXiv:2504.08654, 2025. 1 [^10]: Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 770–778, 2016. 3, 4 [^11]: Weizhe Hua, Zihang Dai, Hanxiao Liu, and Quoc Le. Transformer Quality in Linear Time. In International Conference on Machine Learning (ICML), pages 9099–9117, 2022. 3 [^12]: Tao Jiang, Peng Lu, Li Zhang, Ningsheng Ma, Rui Han, Chengqi Lyu, Yining Li, and Kai Chen. RTMPose: Real-Time Multi-Person Pose Estimation based on MMPose. In arXiv preprint arXiv:2303.07399, 2023. 2, 3 [^13]: Sheng Jin, Lumin Xu, Jin Xu, Can Wang, Wentao Liu, Chen Qian, Wanli Ouyang, and Ping Luo. Whole-Body Human Pose Estimation in the Wild. In European Conference on Computer Vision (ECCV), page 196–214, 2020. 2 [^14]: Nikita Karaev, Ignacio Rocco, Benjamin Graham, Natalia Neverova, Andrea Vedaldi, and Christian Rupprecht. Cotracker: It is better to track together. In ECCV, pages 18–35, 2024. 1 [^15]: Dong Uk Kim, Kwang In Kim, and Seungryul Baek. End-to-End Detection and Pose Estimation of Two Interacting Hands. In IEEE/CVF International Conference on Computer Vision (ICCV), pages 11169–11178, 2021. 1, 2, 3, 4 [^16]: Jeonghwan Kim, Jisoo Kim, Jeonghyeon Na, and Hanbyul Joo. ParaHome: Parameterizing Everyday Home Activities Towards 3D Generative Modeling of Human-Object Interactions. In IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 1816–1828, 2025. 2 [^17]: Taein Kwon, Bugra Tekin, Jan Stuhmer, Federica Bogo, and Marc Pollefeys. H2O: Two Hands Manipulating Objects for First Person Interaction Recognition. In IEEE/CVF International Conference on Computer Vision (ICCV), pages 10118–10128, 2021. 2, 5 [^18]: Kevin Lin, Lijuan Wang, and Zicheng Liu. Mesh Graphormer. In IEEE/CVF International Conference on Computer Vision (ICCV), pages 12919–12928, 2021. 2 [^19]: Kevin Lin, Lijuan Wang, and Zicheng Liu. End-to-End Human Pose and Mesh Reconstruction with Transformers. In IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 1954–1963, 2021. 2 [^20]: Zhifeng Lin, Changxing Ding, Huan Yao, Zengsheng Kuang, and Shaoli Huang. Harmonious Feature Learning for Interactive Hand-Object Pose Estimation. In IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 12989–12998, 2023. 2 [^21]: Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In International Conference on Learning Representations (ICLR), 2017. 4 [^22]: Hao Meng, Sheng Jin, Wentao Liu, Chen Qian, Mengxiang Lin, Wanli Ouyang, and Ping Luo. 3D Interacting Hand Pose Estimation by Hand De-occlusion and Removal. In European Conference on Computer Vision (ECCV), page 380–397, 2022. 2 [^23]: Gyeongsik Moon, Shoou-I Yu, He Wen, Takaaki Shiratori, and Kyoung Mu Lee. InterHand2.6M: A Dataset and Baseline for 3D Interacting Hand Pose Estimation from a Single RGB Image. In European Conference on Computer Vision (ECCV), page 548–564, 2020. 2 [^24]: Takehiko Ohkawa, Ryosuke Furuta, and Yoichi Sato. Efficient Annotation and Learning for 3D Hand Pose Estimation: A Survey. International Journal of Computer Vision (IJCV), 131(12):3193–3206, 2023. 1,2 [^25]: Takehiko Ohkawa, Kun He, Fadime Sener, Tomas Hodan, Luan Tran, and Cem Keskin. AssemblyHands: Towards Egocentric Activity Understanding via 3D Hand Pose Estimation. In IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 12999–13008, 2023. 2 ## [^26]: OptiTrack. Motive. --- [^27]: JoonKyu Park, Yeonguk Oh, Gyeongsik Moon, Hongsuk Choi, and Kyoung Mu Lee. HandOccNet: Occlusion-Robust 3D Hand Mesh Estimation Network. In IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 1486–1495, 2022. 1, 2 [^28]: Georgios Pavlakos, Dandan Shan, Ilija Radosavovic, Angjoo Kanazawa, David Fouhey, and Jitendra Malik. Reconstructing Hands in 3D with Transformers. In IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 9826–9836, 2024. 1, 2, 3, 4 [^29]: Rolandos Alexandros Potamias, Jinglei Zhang, Jiankang Deng, and Stefanos Zafeiriou. WiLoR: End-to-end 3D Hand Localization and Reconstruction in-the-wild. In IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 12242–12254, 2025. 1, 2, 3, 4 [^30]: Javier Romero, Dimitrios Tzionas, and Michael J. Black. Embodied Hands: Modeling and Capturing Hands and Bodies Together. ACM Transactions on Graphics, 36(6):245:1–245:17, 2017. 2 [^31]: Olga Russakovsky, Jia Deng, Hao Su, Jonathan Krause, Sanjeev Satheesh, Sean Ma, Zhiheng Huang, Andrej Karpathy, Aditya Khosla, Michael Bernstein, Alexander C. Berg, and Li Fei-Fei. ImageNet Large Scale Visual Recognition Challenge. International Journal of Computer Vision (IJCV), 115(3):211–252, 2015. 3 [^32]: Oriane Siméoni, Huy V. Vo, Maximilian Seitzer, Federico Baldassarre, Maxime Oquab, Cijo Jose, Vasil Khalidov, Marc Szafraniec, Seung Eun Yi, Michael Ramamonjisao, Francisco Massa, Daniel HAZIZA, Luca Wehrstedt, Jianyuan Wang, Timothée Darcet, Théo Moutakanni, Leonel Sentana, Claire Roberts, Andrea Vedaldi, Jamie Tolan, John Brandt, Camille Couprie, Julien Mairal, Herve Jegou, Patrick Labatut, and Piotr Bojanowski. DINOv3. Transactions on Machine Learning Research, 2026. 4 [^33]: Jyun-Ting Song, JungEun Kim, Jinkun Cao, Yu Lei, Takuma Yagi, and Kris Kitani. Contact4D: A Video Dataset for Whole-Body Human Motion and Finger Contact in Dexterous Operations. In International Conference on 3D Vision (3DV), pages 904–914, 2026. 1, 2, 3, 4, 5 [^34]: Jikai Wang, Qifan Zhang, Yu-Wei Chao, Bowen Wen, Xiaohu Guo, and Yu Xiang. HO-Cap: A Capture System and Dataset for 3D Reconstruction and Pose Tracking of Hand-Object Interaction. In Conference on Neural Information Processing Systems (NeurIPS), 2025. 2 [^35]: Hao Xu, Tianyu Wang, Xiao Tang, and Chi-Wing Fu. H2ONet: Hand-Occlusion-and-Orientation-Aware Network for Real-Time 3D Hand Mesh Reconstruction. In IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 17048–17058, 2023. 1, 2 [^36]: Qi Ye and Tae-Kyun Kim. Occlusion-aware Hand Pose Estimation Using Hierarchical Mixture Density Network. In European Conference on Computer Vision (ECCV), pages 817–834, 2018. 1, 2, 3