# HGGT：基于非标定图像的鲁棒且灵活的三维手部网格重建
刘玉萌 $^{1}$、龙晓晓 $^{2}$、Marc Habermann $^{3}$、杨轩泽 $^{1}$
林成 $^{4}$、刘远 $^{5}$、马月欣 $^{6}$、刘利刚 $^{1*}$
$^{1}$ 中国科学技术大学
$^{2}$ 南京大学
$^{3}$ 马克斯·普朗克计算机研究所
$^{4}$ 澳门科技大学
$^{5}$ 香港科技大学
$^{6}$ 上海科技大学
项目页面：
Easier Mocap
自然场景中的图像
Arbitrary Num of Views
严重运动模糊
严重遮挡
图1：我们提出了手部几何定位Transformer（HGGT），这是一种可扩展且通用性强的三维手部网格恢复解决方案。我们的方法整合了多种数据源，能够在不同的相机视角和环境下实现鲁棒的性能表现。
摘要：从图像中恢复高保真度的三维手部几何结构是计算机视觉领域的一项关键任务，在机器人、动画以及VR/AR等领域具有重要价值。关键在于，可扩展的应用既需要高精度，又需要部署灵活性，这就要求能够利用互联网上大量无结构图像数据，或能在无需复杂校准的消费级RGB相机上部署。然而，现有方法面临两难困境：单视图方法虽然易于部署，但存在深度歧义和遮挡问题；多视图系统虽能解决这些不确定性，却通常需要固定的标定设置，限制了其实际应用场景。为填补这一缺口，我们从可直接从视觉数据中学习显式几何结构的三维基础模型中汲取灵感。通过将任意视角下的手部重建重新定义为视觉-几何定位任务，我们提出了一种前馈架构，它首次在文献中实现从非标定视角同时推断三维手部网格和相机位姿。大量实验表明，我们的方法性能优于现有基准测试，且在非标定、自然场景中具有强大的泛化能力。
---
文献中首次实现从非标定视角同时推断三维手部网格和相机位姿。大量评估结果表明，我们的方法性能优于现有基准测试，且在非标定、自然场景中具有强大的泛化能力。
## 1 引言
手是我们与世界交互的主要界面。因此，手部检测与重建长期以来一直是计算机视觉领域的核心任务，它对诸多应用至关重要，例如人类行为分析 [^31]、提升VR真实感 [^13] [^29]，以及赋予机器人类人的灵巧性 [^39]。
视觉Transformer（ViT）的出现最近彻底革新了3D人体重建领域。HaMeR [^28] 证明，扩大ViT骨干网络的规模能够显著超越传统的基于CNN的回归器在单目手部重建中的表现。然而，作为一种单视图方法，它仍然容易受到深度歧义和遮挡的影响。为了克服这些单目方法的局限性，POEM [^44] 提出了一种点嵌入Transformer，利用多视图几何信息将特征融合到一组3D基点上。不过，POEM需要精确的相机标定才能进行特征聚合，这限制了其在野外未标定环境中的灵活性。
与此同时，更广泛的3D视觉领域也出现了向前馈式3D重建转变的趋势，DUSt3R [^38]、Mast3R [^21] 和 VGGT [^36] 便是其中的代表。这些基础模型表明，相机外参、深度和点轨迹等场景属性可以通过统一的Transformer直接从大规模数据中学习得到，从而无需依赖传统的优化过程。受此启发，Human3R [^5] 和 UniSH [^22] 等同期研究试图利用这些先验知识来进行人体姿态估计。不过，它们通常将基础模型视为一个固定模块，仅专注于将人体姿态与重建的3D场景对齐。尽管如此，尽管具有潜在优势，但直接将此类场景级模型以前馈方式应用于人体重建或手部姿态估计仍鲜有探索。我们发现，直接将这些方法应用于多视图手部图像时效果较差，因为这些图像在不同视图间的视觉重叠极少。因此，这些模型往往难以推断出准确的相机姿态，这就需要一种更集成的方法，能够同时推断手部几何结构与相机姿态。
为填补这一空白，我们提出了一种前馈框架，使VGGT骨干网络能够应对从未标定的多视图图像中进行3D手部重建的挑战。具体而言，我们添加了一个Transformer解码器，其中可学习的手部与相机标记作为特定任务的查询，通过交叉注意力从整体图像上下文中提取几何与视点相关的线索。随后，这些解码后的特征被送入专门的分支，分别用于预测手部姿态和相机参数。这种设计有效地将手部几何表示与相机视点分离，从而确保了稳健的估计结果。
---
为使所提出的框架性能达到最优，丰富的数据多样性至关重要。具体来说，模型必须学会处理任意的相机设置与复杂的背景，这就需要在多种场景下进行训练。我们通过整合三种不同类型的数据来实现这一点：首先，我们引入大量野外单目图像，让模型接触多样的环境与光照条件，从而显著提升其在无约束场景下的鲁棒性与泛化能力。其次，真实世界的多视图数据集提供了高质量的3D标注，确保几何对齐过程能得到准确监督。最后，为了摆脱摄影棚采集常见的固定相机装置限制，我们引入了具有随机视点的大规模合成数据集；这对于促使模型学习内在的几何不变性而非单纯记忆特定的采集设置至关重要。
在公开基准测试上的大量实验证明了我们所提出框架的有效性。我们的模型在3D网格恢复和2D关键点检测两项任务上均超越了现有最先进的方法。
总而言之，我们的主要贡献如下：
我们提出了首个无需校准的多视角手部几何恢复前馈框架。我们的统一Transformer架构能够同时估计相机姿态和手部网格，从而无需预先校准或迭代优化。
我们引入了一个全新的合成数据集以及混合数据训练策略，能够有效利用真实单目数据、真实多视角数据和合成多视角数据。这种多样化的数据资源显著提升了模型在不同领域的泛化能力。
– 我们在公开数据集上进行了广泛的基准测试，结果表明我们的方法在未校准场景下具有卓越的鲁棒性，性能优于现有解决方案。
## 2 相关工作
多视角三维重建。从多张图像中重建三维几何结构，通常被称为多视角立体视觉（MVS），是计算机视觉领域的一个基础问题。MVS技术旨在利用从多个视角观察到的一致特征和几何线索来恢复精细的三维形状。早期的传统方法依赖于手工设计的光度一致性和传播策略 [^10] [^33]。深度学习出现后，基于学习的MVS应运而生，它集成了基于体素的代价体积 [^14] [^45] 或基于点的聚合 [^3] 等可微几何模块。这些方法通常利用相机参数来进行显式的单应性变换，以实现跨视图的特征对齐。最近，以DUSt3R [^38] 和MASt3R [^21] 为先驱的范式转变出现了，它们能够直接从一对视图中估计出对齐的密集点云。一系列后续研究 [^35] [^37] [^42] [^47] 进一步印证了这一范式。VGGT [^36] 则通过引入一个可扩展的框架来推进这一方向，该框架能够同时处理任意数量的视图。它
---
采用了一种新颖的交替注意力机制来捕捉密集的多视角相关性，并能在单次前馈过程中直接推断出相机参数和三维几何信息。借助这种强大的全局几何理解能力，我们采用VGGT作为骨干网络来驱动手部重建。然而，直接将VGGT应用于未校准的自然场景图像会导致错误的相机估计和扭曲的点云，我们将在第4节中对此进行更详细的讨论。
手部重建。从图像中恢复三维手部姿态和形状仍然是计算机视觉领域的一个基本难题。从图像中恢复三维手部姿态和形状依然是计算机视觉领域的一项根本性挑战。大量研究[^27] [^40] [^48] [^49]聚焦于单目场景，[^17] [^19] [^28] [^30]通过直接回归可微MANO模型的参数[^32]来约束解空间。另一类方法是非参数化方法，它们直接回归MANO网格的顶点[^6] [^12] [^20]。为了从单张图像中有效提取用于精确估计的特征，研究人员探索了各种架构，从早期的图卷积网络（GCN）[^4] [^12]到体素[^24]或UV贴图[^2]等替代表示形式。尽管这些架构取得了进步，但单目方法仍受尺度-深度歧义问题的根本限制。为解决这一问题，POEM[^44]将Transformer范式扩展到了多视图场景，在多视图立体框架中将手部网格建模为点集。然而，这种方法严重依赖预先校准的相机参数来融合不同视图中的视觉特征。相比之下，我们应对的是更具挑战性的未校准场景。我们证明了在此场景下基于VGGT的架构的有效性。通过直接回归MANO参数和二维关键点，我们的方法验证了这种简洁直接的方法能够取得稳健的性能，无需依赖复杂的中间表示或显式的相机校准，就能有效解决手部重建问题。
## 3 方法
我们提出了HGGT，这是一个前馈框架，旨在从未校准的多视图图像中估计三维手部姿态和形状。我们首先在第3.1节中正式定义问题场景。接着，我们在第3.2节中描述数据准备过程。第3.3节详细介绍了模型的核心架构和设计选择，图2展示了我们的流程。最后，我们在第3.4节讨论优化目标，在第3.5节阐述训练策略。
### 3.1 问题定义
我们的目标是从任意数量的RGB图像中估计三维手部网格和相机参数，且无需事先校准。具体来说，给定一组来自未知视角的S张图像$\{\mathbf{I}_s\}_{s=1}^S$，HGGT会同时预测：
---
Fig. 2: The pipeline of HGGT. Given uncalibrated multi-view images, we first employ a VGGT Aggregator to extract image tokens and initial camera tokens. These are processed alongside learnable random hand tokens via a series of Cross-attention Blocks. Finally, two parallel heads predict the camera parameters and the canonical MANO parameters $(\theta, \beta, t)$, which can be re-projected onto the input views for verification.
(i) 定义在第一个相机坐标系下的MANO手部参数$(\boldsymbol{\theta}, \boldsymbol{\beta}, \mathbf{t})$；以及(ii) 特定视图的相机姿态编码$\{\mathbf{p}_s\}_{s=1}^S$。其中，$\boldsymbol{\theta} \in \mathbb{R}^{48}$表示轴角格式下的关节手部姿态，前三个维度对应全局方向；$\boldsymbol{\beta} \in \mathbb{R}^{10}$表示形状参数；$\mathbf{t} \in \mathbb{R}^3$代表全局平移量。为此，我们在共享的特征骨干之上设置了不同的预测头，从而实现有效的多任务学习，并促进各任务间的相互监督。
### 3.2 数据集准备
我们通过整合三个不同的数据源来构建混合训练数据集，以确保涵盖语义多样性和几何精度两个方面。首先，我们纳入大规模的自然场景单目图像集合[^28]，以包含各种光照条件和背景复杂性。其次，我们利用现有的真实世界多视角数据集[^44]，因为它们具有高保真的3D标注；不过，由于这些数据主要通过固定拍摄设备获取，外部变化有限，因此我们又进一步用合成数据来扩充训练集。
具体来说，为了引入真实拍摄中不存在的随机相机设置，我们利用GraspXL中预先计算好的抓取交互数据[^46]（基于Objaverse物体[^7]）。随后，我们使用Dart提供的材质[^11]，将这些交互过程渲染成具有照片级真实感的皮肤纹理，从而缩小合成数据与真实数据之间的域差距，如图3所示。这一合成子集显著扩大了我们的数据规模：其中用于训练的图像集有85,683组，用于验证的有21,242组，每组包含10个渲染视图。
---
Fig.3: Samples from our synthetic dataset. It contains diverse photorealistic hand-object interactions.
### 3.3 模型设计
图2展示了我们的流程示意图。该流程始于VGGT聚合器，它会对多视角输入进行编码，同时提取图像特征并初始化相机标记。随后，这些表示会被送入统一交叉注意力优化模块，并与一组可学习的随机手部标记一同处理，在此过程中相机标记和手部标记都会得到迭代优化。这种机制使模型能够有效聚合不同视角下手部的视觉线索。最后，更新后的标记会由特定任务的头网络进行解码：相机头网络用于预测每个视角的外部参数，而手部头网络则回归MANO参数（$\theta$、$\beta$、t），从而恢复手部的3D几何结构。
多视角特征聚合。我们的主干网络采用VGGT[^36]交替注意力架构来提取多视角特征。它会通过交错的帧级和全局注意力层来处理图像块以及可学习的相机标记。我们沿用了VGGT预训练的权重，并解冻其聚合器的所有层，以便针对我们的任务进行训练。
统一交叉注意力优化。在特征提取阶段之后，我们引入了一组可学习的潜层嵌入，称为手部标记，用以表示全局手部几何结构。这些标记会与相机标记（由VGGT聚合器初始化）拼接起来，再送入4个堆叠的交叉注意力模块进行处理。在这种机制中，特定任务的标记（即手部标记和相机标记）充当查询项（Q），而编码后的多视角图像特征则作为键（K）和值（V）。这种设计使得手部标记能够主动查询并聚合所有未校准视角中的相关几何线索，借助跨视角信息与相机标记一起迭代优化其表示。
参数化手部头网络。为了恢复密集的3D网格，我们将优化后的手部标记解码为MANO模型的参数[^32]。具体而言，
---
更新后的手部标记会被输入到一个名为 \textbf{HandHead} 的轻量级多层感知机（MLP）模块中，该模块直接回归出姿态 $\boldsymbol{\theta}$、形状 $\boldsymbol{\beta}$ 和平移 $\mathbf{t}$ 参数。这些预测出的参数随后会被传入可微分的MANO层，以生成最终的3D手部顶点 $\mathcal{V} \in \mathbb{R}^{778 \times 3}$ 和关节 $\mathcal{J} \in \mathbb{R}^{21 \times 3}$。
相机姿态估计头：该模块用于估计每个视角相对于第一帧的外参和内参。具体来说，它会为每个视角s预测一个9维编码 $\mathbf{p}_s = [\mathbf{T}_s, \mathbf{q}_s, \mathbf{f}_s] \in \mathbb{R}^9$，其中包含平移参数 $\mathbf{T}_s \in \mathbb{R}^3$、单位四元数旋转 $\mathbf{q}_s \in \mathbb{R}^4$ 以及视场角（FoV）$\mathbf{f}_s \in \mathbb{R}^2$。该模块的结构与VGGT中的相机头相同 [^36]。
### 3.4 损失函数
我们的训练目标旨在将手部内在属性的优化与几何成像过程解耦。总损失 $\mathcal{L}_{\text{total}}$ 由三个独立的组成部分构成：
手部损失：该部分仅关注手部网格在规范3D空间中的重建，与相机视角无关。我们对MANO参数 $(\boldsymbol{\theta}, \boldsymbol{\beta})$ 以及由此产生的根节点相对3D关节坐标 $J_{3D}$ 进行监督。不过，由于所有单视角数据集都缺乏真实的MANO标注，且其中一些数据集仅包含2D标注而无3D关节监督信息 [^28]，因此只有在有相应数据时才进行监督。据此，损失函数可表示为：
$$ \mathcal{L}_{\mathrm{h a n d}}=\mathcal{I}_{\mathrm{m a n o}}\left(\|\boldsymbol{\theta}-\hat{\boldsymbol{\theta}}\|_{2}^{2}+\|\boldsymbol{\beta}-\hat{\boldsymbol{\beta}}\|_{2}^{2}\right)+\mathcal{I}_{\mathrm{j o i n t s}}\|J_{3D}-\hat{J}_{3D}\|_{2}^{2}, $$
其中 $\mathcal{I}_{\text{mano}}$ 和 $\mathcal{I}_{\text{joints}}$ 是指示函数，当提供真实的MANO参数或3D关节时取值为1，否则取值为0（例如对于单视角样本）。
相机损失：为确保重建的3D手部与2D图像平面之间的几何一致性，我们引入了相机对齐损失。由于相对相机姿态估计依赖于多视角线索，因此该损失仅在具有多个视角的样本上激活（$S > 1$）。具体来说，我们对相机外参施加如下显式约束：
$$ \mathcal{L}_{\mathrm{c a m}}=\frac{1}{S}\sum_{s=1}^{S}(\|\mathbf{T}_{s}-\hat{\mathbf{T}}_{s}\|_{2}^{2}+\|R(\mathbf{q}_{s})\ominus R(\hat{\mathbf{q}}_{s})\|_{2}^{2}+||\mathbf{f}_{s}-\hat{\mathbf{f}}_{s}||_{2}^{2}), $$
其中 $\hat{\cdot}$ 表示预测的参数，$\mathcal{R}(\cdot)$ 是由四元数推导出的旋转矩阵，$\ominus$ 表示在 $SO(3)$ 上的测地距离。
---
投影一致性损失：为了弥合预测的3D结构与观测到的2D图像之间的差距，我们采用了投影一致性损失。这对于没有真实3D标注的单视角样本尤为重要；在此类情况下，2D投影成为对齐预测的手部和相机的唯一监督依据。该损失包含两个关键组成部分：
1. 投影对齐：我们利用预测的相机内参和外参，将预测的3D关节投影到图像平面上。通过最小化这些投影点与真实2D关键点之间的距离，我们同时约束了3D手部几何结构和相机姿态：
$$ \mathcal{L}_{\mathrm{r e p r o j}}=\frac{1}{S\cdot J}\sum_{i=1}^{S}\|\varPi(J_{3D}^{\mathrm{p r e d}},K_{\mathrm{p r e d}},[R|T]_{\mathrm{p r e d}})-J_{2D}^{\mathrm{G T}}\|_{2}^{2}. $$
该项确保了通过预测的相机观察时，重建的3D手部在视觉上与输入图像中的内容相匹配。
2. 负深度惩罚：为防止出现点在数学上被投影但物理上位于相机后方这种退化情况，我们施加了负深度惩罚。给定第i个视角下第j个关键点的预测深度 $z_{i,j}$，该惩罚项定义为：
$$ \mathcal{L}_{\mathrm{n e g}}=\frac{1}{S\cdot J}\sum_{i=1}^{S}\sum_{j=1}^{J}\left(\max(0,-z_{i,j})\right)^{2}, $$
其中，S表示视图数量，J表示手部关键点数量。
最终，总损失函数定义如下：
$$ \mathcal{L}_{\mathrm{t o t a l}}=\sum_{l=1}^{L}\gamma^{L-l}(\lambda_{\mathrm{h a n d}}\mathcal{L}_{\mathrm{h a n d}}^{(l)}+\lambda_{\mathrm{c a m}}\mathcal{L}_{\mathrm{c a m}}^{(l)})+\lambda_{\mathrm{p r o j}}\mathcal{L}\mathrm{p r o j}^{(L)}, $$
其中，L代表交叉注意力块的总数，上标$(l)$表示第l个块的预测结果。我们对手部与相机参数施加中间监督，其阶段权重呈指数级增长，该过程由$\gamma = 0.6$控制。而2D投影损失$\mathcal{L}_{\mathrm{proj}}$仅应用于最终输出，以确保终端几何一致性。
### 3.5 训练策略
三维手部重建面临的一大挑战是具备多样化视角和三维标注的大规模数据集十分稀缺。虽然多视角数据集能提供关键的几何线索，但其规模往往有限；相反，单视角数据集虽数量众多，但通常仅包含2D关键点标注。为了最大化模型的性能与泛化能力，充分利用这些数据源的互补优势至关重要。
---
然而，由于结构上的异质性，将这些数据集整合到统一的训练框架中并非易事。首先，输入样本数量的可变性阻碍了标准的统一批处理：单视角样本$(S = 1)$与多视角样本$(S \in [2, 24])$无法被统一处理。其次，这会导致计算上的不平衡——资源消耗随视角数量线性增加，使得静态批处理策略效率低下。最后，训练目标也存在差异：单视角数据假设相机位置固定，而多视角数据则需要额外的相机与投影损失来保障几何一致性。
为解决这些问题，我们采用了基于梯度累积的专用训练策略。通过在交替的单视角与多视角步骤中累积梯度，我们模拟出一个联合批次，从而在单次权重更新中平衡这些异构目标。借鉴VGGT [^36]的高效协议，我们设定恒定的图像预算$N_{img}$以最大化硬件利用率，并为每个步骤动态调整批量大小至$B = \lfloor N_{img}/S \rfloor$。通过在交替的单视角与多视角步骤中累积梯度，我们模拟出能同时优化两类目标的联合批次。
## 4 实验
### 4.1 实现细节
我们使用PyTorch实现该框架，在由8块NVIDIA A100 GPU组成的集群上训练一个包含约14亿个参数的模型。优化过程中采用AdamW [^23]优化器，权重衰减系数设为0.05。为在内存受限的条件下确保稳定的收敛效果，我们将每个GPU上的微批次大小设置为32张图像，并在每次权重更新前执行4步梯度累积。学习率遵循复合调度策略：在总共80,000次迭代的前5%阶段，学习率会从$1 \times 10^{-8}$线性递增至$1 \times 10^{-6}$；随后采用余弦退火方式降至$1 \times 10^{-8}$，整个训练过程大约耗时5天。我们采用单视图数据与多视图数据交替训练的策略：对于单视图数据，固定视图数量为$N = 1$；对于多视图数据，采样帧数的上限取决于各数据集提供的可用摄像头视图数。具体而言，针对合成数据集，我们动态采样$N \in [2, 10]$帧/序列；针对HO3D数据集，采样$N \in [2, 5]$帧；针对DexYCB、ARCTIC和InterHand数据集，采样$N \in [2, 8]$帧；针对OakInk数据集，则采样$N \in [2, 4]$帧。输入图像的处理方式为：补丁尺寸设为14，最大边长调整为518像素，且长宽比会在0.5到1.0之间随机变化。最后，为提升模型的鲁棒性，我们采用了与VGGT [^36]相同的光度增强技术，包括颜色抖动、高斯模糊和灰度转换。评估时，我们按照原始图像顺序来检验所提方法的效果。
### 4.2 训练数据详情
为确保模型具备强大的泛化能力，能够在各种场景下实现精准的3D手部重建，我们基于单视图与多视图数据集的综合混合数据进行模型训练。
---
这些数据集涵盖了真实场景采集的数据以及合成渲染数据。
单视图数据集：在单视图监督模式下，我们采用了HaMeR [^28]整理的庞大数据集。该数据集整合了多个提供2D或3D手部标注的数据集，具体包括FreiHAND [^51]、HO3D [^15]、MTC [^40]、RHD [^50]、InterHand2.6M [^25]、H2O3D [^15]、DEX YCB [^1]、COCO WholeBody [^18]、Halpe [^9]以及MPII NZSL [^34]。由此共得到约270万个训练样本。虽然其中大部分图像是在受控环境下拍摄的，但约有5%的训练样本（来自COCO WholeBody、Halpe和MPII NZSL）属于自然场景图像，这显著提升了模型对多样背景和光照条件的适应能力。
多视图真实数据集：对于真实场景下的多视图数据，我们采用了POEM [^44]推出的标准化数据集。该数据集整合了多个经过校准的摄像头所采集的观测数据及3D标注信息，涵盖的手部-物体交互数据集包括DexYCB [^1]、HO3D [^15]、OakInk [^43]、ARCTIC [^8]以及InterHand2.6M [^25]。总体而言，该数据集提供了约43.8万帧多视图训练图像（各数据集分别贡献约2.5万、0.9万、5.8万、13.5万和21万帧）。
多视角合成数据集：现有真实世界多视角数据集的主要局限在于它们通常是在固定的相机配置下采集的，导致视角多样性严重匮乏。为解决这一问题，我们合成了一个大规模多视角数据集，提供了高度多样化的相机视角。具体而言，我们利用GraspXL [^46]中丰富的运动学与几何数据来渲染手与物体交互序列。为确保高度的视觉真实感与外观多样性，我们在渲染过程中采用了来自Objaverse [^7]和DART [^11]数据集的各种高质量物体材质。这一合成子集显著扩展了我们的数据规模，包含用于训练的85,683张多视角图像以及21,242张用于验证的图像。由于每张图像包含10个渲染视角，因此合成训练图像的总数达到了856,830张之多。总之，这些合成数据是对现有真实世界数据集的宝贵补充，提供了多样的相机视角、逼真的渲染结果以及丰富的标注信息（包括手部姿态、物体与手部掩码以及深度图）。
### 4.3 评估指标
我们以毫米为单位报告平均关节位置误差（MPJPE）和平均顶点位置误差（MPVPE）。在我们的实验设置中，由于尺度模糊性，手腕的绝对深度本质上是无法观测到的。虽然我们预测的相机布局在结构上与真实值一致，正如图4所示……
---
Fig. 4: Camera Layout Visualization.
Full Image Input
裁剪后的图像输入
Fig. 5: Failure cases of off-the-shelf VGGT on HO3D datasets.
为了对齐全局坐标系，需要已知手腕深度，这在数学上等同于根节点相对（Root-Relative, RR）评估设置。因此，为确保公平且有效的比较，我们严格在根节点相对对齐及Procrustes分析（PA）条件下报告结果。此外，我们还通过评估关键点正确率（PCK）曲线下的面积（AUC）来衡量预测的鲁棒性。
### 4.4 现成VGGT模型的局限性
我们发现，无论采用何种输入策略，直接将多视角手部图像输入现成的VGGT模型都会导致严重的对齐错误。如图5所示，当使用裁剪后的图像（手部重建的标准流程）时，稀疏视角间极小的视觉重叠会导致几何估计完全失效。然而，仅仅换用整幅图像也无法解决问题。如图5左侧所示，尽管背景上下文有助于建立大致的全局坐标系，但手部的具体点云仍无法被准确对齐。表1中的定量分析也证实，直接运用现成VGGT模型会使当前最先进的方法产生次优结果。这是因为VGGT的相机估计主要依赖于静态、高纹理的背景特征，无法捕捉到手部区域这种相对较小且纹理较弱的部分所需的精细几何一致性。
### 4.5 主要实验结果
我们在表1中展示了与最先进方法POEM的定量比较结果。需要注意的是，POEM以真实（GT）相机参数作为输入，而我们的方法旨在从未经校准的图像中进行重建。为在实际场景下实现公平评估，我们还利用两个来源的预测相机参数对POEM进行了评估：（1）原始的VGGT估计结果；（2）我们提出的相机预测模块。
---
Table 1: The “Cali-Free” column denotes calibration dependency. Rows in gray (marked with ✗) represent methods utilizing ground-truth camera parameters, serving as an upper-bound reference. Rows in black (marked with ✓) represent calibration-free approaches. Within the calibration-free setting, we highlight the best results in bold and the second-best with an underline.
| datasets | # | methods | Cali-Free | Root Relative | Procrustes Alignment |
| MPVPE $\downarrow$ | AUC $_{{V20\uparrow}}$ | MPJPE $\downarrow$ | AUC $_{{J20\uparrow}}$ | MPVPE $\downarrow$ | AUC $_{{V20\uparrow}}$ | MPJPE $\downarrow$ | AUC $_{{J20\uparrow}}$ |
| DexYCB-Mv (8 views) | 1 | POEM $_{{v1}}$ | ✗ | 7.21 | 0.65 | 7.30 | 0.62 | 4.00 | 0.80 | 3.93 | 0.78 |
| 2 | POEM $_{{v2}}$-large | ✗ | 7.50 | 0.64 | 7.54 | 0.63 | 3.84 | 0.81 | 3.68 | 0.81 |
| 3 | VGGT+POEM | ✓ | 39.08 | 0.10 | 39.99 | 0.10 | 11.06 | 0.54 | 10.20 | 0.53 |
| 4 | Ours+POEM | ✓ | 19.69 | 0.29 | 20.18 | 0.27 | 4.38 | 0.78 | 4.19 | 0.79 |
| 5 | Ours | ✓ | 13.29 | 0.41 | 13.79 | 0.39 | 4.47 | 0.78 | 4.57 | 0.77 |
| OakInk-Mv (4 views) | 6 | POEM $_{{v1}}$ | ✗ | 7.63 | 0.64 | 7.46 | 0.63 | 4.21 | 0.79 | 4.00 | 0.78 |
| 7 | POEM $_{{v2}}$-large | ✗ | 8.47 | 0.59 | 8.47 | 0.58 | 4.49 | 0.78 | 4.24 | 0.77 |
| 8 | VGGT+POEM | ✓ | 47.29 | 0.12 | 48.66 | 0.12 | 13.18 | 0.48 | 12.08 | 0.47 |
| 9 | Ours+POEM | ✓ | 26.58 | 0.22 | 27.34 | 0.21 | 5.49 | 0.73 | 5.14 | 0.72 |
| 10 | Ours | ✓ | 20.13 | 0.37 | 20.59 | 0.37 | 6.14 | 0.70 | 6.12 | 0.70 |
| InterHand-Mv (8 views) | 11 | POEM $_{{v2}}$-large | ✗ | 9.04 | 0.62 | 8.82 | 0.60 | 5.23 | 0.76 | 4.72 | 0.70 |
| 12 | VGGT+POEM | ✓ | 49.92 | 0.07 | 50.57 | 0.08 | 20.16 | 0.27 | 18.49 | 0.23 |
| 13 | Ours+POEM | ✓ | 19.18 | 0.29 | 19.47 | 0.27 | 5.98 | 0.73 | 5.37 | 0.69 |
| 14 | Ours | ✓ | 23.22 | 0.20 | 27.46 | 0.20 | 6.05 | 0.71 | 13.81 | 0.59 |
| ARCTIC-Mv (8 views) | 15 | POEM $_{{v2}}$-large | ✗ | 7.13 | 0.64 | 6.80 | 0.65 | 4.43 | 0.78 | 3.91 | 0.78 |
| 16 | VGGT+POEM | ✓ | 20.19 | 0.25 | 20.67 | 0.24 | 8.21 | 0.60 | 7.29 | 0.62 |
| 17 | Ours+POEM | ✓ | 19.67 | 0.25 | 19.93 | 0.25 | 5.35 | 0.73 | 4.75 | 0.74 |
| 18 | Ours | ✓ | 19.48 | 0.21 | 20.04 | 0.19 | 6.57 | 0.67 | 6.61 | 0.67 |
| HO3D-Mv (5 views) | 19 | POEM $_{{v1}}$ | ✗ | 21.45 | 0.58 | 21.94 | 0.55 | 9.97 | 0.80 | 9.60 | AUC $_{{J50\uparrow}}$ |
| 20 | POEM $_{{v2}}$-large | ✗ | 10.58 | 0.79 | 10.58 | 0.79 | 4.59 | 0.91 | 4.13 | 0.91 |
| 21 | VGGT+POEM | ✓ | 56.07 | 0.23 | 57.53 | 0.20 | 21.05 | 0.59 | 20.29 | 0.47 |
| 22 | Ours+POEM | ✓ | 28.48 | 0.48 | 29.37 | 0.46 | 6.05 | 0.88 | 5.57 | 0.88 |
| 23 | Ours | ✓ | 9.98 | 0.80 | 10.03 | 0.80 | 3.30 | 0.93 | 3.33 | 0.93 |
与基于GT的方法对比。尽管我们的方法在缺乏真实相机信息的情况下运行，但其性能仍可与使用GT输入的POEM相媲美。值得注意的是，在HO3D数据集上，我们的方法甚至超越了借助GT的POEM，这体现了我们所学习到的几何结构的鲁棒性。
在未校准环境下的对比。当限制POEM只能使用由现成的VGGT模型预测的相机参数时，我们的方法表现明显更优。如表1所示，为POEM配备我们估算出的相机参数后，其效果优于VGGT基线模型。尽管有此改进，我们的方法在大多数基准测试中仍优于POEM，仅在OakInk数据集上略有差距。这一结果凸显了我们姿态估计框架的鲁棒性，表明即便面对未校准输入带来的挑战，该框架仍能保持较高的精度以应对多样的几何场景。
---
Table 2: Ablation Studies. We analyze the impact of (a) freezing different stages of the VGGT backbone and (b) incorporating our rendered synthetic dataset. The default setting is highlighted in gray.
| Experiment | Setting | Trainable Params | Root Relative | Procrustes Alignment |
| MPVPE $\downarrow$ | AUC $_{V50}$ $\uparrow$ | MPJPE $\downarrow$ | AUC $_{J50}$ $\uparrow$ | MPVPE $\downarrow$ | AUC $_{V50}$ $\uparrow$ | MPJPE $\downarrow$ | AUC $_{J50}$ $\uparrow$ |
| (a) VGGT Freezing Strategy (on Real+Syn Data) |
| Freeze Layers | 24 | 0.46B | 25.87 | 0.51 | 26.41 | 0.50 | 17.82 | 0.65 | 18.19 | 0.64 |
| 20 | 0.56B | 18.16 | 0.65 | 17.60 | 0.66 | 13.72 | 0.73 | 14.06 | 0.72 |
| 10 | 0.81B | 12.57 | 0.75 | 12.88 | 0.74 | 4.32 | 0.92 | 4.39 | 0.92 |
| None | 1.37B | 9.98 | 0.80 | 10.03 | 0.80 | 3.30 | 0.93 | 3.33 | 0.93 |
| (b) Training Data Composition |
| Data Source | Real Only | - | 15.30 | 0.61 | 15.33 | 0.61 | 5.97 | 0.89 | 6.04 | 0.88 |
| Real + Synthetic | - | 9.98 | 0.80 | 10.03 | 0.80 | 3.30 | 0.93 | 3.33 | 0.93 |
### 4.6 消融实验
我们开展消融实验以验证设计选择的有效性，重点考察VGGT骨干网络的冻结策略以及合成训练数据的作用。我们在HO3D数据集上评估了不同的实验设置，所有结果均列于表2中。
骨干网络冻结的影响。我们首先探究不同的冻结策略对模型性能的影响。如表2的上半部分所示，固定骨干网络参数会导致性能不佳。具体而言，“不冻结”设置的表现显著优于“全部冻结（24层）”设置，后者使MPJPE数值大幅升高。这表明虽然预训练的VGGT特征具有鲁棒性，但预训练任务与3D手部重建任务之间存在明显的域差异。完全可训练的VGGT骨干网络能让模型调整其特征表示，从而捕捉到用于精准恢复手部网格所需的几何细节。
合成数据的有效性。我们进一步分析了将我们生成的合成数据集纳入训练流程所产生的影响。对比表2中的“仅真实数据”基线与最终的“真实数据+合成数据”设置，我们发现所有指标均有稳定的性能提升（例如MPVPE显著下降）。我们将这一改进归因于两个因素：（1）合成数据提供了完美的真实标注，减少了真实数据中固有的噪声；（2）合成数据集中多样的姿态和视角起到了强大的正则化作用，防止模型过度拟合于有限的真实数据分布。
### 4.7 定性对比
图6展示了我们的方法与现有基线方法在InterHand2.6M [^25]、OakInk [^43]和HO3D [^15] [^16]数据集上的重建结果。如需查看更多数据集上的全面可视化结果，请参阅补充材料。如图6所示，使用VGGT预测相机参数的基线方法（a行）常常因相机估算不准确而出现严重的对齐偏差。
---
相比之下，我们的完整方法（d行）所达到的重建质量可与使用真实相机参数的基线方法（b行）相媲美。这一结果表明，我们的方法能够有效恢复精确的相机参数和手部几何结构，无需依赖真实的相机内参就能实现紧密的对齐和物理上合理的姿态。
为了评估我们框架的鲁棒性，我们在极端条件下对其进行了测试，如图7所示。尽管严重的运动模糊（上排）给快速手部运动带来的挑战会导致高频边缘细节退化，但我们的方法仍能成功恢复手部的全局姿态并保持结构完整性。此外，在严重遮挡的情况下（下排），我们的方法也展现出了卓越的稳定性。当手部被大型物体严重遮挡时，我们的模型能够有效地利用稀疏的视觉线索以及学习到的先验知识。
### 4.8 局限性与未来工作
与HaMeR [^28]和POEM [^44]等前沿方法类似，我们的框架目前在无约束场景下仍依赖现成的2D检测器（如ViTPose [^41]）来进行手部定位和裁剪。此外，由于估计出的相机参数定义在标准化坐标空间中，从未经校准的图像中恢复手腕的绝对度量深度仍然是一个未解决的难题。从未经校准的视图中恢复度量尺度是未来研究的一个有前景的方向。除了孤立的手部重建外，我们的大规模合成数据还提供了丰富的几何标注，而这些标注在现实世界中的手-物体交互数据集中往往十分稀缺。我们希望所提出的HGGT框架以及这个数据集能够为未来更广泛任务的研究做出实质性贡献，比如机器人抓取和人体-物体交互重建。
## 5 结论
在这项工作中，我们推出了首个无需校准的多视角手部重建前馈框架。在我们的混合数据训练策略以及新创建的大规模多视角手-物体渲染合成数据集的支持下，我们的模型展现出了出色的鲁棒性和泛化能力，在未校准场景下表现优于现有前沿方法。
---
Interhand（8个视角）
Oakink（4个视角）
HO3D（5个视角）
Fig. 6: Qualitative comparison on InterHand2.6M, OakInk and HO3D. We compare our method against baselines on open benchmarks. Rows correspond to: Input RGB, Ground Truth, (a) Cameras Predicted by VGGT + POEM $_{v2}$-large, (b) POEM $_{v2}$-large, (c) Cameras Predicted by Ours + POEM $_{v2}$-large, and (d) Ours (Full).
---
Arctic场景下的极端遮挡案例
Fig. 7: Robustness in Extreme Scenarios. Our method maintains reasonable reconstruction quality even under challenging conditions, such as severe motion blur (top) and heavy object occlusion where the right hand is visible in only 2 out of 8 views (bottom).
---
## 参考文献
[^1]: Chao, Y.W., Yang, W., Xiang, Y., Molchanov, P., Handa, A., Tremblay, J., Narang, Y.S., Van Wyk, K., Iqbal, U., Birchfield, S., et al.: Dexycb: A benchmark for capturing hand grasping of objects. In: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. pp. 9044–9053 (2021)
[^2]: Chen, P., Chen, Y., Yang, D., Wu, F., Li, Q., Xia, Q., Tan, Y.: I2uv-handnet: Image-to-uv prediction network for accurate and high-fidelity 3d hand mesh modeling. In: Proceedings of the IEEE/CVF international conference on computer vision. pp. 12929–12938 (2021)
[^3]: Chen, R., Han, S., Xu, J., Su, H.: Point-based multi-view stereo network. In: ICCV (2019)
[^4]: Chen, X., Liu, Y., Ma, C., Chang, J., Wang, H., Chen, T., Guo, X., Wan, P., Zheng, W.: Camera-space hand mesh recovery via semantic aggregation and adaptive 2d-1d registration. In: CVPR (2021)
[^5]: Chen, Y., Chen, X., Xue, Y., Chen, A., Xiu, Y., Pons-Moll, G.: Human3r: Everyone everywhere all at once. arXiv preprint arXiv:2510.06219 (2025)
[^6]: Choi, H., Moon, G., Lee, K.M.: Pose2mesh: Graph convolutional network for 3d human pose and mesh recovery from a 2d human pose. In: European Conference on Computer Vision. pp. 769–787. Springer (2020)
[^7]: Deitke, M., Schwenk, D., Salvador, J., Weihs, L., Michel, O., VanderBilt, E., Schmidt, L., Ehsani, K., Kembhavi, A., Farhadi, A.: Objaverse: A universe of annotated 3d objects. In: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. pp. 13142–13153 (2023)
[^8]: Fan, Z., Taheri, O., Tzionas, D., Kocabas, M., Kaufmann, M., Black, M.J., Hilliges, O.: ARCTIC: A dataset for dexterous bimanual hand-object manipulation. In: Proceedings IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (2023)
[^9]: Fang, H.S., Li, J., Tang, H., Xu, C., Zhu, H., Xiu, Y., Li, Y.L., Lu, C.: Alphapose: Whole-body regional multi-person pose estimation and tracking in real-time. IEEE transactions on pattern analysis and machine intelligence 45(6), 7157–7173 (2022)
[^10]: Galliani, S., Lasinger, K., Schindler, K.: Massively parallel multiview stereopsis by surface normal diffusion. In: Proceedings of the IEEE international conference on computer vision. pp. 873–881 (2015)
[^11]: Gao, D., Xiu, Y., Li, K., Yang, L., Wang, F., Zhang, P., Zhang, B., Lu, C., Tan, P.: DART: Articulated Hand Model with Diverse Accessories and Rich Textures. In: Thirty-sixth Conference on Neural Information Processing Systems Datasets and Benchmarks Track (2022)
[^12]: Ge, L., Ren, Z., Li, Y., Xue, Z., Wang, Y., Cai, J., Yuan, J.: 3d hand shape and pose estimation from a single rgb image. In: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. pp. 10833–10842 (2019)
[^13]: Grauman, K., Westbury, A., Byrne, E., Chavis, Z., Furnari, A., Girdhar, R., Hamburger, J., Jiang, H., Liu, M., Liu, X., et al.: Ego4d: Around the world in 3,000 hours of egocentric video. In: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. pp. 18995–19012 (2022)
## [^14]: Gu, X., Fan, Z., Zhu, S., Dai, Z., Tan, F., Tan, P.: Cascade cost volume for high-resolution multi-view stereo and stereo matching. In: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. pp. 2495–2504 (2020)
---
[^15]: Hampali, S., Rad, M., Oberweger, M., Lepetit, V.: Honnotate: A method for 3d annotation of hand and object poses. In: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. pp. 3196–3206 (2020)
[^16]: Hampali, S., Sarkar, S.D., Rad, M., Lepetit, V.: Keypoint transformer: Solving joint identification in challenging hands and object interactions for accurate 3d pose estimation. In: CVPR (2022)
[^17]: Hasson, Y., Varol, G., Tzionas, D., Kalevatykh, I., Black, M.J., Laptev, I., Schmid, C.: Learning joint reconstruction of hands and manipulated objects. In: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. pp. 11807–11816 (2019)
[^18]: Jin, S., Xu, L., Xu, J., Wang, C., Liu, W., Qian, C., Ouyang, W., Luo, P.: Whole-body human pose estimation in the wild. In: European Conference on Computer Vision. pp. 196–214. Springer (2020)
[^19]: Kong, D., Zhang, L., Chen, L., Ma, H., Yan, X., Sun, S., Liu, X., Han, K., Xie, X.: Identity-aware hand mesh estimation and personalization from RGB images. In: European Conference on Computer Vision. pp. 536–553. Springer (2022)
[^20]: Kulon, D., Guler, R.A., Kokkinos, I., Bronstein, M.M., Zafeiriou, S.: Weakly-supervised mesh-convolutional hand reconstruction in the wild. In: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. pp. 4990–5000 (2020)
[^21]: Leroy, V., Cabon, Y., Revaud, J.: Grounding image matching in 3d with mast3r (2024)
[^22]: Li, M., Li, P., Zhang, Z., Lu, J., Zhao, C., Xue, W., Liu, Q., Peng, S., Zhang, W., Luo, W., et al.: Unish: Unifying scene and human reconstruction in a feed-forward pass. arXiv preprint arXiv:2601.01222 (2026)
[^23]: Loshchilov, I., Hutter, F.: Decoupled weight decay regularization. arXiv preprint arXiv:1711.05101 (2017)
[^24]: Moon, G., Lee, K.M.: I2l-meshnet: Image-to-lixel prediction network for accurate 3d human pose and mesh estimation from a single rgb image. In: European Conference on Computer Vision. pp. 752–768. Springer (2020)
[^25]: Moon, G., Yu, S.I., Wen, H., Shiratori, T., Lee, K.M.: Interhand2.6m: A dataset and baseline for 3d interacting hand pose estimation from a single rgb image. In: European Conference on Computer Vision (ECCV) (2020)
[^26]: Oquab, M., Darcet, T., Moutakanni, T., Vo, H., Szafraniec, M., Khalidov, V., Fernandez, P., Haziza, D., Massa, F., El-Nouby, A., et al.: Dinov2: Learning robust visual features without supervision. arXiv preprint arXiv:2304.07193 (2023)
[^27]: Panteleris, P., Oikonomidis, I., Argyros, A.: Using a single rgb frame for real time 3d hand pose estimation in the wild. In: 2018 IEEE winter conference on applications of computer vision (WACV). pp. 436–445. IEEE (2018)
[^28]: Pavlakos, G., Shan, D., Radosavovic, I., Kanazawa, A., Fouhey, D., Malik, J.: Reconstructing hands in 3d with transformers. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 9826–9836 (2024)
[^29]: Pei, S., Chen, A., Lee, J., Zhang, Y.: Hand interfaces: Using hands to imitate objects in ar/vr for expressive interactions. In: Proceedings of the 2022 CHI conference on human factors in computing systems. pp. 1–16 (2022)
[^30]: Potamias, R.A., Zhang, J., Deng, J., Zafeiriou, S.: Wilor: End-to-end 3d hand localization and reconstruction in-the-wild. In: Proceedings of the Computer Vision and Pattern Recognition Conference. pp. 12242–12254 (2025)
### [^31]: Qi, J., Ma, L., Cui, Z., Yu, Y.: Computer vision-based hand gesture recognition for human-robot interaction: a review. Complex & Intelligent Systems 10(1), 1581–1606 (2024)
---
[^32]: Romero, J., Tzionas, D., Black, M.J.: Embodied hands: Modeling and capturing hands and bodies together. arXiv preprint arXiv:2201.02610 (2022)
[^33]: Schönberger, J.L., Zheng, E., Frahm, J.M., Pollefeys, M.: Pixelwise view selection for unstructured multi-view stereo. In: Computer Vision–ECCV 2016: 14th European Conference, Amsterdam, The Netherlands, October 11-14, 2016, Proceedings, Part III 14. pp. 501–518. Springer (2016)
[^34]: Simon, T., Joo, H., Matthews, I., Sheikh, Y.: Hand keypoint detection in single images using multiview bootstrapping. In: Proceedings of the IEEE conference on Computer Vision and Pattern Recognition. pp. 1145–1153 (2017)
[^35]: Tang, Z., Fan, Y., Wang, D., Xu, H., Ranjan, R., Schwing, A., Yan, Z.: Mv-dust3r+: Single-stage scene reconstruction from sparse views in 2 seconds. arXiv preprint arXiv:2412.06974 (2024)
[^36]: Wang, J., Chen, M., Karaev, N., Vedaldi, A., Rupprecht, C., Novotny, D.: Vggt: Visual geometry grounded transformer. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (2025)
[^37]: Wang, Q., Zhang, Y., Holynski, A., Efros, A.A., Kanazawa, A.: Continuous 3d perception model with persistent state (2025)
[^38]: Wang, S., Leroy, V., Cabon, Y., Chidlovskii, B., Revaud, J.: Dust3r: Geometric 3d vision made easy. In: CVPR (2024)
[^39]: Wang, Y., Ye, J., Xiao, C., Zhong, Y., Tao, H., Yu, H., Liu, Y., Yu, J., Ma, Y.: Dexh2r: A benchmark for dynamic dexterous grasping in human-to-robot handover. In: Proceedings of the IEEE/CVF International Conference on Computer Vision. pp. 12702–12712 (2025)
[^40]: Xiang, D., Joo, H., Sheikh, Y.: Monocular total capture: Posing face, body, and hands in the wild. In: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. pp. 10965–10974 (2019)
[^41]: Xu, Y., Zhang, J., Zhang, Q., Tao, D.: ViTPose: Simple vision transformer baselines for human pose estimation. In: Advances in Neural Information Processing Systems (2022)
[^42]: Yang, J., Sax, A., Liang, K.J., Henaff, M., Tang, H., Cao, A., Chai, J., Meier, F., Feiszli, M.: Fast3r: Towards 3d reconstruction of 1000+ images in one forward pass. arXiv preprint arXiv:2501.13928 (2025)
[^43]: Yang, L., Li, K., Zhan, X., Wu, F., Xu, A., Liu, L., Lu, C.: Oakink: A large-scale knowledge repository for understanding hand-object interaction. In: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. pp. 20953–20962 (2022)
44. Yang, L., Zhong, L., Zhu, P., Zhan, X., Kong, J., Xu, J., Lu, C.：基于点嵌入变换器的多视角手部重建（2024年），
[^45]: Yao, Y., Luo, Z., Li, S., Fang, T., Quan, L.: Mvsnet: Depth inference for unstructured multi-view stereo. In: Proceedings of the European conference on computer vision (ECCV). pp. 767–783 (2018)
[^46]: Zhang, H., Christen, S., Fan, Z., Hilliges, O., Song, J.: GraspXL: Generating grasping motions for diverse objects at scale. In: European Conference on Computer Vision (ECCV) (2024)
47. Zhang, S., Wang, J., Xu, Y., Xue, N., Rupprecht, C., Zhou, X., Shen, Y., Wetzstein, G.：Flare：从未经校准的稀疏视图中快速估计几何、外观和相机参数（2025年），
#### [^48]: Zhang, X., Li, Q., Mo, H., Zhang, W., Zheng, W.: End-to-end hand mesh recovery from a monocular rgb image. In: Proceedings of the IEEE/CVF international conference on computer vision. pp. 2354–2364 (2019)
---
[^49]: Zhou, Y., Habermann, M., Xu, W., Habibie, I., Theobalt, C., Xu, F.: Monocular real-time hand shape and motion capture using multi-modal data. In: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. pp. 5346–5355 (2020)
[^50]: Zimmermann, C., Brox, T.: Learning to estimate 3d hand pose from single RGB images. In: Proceedings of the IEEE international conference on computer vision. pp. 4903–4911 (2017)
#### [^51]: Zimmermann, C., Ceylan, D., Yang, J., Russell, B., Argus, M., Brox, T.: Freihand: A dataset for markerless capture of hand pose and shape from single rgb images. In: Proceedings of the IEEE/CVF international conference on computer vision. pp. 813–822 (2019)
---
#### HGGT：基于未经校准图像的鲁棒且灵活的三维手部网格重建补充材料
### A 实现细节
为了推动未来的研究并确保我们工作的可复现性，我们承诺将整个流程开源。我们将公开发布：
– 我们模型的完整训练和评估代码。
– 本工作中介绍的大规模多视角合成数据集。
– 用于生成该数据集的数据生成流程。
#### A.1 网络架构
我们的多视角3D手部重建框架基于视觉几何基础变换器（VGGT）架构。该框架的骨干网络采用DINOv2 ViT-L/14 [^26] 编码器进行图像块嵌入，随后接入包含24个变换器块的VGGT聚合器。该聚合器的嵌入维度为1024，拥有16个注意力头，且MLP扩展比为4.0。它利用帧级与全局级令牌之间的交替注意力机制，并采用旋转位置嵌入（RoPE频率=100）。每个视角均保留4个注册令牌，以及相机令牌和图像块令牌。针对手部姿态估计，我们引入了统一的交叉注意力优化模块；该模块接收手部令牌、相机令牌以及来自聚合器的拼接图像特征，并通过4个交叉注意力块进行处理，每个块拥有16个注意力头和4.0的MLP比率。
#### A.2 训练设置
除了正文中所详述的优化参数外，我们还采用BF16自动混合精度（AMP）的混合精度训练方式以提升内存利用效率。此外，为确保训练稳定性，我们对所有模块应用梯度裁剪，其L2范数阈值设为1.0。
#### A.3 损失权重
我们的多任务损失函数结合了多个目标，并为其设置了经过精心调整的权重。在手部姿态估计方面，手部损失的权重设为1.0，其中姿态参数的子权重为0.1，形状系数的子权重为0.05，3D关键点的子权重为5.0，单视角2D关键点的子权重为1.0，多视角2D关键点一致性的子权重则达到10.0。相机损失的权重设为5.0。关键在于，我们在4个交叉注意力块中均引入了中间监督机制：手部损失与相机损失会在每个块的输出处进行计算，随后通过呈指数增长的阶段权重进行聚合，以突出后期优化阶段的重要性。
---
相比之下，2D投影损失仅应用于最后一个块的输出，这样既能保证最终的几何一致性，又不会干扰中间特征的学习过程。
### B 额外的消融研究
在本节中，我们提供了进一步的消融研究，以验证网络架构与训练策略中的特定设计选择。定量结果汇总于表3中。
Table 3: Additional ablation studies on the intermediate supervision strategy, projection loss placement, and the number of cross-attention blocks. PA-MPVPE and PA-MPJPE are reported in millimeters (mm).
| Configuration | PA-MPVPE $\downarrow$ | PA-MPJPE $\downarrow$ | PA-AUC $_{{V50}}$ $\uparrow$ | PA-AUC $_{{J50}}$ $\uparrow$ |
| Intermediate Supervision Strategy |
| No Intermediate Sup. | 3.52 | 3.53 | 0.92 | 0.92 |
| Constant Weights | 3.38 | 3.37 | 0.93 | 0.92 |
| Exponential (Ours) | 3.30 | 3.33 | 0.93 | 0.93 |
| Number of Cross-Attention Blocks |
| 2 Blocks | 4.51 | 4.55 | 0.87 | 0.86 |
| 3 Blocks | 3.67 | 3.70 | 0.90 | 0.90 |
| 4 Blocks (Ours) | 3.30 | 3.33 | 0.93 | 0.93 |
| Placement of 2D Projection Loss |
| All Blocks | 3.47 | 3.45 | 0.91 | 0.91 |
| Final Block Only (Ours) | 3.30 | 3.33 | 0.93 | 0.93 |
#### B.1 中间监督策略
如正文所述，我们在4个交叉注意力块中应用了呈指数增长阶段权重的中间监督机制。为了验证这一设计，我们将该方法与两种基线进行了比较：（1）无中间监督，即仅对最终输出应用损失；（2）恒定权重，即所有中间块采用相同的损失权重（即1.0）。如表3所示，呈指数增长的策略取得了最佳性能。恒定权重往往会过度约束早期层，而我们的策略能够有效引导渐进式优化过程，同时不会干扰早期的特征提取。
#### B.2 交叉注意力块的数量
我们还研究了优化模块中交叉注意力块数量所产生的影响。我们测试了包含2个、3个和4个块的配置。如
---
表3所示，增加块的数量能够提升手部重建的精确度，这证明了我们方法的可扩展性。
#### B.3 2D投影损失的放置位置
我们训练设置中的一个关键细节是：仅对最后一个模块的输出应用二维投影损失。我们通过将其与另一种变体进行对比来验证这一点，那种变体会对所有中间模块应用二维投影损失。表3中的结果表明，将投影损失应用于所有层会降低性能。这证实了我们的假设：在早期层中强制严格的二维几何一致性会干扰中间的三维特征学习；而仅在最终阶段应用该损失则能确保最终对齐，且不会造成特征失真。
### C 更多定性可视化结果
本节我们提供了额外的定性结果，以进一步展示所提方法的有效性与鲁棒性。这些丰富的可视化结果展现了我们的模型在复杂多样且具有挑战性的场景中，准确预测相机位姿以及重建手物交互的能力。
#### C.1 公开基准测试
在本小节中，我们在几个常用的公开基准测试上进行了全面的视觉对比。具体而言，图8分别展示了ARCTIC和DexYCB数据集上的定性结果。在这些具有挑战性的场景中，与基线方法相比，我们的完整流程始终能实现更好的对齐效果以及更精确的三维重建。
此外，图11、图9、图10、图12和图13提供了公开数据集上的额外定性可视化结果。这些示例进一步证明了我们的模型在处理多样化场景时的鲁棒性。
#### C.2 真实场景视频推理
为了进一步证明我们的方法在现实场景中的实用性，我们在连续的真实场景视频序列上对其进行了评估。如图14所示，这些视频是在仅由两个随机放置的智能手机组成的简易设备上拍摄的。
给定输入视频后，我们的模型会逐帧处理以预测三维手部重建结果。为了凸显我们方法的鲁棒性，我们将结果与POEM $_{v2}$-large进行了对比。由于POEM $_{v2}$-large严格要求校准后的相机参数，因此我们向其提供由我们的方法预测的相机参数以便开展对比。三个不同演示序列上的定性对比结果分别展示在图15、图16和图17中。动态可视化结果可查看我们项目页面上的视频。
---
值得注意的是，我们的HGGT推理效率极高，每帧仅需0.23秒。不过，当前流程依赖外部手部检测器来获取初始边界框，这会使每帧的处理时间额外增加约1.2秒。我们承认这种依赖性是当前系统的局限性，未来计划通过集成更高效、端到端的检测模块来解决这一问题，从而进一步加快整个流程的速度。
---
Fig. 8: Qualitative comparison on the DexYCB dataset. We compare our method against baselines on DexYCB dataset. Rows correspond to: Input, Ground Truth, (a) Cameras Predicted by VGGT + POEM $_{v2}$-large, (b) POEM $_{v2}$-large, (c) Cameras Predicted by Ours + POEM $_{v2}$-large, and (d) Ours (Full).
---
输入
预测相机参数
预测手部姿态
真实手部姿态及
输入
真实手部姿态 预测手部姿态
Fig. 9: Additional qualitative results on the DexYCB [^1] dataset.
---
输入
预测相机参数
预测手部姿态
真实手部姿态及
预测相机参数 输入
真实手部姿态 预测手部姿态
Fig. 10: Additional qualitative results on the Arctic [^8] dataset.
---
Fig. 11: Additional qualitative results on the OakInk [^43] dataset.
---
真实手部姿态 预测手部姿态 预测相机参数
GT手预测 手预测 摄像头输入 GT手预测 手预测 摄像头输入
Fig. 12: Additional qualitative results on the HO3D [^15] dataset.
---
Fig. 13: Additional qualitative results on the InterHand2.6M [^25] dataset.
---
Demo 1
Demo 2
Demo 3
Fig. 14: Camera settings for in-the-wild video capture. The videos are recorded using two smartphones placed at random positions without prior calibration.
Demo 1:
Frame 10
Frame 50
Frame 100
Frame 150
Frame 300
Fig. 15: Qualitative comparison with POEM $_{v2}$-large on in-the-wild video sequence (Demo 1).
---
Demo 2:
Fig. 16: Qualitative comparison with POEM $_{v2}$-large on in-the-wild video sequence (Demo 2).
---
Demo 3:
Fig. 17: Qualitative comparison with POEM $_{v2}$-large on in-the-wild video sequence (Demo 3).