# GeoHand：利用先验几何知识实现单目3D手部重建
林伟权 $^{1,2}$ 胡耀清 $^{2}$ 戴良辰 $^{3,2}$ 唐旭 $^{1}$ 陈星宇 $^{2}$
$^{1}$西安电子科技大学人工智能学院
$^{2}$中关村学院
$^{3}$北京理工大学自动化学院
Figure 1. Comparison of 3D reconstruction pipelines. Unlike pure RGB or RGB-D methods, GeoHand extracts high-fidelity spatial priors from a foundational monocular geometry model to recover accurate 3D hands under severe occlusions. The right panel contrasts depth maps from localized hand crops (third row), the actual input format for GeoHand, highlighting that our prior yields noise-free, smoothly interpolated depth even on tight crops, bypassing missing values typical of raw sensor data.
## 摘要
单目3D手部重建本质上是一个几何问题，但仅靠RGB外观特征往往难以解决由自遮挡和手物交互引起的严重歧义。虽然引入深度信息可以明确提供空间线索，但传感器采集的原始深度图存在大量噪声且不完整，限制了其在精细手部重建中的应用。为填补这一缺口，我们提出了GeoHand框架，该框架能够从已训练好的基础单目几何估计器（MoGe2）中提取高质量的几何先验。考虑到这些先验是针对通用场景设计的，我们引入了基于地图级别的GeoAdapter来对空间特征进行重新校准，使其能适配精细的手部重建需求。此外，为了在不干扰固有RGB外观特征的前提下系统性地整合这些适配后的先验，我们采用了门控跨模态令牌融合策略。最后，为确保精确的局部关节定位，我们设计了关键点查询迭代细化器（KQIR），该模块利用投影后的关节位置来查询具备几何感知能力的图像特征，从而实现空间校正。通过将全局几何歧义消除与局部细化整合到统一流程中，GeoHand在FreiHAND、DexYCB和HO3Dv3数据集上均取得了顶尖的性能，尤其是在严重遮挡和手物交互场景下表现尤为突出。
## 1 引言
## 1 引言
从单张 RGB 图像中恢复人手的 3D 姿态和形状是计算机视觉中一项基本且长期存在的挑战。准确的 3D 手部重建是众多下游应-
---
用，范围从沉浸式增强现实和虚拟现实（AR/VR）体验，到复杂的人机交互（HCI）和具身机器人技术。与刚性物体不同，人手具有高度铰接性，拥有众多自由度。因此，从二维投影估计三维手部参数本质上是病态的。单张 RGB 图像所能提供的关于度量深度、全局尺度以及自遮挡手指复杂拓扑关系的证据非常有限 [^1] [^2] [^3] [^4]。这种固有的深度模糊性和普遍存在的自遮挡，使得精确重建三维手部网格比二维关键点定位困难得多。
近年来，主流的研究范式侧重于通过扩大Transformer主干网络的容量、设计更复杂的解码器，或利用海量训练数据来提升单目重建性能。早期的开创性方法试图利用卷积神经网络[^5] [^6] [^7]或直接回归参数化MANO模型[^8] [^9] [^10] [^11]，亦或是借助大规模合成数据生成技术[^12]来实现这一目标。为了捕捉2D像素与3D网格之间复杂的非线性映射关系，后续方法引入了图卷积网络[^13] [^14] [^15] [^16]以及基于注意力机制的架构[^17]。最近，视觉Transformer（ViT）[^18] [^19] [^20]的出现引发了研究范式的转变。HaMeR[^3]和WiLoR[^21]等模型利用大规模Transformer主干网络来捕捉远距离的视觉依赖关系[^22] [^23] [^24]；而SimpleHand[^25]则表明，精心设计的令牌生成机制能够实现出色的精度与效率平衡。尽管算法层面取得了令人瞩目的进展，但核心瓶颈依然存在：这些方法迫使主干网络仅依靠2D外观线索来隐式推断3D几何信息。
为缓解仅依赖RGB输入所带来的几何歧义问题，另一条研究方向聚焦于多模态或几何感知推理。利用深度图或IMU测量等辅助信号，历来是解决尺度与遮挡歧义最直接的方式[^26] [^27] [^28]。然而，显式的多模态处理流程面临两大实际挑战。首先，它们严重依赖于配对的多模态数据集（如同步采集的RGB-D数据），而这类数据集的大规模获取受限于高昂的构建成本[^29] [^30] [^31]；此外，推理阶段需要显式的多模态输入也限制了其通用部署能力。其次，其融合策略[^32] [^33] [^34]通常涉及极为复杂的点云或体素对齐操作，从而增加了优化难度。近期，基础性的单目深度与几何估计模型的发展为突破这些障碍提供了希望。Depth Anything[^35]和MoGe2[^36]等通用模型展现出从单张RGB图像中直接提取密集且具备度量尺度的3D几何结构的能力。关键在于，正如图1所示，即使在手部区域的局部裁剪场景下，MoGe2生成的几何表示也比原始深度传感器更具优势。这一能力引出了一个关键问题：我们能否在不牺牲仅依赖RGB图像进行推理的简洁性的前提下，将这些强大的、已训练好的几何先验无缝融入手部重建流程中？
在本文中，我们提出了GeoHand框架来回答这一问题。该框架能够充分利用已有的几何知识以实现单目3D手部重建。GeoHand保留了标准的单RGB输入流程，但通过使用冻结的单目几何模型（MoGe2）来系统性地丰富其内部表征。我们发现，简单地将几何特征拼接起来往往会导致特征错位，因此引入了轻量级的、基于映射层的GeoAdapter模块。该模块会在特征标记化之前对中间几何特征图进行自适应校准。随后，通过门控跨模态特征融合策略，将生成的几何特征整合到主Transformer骨干网络中。
不过，一个关键挑战依然存在：全局几何先验虽然能减少粗略的深度歧义，但手部网格的重建误差往往集中在手指尖和指间遮挡等高度复杂的局部结构处。为解决这一问题，我们提出了关键点查询迭代细化器（KQIR）。KQIR并非作为一个独立的后处理模块，而是以GeoAdapter产生的几何感知图像表征及特征融合结果为基础。它利用当前的3D关节作为结构化查询，从几何感知特征中提取局部证据，从而将全局几何歧义消除转化为有针对性的局部关节校正。
综上所述，我们的贡献可归纳如下：
- 我们提出了GeoHand，这是一种新颖的单目手部重建框架，能够有效利用已有的几何知识，弥合基于RGB的外观特征与基础空间先验之间的差距。
- 我们引入了带有门控特征融合机制的GeoAdapter，用于自适应提取和对齐冻结的几何特征；同时还设计了轻量级的关键点查询迭代细化器（KQIR），利用这些几何感知特征来进行局部关节精细化。
• 在FreiHAND、DexYCB和HO3Dv3数据集上的大量实验表明，GeoHand取得了最先进的重建性能。尤其是在物体严重遮挡的情况下，尽管我们所用的标注数据量少了一个数量级，该模型仍表现出色。
---
在极具挑战性的HO3Dv3基准测试中，其性能优于当前同类的大规模建模范式。
### 2 相关工作
### 2.1 单目RGB手部重建
从单张RGB图像中估计3D手部姿态的研究历来分为无模型和有模型两类。无模型方法直接回归3D关节坐标[^37] [^38] [^39] [^40]，而有模型方法则回归MANO之类的参数化模型[^5]以确保解剖结构的合理性[^9] [^41] [^42]。相关架构已从ResNet发展到图卷积网络[^15] [^13] [^43] [^44]，以及解耦表征学习框架[^45]。其他技术则探索密集的像素到表面映射[^46] [^47]或概率连续分布[^48]。近期，MobRecon[^2]、HandOccNet[^49]、H2ONet[^50]、HaMeR[^3]和WiLoR[^21]等模型利用ViT建立长距离空间关联，显著提升了在高度遮挡的野外图像中的鲁棒性。然而，这些仅依赖RGB的Transformer模型本质上仍依靠外观线索来隐式推断3D深度变化，进而完成手部姿态估计。
### 2.2 多模态与几何感知方法
为了缓解RGB图像固有的歧义性，引入显式的三维空间信息被证明非常有效。RGB-D传感器提供的深度图能够直接提供几何观测数据 [^26] [^51]。在手-物体交互场景中，利用物体几何特征作为显式约束的方法已在DexYCB [^27]和HO3Dv3 [^28]中得到了充分探索；此外，诸如InterHand2.6M [^52]、H2O [^53]、OakInk [^54]以及DexGraspNet [^55]等大型交互手部数据集也采用了这类方法。多模态融合框架则利用了多种信号，包括物理接触信息 [^56] [^57]、点云 [^32] [^58]、事件相机 [^59]以及跨模态自编码器 [^60]。
然而，这些系统严重依赖训练阶段配对的多模态标注数据。这种依赖性限制了算法的泛化能力，因为大规模硬件采集的数据集极难构建。此外，如图1所示，原始传感器深度数据常常存在噪声和缺失值，这会影响其重建精细手部结构的可靠性。在推理阶段，需要显式的多模态输入也就意味着必须部署经过校准的辅助传感器，而且这类显式融合策略往往在算法上较为复杂且缺乏结构化。GeoHand则避开了多模态数据采集的严格要求以及跨模态对齐的复杂性。通过完全从单目RGB图像中提取高保真的几何先验，GeoHand无需牺牲仅使用RGB图像进行推理的灵活性与便捷性，就能提供可靠的结构引导。
## 2.3 用于三维视觉的单目几何先验
从单张RGB图像中估计深度与表面法线是场景理解的基石 [^61]。近年来，这一领域迅速发展，出现了Depth Anything [^35]等基础模型、Marigold [^62]等基于扩散的估计器，以及MoGe [^63]和MoGe2 [^36]等通用空间表示模型。虽然这些先验彻底革新了广泛的场景重建技术，但它们在关节手部网格恢复方面的应用仍未被充分探索。由于通用场景尺度与精细手部关节之间的域差异，简单地附加深度图往往会产生欠佳的结果 [^64] [^65]。GeoHand弥补了这一缺口：它不再局限于像素级的深度融合，而是从冻结的MoGe2骨干网络中提取中间结构特征，并通过GeoAdapter对其进行适配。借助轻量级的卷积重校准机制，GeoAdapter能够明确分离出背景中的手部特定几何结构并将其对齐。随后，适配后的语义几何特征会在紧凑的一维标记层面被系统性地融合。
### 3 方法
### 3.1 架构概述
给定裁剪后的RGB图像 $\mathbf{I} \in \mathbb{R}^{3 \times H \times W}$，GeoHand会预测MANO姿态参数 $\theta$、形状参数 $\beta$以及弱透视相机参数 $\mathbf{c}$，随后将其解码为3D关节 $\mathbf{J}$和网格顶点 $\mathbf{V}$。在我们的实现中，输入图像会被缩放至 $256 \times 192$，从而生成 $16 \times 12$ 的块网格。具体而言，RGB分支利用ViT-LTransformer中的嵌入模块来提取空间标记：
$$ \begin{array}{r}{\mathbf{X}_{\mathrm{r g b}}=\mathrm{P a t c h E m b e d}(\mathbf{I})+\mathbf{P}_{\mathrm{r g b}}\in\mathbb{R}^{B\times N\times D},}\end{array} $$
其中，B 表示批次大小，N 表示补丁标记的数量，D 表示标记的维度。
如图 2 所示，GeoHand 会与冻结的 MoGe2 几何估计器并行计算视觉特征。给定
---
Figure 2. Overall pipeline of GeoHand. The network extracts parallel appearance tokens and prior geometry features (adapted via GeoAdapter). These are integrated using a gated cross-modal token fusion strategy. Finally, a MANO decoder predicts a coarse mesh, which is subsequently refined using the Keypoint-Queried Iterative Refiner (KQIR).
处理后的图像 $\mathbf{I}$，我们直接从基础几何模型中提取中间几何特征图：
$$ \begin{array}{r}{\mathbf{F}_{\mathrm{g e o}}^{\mathrm{r a w}}=\mathcal{G}(\mathbf{\tilde{I}})\in\mathbb{R}^{B\times C_{g}\times H_{g}\times W_{g}},}\end{array} $$
其中 $\mathcal{G}$ 表示冻结的几何网络，$C_{g}$ 是其输出通道维度。这两个流构建了下游对齐所需的外观和几何表征。
### 3.2 通过 GeoAdapter 进行几何标记化
通用场景中的原始几何特征直接应用于局部手指结构时存在域差异。因此，我们在这些几何特征被压缩成一维序列之前，使用空间域中的 GeoAdapter 对其重新校准。该适配器采用由 $1 \times 1$ 和 $3 \times 3$ 卷积层（搭配 GroupNorm 和 GELU）组成的轻量级堆叠，来预测增强型侧特征：
$$ \mathbf{F}_{\mathrm{s i d e}}=\mathcal{A}(\mathbf{F}_{\mathrm{g e o}}^{\mathrm{r a w}})\in\mathbb{R}^{B\times C_{s}\times H_{g}\times W_{g}}. $$
此侧特征会与原始特征图沿通道维度拼接，从而形成适配后的表征：
$$ \mathbf{F}_{\mathrm{g e o}}^{\mathrm{a u g}}=\mathrm{C o n c a t}\left[\mathbf{F}_{\mathrm{g e o}}^{\mathrm{r a w}},\mathbf{F}_{\mathrm{s i d e}}\right]. $$
随后，增强后的几何图会被对齐到 ViT 特征布局中：它被池化到 RGB 补丁网格 $(H_p, W_p)$ 上，并投影到隐藏标记维度 D。经过展平并加入可学习的网格坐标嵌入 $\mathbf{P}_{\text{geo}}$ 后，我们得到：
$$ \begin{array}{r}{\hat{\mathbf{X}}_{\mathrm{g e o}}=\mathrm{F l a t t e n}(\mathrm{C o n v}_{1\times1}(\mathrm{P o o l}(\mathbf{F}_{\mathrm{g e o}}^{\mathrm{a u g}})))+\mathbf{P}_{\mathrm{g e o}}.}\end{array} $$
### 3.3 门控跨模态标记融合
当几何模型在运动模糊或分布外条件下存在不确定性时，直接合并几何标记和 RGB 标记可能会降低性能。因此，我们引入了门控残差标记融合层。对于每个标记，我们首先通过将拼接后的 RGB 和几何标记投影回外观标记空间来计算残差偏移：
$$ \begin{array}{r}{\Delta\mathbf{x}^{(i)}=\mathrm{P r o j}\Big([\mathrm{L a y e r N o r m}(\mathbf{x}_{\mathrm{r g b}}^{(i)});\mathrm{L a y e r N o r m}(\hat{\mathbf{x}}_{\mathrm{g e o}}^{(i)})]\Big).}\end{array} $$
其中，Proj 被实现为两层多层感知机（MLP），用于将拼接后的特征映射回外观标记空间的约束条件。接着，我们应用可学习的门控 g 来控制注入的几何信息量：
$$ \mathbf{x}_{\mathrm{f u s e}}^{(i)}=\mathbf{x}_{\mathrm{r g b}}^{(i)}+\mathrm{s i g m o i d}(g)\cdot\Delta\mathbf{x}^{(i)}. $$
---
融合后的标记 $X_{\mathrm{fuse}}$ 会由剩余的主干模块 B 处理，并被重塑为具备几何感知能力的图像特征图：
$$ \mathbf{F}_{\mathrm{i m g}}=\mathrm{R e s h a p e}\big(\mathcal{B}(\mathbf{X}_{\mathrm{f u s e}})\big)\in\mathbb{R}^{B\times D\times H_{p}\times W_{p}}. $$
该特征图就是供下游解码器和细化器使用的统一几何感知表征。
### 3.4 采用 KQIR 细化的 MANO 解码
特征图 $F_{img}$ 首先会被基于Transformer的MANO解码器处理，以预测粗略的手部估计结果：
$$ (\mathbf{V}^{(0)},\mathbf{J}^{(0)})=\mathrm{M A N O}(\boldsymbol{\theta}^{(0)},\boldsymbol{\beta}^{(0)}). $$
虽然标记融合在很大程度上解决了全局深度歧义问题，但在高度关节化的局部区域（如自遮挡的指尖和复杂的接触边界）往往仍存在误差。由于这些区域的二维外观被严重遮挡，粗略关节的空间估计通常具有较高的位置不确定性。为了恢复精确的局部关节姿态，必须迭代修正这些不确定区域周围的几何证据。因此，我们引入了关键点查询迭代细化器（KQIR），它明确利用当前的粗略三维关节预测作为局部查询，从统一的几何感知特征图中获取细粒度的空间证据。
在细化步骤 t 中，当前的三维关节会被投影到二维平面上，记为 $\mathbf{U}^{(t-1)} = \Pi(\mathbf{J}^{(t-1)}, \mathbf{c}^{(t-1)})$。对于每个关节 j，我们会利用其当前的三维位置和投影后的二维坐标来构建结构化查询：
$$ \mathbf{q}_{j}^{(t)}=\operatorname{M L P}\Big([\mathbf{J}_{j}^{(t-1)};\mathbf{U}_{j}^{(t-1)}]\Big)\in\mathbb{R}^{d_{q}}. $$
将所有关节堆叠起来便得到查询矩阵$\mathbf{Q}_{\text{joint}}^{(t)} \in \mathbb{R}^{B \times 21 \times d_q}$。为了应用交叉注意力机制，我们将图像特征图展平为标记$\mathbf{X}_{\text{img}} = \text{Flatten}(\mathbf{F}_{\text{img}}) \in \mathbb{R}^{B \times N \times D}$，并将它们线性投影为键和值：
$$ \mathbf{K}_{\mathrm{i m g}}=\mathbf{X}_{\mathrm{i m g}}\mathbf{W}_{K},\quad\mathbf{V}_{\mathrm{i m g}}=\mathbf{X}_{\mathrm{i m g}}\mathbf{W}_{V}, $$
其中$\mathbf{W}_{K}$、$\mathbf{W}_{V}$是可学习的投影矩阵。随后计算结构化关节查询与图像标记之间的交叉注意力：
$$ \mathbf{H}^{(t)}=\mathrm{C r o s s A t t n}(\mathbf{Q}_{\mathrm{j o i n t}}^{(t)},\mathbf{K}_{\mathrm{i m g}},\mathbf{V}_{\mathrm{i m g}}). $$
经过注意力机制处理的关节特征会通过多层感知机预测残差参数更新量：
$$ \begin{array}{r}{(\Delta\mathbf{\boldsymbol{\theta}}^{(t)},\Delta\mathbf{\boldsymbol{\beta}}^{(t)},\Delta\mathbf{\boldsymbol{\mathbf{c}}}^{(t)})=\mathbf{M L P}_{\mathrm{r e f}}(\mathbf{H}^{(t)}).}\end{array} $$
将这些预测的残差加到上一步的估计值$(t-1)$上，就能得到更新后的参数$(\boldsymbol{\theta}^{(t)},\boldsymbol{\beta}^{(t)},\mathbf{c}^{(t)})$。这些参数会直接由MANO模型解码为更精细的几何形状：
$$ (\mathbf{V}^{(t)},\mathbf{J}^{(t)})=\mathrm{M A N O}(\boldsymbol{\theta}^{(t)},\boldsymbol{\beta}^{(t)}). $$
经过T次细化步骤后，最终预测结果即为$(\mathbf{V},\mathbf{J})=(\mathbf{V}^{(T)},\mathbf{J}^{(T)})$。
本质上，GeoAdapter和标记融合机制注入了先验几何信息以减少全局歧义，而KQIR则利用由此产生的几何感知特征，在误差仍存在的区域精准细化关节配置。
## 3.5 训练目标
近期表现优异的框架，如HaMeR [^3]和WiLoR [^21]，通常依赖对抗性训练——引入辅助判别网络来确保预测的MANO参数能构成解剖学上合理的手部模型。然而，在三维流形上进行对抗性优化极其不稳定，需要大量的超参数调优，还会大幅复杂化训练过程。GeoHand刻意避开了这种对抗性范式：我们限制几何解空间，并通过确定性的结构和参数损失函数（如明确的骨长和密集顶点约束）来强制满足物理合理性。这一策略在降低优化难度的同时，仍能防止出现不规则的关节运动。
整体训练目标是八个精心设计的损失项的加权和。这些损失项在概念上可分为三类：二维图像观测对齐、三维结构约束以及MANO参数正则化：
$$ \begin{aligned}\mathcal{L}_{total}&=\lambda_{2D}\mathcal{L}_{2D}+\lambda_{3D\_{j}oint}\mathcal{L}_{3D\_{j}oint}+\lambda_{bone}\mathcal{L}_{bone}\\&\quad+\lambda_{vert}\mathcal{L}_{vert}+\lambda_{global}\mathcal{L}_{global}\\&\quad+\lambda_{pose}\mathcal{L}_{pose}+\lambda_{betas}\mathcal{L}_{betas}+\lambda_{shape}\mathcal{L}_{shape}.\end{aligned} $$
二维图像对齐。为使重建的手部模型与图像观测严格对齐，$\mathcal{L}_{2D}$会计算通过预测相机参数得到的投影三维关节坐标与真实二维坐标之间的$L_{1}$距离。
三维结构约束。作为显式的几何先验，这类约束用于确保物理有效性。$\mathcal{L}_{3D\_joint}$
---
它会计算以根节点为参照的三维关节距离，针对复杂的末端关节，会给指尖赋予$2.5\times$的权重。$\mathcal{L}_{bone}$则用于约束骨骼段长度，防止出现不合理的拉伸现象。$\mathcal{L}_{vert}$将结构监督扩展到密集表面，通过最小化根对齐后的MANO顶点上的$L_{1}$距离来实现这一目的。
MANO参数正则化。为使输出在MANO空间内保持稳定，$\mathcal{L}_{global}$、$\mathcal{L}_{pose}$和$\mathcal{L}_{betas}$会通过Smooth-$L_{1}$损失，使预测的全局朝向、姿态旋转和形状beta值与真实值对齐。关键在于，$\mathcal{L}_{shape}$会对形状向量$L_{2}$的$\beta$范数进行正则化，从而有效防止振幅无限制地膨胀以及手部厚度超出分布范围的情况。
所有八个损失项的详细数学公式及精确的经验权重均在附录中给出。
### 4 实验
### 4.1 数据集与评估指标
我们在FreiHAND [^1]、DexYCB [^27]和HO3Dv3 [^28]三个数据集上评估GeoHand。这些基准测试涵盖了单目手部重建、严重物体遮挡以及复杂的手-物交互场景。按照惯例，我们报告标准的基准测试指标，包括PA-MPJPE、MPJPE、PA-MPVPE、MPVPE和F分数（详见附录）。
### 4.2 实现细节
GeoHand中的几何分支会提取经过冻结处理的MoGe2颈部特征，这些特征会先经由GeoAdapter（128个侧通道，深度为2）增强后再进行分词处理。GeoTokenizer会将增强后的几何图映射为$16 \times 12$格式的布局，并将其投影为1280维的词元。MANO解码器包含6层结构且需执行3次IEF迭代，随后由KQIR细化器进行2步优化。模型采用AdamW [^66]优化器在PyTorch [^67]框架下训练60个 epoch（基础学习率为$2 \times 10^{-5}$，批量大小为64）。
推理阶段，我们使用WiLoR [^21]提供的预训练手部检测器来提取边界框。需要特别指出的是，各对比方法所使用的训练数据规模存在巨大差异：包括HaMeR [^3]、WiLoR [^21]、Hamba [^68]和HandOS [^69]在内的近期最先进模型，均采用由HaMeR整理的规模超过270万张图像的超大统一数据集进行训练。相比之下，我们的混合数据
Table 1. Comparison on DexYCB.
| Method | PA-MPJPE $\downarrow$ | MPJPE $\downarrow$ | PA-MPVPE $\downarrow$ | MPVPE $\downarrow$ |
| MobRecon [^2] | 6.4 | 14.2 | 5.6 | 13.1 |
| HandOccNet [^49] | 5.8 | 14.0 | 5.5 | 13.1 |
| SimpleHand [^25] | 5.5 | 12.4 | 5.5 | 12.1 |
| MaskHand [^70] | 5.0 | 11.7 | 4.9 | 11.2 |
| HandOS [^69] | 5.2 | - | 5.0 | - |
| GeoHand (Ours) | 5.0 | 7.4 | 4.7 | 7.1 |
Table 2. Comparison on HO3Dv3. * denotes using mixed training data
| Method | PA-MPJPE $\downarrow$ | PA-MPVPE $\downarrow$ | F@5 $\uparrow$ | F@15 $\uparrow$ |
| SPMHand[^71] | 8.8 | 8.6 | 0.574 | 0.962 |
| MaskHand $^{{*}}$ [^70] | 7.0 | 7.0 | 0.663 | 0.984 |
| Hamba $^{{*}}$ [^68] | 6.9 | 6.8 | 0.681 | 0.982 |
| HandOS [^69] | 8.4 | 8.4 | 0.584 | 0.962 |
| HandOS $^{{*}}$ [^69] | 6.8 | 6.7 | 0.688 | 0.983 |
| GeoHand (Ours) | 7.4 | 7.1 | 0.654 | 0.980 |
| GeoHand $^{{*}}$ (Ours) | 6.7 | 6.4 | 0.697 | 0.987 |
模型——即GeoHand $^{*}$，仅基于Dex-YCB、HO3Dv3和FreiHAND这几个较小规模的数据集训练。在极具挑战性的HO3Dv3评估中，我们的训练数据量要少一个数量级（$\sim10\times$个样本），但GeoHand仍展现出卓越的鲁棒性，这充分体现了几何先验所带来的数据效率优势。
### 4.3 与现有最先进方法的对比
表1、表2和表3展示了GeoHand与MobRecon [^2]、SimpleHand [^25]、HaMeR [^3]、WiLoR [^21]、MaskHand [^70]以及HandOS [^69]等近期主流框架的定量对比结果。
DexYCB上的结果。GeoHand在DexYCB上的优势尤为明显，该数据集包含复杂的手-物交互场景且存在严重的深度歧义问题。如表1所示，GeoHand大幅降低了绝对误差，其MPJPE达到7.4毫米，MPVPE为7.1毫米，性能远超MaskHand（MPJPE为11.7毫米）和SimpleHand（MPJPE为12.4毫米）等先前的方法。
---
此外，它在Procrustes对齐指标上也创下了新纪录：PA-MPJPE为5.0毫米，PA-MPVPE为4.7毫米。这一显著差距证明：虽然仅依赖RGB的Transformer模型在物体抓取时难以恢复度量深度，但GeoHand所采用的冻结单目几何先验能够直接从图像平面中解析出全局尺度和根节点相对深度。
HO3Dv3上的结果。HO3Dv3是难度最高的测试集，其中因物体操作产生了大量的自遮挡和截断现象。如表2所示，我们基于混合数据训练的模型GeoHand*取得了顶尖的结果：PA-MPJPE为6.7毫米，PA-MPVPE为6.4毫米，F@5分数达到0.697。值得注意的是，这一提升不仅源于更精准的全局几何估计；一旦注入几何先验，KQIR便会利用这些先验，通过查询关节投影点周围的几何感知特征，来进一步优化不确定的指尖和指间区域。这种组合使得我们的方法能够超越HandOS和Hamba等基于大规模数据的当代模型。
FreiHAND上的实验结果。如表3所示，GeoHand在FreiHAND数据集上取得了极具竞争力的性能，其PA-MPJPE值为5.1毫米，F@15得分达到0.993。尽管在PA-MPJPE指标上，GeoHand比HandOS [^69]仅落后0.1毫米，但这种现象与数据集的特性直接相关。FreiHAND主要由背景杂乱程度低且无外部物体遮挡的干净单手图像组成。在此类场景中，MoGe2提供的显式度量深度和全局几何线索所带来的增益，相较于高度遮挡的交互场景而言较为有限。HandOS将通用物体检测器与姿态估计紧密集成在严格监督的端到端框架中，特别擅长从无遮挡的单手图像中提取结构特征。不过，相关指标表明，我们采用的解耦几何先验仍能有效补充外观特征，使得GeoHand能够媲美甚至超越WiLoR、HaMeR等近期推出的其他鲁棒架构，且无需依赖特定的边界框对齐操作。
### 4.4 定性结果
为了直观展示我们方法的优越性，我们选取HaMeR [^3]和WiLoR [^21]作为可视化对象，因为它们是极具代表性的、基于Transformer的最先进单目框架，且开源权重完善。
Table 3. Comparison on FreiHAND.
| Method | PA-MPJPE $\downarrow$ | PA-MPVPE $\downarrow$ | F@5 $\uparrow$ | F@15 $\uparrow$ |
| MobRecon [^2] | 5.7 | 5.8 | 0.784 | 0.986 |
| SimpleHand [^25] | 5.7 | 6.0 | 0.772 | 0.986 |
| HaMeR [^3] | 6.0 | 5.7 | 0.785 | 0.990 |
| WiLoR [^21] | 5.5 | 5.1 | 0.825 | 0.993 |
| MaskHand [^70] | 5.5 | 5.4 | 0.801 | 0.991 |
| Hamba [^68] | 5.8 | 5.5 | 0.798 | 0.991 |
| HandOS [^69] | 5.0 | 5.3 | 0.812 | 0.991 |
| GeoHand (Ours) | 5.1 | 5.4 | 0.815 | 0.993 |
如图3所示，3D网格关节的预测本质上依赖于精确的几何感知能力。上方行展示的是来自DexYCB的场景，下方行则呈现了HO3Dv3中的高度截断交互情况。在这些复杂的物体操控场景中，像HaMeR和WiLoR这类仅依赖RGB信息的方法往往难以推断出正确的空间关系。由于被抓取物体导致的严重自遮挡和手指截断现象，这些方法偶尔会生成明显错位的手指或扭曲的手部网格。相比之下，通过解锁并融合来自冻结的MoGe2架构的高保真先验几何知识，GeoHand能够成功保持有效的手部拓扑结构，并在物体引起的严重截断和遮挡条件下准确恢复复杂的局部手指关节运动。
### 4.5 真实场景下的泛化能力
为了验证模型在精心设计的基准测试之外的泛化能力，我们按照近期的研究协议[^69] [^21]，在不受约束的真实场景图像上对GeoHand进行了评估。现实世界场景自然存在复杂的背景、任意的相机视角以及多样的遮挡情况。得益于所注入的几何先验，GeoHand在这些具有挑战性的无约束场景下仍能保持稳健的空间感知能力，并成功恢复出准确的手部拓扑结构。
我们在多人手部交互场景（图4）中展现了出色的性能。GeoHand能够精准解析来自不同视角的复杂且严重的手部重叠现象。此外，关于更多样化的真实场景单手图像的定性评估结果详见附录。关键在于，这些高保真结果是仅通过单张RGB图像获得的，无需在推理阶段使用额外的辅助模态。
---
Figure 3. Qualitative comparisons on DexYCB (top four rows) and HO3Dv3 (bottom four rows). Compared to WiLoR [^21] and HaMeR [^3], GeoHand recovers precise finger articulations and maintains valid hand topologies under severe object occlusions.
Figure 4. Qualitative evaluation on in-the-wild multi-hand scenarios with crowded layouts and complex occlusions.
---
Input
GT 3D Mesh
3D Mesh of Our GeoHand
3D Mesh of Our RGB-Only Baseline
Figure 5. Effect of geometric priors on HO3Dv3. Geo-Hand resolves the structural mismatch (red boxes) present in the RGB-only baseline.
## 4.6 消融实验
我们开展了消融实验，以验证GeoHand流程中各个关键组件的贡献。
几何先验的可视化。为了直观展示解锁先验几何知识的有效性，我们在图5中对比了完整的GeoHand模型与纯RGB基线模型。如红色框所示，纯RGB模型缺乏空间感知能力，导致重建网格与真实轮廓之间存在明显间隙。这是模型过度拟合于2D纹理边界、无法感知度量深度时的常见现象。相比之下，受高保真MoGe2先验引导的GeoHand成功弥合了这一差距。显式的深度与法向嵌入约束了3D生成空间，迫使推断出的网格更紧密地贴合真实物理边界和透视轮廓。此外，注意力热图（图6）显示几何先验引导GeoHand整体关注手部结构，消除了纯RGB基线模型中存在的严重背景干扰。
几何先验与GeoAdapter的影响。表4表明，原始的MoGe2特征向量已经能带来显著提升，
Input
GeoHand
RGB-Only Baseline
Figure 6. Attention heatmaps on FreiHAND. Guided by geometric priors, GeoHand focuses entirely on hand structures, avoiding the background distractions seen in the RGB-only baseline.
Table 4. Ablation on geometry prior and GeoAdapter.
| Configuration | PA-MPJPE $\downarrow$ | PA-MPVPE $\downarrow$ |
| RGB-only baseline | 5.4 | 5.9 |
| + MoGe2 tokens only | 5.2 | 5.6 |
| + MoGe2 + GeoAdapter | 5.1 | 5.4 |
相较于纯RGB基线模型有明显优势；而引入基于地图级别的GeoAdapter后，通过在分词前显式对齐几何语义，进一步提升了性能。从基础场景级模型中提取的原始几何特征往往包含域外结构或背景噪声，若直接注入便会干扰主要的ViT注意力图。GeoAdapter通过局部卷积重校准来缓解这一问题，过滤掉无关的深度伪影，使几何表示与人手特征相匹配。
KQIR的效能与效率。为凸显KQIR的特定作用，我们将其替换为WiLoR中使用的优化模块[^21]，并在FreiHAND数据集上评估各变体。如表5所示，用KQIR替代WiLoR优化器后，PA-MPJPE从5.4毫米降至5.1毫米，且所需参数还不到后者的一半（1.125百万 vs. 2.57百万）。
---
Table 5. Comparison of refinement modules on FreiHAND.
| Refiner | Params $\downarrow$ | FPS $\uparrow$ | PA-MPJPE $\downarrow$ |
| WiLoR refiner [^21] | 2.570 | 156 | 5.4 |
| KQIR, 2 steps (Ours) | 1.125 | 153 | 5.1 |
Table 6. Ablation on KQIR refinement steps.
| Configuration | PA-MPJPE $\downarrow$ | PA-MPVPE $\downarrow$ | FPS $\uparrow$ |
| Without KQIR | 5.7 | 6.1 | 160 |
| KQIR, 1 step | 5.4 | 5.8 | 156 |
| KQIR, 2 steps | 5.1 | 5.4 | 153 |
| KQIR, 3 steps | 5.3 | 5.7 | 149 |
KQIR的最大推理速度达到每秒153帧（FPS），与WiLoR优化器（156 FPS）相比仍具竞争力。尽管参数大幅减少，但FPS的轻微下降源于KQIR的动态查询构建与空间定向交叉注意力机制。全局网格回归器需同时处理所有MANO顶点，计算开销巨大；而我们的KQIR模块仅聚焦于关键关节点。它通过查询投影在2D坐标周围的几何感知特征，直接将先验几何信息转化为局部的关节校正，无需处理冗余的背景数据。
KQIR优化步骤的影响。表6进一步评估了KQIR优化步骤对推理速度的影响。两步优化即可将PA-MPJPE从5.7毫米降至5.1毫米，有效解决单遍预测导致的自遮挡问题。然而三步优化反而使性能下降至5.3毫米，这可能是由于过度迭代导致模型过拟合于模糊的局部细节，破坏了已建立的全局运动链。关键在于，KQIR极其轻量：最优的两步配置仍能保持153 FPS的推理速度，仅比基准的160 FPS略有下降。这表明KQIR能在几乎不影响GeoHand实时效率的前提下大幅提升精度。
骨骼长度与顶点损失的影响。表7验证了我们的轻量级结构正则化策略的有效性。显式的骨骼—
Table 7. Ablation on bone-length and vertex losses.
| Configuration | PA-MPJPE $\downarrow$ | PA-MPVPE $\downarrow$ |
| w/o $\mathcal{L}_{bone}$ | 5.3 | 5.7 |
| w/o $\mathcal{L}_{vert}$ | 5.3 | 5.7 |
| Full loss | 5.1 | 5.4 |
长度和顶点约束有效地将优化空间限制在解剖学上合理的解中，而无需依赖显式的对抗性判别器。若缺少$\mathcal{L}_{bone}$，网络往往会通过不自然地拉伸或收缩手指段来满足二维投影约束，从而违反严格的人体生物力学限制。引入$\mathcal{L}_{vert}$后，能将密集表面进一步锚定在底层骨骼拓扑上，进而生成更平滑且解剖学上更合理的蒙皮矩阵。
## 5 结论
我们提出了GeoHand框架，该框架利用先验几何知识来实现单目三维手部重建。GeoHand在分词前，会先通过地图级的GeoAdapter来增强冻结的MoGe2几何特征；随后通过门控词元融合策略将几何信息融入主干网络，最后再利用关键点查询迭代细化器来进一步优化MANO预测结果。这种设计明确地将全局几何消歧与局部关节校正相结合，同时保留了纯RGB输入流程。大量实验表明，在FreiHAND、DexYCB和HO3Dv3等多样化且具有挑战性的基准测试中，GeoHand均能达到最先进或极具竞争力的性能。值得注意的是，得益于强大的结构先验，GeoHand在面对严重的自遮挡和手物交互情况时表现出极强的鲁棒性，为未来稳健的三维手部重建系统指明了有前景的发展方向。
## 参考文献
### [^1]: Christian Zimmermann, Duygu Ceylan, Jimei Yang, Bryan Russell, Max Argus, and Thomas Brox. Freihand: A dataset for markerless capture of hand pose and shape from single rgb images. In Proceedings of the IEEE/CVF international conference on computer vision, pages 813–822, 2019
---
[^2]: Xingyu Chen, Yufeng Liu, Yajiao Dong, Xiong Zhang, Chongyang Ma, Yanmin Xiong, Yuan Zhang, and Xiaoyan Guo. Mobrecon: Mobile-friendly hand mesh reconstruction from monocular image. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 20544–20554, 2022.
[^3]: Georgios Pavlakos, Dandan Shan, Ilija Radosavovic, Angjoo Kanazawa, David Fouhey, and Jitendra Malik. Reconstructing hands in 3d with transformers. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 9826–9836, 2024.
[^4]: Georgios Pavlakos, Vasileios Choutas, Nima Ghorbani, Timo Bolkart, Ahmed AA Osman, Dimitrios Tzionas, and Michael J Black. Expressive body capture: 3d hands, face, and body from a single image. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 10975–10985, 2019.
[^5]: Javier Romero, Dimitrios Tzionas, and Michael J Black. Embodied hands: Modeling and capturing hands and bodies together. arXiv preprint arXiv:2201.02610, 2022.
[^6]: Federica Bogo, Angjoo Kanazawa, Christoph Lassner, Peter Gehler, Javier Romero, and Michael J Black. Keep it smpl: Automatic estimation of 3d human pose and shape from a single image. In European conference on computer vision, pages 561–578. Springer, 2016.
[^7]: Nikos Kolotouros, Georgios Pavlakos, Michael J Black, and Kostas Daniilidis. Learning to reconstruct 3d human pose and shape via model-fitting in the loop. In Proceedings of the IEEE/CVF international conference on computer vision, pages 2252–2261, 2019.
[^8]: Markus Oberweger, Paul Wohlhart, and Vincent Lepetit. Hands deep in deep learning for hand pose estimation. arXiv preprint arXiv:1502.06807, 2015.
[^9]: Adnane Boukhayma, Rodrigo de Bem, and Philip HS Torr. 3d hand shape and pose from images in the wild. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 10843–10852, 2019.
[^10]: Xiong Zhang, Qiang Li, Hong Mo, Wenbo Zhang, and Wen Zheng. End-to-end hand mesh recovery from a monocular rgb image. In Proceedings of the IEEE/CVF international conference on computer vision, pages 2354–2364, 2019.
[^11]: Weiting Huang, Pengfei Ren, Jingyu Wang, Qi Qi, and Haifeng Sun. Awr: Adaptive weighting regression for 3d hand pose estimation. In Proceedings of the AAAI Conference on Artificial Intelligence, volume 34, pages 11061–11068, 2020.
[^12]: Franziska Mueller, Florian Bernard, Oleksandr Sotnychenko, Dushyant Mehta, Srinath Sridhar, Dan Casas, and Christian Theobalt. Generated hands for real-time 3d hand tracking from monocular rgb. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 49–59, 2018.
[^13]: Dominik Kulon, Riza Alp Guler, Iasonas Kokkinos, Michael M Bronstein, and Stefanos Zafeiriou. Weakly-supervised mesh-convolutional hand reconstruction in the wild. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 4990–5000, 2020.
[^14]: Seungryul Baek, Kwang In Kim, and Tae-Kyun Kim. Pushing the envelope for rgb-based dense 3d hand pose estimation via neural rendering. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 1067–1076, 2019.
[^15]: Liuhao Ge, Zhou Ren, Yuncheng Li, Zehao Xue, Yingying Wang, Jianfei Cai, and Junsong Yuan. 3d hand shape and pose estimation from a single rgb image. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 10833–10842, 2019.
[^16]: Nikos Kolotouros, Georgios Pavlakos, and Kostas Daniilidis. Convolutional mesh regression for single-image human shape reconstruction. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 4501–4510, 2019.
[^17]: Xingyu Chen, Yufeng Liu, Chongyang Ma, Jianlong Chang, Huayan Wang, Tian Chen, Xiaoyan Guo, Pengfei Wan, and Wen Zheng. Camera-space hand mesh recovery via semantic aggregation and adaptive 2d-1d registration. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 13274–13283, 2021.
## [^18]: Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, et al. An image is worth
---
16x16 words：用于大规模图像识别的Transformer。arXiv预印本arXiv:2010.11929，2020年。
[^19]: Kaiming He, Xinlei Chen, Saining Xie, Yanghao Li, Piotr Dollár, and Ross Girshick. Masked autoencoders are scalable vision learners. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 16000–16009, 2022.
[^20]: Ze Liu, Yutong Lin, Yue Cao, Han Hu, Yixuan Wei, Zheng Zhang, Stephen Lin, and Baining Guo. Swin transformer: Hierarchical vision transformer using shifted windows. In Proceedings of the IEEE/CVF international conference on computer vision, pages 10012–10022, 2021.
[^21]: Rolandos Alexandros Potamias, Jinglei Zhang, Jiankang Deng, and Stefanos Zafeiriou. Wilor: End-to-end 3d hand localization and reconstruction in-the-wild. In Proceedings of the Computer Vision and Pattern Recognition Conference, pages 12242–12254, 2025.
[^22]: Kevin Lin, Lijuan Wang, and Zicheng Liu. End-to-end human pose and mesh reconstruction with transformers. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 1954–1963, 2021.
[^23]: Kevin Lin, Lijuan Wang, and Zicheng Liu. Mesh graphormer. In Proceedings of the IEEE/CVF international conference on computer vision, pages 12939–12948, 2021.
[^24]: Junhyeong Cho, Kim Youwang, and Tae-Hyun Oh. Cross-attention of disentangled modalities for 3d human mesh recovery with transformers. In European Conference on Computer Vision, pages 342–359. Springer, 2022.
[^25]: Zhishan Zhou, Shihao Zhou, Zhi Lv, Minqiang Zou, Yao Tang, and Jiajun Liang. A simple baseline for efficient hand mesh reconstruction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 1367–1376, 2024.
[^26]: Gyeongsik Moon, Ju Yong Chang, and Kyoung Mu Lee. V2v-posenet: Voxel-to-voxel prediction network for accurate 3d hand and human pose estimation from a single depth map. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 5079–5088, 2018.
[^27]: Yu-Wei Chao, Wei Yang, Yu Xiang, Pavlo Molchanov, Ankur Handa, Jonathan Tremblay, Yashraj S Narang, Karl Van Wyk, Umar Iqbal, Stan Birchfield, et al. Dexycb: A benchmark for capturing hand grasping of objects. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 9044–9053, 2021.
[^28]: Shreyas Hampali, Mahdi Rad, Markus Oberweger, and Vincent Lepetit. Honnotate: A method for 3d annotation of hand and object poses. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 3196–3206, 2020.
[^29]: Omid Taheri, Nima Ghorbani, Michael J Black, and Dimitrios Tzionas. Grab: A dataset of whole-body human grasping of objects. In European conference on computer vision, pages 581–600. Springer, 2020.
[^30]: Yana Hasson, Gul Varol, Dimitrios Tzionas, Igor Kalevatykh, Michael J Black, Ivan Laptev, and Cordelia Schmid. Learning joint reconstruction of hands and manipulated objects. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 11807–11816, 2019.
[^31]: Samarth Brahmbhatt, Chengcheng Tang, Christopher D Twigg, Charles C Kemp, and James Hays. Contactpose: A dataset of grasps with object contact and hand pose. In European Conference on Computer Vision, pages 361–378. Springer, 2020.
[^32]: Xingyu Liu, Pengfei Ren, Yuanyuan Gao, Jingyu Wang, Haifeng Sun, Qi Qi, Zirui Zhuang, and Jianxin Liao. Keypoint fusion for rgb-d based 3d hand pose estimation. In Proceedings of the AAAI Conference on Artificial Intelligence, volume 38, pages 3756–3764, 2024.
[^33]: Charles R Qi, Hao Su, Kaichun Mo, and Leonidas J Guibas. Pointnet: Deep learning on point sets for 3d classification and segmentation. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 652–660, 2017.
[^34]: Charles Ruizhongtai Qi, Li Yi, Hao Su, and Leonidas J Guibas. Pointnet++: Deep hierarchical feature learning on point sets in a metric space. Advances in neural information processing systems, 30, 2017.
### [^35]: Lihe Yang, Bingyi Kang, Zilong Huang, Xiaogang Xu, Jiashi Feng, and Hengshuang Zhao. Depth anything
---
释放大规模无标签数据的潜力。载于IEEE/CVF计算机视觉与模式识别会议论文集，第10371–10381页，2024年。
[^36]: Ruicheng Wang, Sicheng Xu, Yue Dong, Yu Deng, Jianfeng Xiang, Zelong Lv, Guangzhong Sun, Xin Tong, and Jiaolong Yang. Moge-2: Accurate monocular geometry with metric scale and sharp details. arXiv preprint arXiv:2507.02546, 2025.
[^37]: Christian Zimmermann and Thomas Brox. Learning to estimate 3d hand pose from single rgb images. In Proceedings of the IEEE international conference on computer vision, pages 4903–4911, 2017.
[^38]: Umar Iqbal, Pavlo Molchanov, Thomas Breuel Juergen Gall, and Jan Kautz. Hand pose estimation via latent 2.5 d heatmap regression. In Proceedings of the European conference on computer vision (ECCV), pages 118–134, 2018.
[^39]: Yujun Cai, Liuhao Ge, Jianfei Cai, and Junsong Yuan. Weakly-supervised 3d hand pose estimation from monocular rgb images. In Proceedings of the European conference on computer vision (ECCV), pages 666–682, 2018.
[^40]: Liuhao Ge, Yujun Cai, Junwu Weng, and Junsong Yuan. Hand pointnet: 3d hand pose estimation using point sets. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 8417–8426, 2018.
[^41]: Angjoo Kanazawa, Michael J Black, David W Jacobs, and Jitendra Malik. End-to-end recovery of human shape and pose. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 7122–7131, 2018.
[^42]: Yu Rong, Takaaki Shiratori, and Hanbyul Joo. Frankmocap: A monocular 3d whole-body pose estimation system via regression and integration. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 1749–1759, 2021.
[^43]: Tze Ho Elden Tse, Kwang In Kim, Ales Leonardis, and Hyung Jin Chang. Collaborative learning for hand and object reconstruction with attention-guided graph convolution. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 1664–1674, 2022.
[^44]: Hongsuk Choi, Gyeongsik Moon, and Kyoung Mu Lee. Pose2mesh: Graph convolutional network for 3d human pose and mesh recovery from a 2d human pose. In European Conference on Computer Vision, pages 769–787. Springer, 2020.
[^45]: Linlin Yang and Angela Yao. Disentangling latent hands for image synthesis and pose estimation. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 9877–9886, 2019.
[^46]: Rıza Alp Güler, Natalia Neverova, and Iasonas Kokkinos. Densepose: Dense human pose estimation in the wild. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 7297–7306, 2018.
[^47]: Gyeongsik Moon and Kyoung Mu Lee. I2l-meshnet: Image-to-pixel prediction network for accurate 3d human pose and mesh estimation from a single RGB image. In European Conference on Computer Vision, pages 752–768. Springer, 2020.
[^48]: Nikos Kolotouros, Georgios Pavlakos, Dinesh Jayaraman, and Kostas Daniilidis. Probabilistic modeling for human mesh recovery. In Proceedings of the IEEE/CVF international conference on computer vision, pages 11605–11614, 2021.
[^49]: JoonKyu Park, Yeonguk Oh, Gyeongsik Moon, Hong-suk Choi, and Kyoung Mu Lee. Handoccnet: Occlusion-robust 3d hand mesh estimation network. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 1496–1505, 2022.
[^50]: Hao Xu, Tianyu Wang, Xiao Tang, and Chi-Wing Fu. H2onet: Hand-occlusion-and-orientation-aware network for real-time 3d hand mesh reconstruction. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 17048–17058, 2023.
[^51]: Guillermo Garcia-Hernando, Shanxin Yuan, Seungryul Baek, and Tae-Kyun Kim. First-person hand action benchmark with rgb-d videos and 3d hand pose annotations. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 409–419, 2018.
### [^52]: Gyeongsik Moon, Shoou-I Yu, He Wen, Takaaki Shiratori, and Kyoung Mu Lee. Interhand2.6m: A dataset
---
以及基于单张RGB图像的三维交互手部姿态估计基线方法。载于欧洲计算机视觉会议论文集，第548–564页。Springer出版社，2020年。
[^53]: Taein Kwon, Bugra Tekin, Jan Stühmer, Federica Bogo, and Marc Pollefeys. H2o: Two hands manipulating objects for first person interaction recognition. In Proceedings of the IEEE/CVF international conference on computer vision, pages 10138–10148, 2021.
[^54]: Lixin Yang, Kailin Li, Xinyu Zhan, Fei Wu, Anran Xu, Liu Liu, and Cewu Lu. Oakink: A large-scale knowledge repository for understanding hand-object interaction. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 20953–20962, 2022.
[^55]: Ruicheng Wang, Jialiang Zhang, Jiayi Chen, Yinzhen Xu, Puhao Li, Tengyu Liu, and He Wang. Dexgraspnet: A large-scale robotic dexterous grasp dataset for general objects based on simulation. arXiv preprint arXiv:2210.02697, 2022.
[^56]: Patrick Grady, Chengcheng Tang, Christopher D Twigg, Minh Vo, Samarth Brahmbhatt, and Charles C Kemp. Contactopt: Optimizing contact to improve grasps. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 1471–1481, 2021.
[^57]: Korrawe Karunratanakul, Adrian Spurr, Zicong Muigai, Otmar Hilliges, and Siyu Tang. Grasping field: Learning implicit representations for human grasps. In International Conference on 3D Vision (3DV), 2020.
[^58]: Mengcheng Li, Liang An, Hongwen Zhang, Lianpeng Wu, Feng Chen, Tao Yu, and Yebin Liu. Interacting attention graph for single image two-hand reconstruction. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 2761–2770, 2022.
[^59]: Jianping Jiang, Xinyu Zhou, Bingxuan Wang, Xiaoming Deng, Chao Xu, and Boxin Shi. Complementing event streams and rgb frames for hand mesh reconstruction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 24944–24954, 2024.
[^60]: Adrian Spurr, Jie Song, Seonwook Park, and Otmar Hilliges. Cross-modal deep variational hand pose estimation. In Proceedings of the IEEE conference on
载于计算机视觉与模式识别会议论文集，第89–98页，2018年。
[^61]: René Ranftl, Katrin Lasinger, David Hafner, Konrad Schindler, and Vladlen Koltun. Towards robust monocular depth estimation: Mixing datasets for zero-shot cross-dataset transfer. IEEE transactions on pattern analysis and machine intelligence, 44(3):1623–1637, 2020.
[^62]: Bingxin Ke, Anton Obukhov, Shengyu Huang, Nando Metzger, Rodrigo Caye Daudt, and Konrad Schindler. Repurposing diffusion-based image generators for monocular depth estimation. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 9492–9502, 2024.
[^63]: Ruicheng Wang, Sicheng Xu, Cassie Dai, Jianfeng Xiang, Yu Deng, Xin Tong, and Jiaolong Yang. Moge: Unlocking accurate monocular geometry estimation for open-domain images with optimal training supervision. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 5261–5271, 2025.
[^64]: Christian Zimmermann, Max Argus, and Thomas Brox. Contrastive representation learning for hand shape estimation. In Proceedings of the DAGM German Conference on Pattern Recognition, pages 250–264, 2021.
[^65]: Lixin Yang, Jiasen Li, Wenqiang Xu, Yiqun Diao, and Cewu Lu. Bihand: Recovering hand mesh with multi-stage bisected hourglass networks. arXiv preprint arXiv:2008.05079, 2020.
[^66]: Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. arXiv preprint arXiv:1711.05101, 2017.
[^67]: Adam Paszke, Sam Gross, Francisco Massa, Adam Lerer, James Bradbury, Gregory Chanan, Trevor Killeen, Zeming Lin, Natalia Gimelshein, Luca Antiga, et al. PyTorch: An imperative style, high-performance deep learning library. Advances in neural information processing systems, 32, 2019.
### [^68]: Haoye Dong, Aviral Chharia, Wenbo Gou, Francisco Vicente Carrasco, and Fernando De la Torre. Hamba: Single-view 3d hand reconstruction with graph-guided bi-scanning mamba. arXiv preprint arXiv:2407.09646, 2024
---
[^69]: Xingyu Chen, Zhuheng Song, Xiaoke Jiang, Yaoqing Hu, Junzhi Yu, and Lei Zhang. Handos: 3d hand reconstruction in one stage. In Proceedings of the Computer Vision and Pattern Recognition Conference, pages 17304–17314, 2025.
[^70]: Muhammad Usama Saleem, Ekkasit Pinyoanuntapong, Mayur Jagdishbhai Patel, Hongfei Xue, Ahmed Helmy, Srijan Das, and Pu Wang. Maskhand: Generative masked modeling for robust hand mesh reconstruction in the wild. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 8372–8383, 2025.
## [^71]: Haofan Lu, Shuiping Gou, and Ruimin Li. Spmhand: Segmentation-guided progressive multi-path 3d hand pose and shape estimation. IEEE Transactions on Multimedia, 26:6822–6833, 2024
---
## 附录
### A.1 详细的训练目标
GeoHand采用由物理规律驱动的二维、三维及MANO参数化损失函数组合进行优化。对于批量大小为B的数据集，设$N = 21$表示关节数量，$V = 778$表示网格顶点数，$E = 20$表示预定义的骨骼段数。最终的训练目标可表述为：
$$ \begin{aligned}\mathcal{L}_{total}&=1.0\mathcal{L}_{2D}+5.0\mathcal{L}_{3D\_{j}oint}+1.0\mathcal{L}_{bone}\\&\quad+0.1\mathcal{L}_{vert}+0.1\mathcal{L}_{global}+0.1\mathcal{L}_{pose}\\&\quad+0.01\mathcal{L}_{betas}+0.05\mathcal{L}_{shape}.\end{aligned} $$
## 2D与3D结构监督
- 二维投影损失$\mathcal{L}_{2D}$：计算投影后的归一化二维坐标$L_1$与其真实值（GT）$\hat{\mathbf{u}}_{b,n}$之间的$\mathbf{u}_{b,n}$距离，该距离会通过有效标志$m_{b,n}^{uv}$进行掩码处理：
$$ \mathcal{L}_{2D}=\frac{1}{B}\sum_{b=1}^{B}\frac{\sum_{n=1}^{N}m_{b,n}^{u v}\|\hat{\mathbf{u}}_{b,n}-\mathbf{u}_{b,n}\|_{1}}{\max(\sum_{n}m_{b,n}^{u v},1)}. $$
• 三维关节损失$\mathcal{L}_{3D\_joint}$：对以根部为参照的三维关节坐标应用$L_1$损失，其中$\tilde{\mathbf{X}}_{b,n}$和$\tilde{\mathbf{X}}_{b,n}$分别表示关节n的预测相对位置和真实相对位置。为了突出精细的末端关节，会给五个指尖分配更高的空间权重$w_n^{tip} = 2.5$，而其他关节则使用$w_n = 1.0$。$m_b^{xyz}$表示三维有效性标志。
$$ \mathcal{L}_{3D\_{j}oint}=\frac{1}{B}\sum_{b=1}^{B}\frac{\sum_{n=1}^{N}m_{b}^{xyz}w_{n}^{tip}\|\tilde{\mathbf{X}}_{b,n}-\tilde{\mathbf{X}}_{b,n}\|_{1}}{\max(Nm_{b}^{xyz},1)}. $$
• 骨骼长度损失 $\mathcal{L}_{bone}$：通过惩罚每个连接关节对 $d_{b,e}$ 的预测骨骼长度 $d_{b,e}$ 与 GT 骨骼长度 $(i_e, j_e)$ 之间的绝对误差来约束严重的解剖学畸变：
$$ \mathcal{L}_{b o n e}=\frac{1}{B}\sum_{b=1}^{B}\frac{\sum_{e=1}^{E}m_{b}^{x y z}|\hat{d}_{b,e}-d_{b,e}|}{\max(E m_{b}^{x y z},1)}. $$
• 顶点损失 $\mathcal{L}_{vert}$：旨在最小化密集表面的差异。设 $\hat{\mathbf{V}}_{b,v}$ 和 $\mathbf{V}_{b,v}$ 分别表示顶点 v 的预测坐标和真实三维坐标。为了将手部形状与全局平移解耦，需利用各自预测的 $\hat{\mathbf{R}}_{b}$ 和真实的 $\mathbf{R}_{b}$ 根关节位置对顶点进行对齐。训练期间，真实顶点会直接根据真实的 MANO 参数重建，以确保参数一致性。
$$ \mathcal{L}_{v e r t}=\frac{1}{3B V}\sum_{b=1}^{B}\sum_{v=1}^{V}\|(\hat{\mathbf{V}}_{b,v}-\hat{\mathbf{R}}_{b})-(\mathbf{V}_{b,v}-\mathbf{R}_{b})\|_{1}. $$
MANO 参数监督。为确保参数一致性，我们对全局方向 $L_{1}$、手部姿态 $\rho_{\delta}$（两者均以展平后的旋转矩阵表示）以及形状参数 $\delta = 0.05$ 应用平滑 $\mathbf{G}$ 损失（记为 $\mathbf{P}$，其中 $\boldsymbol{\beta}$）。设 $\hat{\mathbf{G}}_{b,d}$ 和 $\mathbf{G}_{b,d}$ 分别表示预测与真实展平后全局方向矩阵的第 d 个元素。为防止梯度不稳定，这些损失会针对每个样本动态截断为最大值 1.0：
$$ \mathcal{L}_{g l o b a l}=\frac{1}{B}\sum_{b=1}^{B}\min\left(\frac{1}{9}\sum_{d=1}^{9}\rho_{0.05}(\hat{\mathbf{G}}_{b,d}-\mathbf{G}_{b,d}),1.0\right). $$
手部姿态损失 $\mathcal{L}_{pose}$ 和形状参数损失 $\mathcal{L}_{betas}$ 采用完全相同的截断公式，分别作用于 135 维和 10 维数据，将预测值（$\hat{\mathbf{P}}$、$\hat{\boldsymbol{\beta}}$）与真实值（$\mathbf{P}$、$\boldsymbol{\beta}$）进行比较。
形状正则化。为了防止预测出的形状参数 $L_2$ 偏离零均值的 MANO 形状先验太远，我们对其施加非平方的 $\mathcal{L}_{shape} = \frac{1}{B} \sum_{b=1}^{B} \|\hat{\boldsymbol{\beta}}_b\|_2$ 范数惩罚 $\hat{\boldsymbol{\beta}}_b$，而非采用平方范数。
### A.2 评估指标定义
我们使用一套广泛标准化的指标来评估我们的方法，这些指标适用于三维人体及手部姿态估计任务。设 N 表示被评估的坐标数量。
• MPJPE（关节位置平均误差）：在将根关节对齐到原点后，计算估计三维关节坐标与真实三维关节坐标之间的平均欧几里得距离（单位为毫米）：
$$ \mathrm{MPJPE}=\frac{1}{N}\sum_{i=1}^{N}\|\mathbf{J}_{i}-\mathbf{J}_{i}^{gt}\|_{2}. $$
- PA-MPJPE（普氏对齐后的 MPJPE）：采用广义普氏分析（GPA）技术，在计算 MPJPE 之前，先将预测的三维关节与真实关节在平移、旋转和均匀缩放方面进行最优对齐。该指标主要用于评估关节形状和姿态的精确度，而不受全局深度位移误差的影响。
---
在计算MPJPE之前，需先对平移、旋转和均匀缩放参数进行校正。该指标主要用于评估关节化形状和姿态的精确度，而不受全局深度位移误差的影响。
- MPVPE 与 PA-MPVPE（顶点位置平均误差）：它们是关节误差的高密度对应指标，会直接对 MANO 网格表面的全部 778 个顶点应用相同的对齐协议（根关节对齐或普氏对齐）。
• F 分数（F@5、F@15）：一种结合精确度和召回率的调和平均值，用于评估重建网格与真实表面之间的几何接近程度。它衡量在严格的物理距离容差范围内（通常在 5 毫米和 15 毫米阈值下评估）准确估计的网格顶点所占比例。
### A.3 额外的定性结果
真实场景中的单手操作情况。为了全面展示模型的泛化性能，我们可视化了直接从无约束的真实场景中采集的单手物体操作数据，具体如图7所示。尽管未知物体和多样背景会导致严重的外部遮挡，但GeoHand依靠集成的几何嵌入机制，仍能确保关节预测的准确性，且不会出现网格撕裂现象。
FreiHAND数据集上的可视化结果。图8进一步展示了在FreiHAND测试集上的最终3D推理结果，体现了GeoHand架构创新所带来的协同效应。整体稳健的网格拓扑结构表明，所注入的几何先验能够有效消除根节点相关的深度歧义，并防止出现粗略的结构扭曲。基于这种全局一致的结构布局，关键点查询迭代细化器（KQIR）利用这些丰富的特征表示来进行针对性的局部修正。通过显式查询投影关节坐标周围的几何感知图，KQIR能够精准校正复杂的末端关节形态，比如重叠的指尖部分。这种协同作用——跨模态融合保障了全局解剖结构的一致性，而KQIR则负责细化局部几何细节——使得GeoHand能够仅凭单张RGB图像就稳定地恢复出高保真度的网格模型。
### A.4 局限性与未来工作
虽然GeoHand通过调用通用的单目深度估计器，显著缓解了基于RGB图像产生的空间歧义问题，但仍有三个主要方向值得进一步优化：
1. 探索跨模态提取的极限。尽管简单的令牌拼接与地图级的GeoAdapter机制在无需复杂体渲染开销的情况下，就能有效应对域差异问题，但若能进一步探索更精密的多模态Transformer框架，实现外观令牌与坐标绑定几何矩阵之间的交叉注意力机制，或许能进一步提升精度。
2. 边界框依赖与端到端协同优化。GeoHand采用自上而下的范式，需要依赖独立的2D手部检测器的边界框裁剪步骤，因此最终的3D重建质量在一定程度上受限于这一预处理环节。将高质量的物体检测功能紧密整合到同一ViT基模型中，将是一项及时且有意义的升级。
3. 针对遮挡情况的时间与多视角上下文恢复。虽然几何先验能大幅辅助处理遮挡交互问题，但仅靠单个静态视角，本质上无法恢复完全不可见的拓扑边界。利用连续的历史运动上下文（时间运动管道）或互补的多视角空间观测数据，仍是实现高精度沉浸式重建的有前景的方向。
---
Figure 7. Qualitative evaluation of GeoHand in in-the-wild single-hand object interaction scenarios.
Figure 8. Visualization of the FreiHAND evaluation set. Samples in each triplet are the input image, the ground-truth mesh, and the mesh reconstructed by GeoHand.