{
  "paper_id": "b2eef8b254621b122b4b60414a26d274",
  "paper_title": "GeoHand: Unlocking Prior Geometry Knowledge for Monocular 3D Hand Reconstruction",
  "paper_authors": [
    "Weiquan Lin",
    "Yaoqing Hu",
    "Liangchen Dai",
    "Xu Tang",
    "Xingyu Chen"
  ],
  "publication_date": "2025",
  "publication_venue": "unknown",
  "abstract": "单目3D手部重建本质上是一个几何问题，然而仅靠RGB外观特征往往难以解决自遮挡和手-物交互引起的严重歧义。虽然引入深度可以显式提供空间线索，但原始传感器采集的深度图噪声大且不完整，限制了其在细粒度手部重建中的实用性。为弥合这一差距，我们提出GeoHand，一个从冻结的基础单目几何估计器（MoGe2）中解锁高质量几何先验的新框架。鉴于这些先验面向通用场景，我们引入图级GeoAdapter来重校准空间特征，使其专门适配精细的手部重建。此外，为了在不压制内在RGB外观线索的情况下系统性地整合这些适配后的先验，我们采用门控跨模态token融合策略。最后，为确保精确的局部关节姿态，我们设计了关键点查询迭代精炼器（KQIR），利用投影关节位置查询几何感知图像特征以进行空间校正。通过在统一管线中结合全局几何消歧与局部精炼，GeoHand在FreiHAND、DexYCB和HO3Dv3上取得了最先进的性能，尤其是在严重遮挡和手-物交互场景下。",
  "keywords": [
    "单目3D手部重建",
    "几何先验",
    "MoGe2",
    "MANO模型",
    "门控跨模态token融合",
    "GeoAdapter",
    "关键点查询迭代精炼",
    "手-物交互",
    "自遮挡",
    "数据效率"
  ],
  "paper_institutions": [
    "西安电子科技大学人工智能学院",
    "中关村学院",
    "北京理工大学自动化学院"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:33:39.126870Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n单目3D手部重建本质上是一个几何问题，但纯RGB外观特征难以消解自遮挡与手-物交互带来的严重歧义，而RGB-D等多模态路线又受制于配对数据采集成本高、原始传感器深度噪声大且缺失、推理需额外传感器等约束；HaMeR、WiLoR等大规模Transformer方法虽提升了鲁棒性，仍只能从2D外观隐式推断3D几何。为此，本文提出GeoHand框架，从冻结的基础单目几何估计模型MoGe2中解锁高质量几何先验：先用图级GeoAdapter（轻量1×1与3×3卷积栈）重校准面向通用场景的中间几何特征图以适配手部结构，再通过门控跨模态token融合将几何token系统性注入ViT主干，其核心机制为 x_fuse^(i) = x_rgb^(i) + sigmoid(g)·Δx^(i)，其中残差Δx由LayerNorm后的RGB与几何token拼接经两层MLP投影得到，可学习门控g控制几何信息注入量，避免在运动模糊或分布外条件下压制外观线索；最后由关键点查询迭代精炼器（KQIR）以当前3D关节及其2D投影构造结构化查询，对几何感知特征图做交叉注意力并预测MANO参数残差，实现局部关节精修。实验选取FreiHAND（干净单手）、DexYCB（复杂手-物交互与深度歧义）、HO3Dv3（重度自遮挡与截断）三大基准以覆盖不同难度场景，采用PA-MPJPE、MPJPE、PA-MPVPE、MPVPE与F-score指标；实现上输入resize为256×192（16×12 patch网格）、ViT-L主干、MoGe2颈部特征加128侧通道GeoAdapter、MANO解码器6层3次IEF迭代、KQIR 2步、AdamW训练60轮（学习率2×10⁻⁵、batch 64）。结果显示：DexYCB上MPJPE 7.4mm、MPVPE 7.1mm、PA-MPJPE 5.0mm、PA-MPVPE 4.7mm，大幅超越MaskHand（MPJPE 11.7mm）等方法，验证几何先验可直接从图像平面解决全局尺度与根相对深度歧义；HO3Dv3上以约少一个数量级的训练数据取得PA-MPJPE 6.7mm、F@5 0.697的顶级结果，证明数据效率；FreiHAND上PA-MPJPE 5.1mm、F@15 0.993具竞争力，说明无遮挡单手场景下显式度量深度收益递减。未来方向包括更复杂的外观-几何跨注意力多模态Transformer、检测与重建在同一ViT管线内端到端统一、以及时序运动上下文或多视角观测恢复遮挡。该方法保持纯RGB单图推理，适用于AR/VR、人机交互与具身机器人等真实场景，但受自顶向下检测框裁剪质量约束，且静态单视角下完全不可见的拓扑边界在数学上无法恢复。\n\n### 关键要点\n\n- 方法核心：GeoHand从冻结的MoGe2基础几何模型提取中间特征图，经GeoAdapter（1×1/3×3卷积+GroupNorm+GELU，128侧通道、深度2）重校准后池化至16×12网格并投影为1280维几何token，弥合通用场景与局部手指结构间的域差距。\n- 门控融合机制：x_fuse^(i) = x_rgb^(i) + sigmoid(g)·Δx^(i)，可学习门控在几何模型不确定（如运动模糊、分布外条件）时自动降低几何信息注入量，防止几何噪声压制外观线索。\n- KQIR精炼器：将当前21个3D关节投影至2D平面，用MLP以[3D位置;2D坐标]构造结构化查询，对几何感知图像token做交叉注意力并预测(Δθ, Δβ, Δc)残差，迭代精修指尖与指间遮挡等高不确定区域。\n- 训练策略：摒弃HaMeR/WiLoR式对抗训练，采用八项确定性损失（2D重投影L1、3D关节L1且指尖权重2.5倍、骨骼长度、顶点、全局朝向/姿态/betas的Smooth-L1、形状L2正则），降低优化难度同时保证解剖合理性。\n- 数据与实现：混合DexYCB、HO3Dv3、FreiHAND训练（相比HaMeR等270万图像少约10倍数据），ViT-L主干、输入256×192、AdamW训练60轮、batch 64，推理时用WiLoR预训练检测器提取手部边界框。\n- DexYCB结果：MPJPE 7.4mm、MPVPE 7.1mm、PA-MPJPE 5.0mm、PA-MPVPE 4.7mm，显著优于MaskHand（MPJPE 11.7mm）与SimpleHand（12.4mm），验证几何先验解决抓取时的度量深度歧义。\n- HO3Dv3结果：混合数据版GeoHand*取得PA-MPJPE 6.7mm、PA-MPVPE 6.4mm、F@5 0.697、F@15 0.987，超越HandOS*与Hamba等大规模数据模型，凸显几何先验带来的数据效率。\n- FreiHAND结果：PA-MPJPE 5.1mm、PA-MPVPE 5.4mm、F@5 0.815、F@15 0.993，仅比HandOS差0.1mm，因该数据集以无外部遮挡的干净单手图像为主，显式度量深度收益有限。\n- 消融证据：RGB-only基线PA-MPJPE 5.4mm→加MoGe2 token 5.2mm→加GeoAdapter 5.1mm；KQIR两步将5.7mm降至5.1mm，参数仅1.125M（WiLoR精炼器2.57M）、153FPS，第三步退化至5.3mm。\n- 结构损失消融：去除L_bone或L_vert均使PA-MPJPE从5.1mm升至5.3mm，说明显式骨骼长度与顶点约束可替代对抗判别器，防止手指为满足2D重投影而不自然拉伸。\n- 真实场景与约束：保持纯RGB单图推理、无需辅助传感器，在野外多手重叠、任意视角与复杂背景场景保持鲁棒；但依赖自顶向下检测框裁剪质量，静态单视角下完全不可见的拓扑边界无法恢复。\n- 未来方向：探索外观token与坐标绑定几何矩阵间的跨注意力多模态Transformer、将高质量检测与重建统一于同一ViT管线、利用时序运动上下文或多视角空间观测提升遮挡恢复精度。"
}