{
  "paper_id": "b53a066853bb6d5946fcc010fef98f39",
  "paper_title": "HandMvNet: Real-Time 3D Hand Pose Estimation Using Multi-View Cross-Attention Fusion",
  "paper_authors": [
    "Muhammad Asad Ali",
    "Nadia Robertini",
    "Didier Stricker"
  ],
  "publication_date": "",
  "publication_venue": "Proceedings of the 20th International Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications",
  "abstract": "本文提出 HandMvNet，这是首批旨在从多视角相机图像实时估计三维手部运动与形状的方法之一。与以往受尺度—深度歧义困扰的单目方法不同，该方法通过多视角注意力融合机制有效整合多个视角的特征，从而获得一致且准确的绝对手部姿态和形状。与以往多视角方法相比，该方法无需将相机参数作为学习三维几何的输入；同时，它显著减少推理时间，并取得与最先进方法相竞争的结果，适合实时应用。在公开数据集上的评估表明，在相同设置下，HandMvNet 在定性和定量方面均优于以往方法。代码可在 github.com/pxxploiter/HandMvNet 获取。\n",
  "keywords": [
    "手部重建",
    "手部姿态估计",
    "多视角重建"
  ],
  "paper_institutions": [
    "Augmented Vision Group, German Research Center for Artificial Intelligence (DFKI), Kaiserslautern, Germany",
    "Department of Computer Science, University of Kaiserslautern-Landau (RPTU), Kaiserslautern, Germany"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T03:43:09.099777Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对单目三维手部姿态估计中普遍存在的尺度—深度歧义、手指或物体遮挡以及未知视角导致难以获得绝对三维位置，而现有多视角方法又常依赖相机标定、体积式中间表示且计算开销较大的问题，论文提出 HandMvNet，用于从多视角 RGB 图像实时估计三维手部关节与网格，并服务于 AR、VR、机器人手势控制和手部动作重定向等时间敏感场景。该方法采用预融合、融合和后融合三阶段结构：预融合阶段以共享权重的 ResNet50 提取各视角特征，通过卷积热图和可微 soft-argmax 预测 21 个二维关节，再按关节位置采样并拼接多视角特征；融合阶段结合关节位置编码、可选的手部裁剪几何编码和正弦位置编码，其中裁剪编码只在相机内参可用时加入，核心机制是以第一视角特征 F1 作为查询、其余视角特征 F_{C-1} 作为键和值，按 F* = softmax(F1 F_{C-1}^T / sqrt(d)) F_{C-1} 进行多头跨注意力融合，随后用自注意力细化关节内关系；后融合阶段用三层 GCN 回归三维关节，再通过逆运动学和线性混合蒙皮驱动手部模板网格，得到 778 个顶点。实验选用公开的 DexYCB-MV、HO3D-MV 和 MVHand 数据集，因为它们分别提供 8、5 和 4 个视角并包含手物交互、强遮挡等挑战性场景，可在相同设置下验证精度、无标定能力和视角数量影响；实现基于 PyTorch，使用 AdamW、权重衰减 0.05、初始学习率 0.0001、两块 RTX A6000 GPU、批量大小 32 和 256×256 手部裁剪图，并另测 HRNet-w40 骨干的 HandMvNet-HR。评价采用根节点对齐的 MPJPE/MPVPE、Procrustes 对齐误差 PA_J/PA_V 以及关节/顶点 PCK 曲线下面积 AUC；HandMvNet 在三个数据集的相对关节和顶点误差上整体优于 POEM、MvP 等方法，例如 DexYCB-MV 上达到 6.73 mm 和 7.19 mm，HO3D-MV 上无相机版本达到 20.40 mm 和 19.33 mm，MVHand 上无相机 HR 版本达到 1.77 mm 和 7.46 mm，同时在所有视角配置中取得最高 FPS，支持其跨视角融合、实时推理和可选标定的创新。消融显示正弦、关节和裁剪编码组合最好，5 个融合层最优，视角从 2 个增至 8 个时 MPJPE 从 8.33 mm 降至 6.73 mm；其约束是隐式学习三维几何需要较多数据，在较小的 HO3D-MV 上性能会下降，未来可据此探索数据高效训练、小样本泛化、跨数据集适配以及无标定设备上的轻量化部署。\n\n### 关键要点\n\n- HandMvNet 以 C 个多视角 RGB 图像为输入，直接输出 21 个三维关节和 778 个三维顶点，不依赖回归 MANO 参数。\n- 预融合阶段使用在 ImageNet 上预训练且跨视角共享权重的 ResNet50，为每个视角生成 1024×32×32 特征图。\n- 二维关节由卷积热图和可微 soft-argmax 获得，点特征采样器再根据这些关节位置提取每个视角的关节对齐特征。\n- 位置信息由关节位置编码、正弦编码和可选的裁剪几何编码共同提供；裁剪编码使用主点和焦距，因此仅在内参可用时启用。\n- 多视角融合以第一相机视角的特征作为查询，以其余视角特征作为键和值，通过多头跨注意力将其他视角信息聚合到目标视角特征空间。\n- 后融合解码器把 21 个关节视为图节点，先用三层 GCN 回归三维关节，再用逆运动学计算关节旋转并通过线性混合蒙皮生成网格顶点。\n- 训练损失包括二维热图均方误差、二维和三维关节 L1 误差，以及有相机参数时的三维到二维投影损失，权重分别设为 10、1、1、1 和 0.5。\n- DexYCB-MV 包含 25,387 个训练、1,412 个验证和 4,951 个测试多视角样本；HO3D-MV 包含 9,087 个训练和 2,706 个测试样本；MVHand 包含 15,417 个训练、1,927 个验证和 3,856 个测试样本。\n- 实验使用 MPJPE、MPVPE、Procrustes 对齐误差和 AUC 等标准指标，并与 POEM、MvP、PE-Mesh-TR、FTL-Mesh-TR 及多视角拟合方法在相同设置下比较。\n- 定量结果表明，HandMvNet 在三个数据集的相对关节和顶点位置误差上整体领先，其他 Procrustes 对齐和 AUC 指标也具有竞争力。\n- 图 1 和图 7 显示 HandMvNet 在误差更低的同时，在不同相机数量配置下均比对比方法具有更高 FPS，满足实时应用要求。\n- 消融实验证明完整位置编码组合效果最好、5 个融合层最优、增加视角可持续降低误差；无相机变体仍有效，但隐式几何学习在较小数据集上会受到数据量限制。"
}