{
  "paper_id": "20e131b58dafed6b9a72f510a7a8b5fa",
  "paper_title": "MeMaHand: Exploiting Mesh-Mano Interaction for Single Image Two-Hand Reconstruction",
  "paper_authors": [
    "Congyi Wang",
    "Feida Zhu",
    "Shilei Wen"
  ],
  "publication_date": "",
  "publication_venue": "2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)",
  "abstract": "现有手部重建方法通常参数化通用三维手模型或直接预测手部网格位置。由手形状和旋转姿态组成的参数化表示更稳定，而非参数化方法能预测更准确的网格位置。本文提出同时从单张RGB图像重建双手网格并估计MANO参数，以结合两类手部表示的优点。为此提出新颖的Mesh-Mano交互块（MMIB），将网格顶点位置和MANO参数作为两类查询令牌；MMIB包含一个用于聚合局部信息的图残差块和两个用于建模长程依赖的Transformer编码器，并采用不同的非对称注意力掩码分别建模手内和手间注意力。此外引入网格对齐精修模块进一步增强网格与图像的对齐。在InterHand2.6M基准上的大量实验表明，该方法取得了优于现有先进手部重建方法的结果。\n",
  "keywords": [
    "双手三维重建",
    "单张RGB图像",
    "MANO参数",
    "手部网格重建",
    "Mesh-Mano交互",
    "Transformer",
    "图卷积网络",
    "网格对齐"
  ],
  "paper_institutions": [
    "ByteDance"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:37:14.877393Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对单张RGB图像双手重建中双手交互、相互遮挡、皮肤外观相似导致特征难以对应等问题，论文指出现有参数化方法依靠MANO姿态形状先验、结果稳定但难以表达细粒度几何，非参数化方法直接回归顶点位置、欧氏误差更优但在挑战视角和严重遮挡下易产生不自然网格。为此提出MeMaHand，在一次前向中同时输出每只手778个顶点V∈R^{778×3}、48维姿态θ和10维形状β；其图像编解码器以ResNet50为骨干，先在手部分割、2D关节和稠密映射编码等辅助任务上预训练，以获得低分辨率全局信息与高分辨率局部细节，再与全网络联合优化。核心Mesh-Mano交互模块堆叠3个MMIB并以63、126、252个顶点的三级子网格由粗到细上采样，MMIB用图残差块聚合局部邻域信息，用手内和手间两个Transformer编码器建模长程依赖；手内编码器采用非对称掩码，保留mesh-to-MANO注意但阻断MANO-to-mesh直接影响并排除手间注意，手间编码器专门建模左右手关联且不使用图像令牌。网格对齐精修模块将V_MMIM投影到多尺度特征图，为每个顶点拼接显式对齐特征，并用一个MMIB预测残差，核心修正机制为V^h=V_MMIM^h+Conv_v(f̂_v^h)，θ和β也以残差更新。实验选用InterHand2.6M交互手数据，按IntagHand预处理得到36.6万训练和26.1万测试样本；该数据集提供大规模交互双手网格真值，可检验遮挡、紧密交互和视角鲁棒性。训练采用Adam、学习率1e-4、批大小32、随机旋转平移缩放，4块Tesla V100约训练48小时。指标包括MPJPE、MPVPE、0–50mm阈值AUC和2D投影PROJ2D；直接网格结果为8.65mm、8.89mm、0.832和6.22像素，优于IntagHand的8.79、9.03、0.806、6.47，由预测MANO重建网格的参数化对比结果为10.85、10.92、0.790、6.90，优于InterShape的13.48、13.95、0.735、9.95，支持双表示交互、非对称注意和对齐反馈的有效性。模型参数量38.31M、V100推理60.52ms，并在RGB2Hands野外图像上展示泛化能力，可服务VR/AR、HCI、CG角色驱动和虚拟试衣；主要约束是单目证据在严重遮挡下仍会失败并出现双手穿插，未来需引入物理合理性约束。\n\n### 关键要点\n\n- MeMaHand由图像编码-解码模块、Mesh-Mano交互模块和网格对齐精修模块组成，可在一次前向中同时预测双手网格顶点与MANO参数。\n- 图像编码器以ResNet50为骨干，解码器包含四个反卷积层，并先在手部分割、2D关节和稠密映射编码辅助任务上预训练，辅助标签由训练集真值网格生成且未使用额外数据集。\n- Mesh-Mano交互模块采用三级子网格，顶点数分别为63、126和252，经三次MMIB和上采样后，通过1×1卷积得到每只手778个完整网格顶点。\n- 每个MMIB包含一个图残差块和两个Transformer编码器，前者用Chebyshev谱图卷积聚合局部信息，后者建模顶点之间以及顶点与MANO参数之间的长程依赖。\n- 手内Transformer使用非对称注意力掩码，保留网格到MANO的注意但阻止MANO令牌直接影响网格令牌，并排除手间注意；手间Transformer则专门建模左右手关联且不使用图像令牌。\n- 网格对齐精修模块将初估顶点投影到三个尺度的图像特征图上，为各顶点拼接对应的空间对齐特征，再用一个MMIB预测顶点和MANO参数的残差偏移。\n- 训练损失由顶点、关节、面法向、边长、MANO参数、MANO重建网格以及Mesh-Mano一致性损失组成，对应权重分别为40、40、5、40、10、10和40。\n- 实验使用InterHand2.6M交互手子集，按IntagHand流程获得366K训练样本和261K测试样本，采用Adam优化器、学习率1e-4、批大小32和随机旋转、平移、缩放增强。\n- 在非参数化对比中，MeMaHand的MPJPE、MPVPE、AUC和PROJ2D分别为8.65、8.89、0.832和6.22，全部优于IntagHand的8.79、9.03、0.806和6.47。\n- 在参数化对比中，由预测MANO参数重建的网格取得10.85 MPJPE、10.92 MPVPE、0.790 AUC和6.90 PROJ2D，优于InterShape等参数化方法。\n- 消融实验表明，移除MANO令牌、网格对齐精修、非对称注意力或辅助任务预训练均会降低性能，说明手部先验、显式对齐反馈和特征预训练均有贡献。\n- 方法在来自RGB2Hands的野外图像上可生成合理双手重建，但在严重遮挡时仍可能失败并出现双手相互穿插，物理合理性是后续改进方向。"
}