{
  "paper_id": "854d8662343e25e2b8b6807cbe985a4d",
  "paper_title": "H2ONet: Hand-Occlusion-and-Orientation-aware Network for Real-time 3D Hand Mesh Reconstruction",
  "paper_authors": [
    "Hao Xu",
    "Tianyu Wang",
    "Xiao Tang",
    "Chi-Wing Fu"
  ],
  "publication_date": "",
  "publication_venue": "2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)",
  "abstract": "实时三维手部网格重建在手握持物体时极具挑战。H2ONet不再仅依赖单帧形状与姿态先验，而是充分利用多帧中的非遮挡信息：首先将手部网格重建解耦为两个轻量分支，分别利用手指级非遮挡信息和全局手部朝向；其次提出手指级遮挡感知特征融合，以预测的手指级遮挡信息指导跨时间帧的手指信息融合；同时设计手部级遮挡感知特征融合，从邻近时间帧获取非遮挡信息。在包含大量手物遮挡挑战样本的Dex-YCB和HO3D-v2数据集上的实验表明，H2ONet能够实时运行，并在手部网格与姿态精度上均达到当前最优水平，代码将在GitHub发布。\n",
  "keywords": [
    "三维手部网格重建",
    "遮挡感知",
    "多帧融合",
    "手部朝向回归",
    "手指级特征融合",
    "实时推理",
    "手物交互"
  ],
  "paper_institutions": [
    "Department of Computer Science and Engineering, The Chinese University of Hong Kong",
    "Institute of Medical Intelligence and XR, The Chinese University of Hong Kong",
    "Shun Hing Institute of Advanced Engineering, The Chinese University of Hong Kong"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:38:51.201639Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文针对单目RGB实时三维手部网格重建中手掌握持物体时自遮挡与物体遮挡严重的问题。已有单帧方法在遮挡区域占主导时仅靠手部形状和姿态先验难以可靠恢复，空间注意力还会增加计算开销；已有多帧方法多关注时序一致性或光流约束，缺少显式遮挡建模，且常使用较多帧或优化流程而难以实时。H2ONet输入当前帧及两个历史帧，将任务解耦为标准姿态手部网格M重建与全局手部朝向R回归，双分支编码器共享前期多尺度特征并采用SENet、MobileNet式高效块；网格分支先回归二维关节点并预测五根手指的遮挡概率，再通过SpiralConv解码器生成标准姿态网格，其核心融合机制为按手指在帧维度计算softmax权重并执行F′ = Σ_i W_{t-ik}·F_{V,t-ik}，随后用MLP生成当前帧顶点偏移；朝向分支则在所有手指均被判定遮挡时才认为手部遮挡，并按逆时间顺序寻找最近非遮挡帧的全局特征补充当前帧，回归6D旋转及旋转偏移，最终以M_t^r = R_t M_t^c得到相机坐标网格。实验选择Dex-YCB和HO3D-v2，因为二者均含严重手物遮挡，前者规模大且视角丰富，用于检验有效性和鲁棒性，后者是通用官方评测基准且测试标签不公开，用于检验泛化能力；实现中输入为128×128图像，编码器在ImageNet预训练，使用Adam、batch size 32和RTX 3090，采用先训练网格分支再联合训练的两阶段策略，帧间隔k按视频FPS分别设为5和30，并针对HO3D-v2旋转分布有限导致朝向分支过拟合的问题先在Dex-YCB上预训练。评测采用J-PE、V-PE、J-AUC、V-AUC、F@5mm、F@15mm以及Procrustes对齐前后指标，H2ONet在Dex-YCB上取得PA-J-PE 5.3、PA-V-PE 5.2、J-PE 13.7、V-PE 12.7，在HO3D-v2对齐后取得J-PE 8.5、V-PE 8.6、F@5 57.0，对齐前取得J-PE 23.0、V-PE 22.4，多数或全部指标优于HandOccNet、MobRecon等方法，支持双分支解耦及手指级、手部级遮挡感知融合的有效性；该方法适用于增强现实、行为理解等需要实时交互的场景，但依赖近邻帧近似刚体变换、训练数据需具备多样旋转分布，且顶点偏移在少数情况下可能产生伪影，未来可放松刚体假设、增强朝向泛化并改进网格偏移表达。\n\n### 关键要点\n\n- H2ONet输入当前帧和两个历史帧，通过双分支编码器将标准姿态手部网格重建与全局手部朝向回归分离，降低跨帧特征融合难度。\n- 手指遮挡标签由彩色真值网格渲染、手部分割掩膜和顶点投影自动生成，某根手指的遮挡顶点数超过50时即标记为遮挡。\n- 手指遮挡分类器直接使用预测二维关节点处的特征，由一个基础MLP提取全局信息，再用五个轻量头部分别预测五根手指的遮挡概率。\n- 手指级遮挡感知融合按每根手指在三帧间的预测概率计算权重，自适应聚合非遮挡手指的顶点特征以改进手部形状。\n- 手部级遮挡采用五根手指全部遮挡的严格条件，相比额外分支直接预测手部遮挡，可减少误分类对朝向回归的严重影响。\n- 朝向分支按从当前帧到历史帧的逆时间顺序查询最近非遮挡帧，若所有帧均遮挡则使用当前帧特征，并回归6D旋转与旋转偏移。\n- 训练损失包括标准姿态和旋转后网格及关节的L1损失、二维关节损失、法线与边长约束、手指遮挡交叉熵损失和朝向L2损失，法线损失权重设为0.1。\n- Dex-YCB使用默认S0划分，训练集406,888个样本、测试集78,768个样本；HO3D-v2提供66,034个训练样本和11,524个测试样本。\n- 在Dex-YCB上，完整H2ONet在PA-J-PE、PA-V-PE、J-PE、V-PE等几乎所有指标上达到最优，单帧版本也已与HandOccNet性能相当。\n- 在HO3D-v2官方评测中，H2ONet在Procrustes对齐前后的关节与顶点误差、AUC和F-score上均达到最优，体现跨数据集泛化能力。\n- 完整多帧模型在RTX 2080Ti、batch size为1时达到35 FPS，虽处理三帧输入仍满足实时性，单帧版本为43 FPS。\n- 方法的主要限制包括近邻帧刚体假设、朝向分支依赖多样化旋转训练分布，以及顶点偏移在个别情况下可能造成网格伪影。"
}