{
  "paper_id": "bbfd9a4a5880116a4e8fa4ef0d570799",
  "paper_title": "Towards Accurate Alignment in Real-time 3D Hand-Mesh Reconstruction",
  "paper_authors": [
    "Xiao Tang",
    "Tianyu Wang",
    "Chi-Wing Fu"
  ],
  "publication_date": "",
  "publication_venue": "2021 IEEE/CVF International Conference on Computer Vision (ICCV)",
  "abstract": "从RGB图像进行3D手部网格重建可支持包括增强现实（AR）在内的许多应用。然而，这不仅需要实时速度和准确的手部姿态与形状，还需要合理的网格-图像对齐。尽管现有工作已取得可喜成果，但同时满足这三项要求极具挑战性。本文提出一种新颖的流水线，将手部网格重建任务解耦为三个阶段：关节阶段预测手部关节与分割；网格阶段预测粗糙手部网格；精修阶段用偏移网格对其进行微调以实现网格-图像对齐。通过在网络结构和损失函数上的精心设计，我们能够促进高质量的手指级网格-图像对齐，并驱动各模型协同提供实时预测。在基准数据集上的大量定量与定性结果表明，我们的结果质量在手部网格/姿态精度和手-图像对齐方面均优于最先进方法。最后，我们还展示了若干实时AR场景。",
  "keywords": [
    "3D手部网格重建",
    "增强现实",
    "网格-图像对齐",
    "实时重建",
    "图卷积网络",
    "可微渲染",
    "偏移网格"
  ],
  "paper_institutions": [
    "The Chinese University of Hong Kong"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:37:17.448870Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n从单目RGB图像进行3D手部网格重建是计算机视觉的长期任务，对增强现实（AR）中的人机交互至关重要，但要在普通图形硬件上同时满足实时速度、准确的手部姿态与形状、以及合理的网格-图像对齐三项要求极具挑战：现有方法大多聚焦姿态预测精度而未有效利用图像中的2D线索（如手部边界），导致对齐欠佳，而基于可微渲染的迭代精修方法虽改善对齐却因耗时难以实时。为此，本文提出解耦的三阶段流水线：关节阶段预测21个手部关节的3D坐标与手部分割掩码；网格阶段融合关节特征与浅层图像特征快速预测粗糙手部网格；精修阶段通过局部特征投影单元与全局特征广播单元为每个顶点聚合局部和全局特征，并用小型Graph-CNN回归偏移网格，核心机制为最终网格 M_f = M_r + ΔM（粗糙网格加偏移残差），并利用可微渲染与彩色手指渲染损失促进手指级对齐。实验基于FreiHAND（32,560个训练与3,960个测试样本，随机选2,000个训练样本用于对齐评估）、ObMan（141,550个合成样本，用于增强训练）以及仅用于未见测试的EgoDexter（1,485个自我视角样本）数据集，实现上采用ImageNet预训练的ResNet-50编码器、Adam优化器、两块Nvidia RTX Titan GPU（每GPU批大小32）、25轮训练、初始学习率1e-4（每10轮衰减0.1）、输入分辨率256×256并辅以随机缩放、旋转与颜色抖动增强，推理时裁剪分割与关节预测分支后在RTX 2080 Ti上达到39.1 FPS。评估指标涵盖网格/姿态误差（ME/PE）、PCK曲线下面积（AUC）、F@5mm/F@15mm以及图像空间对齐的mIoU与95% Hausdorff距离（HD），结果显示该方法在FreiHAND上取得ME/PE均为0.67、F@5mm为0.724、F@15mm为0.981的领先精度，手部级对齐mIoU 92.95、HD 4.70，手指级对齐mIoU 77.33、HD 6.82，全面超越I2L-MeshNet等最先进方法，验证了解耦设计与偏移回归机制的有效性。未来方向包括生成更好匹配真实手部平滑边界的高分辨率细粒度网格、设计聚焦边界顶点的自适应精修阶段以提升效率并进一步裁剪计算，以及将方法部署到移动设备。该方法可支撑真实AR场景，如虚拟纸环环绕手部、虚拟戒指试戴（合理的手-物遮挡）、在手上溅水并运行物理模拟、以及直接抓取并操作虚拟对讲机等直接手部交互，但需在普通消费级图形硬件上满足实时性约束。\n\n### 关键要点\n\n- 方法将手部网格重建解耦为三个阶段：关节阶段预测手部关节与分割，网格阶段预测粗糙手部网格，精修阶段回归偏移网格以实现网格-图像对齐，各阶段目标明确、网络轻量以保障实时性。\n- 核心机制为 M_f = M_r + ΔM，偏移本质上是小残差向量，网络易于学习回归，从而避免了耗时的迭代对齐精修过程。\n- 精修阶段设计了局部特征投影单元（将网格顶点经3D到2D投影后用双线性插值从输入图像与浅层编码器特征采集每顶点特征向量）与全局特征广播单元（对深层特征做全局平均池化并经全连接降维至1/4通道后附加到每个顶点）。\n- Graph-CNN采用图同构网络（GIN）卷积 x'_i = MLPs(x_i + Σ_{j∈N(i)} x_j)，网络结构为一个GINConvBlock、三个各含两个GINConvBlock与恒等连接的GINResBlock及一个GINConvBlock，输出偏移网格 ΔM。\n- 训练损失包括L1网格与关节损失、保持表面法向的法向损失、惩罚飞散顶点的边长损失、监督手部分割的交叉熵损失，以及将手指涂不同颜色进行颜色匹配的可微渲染损失，总损失权重设为 λ_j=λ_n=λ_e=1、λ_s=10、λ_r=0.1。\n- 数据集方面，FreiHAND（32,560训练/3,960测试，均带MANO标注）用于训练与测试，ObMan的141,550个合成样本用于进一步提升性能，EgoDexter（1,485个自我视角真实样本）仅用于未见测试以验证泛化性。\n- 实现细节：采用ImageNet预训练的ResNet-50作为关节/网格编码器，Adam优化器，两块Nvidia RTX Titan GPU，每GPU批大小32，训练25轮，初始学习率1e-4且每10轮衰减0.1，输入图像缩放至256×256并做随机缩放、旋转与颜色抖动增强。\n- 在FreiHAND测试集上，方法（含ObMan训练）取得ME 0.67、PE 0.67、F@5mm 0.724、F@15mm 0.981，均优于I2L-MeshNet（0.76/0.74/0.681/0.973）等最先进方法，并在RTX 2080 Ti上以39.1 FPS实时运行，兼顾精度与速度。\n- 图像空间对齐评估中，方法的手部级mIoU 92.95、HD 4.70与手指级mIoU 77.33、HD 6.82均优于I2L-MeshNet（手部级92.08/6.17，手指级71.07/8.42），表明更好的整体对齐与边界精度。\n- 消融实验（每例三次运行取平均）显示移除任一阶段或组件均降低性能，其中用Graph-CNN直接回归网格顶点而非偏移向量导致最大降幅（mIoU从92.95降至88.01），验证了偏移残差设计的有效性。\n- 推理时可裁剪关节阶段的手部分割与关节预测分支以节省计算且不降低性能，这是实现39.1 FPS实时性能的关键之一。\n- AR应用展示包括虚拟纸环与戒指试戴（合理的手-物遮挡）、在手上溅水并运行物理模拟、直接抓取并操作虚拟对讲机按按钮；未来计划探索高分辨率细粒度网格预测、聚焦边界顶点的自适应精修阶段与移动端部署。"
}