{
  "paper_id": "327f779965fe74cd0f156f2d907c4982",
  "paper_title": "WiLoR: End-to-end 3D Hand Localization and Reconstruction in-the-wild",
  "paper_authors": [
    "Rolandos Alexandros Potamias",
    "Jinglei Zhang",
    "Jiankang Deng",
    "Stefanos Zafeiriou"
  ],
  "publication_date": "",
  "publication_venue": "2025 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)",
  "abstract": "近年来,3D手部姿态估计方法因其在人机交互、虚拟现实和机器人领域的广泛应用而备受关注。相比之下,手部检测管线存在显著空白,为构建有效的真实世界多手重建系统带来了重大挑战。在本工作中,我们提出了一种数据驱动的管线,用于在真实场景(wild)中高效地进行多手重建。所提出的管线由两个组件组成:实时全卷积手部定位网络和高保真基于transformer的3D手部重建模型。为解决以往方法的局限并构建鲁棒稳定的检测网络,我们引入了一个大规模数据集,包含超过200万张具有多样光照、照明和遮挡条件的真实场景手部图像。我们的方法在流行的2D和3D基准数据集上,无论效率还是准确性均优于以往方法。最后,我们展示了该管线在不使用任何时序组件的情况下,从单目视频实现平滑3D手部跟踪的能力。代码、模型和数据集已在项目页面公开。",
  "keywords": [
    "3D手部姿态估计",
    "手部检测与定位",
    "in-the-wild重建",
    "transformer",
    "MANO参数回归",
    "WHIM数据集",
    "多尺度姿态精化模块",
    "实时检测",
    "4D手部跟踪"
  ],
  "paper_institutions": [
    "Imperial College London",
    "Shanghai Jiao Tong University"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:35:38.881596Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\nWiLoR针对的核心问题是:现有3D手部姿态估计方法大多假设图像中手部数量固定,无法泛化到包含多只手、严重遮挡和运动模糊的真实场景,而实时手部检测方法的缺失使构建有效的真实世界多手重建系统面临重大挑战。在相关研究方面,3D人体与面部重建已普遍采用基于高性能检测模型的自底向上管线,但手部检测长期缺乏实时方案;3D手部姿态估计则从卷积骨干发展到transformer架构(如HaMeR),然而从单张图像一次性回归MANO参数会导致图像对齐不良和错误姿态,现有改进依赖中间热图等次优方案。为此,WiLoR提出全栈两阶段管线:一是基于DarkNet骨干、PANet颈部和anchor-free检测头的实时全卷积手部定位网络(可运行超过100 FPS);二是基于预训练ViT编码器的高保真3D重建模型,通过显式的姿态、形状、相机token先回归粗略MANO估计,再由多尺度姿态精化模块修正。其核心机制为:将ViT图像token重塑为低分辨率特征图F_0并经反卷积上采样得到多分辨率特征图{F_0,...,F_n},把粗估计手部网格M_l按估计相机参数经弱透视投影π(v, K_cam)映射到特征图,用双线性插值为每个顶点采样图像对齐特征f_0^v,聚合后由MLP回归姿态与形状残差Δθ、Δβ,实现由粗到细的对齐校正。数据方面,作者构建了WHIM大规模数据集(超过200万张in-the-wild手部图像,来自1400多个YouTube视频,涵盖手语、烹饪、运动等多样光照、遮挡、肤色与视角),以弥补多手标注数据匮乏并训练鲁棒检测器;重建模型则在FreiHAND、HO3D、InterHand2.6M、DEX YCB、ARCTIC等14个数据集共420万张图像上训练(比此前SOTA多55%),以验证对多样姿态、光照和遮挡的泛化能力。评估指标上,检测采用AP/mAP、FPS与模型大小,重建采用PA-MPJPE、PA-MPVPE、F@5、F@15及AUC_J/AUC_V,时序一致性采用MPFVE、MPFJE、Jitter与RTE。结果表明:Proposed-M检测器超过130 FPS、Proposed-S达175 FPS,mAP平均提升26%,较ContactHands快45倍且模型小32倍;在FreiHAND上取得PA-MPJPE 5.5mm、PA-MPVPE 5.1mm、F@5 0.825,在HO3Dv2上取得AUC_J 0.851、PA-MPJPE 7.5mm,全面超越HaMeR等SOTA;时序评估中MPFVE×100为4.43、Jitter为5.92、RTE为0.07,在不使用任何时序模块的情况下实现平滑4D手部跟踪,证明鲁棒检测可抑制逐帧重建的抖动伪影。未来可探索向移动端的进一步轻量化部署以及与显式时序建模的结合;实际应用涵盖虚拟现实、手语识别、人机交互与机器人,约束在于需在移动设备上实时轻量运行,并应对遮挡、运动模糊和多样光照等挑战环境。\n\n### 关键要点\n\n- WiLoR是首个全栈in-the-wild手部定位与3D重建框架,由实时全卷积手部检测器和高保真transformer重建模型组成,可端到端处理多手场景。\n- 作者构建了WHIM数据集:超过200万张in-the-wild手部图像,来自1400多个YouTube视频,涵盖手语、烹饪、日常活动、运动与游戏等场景,含多样光照、遮挡、肤色、手部尺度与自我/外部视角,并公开2D与3D标注。\n- WHIM标注管线使用VitPose与AlphaPose检测人体(置信度>0.65),再由MediaPipe、OpenPose、ContactHands集成检测手部,按置信度加权平均得到边界框,并用2D关键点拟合MANO模型,辅以生物力学约束损失和基于ARCTIC训练的PCA先验。\n- 检测网络采用一阶段backbone-neck-head设计:DarkNet骨干提取{C3,C4,C5}特征,PANet构建多尺度特征金字塔,三个anchor-free检测头预测边界框、左右手标签与关键点,训练目标为L = λ0·L_BCE + λ1·L_DFL + λ2·L_CIoU + λ3·L_kpts。\n- 在NVIDIA RTX 4090上,Proposed-M检测器运行超过130 FPS、Proposed-S达175 FPS,mAP平均较此前SOTA提升26%;相比ContactHands快45倍、模型尺寸小32倍,兼容移动端与重型管线部署。\n- 重建模型以预训练ViT为骨干,将手部图像切分为patch token,并显式引入姿态、形状、相机三个可学习token,先回归粗略MANO参数(θ∈R^48, β∈R^10)与相机参数,再进行精化。\n- 多尺度精化模块将粗手部网格整体(而非仅关节)投影到经反卷积上采样的多分辨率特征图上,双线性插值采样图像对齐的顶点特征,聚合后回归残差Δθ、Δβ;低分辨率特征提供全局结构残差,高分辨率特征提供精细姿态细节。\n- 重建模型在14个数据集共420万张图像上训练(比此前SOTA多55%),包括FreiHAND、HO3D、MTC、RHD、InterHand2.6M、DEX YCB、COCO WholeBody、BEDLAM、ARCTIC、Re:InterHand、Hot3D等,损失包含3D顶点、2D关节、MANO参数与对抗损失。\n- 在FreiHAND基准上取得PA-MPJPE 5.5mm、PA-MPVPE 5.1mm、F@5 0.825、F@15 0.993;在HO3Dv2上取得AUC_J 0.851、PA-MPJPE 7.5mm、AUC_V 0.846,均超越HaMeR、Mesh Graphormer、MobRecon等方法。\n- 消融实验验证各组件贡献:换用FastViT骨干、去除ViTPose预训练、采用单尺度精化、去除精化模块或缩减训练数据均导致性能下降;检测端增强策略为跨数据集泛化贡献14%的mAP提升,关键点损失提升检测精度与鲁棒性。\n- 时序评估显示,WiLoR无需任何时序模块即在HO3D上取得MPFVE×100=4.43、MPFJE×100=0.762、Jitter=5.92、RTE=0.07,显著优于HaMeR(10.60/1.768/20.43/2.92),鲁棒稳定的检测有效抑制了逐帧重建的抖动伪影。\n- 应用场景包括虚拟现实、手语识别、人机交互与机器人;轻量化设计(Proposed-S仅7Mb)满足移动设备部署约束,且全流程实时运行不会拖累下游3D姿态估计管线。"
}