{
  "paper_id": "831393f00b1c55bfb21d85cdafbff74b",
  "paper_title": "AnyHand: A Large-Scale Synthetic Dataset for RGB(-D) Hand Pose Estimation",
  "paper_authors": [
    "Chen Si",
    "Yulin Liu",
    "Bo Ai",
    "Jianwen Xie",
    "Rolandos Alexandros Potamias",
    "Chuanxia Zheng",
    "Hao Su"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "本文提出AnyHand，一个旨在推动3D手部姿态估计最新水平的大规模合成数据集。尽管近期基础式方法表明扩展训练数据可显著改善手部姿态估计，但现有真实数据集覆盖有限，且先前合成数据集很少同时大规模提供遮挡、手臂细节和对齐深度。为突破这一瓶颈，AnyHand包含250万张单手和410万张手-物交互RGB-D图像，附带丰富几何标注。我们证明，用AnyHand扩展现有RGB基线的原始训练数据配方，可在多个基准（FreiHAND和HO-3D）上取得显著增益，即使保持架构和训练方案不变。更令人印象深刻的是，所得模型在域外HO-Cap数据集的零样本测试中泛化更好。结合对训练数据规模与组成的广泛消融，这些结果表明训练数据的多样性和质量与规模同样关键。我们还在附录中检验了AnyHand对齐深度图的效用，表明用AnyHand扩展RGB-D监督可使现有RGB基线的轻量深度融合变体超越先前RGB-D方法。",
  "keywords": [
    "3D手部姿态估计",
    "合成数据集",
    "RGB-D",
    "手-物交互",
    "MANO",
    "数据规模扩展",
    "域外泛化",
    "深度融合"
  ],
  "paper_institutions": [
    "University of California, San Diego",
    "Lambda, Inc",
    "Imperial College London",
    "Nanyang Technological University"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:37:03.484218Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n3D手部姿态估计旨在从单张RGB图像鲁棒恢复手部三维姿态，是VR/AR与机器人自然交互的核心能力。尽管HaMeR、Hamba、WiLoR等基于Transformer的基础式模型已证明简单架构配合大规模多样数据即可取得强性能，但真实数据集（如GigaHands）受采集视角、受试者与物体规模限制且标注含噪，而先前合成数据集（RHD、ObMan、Re:InterHand、RenderIH）很少同时提供百万级规模、物体诱导遮挡、手臂上下文与对齐深度。为此，本文提出AnyHand大规模合成RGB-D数据集：AnyHand-Single含250万张单手图像、AnyHand-Interact含410万张手-物交互图像，其构建从FreiHAND与InterHand2.6M经验分布采样47,438个MANO形状参数、用DPoser-Hand扩散先验实时采样姿态、以Handy生成10,240种手部纹理并以SMPLitex的254种纹理渲染SMPL-H手臂，背景取自MIT Indoor Scenes与734个HDRI环境图，相机内外参依据HO-3D/DexYCB标定统计随机化，交互分支继承GraspXL的千万级物理仿真抓取与50万+Objaverse物体，全部在SAPIEN中以光线追踪渲染；对齐深度通过核心机制 D = Fuse(D_hand/arm, MoGe-2(D_bg)) 将前景度量深度与估计的背景度量深度在相机空间融合而成。实验在8块NVIDIA H100上保持HaMeR与WiLoR架构与训练协议不变、仅以0.4权重混入AnyHand，在FreiHAND与HO-3D v2上以PA-MPJPE/PA-MPVPE/F@5/F@15等指标验证域内精度（HaMeR的PA-MPJPE由6.0mm降至5.545mm即7.6%提升，WiLoR w/ AnyHand达5.394mm与7.355mm均最优），并在域外HO-Cap零样本测试中验证泛化（HaMeR w/ AnyHand达4.66mm反超WiLoR），证明数据质量、数量与多样性是比架构迭代更强的杠杆；消融进一步显示两分支联合训练、真实手臂纹理与扩散姿态合成各自贡献增益，50%-75%合成混合比例在固定预算下最优而纯合成退化。RGB-D方面，轻量双向RGB-深度交叉注意力融合模块（AnyHandNet-D）在HO-3D v2上将STA-MPJPE从Keypoint-Fusion的1.87cm降至1.09cm（约41.7%相对降低），且用MoGe-2估计深度替代量化严重的真值深度反而更优。未来方向包括更强解剖约束的姿态先验、高效场景级渲染及统一RGB/RGB-D基础模型；实际约束在于扩散先验可能漏过少量不合理姿态、2D合成使背景深度在手部边界不完全一致、以及大规模3D场景渲染的资产与计算成本。\n\n### 关键要点\n\n- 提出AnyHand大规模合成RGB-D数据集，包含AnyHand-Single（250万张单手图像、125万场景）与AnyHand-Interact（410万张手-物交互图像、205万场景），每个样本存储RGB、深度、前景掩码、2D边界框、相机内外参及来自仿真的精确3D姿态与形状参数。\n- 手部形状从FreiHAND与InterHand2.6M的真实分布采样47,438个MANO形状参数，手部姿态通过DPoser-Hand扩散先验实时采样，避免朴素采样产生的不自然关节配置。\n- 外观多样性由Handy生成10,240种高保真手部纹理（辅以色调/饱和度扰动扩展肤色分布），手臂采用SMPL-H网格配SMPLitex的254种纹理，保证手-腕-臂几何与外观连续性并缓解对干净采集条件的过拟合。\n- 背景来自MIT Indoor Scenes（536张）与Poly Haven的734个HDRI环境图共1,270个来源，随机旋转缩放裁剪；每场景随机1-5盏灯且光色统计与背景色调相关联，以保持前景-背景光照一致。\n- 相机内外参基于HO-3D与DexYCB标定统计随机化：FOV在30°-40°均匀采样，相机-手距离从均值0.6/0.7/1.0米（标准差0.1米）的高斯分布采样，视点覆盖整个3D球面，每场景渲染两个独立视角。\n- 交互分支直接继承GraspXL超过1000万条物理仿真抓取序列与50万+Objaverse带纹理物体，选取手部抓取物体的精确帧渲染，产生真实的物体诱导遮挡与自遮挡。\n- 对齐深度图通过SAPIEN渲染前景度量深度、MoGe-2估计背景度量深度并在相机空间融合获得，虽非完美真值但适用于训练评估，同时存储前景掩码供模型选择性限制损失区域。\n- 在FreiHAND基准上，HaMeR w/ AnyHand的PA-MPJPE从6.0mm降至5.545mm（7.6%提升）、PA-MPVPE从5.7mm降至5.246mm，WiLoR w/ AnyHand达5.394mm/5.046mm为最优；HO-3D v2上WiLoR w/ AnyHand的PA-MPJPE为7.355mm同样领先。\n- 域外HO-Cap零样本测试中，HaMeR w/ AnyHand的PA-MPJPE为4.66mm反超WiLoR w/ AnyHand的4.69mm，而原始训练下HaMeR弱于WiLoR，表明架构间性能差距可由训练数据分布改变，数据增益可超越架构差异。\n- 混合训练消融显示100% AnyHand配置劣于混合配置且相对HaMeR原始配方退化，而50%-75%混合比例在固定270万样本预算下表现最强（部分情况超越WiLoR参照），证明合成数据应作为真实数据的补充而非替代。\n- RGB-D架构AnyHandNet-D在WiLoR基础上加入轻量双向RGB-深度交叉注意力模块，HO-3D v2上STA-MPJPE从Keypoint-Fusion的1.87cm降至1.09cm（约41.7%相对降低）；用MoGe-2估计深度替代量化严重且含缺失值的真值深度反而更优（1.06cm），因其更匹配合成训练分布。\n- 局限性包括：DPoser-Hand先验可能漏过少量解剖不合理姿态（虽有BMC生物力学过滤）、2D背景合成导致背景深度在手部边界不完全一致、大规模完整3D场景渲染的资产与计算成本高，未来可探索场景级渲染与统一RGB/RGB-D基础模型。"
}