{
  "paper_id": "9d6038d8a54c2a9384d5cc0c817d8fdc",
  "paper_title": "Measuring Generalisation to Unseen Viewpoints, Articulations, Shapes and Objects for 3D Hand Pose Estimation Under Hand-Object Interaction",
  "paper_authors": [
    "Anil Armagan",
    "Guillermo Garcia-Hernando",
    "Seungryul Baek",
    "Shreyas Hampali",
    "Mahdi Rad",
    "Zhaohui Zhang",
    "Shipeng Xie",
    "MingXiu Chen",
    "Boshen Zhang",
    "Fu Xiong",
    "Yang Xiao",
    "Zhiguo Cao",
    "Junsong Yuan",
    "Pengfei Ren",
    "Weiting Huang",
    "Haifeng Sun",
    "Marek Hrzic",
    "Jakub Kanis",
    "Zdeněk Krnoul",
    "Qingfu Wan",
    "Shile Li",
    "Linlin Yang",
    "Dongheui Lee",
    "Angela Yao",
    "Weiguo Zhou",
    "Sijia Mei",
    "Yunhui Liu",
    "Adrian Spurr",
    "Umar Iqbal",
    "Pavlo Molchanov",
    "Philippe Weinzaepfel",
    "Romain Brégier",
    "Grégory Rogez",
    "Vincent Lepetit",
    "Tae-Kyun Kim"
  ],
  "publication_date": "",
  "publication_venue": "ECCV 2020 (Lecture Notes in Computer Science)",
  "abstract": "本文研究单手及手物交互场景下，不同三维手部姿态估计方法的泛化能力。论文指出现有先进方法在训练集中未出现的姿态、视角、手形或物体上精度会明显下降；由于手部姿态空间维度很高，即使采集大规模数据集也难以密集覆盖全部空间，在手物交互和RGB输入下问题更加严重。为此，作者设计了HANDS’19公开挑战，从深度与RGB两种模态、有无物体以及视角、关节、手形、物体四条轴评估方法的插值和外推能力，并探索使用参数化三维手模型弥补真实数据空缺。挑战结果显示，参赛方法相对基线取得显著改进，尤其在外推任务上平均关节误差由27毫米降至13毫米；分析还揭示了数据预处理、集成方法、MANO模型、不同估计框架和骨干网络的影响。\n",
  "keywords": [
    "三维手部姿态估计",
    "手物交互",
    "泛化能力",
    "HANDS 2019",
    "深度图像",
    "RGB图像",
    "视角",
    "关节",
    "手形",
    "MANO",
    "合成数据",
    "集成方法",
    "均值关节误差"
  ],
  "paper_institutions": [
    "Imperial College London",
    "Niantic, Inc.",
    "Graz University of Technology",
    "Rokid Corp. Ltd.",
    "HUST",
    "Megvii Research Nanjing",
    "SUNY Buffalo",
    "BUPT",
    "University of West Bohemia",
    "Fudan University",
    "TUM",
    "University of Bonn",
    "NUS",
    "Harbin Institute of Technology",
    "CUHK",
    "ETH Zurich",
    "NVIDIA Research",
    "NAVER LABS Europe",
    "ENPC ParisTech",
    "UNIST",
    "KAIST"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T03:47:17.143633Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对现有三维手部姿态估计方法在训练集未见视角、关节、手形和物体上精度显著退化的问题，论文结合HANDS’17已发现的自我中心视角和闭合姿态误差上升现象，指出手部姿态、形状、视角及手物交互自由度很高，真实数据无法密集覆盖，RGB输入还受光照和颜色变化影响，因此组织HANDS’19公开挑战并构造可控划分来评估插值与外推能力。挑战包含三项任务：基于BigHand2.2M的深度无物体任务、基于F-PHAB的第一视角深度手物交互任务、基于HO-3D/YCB的第三视角RGB手物交互任务，训练集分别约175K、45K和10K；这些设置分别隔离模态、视角、遮挡和物体因素，用于验证方法对未见属性的泛化能力。组织者依据真实三维关节和物体信息标注视角、关节聚类、手形和物体四条轴，其中关节由五指开合二值模式形成32类，并将测试帧设计为属性已见的插值或属性未见的外推；推理时仅提供图像和手部边界框，Task 3另提供腕部真值。核心机制是使用MANO参数化手模型填补数据分布空隙：对形状s、相机姿态c和关节a参数拟合目标骨架z，优化目标为 O(s,c,a,z)=||f_reg(V(s,c,a))-z||²+Σ||s_j||²+R_Lap(V(s,c,a))，并以学习率10^-3梯度迭代3000次，再利用拟合模型生成合成样本。评估以均值关节误差MJE为主、按总体外推误差排名，并结合不同距离阈值的成功率；ResNet-50基线约27毫米的误差被最佳方法降至约13毫米，Task 1的Rokid、Task 2的NTIS和Task 3的ETH_NVIDIA外推MJE分别为13.66毫米、33.48毫米和24.74毫米，外推误差通常约为插值误差的三倍，且手形是主要瓶颈。结果支持数据预处理、2D/3D局部投票或体素表示、多骨干与多模型集成、SVD或时序平滑后处理、MANO合成增强等创新，例如Rokid的合成数据将简单回归器外推误差从30.11毫米降至15.73毫米。该研究面向AR/VR自然交互、机器人、遥操作和医疗等实际场景，但受限于高维连续姿态、严重遮挡、RGB光照颜色变化、合成手物接触不真实以及显存和GPU训练时间；未来应研究智能子采样、真实-合成域适应、多模态学习，以及在硬件和时间约束下如何定义并采样“足够密集”的姿态空间。\n\n### 关键要点\n\n- HANDS’19要求参赛者根据单张图像预测手部三维关节位置，并通过三项任务覆盖深度无物体、深度手物交互和RGB手物交互场景。\n- Task 1基于BigHand2.2M，包含第三人称和自我中心视角，训练集约175,951帧，测试总集约125K帧，场景中不出现物体。\n- Task 2基于F-PHAB，采用自我中心深度相机记录手物交互，训练集约45,713帧，包含4名受试者、26个物体和45类动作。\n- Task 3基于HO-3D并使用YCB物体，采用第三人称RGB图像，训练集约10,505帧，测试时提供真实腕部位置。\n- 挑战沿视角、关节、手形和物体四条轴自动标注帧，并据此构造属性已见的插值测试集和属性未见的外推测试集。\n- MANO拟合机制同时约束模型骨架与真实关节的欧氏距离、形状参数接近均值以及网格表面的Laplacian平滑，以获得合理且完整的手部姿态空间。\n- 参赛方法包括A2J锚点到关节回归、AWR自适应加权回归、NTIS体素预测、BT点云投票、CrazyHand层级检测回归和ETH_NVIDIA的2.5D热图回归等。\n- 许多队伍在方法内部或后处理阶段使用集成，例如融合多个骨干网络、不同训练周期、多尺度或旋转增强后的预测结果。\n- 主要评价指标为均值关节误差MJE，排名依据所有轴上的总体外推表现，同时使用每帧和每关节的距离阈值成功率进行补充分析。\n- Task 1中Rokid以13.66毫米外推MJE排名第一，Task 2中NTIS以33.48毫米排名第一，Task 3中ETH_NVIDIA以24.74毫米排名第一。\n- Rokid使用570K合成深度图并与真实数据混合，可将外推MJE从30.11毫米降至15.73毫米，证明合成数据对填补高维姿态空缺有效。\n- 手物交互和RGB输入仍是最大难点：Task 2中所有方法都难以将全部关节误差控制在15毫米内，Task 3中甚至没有方法将全部关节误差控制在25毫米内。"
}