{
  "paper_id": "7e944b1a6fd34c4ec92a5fd2a58b1bca",
  "paper_title": "3D Hand Pose Estimation in Everyday Egocentric Images",
  "paper_authors": [
    "Aditya Prakash",
    "Ruisen Tu",
    "Matthew Chang",
    "Saurabh Gupta"
  ],
  "publication_date": "2024",
  "publication_venue": "Computer Vision -- ECCV 2024",
  "abstract": "3D hand pose estimation in everyday egocentric images is challenging for several reasons: poor visual signal (occlusion from the object of interaction, low resolution & motion blur), large perspective distortion (hands are close to the camera), and lack of 3D annotations outside of controlled settings. While existing methods often use hand crops as input to focus on fine-grained visual information to deal with poor visual signal, the challenges arising from perspective distortion and lack of 3D annotations in the wild have not been systematically studied. We focus on this gap and explore the impact of different practices, i.e. crops as input, incorporating camera information, auxiliary supervision, scaling up datasets. We provide several insights that are applicable to both convolutional and transformer models, leading to better performance. Based on our findings, we also present WildHands, a system for 3D hand pose estimation in everyday egocentric images. Zero-shot evaluation on 4 diverse datasets (H2O, AssemblyHands, Epic-Kitchens, Ego-Exo4D) demonstrate the effectiveness of our approach across 2D and 3D metrics, where we beat past methods by 7.4% - 66%. In system level comparisons, WildHands achieves the best 3D hand pose on ARCTIC egocentric split, outperforms FrankMocap across all metrics and HaMeR on 3 out of 6 metrics while being 10× smaller and trained on 5× less data.",
  "keywords": [
    "3D Hand Pose",
    "Egocentric Vision",
    "3D from single image"
  ],
  "paper_institutions": [
    "University of Illinois Urbana-Champaign"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:35:45.759302Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文研究日常自我中心图像中的3D手部姿态估计问题，该问题面临视觉信号差（交互物体遮挡、低分辨率与运动模糊）、手部靠近相机导致的大幅透视畸变、以及受控环境外缺乏3D标注三大挑战。以往方法（如FrankMocap、HaMeR）多以手部裁剪为输入以聚焦细粒度视觉信息，但透视畸变与野外3D标注缺失的影响尚未被系统研究；近期工作指出图像裁剪中存在透视畸变引起的形状歧义，可用基于相机内参的位置编码缓解。作者系统探索了裁剪输入、融入相机信息、辅助监督与数据集规模化等实践的影响，并提出WildHands系统：手部裁剪（224×224）经ResNet50骨干网络提取7×7×2048特征，结合全局图像特征与内参感知位置编码KPE——对每个像素计算 θx = arctan((x−px)/fx)、θy = arctan((y−py)/fy) 并转为正弦编码（稀疏变体，K=4个频率分量）加入特征图以缓解形状歧义——再经HMR式迭代解码器（3次迭代）预测MANO参数 β、θlocal、θglobal 与相机平移；同时通过可微渲染（SoftRasterizer）将预测的3D手部渲染为软分割掩码以吸收分割监督，用4层MLP抓取分类器（8类）提供抓取监督，总损失为 L = λθLθ + λβLβ + λcamLcam + λkp3dLkp3d + λkp2dLkp2d + λmaskLmask + λgraspLgrasp。训练选用实验室数据ARCTIC（187K图像，现有数据集中手部姿态变化范围最大）与AssemblyHands（360K自我中心图像）提供3D监督，野外数据Epic-Kitchens VISOR（30K）与Ego4D（45K）经现成模型提取掩码与抓取伪标签提供辅助监督，以验证跨域泛化能力；模型从ArcticNet-SF初始化，在2块A40 GPU上以批大小144、Adam优化器、学习率1e-5联合多数据集训练100个epoch。评估采用零样本策略，在H2O、AssemblyHands、Epic-HandKps（作者收集的5K张野外图像2D关键点标注）与Ego-Exo4D上使用MPJPE、MRRPE与2D L2误差指标，WildHands超越以往方法7.4%–66%，在ARCTIC自我中心排行榜取得最佳3D手部姿态（MPJPE 15.72、MRRPE 23.88），全面超越FrankMocap并在6项指标中3项优于HaMeR，同时模型小10倍、训练数据少5倍，这些结果支持了KPE与多数据集辅助监督两项核心创新。未来可扩大骨干网络与数据规模，并利用WildHands从人类交互中规模化学习机器人策略；实际应用涵盖AR/VR与机器人，但KPE需已知相机内参、损失权重为手工超参数（可考虑不确定性加权），手指几乎不可见或极端抓取姿态的图像仍是难点。\n\n### 关键要点\n\n- 问题与挑战：日常自我中心图像中的3D手部姿态估计面临交互物体遮挡、低分辨率与运动模糊导致的视觉信号差，手部贴近相机造成的大幅透视畸变，以及受控环境外缺乏3D标注三大挑战。\n- 核心机制：WildHands采用内参感知位置编码（KPE），对每个像素计算 θx = arctan((x−px)/fx) 与 θy = arctan((y−py)/fy) 并转为正弦编码（稀疏变体，K=4个频率分量）加入特征图，缓解手部裁剪中透视畸变引起的形状歧义。\n- 架构设计：模型以手部裁剪（224×224）为输入，经ResNet50骨干网络提取7×7×2048特征，结合全局图像特征与KPE，通过HMR式迭代解码器（3次迭代）预测MANO参数 β、θlocal、θglobal 及弱透视相机参数。\n- 辅助监督：利用可微渲染（SoftRasterizer）将预测的3D手部渲染为软分割掩码以吸收分割标签监督，并基于“抓取类型指示手部姿态”的洞察，用4层MLP抓取分类器（8类抓取）提供监督。\n- 训练数据：实验室数据ARCTIC（187K图像，姿态变化范围最大）与AssemblyHands（360K）提供3D监督；野外数据Epic-Kitchens VISOR（30K）与Ego4D（45K）通过现成模型提取掩码与抓取伪标签提供辅助监督。\n- 训练设置：模型从ArcticNet-SF初始化，在2块A40 GPU上以批大小144、Adam优化器、学习率1e-5联合多数据集训练100个epoch。\n- 评估数据集与指标：零样本评估覆盖H2O、AssemblyHands、Epic-HandKps（作者收集的5K张2D关键点标注，经筛选后为4724个有效手部标注）与Ego-Exo4D，指标包括MPJPE（相对姿态）、MRRPE（绝对姿态）与2D L2误差。\n- 关键结果：裁剪输入相对全图带来MPJPE 27.7%提升；KPE带来MPJPE 20.5%、MRRPE 56.4%、2D姿态65.1%提升；掩码监督带来MPJPE 8.5%、MRRPE 21.5%、2D姿态55.5%提升。\n- 系统级比较：WildHands在ARCTIC自我中心排行榜取得最佳3D手部姿态（MPJPE 15.72、MRRPE 23.88），全面超越FrankMocap，并在6项指标中3项优于HaMeR，同时模型小10倍、训练数据少5倍。\n- 洞察普适性：KPE与辅助监督的收益同样适用于Transformer模型（HandOccNet、HaMeR），例如HaMeR+KPE在H2O上MPJPE从30.57降至24.15。\n- 局限与约束：KPE编码需要已知相机内参（部分场景不可用，但Ego4D实验表明无内参时辅助监督仍有效）；损失权重为手工超参数，可考虑基于不确定性的加权；手指几乎不可见（如揉面）或极端抓取姿态的图像对所有模型均困难。\n- 未来方向：扩大骨干网络与训练数据规模可进一步提升性能，WildHands可用于从人类交互中规模化学习机器人策略。"
}