{
  "paper_id": "59554e5055e8c589bcc2c2377676f4f4",
  "paper_title": "3D Hand Pose Detection in Egocentric RGB-D Images",
  "paper_authors": [
    "Grégory Rogez",
    "Maryam Khademi",
    "J.S. Supančič III",
    "J.M.M. Montiel",
    "Deva Ramanan"
  ],
  "publication_date": "",
  "publication_venue": "ECCV 2014 Workshops (Lecture Notes in Computer Science)",
  "abstract": "We focus on the task of hand pose estimation from egocentric viewpoints. For this problem specification, we show that depth sensors are particularly informative for extracting near-field interactions of the camera wearer with his/her environment. Despite the recent advances in full-body pose estimation using Kinect-like sensors, reliable monocular hand pose estimation in RGB-D images is still an unsolved problem. The problem is exacerbated when considering a wearable sensor and a first-person camera viewpoint: the occlusions inherent to the particular camera view and the limitations in terms of field of view make the problem even more difficult. We propose to use task and viewpoint specific synthetic training exemplars in a discriminative detection framework. We also exploit the depth features for a sparser and faster detection. We evaluate our approach on a real-world annotated dataset and propose a novel annotation technique for accurate 3D hand labelling even in case of partial occlusions.\n",
  "keywords": [
    "Egocentric vision",
    "Hand pose",
    "Multi-class classifier",
    "RGB-D sensor"
  ],
  "paper_institutions": [
    "Department of Computer Science, University of California, Irvine, USA",
    "Aragon Institute of Engineering Research (i3A), Universidad de Zaragoza, Zaragoza, Spain"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:36:28.379154Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文面向第一人称穿戴视角下RGB-D图像的三维手部姿态估计问题。尽管Kinect类深度传感器已推动全身姿态估计和手部跟踪研究，但手部频繁离开视场、手指自遮挡或被操作物体遮挡，以及许多跟踪方法需要手工初始化，使全自动第一人称手部姿态估计仍然困难。方法采用胸装Intel Creative飞行时间相机，利用其小基线、低遮挡和适合0–70cm近场交互的特点；以26个关节角θ定义运动学手模型，在Poser全身角色胸部放置虚拟相机，结合抓取动作捕捉、高斯扰动和拒绝采样，并使用EveryDayHands中的50种抓握与常见物体生成10,000个包含视角、姿态和手物交互先验的合成训练样本。判别框架将检测与姿态估计统一为K+1类分类，用层级K均值组织由粗到细的姿态类，节点弱分类器是局部HOG特征上的线性SVM；本文只让通过前级拒绝级联的样本进入后续节点顺序训练，并对每个节点M个弱分类器构成的指数级树集合精确计票，核心递推为t_i=t_p n_i，其中n_i是节点i触发的弱分类器数量，从而降低自遮挡造成的过早拒绝。特征同时使用RGB HOG和深度HOG，深度梯度可反映表面法线方向；稀疏搜索先滤除75cm以外位置，再依据典型手部尺寸和针孔相机模型按S_map=(s/f)d(x,y)量化尺度，并在16像素网格上只分类有效窗口。实验采集并标注真实第一人称物体操作数据集，包含4组各1000帧的RGB-D序列、每10帧标注一次，涉及2名受试者和4个室内场景；半自动标注工具通过少量2D关节标注匹配合成3D样本并迭代细化，可处理部分遮挡。默认模型采用K=100个姿态类、6层层级、每分支M=3个弱分类器、每类合成100张训练图，通用先验对比实验则使用K=800。检测以边界框IoU至少50%为正确，姿态用关键点2D-RMS重投影误差评估，所有2D关节误差低于10像素视为视角一致，对只输出可信手指的基线则用指尖检测率作为姿态代理。与NITE2、PXC和FORTH相比，本文方法在检测和姿态估计上具有竞争力或更优，同时表明第一人称视角比第三人称更难；加入第一人称视角和姿态先验后，当每图保留N=10个候选时，90%的测试帧获得视角一致检测，平均2D RMS约为5像素，足以初始化跟踪器。消融实验显示视角先验、姿态先验、深度HOG和顺序训练是关键，关闭后检测率下降10%–30%；顺序训练比原独立训练提升10%–15%，指数级集成比100个显式随机级联快2.5倍，稀疏搜索比密集网格快3.15倍，物体交互先验对操作帧尤其有帮助。后续可通过跟踪器重排候选、引入时序动态并扩展未见物体与姿态多样性继续改进；该技术可用于生活日志、医疗康复、增强现实和日常手物交互理解，但受近场距离、深度噪声、反射材质、未见或可变形物体、手部截断及出视场等条件约束。\n\n### 关键要点\n\n- 系统使用胸戴式Intel Creative飞行时间RGB-D相机，因为其无需大基线、体积较小，并能减少近场手物观测中的遮挡。\n- 训练数据由全身虚拟角色生成，虚拟相机安装在角色胸部，相比孤立的“悬浮手”模型能提供手臂和身体上下文。\n- 手部姿态由26个关节角表示，核心抓取姿态来自动作捕捉数据，并通过高斯扰动、拒绝自相交和视场外样本来扩充。\n- 合成数据包含EveryDayHands库中的50种典型抓握及球、圆柱、餐具、电话、杯子等物体，最终形成10,000个第一人称手物交互样本。\n- 检测和姿态估计被建模为包含背景的K+1类多类分类问题，层级树实现从粗姿态到细姿态的共享与拒绝级联。\n- 顺序训练只使用真正到达当前节点的样本来学习弱分类器，使训练分布更接近测试时的级联筛选过程。\n- 指数级集成通过t_i=t_p n_i缓存各节点的部分投票，无需显式枚举M^N棵树即可平均大量级联预测。\n- 深度HOG使用5×5块和16个有向方向桶，深度梯度可间接刻画表面法线方向，适合区分自遮挡下的全局手部姿态。\n- 稀疏搜索利用手部不超过75cm和典型手部尺寸的先验，按深度计算尺度并在16像素网格上评估，显著减少候选窗口。\n- 真实数据集包含4组各1000帧序列、2名受试者和4个室内场景，每10帧用半自动工具标注完整3D手部姿态。\n- 在N=10个候选时，第一人称专用先验使90%的帧达到视角一致检测，平均2D RMS误差约5像素。\n- 方法在反射物体造成错误深度、深度噪声大、操作未见或可变形物体以及手部被截断时仍会失败。"
}