{
  "paper_id": "08d785d5d60b6157a5954f06a38abc60",
  "paper_title": "Real-time Hand Tracking under Occlusion from an Egocentric RGB-D Sensor",
  "paper_authors": [
    "Franziska Mueller",
    "Dushyant Mehta",
    "Oleksandr Sotnychenko",
    "Srinath Sridhar",
    "Dan Casas",
    "Christian Theobalt"
  ],
  "publication_date": "",
  "publication_venue": "2017 IEEE International Conference on Computer Vision (ICCV)",
  "abstract": "我们提出一种从移动的第一视角RGB-D相机在杂乱真实环境中实时、鲁棒且准确估计手部姿态的方法。现有方法通常在第一视角下常见的虚拟或增强现实场景中，面对杂乱场景中的手物交互时失效。该方法先后使用两个卷积神经网络进行手部定位和三维关节位置回归：手部定位CNN估计输入中手部中心的二维位置，即使存在杂乱背景和遮挡；随后利用定位到的手部位置及对应深度值生成归一化裁剪图像，输入第二个CNN实时回归相对三维手部关节位置。为进一步提升准确性、鲁棒性和时间稳定性，方法使用运动学姿态跟踪能量细化姿态估计。为训练CNN，作者引入了一个新的照片级真实感数据集，通过融合现实方法捕获并合成大量杂乱场景中自然手物交互的标注数据。定量与定性评估表明，该方法对自遮挡和物体遮挡均具有鲁棒性，尤其适用于移动第一视角。\n",
  "keywords": [
    "第一视角手部跟踪",
    "RGB-D",
    "三维手部姿态估计",
    "卷积神经网络",
    "手物交互",
    "遮挡处理",
    "运动学姿态跟踪",
    "SynthHands",
    "EgoDexter",
    "实时跟踪"
  ],
  "paper_institutions": [
    "Max Planck Institute for Informatics",
    "Saarland University",
    "Universidad Rey Juan Carlos"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:31:12.648852Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文面向移动第一视角RGB-D传感器，解决头戴、肩戴或胸戴相机在杂乱真实环境中进行自然手物交互时，因自遮挡、物体遮挡、背景杂乱、视野受限和相机运动而难以实时估计完整三维手部姿态的问题；已有方法多在第三人称、无杂乱背景的空中自由手势上表现较好，在强遮挡和手物交互场景中容易失效，而监督式CNN又难以获取大规模带标注第一视角数据。作者提出将逐帧姿态估计分解为手部定位和三维关节回归，并以运动学时间跟踪细化：首先由基于ResNet50精简为10个残差块的HALNet输出手部根节点二维位置概率热图，该根节点可以是中指掌指关节处的手部中心，也可以是遮挡手部中心的物体表面点；再结合热图最大值位置和对应深度生成与深度相关的归一化裁剪图像，输入结构相同的JORNet，回归21个关节的根相对三维位置和逐关节二维热图，全局位置由局部位置加反投影得到的三维根位置恢复。系统使用Intel RealSense SR300的640×480、30Hz RGB-D数据，将彩色图与深度对齐形成彩色深度图并降采样到320×240，以消除相机外参差异并满足实时性；两个网络用Caffe和AdaDelta训练，动量为0.9、权重衰减为0.0005，学习率由0.05降至0.000025，HALNet训练45,000次、JORNet训练60,000次，并在三维根位置加入±25mm均匀噪声以增强定位鲁棒性。为解决真实标注稀缺问题，论文构建约220,000张RGB-D图像的SynthHands数据集，采用融合现实方式把真实手部动作重定向到照片级虚拟手模型，模拟抓握和操作虚拟物体，并覆盖12种肤色、0.8至1.2的手形缩放、5个第一视角虚拟相机、7种物体、145种替换纹理、传感器噪声以及桌面、办公室、走廊和厨房等真实杂乱背景；训练物体与测试物体不同，用于验证对未见物体的泛化能力。论文还提出真实基准EgoDexter，包含3190帧移动第一视角、杂乱场景和手物交互数据，其中1485帧人工标注二维和三维指尖位置，共4个序列、4名用户和不同物体，并保留5120帧完全标注的SynthHands测试帧。评测采用二维像素误差和三维欧氏关节误差：HALNet平均根节点二维误差为2.2px、标准差1.5px；JORNet使用真实裁剪和HALNet裁剪的三维误差差距不大，说明定位步骤不会造成灾难性失败，而二维误差中HALNet裁剪略好，可能与训练时加入根节点噪声有关；两级CNN在EgoDexter上优于直接从全图回归三维姿态的单个CNN，RGB-D输入也优于仅深度输入。核心细化机制是最小化能量E(Θ)=E_data(Θ,p^G,H)+E_reg(Θ)，其中数据项同时约束三维关节位置和二维热图投影，正则项实施生物力学关节极限与常速度时间平滑；26自由度骨架包含6个全局平移旋转自由度和20个关节角，完整能量取得最低的32.6mm平均指尖误差，并保证骨长一致、姿态合理且时序稳定。在Intel Xeon E5-2637与Nvidia Titan X Pascal上，手部定位、关节回归和运动学跟踪分别耗时11ms、6ms和1ms，可满足VR/AR、人机交互、动作控制和活动识别等真实场景；其约束在于快速运动导致的彩色深度图失配、手部定位失败以及针对特定相机模拟噪声带来的域迁移限制，未来可利用深度域适配联合使用标注合成数据与未标注或部分标注真实数据。\n\n### 关键要点\n\n- 方法采用HALNet和JORNet两个顺序CNN，先在全帧杂乱场景中定位手部，再在归一化裁剪图中回归三维关节，避免单网络直接处理全图遮挡问题。\n- HALNet由ResNet50精简而来，使用10个残差块以平衡精度与计算成本，输出编码手部根节点二维位置概率的热图。\n- 当热图最大值置信度低于0.1且距前一位置超过30像素时，系统将其判为不确定，并结合历史置信位置和0.98的衰减因子进行时序稳定处理。\n- JORNet从裁剪图像预测21个关节的根相对三维位置及每个关节的二维热图，全局三维位置由局部预测与反投影得到的根节点三维位置相加获得。\n- 运动学骨架具有26个自由度，包括6个全局平移旋转自由度和20个关节角，并通过快速校准适配不同用户的骨长。\n- SynthHands包含约220,000张照片级RGB-D合成图，使用融合现实方式捕获自然手物动作，并系统变化肤色、手形、视角、物体纹理、光照和真实背景。\n- SynthHands只提供虚拟训练物体而不包含EgoDexter测试物体的三维扫描或相似模型，因此实验可检验方法对未见物体的泛化能力。\n- EgoDexter真实基准包含3190帧、4个序列、4名用户和多种手物交互，其中1485帧带二维与三维指尖标注，场景覆盖Rotunda、Desk、Kitchen和Fruits。\n- HALNet在合成测试集上的平均二维根节点误差为2.2px、标准差1.5px，且JORNet使用HALNet裁剪与使用真值裁剪相比性能没有显著下降。\n- 消融实验显示仅用二维拟合能量会导致跟踪失败，仅用三维项可保持与原始预测相近的误差并提升合理性，结合二维、三维、关节极限和时间平滑的完整公式取得32.6mm最低平均指尖误差。\n- 完整流水线在Titan X Pascal上总耗时约18ms，其中定位11ms、关节回归6ms、运动学跟踪1ms，可实现实时运行。\n- 方法在严重遮挡和杂乱背景下优于商业LeapMotion Orion方案，但快速运动、深度与彩色图失配或定位错误仍会造成失败，相机相关合成噪声也限制跨设备泛化。"
}