{
  "paper_id": "ad37f40321f0236967bcdb71c2626571",
  "paper_title": "First-Person Hand Action Benchmark with RGB-D Videos and 3D Hand Pose Annotations",
  "paper_authors": [
    "Guillermo Garcia-Hernando",
    "Shanxin Yuan",
    "Seungryul Baek",
    "Tae-Kyun Kim"
  ],
  "publication_date": "2018",
  "publication_venue": "CVPR 2018",
  "abstract": "本工作研究利用3D手部姿态来识别与3D物体交互的第一人称动态手部动作。为此，我们收集了包含超过10万帧、45类日常手部动作的RGB-D视频序列，涉及26种不同物体和多种手部构型。为获得手部姿态标注，我们使用自研的动作捕捉系统，通过6个磁传感器和逆运动学自动推断手部模型21个关节各自的3D位置。此外，我们记录了6D物体姿态，并为部分手-物交互序列提供了3D物体模型。据我们所知，这是首个能够利用3D手部姿态研究第一人称手部动作的基准。我们对18种基线/最先进方法进行了广泛的RGB-D与基于姿态的动作识别实验评估，测量了外观特征、姿态及其组合的影响，并评估了不同的训练/测试协议。最后，我们评估了在自我视角下手部被物体严重遮挡时3D手部姿态估计领域的成熟度及其对动作识别的影响。结果表明，与其他数据模态相比，使用手部姿态作为动作识别线索具有明显优势。我们的数据集和实验对3D手部姿态估计、6D物体姿态、机器人学以及动作识别等社区均有参考价值。",
  "keywords": [
    "第一人称动作识别",
    "3D手部姿态估计",
    "RGB-D",
    "基准数据集",
    "手-物交互",
    "自我中心视觉",
    "6D物体姿态",
    "逆运动学"
  ],
  "paper_institutions": [
    "Imperial College London"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:29:23.850484Z",
  "template_tag": "simple",
  "summary": "### 摘要\n本文研究如何利用3D手部姿态特征识别第一人称视角下与3D物体交互的动态手部动作。以往第一人称动作识别研究多依赖手部轮廓或离散抓取分类等低层次图像特征，且因真实（非合成）数据中缺乏手部姿态标注、物体遮挡严重，缺少可靠的开箱即用手部姿态估计器，手部姿态作为动作线索的价值尚未被系统研究。为此，作者构建了首个结合RGB-D视频与精确3D手部姿态标注的第一人称手部动作基准数据集：包含45类日常动作、26种物体、3种场景（厨房25类、办公室12类、社交8类），由6名受试者完成1175个序列、共105,459帧；其核心标注机制是在5个指尖与手腕附着6个磁传感器（每个提供6自由度的位置与朝向），并通过逆运动学在21关节手模型上自动推断每个关节的3D位置，同时为4个物体、10类动作的子集提供6D物体姿态与3D网格模型。视觉数据由安装于肩部的Intel RealSense SR300相机以30fps采集（彩色1920×1080、深度640×480），未对动作风格与速度作规定以获取真实数据，从而验证跨模态（外观、深度、姿态）动作识别与遮挡下手部姿态估计的成熟度。实验以视频分类准确率为指标评估了18种基线与最先进方法：基于姿态的方法表现最佳（Gram Matrix 85.39%、Lie Group 82.69%、双层LSTM 80.14%），优于双流RGB（75.30%）与深度描述子（HON4D 70.61%），支持了\"手部姿态是丰富信息源\"这一核心创新；手部姿态与物体姿态结合可达91.97%。在手部姿态估计方面，训练集包含手-物交互图像至关重要（姿态误差31.03mm→14.34mm，动作准确率29.63%→72.06%），网络可泛化至未见受试者（11.25mm）但难以泛化至未见物体（19.84mm）；用估计姿态替代真值时LSTM仅下降6.67%，显示其对噪声的鲁棒性。未来方向包括联合手-物姿态估计与机器人模仿学习等；该基准可服务于手部康复、虚拟/增强现实、遥操作等实际场景，但受限于磁传感器在彩色图像中可见、平均仅10/21个关节可见的严重自遮挡以及显著的跨人风格差异（跨人协议准确率仅62.06%）。\n\n### 关键要点\n- 数据集规模：1175个动作视频、45类动作、26种物体、3种场景（厨房25、办公室12、社交8），由6名右利手受试者完成，共105,459帧RGB-D数据，均带精确手部姿态与动作类别标注。\n- 核心标注机制：在5个指尖与手腕附着6个磁传感器（每个宽2mm、提供6自由度位置与朝向），通过逆运动学在21关节手模型上自动推断3D手部姿态；传感器不影响深度图像，但在彩色图像中可见。\n- 物体标注：为4个物体（牛奶瓶、盐、果汁盒、液体肥皂）涉及10类动作的子集提供6D物体姿态真值与3D网格模型，共261个序列。\n- 采集设置：Intel RealSense SR300相机安装于受试者肩部，30fps采集，彩色分辨率1920×1080、深度分辨率640×480；仅给出安全操作指引而不规定风格与速度，以捕获真实数据。\n- 动作识别结果：基于手部姿态的方法整体最佳，Gram Matrix达85.39%、Lie Group 82.69%、双层LSTM 80.14%，优于双流RGB（75.30%）与深度方法（HON4D 70.61%、HOG2 59.83%）。\n- 协议影响：LSTM基线在1:3、1:1、3:1训练/测试划分下分别达58.75%、78.73%、84.82%，而6折跨人交叉验证仅62.06%，反映受试者间动作风格差异显著。\n- 手指贡献：食指是信息量最大的手指，拇指+食指组合进一步提升准确率，与多数抓取主要由这两指解释的结论一致；指尖单独也是高信息量来源。\n- 姿态估计训练数据：训练集中包含手-物交互图像至关重要——用约30万无物体自我中心样本训练时姿态误差31.03mm、动作准确率仅29.63%；用本数据集训练图像时误差降至14.34mm、准确率升至72.06%（真值姿态为78.73%）。\n- 泛化能力：手部姿态估计网络可泛化到未见过的受试者（跨人误差11.25mm），但难以泛化到未见过的物体（跨物体误差19.84mm），表明识别物体形状及其关联抓取对训练至关重要。\n- 噪声鲁棒性：以估计姿态替代真值时，LSTM动作识别仅下降6.67%，而Gram Matrix因噪声分布假设过强骤降至32.22%；拇指（12.45mm）与食指（15.48mm）关节估计误差最低，因其通常较少被遮挡。\n- 多模态互补：JOULE分解实验表明手部姿态是最具判别力的单一模态，与RGB和深度特征结合可进一步提升性能，说明手部姿态捕获了与外观、深度互补的信息。\n- 应用与约束：数据集可服务于手部康复、VR/AR、遥操作、机器人模仿学习、6D物体姿态估计与联合手-物跟踪等社区；约束包括磁传感器影响彩色图像、平均仅10/21个关节可见的严重遮挡，以及跨人泛化困难。"
}