# 基于RGB-D视频和3D手部姿态标注的第一人称手部动作基准测试
Guillermo Garcia-Hernando
Shanxin Yuan
Seungryul Baek
帝国理工学院
Tae-Kyun Kim
{g.garcia-hernando,s.yuan14,s.baek15,tk.kim}@imperial.ac.uk
## 摘要
在本研究中，我们探讨了利用3D手部姿态来识别与第一人称视角下3D物体交互的动态手部动作。为此，我们收集了包含超过10万帧画面的RGB-D视频序列，涵盖了45类日常手部动作，涉及26种不同物体以及多种手部姿态。为了获取手部姿态标注数据，我们使用了自主研发的动作捕捉系统：该系统通过6个磁传感器结合逆向运动学算法，自动推断手部模型中21个关节的3D位置。此外，我们还记录了6D物体姿态信息，并为部分手-物交互序列提供了3D物体模型。据我们所知，这是首个能够支持基于3D手部姿态研究第一人称手部动作的基准测试集。我们针对18种基线方法/前沿算法，对基于RGB-D数据和手部姿态的动作识别性能进行了全面的实验评估，分析了外观特征、姿态特征及其组合对识别效果的影响，同时评估了不同的训练/测试协议。最后，我们考察了在中心视觉视角下物体严重遮挡手部时，3D手部姿态估计技术的成熟程度及其对动作识别的影响。实验结果清晰表明，与其他数据模态相比，将手部姿态作为动作识别的线索具有明显优势。我们的数据集和实验结果，对于3D手部姿态估计、6D物体姿态估计、机器人技术以及动作识别领域的研究人员而言都具有重要的参考价值。
### 1. 引言
我们通过双手与世界互动，用以操控物体、机器、工具，以及与他人社交。在本研究中，我们旨在探究人们在执行日常动态动作时如何利用双手，尤其是借助精细的手部姿态特征来实现这一目的。这一问题对于诸多对精度要求极高的应用场景具有重要意义，例如手部康复[^1]、虚拟/增强现实[^24]、远程操作[^89]以及机器人模仿学习[^2]。
Figure 1: We show two frames from a sequence belonging to the action class 'pour juice'. We propose a novel first-person action recognition dataset with RGB-D videos and 3D hand pose annotations. We use magnetic sensors and inverse kinematics to capture the hand pose. On the right we see the captured depth image and hand pose. We also captured 6D object pose for a subset of hand-object actions.
以往关于第一人称动作识别的研究[^8] [^23] [^31] [^56]发现，通过观察手部即可很好地解释日常动作，这一结论在第三人称视角下也得到了验证[^77]。在这些研究中，手部信息是从手部轮廓[^31] [^56]或离散的抓握分类[^8] [^23] [^50]中提取的，所采用的特征均为低层图像特征。在人体全身动作识别领域，人们早已认识到，使用更高层次且视角不变的特征（如人体姿态）能够提升动作识别的性能[^54] [^74] [^79] [^81] [^86]，不过针对手部动作的此类研究尚未深入开展。与全身动作相比，手部动作存在独特的特性，这使得将姿态作为识别线索的合理性并不显而易见：比如动作风格以及
---
由于手指的活动性更强，不同受试者之间的速度差异更为明显，且这种运动可能非常细微。将手部姿态用于动作识别的一个障碍是，与全身姿态相比，目前尚无现成的可靠姿态估计器——这主要是因为真实数据序列中缺乏手部姿态标注（合成数据则相对较多），尤其是在涉及物体的场景中 [^55] [^71] [^10] [^35] [^48] [^49]。
在这项工作中，我们推出了一个新数据集，包含超过10万帧带有3D手部姿态标注的第一人称动态手部动作序列，这些标注是通过将六个磁传感器附着在指尖上并结合逆向运动学技术获得的。我们共采集了1175个动作样本，涵盖45个类别、26种不同物体，在3种场景下完成。我们设计的手部动作和所选物体能够覆盖多种手部形态与时间动态特征。此外，为了推动后续研究，我们还提供了4种物体、跨越10种动作的6维物体姿态真值及其3D网格模型。我们在该数据集上评估了多个基准方法和最先进的RGB-D及基于姿态的动作识别算法，同时测试了当前最先进的手部姿态估计技术及其对动作识别的影响。据我们所知，这是首篇利用手部姿态特征研究第一人称动作识别问题的论文，也是首个此类基准测试。总之，本文的贡献主要有三方面：
数据集方面：我们提出了一个完全标注的数据集，旨在助力对以人为中心的动态手-物动作及姿态的研究。这是首个在真实视频背景下结合手部领域与姿态标注的数据集。
动作识别方面：我们利用所提出的数据集，评估了18种基准方法及最先进的RGB-D与基于姿态的动作识别算法。所选方法涵盖了方法论及不同数据模态应用方面的主流研究趋势。
手部姿态方面：我们在真实数据集上评估了一种最先进的手部姿态估计器，即在手-物交互的遮挡场景下，该估计器在动作识别任务中的表现如何。
### 2. 相关工作
自我中心视觉与操作数据集：在物体操作过程中手所发挥的重要作用，引起了计算机视觉和机器人领域的共同关注。从动作识别的角度出发，仅利用RGB线索的研究[^5] [^13] [^14] [^31] [^44] [^56]已经深入探讨了日常动作的识别问题，并发现被操作的物体和手都是动作识别中的重要线索。相关研究方向还包括从机器人视角对人类抓握方式的研究[^6] [^7]，将其作为动作识别的线索[^8] [^16] [^23] [^77]、力估计的依据[^16] [^26] [^50]，以及将其本身视为一个识别问题[^20] [^50]。近期，[^30]提出了一项基于热成像相机的基准测试，该测试能够更便捷地检测手部，但并未探索其在动作识别中的应用。在以往的研究中，手部是通过低层特征或遵循经验性抓握分类法的中间表征来建模的[^6]，因此与本研究中使用的3D手部姿态序列相比存在局限性。在[^50]中，研究人员利用合成的手部姿态来识别静态画面中的抓握动作，而我们的研究重点则是真实视频中的动态动作和手部姿态。从手部姿态估计的角度来看，[^48]提出了一个包含静态姿态的小型合成数据集，因此无法成功训练对数据量要求较高的算法；这一问题最近因更大规模的合成数据集的出现而得到缓解[^10] [^35]。由于我们还为部分物体提供了6D物体姿态和3D网格模型，因此我们的数据集可能会吸引物体姿态估计以及手-物联合跟踪这两个新兴领域的研究者们的兴趣[^57] [^62]。我们在第3.5节中将我们的数据集与其他第一人称视角数据集进行了比较。
基于RGB-D数据和人体姿态的动作识别：使用深度传感器与传统彩色图像动作识别有所不同，因为大多数成功的彩色图像处理方法[^15] [^67]无法直接应用于深度数据流，原因在于深度数据具有噪声多、纹理少且像素区域不连续的特点，因此必须采用针对深度数据的专门方法。这类方法通常侧重于如何利用局部几何描述符从深度图像中提取具有区分性的特征[^40] [^43] [^76]，这些描述符对视角变化较为敏感；同时也会采用视点不变的方法[^46] [^47]。不过，近来的趋势是利用深度通道来获取稳健的人体姿态估计结果[^55]，并将其直接作为识别动作的特征，这就是所谓的基于姿态或骨骼的动作识别。常用的方法包括使用时序状态空间模型[^17] [^70] [^74] [^75] [^86]、关键姿态[^66] [^85]、手工设计的姿态特征[^64] [^65]以及时序循环模型[^12] [^63] [^87]。由于存在多种数据流，研究人员开始探索如何结合不同来源的信息，比如深度数据与姿态数据[^4] [^40] [^52] [^69]、彩色图像与姿态数据[^88]，乃至所有这些数据源[^19]。以往在RGB-D动作识别领域的研究大多聚焦于全身动作，仅有少数面向特定应用场景的研究除外，例如用于人机交互的手部手势识别[^9] [^11] [^29] [^34] [^40]以及手语识别[^68]。与我们研究相关的工作中，[^33]安装了深度传感器来识别以观察者为中心的活动，并利用低层次的皮肤特征对手部进行建模。类似我们的研究方向但采用第三人称视角的研究中，[^27] [^78]利用手部追踪器来获取厨房操作动作中手部姿态的含噪估计值，而[^11]则在不涉及物体的情况下识别用于人机交互的基本手部手势。在这些研究中，由于手部追踪器的精度较低，所涉及的动作类型和姿态标签都非常有限；而在本研究中，我们提供了精确的手部姿态标签，以便研究更贴近现实的手部动作。我们将在第4节和第5节中深入评估几种基准方法和最先进的方法。
---
Figure 2: Hand actions: We captured daily hand actions using a RGB-D sensor and used a mo-cap system to annotate hand pose. Left: ‘put sugar’ and ‘pour milk’ (kitchen). Right: ‘charge cell phone’ (office) and ‘handshake’ (social).
3D手部姿态估计：主要得益于近期RGB-D传感器的普及，该领域在无物体第三人称视角方面取得了显著进展[^22] [^25] [^28] [^37] [^39] [^41] [^45] [^53] [^60] [^80]；在第一人称视角方面则取得了较为有限的进展[^10] [^35] [^38] [^48]。在[^42]中，研究人员探讨了第三人称视角下手部与物体交互的3D跟踪问题。[^18]研究了将物体抓取作为手部姿态先验的方法，而[^51]则利用物体形状作为线索。一个重要的限制在于难以获取精确标注的3D手部姿态数据，这迫使研究人员转向合成数据[^3] [^10] [^35] [^48] [^53]，或是手动或半自动标注的数据集[^38] [^58] [^59] [^61]，但这类数据往往会导致图像不真实、样本数量少且标注不一致。借助用于标注的磁传感器，类似[^72]的做法，[^84]提出了一个包含无物体参与的中心视角姿态的大型基准测试集，并证明当训练数据充足时，卷积神经网络基线模型能够达到最先进的性能。这一结论在一项公开挑战赛[^83]中得到了验证，该挑战赛也使用了我们提出的数据集的子集；随后[^82]对该领域的当前技术水平进行了分析。
### 3. 日常手-物动作数据集
#### 3.1. 数据集概述
该数据集包含1,175个动作视频，涵盖45种不同的动作类别，在3种不同场景下由6名演员完成。共有105,459帧RGB-D图像标注了精确的手部姿态和动作类别。动作序列在风格、速度、尺度和视角方面表现出高度的个体间和个体内差异性。针对涉及10种不同动作类别的4个物体，还提供了其6维姿态、3D位置和角度以及网格模型。我们计划继续扩充该数据集，加入更多模型和物体。图2展示了不同动作类别的一些示例帧及手部姿态标注的可视化结果。
#### 3.2. 手-物动作
我们采集了涉及26种不同物体的45种日常手部动作类别。我们设计的动作类别涵盖了大量不同的手部构型，遵循与[^50]相同的分类方式，且在手部姿态和动作空间上具有多样性（见图4）。每个物体至少有一种对应的动作（如笔-“书写”），最多有四种动作（如海绵-“清洗”、“刮擦”、“挤压”和“翻转”）。这45种手部动作被记录并分为三种不同场景：厨房（25种）、办公室（12种）和社交场景（8种）。在本研究中，我们将每种手-物操作视为一种独立的动作类别，这一做法与以往的数据集[^14]一致，不过也有其他定义方式[^73] [^78]。
#### 3.3. 传感器与数据采集
视觉数据：我们将Intel RealSense SR300 RGB-D相机安装在受试者肩部，以30帧/秒的速度采集序列，彩色流和深度流的分辨率分别为$1920 \times 1080$和$640 \times 480$。
姿态标注：为了获取手部和物体的高质量姿态标注，我们按照[^36]的描述，使用六个磁传感器[^84]来采集用户手部姿态数据；这六个传感器分别安装在五个指尖和一个手腕处。每个传感器能提供具有6个自由度的位置和方向信息，再通过逆运动学算法基于定义的21关节手部模型推断出完整的手部姿态。每个传感器宽度为2毫米，安装在人手上时不会影响深度图像。虽然传感器及其固定用的胶带会在彩色图像中显现，但手部仍完全可见，且通过彩色图像能够清晰辨别各种动作。对于物体姿态而言，我们会在可触及的质心最近点处再安装一个传感器。
录制过程：我们邀请了6名右利手人员执行相关动作。我们给出了安全执行动作的指导，但未对动作风格或速度作出要求，以便采集到更真实的数据。动作标签由人工标注。
---
Figure 3: Taxonomy of our hand actions involving objects dataset. Some objects are associated with multiple actions (e.g., spoon, sponge, liquid soap), while some others have only one linked action (e.g., calculator, pen, cell charger).
#### 3.4. 数据集统计
分类体系：图3展示了不同动作在各类物体上的分布。有些物体（如“勺子”）对应多种动作（例如“搅拌”“撒料”“舀取”和“放糖”），而有些物体仅对应一种动作（如“使用计算器”）。虽然“手”本身不算物体，但我们仍将“握手”和“击掌”这类动作中的“手”视为一类物体。
各动作类别对应的视频数量：平均而言，每个动作类别有26.11个视频序列，每个物体对应45.19个视频序列。各类别的具体数字详见图4(c)。
视频时长：图4(d)展示了45个动作类别的平均视频时长。有些动作类别（如“放糖”“打开钱包”）属于短时间的原子性动作，平均时长约为1秒；而另一些动作（如“拆信”）则需要更长时间才能完成。
抓取方式：我们参照[^50]中的分类体系，识别出34种不同的抓取方式，其中包括研究最为深入的[^8]（即针对棱柱形、圆形、平面形、可变形等不同物体属性的精密抓取/强力抓取方式）。图4(b)展示了物体、手部姿态与动作之间的一些关联示例。
视角：图4(e)展示了不同手部视角的帧数分布。我们将视角定义为相机方向与手掌之间的夹角。该数据集中的视角比典型的第三人称视角更容易出现自遮挡现象。
| Dataset | Sensor | Real? | Class. | Seq. | Frames | Labels |
| Yale [^6] | RGB | ✓ | 33 | - | 9,100 | Grasp |
| UTG [^7] | RGB | ✓ | 17 | - | - | Grasp |
| GTEA [^14] | RGB | ✓ | 61 | 525 | 31,222 | Action |
| EgoHands [^5] | RGB | ✓ | 4 | 48 | 4,800 | Action |
| GUN-71 [^50] | RGB-D | ✓ | 71 | - | 12,000 | Grasp |
| UCI-EGO [^48] | RGB-D | ✗ | - | - | 400 | Pose |
| Choi et al. [^10] | RGB-D | ✗ | 33 | - | 16,500 | Grasp+Pose |
| SynthHands [^35] | RGB-D | ✗ | - | - | 63,530 | Pose |
| EgoDexter [^35] | RGB-D | ✓ | - | - | 3,190 | Fingertips |
| Luo et al. [^30] | RGB-D-T | ✓ | 44 | 250 | 450,000 | Action |
| Ours | RGB-D | ✓ | 45 | 1,175 | 105,459 | Action+Pose |
Table 1: First-person view datasets with hands and objects involved. Our proposed dataset is the first providing both hand pose and action annotations in real data (cf. synthetic).
手部遮挡情况：图6(a)（下方）展示了每个动作类别中可见（未被物体或视角遮挡）的手部关节数量平均值。大多数动作都存在较高的遮挡程度，平均而言21个关节中仅有10个可见。
物体姿态：针对涉及10种不同动作的以下物体，我们提供了6D物体姿态数据和网格模型：“牛奶瓶”“盐”“果汁盒”和“液体肥皂”。
#### 3.5. 与其他数据集的比较
在表1中，我们总结了常见的以自我为中心的数据集，这些数据集根据研究问题的不同，涵盖了动态和静态场景下手与物体的交互。为简洁起见，表中未列出那些不包含部分或完整物体操作的相关数据集，例如 [^38] [^44] [^84]。需要注意的是，以往的动作识别数据集 [^5] [^14] [^30] 并不包含手部姿态标签。另一方面，姿态与抓取数据集 [^6] [^7] [^10] [^35] [^48] [^50] 并未涵盖动态动作，且其手部姿态标注是通过生成合成图像或粗略的人工标注获得的 [^35]。我们的数据集利用姿态信息填补了以自我为中心的动态手部动作研究领域的空白，且在多样性、帧数以及真实数据使用方面均表现优异。
### 4. 评估的算法与基准模型
#### 4.1. 动作识别
为了评估动作识别领域的最新技术水平，我们选取了多种方法，我们认为这些方法涵盖了文献中最具代表性的趋势，如表4所示。由于我们的数据属于RGB-D类型且包含手部姿态信息，因此我们重点关注基于RGB-D和姿态的动作识别方法，不过我们也评估了两种基于RGB的动作识别方法 [^15] [^19]。需要注意的是，如前文所述，以往大多数RGB-D动作识别研究涉及的是全身姿态而非手部，其中一些方法可能并不适用于手部动作。我们将在第5.1节对此进一步阐述。
我们首先以一个基准模型来评估当前RGB动作识别的最新技术在我们数据集上的表现。鉴于大多数成功的RGB动作
---
Figure 4: (a) t-SNE [^32] visualization of hand pose embedding over our dataset. Each colored dot represents a full hand pose and each trajectory an action sequence. (b) Correlation between objects, grasps, and actions. Shown poses are the average pose over all action sequences of a certain class. One object can have multiple grasps associated depending on the action performed (e.g., 'juice carton' and 'milk bottle') and one grasp can have multiple actions associated (e.g., lateral grasp present at 'sprinkle' and 'clean glasses'). (c) Number of action instances per hand action class. (d) Average number of frames in each video per hand action class. Our dataset contains both atomic and more temporally complex action classes. (e) Distribution of hand viewpoints, defined as angles between the direction of the camera and the direction of the palm of the hand.
识别方法 [^31] [^56] 都采用卷积神经网络来从颜色和运动流中学习描述符，因此我们评估了一种在我们数据集上微调过的新型双流架构 [^15]。
关于深度模态，我们首先评估两种局部深度描述符方法：HOG $^{2}$ [^40] 和 HON4D [^43]，它们分别利用梯度和表面法向信息作为动作识别的特征。作为全局场景深度描述符，我们评估了 [^47] 提出的新方法，该方法利用卷积神经网络从人体姿态的多个合成深度视图中学习视角不变特征。
接下来我们评估基于姿态的动作识别方法。作为主要基准模型，我们实现了一个受 [^87] 所提架构启发的带有长短期记忆模块的递归神经网络。我们还评估了几种最先进的基于姿态的动作识别方法。我们首先评估基于描述符的方法，如 Moving Pose [^85]，它编码原子级运动信息；以及 [^64]，它将姿态表示为李群上的点。对于侧重于学习时间依赖性的方法，我们评估了 HBRNN [^12]、Gram Matrix [^86] 和 TF [^17]。HBRNN由具有分层结构的双向递归神经网络组成，旨在从身体姿态中学习特征。Gram Matrix 目前是针对身体姿态性能最佳的方法，它利用格拉姆矩阵来学习动作的动态特性。TF则通过决策森林同时学习具有区分度的静态姿态以及姿态间的过渡。
综上所述，我们评估了一种混合方法——JOULE，该方法利用迭代算法共同学习异构特征[^19]，同时考虑所有数据通道：颜色、深度和手部姿态。
#### 4.2. 手部姿态估计
为了评估手部姿态估计领域的最新技术水平，我们采用了与[^84]相同的卷积神经网络。我们选择这种方法是因为它易于理解，且在跨基准测试中表现优异[^84]。所选用的方法是一种逐帧处理的判别性方法，无需初始化，在跟踪失败时也不需要手动恢复[^21] [^41]。
---
### 5. 基准测试结果
#### 5.1. 动作识别
接下来我们将介绍在动作识别方面的实验。在本节中，我们假设手部姿态已知，即我们使用通过磁传感器和逆运动学获得的手部姿态标注数据。关于不借助传感器、仅利用估计出的手部姿态进行动作识别的情况，我们将在第5.2节中详细讨论。
遵循全身姿态动作识别领域的常规做法[^64] [^85]，我们通过将姿态归一化以使关节对之间的距离保持一致，并将手腕定义为坐标原点，来补偿人体差异和视角差异。
#### 5.1.1 基线模型：LSTM
我们的实验评估从一个简单却强大的基线模型开始：带有长短期记忆模块的循环神经网络（LSTM）。该网络的架构借鉴了[^87]的设计，但有两个不同之处：我们没有采用深层结构，且使用更传统的单向网络而非双向网络。参照[^87]的设置，我们将神经元数量设为100，dropout概率设为0.2。实验中使用TensorFlow框架和Adam优化器。
训练与测试协议：我们采用了两种协议进行实验。第一种协议是将数据划分为不同的训练集和测试集，我们在序列层面尝试了三种不同的训练集与测试集比例：1:3、1:1和3:1。第二种协议是六折“留一人外”交叉验证，即每一折中5个受试者用于训练，1个用于测试。结果如表2所示。我们发现，采用跨人协议时得到的结果最差，尽管每一折中的训练/测试比例与3:1设置类似。这一现象可以用不同受试者之间的手部动作风格差异来解释。在本文的后续部分，我们采用1:1的设置进行实验，其中训练集包含600个动作序列，测试集包含575个动作序列。
结果讨论：在图5(a)中，我们展示了各类别在子集动作上的识别准确率，而动作混淆矩阵则显示在图6(b)中。像“用勺子撒料”、“放入茶包”和“倒果汁”这类动作很容易识别，而“打开钱包”和“使用计算器”等动作则常被混淆，这可能是因为手部姿势差异较小且较为微妙。在图5(d)中，我们展示了各手指运动对动作识别性能的贡献，发现食指是最具信息量的手指。拇指与食指姿势的结合能提升识别准确率，这很可能是由于大多数抓握动作都由这两根手指完成[^6]。指尖本身也是重要的信息来源，因为它们是活动度最高的关节，能够很好地反映手部姿势。
| Protocol | 1:3 | 1:1 | 3:1 | cross-person |
| Acc. (%) | 58.75 | 78.73 | 84.82 | 62.06 |
Table 2: Action recognition results (percentage of correct video classification) for different training/testing protocols.
#### 5.1.2 最先进方法的评估
在表4中，我们展示了不同数据模态下最先进方法的结果。我们发现，Tw-stream [^15] 方法在结合空间与时间线索时表现优异。基于深度的方法性能略逊于其他方法，这表明它们无法完全捕捉物体特征或手部姿势信息。需要注意的是，对于 Novel View [^47] 方法，我们是从一个在多种合成人体视图上训练的网络中提取深度特征的，该网络可能无法很好地泛化到手部姿势，而且在我们的数据集上进行微调也未能改善效果。在所有方法中，使用手部姿势的方法性能最佳，其中 Gram Matrix [^86] 和 Lie group [^64] 的表现尤为突出，这一结果与人体姿势动作识别领域的研究结论一致。
在图5中，我们选取了一些最具代表性的方法并详细分析了它们的性能。我们发现，基于姿势的 Gram Matrix 方法在大多数评价指标上均优于其他方法，尤其是在检索前k个动作假设时（图5(b)），这充分体现了使用手部姿势进行动作识别的优势。观察图5(a)可知，Two-stream 方法在某些物体较大且动作幅度不大的类别中表现更佳，例如“使用计算器”和“阅读纸张”。这种良好性能可能源于空间网络在大型图像识别数据集上的预训练。我们在图5(c)中进一步观察到，通过分析预测结果给出的前k个假设，判断预测的动作是否包含所操作的物体，结果表明网络能够正确识别物体，但未能捕捉到时间动态信息。
手部姿势 vs. 深度 vs. 颜色：我们采用 JOULE [^19] 方法进行了额外实验，以分析各数据模态的贡献。表4（底部）显示，手部姿势特征最具区分度，不过将其与RGB和深度线索结合后性能还能进一步提升。这一结果表明，手部姿势捕捉到了与RGB和深度特征互补的信息。
物体姿势：我们针对有标注物体姿势的动作子集进行了额外实验，将该子集作为动作识别的特征：共有10个类别、4种物体，总计261个序列。我们以其中一半序列为训练数据，采用三种不同的输入方式：手部姿势、物体姿势以及两者结合。表3展示了实验结果，我们发现
---
(b)
(c)
Figure 3: (a) Class accuracies or some representative methods on a subset of classes. (b) top- $\kappa$ action accuracy: true action label is in the top- $\kappa$ action prediction hypothesis. (c) Top- $\kappa$ object accuracy: manipulated object is in the top- $\kappa$ action prediction hypothesis. (d) Impact of each of the five fingers, combinations of them, and fingertips on action recognition.
(d)
| Pose feature | Hand | Object | Hand+Object |
| Action acc. (%) | 87.45 | 74.45 | 91.97 |
Table 3: We evaluate the use of 6D object pose for action recognition on a subset of our dataset. We observe the benefit of combining them with the hand pose.
物体姿势与手部姿势特征互为补充，对于识别以自我为中心的手-物交互动作十分有用。
使用有物体和无物体的数据进行训练：在设计实验时，我们提出了一个问题：为了研究手部动态动作，是否真的需要以接近真实值的精度来标注手部姿态？我们通过两种方式估算手部动作数据集中的手部姿态来回答这个问题——按照“动作划分”方式对数据进行处理：一种是使用来自[^84]的近30万条无物体第一人称视角样本；另一种则是使用手部动作数据集训练集中的图像。如图6(c)和表5所示，结果表明，训练集中包含手-物交互图像对于训练最先进的手部姿态估计器至关重要，这可能是因为估计器事先需要看到遮挡情况和物体形状。为证实这一点，我们进行了两项额外实验：跨受试者实验（一半用户用于训练，另一半用于测试，且两种划分中均包含相同物体）以及跨物体实验（训练集中一半物体用于训练，另一半用于测试，且两种划分中均包含相同受试者）。
#### 5.2. 手部姿态估计
| Method | Year | Color | Depth | Pose | Acc. (%) |
| Two stream-color [^15] | 2016 | ✓ | ✗ | ✗ | 61.56 |
| Two stream-flow [^15] | 2016 | ✓ | ✗ | ✗ | 69.91 |
| Two stream-all [^15] | 2016 | ✓ | ✗ | ✗ | 75.30 |
| HOG $^{2}$-depth [^40] | 2013 | ✗ | ✓ | ✗ | 59.83 |
| HOG $^{2}$-depth+pose [^40] | 2013 | ✗ | ✓ | ✓ | 66.78 |
| HON4D [^43] | 2013 | ✗ | ✓ | ✗ | 70.61 |
| Novel View [^47] | 2016 | ✗ | ✓ | ✗ | 69.21 |
| 1-layer LSTM | 2016 | ✗ | ✗ | ✓ | 78.73 |
| 2-layer LSTM | 2016 | ✗ | ✗ | ✓ | 80.14 |
| Moving Pose [^85] | 2013 | ✗ | ✗ | ✓ | 56.34 |
| Lie Group [^64] | 2014 | ✗ | ✗ | ✓ | 82.69 |
| HBRNN [^12] | 2015 | ✗ | ✗ | ✓ | 77.40 |
| Gram Matrix [^86] | 2016 | ✗ | ✗ | ✓ | 85.39 |
| TF [^17] | 2017 | ✗ | ✗ | ✓ | 80.69 |
| JOULE-color [^19] | 2015 | ✓ | ✗ | ✗ | 66.78 |
| JOULE-depth [^19] | 2015 | ✗ | ✓ | ✗ | 60.17 |
| JOULE-pose [^19] | 2015 | ✗ | ✗ | ✓ | 74.60 |
| JOULE-all [^19] | 2015 | ✓ | ✓ | ✓ | 78.78 |
Table 4: Hand action recognition performance by different evaluated approaches on our proposed dataset.
训练集中的物体与测试集中的物体各占一半，且两种划分中均包含相同受试者）。从图6(c)和表5中我们可以发现，该网络能够泛化到未见过的受试者，但在处理未见过的物体时却表现不佳，这表明识别物体形状及其对应的抓握方式对于训练手部姿态估计器而言至关重要。这也体现了拥有……
---
(d)
(a)
Figure 6: (a) Top: Class action recognition accuracies for our LSTM baseline using estimated hand poses (accuracies with groundtruth poses are represented with black triangles). Bottom: Average number of visible (not occluded) joints for hand actions on our dataset and its impact on hand pose estimation. (b) Hand action confusion matrix for our LSTM baseline. (c) Percentage of frames for different hand pose estimation error thresholds. (d) Qualitative results on hand pose estimation.
标注好的、与物体交互的手部姿态数据的重要性，正因如此，我们的数据集才能引起手部姿态研究领域的兴趣。在图6(d)中，我们展示了在我们提出的数据集上进行手部姿态估计的一些定性结果，可以发现虽然结果并非完美，但已足以满足动作识别的需求。
手部姿态估计与动作识别：现在我们来回答以下关键问题：“当前的手部姿态估计能力在识别手部动作方面的表现如何？”在表5中，我们展示了将测试集中的手部姿态标签替换为估计值后的手部动作识别结果。我们发现，将手部姿态误差降低一半后，动作识别准确率会提升两倍以上。使用手部姿态标签与在测试中采用估计值相比，手部动作识别的差距为6.67%。我们还测试了上一节中性能最好的两种方法：李群[^64]和格拉姆矩阵[^86]。李群方法的准确率为69.22%，而格拉姆矩阵方法的结果仅为32.22%，这很可能是由于其对噪声分布的假设过于严格所致。另一方面，我们的LSTM基线在存在噪声手部姿态估计的情况下表现出更强的鲁棒性。在图6(a)中，我们展示了手部遮挡对姿态估计质量的影响及其对类别识别准确率的作用。尽管某些类别的姿态误差与动作准确率下降之间存在明显相关性（如“接硬币”、“倒酒”），但LSTM仍能获得可接受的识别率，这很可能是因为它能够从时间模式和正确估计的关节信息中推断出动作。为了进一步了解情况，我们分析了每个手指的姿态误差：T：12.45毫米，I：15.48毫米，M：18.08毫米，R：16.69毫米，P：18.95毫米。拇指和食指关节的估计误差最低，因为在第一人称视角下它们通常不易被遮挡。结合上一节中我们发现这两根手指的运动是重要信息来源这一结论，这可以作为一个合理的解释，说明为何即便手部姿态估计存在噪声，我们仍能获得良好的动作识别性能。
| Hand pose protocol | Pose error (mm) | Action (%) |
| Cross-subject | 11.25 | - |
| Cross-object | 19.84 | - |
| Action split (training w/o objects) | 31.03 | 29.63 |
| Action split (training w/ objects) | 14.34 | 72.06 |
| Action split (GT mag.+IK poses) | - | 78.73 |
Table 5: Average hand pose estimation error, 3D distance over all 21 joints between magnetic poses and estimates, for different protocols and its impact on action recognition.
解释为何即便手部姿态估计存在噪声，我们仍能获得出色的动作识别性能。
### 6. 总结性评述
我们提出了一种新颖的基准测试，并对第一人称视角下的RGB-D及基于姿态的手部动作识别进行了实验评估。该基准测试提供了时序动作标签和完整的3D手部姿态标签，此外在部分数据集上还提供了6D物体姿态标签。RGB-D动作识别和3D手部姿态估计均属于相对较新的研究领域，而将二者与整个人体动作相关联，这还是首次尝试。我们在自己的数据集上评估了多种基线模型，结论是手部姿态特征在识别操作动作方面蕴含着丰富的信息。我们相信，我们的数据集和实验结果能够推动多个领域的后续研究，包括动作识别、手部姿态估计、物体姿态估计，以及新兴的联合手-物体姿态估计等领域。
致谢：本研究属于帝国理工学院与三星研究院的合作项目，得到了三星电子的支持。
---
## 参考文献
[^1]: S. Allin and D. Ramanan. Assessment of post-stroke functioning using machine vision. In MVA, 2007. 1
[^2]: B. D. Argall, S. Chernova, M. Veloso, and B. Browning. A survey of robot learning from demonstration. RAS, 2009. 1
[^3]: S. Baek, K. I. Kim, and T.-K. Kim. Augmented skeleton space transfer for depth-based hand pose estimation. In CVPR, 2018. 3
[^4]: S. Baek, Z. Shi, M. Kawade, and T.-K. Kim. Kinematic-layout-aware random forests for depth-based action recognition. In BMVC, 2017. 2
[^5]: S. Bambach, S. Lee, D. J. Crandall, and C. Yu. Lending a hand: Detecting hands and recognizing activities in complex egocentric interactions. In ICCV, 2015. 2, 4
[^6]: I. M. Bullock, T. Feix, and A. M. Dollar. The yale human grasping dataset: Grasp, object, and task data in household and machine shop environments. IJRR, 2015. 2, 4, 6
[^7]: M. Cai, K. M. Kitani, and Y. Sato. A scalable approach for understanding the visual structures of hand grasps. In ICRA, 2015. 2,4
[^8]: M. Cai, K. M. Kitani, and Y. Sato. Understanding hand-object manipulation with grasp types and object attributes. In RSS, 2016. 1, 2, 4
[^9]: H. J. Chang, G. Garcia-Hernando, D. Tang, and T.-K. Kim. Spatio-temporal hough forest for efficient detection-localisation-recognition of fingerwriting in egocentric camera. CVIU, 2016. 2
[^10]: C. Choi, S. H. Yoon, C.-N. Chen, and K. Ramani. Robust hand pose estimation during the interaction with an unknown object. In ICCV, 2017. 2, 3, 4
[^11]: Q. De Smedt, H. Wannous, and J.-P. Vandeborre. Skeleton-based dynamic hand gesture recognition. In CVPRW, 2016. 2
[^12]: Y. Du, W. Wang, and L. Wang. Hierarchical recurrent neural network for skeleton based action recognition. In CVPR, 2015. 2, 5, 7
[^13]: A. Fathi, A. Farhadi, and J. M. Rehg. Understanding egocentric activities. In ICCV, 2011. 2
[^14]: A. Fathi, X. Ren, and J. M. Rehg. Learning to recognize objects in egocentric activities. In CVPR, 2011. 2, 3, 4
[^15]: C. Feichtenhofer, A. Pinz, and A. Zisserman. Convolutional two-stream network fusion for video action recognition. In CVPR, 2016. 2,4,5,6,7
[^16]: C. Fermüller, F. Wang, Y. Yang, K. Zampogiannis, Y. Zhang, F. Barranco, and M. Pfeiffer. Prediction of manipulation actions. IJCV, 2017. 2
[^17]: G. Garcia-Hernando and T.-K. Kim. Transition forests: Learning discriminative temporal transitions for action recognition and detection. In CVPR, 2017. 2, 5, 7
[^18]: H. Hamer, J. Gall, T. Weise, and L. Van Gool. An object-dependent hand pose prior from sparse training data. In CVPR, 2010. 3
[^19]: J.-F. Hu, W.-S. Zheng, J. Lai, and J. Zhang. Jointly learning heterogeneous features for RGB-D activity recognition. In CVPR, 2015. 2, 4, 5, 6, 7
[^20]: D.-A. Huang, M. Ma, W.-C. Ma, and K. M. Kitani. How do we use our hands? discovering a diverse set of common grasps. In CVPR, 2015. 2
[^21]: Intel. Perceptual computing sdk. 2013. 5
[^22]: C. Ionescu, J. Carreira, and C. Sminchisescu. Iterated second-order label sensitive pooling for 3d human pose estimation. In CVPR, 2014. 3
[^23]: T. Ishihara, K. M. Kitani, W.-C. Ma, H. Takagi, and C. Asakawa. Recognizing hand-object interactions in wearable camera videos. In ICIP, 2015. 1, 2
[^24]: Y. Jang, S.-T. Noh, H. J. Chang, T.-K. Kim, and W. Woo. 3d finger cape: Clicking action and position estimation under self-occlusions in egocentric viewpoint. TVCG, 2015. 1
[^25]: C. Keskin, F. Kiraç, Y. E. Kara, and L. Akarun. Hand pose estimation and hand shape classification using multi-layered randomized decision forests. In ECCV, 2012. 3
[^26]: P. G. Kry and D. K. Pai. Interaction capture and synthesis. ACM Transactions on Graphics, 2006. 2
[^27]: J. Lei, X. Ren, and D. Fox. Fine-grained kitchen activity recognition using rgb-d. In Ubicomp, 2012. 2
[^28]: H. Liang, J. Yuan, and D. Thalmann. Parsing the hand in depth images. TMM, 2014. 3
[^29]: L. Liu and L. Shao. Learning discriminative representations from rgb-d video data. In IJCAI, 2013. 2
[^30]: R. Luo, O. Sener, and S. Savarese. Scene semantic reconstruction from egocentric rgb-d-thermal videos. In 3D Vision (3DV), 2017. 2, 4
[^31]: M. Ma, H. Fan, and K. M. Kitani. Going deeper into first-person activity recognition. In CVPR, 2016. 1, 2, 5
[^32]: L. v. d. Maaten and G. Hinton. Visualizing data using t-sne. JMLR, 2008. 5
[^33]: M. Moghimi, P. Azagra, L. Montesano, A. C. Murillo, and S. Belongie. Experiments on an rgb-d wearable vision system for egocentric activity recognition. In CVPRW, 2014. 2
[^34]: P. Molchanov, X. Yang, S. Gupta, K. Kim, S. Tyree, and J. Kautz. Online detection and classification of dynamic hand gestures with recurrent 3d convolutional neural networks. In CVPR, 2016. 2
[^35]: F. Mueller, D. Mehta, O. Sotnychenko, S. Sridhar, D. Casas, and C. Theobalt. Real-time hand tracking under occlusion from an egocentric rgb-d sensor. In ICCV, 2017. 2, 3, 4
[^36]: NDItrakSTAR. . 3
[^37]: N. Neverova, C. Wolf, G. W. Taylor, and F. Nebout. Hand segmentation with structured convolutional learning. In ACCV, 2014. 3
[^38]: M. Oberweger, G. Riegler, P. Wohlhart, and V. Lepetit. Efficiently creating 3d training data for fine-hand pose estimation. In CVPR, 2016. 3, 4
[^39]: M. Oberweger, P. Wohlhart, and V. Lepetit. Training a feedback loop for hand pose estimation. In ICCV, 2015. 3
[^40]: E. Ohn-Bar and M. M. Trivedi. Hand gesture recognition in real time for automotive interfaces: A multimodal vision-based approach and evaluations. ITS, 2014. 2, 5, 7
[^41]: I. Oikonomidis, N. Kyriazis, and A. A. Argyros. Efficient model-based 3d tracking of hand articulations using kinect. In BMVC, 2011. 3, 5
[^42]: I. Oikonomidis, N. Kyriazis, and A. A. Argyros. Full dof tracking of a hand interacting with an object by modeling occlusions and physical constraints. In ICCV, 2011. 3
## [^43]: O. Oreifej and Z. Liu. HON4D: histogram of oriented 4D normals for activity recognition from depth sequences. In CVPR, 2013. 2, 5, 7
---
[^44]: H. Pirsiavash and D. Ramanan. Detecting activities of daily living in first-person camera views. In CVPR, 2012. 2, 4
[^45]: C. Qian, X. Sun, Y. Wei, X. Tang, and J. Sun. Realtime and robust hand tracking from depth. In CVPR, 2014. 3
[^46]: H. Rahmani, A. Mahmood, D. Q. Huynh, and A. Mian. Histogram of oriented principal components for cross-view action recognition. TPAMI, 2016. 2
[^47]: H. Rahmani and A. Mian. 3d action recognition from novel viewpoints. In CVPR, 2016. 2, 5, 6, 7
[^48]: G. Rogez, M. Khademi, J. Supančič III, J. M. M. Montiel, and D. Ramanan. 3d hand pose detection in egocentric rgb-d images. In ECCV, 2014. 2, 3, 4
[^49]: G. Rogez, J. S. Supancic, and D. Ramanan. First-person pose recognition using egocentric workspaces. In CVPR, 2015. 2
[^50]: G. Rogez, J. S. Supancic, and D. Ramanan. Understanding everyday hands in action from RGB-d images. In ICCV, 2015. 1, 2, 3, 4
[^51]: J. Romero, H. Kjellström, C. H. Ek, and D. Kragic. Non-parametric hand pose estimation with object context. IVC, 2013. 3
[^52]: A. Shahroudy, T.-T. Ng, Q. Yang, and G. Wang. Multimodal multipart learning for action recognition in depth videos. TPAMI, 2016. 2
[^53]: T. Sharp, C. Keskin, D. Robertson, J. Taylor, J. Shotton, D. Kim, C. Rhemann, I. Leichter, A. Vinnikov, Y. Wei, D. Freedman, P. Kohli, E. Krupka, A. Fitzgibbon, and S. Izadi. Accurate, robust, and flexible real-time hand tracking. In CHI, 2015. 3
[^54]: Z. Shi and T.-K. Kim. Learning and refining of privileged information-based rnns for action recognition from depth sequences. In CVPR, 2017. 1
[^55]: J. Shotton, T. Sharp, A. Kipman, A. Fitzgibbon, M. Finochio, A. Blake, M. Cook, and R. Moore. Real-time human pose recognition in parts from single depth images. Commun. ACM, 2013. 2
[^56]: S. Singh, C. Arora, and C. Jawahar. First person action recognition using deep learned descriptors. In CVPR, 2016. 1, 2, 5
[^57]: S. Sridhar, F. Mueller, M. Zollhöfer, D. Casas, A. Oulasvirta, and C. Theobalt. Real-time joint tracking of a hand manipulating an object from rgb-d input. In ECCV, 2016. 2
[^58]: X. Sun, Y. Wei, S. Liang, X. Tang, and J. Sun. Cascaded hand pose regression. In CVPR, 2015. 3
[^59]: D. Tang, H. J. Chang, A. Tejani, and T.-K. Kim. Latent regression forest: Structured estimation of 3d articulated hand posture. In CVPR, 2014. 3
[^60]: D. Tang, T.-H. Yu, and T.-K. Kim. Real-time articulated hand pose estimation using semi-supervised transductive regression forests. In ICCV, 2013. 3
[^61]: J. Tompson, M. Stein, Y. Lecun, and K. Perlin. Real-time continuous pose recovery of human hands using convolutional networks. TOG, 2014. 3
[^62]: D. Tzionas, L. Ballan, A. Srikantha, P. Aponte, M. Pollefeys, and J. Gall. Capturing hands in action using discriminative salient points and physics simulation. IJCV, 2016. 2
[^63]: V. Veeriah, N. Zhuang, and G.-J. Qi. Differential recurrent neural networks for action recognition. In ICCV, 2015. 2
[^64]: R. Vemulapalli, F. Arrate, and R. Chellappa. Human action recognition by representing 3d skeletons as points in a lie group. In CVPR, 2014. 2, 5, 6, 7, 8
[^65]: R. Vemulapalli and R. Chellappa. Rolling rotations for recognizing human actions from 3d skeletal data. In CVPR, 2016. 2
[^66]: C. Wang, Y. Wang, and A. L. Yuille. Mining 3d key-pose-motifs for action recognition. In CVPR, 2016. 2
[^67]: H. Wang, A. Kläser, C. Schmid, and C.-L. Liu. Action recognition by dense trajectories. In CVPR, 2011. 2
[^68]: J. Wang, Z. Liu, J. Chorowski, Z. Chen, and Y. Wu. Robust 3d action recognition with random occupancy patterns. In ECCV, 2012. 2
[^69]: J. Wang, Z. Liu, Y. Wu, and J. Yuan. Mining actionlet ensemble for action recognition with depth cameras. In CVPR, 2012. 2
[^70]: P. Wang, C. Yuan, W. Hu, B. Li, and Y. Zhang. Graph based skeleton motion representation and similarity measurement for action recognition. In ECCV, 2016. 2
[^71]: S.-E. Wei, V. Ramakrishna, T. Kanade, and Y. Sheikh. Convolutional pose machines. In CVPR, 2016. 2
[^72]: A. Wetzler, R. Slossberg, and R. Kimmel. Rule of thumb: Deep derotation for improved fingertip detection. In BMVC, 2015. 3
[^73]: M. Wray, D. Moltisanti, W. Mayol-Cuevas, and D. Damen. Sembed: Semantic embedding of egocentric action videos. In ECCW, 2016. 3
[^74]: D. Wu and L. Shao. Leveraging hierarchical parametric networks for skeletal joints based action segmentation and recognition. In CVPR, 2014. 1,2
[^75]: L. Xia, C.-C. Chen, and J. Aggarwal. View invariant human action recognition using histograms of 3d joints. In CVPRW, 2012. 2
[^76]: X. Yang and Y. Tian. Super normal vector for activity recognition using depth sequences. In CVPR, 2014. 2
[^77]: Y. Yang, C. Fermuller, Y. Li, and Y. Aloimonos. Grasp type revisited: A modern perspective on a classical feature for vision. In CVPR, 2015. 1, 2
[^78]: Y. Yang, A. Guha, C. Fermuller, and Y. Aloimonos. A cognitive system for understanding human manipulation actions. ACS, 2014. 2, 3
[^79]: A. Yao, J. Gall, G. Fanelli, and L. J. Van Gool. Does human action recognition benefit from pose estimation?. In BMVC, 2011. 1
[^80]: Q. Ye, S. Yuan, and T.-K. Kim. Spatial attention deep net with partial pso for hierarchical hybrid hand pose estimation. In ECCV, 2016. 3
[^81]: T.-H. Yu, T.-K. Kim, and R. Cipolla. Unconstrained monocular 3d human pose estimation by action detection and cross-modality regression forest. In CVPR, 2013. 1
[^82]: S. Yuan, G. Garcia-Hernando, B. Stenger, G. Moon, J. Y. Chang, K. M. Lee, P. Molchanov, J. Kautz, S. Honari, L. Ge, J. Yuan, X. Chen, G. Wang, F. Yang, K. Akiyama, Y. Wu, Q. Wan, M. Madadi, S. Escalera, S. Li, D. Lee, I. Oikonomidis, A. Argyros, and T.-K. Kim. Depth-based 3d hand pose estimation: From current achievements to future goals. In CVPR, 2018. 3
[^83]: S. Yuan, Q. Ye, G. Garcia-Hernando, and T.-K. Kim. The 2017 hands in the million challenge on 3d hand pose estimation. arXiv preprint arXiv:1707.02237, 2017. 3
## [^84]: S. Yuan, Q. Ye, B. Stenger, S. Jain, and T.-K. Kim. Big hand 2.2m benchmark: Hand pose data set and state of the art analysis. In CVPR, 2017. 3, 4, 5, 7
---
[^85]: M. Zanfir, M. Leordeanu, and C. Sminchisescu. The moving pose: An efficient 3d kinematics descriptor for low-latency action recognition and detection. In ICCV, 2013. 2, 5, 6, 7
[^86]: X. Zhang, Y. Wang, M. Gou, M. Sznaier, and O. Camps. Efficient temporal sequence comparison and classification using gram matrix embeddings on a riemannian manifold. In CVPR, 2016. 1, 2, 5, 6, 7, 8
[^87]: W. Zhu, C. Lan, J. Xing, W. Zeng, Y. Li, L. Shen, and X. Xie. Co-occurrence feature learning for skeleton based action recognition using regularized deep lstm networks. In AAAI, 2016. 2, 5, 6
[^88]: Y. Zhu, W. Chen, and G. Guo. Fusing spatiotemporal features and joints for 3d action recognition. In CVPRW, 2013. 2
[^89]: L. Zollo, S. Roccella, E. Guglielmelli, M. C. Carrozza, and P. Dario. Biomechatronic design and control of an anthropomorphic artificial hand for prosthetic and robotic applications. TMECH, 2007. 1