# H2O：用于第一人称交互识别的双手操作物体数据集
权泰仁¹，特金·布格拉²，扬·斯图默*³，博戈·费德里卡²，马克·波勒费斯¹,²
$^{1}$苏黎世联邦理工学院，$^{2}$微软公司，$^{3}$三星人工智能中心（剑桥）
## 摘要
我们提出了一种基于无标记三维标注的双手操作物体数据，用于实现以人为中心的互动识别的综合框架。为此，我们提出了一种创建用于以人为中心的三维互动识别的统一数据集的方法。我们的方法会为每一帧生成双手的三维姿态、被操纵物体的六自由度姿态以及对应的互动标签。我们名为H2O（两只手与物体）的数据集提供了同步的多视角RGB-D图像、互动标签、物体类别、左右手的真实三维姿态、物体的六自由度姿态、真实相机姿态、物体网格模型以及场景点云。据我们所知，这是首个能够用于研究第一人称动作的基准数据集，它利用了左右手操作物体时的姿态信息，为以人为中心的三维互动识别提供了前所未有的细节水平。我们还提出了一种从RGB图像中联合估计双手三维姿态与被操纵物体六自由度姿态、进而预测互动类别的方法。我们的方法通过学习图卷积网络的拓扑结构来建模双手与物体之间的内部及相互依赖关系，从而预测互动类型。结果表明，借助该数据集，我们的方法为双手-物体姿态估计建立了可靠的基准，并在第一人称互动识别任务中取得了最先进的准确率。
### 1. 引言
近年来，视频理解与动作识别领域取得了巨大进展。当前的算法能够在多种无约束场景下，从第三人称视角可靠地识别出主体正在执行的动作[^9] [^22] [^23] [^24] [^71] [^89]。尽管第一人称视角的动作识别在增强现实、机器人技术和监控领域有诸多应用，但其发展仍落后于第三人称视角，主要原因就是缺乏大规模且多样化的以人为中心的数据集。从以人为中心的视角来看，动作识别主要依赖于对手与物体互动的理解。对
Figure 1: Two hands manipulating objects for first person interaction recognition. We propose a dataset providing rich annotations for 3D poses of left & right hands, 6D object poses, camera poses, object meshes and scene point clouds, along with their associated interaction labels. We leverage our dataset to propose novel methods for 3D interaction recognition.
手的位置与运动以及被操纵物体的位置与运动的统一理解，对于识别以人为中心的互动至关重要。然而，现有第一人称互动数据集大多仅提供二维特征（如边界框、手部分割结果），无法从三维角度分析手部与被操纵物体的运动。在这项工作中，我们首次提出了一种用于第一人称互动识别的统一数据集，其中包含无标记的三维标注，记录了双手操作物体的情况，如图1所示。我们收集了一个标注丰富的数据集，包含同步的RGB-D图像、相机姿态、左右手姿态、物体姿态、物体网格模型、场景点云以及动作标签，它为理解三维手-物体互动提供了前所未有的细节水平。借助该数据集，我们提出了首个能从彩色图像中联合估计双手与物体三维姿态的方法。我们还提出利用自适应图卷积网络来学习手与物体姿态内部及相互之间的依赖关系，从而实现三维互动识别。
在三维空间中同时捕捉手部动作以及被操纵物体是一项极具挑战性的任务，这主要是由于相互遮挡现象的存在。从第一人称视角来看，该问题更具难度，因为以自我为中心的视觉会带来诸多独特挑战，比如相机运动速度快、遮挡严重、背景杂乱[^49]，最重要的是缺乏相关数据集。近期的研究提出了一些数据集，成功解决了其中的部分难题。Sridhar等人[^73]发布了最早关于手-物交互的数据集之一，在该数据集中单只手会操纵一个长方体物体。由[^26]、[^32]、[^34]开展的开创性工作进一步提出了包含物体地图三维标注的数据集。
---
单手操纵场景。
然而，这些研究大多受到不同因素的限制。它们主要聚焦于单手操纵场景[^26]、[^32]、[^34]。虽然单手操纵在某些场景下具有实用性，但大多数时候，手-物交互涉及两只手共同操纵物体。仅使用二维标注的话，[^79]、[^80]提出了用于手-手及手-物交互的数据集。不过，手-物交互的复杂性要求利用三维推理而非二维方法才能更好地解决相互遮挡问题。在手-物交互领域，早期研究主要致力于三维手部与物体姿态的联合估计，却并未考虑动作因素。虽然手部与物体的精确三维位置数据对机器人技术和图形学领域的诸多应用至关重要，但仅凭姿态信息无法体现主体的动作语义。为此，[^26]发布了一个包含手部与物体三维标注的以自我为中心的动作数据集；不过，该数据是通过侵入式动作捕捉系统获取的。尽管动作捕捉数据集[^26]、[^75]能提供大量带有精确三维标注的训练样本，但它们只能在受控环境下采集，且图像上会有可见的标记，这些标记会影响彩色图像中的姿态预测。合成数据集[^34]或许能作为替代方案，但现有合成数据集尚无法达到可推广到真实图像所需的逼真度，而且它们仅适用于缺乏识别交互所需时间上下文的单图像场景。
我们的方法旨在解决以往研究存在的这些局限。为此，我们提出了一种创建统一数据集的方法，用于以自我为中心的三维交互识别，该数据集包含两只手的三维姿态以及被操纵物体六维姿态的无标记标注，还有大量录像中每一帧对应的动作标签，其中同步采集的RGB-D帧数量达到了571,645帧。此外，我们提出了首个仅利用RGB图像就能同时预测两只手三维姿态与被操纵物体六维姿态的方法，并提出了一种新颖的三维交互识别方法，该方法通过拓扑感知图卷积网络来学习手部与物体姿态之间的相互依赖关系。
我们的贡献可列举如下：
我们推出了首个用于自我中心交互识别的统一数据集，该数据集包含无标记的三维注释，涵盖了两只手以及被操纵物体的6D姿态。我们将这个数据集命名为$H_{2}O$，代表“两只手和物体”。该数据集提供了丰富的真实标注信息，包括三维手-物体姿态与形状、动作标签、相机姿态、场景点云以及物体网格，从而能够生成全面的自我中心场景解析结果。借助配备多样化背景的实用多摄像头系统，我们通过详细验证展示了所标注数据的保真度与准确性。
- 我们提出了一种半自动流程，用于构建带有动作标签的手-物体交互数据集，其中包含了两只交互手以及接触物体的姿态信息。
- 我们提出了一种统一的方法，能够从RGB图像中识别手-物体交互，该方法首次同时预测两只交互手的三维姿态、被操纵物体的6D姿态，以及动作和物体类别。
- 利用我们的数据集，我们提出了一种新颖的三维交互识别方法，该方法通过拓扑感知的图卷积网络来学习两只手与物体之间的相互依赖关系。具体而言，我们将手和物体的姿态分别参数化为独立的图，并将它们整合到单一的多图架构中。随后，我们利用自适应架构学习不同图实体间的相互依赖与连接关系，并计算出多图结构的拓扑，以实现三维手-物体交互的识别。
我们证明，借助该数据集提供的姿态预测结果，我们在交互识别任务中取得了更优的整体性能，超越了现有最先进的技术[^9] [^17] [^23]。我们还提供了手部与物体姿态估计及交互识别的基准测试结果，以便在该数据集上进行进一步评估。一旦被接收，我们将公开发布我们的数据集及标注内容。
### 2. 相关工作
用于自我中心动作识别和手-物体姿态估计的数据集。尽管多年来已经提出了许多针对第三人称动作识别的数据集[^30] [^40] [^69] [^96]，但近期针对自我中心场景的数据集也受到了广泛关注[^12] [^13] [^29] [^47] [^60] [^68]，这类数据集主要基于二维特征。这些数据集仅提供有限的多视角数据，且未提供手和物体的姿态信息，而已有研究表明这些信息对于全面理解场景至关重要[^26] [^77]。
少数数据集收集了手姿态的真实标注，这些标注是通过自动化或半自动化方式获取的（如Panoptic [^37] [^38]、FreiHand [^99]、Interhand [^55]）。然而，它们并未考虑物体间的交互。最近，GRAB [^75]利用动作捕捉系统和来自[^6]的物体来追踪身体和手部在场景中的姿态，但并未提供相应的图像。HOnnotate [^32]则依靠优化过程来从…估算精确的手和物体姿态。
| Dataset | Frames | Action | 6D Obj | 3D left | 3D right | (**)Markerless | Real | Ego | Depth | Multiview |
| H2O | 571k | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ |
| FPHA [^26] | 100k | ✓ | *(23k) | - | ✓ | - | ✓ | ✓ | ✓ | - |
| HOnnotate [^32] | 78k | - | ✓ | - | ✓ | ✓ | ✓ | - | ✓ | ✓ |
| Obman [^34] | 150k | - | ✓ | - | ✓ | ✓ | - | - | ✓ | - |
| Freihand [^99] | 37k | - | - | - | ✓ | ✓ | ✓ | - | - | ✓ |
| Panoptic [^38] | 1.5M | - | - | ✓ | ✓ | ✓ | ✓ | - | ✓ | ✓ |
| ContactPose [^7] | 2.9M | - | (****)✓ | ✓ | ✓ | - | ✓ | - | ✓ | ✓ |
Table 1: A comparison of the existing related image-based datasets with 3D annotations for hand interactions. H2O provides a total of 571k frames captured from 5 different views. (*): Object pose provided only for a subset of frames. (**) Methods without markers on hands & objects. (***) Printed, textureless objects.
---
Figure 2: (a) We calibrate cameras using IR sphere markers and PnP [^44], (b) create object meshes using BADSLAM [^65] on RGB-D captures, and (c) estimate object poses using DenseFusion [^83] on RGB-D images and mask images from Mask R-CNN [^35]. We then select the pose with the highest confidence among five cameras. (d) Consequently, we detect hand joints with OpenPose [^8] and optimize hand shape using Eq. 1. (e) We finally detect and smooth temporally inaccurate poses.
多视角RGB-D数据。ObMan [^34] 收集的是纯合成的手部握持物体的图像。然而，所有这些研究都仅关注单手场景，并未涉及动作识别。与我们类似，FPHA [^26] 收集了带有动作、手部及物体姿态标注的以人眼为中心的RGB-D帧。不过，该数据集依赖磁性传感器，这会污染RGB图像，且既不包含多视角数据，也不包含双手姿态信息。
如表1所示，我们的数据集是首个包含真实多视角RGB-D数据，以及用于以人眼为中心的三维交互识别的双手三维姿态、物体姿态和动作标签的精确标注的数据集。
手部与物体姿态估计。尽管大量研究集中于预测手部 [^27] [^54] [^56] [^58] [^70] [^93] [^94] [^98] 或物体 [^5] [^48] [^59] [^78] [^83] [^90] 的独立姿态，但对手-物交互的联合理解却鲜有研究。将手和物体一并考虑会带来诸多挑战，例如需要推断遮挡和相互穿透等情况。在 [^1] [^79] [^80] 中的先驱性研究利用优化框架来探究手-手及手-物交互，但这类方法可能计算缓慢且难以调优。Tekin等人 [^77] 以及Hasson等人 [^33] [^34] 能够直接从RGB图像中高效估计手部与物体姿态，但他们也仅考虑单手场景。
交互识别。动作识别在计算机视觉领域受到了广泛关注 [^4] [^14] [^36] [^42] [^57] [^84] [^88]。随着深度学习的兴起以及大型数据集的出现，第三人称动作识别取得了显著进展 [^9] [^22] [^23] [^24] [^51] [^89] [^85] [^95]。近年来，人们对明确推理人-物交互的兴趣也有所增加 [^16] [^18] [^28] [^31] [^39] [^50] [^63] [^81] [^86] [^91] [^97]，以及骨骼动作识别 [^10] [^45] [^52] [^66] [^92]，不过这些研究大多基于第三人称视角。
从第一人称视角识别交互行为存在诸多特定挑战，比如严重的遮挡、快速的相机运动以及背景杂乱等问题 [^49]。起初，由于数据量不足，有效基于深度神经网络的方法的发展受到了一定阻碍；但近年来，人们对这一问题的研究兴趣再度兴起。一些方法利用了多模态输入，比如头部运动 [^41] [^46] [^64] [^72] 和视线方向 [^20] [^46]。通常还会用卷积神经网络提取特征，并单独利用与运动、手部位置、物体位置或物体类别相关的额外二维线索 [^3] [^46] [^53]，或者将这些线索结合起来使用 [^19] [^21] [^25] [^67] [^74]。虽然所有这些方法都侧重于二维特征，但近期的研究 [^26] [^77] 表明，在自我中心动作识别中，三维线索（如手部和物体的姿态）同样能发挥重要作用。不过，现有方法主要聚焦于单手跟踪，至今尚未有人关注双手与物体交互时的姿态估计问题——而这种情况在现实场景中更为常见。
### 3. 标注方法
图2展示了我们的标注流程概览。我们使用五台Azure Kinect相机从多个视角采集同步的RGB-D帧 [^76]。其中一台相机安装在受试者佩戴的头盔上，用于采集自我中心的画面。我们以半自动方式获取手部与物体的真实姿态：首先用Kinect扫描每个物体以获得完整的三维模型，再利用该模型通过DenseFusion算法在每一帧中追踪物体的六自由度姿态 [^83]。对于手部姿态的追踪，我们会在每一帧中将MANO参数化手部模型拟合到多视角深度数据上 [^62]。由于遮挡、模糊或背景杂乱等问题，这种自动追踪过程在某些帧中可能会失败；因此我们会手动检测出这些失败的案例并移除对应的姿态，随后可通过时间平滑技术来补充这些缺失的姿态。最后，我们手动为序列标注动作标签。在后续章节中，我们将详细介绍流程中的每一步。
#### 3.1. 相机校准
我们的实验装置由四台固定式相机和一台头戴式RGB-D相机组成。我们采用了Azure Kinect DK提供的出厂校准后的内部参数 [^76]。至于外部参数，我们采用基于红外反射球的校准方法来获取。选择这种方法是为了让装置便于携带和部署。
---
我们在场景中随机放置九个红外反射球，确保每个球体都能被所有相机看到。在我们用于重建深度的红外图像中，这些球体表现为明亮的圆形，可轻松实现自动检测。我们先计算出每个球体的中心，再通过深度图像中对应的像素点确定其三维位置。根据每一帧中九个球体的三维位置，我们通过PnP算法求解相机的姿态 [^43]。为了能在不同帧中一致地识别这些球体，我们首先在第一帧中建立初始映射关系，随后随时间推移持续追踪它们。
头戴式摄像头计算出的姿态可能会出现抖动现象。我们采用卡尔曼滤波算法来平滑这些姿态数据[^82]，前提是假设头部以均匀速度移动。整个框架允许我们在标注过程中使用多个摄像头，从而提升标注结果的保真度和准确性。
#### 3.2. 物体姿态标注
我们利用多视角图像以及摄像头姿态信息来获取每帧中物体的6D精确姿态。首先，我们会为每个物体重建一个3D网格模型。具体做法是用手持的Kinect摄像头围绕物体拍摄RGB-D帧。接着，我们将这些帧输入到先进的RGB-D SLAM算法BADSLAM中[^65]，以重建3D网格。在Blender中我们为每个物体添加纹理[^11]：利用BADSLAM返回的摄像头姿态，将扫描时获取的RGB图像投影到网格表面。
我们利用这些模型来训练物体姿态追踪器。首先，基于Mask R-CNN训练物体掩码预测器[^35]。训练数据时，我们将3D模型投影到用于BADSLAM重建的图像上，从而得到相应的掩码。随后，我们将掩码预测结果以及对应的RGB-D图像输入DenseFusion算法[^83]，以估算物体姿态。我们会得到每个摄像头视角下的姿态预测结果，并选取置信度最高的那个。最后，我们通过ICP算法[^43]进一步优化该姿态估计结果。具体来说，我们从五张深度图像中分别生成点云，再利用摄像头姿态信息将它们合并成一个点云；之后以DenseFusion的预测结果作为初始值，将物体模型拟合到这个点云上。
#### 3.3. 手部姿态标注
对于手部姿态估计，我们采用了广泛应用的MANO手部模型[^62]。MANO将人手形状分解为一组身份参数$\beta \in \mathbb{R}^{10}$和一组姿态参数$\theta \in \mathbb{R}^{51}$，后者包含了15个骨骼关节的角度以及全局旋转和平移信息。从形式上来说，我们可以将MANO定义为一个函数$H_V(\theta, \beta)$，它返回一个包含$N_V$个顶点的三角网格。我们还定义了MANO骨架函数$H_J(\theta, \beta)$，它返回$N_J = 21$个关节位置（包括最初的15个关节，以及用于指尖和手腕的另外6个关节，以便与OpenPose骨架对应[^8]——详见补充材料）。我们采用上述方法估算出的物体姿态，并将其用于手部姿态追踪过程。
我们通过最小化每一帧f处的损失函数来追踪手部姿态，该损失函数定义如下：
$$ \begin{aligned}\hat{\theta}_{f}=\underset{\theta}{\mathrm{argmin}}\sum_{c=1}^{N_{C}}(\lambda_{1}\mathcal{L}_{s}+\lambda_{2}\mathcal{L}_{2D})+\lambda_{3}\mathcal{L}_{3D}+\\ \lambda_{4}\mathcal{L}_{p}+\lambda_{5}\mathcal{L}_{phy}+\lambda_{6}\mathcal{L}_{a}+\lambda_{7}\mathcal{L}_{m}\end{aligned} $$
其中$N_c$表示摄像头的数量。这里，$\mathcal{L}_s$是基于轮廓的误差项，$\mathcal{L}_{2D}$和$\mathcal{L}_{3D}$分别衡量2D和3D下的关节误差，$\mathcal{L}_p$和$\mathcal{L}_a$是姿态的正则化项，$\mathcal{L}_{phy}$用于惩罚手部与物体之间物理上不合理的相互穿透现象，$\mathcal{L}_m$则用于惩罚手部深度数据与MANO表面之间的3D距离。各lambda值用于权衡各项误差项的贡献。需要注意的是，为了获取特定受试者的参数，我们仅针对单帧数据最小化方程(1)中关于$\beta$的部分。随后，在序列中追踪手部姿态时，我们固定$\beta$不变，针对$\theta$优化方程(1)（左右手均需如此）。为简便起见，后续方程中省略了$\beta$。
2D关节误差。我们通过以下方式惩罚MANO关节与OpenPose估计结果之间的2D距离：
$$ \mathcal{L}_{2D}(\theta)=\sum_{i=1}^{N_{J}}\|J_{2D,c}[i]-\Pi_{c}(H_{J}(\theta)[i])\| $$
其中，$J_{2D}$ 表示用 OpenPose 预先计算出的二维关节位置，而 $H_{J}(\theta)[i]$ 则返回 MANO 骨骼中第 i 个三维关节的位置。
三维关节误差。与二维关节误差类似，我们通过三角测量 OpenPose 的估计值来计算三维误差。我们发现使用这一误差项有助于加快收敛速度并提升稳定性。
三维网格表面误差。我们通过合并不同视角下各深度图像生成的点云，并剔除那些无法投影到上述手 Mask 上的点，从而得到手部数据的点云。我们的三维表面误差项会对该点云与 MANO 表面之间的距离进行惩罚：
$$ \begin{aligned}\mathcal{L}_{m}(\theta)=\sum_{i=1}^{N_{V}}\left\|(p_{j}-H_{V}(\theta)[i])\cdot H_{V}^{\perp}(\theta)[i]\right\|\\ where j=\underset{i}{\arg\min}\|p_{j}-H_{V}(\theta)[i]\|\end{aligned} $$
其中，$p_j$ 是点云中的第 j 个点，而 $H_V^\perp(\theta)$ 则表示手网格顶点 i 的法向量。
如公式 1 所示，我们的优化函数还包含了轮廓误差项，以及针对关节角度限制和物理约束的正则化项。更多关于这些项的细节，请参阅补充材料。
---
Figure 3: RGB and depth images with the corresponding annotations of hand & object pose, and action label. First row: Left hand keypoints, right hand keypoints, and 3D object bounding box are projected on the RGB image. Second row: Synchronous depth images. Third row: Ground-truth data for hand and object meshes. We provide further examples of ground-truth data in Supp. Mat.
文中还包含了一项消融研究，用于分析不同误差项对标注准确性的影响。
运行完自动化流程后，我们会检查所有帧，以识别并移除不准确的姿态。最后一步是通过卡尔曼滤波对姿态进行平滑与插值处理。
#### 3.4. 时序动作标注
我们以动词-名词对的形式提供动作标签。我们定义了 11 种动词类别：抓取、放置、打开、关闭、倾倒、取出、放入、涂抹、阅读、喷洒和挤压。至于名词，我们划分了 8 种类别：书本、浓缩咖啡、乳液、喷雾、牛奶、可可粉、薯片以及卡布奇诺。排除数据集中不存在的配对后，组合动词和名词可得到共 36 种动作类别。需要注意的是，每帧仅选取一个动词和一个名词，因此不存在重叠的动作标签。我们使用 VIA 标注工具 $^{[15]}$ 手动为整个数据集选择动作标签。图 3 展示了一些标注示例。
### 4. H2O 数据集
我们在室内环境中采集了 H2O 数据集的图像，受试者会用双手与八种不同的物体互动。该数据集包含 571,645 帧 RGBD 图像，涉及四名参与者在三种不同环境中执行的 36 种不同动作类别。借助第 3 节所述的方法，我们为左右手姿态、物体 6D 姿态、相机姿态以及动作标签标注了精确的 Ground Truth 数据。此外，数据集中还提供了左右手的 MANO [^62] 手部拟合模型以及高质量的物体网格。同时，我们还利用相机姿态和同步的 RGBD 数据计算了场景点云。总体而言，这套精心整理的数据集有助于全面理解以自我为中心的场景。
#### 4.1. 采集设置
图 4(c) 展示了我们的数据采集设置。我们使用五台 Azure Kinect 摄像头来采集同步的 RGB 图像。
Figure 4: (a) Number of instances per action in the H2O dataset. (b) Average number of frames per each action class. (c) Schematic camera capture setup. Four static cameras can capture parts that can not be observed by the egocentric view. (d) Scene point cloud computed from multi-view data.
以及深度图像。为确保多台摄像机之间的同步，我们在它们之间使用物理线缆。这使得摄像机间的延迟小于100微秒 [^76]。按照[^76]中的说明，为避免多台深度摄像机之间产生干扰，我们进一步将各摄像机的采集时间错开160微秒，最终使摄像机间的最大延迟仅为0.74毫秒。我们在任意位置放置四台不同的静态摄像机，用于捕捉手与物体的交互过程。此外，还在头盔前额处安装了一台以自我为中心的摄像机，参与者可自行调整以获得所需的视角。正如3.1节所述，我们利用九个红外反射球对所有五台摄像机进行校准。数据采集在三种环境（如大厅、办公室和厨房）中进行，背景也各不相同。我们以$1280 \times 720$像素的分辨率录制RGB图像和深度图像视频，帧频为30帧/秒。每段视频都对应一系列涉及手与物体交互的动作。
#### 4.2. 数据集统计信息
我们将数据集划分为训练集和测试集。采用基于受试者的划分方式：留出一名受试者的数据作为测试集，其余用于训练。我们还将某一名受试者的部分训练数据用作模型选择的验证集。来自多个视角的数据中，训练集包含344,645帧，验证集包含73,380帧，测试集包含153,620帧。
我们在图4中绘制了每种动作的实例数量及平均帧数。数据集中动作实例分布均匀，出现频率最低的动作也出现了21次。在数据集中，双手同时参与的动作占57.8%，仅使用左手的动作占12.4%，仅使用右手的动作占29.8%。动作片段的长度范围很广，体现了数据集的多样性，其中既包括缓慢动作也包括快速动作。
---
### 5. 识别三维手-物交互
鉴于H2O数据集丰富的标注信息，我们的目标是从图像序列中构建对以自我为中心场景的全面理解，从而把握人类的交互行为。为此，我们提出了一种统一框架，能够同时估计两只手的姿态及所操控物体的姿态，并识别以自我为中心的交互行为。我们利用该框架在第一人称交互识别和手与物体姿态估计任务上建立基准。
姿态预测。我们基于[^77]的网络架构来估计左右手的姿态以及被操纵物体的姿态。虽然[^77]仅针对单手场景，但我们旨在预测双手的姿态。为此，序列中的每一帧都会通过以YOLOv2 [^61]为骨干的全卷积网络进行处理。与[^61]中输出2D网格不同，我们的全卷积网络会生成3D网格作为输出。为了能够同时预测双手和物体的姿态，我们将每个输出网格单元与分别表示左手、右手和被操纵物体的3个向量相关联。这些向量包含了左手（$\mathbf{y}_i^{h,l}$）、右手（$\mathbf{y}_i^{h,r}$）以及物体姿态（$\mathbf{y}_i^o$）的目标值，还有针对各姿态预测的整体置信度值（$c^{h,l}, c^{h,r}, c^o$）。这些置信度值是在训练过程中根据预测姿态与真实姿态之间的距离动态确定的。我们这种单次拍摄网络的最终层会为每个单元格i输出左手（$\hat{\mathbf{y}}_i^{h,l}$）、右手（$\hat{\mathbf{y}}_i^{h,r}$）和物体（$\hat{\mathbf{y}}_i^o$）的预测结果，以及它们对应的整体置信度值$\hat{c}_i^{h,l}$、$\hat{c}_i^{h,r}$和$\hat{c}_i^o$。对于每一帧，用于训练网络的损失函数定义如下：
$$ \mathcal{L}=\lambda_{p o s e}\sum_{i}(||\hat{\mathbf{y}}_{i}^{h,l}-\mathbf{y}_{i}^{h,l}||+||\hat{\mathbf{y}}_{i}^{h,r}-\mathbf{y}_{i}^{h,r}||+||\hat{\mathbf{y}}_{i}^{o}-\mathbf{y}_{i}^{o}||) $$
$$ +\lambda_{conf}\sum_{i}((\hat{c}_{i}^{h,l}-c_{i}^{h,l})^{2}+(\hat{c}_{i}^{h,r}-c_{i}^{h,r})^{2}+(\hat{c}_{i}^{o}-c_{i}^{o})^{2}) $$
左手和右手的姿态由3D关节坐标定义，而物体姿态则通过包围物体的3D边界框的角点来参数化。根据网络对3D边界框的控制点预测结果，通过将预测结果与参考3D边界框进行刚性变换对齐，就能高效计算出6D物体姿态。置信度值较低的预测结果会被剔除，置信度值较高的则被选为姿态预测结果。
交互识别。RNN此前已被成功用于动作识别[^2] [^77]。然而，它们并未充分利用手-物交互中骨骼数据的特殊图结构。因此，我们将左手骨骼、右手骨骼和物体边界框分别参数化为独立的图，再将它们组合成多图结构。随后，我们利用图卷积网络来计算该多图结构的拓扑关系。
Figure 5: Qualitative results on the H2O dataset. We show estimated hand 3D pose, object 6D pose, and action labels. The proposed method can properly handle challenging occlusions.
通过这种网络，我们可以学习参与交互的手和物体位置之间的关联。该框架在建模单个图内部的依赖关系的同时，也能学习左手-右手、左手-物体以及右手-物体之间的相互依赖关系。
更具体地说，我们采用时空图来编码空间和时间信息，正如ST-GCN [^92]和2s-AGCN [^66]中所做的那样。标准的ST-GCN [^92]利用人体动作识别模型来处理身体骨骼关节之间的结构化信息。
$$ \mathbf{f_{out}}=\sum_{j}\mathbf{W_{j}f_{in}}(\mathbf{A_{j}}\odot\mathbf{M_{j}}) $$
其中 $\mathbf{f}_{\mathrm{in}} \in \mathbb{R}^{C_{\mathrm{in}} \times T \times N}$ 是输入特征图，$\mathbf{A}_{\mathbf{j}} \in \mathbb{R}^{N \times N}$ 是表示骨骼连接的邻接矩阵，$\mathbf{W}_{\mathbf{j}} \in \mathbb{R}^{C_{\mathrm{out}} \times C_{\mathrm{in}} \times 1 \times 1}$ 是 $1 \times 1$ 次卷积的权重向量，而 $\mathbf{M}_{\mathbf{j}} \in \mathbb{R}^{N \times N}$ 则是注意力图。这里 j 表示由卷积核定义的顶点邻域，C 是通道数，T 是时间长度，N 是顶点数量。ST-GCN 作用于单个图实体（如人体骨骼），并利用固定的邻接矩阵来建模骨骼内部的连接关系。在我们的研究中，除了图内部的依赖关系外，我们还旨在建模手与物体之间的图间依赖关系。由于每次参与交互的手部和物体部位都不尽相同，因此用固定的邻接矩阵来建模这种图间依赖关系无法得到最优结果。因此，针对左手、右手和物体，我们分别采用以下方法来建模它们之间的依赖关系：
$$ \mathbf{f_{out}}=\sum_{j}\mathbf{W_{j}f_{in}}(\mathbf{A_{j,intra}}+\mathbf{A_{j,inter}}+\mathbf{T_{j,intra}}+\mathbf{T_{j,inter}}+\mathbf{S_{j}}) $$
虽然 $A_{j,intra}$ 在方程6中对左手、右手和物体的作用与 $A_{j}$ 相同，但 $A_{j,inter}$ 通过对称手部部位与物体中心之间的静态连接来建模手与物体间的相互依赖关系。这两个矩阵都如同ST-GCN中的方程6所示，属于固定的邻接矩阵。除此之外，我们还用一个额外的邻接矩阵 $T_{j,inter}$ 来表示左手与右手、左手与物体以及右手与物体之间的连接关系。与 $A_{j,inter}$ 不同，$T_{j,inter}$ 并非固定的，而是可参数化的。它的值不受限制，会与其他网络参数一起被联合优化。
---
这意味着图拓扑结构和边权重完全可以从训练数据中学习得到。除了 $T_{j,inter}$ 之外，我们还使用了另一个可参数化的邻接矩阵 $T_{j,intra}$，它能在交互过程中自适应地学习单个图实体（如左手、右手或物体）内部的依赖关系。这种数据驱动的模型使我们能够构建专门针对手-物交互任务的图结构。
需要注意的是，与方程6不同，我们并未使用类似 [^66] 中所用的注意力图，因为我们所采用的可参数化邻接矩阵可以发挥与方程6中 $M_j$ 所执行的注意力机制相同的作用，即赋予参与交互的手与物体之间的边更高的重要性。此外，在方程6中，如果 $A_j$ 的某个元素为0，那么无论 $M_j$ 的值如何，计算结果都会是0，这是由于点积运算的特性。因此我们在方程7中采用加法而非点积运算，以便能够在图之间形成新的连接。与 [^66] 类似，我们在公式中加入了额外的数据依赖项 $S_j$，它能为每个样本学习出独特的图结构，该图利用点积来衡量嵌入空间中两个顶点的相似性。
$$ \mathbf{S_{j}}={s o f t m a x}(\mathbf{f_{i n}^{T}}\mathbf{W}_{\theta j}^{\mathbf{T}}\mathbf{W}_{\phi j}\mathbf{f_{i n}}) $$
其中 $\mathbf{W}_{\theta}$ 和 $\mathbf{W}_{\phi}$ 分别是嵌入函数 $\theta$ 和 $\phi$ 的参数。此处，嵌入函数选用的是 $1 \times 1$ 卷积层。
通过堆叠式7所定义的10个层，我们构建了用于3D交互识别的拓扑感知图卷积网络（TA-GCN）。在每次迭代中，该网络将$\hat{y}_i^{h,l}$、$\hat{y}_i^{h,r}$和$\hat{y}_i^o$的组合作为初始特征图，以建模手与物体之间的交互。我们在图8中展示了手-物体交互场景下学习到的图连接关系，并在第6节分析了我们的设计选择。关于姿态预测与交互识别模型的架构、超参数及训练细节，我们将在补充材料中进一步说明。
### 6. 评估
在本节中，我们首先验证基准标注的准确性。随后，我们展示了在该数据集上手与物体姿态估计以及第一人称动作识别的基线结果。对于后者，我们还将基线方法与动作识别领域的最先进方法进行比较，从而证明基于手-物体姿态的方法相较于现有方法具有明显优势。
#### 6.1. 数据集分析
验证。我们通过对数据集进行随机划分来验证手-物体姿态标注的准确性。为此，我们在5种不同摄像头视角下对500张图像中的手指指尖以及被操纵物体的预定义关键点进行标注。随后，我们对这些2D点进行三角测量……
Figure 6: Contact modelling on H2O. Our dataset facilitates modelling hand-object contact and 3D affordances.
| Pose feature | Object | Left hand | Right hand |
| Mean (std) | 1.10 ( $\pm 0.37$) | 0.82 ( $\pm 0.43$) | 0.93 ( $\pm 0.57$) |
表2：用于评估所提供的基准数据准确性的手与物体姿态验证结果（单位：厘米）。
……以获取手与物体的手动3D标注。我们通过计算我们的标注与手动创建标注之间的距离来衡量姿态的准确性。验证结果见表2所示。无论是手还是物体，误差都大约在1厘米范围内，这证明了本数据集的高精度。尽管我们的数据集因双手操作而存在更多相互遮挡情况，但我们的误差范围仍与[^32]、[^99]的结果相当。
接触建模。有了精确的手与物体姿态标注及网格数据，H2O就能进一步辅助手-物体接触建模[^7]、[^75]。具体而言，对于手网格中的每个顶点，我们会在一定阈值内（如2厘米）找到物体上距离最近的顶点。随后，我们计算直方图来统计MANO网格中每个顶点的邻居数量，并对其进行归一化处理，从而建模手上的接触热点。我们对物体网格也采用相同流程，以生成物体表面的接触图。我们在图6中展示了数据集中的示例接触图。
#### 6.2. 实验结果
我们联合预测两只手与被操纵物体的3D姿态。我们使用第4.2节所述的训练集、验证集和测试集来训练并评估该方法，并在图7中报告手与物体姿态估计的基线准确率。我们使用正确估计姿态的百分比来评估手与物体姿态估计的准确性。具体而言，手姿态估计采用3D PCK指标，物体姿态估计则采用2D重投影和ADD指标，这与[^77]中的做法一致。结果表明，我们的方法能够可靠地预测两只手与被操纵物体的姿态，且误差范围较小，为两只手与物体交互的联合姿态估计提供了强有力的基线。值得注意的是，我们的方法是首个能够从单张RGB图像中估计两只手与物体交互姿态的方法和基线。我们仍将把该方法与单一……
---
(a)
(b)
(c)
Figure 7: Pose estimation results on the H2O dataset using different thresholds, for (a) hands with 3D PCK metric, and for objects with (b) 2D reprojection and (c) ADD metric.
| Model | Acc. (%) |
| LEFT HAND | 33.61 |
| OBJECT | 48.55 |
| RIGHT HAND | 52.70 |
| BOTH HANDS | 58.92 |
| ALL | 79.25 |
| Model | Acc. (%) | TA-GCN |
| No INTERCONNECTION | 75.52 | TA-GCN |
| LEFT HAND-RIGHT HAND | 76.76 | TA-GCN |
| HANDS-OBJECT | 78.84 | TA-GCN |
| ALL INTERCONNECTIONS | 79.25 | TA-GCN |
$$ T_{j,inter} $$
$$ \mathbf{A_{j,intra}} $$
(a)
(b)
(c)
Table 3: Impact of different (a) input modalities, (b) interconnections and (c) graph terms on interaction recognition accuracy.
为了便于比较，表4中列出了基于[^33]和[^77]的手部-物体姿态估计方法，图5则进一步展示了我们姿态预测的定性示例。
交互识别。在表3(a)中，我们展示了不同输入模态对H2O数据集上交互识别准确率的影响。为此，我们评估了手部与物体姿态对交互识别的作用。手部姿态和物体关键点是通过第5节所述的单次传递网络来预测的。结果表明，右手与左手姿态的组合，以及手部与物体姿态的组合，均能显著提升整体动作识别得分，这体现了各输入模态的独立贡献及其互补性。我们在表3(b)中进一步评估了建模双手与物体间相互依赖关系的重要性，结果显示，建模左手与右手之间、以及手与物体之间的相互依赖关系，能够提高交互识别的准确率。在表3(c)中，我们评估了公式7中各项的影响，结果表明，将所有图结构合并后，模型相比基线方法能取得最佳结果。我们在图8中可视化了模型学习到的连接关系。
我们进一步将我们的动作识别准确率与基于图像的最先进学习方法C2D [^87]、I3D [^9]和SlowFast [^23]进行了对比，这些方法的实现使用了PySlowFast库 [^17]；同时我们也与基于姿态的学习方法H+O [^77]及ST-GCN [^92]进行对比，相关结果展示在表4中。按照[^17]中的设置，我们训练基于图像的模型时，批量大小为16，时间窗口大小为64帧，采样比为2。我们使用ResNet-50作为骨干网络，并采用SGD优化器，学习率设为0.1。基于姿态的方法按照[^77]和[^92]中的方式训练，并使用我们方法从数据集的RGB图像中估计出的姿态来进行评估。我们的交互识别方法在H2O数据集上取得了最高的验证准确率和测试准确率，
Figure 8: Learned graph connections for different layers. We demonstrate the top-20 learned intra-(top) and inter-(bottom) connections at layer 1, 5 and 9, respectively, in each column. The thickness of the connections corresponds to the weight of learned connection value. Hand-object connections are given more weight than hand-hand connections during interaction with an object. Our model attributes more importance to fingertips and DIP joints that are more commonly involved in manipulation.
| Method | Left h. | Right h. | Object | Model | Val acc. (%) | Test acc. (%) |
| Hasson[^33] | 39.56 | - | 67.47 | C2D [^87] | 76.10 | 70.66 |
| Hasson[^33] | - | 41.87 | 66.05 | I3D [^9] | 85.15 | 75.21 |
| H+O[^77] | 41.42 | - | 48.06 | SlowFast [^23] | 86.00 | 77.69 |
| H+O[^77] | - | 38.86 | 52.57 | H+O [^77] | 80.49 | 68.88 |
| Ours | 41.45 | 37.21 | 47.90 | ST-GCN [^92] | 83.47 | 73.86 |
| | | | OURS (TA-GCN) | 86.78 | 79.25 |
Table 4: Pose errors (left, in mm) and action accuracies (right). Single hand methods of [^33] [^77] are separately trained for left & right hand. [^77] [^92] use pose predictions of our method.
这证明了我们方法的有效性，以及H2O所提供的3D姿态预测的重要性。
### 7. 结论
在本文中，我们提出了一种用于收集双手操纵物体的数据集的方法，该数据集可用于第一人称视角下的交互识别。我们提供了丰富的标注信息，包括动作标签、物体类别、左右手的3D姿态、物体的6D姿态、相机姿态以及场景点云。我们还提出了首个能够联合识别双手操纵物体时的3D姿态的方法，以及一种用于识别手-物交互的新型拓扑感知图卷积网络。我们的框架通过建模3D环境下的手与物体间的交互来从第一人称视角识别动作，取得了最先进的准确率。我们相信，我们的数据集和实验结果会对3D手部姿态估计、6D物体姿态估计、手-物交互、机器人技术以及动作识别领域的研究人员有所启发，有助于弥合手-物交互与以人为中心的动作识别之间的差距。
致谢。Taein Kwon得到了微软苏黎世混合现实与人工智能实验室博士奖学金的支持。作者感谢Silvano Galliani、Joshua Elsdon、Yana Hasson、Jeff Delmerico、Helen Oleynikova和Mihai Dusmanu在讨论中提供的帮助。
---
## 参考文献
[^1]: Luca Ballan, Aparna Taneja, Jürgen Gall, Luc Van Gool, and Marc Pollefeys. Motion capture of hands in action using discriminative salient points. In ECCV, 2012. 3
[^2]: Fabien Baradel, Natalia Neverova, Christian Wolf, Julien Mille, and Greg Mori. Object level visual reasoning in videos. In ECCV, 2018. 6
[^3]: Gedas Bertasius, Hyun Soo Park, Stella X Yu, and Jianbo Shi. First person action-object detection with egonet. arXiv preprint arXiv:1603.04908, 2016. 3
[^4]: Aaron F. Bobick and James W. Davis. The recognition of human movement using temporal templates. PAMI, 23(3):257–267, 2001. 3
[^5]: Eric Brachmann, Frank Michel, Alexander Krull, Michael Ying Yang, Stefan Gumhold, et al. Uncertainty-driven 6d pose estimation of objects and scenes from a single rgb image. In CVPR, 2016. 3
[^6]: Samarth Brahmbhatt, Cush Ham, Charles C. Kemp, and James Hays. ContactDB: Analyzing and predicting grasp contact via thermal imaging. In CVPR, 2019. 2
[^7]: Samarth Brahmbhatt, Chengcheng Tang, Christopher D. Twigg, Charles C. Kemp, and James Hays. ContactPose: A dataset of grasps with object contact and hand pose. In ECCV, 2020. 2,7
[^8]: Zhe Cao, Gines Hidalgo, Tomas Simon, Shih-En Wei, and Yaser Sheikh. Openpose: realtime multi-person 2d pose estimation using part affinity fields. PAMI, 43(1):172–186, 2019. 3, 4
[^9]: Joao Carreira and Andrew Zisserman. Quo vadis, action recognition? a new model and the kinetics dataset. In CVPR, 2017. 1, 2, 3, 8
[^10]: Ke Cheng, Yifan Zhang, Xiangyu He, Weihan Chen, Jian Cheng, and Hanqing Lu. Skeleton-based action recognition with shift graph convolutional network. In CVPR, 2020. 3
[^11]: Blender Online Community. Blender - a 3D modelling and rendering package. Blender Foundation, Stichting Blender Foundation, Amsterdam, 2018. 4
[^12]: Dima Damen, Hazel Doughty, Giovanni Farinella, Sanja Fidler, Antonino Furnari, Evangelos Kazakos, Davide Moltisanti, Jonathan Munro, Toby Perrett, Will Price, et al. The epic-kitchens dataset: Collection, challenges and baselines. IEEE Computer Architecture Letters, (01):1–1, 2020. 2
[^13]: Dima Damen, Hazel Doughty, Giovanni Maria Farinella, Sanja Fidler, Antonino Furnari, Evangelos Kazakos, Davide Moltisanti, Jonathan Munro, Toby Perrett, Will Price, and Michael Wray. Scaling egocentric vision: The epic-kitchens dataset. In ECCV, 2018. 2
[^14]: Piotr Dollár, Vincent Rabaud, Garrison Cottrell, and Serge Belongie. Behavior recognition via sparse spatio-temporal features. In International Workshop on Visual Surveillance and Performance Evaluation of Tracking and Surveillance, 2005. 3
[^15]: Abhishek Dutta and Andrew Zisserman. The VIA annotation software for images, audio and video. In Proceedings of the 27th ACM International Conference on Multimedia, 2019. 5
[^16]: Victor Escorcia and Juan Niebles. Spatio-temporal human-object interactions for action recognition in videos. In ICCV Workshops, 2013. 3
[^17]: Haoqi Fan, Yanghao Li, Bo Xiong, Wan-Yen Lo, and Christoph Feichtenhofer. Pyslowfast. , 2020. 2, 8
[^18]: Hao-Shu Fang, Jinkun Cao, Yu-Wing Tai, and Cewu Lu. Pairwise body-part attention for recognizing human-object interactions. In ECCV, 2018. 3
[^19]: Alireza Fathi, Ali Farhadi, and James M Rehg. Understanding egocentric activities. In ICCV, 2011. 3
[^20]: Alireza Fathi, Yin Li, and James M Rehg. Learning to recognize daily actions using gaze. In ECCV, 2012. 3
[^21]: Alireza Fathi, Xiaofeng Ren, and James M Rehg. Learning to recognize objects in egocentric activities. In CVPR, 2011. 3
[^22]: Christoph Feichtenhofer. X3d: Expanding architectures for efficient video recognition. In CVPR, 2020. 1, 3
[^23]: Christoph Feichtenhofer, Haoqi Fan, Jitendra Malik, and Kaiming He. Slowfast networks for video recognition. In ICCV, 2019. 1, 2, 3, 8
[^24]: Christoph Feichtenhofer, Axel Pinz, and Andrew Zisserman. Convolutional two-stream network fusion for video action recognition. In CVPR, 2016. 1, 3
[^25]: David F Fouhey, Wei-cheng Kuo, Alexei A Efros, and Jitendra Malik. From lifestyle vlogs to everyday interactions. In CVPR, 2018. 3
[^26]: Guillermo Garcia-Hernando, Shanxin Yuan, Seungryul Baek, and Tae-Kyun Kim. First-person hand action benchmark with rgb-d videos and 3d hand pose annotations. In CVPR, 2018. 1, 2, 3
[^27]: Liuhao Ge, Yujun Cai, Junwu Weng, and Junsong Yuan. Hand pointnet: 3d hand pose estimation using point sets. In CVPR, 2018. 3
[^28]: Georgia Gkioxari, Ross Girshick, Piotr Dollár, and Kaiming He. Detecting and recognizing human-object interactions. In CVPR, 2018. 3
[^29]: Raghav Goyal, Samira Ebrahimi Kahou, Vincent Michalski, Joanna Materzynska, Susanne Westphal, Heuna Kim, Valentin Haenel, Ingo Fruend, Peter Yianilos, Moritz Mueller-Freitag, et al. The something something video database for learning and evaluating visual common sense. In ICCV, 2017. 2
[^30]: Chunhui Gu, Chen Sun, David A Ross, Carl Vondrick, Caroline Pantofaru, Yeqing Li, Sudheendra Vijayanarasimhan, George Toderici, Susanna Ricco, Rahul Sukthankar, et al. Ava: A video dataset of spatio-temporally localized atomic visual actions. In CVPR, 2018. 2
[^31]: Tanmay Gupta, Alexander Schwing, and Derek Hoiem. No-frills human-object interaction detection: Factorization, layout encodings, and training techniques. In ICCV, 2019. 3
[^32]: Shreyas Hampali, Mahdi Rad, Markus Oberweger, and Vincent Lepetit. Honnotate: A method for 3d annotation of hand and object poses. In CVPR, 2020. 1, 2, 7
德里卡·博戈、伊万·拉普捷夫，
利用光度测量——
手-物体
---
[^34]: Yana Hasson, Gul Varol, Dimitrios Tzionas, Igor Kalevatykh, Michael J Black, Ivan Laptev, and Cordelia Schmid. Learning joint reconstruction of hands and manipulated objects. In CVPR, 2019. 1, 2, 3
[^35]: Kaiming He, Georgia Gkioxari, Piotr Dollár, and Ross Girshick. Mask r-cnn. In ICCV, 2017. 3, 4
[^36]: Hueihan Jhuang, Thomas Serre, Lior Wolf, and Tomaso Poggio. A biologically inspired system for action recognition. In ICCV, 2007. 3
[^37]: Hanbyul Joo, Hao Liu, Lei Tan, Lin Gui, Bart Nabbe, Iain Matthews, Takeo Kanade, Shohei Nobuhara, and Yaser Sheikh. Panoptic studio: A massively multiview system for social motion capture. In ICCV, 2015. 2
[^38]: Hanbyul Joo, Tomas Simon, Xulong Li, Hao Liu, Lei Tan, Lin Gui, Sean Banerjee, Timothy Scott Godisart, Bart Nabbe, Iain Matthews, Takeo Kanade, Shohei Nobuhara, and Yaser Sheikh. Panoptic studio: A massively multiview system for social interaction capture. PAMI, 41(1):190–204, 2017. 2
[^39]: Keizo Kato, Yin Li, and Abhinav Gupta. Compositional learning for human object interaction. In ECCV, 2018. 3
[^40]: Will Kay, Joao Carreira, Karen Simonyan, Brian Zhang, Chloe Hillier, Sudheendra Vijayanarasimhan, Fabio Viola, Tim Green, Trevor Back, Paul Natsev, et al. The kinetics human action video dataset. arXiv preprint arXiv:1705.06950, 2017. 2
[^41]: Kris M Kitani, Takahiro Okabe, Yoichi Sato, and Akihiro Sugimoto. Fast unsupervised ego-action learning for first-person sports videos. In CVPR, 2011. 3
[^42]: Ivan Laptev. On space-time interest points. IJCV, 64(2-3):107–123, 2005. 3
43] 文森特·勒佩蒂、弗朗西斯科·莫雷诺-诺格尔和帕斯卡尔·富阿。Epnp：一种求解PnP问题的精确O(n)算法。《国际计算机视觉杂志》，第81卷第2期：155页，2009年。4
[^44]: V. Lepetit, F. Moreno-Noguer, and P. Fua. EPnP: An Accurate O(n) Solution to the PnP Problem. IJCV, 81(2):155–166, 2009. 3
[^45]: Maosen Li, Siheng Chen, Xu Chen, Ya Zhang, Yanfeng Wang, and Qi Tian. Actional-structural graph convolutional networks for skeleton-based action recognition. In CVPR, 2019. 3
[^46]: Yin Li, Alireza Fathi, and James M Rehg. Learning to predict gaze in egocentric video. In ICCV, 2013. 3
[^47]: Yin Li, Miao Liu, and James M Rehg. In the eye of beholder: Joint learning of gaze and actions in first person video. In ECCV, 2018. 2
[^48]: Yi Li, Gu Wang, Xiangyang Ji, Yu Xiang, and Dieter Fox. Deepim: Deep iterative matching for 6d pose estimation. In ECCV, 2018. 3
[^49]: Yin Li, Zhefan Ye, and James M Rehg. Delving into egocentric actions. In CVPR, 2015. 1, 3
[^50]: Yong-Lu Li, Siyuan Zhou, Xijie Huang, Liang Xu, Ze Ma, Hao-Shu Fang, Yanfeng Wang, and Cewu Lu. Transferable interactiveness knowledge for human-object interaction detection. In CVPR, 2019. 3
[^51]: Ji Lin, Chuang Gan, and Song Han. Tsm: Temporal shift module for efficient video understanding. In ICCV, 2019. 3
[^52]: Ziyu Liu, Hongwen Zhang, Zhenghao Chen, Zhiyong Wang, and Wanli Ouyang. Disentangling and unifying graph convolutions for skeleton-based action recognition. In CVPR, 2020. 3
[^53]: Minghuang Ma, Haoqi Fan, and Kris M Kitani. Going deeper into first-person activity recognition. In CVPR, 2016. 3
[^54]: Gyeongsik Moon, Ju Yong Chang, and Kyoung Mu Lee. V2v-posenet: Voxel-to-voxel prediction network for accurate 3d hand and human pose estimation from a single depth map. In CVPR, 2018. 3
[^55]: Gyeongsik Moon, Shoou-I Yu, He Wen, Takaaki Shiratori, and Kyoung Mu Lee. Interhand2.6m: A dataset and baseline for 3d interacting hand pose estimation from a single rgb image. arXiv preprint arXiv:2008.09309, 2020. 2
[^56]: Franziska Mueller, Dushyant Mehta, Oleksandr Sotnychenko, Srinath Sridhar, Dan Casas, and Christian Theobalt. Real-time hand tracking under occlusion from an egocentric rgb-d sensor. In ICCVW, 2017. 3
[^57]: Juan Carlos Niebles, Hongcheng Wang, and Li Fei-Fei. Unsupervised learning of human action categories using spatial-temporal words. IJCV, 79(3):299–318, 2008. 3
[^58]: Markus Oberweger and Vincent Lepetit. Deepprior++: Improving fast and accurate 3d hand pose estimation. In ICCVW, 2017. 3
[^59]: Sida Peng, Yuan Liu, Qixing Huang, Xiaowei Zhou, and Hujun Bao. Pvnet: Pixel-wise voting network for 6dof pose estimation. In CVPR, 2019. 3
[^60]: Francesco Ragusa, Antonino Furnari, Salvatore Livatino, and Giovanni Maria Farinella. The meccano dataset: Understanding human-object interactions from egocentric videos in an industrial-like domain. arXiv preprint arXiv:2010.05654, 2020. 2
[^61]: J. Redmon and A. Farhadi. YOLO9000: Better, Faster, Stronger. In CVPR, 2017. 6
[^62]: Javier Romero, Dimitrios Tzionas, and Michael J Black. Embodied hands: Modeling and capturing hands and bodies together. ACM Transactions on Graphics (ToG), 36(6):245, 2017. 3, 4, 5
[^63]: Amir Rosenfeld and Shimon Ullman. Hand-object interaction and precise localization in transitive action recognition. In 2016 13th Conference on Computer and Robot Vision (CRV), pages 148–155. IEEE, 2016. 3
[^64]: Michael S Ryoo and Larry Matthies. First-person activity recognition: What are they doing to me? In CVPR, 2013. 3
[^65]: Thomas Schops, Torsten Sattler, and Marc Pollefeys. Bad slam: Bundle adjusted direct rgb-d slam. In CVPR, pages 134–144, 2019. 3, 4
[^66]: Lei Shi, Yifan Zhang, Jian Cheng, and Hanqing Lu. Two-stream adaptive graph convolutional networks for skeleton-based action recognition. In CVPR, 2019. 3, 6, 7
[^67]: Gunnar A Sigurdsson, Abhinav Gupta, Cordelia Schmid, Ali Farhadi, and Karteek Alahari. Actor and observer: Joint modeling of first and third-person videos. In CVPR, 2018. 3
## [^68]: Gunnar A Sigurdsson, Abhinav Gupta, Cordelia Schmid, Ali Farhadi, and Karteek Alahari. Charades-ego: A large-scale dataset of paired third and first person videos. arXiv preprint arXiv:1804.09626, 2018. 2
---
[^69]: Gunnar A Sigurdsson, Gül Varol, Xiaolong Wang, Ali Farhadi, Ivan Laptev, and Abhinav Gupta. Hollywood in homes: Crowdsourcing data collection for activity understanding. In ECCV. Springer, 2016. 2
[^70]: Tomas Simon, Hanbyul Joo, Iain Matthews, and Yaser Sheikh. Hand keypoint detection in single images using multiview bootstrapping. In CVPR, 2017. 3
[^71]: Karen Simonyan and Andrew Zisserman. Two-stream convolutional networks for action recognition in videos. In NeurIPS, 2014. 1
[^72]: Suriya Singh, Chetan Arora, and CV Jawahar. First person action recognition using deep learned descriptors. In CVPR, 2016.3
[^73]: Srinath Sridhar, Franziska Mueller, Michael Zollhoefer, Dan Casas, Antti Oulasvirta, and Christian Theobalt. Real-time joint tracking of a hand manipulating an object from rgb-d input. In ECCV, 2016. 1
[^74]: Sudeep Sundaram and Walterio W Mayol Cuevas. High level activity recognition using low resolution wearable vision. In CVPRW, 2009. 3
[^75]: Omid Taheri, Nima Ghorbani, Michael J. Black, and Dimitrios Tzionas. GRAB: A dataset of whole-body human grasping of objects. In ECCV, 2020. 2, 7
[^76]: Azure SDK Team. Azure Kinect SDK. Microsoft, 2020. 3, 5
[^77]: Bugra Tekin, Federica Bogo, and Marc Pollefeys. H+o: Unified egocentric recognition of 3d hand-object poses and interactions. In CVPR, 2019. 2, 3, 6, 7, 8
[^78]: Bugra Tekin, Sudipta N Sinha, and Pascal Fua. Real-time seamless single shot 6d object pose prediction. In CVPR, 2018. 3
[^79]: Dimitrios Tzionas, Luca Ballan, Abhilash Srikantha, Pablo Aponte, Marc Pollefeys, and Juergen Gall. Capturing hands in action using discriminative salient points and physics simulation. IJCV, 2016. 2, 3
[^80]: Dimitrios Tzionas, Abhilash Srikantha, Pablo Aponte, and Juergen Gall. Capturing hand motion with an rgb-d sensor, fusing a generative model with salient points. In GCPR, 2014. 2, 3
[^81]: Bo Wan, Desen Zhou, Yongfei Liu, Rongjie Li, and Xuming He. Pose-aware multi-level feature network for human object interaction detection. In ICCV, 2019. 3
[^82]: Eric A Wan and Rudolph Van Der Merwe. The unscented kalman filter for nonlinear estimation. In Adaptive Systems for Signal Processing, Communications, and Control Symposium, pages 153–158, 2000. 4
[^83]: Chen Wang, Danfei Xu, Yuke Zhu, Roberto Martín-Martín, Cewu Lu, Li Fei-Fei, and Silvio Savarese. Densefusion: 6d object pose estimation by iterative dense fusion. In CVPR, 2019. 3,4
[^84]: Heng Wang, Alexander Kläser, Cordelia Schmid, and Cheng-Lin Liu. Action recognition by dense trajectories. In CVPR, 2011. 3
[^85]: Limin Wang, Yuanjun Xiong, Zhe Wang, Yu Qiao, Dahua Lin, Xiaoou Tang, and Luc Van Gool. Temporal segment networks: Towards good practices for deep action recognition. In ECCV, 2016. 3
[^86]: Tiancai Wang, Rao Muhammad Anwer, Muhammad Haris Khan, Fahad Shahbaz Khan, Yanwei Pang, Ling Shao, and Jorma Laaksonen. Deep contextual attention for human-object interaction detection. In ICCV, 2019. 3
[^87]: Xiaolong Wang, Ross Girshick, Abhinav Gupta, and Kaiming He. Non-local neural networks. In CVPR, 2018. 8
[^88]: Shu-Fai Wong, Tae-Kyun Kim, and Roberto Cipolla. Learning motion categories using both semantic and structural information. In CVPR, 2007. 3
[^89]: Chao-Yuan Wu, Christoph Feichtenhofer, Haoqi Fan, Kaiming He, Philipp Krahenbuhl, and Ross Girshick. Long-term feature banks for detailed video understanding. In CVPR, 2019. 1,3
[^90]: Yu Xiang, Tanner Schmidt, Venkatraman Narayanan, and Dieter Fox. Posecnn: A convolutional neural network for 6d object pose estimation in cluttered scenes. arXiv preprint arXiv:1711.00199, 2017. 3
[^91]: Tete Xiao, Quanfu Fan, Dan Gutfreund, Mathew Monfort, Aude Oliva, and Bolei Zhou. Reasoning about human-object interactions through dual attention networks. In ICCV, 2019. 3
[^92]: Sijie Yan, Yuanjun Xiong, and Dahua Lin. Spatial temporal graph convolutional networks for skeleton-based action recognition. In AAAI, volume 32, 2018. 3, 6, 8
[^93]: Qi Ye, Shanxin Yuan, and Tae-Kyun Kim. Spatial attention deep net with partial pso for hierarchical hybrid hand pose estimation. In ECCV, 2016. 3
[^94]: Shanxin Yuan, Guillermo Garcia-Hernando, Björn Stenger, Gyeongsik Moon, Ju Yong Chang, Kyoung Mu Lee, Pavlo Molchanov, Jan Kautz, Sina Honari, Liuhao Ge, et al. Depth-based 3d hand pose estimation: From current achievements to future goals. In CVPR, 2018. 3
[^95]: Bolei Zhou, Alex Andonian, Aude Oliva, and Antonio Torralba. Temporal relational reasoning in videos. In ECCV, 2018. 3
[^96]: Luowei Zhou, Chenliang Xu, and Jason J Corso. Towards automatic learning of procedures from web instructional videos. In AAAI, 2018. 2
[^97]: Penghao Zhou and Mingmin Chi. Relation parsing neural network for human-object interaction detection. In ICCV, 2019. 3
[^98]: Christian Zimmermann and Thomas Brox. Learning to estimate 3d hand pose from single rgb images. In ICCV, 2017. 3
[^99]: Christian Zimmermann, Duygu Ceylan, Jimei Yang, Bryan Russell, Max Argus, and Thomas Brox. Freihand: A dataset for markerless capture of hand pose and shape from single rgb images. In ICCV, 2019. 2,7