# 基于第一人称视角的三维动作目标预测
李一鸣 $^{1,*}$、曹子昂 $^{2,*}$、Andrew Liang $^{1}$、Benjamin Liang $^{1}$、陈洛尧 $^{1}$、赵航 $^{3}$、冯晨 $^{1,\dagger}$
$^{1}$纽约大学 $^{2}$、同济大学 $^{3}$、清华大学
✗ 动作目标超出视野范围 • 每帧中的动作目标 • 动作目标预测 ←→ 预测误差
Figure 1. Illustration of the proposed egocentric prediction task. The predicted and ground truth target locations of an action (grasping) sequence are visualized by red and green dots. In the early stage, only scarce information is available, thus it is more challenging to achieve reliable prediction. Over time, more visual and motion cues are accumulated, making it easier to predict the action target. Note that the prediction is updated in each frame and the 3D action target in each frame is expressed in the coordinate system of that frame.
## 摘要
我们致力于从第一人称视角尽早预判人在三维工作空间中操作物体时的目标位置。这一研究在人机协作领域具有重要意义，但尚未得到计算机视觉与机器学习领域的足够重视。为了推动针对这一具有挑战性的第一人称视觉任务的更多研究，我们构建了一个包含超过100万帧RGB-D和惯性测量单元数据流的大型多模态数据集，并基于半自动标注得到的高质量二维及三维标签制定了评估指标。同时，我们设计了基于循环神经网络的基线方法，并通过各类消融实验验证了它们的有效性。研究结果表明，这一新任务值得机器人、计算机视觉及机器学习领域的研究人员进一步探索。
### 1. 引言
第一人称视觉通过可穿戴摄像头捕捉人的视野内的图像，由于其在虚拟现实 [^23]、人机交互 [^10] 以及社交机器人 [^39] 等领域的广泛应用，一直是机器人技术与计算机视觉领域的重要研究方向。近年来，各类第一人称视觉数据集和基准测试已被建立 [^8] [^11] [^19] [^46] [^52]，研究人员也围绕第一人称场景理解提出了多种方法：比如将第一人称视频片段归类为特定动作类别的动作识别 [^25] [^51]；以及基于历史信息推断未来动作类型（不含位置信息）的动作预判 [^16] [^36]。然而，一个基础的第一人称视觉问题仍未被充分探索：如何预判人在三维空间中操作物体时的未来目标位置？这对于实现更安全、高效的机器人人机协作规划与控制至关重要。
本质上来说，需要与人交互的认知机器人应能在早期阶段预判人动作的目标位置，从而计算出合适的响应。例如，当患有上肢神经肌肉疾病的人试图抓取物体时，可穿戴外骨骼应在抓取动作完成前就识别出人的预期目标位置，这样机器人就能平稳规划运动以帮助其达成目标。此外，预测算法实现过程中的任何计算延迟也能因此得到补偿。
---
如果机器人能够提前预测动作目标的话。
因此，我们建立了一个名为EgoPAT3D的新数据集，用于以第一人称视角进行三维动作目标的预测。我们的动机主要基于三个方面：（1）了解人类动作的目标位置对于人机交互具有重要意义[^27]；（2）在三维而非二维空间中进行预测有助于机器人的规划与控制；（3）目前尚无公开的第一人称视角三维动作目标预测数据集。基于此，我们开展了首项关于第一人称视角三维动作目标预测的研究，该研究将第一人称传感器流视为实时信号，并将动作理解表述为对目标位置的持续更新。总之，本研究的主要目的是尽早预测人类动作的三维目标位置，以弥补延迟并支持机器人的及时反应。
从技术层面来看，要求机器准确预测人类的意图位置似乎极其困难，甚至是不可能的，尤其是在信息极为有限的早期阶段。然而，人类在到达目标位置时的行为具有某些显著特征，例如眼睛的动作比手更快[^27]：当我们试图抓取物体时，会先在视野中搜寻该物体，然后再伸手去拿。这一现象表明，基于视觉感知和头部运动的信息，可以预测人类的意图位置。因此，我们的数据集具有多模态特性，包含RGB图像、深度图像以及惯性测量单元（IMU）数据，所有这些数据均由安装在头盔上的Azure Kinect RGB-D相机记录。在每次录制中，佩戴相机的人会去触碰、抓取并移动随机放置在家庭场景中的物体，且每次录制的场景中物体布局各不相同。为了更高效地标注动作目标，我们采用了现成可用的手部姿态估计模型来定位手中心，以此作为目标位置的标识。
为了解决这一全新的第一人称视角三维动作目标预测任务，我们提出了一种基于循环神经网络（RNN）的简单基准方法，该方法结合了视觉与运动特征。概括而言，我们的主要贡献如下：
- 我们开展了首项关于三维空间内第一人称视角动作目标预测的研究。
- 我们构建了全新的EgoPAT3D数据集，并为这一新兴的第一人称视觉任务提出了新的评估指标。
- 我们设计了一种简单的基准方法来实现动作目标的连续预测，并对性能进行了全面评测。
• 我们开源了所有代码和数据集，以便他人复现结果并促进后续改进。
### 2. 相关工作
以自我为中心的数据集与基准测试。以自我为中心的视频提供了大量关于人类如何观察和与周围环境互动的知识，这对理解人类行为至关重要。得益于可穿戴设备以及以自我为中心的数据集的发展，以自我为中心的视觉研究取得了快速进展。近年来，数据集的规模逐渐扩大，以自我为中心场景中的场景和标注内容也变得更加丰富。例如，为了支持各类二维计算机视觉任务，提供了二维物体边界框 [^7] [^9] [^11] [^46] [^50]。补充的视线测量数据有助于理解图像空间中的人类意图 [^14] [^24] [^33] [^60]。提供的手部标注信息则有助于理解人与物体的交互情况 [^2] [^19]。借助这些完善的数据集，各类以自我为中心的视觉任务被提出并得以研究，比如动作识别 [^25] [^34] [^51]、动作预测 [^16] [^20] [^36]、视频摘要 [^30] [^38] [^55]、手-物交互解析 [^3] [^6] [^41]、社交互动分析 [^13] [^42] [^56]，以及以自我为中心的物体检测与跟踪 [^2] [^11] [^32]。尽管人们为推动以自我为中心的视觉发展付出了诸多努力，但大多数数据集和任务仍仅聚焦于二维计算机视觉领域，缺乏三维数据。Ego4D [^21] 是一个大规模以自我为中心的视频数据集，部分包含音频、网格、立体视觉及视线信息；该数据集近期被推出，同时还提出了围绕情景记忆、手与物体、音视频记录、社交互动以及活动预测的五项基准测试。尽管其规模和多样性前所未有，但以自我为中心视角下的在线三维目标位置预测仍未被充分研究。
以自我为中心的未来预测。在文献中，关于以自我为中心的动作识别 [^1]、视频摘要 [^40]、手部分析 [^3] 以及未来预测 [^49] 已有大量研究。本文仅回顾其中最相关的内容——以自我为中心的未来预测，这是一个相对较新的研究领域。对人类活动、目标及轨迹的以自我为中心预测在辅助技术 [^43]、轨迹规划 [^44]、多媒体 [^35] 以及机器人技术 [^27] 等领域有广泛应用。以自我为中心的未来预测主要包含三个方向：(1)动作预测，(2)区域预测，(3)轨迹预测。前两个问题已得到深入研究，但关于第三个方向的研究却很少。动作预测旨在根据历史视频片段生成动作标签，EPIC-KITCHENS [^7] [^8] 和 EGTEA Gaze+ [^33] 等各类支持动作预测的数据集推动了该领域的研究 [^17] [^18] [^26] [^59]。区域预测是指预测图像上将来会覆盖人类预定位置的二维区域，目标区域可由物体边界框 [^5] [^12]、人机交互热点区域 [^36] 或未来的注视位置 [^57] [^58] 来表示。轨迹预测则试图预测人类未来的脚部轨迹 [^4] [^44]。例如，Park等人提出了生成合理的未来轨迹的方法。
---
Table 1. Comparison of datasets which can support research in egocentric future prediction. Prediction tasks are divided into three kinds: (1) action anticipation, (2) region prediction, and (3) trajectory/target prediction. The datasets listed in the upper section provide 2D cues, and the datasets in the lower section include 3D information such as depth and inertial measurement unit. N/P denotes Not Provided.
| Dataset | Prediction Task | Scenarios | Device | Modality | Annotation | # of Frame | # of Env. | Year | Public |
| ADL [^46] | Region | Manipulation | GoPro | RGB | Action/Object | 1.0M | 20 | 2012 | ✓ |
| GTEA Gaze+ [^14] | Region | Manipulation | SMI | RGB/Audio | Hand/Gaze | 0.4M | 1 | 2012 | ✓ |
| Daily Intentions Dataset [^53] | Action | Manipulation | Fisheye Len | RGB/IMU | Action | N/P | N/P | 2017 | ✓ |
| EPIC-KITCHENS-50 [^7] | Action/Region | Manipulation | GoPro | RGB/Audio | Action/Object | 11.5M | 32 | 2018 | ✓ |
| MAD [^15] | Action | Manipulation | N/P | RGB/Force | Action | N/P | N/P | 2018 | ✗ |
| ATT [^60] | Region | Manipulation | N/P | RGB | Gaze | 217.0K | N/P | 2018 | ✗ |
| EPIC-Tent [^24] | Region | Manipulation | GoPro/SMI | RGB/Audio | Gaze | 1.2M | 1 | 2019 | ✓ |
| 100DoH [^50] | Region | Manipulation | YouTube | RGB | Hand | 27.3K | N/P | 2020 | ✓ |
| EPIC-KITCHENS-100 [^8] | Action/Region | Manipulation | GoPro | RGB/Audio | Action/Object | 20.0M | 45 | 2020 | ✓ |
| EGTEA Gaze+ [^33] | Region | Manipulation | SMI | RGB/Audio | Hand/Gaze | 2.4M | 1 | 2021 | ✓ |
| MECCANO [^47] | Region | Manipulation | SR300 | RGB | Object | 0.3M | N/P | 2021 | ✓ |
| Ego4D [^21] | Action/Region | Manipulation | GoPro | RGB | Action/Object | N/P | N/P | 2021 | ✓ |
| KrishnaCam [^28] | Trajectory | Walking | Cellphone | IMU/GPS | Trajectory | 7.6M | N/P | 2016 | ✓ |
| EgoMotion [^44] | Trajectory | Walking | GoPro Stereo | RGB-D | Trajectory | 65.5K | 26 | 2016 | ✓ |
| Ego4D [^21] | Trajectory | Walking | Stereo | RGB-D | Trajectory | N/P | N/P | 2021 | ✓ |
| EgoPAT3D (ours) | Target | Manipulation | Azure Kinect | RGB-D/IMU | Target | 1M | 15 | 2021 | ✓ |
基于以自我为中心的立体图像来推断人体自身运动序列 [^44]。Rhinehart等人利用在线逆向强化学习来预测人在三维地图中的行走目的地和动作 [^48]。最近提出的Ego4D [^21] 建立了一个统一的基准测试，用于评估以自我为中心的未来预测领域的进展，涵盖所有三种预测任务（动作/区域/轨迹）。不过，三维空间中动作目标的在线预测仍有待进一步研究。
备注。与以自我为中心的未来预测相关的现有数据集汇总于表1中。总体而言，大多数以自我为中心预测的研究集中于动作类别或二维图像区域，仅有少数研究探讨了行走场景下的以自我为中心的三维轨迹预测。然而，在手部与物体交互频繁的操作场景中，三维动作目标预测仍未被充分探索。实际上，目标预测是轨迹预测的一种特殊情况：前者仅计算轨迹的终点。但在操作场景中，由于人手常常位于以自我为中心的视野之外，因此往往无法获得完整的手部轨迹。因此，我们专注于预测物体操作动作的三维目标位置，这在机器人规划与控制中具有重要作用。
### 3. 三维空间中的以自我为中心动作目标预测
在本节中，我们将定义三维空间中以自我为中心的动作目标预测问题，探讨该任务的挑战，介绍针对该任务的评估指标，并展示我们的简单基线方法。
#### 3.1. 问题表述
以往关于以自我为中心的未来预测的诸多研究都采用离线模式，也就是说，它们需要固定长度的历史序列来预测未来的动作或目标区域。与之不同，我们考虑的是更贴近现实的在线模式，即我们的任务需要基于长度可变的历史信息进行在线预测。同时，不同时间阶段中该任务的难度也有所差异：例如在早期阶段，任务极具挑战性，原因在于（1）可用信息极少；（2）能够作为关键线索的手往往不在视野范围内。相比之下，到了后期阶段，时序信息变得丰富，手部也通常清晰可见，因此任务难度会随时间推移而降低。图1展示了一个示例序列。
符号说明。帧t处的彩色点云用$\mathbf{X}_t \in \mathbb{R}^{N_t \times 6}$表示，它是一组3D点的集合$\{\mathbf{x}_t^n | n = 1, 2, ..., N_t\}$；帧t中的第n个点记为$\mathbf{x}_t^n \in \mathbb{R}^6$，它是该点的欧几里得坐标与RGB值的向量$(x, y, z, r, g, b)$；$N_t$表示帧t中的点数。帧t处的IMU数据用$\boldsymbol{\theta}_t \in \mathbb{R}^6$表示，它由机体坐标系下的角速度$\boldsymbol{\omega}_t \in \mathbb{R}^3$和线性加速度$\boldsymbol{\alpha}_t \in \mathbb{R}^3$组成。帧t处以对应坐标系表示的3D目标位置记为$\mathbf{y}_t \in \mathbb{R}^3$。
对于一个长度为T的视频片段，预测过程将执行T次，以实现对该片段内动作目标的连续更新。需要注意的是，同一视频片段内的动作目标$\{\boldsymbol{y}_t|t=1,2,...,T\}$在世界坐标系中是同一点，但由于它们是以不同的局部坐标系表示的，因此数值存在差异，而这些局部坐标系取决于头部姿态。
定义。给定历史彩色点云流$\mathbf{X}_{1:t} = \{\mathbf{X}_1, \mathbf{X}_2, ..., \mathbf{X}_t\}$和IMU流$\boldsymbol{\theta}_{1:t} = \{\boldsymbol{\theta}_1, \boldsymbol{\theta}_2, ..., \boldsymbol{\theta}_t\}$，我们的目标是预测每一帧的3D目标位置$y_t$。从机器学习的角度来看，f表示一个模型，它以视觉和运动传感器流为输入，能够输出对未来目标位置的估计：$o_t = f(\mathbf{X}_{1:t}, \boldsymbol{\theta}_{1:t})$。我们寻求最优的f，使得预测的$o_t$尽可能接近真实的$y_t$。同时，我们希望能尽早生成准确的预测结果。
#### 面临的挑战。EgoPAT3D面临三大主要挑战：（1）多模态信息融合：数据流中的相机运动和视觉信息在不同动作阶段对动作目标预测的重要性存在差异——
---
直观来看，在动作早期阶段头部运动的作用更为显著，而当手部位置可被观测并利用时，视觉信息在后期阶段显得更有用处。要有效融合这两类信息以实现可靠的预测并非易事。（2）早期预测：对机器人控制等下游应用而言，实现高精度的早期预测通常更具价值，但这十分困难，因为动作初始阶段的信息并不充足。（3）三维工作空间：与在二维图像上预测相比，在三维空间中预测会进一步增加任务难度。
评估指标。(1) 时序感知评估：我们将每个时间窗口（一个动作片段）划分为十个阶段，计算各阶段预测结果的平均中心位置误差（CLE），从而观察预测精度随时间的变化趋势。(2) 早期预测评估：我们仅利用动作序列开头10%、20%、30%、40%和50%的数据来计算预测精度（CLE），以此评估模型的早期预测能力。(3) 整体评估：我们根据时间阶段对预测误差进行线性加权：早期阶段的预测误差会被赋予更大的惩罚权重，最终通过不同阶段的误差的时序感知加权和来算出整体得分。
### 3.2. 基线方法
如3.1节所述，以自我为中心的3D动作目标预测是一项极具挑战性的任务。我们提出了一种简单的基线方法：分别用两个骨干网络进行多模态表征学习，再通过拼接实现多模态特征融合，最后利用循环神经网络（RNN）实现对3D动作目标的持续更新。主要工作流程如图2所示。
视觉与运动特征编码。我们使用由经典点云骨干网络PointConv $\psi$ 构成的视觉特征提取器 [^54] 来编码视觉特征 $v_t = \psi(\mathbf{X}_t)$。此外，我们使用基于多层感知机（MLP）的运动特征提取器 $\phi$ 来编码运动线索 $\boldsymbol{m}_t = \phi(\boldsymbol{\theta}_t)$。特征编码完成后，两种模态的特征会被拼接起来，再输入到另一个MLP中以获得融合特征 $\boldsymbol{u}_t = \mathrm{MLP}(\mathrm{Cat}(\boldsymbol{v}_t, \boldsymbol{m}_t))$。
在线3D动作目标预测。我们将3D空间划分为网格，为每个网格预测置信度值。我们使用RNN来编码序列信息并实现在线预测；例如在帧t时，N维x轴网格的得分向量 $s_t \in \mathbb{R}^N$ 由 $s_t = \text{RNN}(u_t, h_{t-1})$ 计算得出（y轴和z轴的情况相同，为简便起见此处略去），其中 $h_{t-1}$ 是学习得到的隐藏表征。RNN能够捕捉历史感官流中的长期和短期依赖关系，这在我们这项任务中十分关键。
Figure 2. Workflow of our baseline method. The visual and motion features are separately extracted by two backbone networks, and then fused and fed into the RNN-based prediction module for the future action target localization.
训练目标与损失函数。由于相邻网格之间的相关性远高于普通分类任务，采用传统的分类损失函数（交叉熵损失）并非理想之选，这一点将在5.2节中进一步说明。因此，我们重新设计了损失函数，以充分利用相邻网格之间的依赖关系：我们选择置信度分数较高的网格，并用该分数来衡量其重要性。大量实验证明，我们提出的这种名为截断加权回归损失（TWRLoss）的损失函数，比仅考虑置信度最高的单个点的传统损失函数在该任务中更具鲁棒性。
与一般情况相比，合并后的网格之间相关性很强。
在分类任务中，采用传统的分类损失函数——交叉熵损失——并非理想之选，
这一点将在第5.2节中进一步说明。因此，我们重新设计了损失函数，
以充分利用合并后网格之间的依赖关系；
我们选取置信度得分较高的网格，并用该得分来衡量其重要性。
具体而言，我们选取置信度得分更高的网格；
然后利用该得分来确定其重要程度。大量实验证明，我们提出的这种名为截断加权回归损失（TWRLoss）的损失函数，
比仅考虑置信度最高的单个点的传统损失函数在该任务中更具鲁棒性。
截断加权回归损失（TWRLoss）
比本任务中仅考虑
置信度值最高的单个点的通用损失更稳健。数学上，
$g \in \mathbb{R}^N$ 表示 x-grids（我们将网格坐标
从 -1 归一化到 1），以及第 n 个 x-grid 中的预测分数
记为 $s_t[n](n = 0,1,...,N-1)$。令 $m_l \in \mathbb{R}^N$
表示帧 t 处用于过滤的 x 网格的二进制掩码。
得分较低的网格会被过滤掉，而 $m_l[n]$ 表示二进制值。
对于第 n 个 x 网格而言，x 网格中的掩码后得分通过以下方式计算：
其计算公式如下：
$$ \hat{\boldsymbol{s}}_{t}=\boldsymbol{m}_{l}\odot\boldsymbol{s}_{t}, $$
$$ \boldsymbol{m}_{l}[n]=\left\{\begin{array}{l l}{1,}&{n\in\{j\mid\boldsymbol{s}_{t}[j]>\gamma\}}\\ {0,}&{n\in\{j\mid\boldsymbol{s}_{t}[j]\leq\gamma\},}\\ \end{array}\right. $$
其中 $\odot$ 表示逐元素点积，$\gamma$ 是用于过滤预测得分较低网格的阈值，在本方法中该阈值设为 0.5。随后，估计的目标位置 x 坐标通过 $p_t \in \mathbb{R} = \hat{s}_t^T g$ 计算得出。由于随着时间推移预测难度会有所不同，因此不同阶段的预测误差应受到不同的惩罚，也就是说我们为不同阶段的损失赋予不同的权重：$\mathcal{L} = \sum_{t=1}^{T} w_t(y_t - p_t)^2$，其中 $y_t$ 是真实目标点的 x 坐标，$w_t$ 是从 2 到 1 的线性权重，即 $w_t = 2 - \frac{t}{T}$。
#### 4. EgoPAT3D 数据集
#### 4.1. 原始数据采集
EgoPAT3D 的原始数据由 2 名参与者在 15 个常见且多样化的家庭场景中录制。这些场景包括各类厨房、卧室和浴室空间。参与者会不断重新布置场景内的物体。需要注意的是，物体重排是机器人领域广为人知的任务 [^22] [^29] [^31]。我们有意选择了以下场景：
---
Figure 3. Visualizations of scenes. Left to right in three columns: RGB images, depth, depth transformed into RGB camera.
Figure 4. Illustration of the data collection pipeline. In each scene, we randomly choose and place objects in the scene and then conduct object rearrangement for one hundred times.
在这些场景中，手与物体的交互操作——尤其是抓取和移动——在日常生活中十分常见（例如架子、橱柜、台面以及其他用于存放或放置物体的表面和固定装置）。所有场景的可视化结果如图 3 所示。数据采集流程如图 4 所示。
原始数据取自 15 个场景，每个场景包含 10 段 RGB-D/IMU 录像。同时，还提供了 15 个场景的初始状态点云（即从环境中移除物体后的状态）。每段录像包含约 100 次手与物体的交互操作，彩色和深度流均以每秒 30 帧的速度录制，时长约为 4 分钟。整个数据集共包含 150 段录像、15 个家庭场景点云、15,000 次手与物体交互操作、600 分钟的原始 RGB-D/IMU 数据、90 万帧手与物体交互操作画面以及 100 万帧 RGB-D 画面。所有 RGB-D/IMU 数据均使用微软的 Azure Kinect DK 和 Azure Kinect Recorder 软件采集。录制参数如下：彩色摄像头分辨率为 3840×2160（4K），深度摄像头分辨率为 512×512，彩色和深度流均为 30 帧/秒，采用宽视野深度模式（WFOV）的 2×2 像素合并深度录制模式，以更贴近人类视觉的大视野范围。深度延迟设为 0，并开启了 IMU 录制功能。场景点云是使用 OpenCV 的 Kinect Fusion（KinFu）算法针对 Azure Kinect 生成的。
数据是在实验过程中采集的，期间会要求参与者记录下数据集中选定场景的所有原始数据。参与者不会获得任何金钱补偿；所有录制工作均基于自愿原则进行，且整个过程中不会涉及任何个人身份信息。参与者会佩戴一种头盔，头盔上装有前置的Azure Kinect摄像头，摄像头向下倾斜，以便捕捉以自我为中心的视野，从而可靠地记录下实验期间参与者的头部和手部动作。每次实验开始前，都会先清理场景，移除附近可被手操控的可见物体。我们准备了大量可用手抓取的物品，包括但不限于日常生活中可能出现在场景中的物品（如厨房场景中的厨具、干货和调味品），这些物品会在每次录制前被随机摆放在场景中。实验开始时，会指导参与者遵循以下指令：
1. 使用安装在附近笔记本电脑上的KinFu软件来记录场景的点云数据。
2. 调整并戴上装有Azure Kinect摄像头的头盔，确保摄像头能够充分捕捉到手臂动作以及手与物体的交互情况。
3. 随意挑选几件准备好的物品并将其摆放在场景中。
4. 根据场景的不同，在指定的位置站立或坐下，确保所放置的物体都在视野范围内且伸手可及。
5. 使用安装在附近笔记本电脑上的Azure Kinect Recorder软件开始RGB-D/IMU数据的录制。
6. 用手将场景中的物体重新摆放100次。
7. 停止录制并将场景中的物体移走。
8. 针对该场景重复步骤4至7共十次，以此结束录制过程。
---
### 4.2. 真实值生成
对于一段录制视频，我们会手动将其划分为多个动作片段。为了定位每个片段中的三维目标位置，我们采用以下步骤：首先，根据手动划分时给出的索引，取每个片段的最后一帧；其次，利用现成的手部姿态估计模型来定位该最后一帧中的手部中心；接着，通过彩色点云配准来计算相邻帧之间的变换矩阵；最后，针对每个片段，根据第三步的结果将最后一帧中的手部位置转换到历史帧中，转换后的位置便能描述每帧坐标下的三维动作目标位置。具体流程如下所述。
手动划分片段。由于我们的目标是短期动作目标预测，因此需要将较长的录制视频划分为多个动作片段，比如伸手拿取物体或放置物体等。具体来说，我们会保存每个片段的首帧和尾帧索引，这种手动划分方式效率很高：标注每段录制视频大约只需半小时。如图5所示，大多数动作片段包含10到40帧。在获取每个片段的尾帧索引后，我们会利用现成的手部姿态估计模型来定位手部中心，该位置即被视为真实值目标。
手部姿态估计。对于每个视频片段的最后一帧，我们使用谷歌的MediaPipe Hands Python解决方案API来进行3D手部姿态估计。该API首先执行单次手掌检测任务[^37]，随后根据MediaPipe手部关键点模型定位21个手部关键点。通过这种方法推断出关键点的X和Y像素坐标，而手部的深度信息（Z坐标）则利用Azure Kinect SDK从转换为彩色帧维度的对应深度帧中提取出来。补充材料中有一些手部姿态估计的可视化结果。
视觉里程计。由于人类执行动作时摄像头（头部）会持续移动，因此尽管目标在世界坐标系中是同一点，但其3D坐标却一直在变化。我们使用彩色迭代最近点（ICP）算法[^45]来计算相邻两帧之间的变换矩阵，这一过程通常被称为视觉里程计。对于每个动作片段，我们可以提取最后一帧中的手部位置来表示该动作的目标位置，然后根据ICP将其转换到之前帧的坐标系中。如此便能生成每一帧中的真实动作目标。真实目标位置的分布情况如图5所示。
Figure 5. Statistical properties of EgoPAT3D. The distribution of 3D target locations and head motion (accelerometer and gyroscope) are visualized in xyz coordinate. The bottom figure shows the distribution of the number of frames in each action clip.
#### 5. 实验
#### 5.1. 实验设置
数据集准备。我们的实验中使用了11个场景，其中5个已见场景为：浴室柜、浴室台面、抽屉、厨房台面、床头柜；6个未见场景为：垃圾桶、厨房橱柜、微波炉、炉灶、窗台+空调、木桌。我们的训练集、验证集和测试集分别包含1990个、358个和314个动作片段，用于测试泛化能力的未见测试集则包含来自10个场景的772个动作片段。每个动作片段的长度在6帧到133帧之间（平均23帧）。
实现细节。在30个训练周期中，我们采用SGD优化器，初始学习率为0.01，每5个周期衰减因子设为0.9。此外，SGD的动量、权重衰减和批量大小分别设置为0.9、$10^{-4}$和8。在我们的基线方法中，我们采用两层RNN（LSTM或GRU）来利用时序信息。我们的动作目标预测器在NVIDIA GeForce RTX 3090 GPU上训练，我们报告的是测试集上的结果。
#### 5.2. 定量结果
表2展示了考虑时序因素的定量结果。在已见场景中，误差可从$\sim$ 25厘米减小到$\sim$ 15厘米，这一数值大致相当于成年男性手的平均长度。因此，我们的基线方法在动作目标的以眼为中心预测任务中取得了令人满意的性能。不过，其中仍存在显著的提升空间，所以所提出的任务值得进一步研究。表3显示了在未见场景上的实验结果，验证了我们基线方法的泛化能力。
关于特征的讨论。为了测试不同特征对性能的影响，我们对输入特征进行了消融研究
---
Table 2. Quantitative results of different predictors on seen scenes. Note that the lower score represents better performance. VF denotes visual features, TF denotes transformation matrices, IMU includes angular velocities as well as linear accelerations, r denotes the reverse of linear loss weight function (from linearly decreasing to linearly increasing). Red, green, and blue fonts denote the top three performance.
| Components | Overall (cm) $\downarrow$ | Early prediction (cm) | Late prediction (cm) |
| 10% $\downarrow$ | 20% $\downarrow$ | 30% $\downarrow$ | 40% $\downarrow$ | 50% $\downarrow$ | 60% $\downarrow$ | 70% $\downarrow$ | 80% $\downarrow$ | 90% $\downarrow$ | 100% $\downarrow$ |
| VF-r | 19.21 | 23.67 | 22.02 | 20.58 | 19.27 | 18.16 | 17.29 | 16.69 | 16.50 | 16.42 | 16.63 |
| VF | 19.15 | 23.22 | 21.80 | 20.98 | 19.79 | 18.32 | 17.29 | 16.59 | 16.08 | 16.03 | 16.24 |
| TF+IMU-r | 18.66 | 22.84 | 21.21 | 19.94 | 18.76 | 17.68 | 16.93 | 16.33 | 16.08 | 15.99 | 16.24 |
| TF+IMU | 19.81 | 23.97 | 22.16 | 20.90 | 19.76 | 18.79 | 18.09 | 17.69 | 17.55 | 17.45 | 17.54 |
| VF+IMU-r | 20.87 | 24.70 | 23.40 | 22.37 | 21.08 | 19.83 | 19.12 | 18.67 | 18.39 | 18.31 | 18.41 |
| VF+IMU | 21.81 | 25.36 | 24.33 | 23.28 | 22.39 | 21.34 | 20.36 | 19.49 | 19.06 | 18.85 | 18.90 |
| VF+TF-r | 20.41 | 23.50 | 23.51 | 22.81 | 21.53 | 20.06 | 18.86 | 17.77 | 17.09 | 16.74 | 16.69 |
| VF+TF | 19.48 | 23.47 | 22.31 | 21.25 | 20.09 | 18.87 | 17.92 | 16.95 | 16.32 | 16.11 | 16.18 |
| VF+TF+IMU-r | 18.97 | 23.02 | 21.11 | 20.01 | 19.03 | 18.13 | 17.40 | 16.85 | 16.65 | 16.58 | 16.81 |
| VF+TF+IMU | 18.61 | 23.73 | 21.78 | 20.20 | 18.65 | 17.37 | 16.43 | 15.77 | 15.47 | 15.43 | 15.67 |
| NLLLoss-r | 26.12 | 29.69 | 28.04 | 27.30 | 26.30 | 25.37 | 24.83 | 24.27 | 23.94 | 23.77 | 23.76 |
| NLLLoss | 21.63 | 26.45 | 23.90 | 22.46 | 21.36 | 20.44 | 19.88 | 19.46 | 19.30 | 19.25 | 19.41 |
| TWRLoss-r | 18.97 | 23.02 | 21.11 | 20.01 | 19.03 | 18.13 | 17.40 | 16.85 | 16.65 | 16.58 | 16.81 |
| TWRLoss | 18.61 | 23.73 | 21.78 | 20.20 | 18.65 | 17.37 | 16.43 | 15.77 | 15.47 | 15.43 | 15.67 |
| GRU-based-r | 18.64 | 22.79 | 21.29 | 20.05 | 18.82 | 17.64 | 16.79 | 16.25 | 16.02 | 15.90 | 16.16 |
| GRU-based | 20.07 | 23.73 | 22.10 | 21.03 | 20.04 | 19.10 | 18.59 | 18.19 | 17.97 | 18.01 | 18.27 |
| LSTM-based-r | 18.97 | 23.02 | 21.11 | 20.01 | 19.03 | 18.13 | 17.40 | 16.85 | 16.65 | 16.58 | 16.81 |
| LSTM-based | 18.61 | 23.73 | 21.78 | 20.20 | 18.65 | 17.37 | 16.43 | 15.77 | 15.47 | 15.43 | 15.67 |
Table 3. Quantitative comparison of different predictors on unseen scenes. The meanings of VF, TF, and IMU are the same as Table 2.
| Comp. | Over. (cm) $\downarrow$ | Early prediction (cm) | Late prediction (cm) |
| 10% $\downarrow$ | 20% $\downarrow$ | 30% $\downarrow$ | 40% $\downarrow$ | 50% $\downarrow$ | 60% $\downarrow$ |
| VF | 19.61 | 24.19 | 22.56 | 20.76 | 19.22 | 18.34 | 17.80 |
| TF+IMU | 19.92 | 23.37 | 21.94 | 20.85 | 19.86 | 19.11 | 18.61 |
| VF+IMU | 19.54 | 23.67 | 22.07 | 20.83 | 19.75 | 18.70 | 17.98 |
| VF+TF | 20.82 | 24.38 | 23.22 | 21.93 | 20.82 | 19.92 | 19.28 |
| VF+TF+IMU | 18.82 | 22.75 | 20.38 | 19.26 | 18.55 | 18.07 | 17.64 |
| NLLLoss | 21.71 | 25.74 | 23.63 | 22.46 | 21.58 | 20.89 | 20.40 |
| TWRLoss | 18.82 | 22.75 | 20.38 | 19.26 | 18.55 | 18.07 | 17.64 |
| GRU-based | 19.77 | 23.32 | 21.81 | 20.77 | 19.75 | 18.96 | 18.44 |
| LSTM-based | 18.82 | 22.75 | 20.38 | 19.26 | 18.55 | 18.07 | 17.64 |
完成特征提取后，定量结果如表2所示。我们发现：(1) 包含所有特征的方法性能最佳，这验证了多模态特征的重要性；(2) 将视觉特征、平移、旋转、速度和加速度结合起来（VF+TF+IMU）能够取得优异的性能；而缺少一阶（VF+IMU）或高阶（VF+TF）运动特征时，其性能会逊于仅使用视觉特征的方法，这证明一阶和高阶运动特征都至关重要。
关于损失权重的讨论。我们还比较了采用两种不同线性损失权重函数训练的模型性能：(1) 权重从2线性递减到1（初始阶段惩罚更强）；(2) 权重从1线性递增到2（后期惩罚更强）。我们发现，早期施加更严格的惩罚能够提升模型性能。
关于损失函数的讨论。与负对数似然损失（NLLLoss）相比，我们提出的截断加权回归损失（TWRLoss）会将得分较高的网格纳入训练目标，从而在已见场景（21.63→18.61）和未见场景（21.71→18.82）中均能获得更好的整体性能。同时，延迟预测能力也得到了提升，例如在已见场景中，误差可从
Table 4. Ablation studies on the granularity of the grid.
| Granularity | Over. $\downarrow$ | Early prediction | Late prediction |
| 10% $\downarrow$ | 20% $\downarrow$ | 30% $\downarrow$ | 40% $\downarrow$ | 50% $\downarrow$ | 60% $\downarrow$ | 70% $\downarrow$ | 80% $\downarrow$ | 90% $\downarrow$ | 100% $\downarrow$ | | |
| $1024^{{3}}/m^{{3}}$ | 19.88 | 24.03 | 22.08 | 20.69 | 19.70 | 18.86 | 18.30 | 17.91 | 17.71 | 17.66 | 17.86 | | |
| $3072^{{3}}/m^{{3}}$ | 19.04 | 23.36 | 21.46 | 20.23 | 19.15 | 18.14 | 17.31 | 16.64 | 16.41 | 16.43 | 16.73 | | |
| $5120^{{3}}/m^{{3}}$ | 18.61 | 23.73 | 21.78 | 20.20 | 18.65 | 17.37 | 16.43 | 15.77 | 15.47 | 15.43 | 15.67 | | |
19.41降至15.67，前提是观测到100%的数据。
关于RNN的讨论。与GRU相比，LSTM能略微提升整体性能：在已见场景中性能从20.07提升至18.61，在新场景中从19.77提升至18.82。这可能是因为LSTM的可学习参数比GRU更多：GRU有两个门控（重置门和更新门），而LSTM有三个（输入门、输出门和遗忘门）。更合适的架构设计或许能进一步改善预测效果。
关于网格粒度的消融研究。如表4所示，随着粒度增大，模型性能会逐渐提升。
#### 5.3. 定性结果
我们在图6中分别可视化了已见场景和未见场景中的一些预测结果。可以发现，随着积累的时间信息越多，预测器就能生成越精确的结果。同时，我们的基线方法展现出了令人满意的泛化能力。不过，其中仍存在值得探讨的明显差距。
### 5.4. 局限性与未来工作
数据集方面。作为这项学术研究的初期阶段，受限于资源和时间，我们的数据集采集参与者并未涵盖多种肤色、年龄、体重、身高特征，动作类型也不够全面。这可能会限制基于该数据集训练的模型在现实产品中的泛化能力。不过我们认为这项研究的意义在于为相关学术圈打造一个实用的数据集，以便研究者们能更轻松地共同开展这项新任务，
---
Figure 6. Qualitative evaluation of different predictors in seen and unseen scenes. The blue point represents the ground-truth target.
最终改善残疾人的生活质量。因此，数据集的初始版本无需满足工业应用要求。此外，按照该领域数据集的惯例，本文并非此项研究的终点，我们承诺会继续扩充数据集以提升其多样性。
基线模型。我们简单的RNN基线模型取得了不错的性能，尽管精度还不够高：对于可穿戴机器人用户而言，20厘米的预测误差仍可能导致其误抓桌上的其他物体。这可能是因为多模态数据仅通过简单的拼接方式进行融合，这种方式或许不足以区分不同时间戳下各模态的重要性。为克服这一局限，基于时间感知的多模态学习或将成为未来的研究方向。此外，对时间信息的利用也有待改进：在处理长序列时，Transformer结构可能比RNN更有效。我们希望相关领域的研究者能共同解决这些局限，进一步推进该任务的发展，从而实现更好的人机协作。
潜在的负面社会影响。虽然我们提出这项新任务和数据集的初衷是通过预测人类意图来改善人机交互，进而帮助残障人士，但赛博朋克题材的科幻作家很容易就能构思出这种尚在研发中的技术的邪恶用途——比如用来制造人类无法战胜的机器人士兵。另外，深度学习模型的开发因其高能耗和对气候变化的负面影响而备受诟病。
## 6. 结论
在这项工作中，我们提出了首个用于以自我为中心的动作目标预测的3D数据集和基准测试，它在可穿戴设备、人机交互以及增强现实领域有望发挥关键作用。我们的标注工作可通过几种现成的机器学习算法实现半自动化，因此效率很高。同时，我们设计了基于RNN的简单基线方法来解决这一新任务，这也是首个能够在3D空间中定位未来动作目标的方法。我们相信，我们的数据集和基准测试将对计算机视觉、机器人以及机器学习领域的研究者大有裨益。
致谢。本研究得到了美国国家科学基金会FW-HTF项目DUE-2026479的支持。作者衷心感谢匿名审稿人提出的建设性意见与建议。
---
## 参考文献
[^1]: Khalid El Asnaoui, A. Hamid, A. Brahim, and Ouanan Mohammed. A survey of activity recognition in egocentric lifel-ogging datasets. In International Conference on Wireless Technologies, Embedded and Intelligent Systems, 2017. 2
[^2]: Sven Bambach, Stefan Lee, David J. Crandall, and Chen Yu. Lending a hand: Detecting hands and recognizing activities in complex egocentric interactions. In International Conference on Computer Vision, 2015. 2
[^3]: A. Bandini and J. Zariffa. Analysis of the hands in egocentric vision: A survey. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020. 2
[^4]: Gedas Bertasius, Aaron Chan, and Jianbo Shi. Egocentric basketball motion planning from a single first-person image. In IEEE Conference on Computer Vision and Pattern Recognition, 2018. 2
[^5]: Gedas Bertasius, H. Park, Stella X. Yu, and Jianbo Shi. First person action-object detection with egonet. In Robotics: Science and Systems, 2017. 2
[^6]: Minjie Cai, Kris M. Kitani, and Yoichi Sato. Understanding hand-object manipulation with grasp types and object attributes. In Robotics: Science and Systems, 2016. 2
[^7]: Dima Damen, Hazel Doughty, Giovanni Maria Farinella, Sanja Fidler, Antonino Furnari, Evangelos Kazakos, Davide Moltisanti, Jonathan Munro, Toby Perrett, Will Price, and Michael Wray. Scaling egocentric vision: The epic-kitchens dataset. In European Conference on Computer Vision, 2018. 2,3
[^8]: Dima Damen, Hazel Doughty, Giovanni Maria Farinella, Sanja Fidler, Antonino Furnari, Evangelos Kazakos, Davide Moltisanti, Jonathan Munro, Toby Perrett, Will Price, and Michael Wray. The epic-kitchens dataset: Collection, challenges and baselines. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020. 1, 2, 3
[^9]: D. Damen, T. Leelasawassuk, Osian Haines, A. Calway, and W. Mayol-Cuevas. You-do, i-learn: Discovering task relevant objects and their modes of interaction from multi-user egocentric video. In British Machine Vision Conference, 2014. 2
[^10]: Oriane Dermy, F. Charpillet, and S. Ivaldi. Multi-modal intention prediction with probabilistic movement primitives. In International Workshop on Human-Friendly Robotics, 2017.
[^11]: Matteo Dunnhofer, Antonino Furnari, G. Farinella, and C. Micheloni. Is first person vision challenging for object tracking? the trek-100 benchmark dataset. In International Conference on Computer Vision Workshops, 2021. 1, 2
[^12]: Chenyou Fan, Jangwon Lee, and M. Ryoo. Forecasting hands and objects in future frames. In European Conference on Computer Vision Workshops, 2018. 2
[^13]: Alireza Fathi, Jessica K. Hodgins, and James M. Rehg. Social interactions: A first-person perspective. In IEEE Conference on Computer Vision and Pattern Recognition, 2012. 2
[^14]: A. Fathi, Yin Li, and James M. Rehg. Learning to recognize daily actions using gaze. In European Conference on Computer Vision, 2012. 2, 3
[^15]: Cornelia Fermüller, Fang Wang, Yezhou Yang, Konstantinos Zampogiannis, Yi Zhang, Francisco Barranco, and Michael
Pfeiffer. 操控动作的预测。《国际计算机视觉杂志》，126卷第2期：358–374页，2018年。3
[^16]: Antonino Furnari and G. Farinella. What would you expect? anticipating egocentric actions with rolling-unrolling lstms and modality attention. In International Conference on Computer Vision, 2019. 1,2
[^17]: Antonino Furnari and G. Farinella. Rolling-unrolling lstms for action anticipation from first-person video. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020. 2
[^18]: Harshala Gammulle, S. Denman, S. Sridharan, and C. Fookes. Predicting the future: A jointly learnt model for action anticipation. In International Conference on Computer Vision, 2019. 2
[^19]: Guillermo Garcia-Hernando, Shanxin Yuan, Seungryul Baek, and Tae-Kyun Kim. First-person hand action benchmark with rgb-d videos and 3d hand pose annotations. In IEEE Conference on Computer Vision and Pattern Recognition, 2018. 1, 2
[^20]: Rohit Girdhar and Kristen Grauman. Anticipative Video Transformer. In International Conference on Computer Vision, 2021. 2
[^21]: Kristen Grauman, Andrew Westbury, Eugene Byrne, Zachary Chavis, Antonino Furnari, Rohit Girdhar, Jackson Hamburger, Hao Jiang, Miao Liu, Xingyu Liu, et al. Ego4d: Around the world in 3,000 hours of egocentric video. In IEEE Conference on Computer Vision and Pattern Recognition, 2022. 2, 3
[^22]: Eric Huang, Zhenzhong Jia, and M. T. Mason. Large-scale multi-object rearrangement. In IEEE International Conference on Robotics and Automation, 2019. 4
[^23]: Youngkyoon Jang, Seungtak Noh, H. Chang, Tae-Kyun Kim, and W. Woo. 3d finger cape: Clicking action and position estimation under self-occlusions in egocentric viewpoint. IEEE Trans. Vis. Comput. Graph., 21:501–510, 2015. 1
[^24]: Youngkyoon Jang, Brian T. Sullivan, Casimir J H Ludwig, I. Gilchrist, D. Damen, and W. Mayol-Cuevas. Epic-tent: An egocentric video dataset for camping tent assembly. International Conference on Computer Vision Workshops, 2019. 2, 3
[^25]: Evangelos Kazakos, Arsha Nagrani, Andrew Zisserman, and Dima Damen. Epic-fusion: Audio-visual temporal binding for egocentric action recognition. In International Conference on Computer Vision, 2019. 1, 2
[^26]: Qiuhong Ke, Mario Fritz, and B. Schiele. Time-conditioned action anticipation in one shot. In IEEE Conference on Computer Vision and Pattern Recognition, 2019. 2
[^27]: Daekyum Kim, B. B. Kang, Kyu Bum Kim, Hyungmin Choi, Jeesoo Ha, Kyu-Jin Cho, and Sungho Jo. Eyes are faster than hands: A soft wearable robot learns user intention from the egocentric view. Science Robotics, 4, 2019. 2
[^28]: Alexei A. Efros Krishna Kumar Singh, Kayvon Fatahalian. Krishnacam: Using a longitudinal, single-person, egocentric dataset for scene understanding tasks. In IEEE Winter Conference on Applications of Computer Vision, 2016. 3
[^29]: Athanasios Krontiris and Kostas E. Bekris. Dealing with difficult instances of object rearrangement. In Robotics: Science and Systems, 2015. 4
### [^30]: Yong Jae Lee and Kristen Grauman. Predicting important
---
用于以自我为中心视频摘要的物体识别。《国际计算机视觉杂志》，114卷：38–55页，2014年。2
[^31]: Martin Levihn, Takeo Igarashi, and Mike Stilman. Multi-robot multi-object rearrangement in assignment space. In IEEE International Conference on Intelligent Robots and Systems, 2012. 4
[^32]: Cheng Li and Kris M. Kitani. Model recommendation with virtual probes for egocentric hand detection. In International Conference on Computer Vision, 2013. 2
[^33]: Yin Li, Miao Liu, and J. Rehg. In the eye of the beholder: Gaze and actions in first person video. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2021. 2, 3
[^34]: Yanghao Li, Tushar Nagarajan, Bo Xiong, and Kristen Grauman. Ego-exo: Transferring visual representations from third-person to first-person videos. In IEEE Conference on Computer Vision and Pattern Recognition, 2021. 2
[^35]: Hui Liang, Junsong Yuan, D. Thalmann, and N. Magnenat-Thalmann. Ar in hand: Egocentric palm pose tracking and gesture recognition for augmented reality applications. In ACM Int. Conf. Multimedia, 2015. 2
[^36]: Miao Liu, Siyu Tang, Yin Li, and James M. Rehg. Forecasting human-object interaction: Joint prediction of motor attention and actions in first person video. In European Conference on Computer Vision, 2020. 1, 2
[^37]: W. Liu, Dragomir Anguelov, D. Erhan, Christian Szegedy, Scott E. Reed, Cheng-Yang Fu, and A. Berg. Ssd: Single shot multibox detector. In European Conference on Computer Vision, 2016. 6
[^38]: Zheng Lu and Kristen Grauman. Story-driven summarization for egocentric video. In IEEE Conference on Computer Vision and Pattern Recognition, pages 2714–2721, 2013. 2
[^39]: Roberto Martín-Martín, Mihir Patel, Hamid Rezatofighi, Abhijeet Shenoi, JunYoung Gwak, Eric Frankel, Amir Sadeghian, and S. Savarese. Jrdb: A dataset and benchmark of egocentric robot visual perception of humans in built environments. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2021. 1
[^40]: A. Molino, Cheston Tan, Joo-Hwee Lim, and A. Tan. Summarization of egocentric videos: A comprehensive survey. IEEE Transactions on Human-Machine Systems, 47:65–76, 2017. 2
[^41]: Tushar Nagarajan, Christoph Feichtenhofer, and Kristen Grauman. Grounded human-object interaction hotspots from video. In International Conference on Computer Vision, pages 8687–8696, 2019. 2
[^42]: Evonne Ng, Donglai Xiang, Hanbyul Joo, and Kristen Grauman. You2me: Inferring body pose in egocentric video via first and second person interactions. In IEEE Conference on Computer Vision and Pattern Recognition, 2020. 2
[^43]: Eshed OhnBar, Kris Kitani, and Chieko Asakawa. Personalized dynamics models for adaptive assistive navigation systems. In Conference on Robot Learning. PMLR, 2018. 2
[^44]: H. Park, Jyh-Jing Hwang, Yedong Niu, and Jianbo Shi. Ego-centric future localization. In IEEE Conference on Computer Vision and Pattern Recognition, 2016. 2, 3
[^45]: Jaesik Park, Qian-Yi Zhou, and Vladlen Koltun. Colored point cloud registration revisited. In International Conference on Computer Vision, 2017. 6
[^46]: H. Pirsiavash and D. Ramanan. Detecting activities of daily
基于第一人称视角视频的物体识别。载于IEEE计算机视觉与模式识别会议论文集，2012年。1、2、3
[^47]: F. Ragusa, Antonino Furnari, S. Livatino, and G. Farinella. The meccano dataset: Understanding human-object interactions from egocentric videos in an industrial-like domain. In IEEE Winter Conference on Applications of Computer Vision, 2021. 3
[^48]: Nicholas Rhinehart and Kris M. Kitani. First-person activity forecasting from video with online inverse reinforcement learning. IEEE Transactions on Pattern Analysis and Machine Intelligence, 42:304–317, 2020. 3
[^49]: I. Rodin, Antonino Furnari, Dimitrios Mavroedis, and G. Farinella. Predicting the future from first person (egocentric) vision: A survey. Computer Vision and Image Understanding, 2021. 2
[^50]: Dandan Shan, Jiaqi Geng, Michelle Shu, and David Fouhey. Understanding human hands in contact at internet scale. In IEEE Conference on Computer Vision and Pattern Recognition, 2020. 2, 3
[^51]: Swathikiran Sudhakaran, S. Escalera, and O. Lanz. Lsta: Long short-term attention for egocentric action recognition. In IEEE Conference on Computer Vision and Pattern Recognition, 2019. 1, 2
[^52]: Yansong Tang, Zian Wang, Jiwen Lu, J. Feng, and Jie Zhou. Multi-stream deep neural networks for rgb-d egocentric action recognition. IEEE Transactions on Circuits and Systems for Video Technology, 29:3001–3015, 2019. 1
[^53]: Tz-Ying Wu, Ting-An Chien, Cheng-Sheng Chan, Chan-Wei Hu, and Min Sun. Anticipating daily intention using on-wrist motion triggered sensing. In International Conference on Computer Vision, 2017. 3
[^54]: Wenxuan Wu, Zhongang Qi, and Fuxin Li. Pointconv: Deep convolutional networks on 3d point clouds. In IEEE Conference on Computer Vision and Pattern Recognition, 2019. 4
[^55]: Ryo Yonetani, Kris Kitani, and Yoichi Sato. Visual motif discovery via first-person vision. In European Conference on Computer Vision, 2016. 2
[^56]: Ryo Yonetani, Kris M. Kitani, and Yoichi Sato. Recognizing micro-actions and reactions from paired egocentric videos. In IEEE Conference on Computer Vision and Pattern Recognition, 2016. 2
[^57]: M. Zhang, K. Ma, J. Lim, Qi Zhao, and Jiashi Feng. Deep future gaze: Gaze anticipation on egocentric videos using adversarial networks. In IEEE Conference on Computer Vision and Pattern Recognition, 2017. 2
[^58]: M. Zhang, K. Ma, J. Lim, Qi Zhao, and Jiashi Feng. Anticipating where people will look using adversarial networks. IEEE Transactions on Pattern Analysis and Machine Intelligence, 41:1783–1796, 2019. 2
[^59]: Tianyu Zhang, Weiqing Min, Ying-Jie Zhu, Yong Rui, and Shuqiang Jiang. An egocentric action anticipation framework via fusing intuition and analysis. In ACM Int. Conf. Multimedia, 2020. 2
### [^60]: Zehua Zhang, David J. Crandall, Chen Yu, and Sven Bambach. From coarse attention to fine-grained gaze: A two-stage 3d fully convolutional network for predicting eye gaze in first person video. In British Machine Vision Conference, 2018. 2, 3
---
### 附录
### I. 数据采集
我们选择用来安装Azure Kinect RGB-D摄像头的头盔是一款适用于头围在52到56厘米之间的自行车头盔，如补充材料中的图1所示。该头盔配有可调节的绑带和内部泡沫衬垫以提升舒适度。佩戴者视野中不会出现头盔的任何部件。
我们将数据收集限制为每次记录100个动作（大约需要4分钟完成），以减少因佩戴头盔（405克）以及Azure Kinect RGB-D摄像头（440克）而产生的疲劳感。
此外，录制过程中使用的所有线缆长度都足以不会限制数据采集者的活动。线缆的摆放位置也不会影响录制时的视野：为摄像头供电的USB线缆被插在数据采集者身后的15英尺长延长线上；用于录制数据的笔记本电脑则尽可能靠近数据采集者放置，同时不会遮挡其对场景其余部分的视线。出于与电源线相同的原因，连接摄像头和笔记本电脑的USB-C数据线也被放置在数据采集者身后。
根据上述设置，从我们的观察来看，志愿者的运动模式似乎没有发生明显变化。
### 二、手部姿态估计的可视化
我们对手部姿态估计结果进行了质量检查，只有估计结果可靠的帧才会被纳入我们的数据集。
Figure I. Photos of helmets.
Figure II. Visualizations of hand pose estimations.
Figure III. Visualization of one failure case.
Google的MediaPipe Hands工具表现相当稳健，大多数帧都能得到精确的估计结果。部分示例帧如图II所示。
### 三、失败案例
我们会在最终版本中补充对失败案例的讨论。此处展示的是图III中由于视角剧烈变化导致的运动模糊这一具有挑战性的案例。此外，我们还会明确阐述关于运动特征的讨论，并对实验结果进行分析。
### 四、评估结果的可视化
不同时间阶段的误差可视化结果如图IV所示。
---
Figure IV. Visualizations of errors in different stages.