# HOI4D：用于类别级人机交互的4D自我中心数据集 刘云泽 $^{*1,3}$，刘云 $^{*1}$，蒋哲 $^{1}$，吕康博 $^{1}$，万维康 $^{2}$，沈浩 $^{2}$，梁博强 $^{2}$，付周杰 $^{1}$，王赫 $^{2}$，易立 $^{\dagger 1,3}$ $^{1}$ 清华大学，$^{2}$ 北京大学，$^{3}$ 上海智源研究院 ## 摘要 我们推出HOI4D——一个带有丰富标注的大规模4D自我中心数据集，旨在推动类别级人机交互的研究。HOI4D包含由9名参与者收集的4000个序列中的240万个RGB-D自我中心视频帧，这些参与者在610个不同的室内房间中与来自16个类别的800个不同物体实例进行互动。我们还提供了针对全景分割、运动分割、3D手部姿态、类别级物体姿态以及手部动作的逐帧标注，同时还有重建的物体网格和场景点云。借助HOI4D，我们设立了三项基准测试任务，以促进从4D视觉信号中提取类别级人机交互信息，包括4D动态点云序列的语义分割、类别级物体姿态跟踪，以及针对多种交互目标的自我中心动作分割。深入分析表明，HOI4D给现有方法带来了巨大挑战，同时也创造了大量的研究机遇。 ### 1. 引言 过去十年间，得益于大量数据集和基准测试工作的推动，图像、视频或3D点云中物体与活动的命名工作取得了巨大进展 [^9] [^14] [^44] [^47]。然而，这些感知成果无法满足越来越多关键应用的需求，比如人机协作机器人和增强现实领域，这些应用需要能从4D自我中心传感输入（例如彩色点云的时间序列）中感知交互信息。计算机视觉系统能够从自我中心的视角对人体与物体的交互建立细致的理解，这一点变得极为重要。这种理解应当整合对4D动态场景的语义理解、物体遮挡下人体手部的3D姿态、3D物体姿态及功能—— ![Image](images/0b66314bd1af2f49405773f533fffcdc9001ef2e90ce620b64093bf07148a861.jpg)
(a) Hand Actions
![Image](images/ab018c00f2ff53f39595dd05ec97b15b2a5dc5671b03a1b47a32bc84b448540d.jpg)
(b) Motion Segmentation
![Image](images/0951d5e6d3795e4ac8966f44c7c6ca4f56539bb9a75ca463315e00dfe9154275.jpg) (c) 3D手部姿态与类别级物体姿态 ![Image](images/a1fe5e9d07e615b5c4402440992ad3d3cc8e6b4a006526df96f1c3794dcf433c.jpg) ![Image](images/6f99dd9c17c0c414a017dfcaf04f6a1185730395397bd5f3d0b00f342113a85e.jpg)
(d) Panoptic Segmentation (e) Reconstructed Object Mesh
Figure 1. Overview of HOI4D: We construct a large-scale 4D egocentric dataset with rich annotation for category-level human-object interaction. Frame-wise annotations for action segmentation(a), motion segmentation(b), panoptic segmentation(d), 3D hand pose and category-level object pose(c) are provided, together with reconstructed object meshes(e) and scene point cloud.
以及人类的动作与意图，而这些给当今的计算机视觉系统提出了新的挑战。 为应对这些挑战，迫切需要大规模且标注丰富的4D第一人称视角人类-物体交互数据集以及相应的基准测试套件。近期已有一些研究[^18] [^19] [^22]致力于满足此类需求。然而，这些研究大多聚焦于我们所称的实例级人类-物体交互，即参与交互的物体均来自一个规模极小的实例池，且这些物体的精确CAD模型和尺寸事先已知。这限制了它们在感知人类与日常生活中种类繁多物体之间交互的应用。此外，这类研究往往忽略可动物体，仅关注交互模式相对简单的刚性物体。这些局限性部分源于以第一人称视角同步捕捉手部、物体和真实场景的过程极具挑战性且操作繁琐。构建合成数据集[^20]或许是一种替代方案。不过，模拟自然的人类动作以及对通用物体的功能性抓取仍是尚未解决的研究难题，这使得现有合成数据集难以达到足以支持从仿真到现实迁移的真实度。 --- 这使得现有合成数据集很难达到足以支持从仿真到现实迁移的真实度。 为克服上述局限，我们首次推出了大规模4D第一人称视角类别级人类-物体交互数据集，如图1所示。我们从近期类别级物体姿态估计与姿态跟踪研究中汲取灵感[^24] [^42] [^44]，旨在推动4D人类-物体交互感知迈入新阶段，以应对杂乱场景中类别级物体的多样性问题。我们收集了标注丰富的一批4D第一人称视角数据集HOI4D，用于记录人类在室内环境中执行不同任务时与各类物体的交互情况。HOI4D包含240万帧RGB-D第一人称视角视频帧，涵盖9名参与者在4000个序列中与800个物体实例的交互数据。这些物体实例均匀分为16个类别，既包括刚性物体也包括可动物体。与以往大多数研究采用实验室环境不同，佩戴摄像头的研究对象在610个不同的室内场景中执行任务，无需佩戴任何标记即可展现各类别物体的功能。HOI4D为所有序列提供了重建的场景点云和物体网格模型。HOI4D提供了逐帧全景分割、运动分割、3D手部姿态、刚性和可动物体姿态以及动作分割等标注，为类别级人类-物体交互提供了前所未有的细节水平。 HOI4D中的丰富标注还支持在一系列类别级HOI任务上进行基准测试。在本文中，我们重点研究三项任务：4D动态点云序列的语义分割、手-物交互的类别级物体姿态跟踪，以及针对多种交互目标的以自我为中心的手部动作识别。我们对这些任务的现有方法进行了深入分析。实验表明，HOI4D给当今的计算机视觉算法带来了巨大挑战。对于类别级物体及部件姿态跟踪任务，以往的大多数数据集均采用简单场景下的合成数据，且不存在手部遮挡情况。借助所提出的HOI4D数据集，研究人员如今能够利用真实世界数据来攻克这一更具挑战性的任务。由于缺乏带标注的室内数据集，4D点云的语义分割研究主要集中于自动驾驶应用领域。HOI4D则引入了更多挑战，比如严重的遮挡、快速的自我运动以及截然不同的传感器噪声模式。细粒度的视频动作分割有助于AI更好地理解交互过程，但我们发现现有的粗粒度方法无法很好地直接处理细粒度数据。 综上所述，我们的贡献可列举如下： - 我们推出了首个用于4D以自我为中心的类别级人-物交互数据集HOI4D。HOI4D包含了人类与大量物体实例交互时采集的标注丰富的4D视觉序列。其中巨大的类别级物体差异有助于感知人类与可能从未见过的物体的交互情况。 - 我们提出了一种结合人工标注与自动算法的数据采集与标注流程，有效扩大了数据集的规模。 - 我们在涵盖4D动态场景理解、类别级物体姿态跟踪和手部动作分割的三类类别级HOI任务上进行了基准测试。我们对现有方法进行了全面分析，并指出了HOI4D所带来的新挑战。 ### 2. 相关工作 #### 2.1. 以自我为中心的人-物交互数据集 理解人-物交互一直是计算机视觉研究者们长期追求的目标，以往诸多研究都侧重于构建第三人称视角的数据集 [^5] [^8] [^38] [^40]。近年来，从以自我为中心的视角感知人-物交互受到了广泛关注。这类数据集大多专注于识别日常活动 [^4] [^12] [^17] [^26] [^33]，且提供的多为2D特征，缺少3D手部姿态和物体姿态等3D标注，而这些标注对于全面理解背后的交互过程至关重要。 由于存在相互遮挡现象，对三维手部姿态和物体姿态进行共同标注并非易事。一些现有研究利用磁传感器或动作捕捉标记来追踪三维手部姿态和物体姿态 [^5] [^18] [^48]。然而，附加的标记可能会妨碍手部的自然运动，并影响手部和物体的外观。其他研究则借助经过精心校准的多摄像头系统 [^8] [^38] 或优化算法 [^19] 来缓解这一难题，但通常仅限于第三人称视角。与我们研究最相关的是最近发布的一个名为H2O的以人为中心的HOI数据集 [^22]。他们收集了带有三维手部姿态、实例级物体姿态及动作标签的以人为中心的RGB-D视频。不过，H2O仅涵盖涉及8种物体实例的实例级人机交互内容。此外，以往的研究仅关注刚性物体，而我们同时考虑了关节物体，因为后者能产生更丰富的交互行为。 如表1所示，我们首次推出了一个大规模的四维以人为中心的数据集，用于类别级的HOI研究，该数据集涵盖了刚性物体和关节物体类别，其注释内容的丰富程度前所未有。 #### 2.2. 四维动态场景理解 四维动态场景理解具有重要意义，因为它能让人工智能理解我们所生活的现实世界。现有方法主要基于Synthia 4D [^36] 和SemanticKITTI [^3] 等室外数据集。MinkowskiNet [^11] 提出使用四维时空卷积网络来提取四维特征。MeteorNet [^29] 则以点云为输入…… ---
Table 1. Comparison of existing HOI Datasets.
dataset4Drealmarkerless3D hand6D objego#frames#obj#seqdynamic graspaction labelsegcategory-levelarticulatedfunctional intent
GTEA$_{GAZE}$+ [^26]✗✓✓✗✗✓778K-37✓✓✗✗✓✗
EPIC-KITCHEN [^12]✗✓✓✗✗✓20M-700✓✓✓✓✓✓
FPHA [^18]✓✓✗✓✓✓105K41,175✓✓✗✗✗✓
ObMan [^20]✓✗-✓✓✗154K3K---✓✓✗✗
FreiHAND [^50]✗✓✓✓✗✗37K27--✗✓✗✗✗
ContactPose [^5]✓✓✗✓✓✗2,991K252,303✗✗✗✗✗✓
HO-3D [^19]✓✓✓✓✓✗78K1027✓✗✗✗✗✗
DexYCB [^8]✓✓✓✓✓✗582K201,000✓✗✗✗✗✗
H2O [^22]✓✓✓✓✓✓571K8-✓✓✗✗✗✓
Ours✓✓✓✓✓✓2.4M8004K✓✓✓✓✓✓
……并聚合时间域和空间域中的信息。SpSequenceNet [^37] 采用三维立方体形式处理四维点云数据，以减少空间信息的丢失。PSTNet [^15] 提出了一种点时空卷积方法，以获得点云序列的信息性表示。P4transformer [^13] 是一种新型的点四维变换器，可避免点对点跟踪问题。4DNet [^32] 提出了一种从多模态中融合四维信息的新颖学习技术。在室内交互场景中，物体尺寸更小、运动方式更多样，甚至还会发生形变，这给现有方法带来了新的挑战。 #### 2.3. 类别级物体姿态估计与姿态跟踪 为了定义新物体的姿态，NOCS [^42]提出了一种称为“标准化物体坐标空间”的类别特定规范参考系。每个输入物体像素都会被投影到类别级别的规范三维空间中。ANCSH [^25]将NOCS的概念扩展到可活动物体上，并提出了“标准化部件坐标空间”（NPCS），这是一种部件级别的规范参考系。在姿态跟踪方面，6-PACK [^41]能够在RGB-D视频中追踪一小组关键点，并通过累积随时间变化的相对姿态变化来估计物体姿态。CAPTRA [^44]构建了一个端到端的可微管道，用于实现刚体和可活动物体的精确且快速的姿态跟踪。BundleTrack [^43]则提出了一种新颖的集成方法以及基于记忆增强的姿态图优化技术，以实现低漂移的精确6D物体姿态跟踪。然而，现有方法并未考虑手与物体之间的联合姿态跟踪，而这在交互场景中至关重要。当用自我中心视角取代第三个视角时，物体遮挡问题会变得更加严重，这也使得该任务更具挑战性。此外，诸如NOCS [^42]之类的现有数据集均为合成数据集，因此真实世界数据与合成数据之间的域差异也给现有算法带来了挑战。借助所提出的HOI4D数据集，研究人员如今便能以较低的成本开展上述更具挑战性的任务。 ### 3. 构建HOI4D #### 3.1. 硬件设置与数据采集 ![Image](images/9df79555e74badeb4fc0e9ba5c4ac0c3a04a7739b332eae7ff6d9427d8a28be4.jpg)
Figure 2. Data capturing system. we build up a simple head-mounted data capturing suite consists of a bicycle helmet, a Kinect v2 RGB-D sensor, and an Intel RealSense D455 RGB-D sensor.
为了构建HOI4D，我们搭建了一套简单的头戴式数据采集装置，由自行车头盔、Kinect v2 RGB-D传感器和Intel RealSense D455 RGB-D传感器组成，如图2所示。在数据采集过程开始前，这两台RGB-D传感器会先经过校准并保持同步。参与者佩戴头盔来执行各种任务，并在不同的室内场景中与各类日常物品互动。我们预先定义了任务池，其中不仅包括简单的拿取放置操作，还涵盖其他功能性任务，比如将杯子放入抽屉中。要完成这些任务，参与者需要根据具体的场景配置合理规划自身动作。例如，如果抽屉是打开的，参与者只需直接将杯子放入抽屉即可；否则，他们可能需要先打开抽屉。值得一提的是，我们采用了两款常用的RGB-D摄像头——Intel RealSense D455和Kinect v2，它们恰好能相互补充：Kinect v2基于飞行时间（TOF）原理，能够捕捉远距离内容；而RealSense D455是基于结构光的摄像头，在近距离（约1米内）表现更优。这两台传感器共同能够更全面地捕捉三维场景，同时也为跨传感器迁移学习提供了天然的测试平台。 --- #### 3.2. 数据标注流程 HOI4D包含丰富的标签，涵盖了类别级人-物交互的各个方面，而收集这些标注并非易事。我们在图3中展示了数据标注流程。给定一个动态RGB-D序列，我们首先将运动内容与静态内容分离，通过逐帧进行2D运动分割来简化全景标注工作。接着，我们屏蔽掉运动内容，并利用SLAM算法重建3D静态场景$^{[10,49]}$。这样就能高效地标注整个序列中的所有静态内容。我们手动标注重建后的场景，从而获得3D静态场景全景分割结果。最后，将2D运动分割结果与3D静态场景全景分割结果合并，得到4D动态场景全景分割结果。详细过程我们将在第3.3节中说明。为了获取3D手部姿态标签，我们首先在RGB-D帧上标注一组手部关键点，然后利用优化模块恢复底层的3D手部形态，具体过程见第3.4节。为了获取类别级物体姿态，我们手动在RGB-D帧上为物体或物体部件拟合模态定向边界框，并确保同一物体类别内的姿态定义保持一致。我们还会利用多视角扫描生成的物体网格来进一步优化物体姿态。类别级物体及部件姿态的标注过程将在第3.5节中介绍。此外，我们也在第3.6节中描述了动作标注的流程。 #### 3.3.4 全景标注 我们的4D全景标注流程主要分为两部分：2D运动分割标注和3D静态场景分割标注。在2D运动分割标注过程中，给定原始RGB视频后，标注员会从视频中均匀抽取10%的帧，然后手动标注视频中发生运动的物体的分割掩码。由于手动标注全部视频帧耗时费力，我们转而使用现成的2D掩码传播工具[^9]，将已手动标注的掩码传播到同一视频中的其余90%帧上。标注员会与传播工具交互，不断优化所有分割掩码直至其准确无误。在静态场景分割标注过程中，给定带有2D运动分割掩码的原始RGB-D视频后，我们会从单帧点云中移除所有被掩码覆盖的物体，随后重建仅包含位置未发生变化的物体的室内场景静态点云[^10] [^49]。我们会对静态场景中的所有物体实例和背景物体进行标注，再将结果投影回每一帧，从而得到静态物体的分割掩码。最终通过将运动分割掩码与静态分割掩码合并，即可得到4D全景分割标签。 #### 3.4. 手部姿态标注 整个手部姿态标注流程包含四个阶段：标注、初始化、传播和优化。 标注员会统一标注每个视频中20%的帧。由于我们需要手部呈现真实的外观，基于标记点的标注方法并不可行。因此，我们手动标注一组手部关键点的2D位置。我们采用了以往研究中广泛使用的、预先定义的21个手关节关键点[^19] [^22] [^35]。对于每一帧已标注的图像，标注员会给出11个关键点的2D位置：手腕、5个指尖以及从指尖算起的第二个指节。被遮挡的关键点的合理位置也会被估算出来。 我们使用MANO参数化手部模型来表示手部姿态 [^35]。形状参数 $\beta \in \mathbb{R}^{10}$ 是根据数据采集器获取的真实手部信息来确定的，我们会对手部姿态 $\theta_h = \{\theta_m, R, t\} \in \mathbb{R}^{51}$ 进行优化，该姿态由姿态系数 $\theta_m \in \mathbb{R}^{45}$（15个关节每个关节有3个自由度）、全局旋转 $R \in SO(3)$ 以及平移 $t \in \mathbb{R}^3$ 组成。在初始化阶段，我们通过最小化每个标注帧的损失函数来从2D标注中估计3D手部姿态。损失函数的定义如下： $$ \hat{\theta}_{h}=\underset{\theta_{h}}{\arg\min}(\lambda_{j}\mathcal{L}_{j}+\lambda_{2D}\mathcal{L}_{2D}+\lambda_{d}\mathcal{L}_{d}+\lambda_{p c}\mathcal{L}_{p c}+\lambda_{m}\mathcal{L}_{m}) $$ 其中 $\mathcal{L}_{j}$、$\mathcal{L}_{2D}$、$\mathcal{L}_{d}$、$\mathcal{L}_{pc}$ 和 $\mathcal{L}_{m}$ 分别代表关节角度损失、2D关节损失、深度损失、点云损失以及掩码损失。$\lambda_{j}$、$\lambda_{2D}$、$\lambda_{d}$、$\lambda_{pc}$ 和 $\lambda_{m}$ 是平衡参数。关于各项损失的定义细节详见补充材料。考虑到视频的时间一致性，每一帧都以其前一帧的手部姿态作为初始值，以加快收敛速度。我们通过线性插值将标注帧中的手部姿态 $\theta_{h}$ 传播到整个序列中，从而得到视频中每一帧的粗略手部姿态。 在精细化阶段，我们进一步对 $\theta_{h}$ 进行优化，以获得所有帧的精确姿态。损失函数的定义如下： $$ \begin{aligned}\hat{\theta}_{h}=\underset{\theta_{h}}{\arg\min}(\lambda_{j}\mathcal{L}_{j}+\lambda_{d}\mathcal{L}_{d}+\lambda_{pc}\mathcal{L}_{pc}+\lambda_{m}\mathcal{L}_{m}\\+\lambda_{Contact}\mathcal{L}_{Contact}+\lambda_{tc}\mathcal{L}_{tc})\end{aligned} $$ 其中 $\mathcal{L}_{Contact}$ 和 $\mathcal{L}_{tc}$ 分别代表接触损失和时间一致性损失。关于各项损失的定义细节同样详见补充材料。为了在效率与有限的计算资源之间取得平衡，我们选择6到11个连续帧作为一个优化批次，其中包含2到3个标注帧。由于手部姿态模糊或初始化不佳可能导致优化过程失败，我们会手动检测这些失败的帧，并对手部姿态进行人工修正。 --- ![Image](images/bf4159a9b10f6ac0c3e599c1ed7e362aa0b5f34eb5841ac233921849b0c99c41.jpg)
Figure 3. Overview of annotation pipeline. Red branch: Given a dynamic RGB-D sequence, we first annotate frame-wise 2D motion segmentation. Then we mask out the moving content and reconstruct a 3D static scene. We manually annotate the reconstructed scene to obtain 3D static scene panoptic segmentation. Finally, the 2D motion segmentation and the 3D static scene panoptic segmentation are merged, resulting in the 4D dynamic scene panoptic segmentation. Blue branch: To obtain 3D hand pose labels, we first annotate a set of hand keypoints on RGB-D frames and then leverage an optimization module to recover the underlying 3D hand. For category-level object poses, we manually fit a modal oriented bounding boxes to objects or object parts in RGB-D frames and further optimize it by leveraging the object mesh. Green branch: We directly annotated fine-grained action labels on the original video.
#### 3.5. 类别级姿态标注 刚体和铰接物体的类别级姿态标注过程分为三个阶段：物体测量与标注、模型扫描与重建，以及标签传播与姿态优化。 物体测量与标注。为了兼顾标注质量与劳动强度，我们每十帧手动为视频中的感兴趣物体标注紧密的无模态定向边界框。具体来说，我们首先对每个感兴趣的物体进行物理测量并确定其坐标系，从而得到其紧密的无模态边界框。随后，标注人员会手动旋转并放置这些边界框，使其适配每一帧的深度点云中的物体。结合边界框的尺寸，我们最终就能得到刚体物体的9D姿态。对于铰接物体，我们将每个部件视为独立的物体并分别进行标注。 模型扫描与重建。对三维物体姿态进行标注对人类标注员而言是一项极具挑战性的任务，而且并非所有标注结果都完全可靠。此外，我们仅手动标注每10帧中的1帧，因此必须借助一些标签传播和优化技术（如[^19]）来为所有视频帧生成标签。现有的姿态优化技术大多针对实例级姿态标注设计，这类标注需要相应物体的CAD模型作为支撑。因此，为了进行姿态优化，我们对数据集中的全部800个物体进行了扫描。这些物体涵盖了多种类别，其尺寸、材质和拓扑结构也各不相同，这使得物体扫描工作颇具难度。虽然商用3D扫描仪可用于扫描小型物体，但扫描大型物体——尤其是那些拓扑结构复杂、材质特殊的物体——仍然颇具挑战性。我们首先手动在物体表面粘贴各种贴纸，用以丰富物体纹理并遮盖部分高反光区域。随后，我们利用现成的软件包[^6] [^30]，根据多视角的高分辨率彩色图像来重建物体网格。具体来说，我们从不同倾斜角度拍摄图像，以完整覆盖物体的外表面。接着，我们利用软件包提供的一系列算法，自动对齐图像、重建物体网格并校准模型参数。对于铰接类物体，我们还会提供类似于PartNet的部件标注[^31]。值得一提的是，通过提供物体网格，HOI4D能够促进实例级人机交互领域的研究，还能将人类交互轨迹迁移到仿真环境中，用于机器人模仿学习等应用[^34]。标签传播。为了将手动标注的物体姿态传播到中间帧，我们首先利用相机矩阵将所有物体姿态转换到世界坐标系下，然后对已标注物体姿态之间的平移、旋转和关节角度进行线性插值。 姿态优化。我们利用多模态数据，包括 RGB-D 图像、重建的物体网格，以及 --- ![Image](images/ebdef8d328c0965cd7b6cae7377b4282380af22f7f26aabbb70c6d6a5e7d01c7.jpg)
Figure 4. Diversity of object categories.
以及 2D 运动分割掩码，以减少由标签传播引起的误差。我们利用可微分渲染器 SoftRas [^28] 以及 HOnnotate [^19] 中的辅助损失项，通过梯度下降来优化姿态。物体姿态 $\theta_o$ 由旋转 $R \in SO(3)$、平移 $t \in \mathbb{R}^3$ 以及关节式物体各关节的关节角 $\theta \in \mathbb{R}^{\#}$ 组成，应最小化如下定义的损失函数： $$ \hat{\theta}_{o}=\underset{\theta_{o}}{\arg\min}(\lambda_{2D}\mathcal{L}_{2D}+\lambda_{d}\mathcal{L}_{d}+\lambda_{c d}\mathcal{L}_{c d}+\lambda_{t c}\mathcal{L}_{t c}). $$ 其中，$\mathcal{L}_{2D}$和$\mathcal{L}_{d}$由SoftRas [^28]计算得出，它们分别用于衡量渲染得到的物体掩码与3.3节中获得的真实掩码之间的轮廓差异，以及裁剪后的真实深度图与重建网格的深度图之间的深度残差。辅助损失项的定义与Honnotate [^19]中的类似，其中$\mathcal{L}_{cd}$表示重建物体点云与采集到的物体点云之间的倒角距离，$\mathcal{L}_{tc}$则用于保证姿态轨迹的时间一致性。对于铰接类物体，我们还会进一步限制关节角度在其物理极限范围内。 #### 3.6. 动作标注 在长时长且未经裁剪的4D视频中检测并定位动作片段是一项极具挑战性的任务。对于视频中的每一帧，我们都会标注其动作类别，以便支持对动作分割的研究。值得注意的是，我们针对交互场景定义了细粒度的动作类别，这与现有数据集存在显著差异。详细类别信息请参阅补充材料。 ### 4. 数据集统计 类别概览。图4展示了我们数据集中所包含的物体类别。我们选取了日常生活中常见的16种物体类别（7种刚体物体类别，9种铰接物体类别）来构建该数据集。每个类别…… ![Image](images/5fc585fc39338b8d0b90e571f520f55c7175c9492a4edbe6b50d47ef3702dbf3.jpg)
Figure 5. Examples of interaction task
每个类别包含50个独特的物体实例，每个物体实例都对应一组高分辨率RGB图像重建出的CAD模型。值得一提的是，这些类别主要选自ShapeNet [^7]和Sapien Assets [^45]。这使得HOI4D与主流的合成3D数据集紧密相连，有助于研究从仿真到现实的知识迁移。如补充材料所示，重建后的网格模型和人手轨迹有望被引入仿真环境，以支持机器人学习。 我们采用RealSense D455和KinectV2同步捕捉人-物交互数据，为研究不同深度传感器间的知识迁移提供了可能。每段视频以15帧/秒的速率拍摄，时长为20秒。最终，HOI4D共包含240万帧数据。 交互任务的多样性。为了反映不同物体类别的功能特性，我们依据物体功能定义了交互任务，如图5所示。我们在全部16个类别中定义了54种任务。每种物体都包含拾取与放置任务以及若干基于功能的任务，这些任务可用于支持在交互场景中感知物体的移动性和功能。根据任务的难度和场景的复杂程度，我们将任务分为简单级和复杂级：简单任务中，拍摄到的序列显示主体在背景较为干净的条件下对目标物体执行拾取与放置操作，与物体功能无关；复杂任务中，我们会从800个物体中随机选取10-20个并以杂乱的方式摆放。不同难度的任务自然支撑不同的研究方向——简单任务更适用于姿态跟踪和机器人学习方面的研究，而复杂任务则催生了诸如4D全景分割等有趣的研究课题。 ### 5. 跨数据集评估 我们进行跨数据集评估，以进一步验证HOI4D数据集的价值。评估任务包括3D手部姿态估计、类别级物体姿态跟踪以及动作分割。 实验设置。在3D手部姿态估计任务中，我们选用与HOI4D视角一致的以自我为中心的H2O [^22]数据集。 ---
train testHOI4DH2OHOI4D+H2O
HOI4D H2O22.370.424.3
48.919.915.9
train testHOI4DNOCSHOI4D+NOCS
HOI4D NOCS55.334.257.1
50.470.583.7
train testHOI4DGTEAHOI4D+GTEA
HOI4D GTEA52.37.948.6
14.177.490.4
Table 2. Cross-dataset evaluation results. (a) Top: 3D hand pose estimation. Results are in root-relative MPJPE(mm), lower is better. (b) Middle: Category-level object pose tracking. Results are in $5^{\circ}$5cm accuracy, higher is better. (c) Bottom: Action segmentation. Results are in frame-wise accuracy, higher is better.
我们选择Mesh Graphormer [^27]作为骨干网络。在类别级物体姿态跟踪任务中，我们与类别级物体姿态跟踪领域最常用的NOCS [^42]数据集进行对比，评估对象为“瓶子”类别，并选用CAPTRA [^44]作为骨干方法。在动作分割任务中，我们选择GTEA [^17]数据集进行对比，采用ASFormer [^47]骨干网络，在两个数据集共有的5个动作类别（拿取、打开、倾倒、关闭和放置）上进行评估。 结果。表2展示了跨数据集的评估结果。以3D手部姿态估计为例，当我们在H2O数据集上评估在HOI4D上训练的模型时，会发现误差增加了$2.2\times$（从22.3变为48.9），这是由于域差异导致的。然而，当我们在HOI4D数据集上评估在H2O上训练的模型时，误差增加得更为严重，达到了$3.5\times$，这表明在H2O上训练的模型泛化能力远不如在HOI4D上训练的模型。虽然通过在HOI4D和H2O混合数据集上训练可以进一步降低仅基于H2O训练所产生的误差，但相较于仅在HOI4D上训练的情况，其在HOI4D上的误差反而增大了。这一结果表明HOI4D对H2O的补充作用要优于反之。从其他子任务的结果也能得出类似结论：HOI4D的数据更具多样性且难度更高，因而能带来更强的泛化能力。 ### 6. 任务与基准测试 在本节中，我们针对HOI4D设计了三项具体任务：类别级物体与部件姿态跟踪、4D点云视频的语义分割以及以自我为中心的手部动作分割。我们按照7:3的比例随机将4D序列划分为训练集和测试集，并分别利用第3.5节、第3.3节和第3.6节中的标注数据来支持这三项任务。我们给出了基线方法的结果，并对现有方法进行了深入分析，同时探讨了HOI4D带来的新挑战。 #### 6.1. 类别级物体与部件姿态跟踪 大多数现有的6D物体姿态估计或跟踪方法都假设能够获取物体实例的3D模型[^2] [^46]。在缺乏此类3D模型的情况下，对新实例的泛化会变得非常困难。为了减轻对CAD模型的依赖，类别级物体与部件姿态跟踪是一个极具前景的研究方向。 在本节中，我们在HOI4D上对最先进的类别级物体与部件姿态跟踪算法BundleTrack [^43]进行基准测试。BundleTrack [^43]是一种适用于新物体的通用6D姿态跟踪框架，无需依赖实例级或类别级的3D模型。评估协议与先前研究中的设定一致[^43] [^44]。初始化时使用扰动后的真实物体姿态；我们还提供了ICP [^49]基线方法，该方法采用Open3D [^49]中实现的标准点面ICP算法。我们选取了4个刚性物体类别和1个铰接物体类别进行实验。所使用的评价指标如下：$5^{\circ}$5cm：姿态误差不超过$<5^{\circ}$且平移误差不超过$<5$cm的估计结果所占百分比；$R_{err}$：平均姿态误差（单位：度）；$T_{err}$：平均平移误差（单位：厘米）。
Table 3. Category-Level Object Pose Tracking on 4 rigid objects.
ICPtoy carmugbottlebowl
5°5cm0.71.22.13.2
$R_{err}$88.367.953.939.4
$T_{err}$47.620.128.423.9
BundleTracktoy carmugbottlebowl
5°5cm9.712.919.322.6
$R_{err}$21.057.518.1619.37
$T_{err}$13.94.17.75.6
表3展示了4种刚性物体的实验结果，表4则展示了笔记本电脑类别的结果。以瓶子类别为例，在NOCS [^42] 数据集上，BundleTrack能够达到86.5（5°5cm）的准确率；该数据集中的数据采集于人与物体交互过程中，且不存在严重的手部遮挡现象。而在HOI4D数据集上，其准确率仅为19.3。这种性能下降证明：在现实世界的交互场景中，类别级姿态跟踪确实极具挑战性，因为此类场景中的数据会受到传感器噪声、复杂背景、手部遮挡以及快速运动等因素的严重影响。以往的大多数算法都是基于合成数据集开发的。令人感兴趣的是，此前这种成功的经验能否迁移到以人为中心的人机交互场景中。无论侧重于从模拟环境到真实环境的迁移，还是直接利用真实数据进行学习，HOI4D都为这两条路径的研究提供了便利。预计未来会有更多研究聚焦于现实世界交互场景中的类别级物体姿态跟踪问题。 ---
Table 4. Category-Level Part Pose Tracking on laptop.
ICPkeyboarddisplayBundleTrackkeyboarddisplay
5°5cm0.91.55°5cm24.212.2
R_{err}47.384.2R_{err}8.620.5
T_{err}19.841.2T_{err}6.89.47
#### 6.2. 4D点云视频语义分割 以往，4D点云视频的语义分割研究主要集中在自动驾驶应用领域，由于缺少标注数据集，室内场景的相关研究寥寥无几。室内场景通常更为杂乱，布局也更为复杂。除此之外，HOI4D还带来了更多挑战：以人为中心的视角会导致严重遮挡现象，6自由度下的自身运动速度较快，且与激光雷达点云相比传感器噪声模式差异显著，这些因素使得现有的室外4D语义分割网络难以发挥良好性能。 为了验证这一点，我们选取了两种在室外4D语义分割任务中表现顶尖的代表性方法作为基准：PSTNet [^15] 和 P4Transformer [^14]。我们从室内场景中选取了共计38个语义类别，并将所有类别划分为两类（物体、背景）。在我们的4D点云视频语义分割实验设置中，我们精心挑选了14个语义类别下的376段视频（其中物体类7个类别，背景类7个类别）。每段视频的每一帧被采样为4096个无颜色的点。评估指标为每个类别组以及所有类别的平均交并比（mIoU）。
Table 5. Semantic Segmentation of 4D Point Cloud Videos.
MethodobjectsbackgroundmIoU_{all}
PSTNet31.472.652.0
P4Transformer44.677.761.2
如表5所示，当前室外方法无法很好地处理室内动态点云，尤其是物体类别。我们发现，现有方法在背景类别上的表现明显优于物体类别，这是因为物体类别的尺寸更小、运动更灵活，且遮挡问题更严重，从而导致分割难度更高。未来探索能够同时捕捉物体几何与背景几何的方法或许会很有意义。 #### 6.3. 细粒度视频动作分割 由于缺乏大规模细粒度数据集，交互场景中的动作分割研究进展受限。 近年来，视频动作分割领域在Breakfast [^21]、50 Salad [^39] 和 GTEA数据集 [^1] 上的粗粒度分割任务中取得了令人瞩目的成果。细粒度视频动作分割能够帮助人工智能更好地理解交互任务中的动作细节。然而，专注于细粒度视频的研究却寥寥无几。 我们考虑了三种具有代表性且性能优异的方法：MS-TCN [^16]、MS-TCN++ [^23] 和 Asformer [^47]。我们采用第5.1节中描述的I3D特征来训练网络。视频的时间分辨率为15帧/秒，每帧对应的I3D特征维度为2048维。我们报告以下三项指标：逐帧准确率（Acc）、片段编辑距离，以及在10%、25%和50%重叠阈值下的片段F1分数。这些重叠阈值是根据IoU比率确定的。
Table 6. Video Action Segmentation.
MethodAccEditF1@10F1@25F1@50
MS-TCN44.274.755.647.831.8
MS-TCN++42.275.854.746.530.3
Asformer46.880.358.951.335.0
表6展示了相关结果。不出所料，从粗粒度级别到细粒度级别，这三种算法的性能均出现大幅下滑。以Asformer [^47]为例，它在HOI4D数据集上的准确率仅为46.8，而在50Salads数据集上却能达到85.6 [^39]，这表明现有模型对最细粒度的动作识别能力较弱。图6是对失败案例的分析—— ![Image](images/c6cf61921e47728004979e95ebc395c850e5f765a5a568a67905d595fb4cf63b.jpg)
Figure 6. A qualitative analysis of failure results
结果如下：尽管预测完全错误，但动作序列却是正确的。由此我们推测，当前网络更擅长学习动作的顺序，却缺乏感知当前动作本身的能力。当我们使用最细粒度的动作标签来打破固有的动作序列时，现有方法的性能会显著下降。 ### 7. 局限性与未来工作 HOI4D的主要局限性在于它未涵盖双手操作任务，毕竟单手操作任务对当前研究而言仍具挑战性。此外，双手操作场景会带来更多挑战，我们希望未来能对其展开研究，比如双手协作问题。如第3.5节所述，我们构建了一个通用流程，用于生成各类CAD模型以及每个HOI4D物体类别对应的物体姿态。我们希望HOI4D提供的逼真模型和丰富数据能够搭建起仿真环境与现实世界之间的桥梁，为机器人学习和增强现实应用领域的后续研究提供灵感。 --- ## 参考文献 [^1]: Fathi A, Ren X, and Rehg J M. Learning to recognize objects in egocentric activities. In CVPR 2011, pages 3281–3288, 2011. 8 [^2]: Lee Aing, Wen-Nung Lie, Jui-Chiu Chiang, and Guo-Shiang Lin. Instancepose: Fast 6dof pose estimation for multiple objects from a single rgb image. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 2621–2630, 2021. 7 [^3]: Mehmet Aygun, Aljosa Osep, Mark Weber, Maxim Maximov, Cyrill Stachniss, Jens Behley, and Laura Leal-Taixé. 4d panoptic lidar segmentation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 5527–5537, 2021. 2 [^4]: Sven Bambach, Stefan Lee, David J Crandall, and Chen Yu. Lending a hand: Detecting hands and recognizing activities in complex egocentric interactions. In Proceedings of the IEEE International Conference on Computer Vision, pages 1949–1957, 2015. 2 [^5]: Samarth Brahmbhatt, Chengcheng Tang, Christopher D Twigg, Charles C Kemp, and James Hays. Contactpose: A dataset of grasps with object contact and hand pose. In Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part XIII 16, pages 361–378. Springer, 2020. 2, 3 [^6]: CapturingReality. Realitycapture. 5 [^7]: Angel X Chang, Thomas Funkhouser, Leonidas Guibas, Pat Hanrahan, Qixing Huang, Zimo Li, Silvio Savarese, Manolis Savva, Shuran Song, Hao Su, et al. Shapenet: An information-rich 3d model repository. arXiv preprint arXiv:1512.03012, 2015. 6 [^8]: Yu-Wei Chao, Wei Yang, Yu Xiang, Pavlo Molchanov, Ankur Handa, Jonathan Tremblay, Yashraj S Narang, Karl Van Wyk, Umar Iqbal, Stan Birchfield, et al. Dexycb: A benchmark for capturing hand grasping of objects. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 9044–9053, 2021. 2, 3 [^9]: Ho Kei Cheng, Yu-Wing Tai, and Chi-Keung Tang. Modular interactive video object segmentation: Interaction-to-mask, propagation and difference-aware fusion. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 5559–5568, 2021. 1, 4 [^10]: Sungjoon Choi, Qian-Yi Zhou, and Vladlen Koltun. Robust reconstruction of indoor scenes. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 5556–5565, 2015. 4 [^11]: Christopher Choy, JunYoung Gwak, and Silvio Savarese. 4d spatio-temporal convnets: Minkowski convolutional neural networks. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 3075–3084, 2019. 2 [^12]: Dima Damen, Hazel Doughty, Giovanni Maria Farinella, Sanja Fidler, Antonino Furnari, Evangelos Kazakos, Davide Moltisanti, Jonathan Munro, Toby Perrett, Will Price, et al. Scaling egocentric vision: The epic-kitchens dataset. In Proceedings of the European Conference on Computer Vision (ECCV), pages 720–736, 2018. 2, 3 [^13]: Hehe Fan, Yi Yang, and Mohan Kankanhalli. Point 4d transformer networks for spatio-temporal modeling in point cloud videos. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 14204–14213, 2021. 3 [^14]: Hehe Fan, Yang Yi, and Mohan Kankanhalli. Point 4d transformer networks for spatio-temporal modeling in point cloud videos. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 14204–14213, 2021. 1, 8 [^15]: Hehe Fan, Xin Yu, Yuhang Ding, Yi Yang, and Mohan Kankanhalli. Pstnet: Point spatio-temporal convolution on point cloud sequences. In International Conference on Learning Representations, 2020. 3, 8 [^16]: Yazan Abu Farha and Jurgen Gall. Ms-tcn: Multi-stage temporal convolutional network for action segmentation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 3575–3584, 2019. 8 [^17]: Alireza Fathi, Xiaofeng Ren, and James M Rehg. Learning to recognize objects in egocentric activities. In CVPR 2011, pages 3281–3288. IEEE, 2011. 2, 7 [^18]: Guillermo Garcia-Hernando, Shanxin Yuan, Seungryul Baek, and Tae-Kyun Kim. First-person hand action benchmark with rgb-d videos and 3d hand pose annotations. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 409–419, 2018. 1, 2, 3 [^19]: Shreyas Hampali, Mahdi Rad, Markus Oberweger, and Vincent Lepetit. Honnotate: A method for 3d annotation of hand and object poses. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 3196–3206, 2020. 1, 2, 3, 4, 5, 6 [^20]: Yana Hasson, Gul Varol, Dimitrios Tzionas, Igor Kalevatykh, Michael J Black, Ivan Laptev, and Cordelia Schmid. Learning joint reconstruction of hands and manipulated objects. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 11807–11816, 2019. 1, 3 [^21]: H. Kuehne, A. Arslan, and T. Serre. The language of actions: recovering the syntax and semantics of goal-directed human activities. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 780–787, 2014. 8 [^22]: Taein Kwon, Bugra Tekin, Jan Stühmer, Federica Bogo, and Marc Pollefeys. H2o: Two hands manipulating objects for first person interaction recognition. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 10138–10148, 2021. 1, 2, 3, 4, 6 [^23]: Shi-Jie Li, Yazan AbuFarha, Yun Liu, Ming-Ming Cheng, and Juergen Gall. Ms-tcn++: Multi-stage temporal convolutional network for action segmentation. IEEE transactions on pattern analysis and machine intelligence, 2020. 8 [^24]: Xiaolong Li, He Wang, Li Yi, Leonidas J Guibas, A Lynn Abbott, and Shuran Song. Category-level articulated object pose estimation. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 3706–3715, 2020. 2 ## [^25]: Xiaolong Li, He Wang, Li Yi, Leonidas J Guibas, A Lynn Abbott, and Shuran Song. Category-level articulated object --- 姿态估计。载于IEEE/CVF计算机视觉与模式识别会议论文集，第3706–3715页，2020年。3 [^26]: Yin Li, Zhefan Ye, and James M Rehg. Delving into egocentric actions. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 287–295, 2015. 2,3 [^27]: Kevin Lin, Lijuan Wang, and Zicheng Liu. Mesh graphormer. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 12939–12948, 2021. 7 [^28]: Shichen Liu, Tianye Li, Weikai Chen, and Hao Li. Soft rasterizer: A differentiable renderer for image-based 3d reasoning. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 7708–7717, 2019. 6 [^29]: Xingyu Liu, Mengyuan Yan, and Jeannette Bohg. Meteornet: Deep learning on dynamic 3d point cloud sequences. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 9246–9255, 2019. 2 [^30]: Agisoft LLC. Agisoft metashape. 5 [^31]: Kaichun Mo, Shilin Zhu, Angel X. Chang, Li Yi, Subarna Tripathi, Leonidas J. Guibas, and Hao Su. PartNet: A large-scale benchmark for fine-grained and hierarchical part-level 3D object understanding. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 909–918, 2019. 5 [^32]: AJ Piergiovanni, Vincent Casser, Michael S Ryoo, and Anelia Angelova. 4d-net for learned multi-modal alignment. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 15435–15445, 2021. 3 [^33]: Hamed Pirsiavash and Deva Ramanan. Detecting activities of daily living in first-person camera views. In 2012 IEEE conference on computer vision and pattern recognition, pages 2847–2854. IEEE, 2012. 2 [^34]: Yuzhe Qin, Yueh-Hua Wu, Shaowei Liu, Hanwen Jiang, Ruihan Yang, Yang Fu, and Xiaolong Wang. Dexmv: Imitation learning for dexterous manipulation from human videos. arXiv preprint arXiv:2108.05877, 2021. 5 [^35]: Javier Romero, Dimitrios Tzionas, and Michael J Black. Embodied hands: Modeling and capturing hands and bodies together. ACM Transactions on Graphics (ToG), 36(6):1–17, 2017. 4 [^36]: German Ros, Laura Sellart, Joanna Materzynska, David Vazquez, and Antonio M Lopez. The synthia dataset: A large collection of synthetic images for semantic segmentation of urban scenes. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 3234–3243, 2016. 2 [^37]: Hanyu Shi, Guosheng Lin, Hao Wang, Tzu-Yi Hung, and Zhenhua Wang. Spsequencenet: Semantic segmentation network on 4d point clouds. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 4574–4583, 2020. 3 [^38]: Tomas Simon, Hanbyul Joo, Iain Matthews, and Yaser Sheikh. Hand keypoint detection in single images using multiview bootstrapping. In Proceedings of the IEEE conference on Computer Vision and Pattern Recognition, pages 1145–1153, 2017. 2 [^39]: S. Stein and S. J. McKenna. Combining embedded accelerometers with computer vision for recognizing food preparation activities. 2013. 8 [^40]: Omid Taheri, Nima Ghorbani, Michael J Black, and Dimitrios Tzionas. Grab: A dataset of whole-body human grasping of objects. In European Conference on Computer Vision, pages 581–600. Springer, 2020. 2 [^41]: Chen Wang, Roberto Martín-Martín, Danfei Xu, Jun Lv, Cewu Lu, Li Fei-Fei, Silvio Savarese, and Yuke Zhu. 6-pack: Category-level 6d pose tracker with anchor-based keypoints. In 2020 IEEE International Conference on Robotics and Automation (ICRA), pages 10059–10066. IEEE, 2020. 3 [^42]: He Wang, Srinath Sridhar, Jingwei Huang, Julien Valentin, Shuran Song, and Leonidas J Guibas. Normalized object coordinate space for category-level 6d object pose and size estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 2642–2651, 2019. 2, 3, 7 [^43]: Bowen Wen and Kostas Bekris. Bundletrack: 6d pose tracking for novel objects without instance or category-level 3d models. arXiv preprint arXiv:2108.00516, 2021. 3, 7 [^44]: Yijia Weng, He Wang, Qiang Zhou, Yuzhe Qin, Yueqi Duan, Qingnan Fan, Baoquan Chen, Hao Su, and Leonidas J. Guibas. Captra: Category-level pose tracking for rigid and articulated objects from point clouds. In Proceedings of the IEEE International Conference on Computer Vision (ICCV), pages 13209–13218, October 2021. 1, 2, 3, 7 [^45]: Fanbo Xiang, Yuzhe Qin, Kaichun Mo, Yikuan Xia, Hao Zhu, Fangchen Liu, Minghua Liu, Hanxiao Jiang, Yifu Yuan, He Wang, et al. Sapien: A simulated part-based interactive environment. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 11097–11107, 2020. 6 [^46]: Yu Xiang, Tanner Schmidt, Venkatraman Narayanan, and Dieter Fox. Posecnn: A convolutional neural network for 6d object pose estimation in cluttered scenes. arXiv preprint arXiv:1711.00199, 2017.7 [^47]: Fangqiu Yi, Hongyu Wen, and Tingting Jiang. Asformer: Transformer for action segmentation. arXiv preprint arXiv:2110.08568, 2021. 1, 7, 8 [^48]: Shanxin Yuan, Qi Ye, Bjorn Stenger, Siddhant Jain, and Tae Kyun Kim. Bighand2.2m benchmark: Hand pose dataset and state of the art analysis. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 4866–4874, 2017. 2 [^49]: Qian-Yi Zhou, Jaesik Park, and Vladlen Koltun. Open3d: A modern library for 3d data processing. arXiv preprint arXiv:1801.09847, 2018. 4, 7 [^50]: Christian Zimmermann, Duygu Ceylan, Jimei Yang, Bryan Russell, Max Argus, and Thomas Brox. Freihand: A dataset for markerless capture of hand pose and shape from single rgb images. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 813–822, 2019. 3