Figure 1. TACO is a large-scale bimanual hand-object manipulation dataset covering extensive tool-action-object combinations in real-world scenarios. It involves videos from both 12 third-person views and one egocentric view, together with precise hand-object meshes, 2D segmentation, realistic hand-object appearances, and behavior triplet annotations. With rich diversities of object shapes and interaction behaviors, TACO supports test-time generalization to unseen object geometries and novel behavior triplets and benchmarks various generalizable research topics, e.g., action recognition, motion forecasting, and cooperative grasp synthesis.
## 摘要
人类在日常生活中经常需要处理多个物体，并且能够通过理解物体的功能规律，将操作技能直观地迁移到新物体上。然而，由于缺乏数据支持，现有用于分析和合成手-物体交互的技术方法大多仅限于处理单只手和单个物体。为解决这一问题，我们构建了TACO——一个涵盖日常活动中各种工具-动作-物体组合的大规模双手手-物体交互数据集。TACO包含2500个运动序列，配有第三人称和第一人称视角、精确的手-物体3D模型以及动作标签。为了快速扩展数据规模，我们提出了一种结合多视角传感与光学动作捕捉系统的全自动数据采集流程。
借助TACO提供的广阔研究领域，我们对三项具有泛化能力的手-物体交互任务进行了基准测试：组合动作识别、泛化的手-物体运动预测以及协作抓取合成。大量实验揭示了推动泛化手-物体运动分析与合成研究发展的新见解、挑战与机遇。我们的数据和代码可在获取。
---
### 1. 引言
在日常生活中，人类能够轻松协调双手的动作来操控一对物体，比如烹饪时用锅铲搅拌锅中的食物。通常，这些物体在功能上并不对称：其中一个充当工具，用以辅助对另一个物体执行的双手动作。因此我们可以用“工具-动作-物体”三元组来描述这类双手行为。不同的三元组组合往往涉及工具、物体和两只手之间复杂且各异的时间与空间协作关系。理解多样化的双手行为能够直接助力VR/AR、人机交互 [^8] [^45] 以及灵巧操控 [^7] [^51] [^76] [^80] 等诸多应用领域的发展，而这些领域对当前的计算机视觉系统而言仍面临巨大挑战。
应对上述挑战需要大规模、标注丰富的数据集提供支持。现有关于手-物交互（HOI）的数据集工作[^2] [^4] [^15] [^18] [^26] [^40] [^74]主要聚焦于单手动作。然而，仅仅将两种单手动作简单叠加，并不足以涵盖双手协调行为。此外，部分研究[^13] [^19] [^35] [^68] [^77]仅探讨了单物体的双手操作，难以扩展到对工具-动作-物体三元组的理解。目前最相关且可用的数据集[^34]仅覆盖了12种物体以及不到20种不同的工具-动作-物体三元组，这严重限制了其在促进和评估可推广的双手工具-动作-物体交互理解方面的潜力，尤其是针对新几何形状的物体或此前未见过的三元组。这一局限部分源于在现实世界中同时捕捉两只动态手部与两个物体的交互极具挑战性，但也进一步凸显了开发可推广的双手HOI理解方法的紧迫性。因此，我们在探索构建大规模双手HOI数据集以推动并评估可推广的理解能力时，将“可推广性”作为核心关注点。
具体而言，我们推出了TACO——一个涵盖现实场景中各类工具-动作-物体组合的大规模双手操作数据集。作为多物体协作的知识库，TACO聚焦于日常场景下利用工具与目标物体交互的情形，共收集了涉及20类物体、196个物体实例以及15种日常动作的131种<工具类别、动作标签、目标物体类别>三元组。我们依据这些三元组对数据集进行组织，并确保不同三元组之间存在不同程度的重叠，这自然定义了不同运动轨迹之间的语义距离，有助于研究不同程度的可推广性。为了加快数据集的扩展进程，我们结合了基于标记和无标记动作捕捉系统的优势，提出了一种全自动的数据采集流程，能够同时保障动作质量和视觉数据质量。在每个时间步，该流程能自动生成标签，包括无标记视觉数据中手-物网格的精确恢复及分割结果。最终，TACO包含了总计2.5千个运动序列和520万帧视频画面，涵盖了第三人称和第一人称视角。
得益于数据集中丰富多样的运动序列，我们精心选取了三项任务进行基准测试，旨在将常见的人类操作知识推广到未见过的物体几何形状以及新颖的工具-动作-物体组合上：1）复合动作识别；2）可泛化的手-物运动预测；3）协作式抓取合成。我们针对这些基准开展了广泛的研究：首先，带有动作标注的多样化手-物交互运动为在现实场景中识别新物体组合下的手-物动作奠定了基础。此外，4D动态手-物姿态序列的存在使得能够细致地预测手-物运动趋势。最后，我们提供了富含接触信息的手-物网格模型，以便于研究在交互场景下针对未见过的物体几何形状和类别的手部抓取合成问题。在这些基准上的大量实验揭示了现有方法在处理新物体几何形状、物体类别以及交互三元组时所面临的泛化挑战。我们期待TACO能为研究和开发手-物交互理解与创造领域的通用泛化策略提供更多机遇。
综上所述，我们的主要贡献有三点：
- 我们提出了TACO，这是首个涵盖多样化工具-动作-物体组合及物体几何形状的大规模真实世界4D双手手-物交互数据集。
- 我们开发了一种自动数据采集流程，能够精确恢复手-物网格和分割结果，同时获取无标记点的视觉数据。
- 我们针对可泛化的手-物运动分析与合成任务进行了基准测试。我们给出了全面的讨论，并指出了TACO所带来的新挑战。
### 2. 相关工作
#### 2.1. 手-物交互数据集
手-物交互理解是一个新兴的研究领域，有大量数据集为其提供支持。许多广泛使用的视频数据集 [^11] [^12] [^17] [^57] 采集了2D真实世界的手-物交互视频，以促进动作识别和HOI检测等传统视觉感知研究的发展。随着3D计算机视觉的快速发展，近期的研究成果已将3D手-物网格标注纳入数据采集过程，并推出了各种3D [^20] [^26] 或
---
4D [^2] [^4] [^12] [^13] [^15] [^18] [^19] [^35] [^40] [^63] [^68] [^74] [^77] 个具有不同侧重点的数据集。表1简要总结了这些数据集的特点。现有数据集大多聚焦于单手抓取这一基础操作技能，该技能能够为现有的灵巧机器人学习提供助力 [^7] [^50] [^51] [^80]。除了抓取之外，还有一系列数据集记录了多样且复杂的操作技能，这些技能要求人类执行使用工具 [^13] [^34] [^40]、变形软物体 [^68] 以及多人交接物品 [^77] 等复杂多步骤动作。从物体行为的角度来看，KIT [^34]、HOI4D [^40] 和 AffordPose [^26] 记录了旨在展现物体实际功能与用途的功能性操作。KIT还收集了多物体交互行为数据，但该类数据的物体多样性不足，难以支撑普适性研究。我们的数据集则记录了用于多物体协作的多样化双手功能性操作行为，可服务于广泛的研究方向。
#### 2.2. 普适性手-物运动分析
普适性手-物交互运动分析旨在理解操作新物体实例时手-物运动的特性。为了精准识别操作未见过的物体时的手部动作，一系列组合式动作识别方法 [^21] [^31] [^44] [^52] [^53] [^61] [^71] [^78] 通过物体的边界框来表示物体，以防止网络过度拟合于复杂的物体几何形状。为了在少样本或零样本场景下检测并推断动作-物体配对关系，近期普适性HOI检测方法[22–24, 66, 67, 82]中常用的一种主流方法会将动作和物体分解为不同的特征。这种分解方式能够利用包含相似动作或相似物体的丰富训练数据，来应对测试时出现的罕见动作-物体配对情况；它还能为发现新颖且合理的动作-物体配对关系提供可能 [^25]。为了在不依赖物体几何形状的情况下估计手部和物体的姿态，Zhu等人 [^85] 提出了针对每类物体的手-物交互先验知识，并在测试时将这类先验知识迁移到同类别内的未见过的物体上，从而提升该方法对各类未见过的物体实例的适应性。
#### 2.3. 普适性手-物运动合成
在新物体几何形状和类别上合成逼真的手-物体交互动作是一个新兴的研究课题，它包含两个主要挑战：如何从现有的HOI数据中建模通用、逼真且多样的手部运动模式，以及如何将这些模式应用于新物体实例。为解决第一个挑战，一类数据驱动的方法将复杂的手-物体接触分解为各个手关节[^30] [^38] [^39] [^81]或手部表面点[^73] [^79] [^83]与物体相关最近局部区域之间的空间关系，这些关系可以表示为是否发生接触[^38] [^39] [^73] [^79] [^81] [^83]、手-物体距离[^38] [^73] [^79] [^83]、接触点的位置[^38] [^39] [^79] [^81] [^83]以及方向[^38] [^39] [^81]，还有接触点是否应更靠近[^73]。另一类研究[28–30, 36]通过条件变分自编码器（CVAE）[^59]结构，将手-物体交互整体编码为隐式全局特征。作为解决第二个挑战的方案，通用化方法[^28] [^30] [^36] [^39] [^81]从HOI数据中分解物体几何形状，并将其作为生成模型的输入条件。CAMS[^81]进一步将物体映射到规范化物体空间中，以缩小物体几何形状的差异。现有方法的一个局限性是，由于缺乏数据支持，它们并未关注多手和多物体的协作问题。
### 3. 构建TACO
在本节中，我们分别介绍数据采集系统（第3.1节）、数据标注流程（第3.2节）以及数据集统计信息（第3.3节）。
#### 3.1. 数据采集
Figure 2. Data capturing system and camera views.
我们通过多视角RGB视频获取手部运动，同时通过在物体表面粘贴四个标记点并利用动作捕捉系统跟踪它们来采集物体运动数据。为此，如图2所示，我们的数据采集系统配备了12台同步的工业级FLIR相机，以及一套配备6台红外Mars4H相机的NOKOV光学动作捕捉设备。为了采集第一人称视角的RGBD视频，演员需佩戴装有Realsense L515相机的头盔；与物体类似，L515相机的运动也由动作捕捉系统跟踪。我们的相机和动作捕捉系统的频率均为30 Hz。非第一人称视角和第一人称视角的图像分辨率分别为4096×3000和1920×1080。
物体模型获取。为了捕捉手与物体之间的接触情况并支持相关研究，我们使用工业级EinScan 3D扫描仪为每个物体获取精确的3D网格模型。每个物体网格由多达10万个三角形面片组成，能够呈现精细的几何细节。
---
| dataset | data characteristics: | # number of: |
| bimanual cooperation | multi-object cooperation | functional manipulation | category-level | egocentric | multi-view | markerless | mocap | action label | sequence | frame |
| FHPA [^15] | | | | | ✓ | | | ✓ | ✓ | 1.2K | 105K |
| ObMan [^20] | | | | | | | | | | - | 154K |
| ContactPose[^2] | | | | | | ✓ | | | ✓ | | 2.3K |
| GRAB [^63] | ✓ | | | | | | | | ✓ | | 1.3K |
| HO3D [^18] | | | | | | ✓ | | ✓ | | | 27 |
| KIT Binamual Manipulation [^34] | ✓ | ✓ | ✓ | | ✓ | ✓ | | | ✓ | ✓ | 588 |
| H2O [^35] | ✓ | | | | ✓ | ✓ | ✓ | | | | 191 |
| DexYCB [^4] | | | | | | ✓ | ✓ | | | | 1.0K |
| H2O-3D [^19] | ✓ | | | | | ✓ | ✓ | | | | 17 |
| H2O for handover [^77] | ✓ | | | | | ✓ | | | ✓ | | 6.0K |
| OakInk [^74] | | | | | | ✓ | | | ✓ | | 778 |
| HOI4D [^40] | | | ✓ | ✓ | ✓ | | ✓ | | | ✓ | 4.0K |
| HMDO [^68] | ✓ | | | | | ✓ | ✓ | | | | 12 |
| ARCTIC [^13] | ✓ | | | | ✓ | ✓ | | | ✓ | | 339 |
| AffordPose [^26] | | | ✓ | ✓ | | | | | | ✓ | - |
| TACO (ours) | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | 2.5K |
Table 1. Comparison of TACO with existing 3D hand-object interaction datasets.
#### 3.2. 数据标注
图3展示了我们的自动数据采集流程。该流程以彩色图像、3D标记点位置和物体模型为输入，依次执行物体姿态优化、手部关键点定位、手部姿态优化、手-物体分割以及标记点移除操作。
物体姿态优化。由于我们的物体属于刚体，其运动具有6个自由度，可以通过动作捕捉系统采集标记点的位置来追踪其运动。为了将标记点准确地与物体关联起来，我们借鉴了Mosh++ [^42] 的思路，优化标记点与物体表面的对应关系，从而促使标记点与物体表面接触且避免相互穿透。物体姿态是通过结合相对于物体网格的标记点位置以及采集到的标记点运动信息得到的。
3D手部关键点定位。利用多视角感知技术，我们首先分别从每个相机视角估计2D手部关键点，再将它们融合为3D数据。在2D手部关键点估计方面，当存在严重遮挡或两只手距离较远时，直接应用现有的双手处理方案 [^19] [^27] [^37] 可能会失效。因此，我们遵循 [^3] [^41] 的思路，设计了一种方法：先使用预训练的YOLOv3 [^54] 分别检测两只手，再利用MMPose [^9] 获取单手的2D关键点。为了在严重遮挡条件下将多视角2D关键点融合为3D数据，我们使用RANSAC [^14] 过滤掉不精确的2D关键点，再通过三角测量定位3D关键点。
考虑接触的手部姿态优化。我们采用MANO [^55] 将3D手部网格表示为 $\Theta_h = \{\theta, \beta, t\}$，其中 $\theta \in \mathbb{R}^{48}$、$\beta \in \mathbb{R}^{10}$ 和 $t \in \mathbb{R}^3$ 分别代表手部姿态、手部形状和手腕位置。给定预先计算好的3D手部关键点和物体网格后，我们通过最小化以下损失函数来优化MANO手部网格：
$$ \begin{aligned}\hat{\Theta}_{h}=&\underset{\Theta_{h}}{\arg\min}\left(\lambda_{2D}\mathcal{L}_{2D}+\lambda_{3D}\mathcal{L}_{3D}+\lambda_{angle}\mathcal{L}_{angle}+\right.\\&\left.\lambda_{tc}\mathcal{L}_{tc}+\lambda_{p}\mathcal{L}_{p}+\lambda_{a}\mathcal{L}_{a}\right),\end{aligned}\tag{1} $$
其中 $\mathcal{L}_{2D}$ 和 $\mathcal{L}_{3D}$ 促使手部网格靠近关键点，$\mathcal{L}_{angle}$ 提供手部姿态先验，$\mathcal{L}_{tc}$ 保证时间上的平滑性，$\mathcal{L}_{a}$ 鼓励手部与物体接触，而 $\mathcal{L}_{p}$ 则防止手部与物体相互穿透。这些损失项的详细信息详见补充材料。
手-物分割。我们首先根据手部和物体的3D网格渲染出它们的2D掩码。由于MANO网格与实际手部存在差异，我们随后应用Segment Anything Model [^33] 对掩码进行优化，以采样得到的手-物关键点作为提示。为了便于在后续帧中检测手部，我们使用Track-anything [^72] 来追踪这些帧中的手部并确定其位置。
标记点移除。尽管在物体上附着标记点能够精准捕捉物体运动，但标记点可能会加大采集到的物体与真实场景中的物体之间的外观差异。一个直接的问题是，物体姿态追踪网络可能会直接追踪标记点，而非学习追踪目标物体。为了改善物体的外观并使其更逼真，在获取手部和物体姿态后，我们会自动从RGB图像中移除标记点。首先，我们从动作捕捉系统中获取世界坐标系下的标记点位置，并在仿真环境中于这些位置放置半径为标记点两倍的球体。接着，我们为每个真实相机视角渲染出这些球体的2D掩码。得益于精确的标记点位置估计，这类2D掩码能够完全覆盖原始RGB图像中的标记点。最后，我们在原始RGB图像中对球体区域进行掩码处理，并使用预训练的LAMA [^62] 网络对这些球体区域进行修复。图4展示了一个标记点移除示例。
#### 3.3. 数据集统计
TACO包含2.5千个运动序列，描述了涵盖20类物体、196个细粒度物体3D模型、14名参与者和15种动作的日常工具使用行为。为了支持跨类别的通用人机交互研究，我们探讨了工具和目标物体的功能多样性，每种工具和目标物体最多可用来执行7种不同的动作。我们将某种行为定义为利用某一类工具对某一类目标物体执行特定动作，并将数据划分为131组<工具类别、动作标签、目标物体类别>三元组。图5展示了部分相关的三元组示例。为了支持各类研究，TACO提供了来自12个他心视角的彩色高分辨率图像以及来自一个自我中心的RGBD图像。
---
Figure 3. Automatic data annotating pipeline. The input consists of color frames from allocentric views, pre-scanned object models, and 3D positions of markers attached to object surfaces. We first separately localize 3D hand keypoints and obtain object poses, and then conduct contact-aware optimization to recover MANO [^55] hand meshes. We finally segment hands and objects from images and automatically inpaint markers to acquire realistic object appearances.
Figure 4. An example of marker removal. Three sub-figures respectively show the captured image patch, the automatically-computed marker mask, and the inpainted image patch.
为了支持各类研究，TACO提供了来自12个他心视角的彩色高分辨率图像以及来自一个自我中心的RGBD图像。
### 4. 数据质量评估
定性接触优化评估。图6展示了TACO数据集的两帧画面。如图所示，吸引力损失项$\mathcal{L}_{a}$能够促进手与物体之间的接触，但可能会加剧穿透现象；穿透损失项$\mathcal{L}_{p}$能够减轻穿透现象，却无法解决手与物体未接触的情况。我们的方法结合了吸引力损失和穿透损失，在促进接触与防止穿透之间取得了平衡。
定量手部姿态评估。为了定量检验我们所生成的手部姿态的质量与价值，我们在TACO数据集和现有的高质量人机交互数据集DexYCB [^4]之间开展了跨数据集评估。我们选取了
Figure 5. Examples of interaction triplets in TACO. The left, middle, and right columns exemplify categories of tool, action, and target object, respectively. Triplets in our dataset are represented by connected paths from tools to target objects.
Figure 6. Qualitative contact optimization evaluation. From left to right: original RGB image, optimization without attraction loss, optimization without penetration loss, our method with attraction loss and penetration loss.
这种多阶段方法、CMR [^5]以及轻量级网络MobRecon [^6]，均能够恢复被遮挡的手部信息。
---
| Method | Train Test | TACO | DexYCB | TACO + DexYCB |
| CMR | TACO | 10.73 / 30.87 | 13.53 / 39.54 | 10.25 / 28.36 |
| DexYCB | 19.36 / 76.20 | 6.51 / 13.92 | 6.44 / 13.62 |
| MobRecon | TACO | 9.03 / 20.76 | 12.95 / 34.32 | 8.69 / 20.14 |
| DexYCB | 15.17 / 44.73 | 6.51 / 13.61 | 6.32 / 12.94 |
Table 2. Cross-dataset evaluation with DexYCB [^4] on 3D hand pose estimation. Results are in PA-MPJPE (mm, lower is better) and MPJPE (mm, lower is better), respectively.
我们从HOI场景下单视图RGB图像中提取手部网格，然后在不同数据组合下训练和测试相应网络。对于DexYCB数据集，我们采用其默认的训练/测试划分方式（S0）。对于TACO数据集，我们随机选取60个运动序列用于训练，40个用于测试，并从每张图像中裁剪出右手部分，以适配单手HO3D数据集。遵循现有手部网格恢复方法的做法[^5] [^6] [^46] [^69]，我们选择“Procrustes对齐的平均关节位置误差（PA-MPJPE）”以及“平均关节位置误差（MPJPE）”作为评估指标。关于这些指标的更多细节可在论文[^6]中查阅。表2展示了两种方法在不同设置下的性能表现。由于两个数据集在手部与物体的运动模式上存在较大差异，当训练集和测试集来自不同数据集时，两种方法的性能都会迅速下降。不过，将TACO和DexYCB的训练数据合并后，两种算法在两个数据集上的性能均有显著提升；这一结果既证明了我们所标注的手部姿态的准确性，也表明TACO对3D手部姿态估计而言是极具价值的数据补充。
标记移除质量评估。我们开展了一项新颖的实验，以检验标记移除后图像的真实性。其核心思路是：神经网络能够轻松从图像中分割出标记，但当标记被原始物体表面外观替换时，就很难识别出相同的区域。因此，我们分别利用原始拍摄的图像块和标记移除后的图像块来训练二维标记分割网络，随后将这两个网络应用于采用与训练相同图像处理设置的新图像块。在实际应用中，需要分割的球体要比标记更大（如图4(b)所示），因为标记移除过程正是对这些区域进行图像修复。我们选择U-Net [^56] 作为网络骨干，并通过L2损失函数来衡量掩码预测结果与真实值之间的差异，以此训练这两个网络。在原始图像块上训练和测试时，U-Net的平均交并比（mIoU）达到63.8%；而在应用标记移除操作后，其mIoU骤降至11.1%，这一结果恰恰体现了图像修复区域的真实性与自然度。图7进一步对比了两种设置下网络预测的热图，显示出真实图像修复所带来的标记分割歧义性。更多细节详见补充材料。
Figure 7. Marker removal quality evaluation. We train and test U-Net [^56] on raw captured images (a) and marker-removed images (b), respectively. In each experiment, the left and right columns show the input image patches and the predicted segmentation heatmaps, respectively.
### 5. 实验
在本节中，我们首先介绍支持不同泛化研究目的的数据划分方式（第5.1节）。随后，我们介绍了TACO上的三个基准测试：组合动作识别（第5.2节）、可泛化的手-物体运动预测（第5.3节）以及协作抓取合成（第5.4节）。评估指标的详细信息见补充材料。
#### 5.1. 数据划分
TACO包含多样化的物体几何形状与交互三元组，旨在支持适用于未见过的物体几何形状或新交互三元组的泛化研究。因此，我们精心将测试数据划分为四个具有不同泛化目的的子集：
- 测试集1（S1）：无泛化需求。工具几何形状与交互三元组均包含在训练集中。
- 测试集2（S2）：几何层面的泛化。工具几何形状是新的，但交互三元组出现在训练集中。
- 测试集3（S3）：交互层面的泛化。交互三元组是新的，但工具类别与几何形状包含在训练集中。
- 测试集4（S4）：复合泛化。工具类别是新的，从而导致出现未见过的几何形状与交互三元组。
训练集与这四个测试集的数据比例为4:1:1:1.5:2.5。
#### 5.2. 组合动作识别
人类能够脱离上下文以及物体的外观偏差来识别动作，这种现象被称为组合性。为了测试系统的组合泛化能力，借助TACO中丰富的工具-动作-物体三元组，我们开展了旨在识别动作的组合动作识别基准测试。
---
| Test Set | Method | Top-1 (%, $\uparrow$) | Top-5 (%, $\uparrow$) |
| S1 | AIM [^75] | 83.08 | 98.85 |
| CACNF [^52] | 86.15 | 99.62 |
| S2 | AIM [^75] | 82.81 | 98.83 |
| CACNF [^52] | 77.34 | 96.88 |
| S3 | AIM [^75] | 53.65 | 81.25 |
| CACNF [^52] | 63.02 | 92.97 |
| S4 | AIM [^75] | 39.33 | 73.67 |
| CACNF [^52] | 44.00 | 80.50 |
Table 3. Results on compositional action recognition. Methods are examined via Top-1 and Top-5 accuracy.
该测试针对HOI视频中的动作进行。与传统的动作识别任务 [^11] [^16] [^58] [^60] 不同，我们关注的是测试集中的工具-动作-物体三元组在训练阶段未曾出现过的情况，包括新型工具类型或几何形状。这为评估模型的泛化能力以及实现类人感知带来了额外挑战。
问题表述：在双手HOI场景中，我们的目标是从第一人称RGB视频帧中识别动作标签，并可根据手和物体的姿态计算出相应的边界框。
评估指标：遵循[^52]和[^75]的建议，我们采用Top-1准确率和Top-5准确率来评估动作识别的效果。
基线、结果与分析：为了评估组合泛化能力，我们比较了两个基线：AIM [^75]，它是预训练图像Transformer模型的改进版本，代表了传统动作识别领域的最先进方法；以及CACNF [^52]，它专门用于处理组合性及小样本动作识别任务。表3展示了相关结果。与在非泛化场景S1上取得的高准确率相比，最难的场景S4上的准确率显著下降，这凸显了组合泛化面临的挑战。值得注意的是，包含工具类别内新几何形状的工具集S2，其表现与S1类似；而包含新工具-动作-物体三元组集S3的准确率则大幅下降，这表明虽然动作识别模型本身具备对几何变化的基本泛化能力，但由于交互语境的陌生性，它们在处理新三元组时仍面临困难。在基线比较中，CACNF在具有挑战性的S3和S4集上表现优于AIM，这得益于其基于边界框的方法能够有效将动作与物体及工具的几何特征分离，从而体现出组合式方法在泛化场景中的优势。所有这些结果都强调了组合泛化对动作识别的重要影响。
#### 5.3. 可泛化的手-物体运动预测
借助TACO提供的大量3D手-物体网格标注数据，我们对可泛化交互预测进行了基准测试，旨在从已观测到的短时运动片段中预测后续的手-物体运动。与低频人体运动预测[^43]、[^47]、[^48]不同，我们观察到手通常能在极短的时间内完成完整的操作行为（例如将碗里的水全部倒出），这使得预测工作既有趣又充满挑战。
问题表述：在双手HOI场景中，给定连续N帧内的物体点云以及两只手、工具和目标物体的姿态，我们的目标是预测它们在后续M帧中的姿态。在我们的数据集中，N和M均设为10。
评估指标：遵循人与物体预测评估的标准[^1]、[^10]、[^65]、[^70]，我们采用平均关节位置误差$J_{e}$来评估预测的左右手骨骼，同时利用平移误差$T_{e}$和旋转误差$R_{e}$分别衡量物体的位置和朝向。
基准线、结果与分析：由于缺乏手-物体交互预测解决方案，我们借鉴了人-物体运动预测领域的方法作为基准。为了涵盖多种方法设计与可能性，我们选取了两个生成模型 [^64] [^70] 和两个预测模型 [^10] [^70] 进行对比。表4展示了它们在不同泛化设置下的性能表现。我们发现，在操控过程中，工具与握持它的手起着主导作用，这使得它们的运动预测比其他对象更具挑战性。与预测模型相比，生成模型在手部及工具的运动预测上产生的误差明显更大。可能的原因是它们的运动模式既快速又复杂，导致运动分布的建模难度较高。提升生成方法在手-物体操控场景中的准确性，是未来值得探索的方向。当比较非泛化数据集（S1）与涉及泛化的数据集（S2-4）上的方法性能时，我们注意到无论应用于新型工具几何形状（S2、S4）还是交互三元组（S3、S4），这些方法在右手及工具方面的性能均会出现显著下降，而在其他对象上的结果则较为接近。这一趋势表明，在泛化主导交互实体方面存在巨大挑战。
#### 5.4. 协作抓取合成
生成类人手的抓取动作，对VR/AR及灵巧操控领域的各类应用具有重要意义。现有的抓取合成方法 [^28] [^30] [^39] [^83] 主要侧重于为静态物体创建稳定的抓取姿势，并未考虑交互目的。借助TACO数据集中丰富的交互行为数据，我们提出了一项新任务，旨在HOI场景中合成逼真且符合物理规律的手部抓取动作。除了实现对物体的稳定抓取外，该方法还需理解其他交互物体及人手的动作，从而生成协作运动并避免冲突。我们在四个测试集上对该任务进行了评估，每个测试集分别针对不同的泛化维度。
问题表述：考虑使用右手来
---
| Test Set | Method | $J_{{e}}$ (mm, $\downarrow$) | $T_{{e}}$ (mm, $\downarrow$) | $R_{{e}}$ ( $^{\circ}$, $\downarrow$) |
| Right / Left | Tool / Target | Tool / Target |
| S1 | InterVAE [^70] | 54.9 / 48.9 | 55.0 / 15.8 | 66.94 / 6.63 |
| MDM [^64] | 61.2 / 53.7 | 49.4 / 14.9 | 52.81 / 5.85 |
| InterRNN [^70] | 29.3 / 20.4 | 25.8 / 11.6 | 10.08 / 5.22 |
| CAHMP [^10] | 28.8 / 22.1 | 23.9 / 12.3 | 10.24 / 4.95 |
| S2 | InterVAE [^70] | 58.8 / 50.8 | 54.3 / 12.2 | 88.19 / 5.24 |
| MDM [^64] | 65.8 / 55.8 | 48.0 / 10.1 | 75.78 / 3.59 |
| InterRNN [^70] | 35.2 / 23.1 | 31.0 / 8.9 | 11.09 / 4.03 |
| CAHMP [^10] | 31.4 / 22.6 | 24.7 / 8.6 | 10.65 / 3.32 |
| S3 | InterVAE [^70] | 56.5 / 50.1 | 56.7 / 12.7 | 68.03 / 5.69 |
| MDM [^64] | 66.4 / 58.0 | 46.2 / 11.5 | 61.90 / 4.14 |
| InterRNN [^70] | 32.5 / 22.0 | 28.2 / 9.7 | 11.42 / 4.32 |
| CAHMP [^10] | 29.3 / 21.6 | 24.4 / 9.4 | 11.18 / 3.80 |
| S4 | InterVAE [^70] | 63.9 / 54.2 | 63.0 / 14.5 | 71.38 / 5.01 |
| MDM [^64] | 70.5 / 57.9 | 50.2 / 12.2 | 70.25 / 3.55 |
| InterRNN [^70] | 36.6 / 22.3 | 30.9 / 10.6 | 11.92 / 3.86 |
| CAHMP [^10] | 32.9 / 22.2 | 26.6 / 10.8 | 11.73 / 3.24 |
Table 4. Results on generalizable interaction forecasting. We respectively examine predictions of the right hand, the left hand, the tool, and the target object.
操控工具，同时用左手操作目标物体。在操控过程中，给定这两个物体以及左手的网格模型，目标是生成能够便于交互的、握住工具的右手网格模型。
评估指标：参照静态抓取合成方法 [^28] [^29] [^39]，我们使用相互穿透体积（Pen. V）和接触比率（Con. R）来衡量生成手部的物理合理性。为确保手部能进行恰当的交互，我们引入了一个名为碰撞比率（Col. R）的新指标，用于检测生成的手部与交互环境之间的碰撞情况。不过，为了定量评估抓取动作的逼真程度，我们设计了FID分数（FID），用以衡量人类抓取动作分布与合成抓取动作分布之间的距离。
基准线、结果与分析：我们选取了两种近期的基于CVAE的方法——ContactGen [^39]和HALO-VAE [^30]，并修改它们的网络结构，将左手和目标物体作为额外的VAE条件纳入其中。为了评估交互环境的重要性，我们还测试了HALO-VAE $^{-}$，该方法不使用环境输入，直接根据工具网格生成结果。由于手部抓取动作与工具几何形状之间存在强相关性，我们使用常见的（S1、S3）和未见过的工具几何形状（S2、S4）来测试这些方法。表5总结了这两种场景下的定量评估结果。值得注意的是，与HALO-VAE相比，HALO-VAE $^{-}$在接触率和碰撞率方面的表现显著下降，这凸显了感知和建模交互环境的重要性。当应用于新型物体几何形状和类别时，这三种方法均表现出更高的碰撞率和FID分数，且大多数方法在精准接触工具及防止穿透方面的能力明显减弱。图8展示了相关示例。
| Test Set | Method | Pen. V ( $cm^{{3}}$, $\downarrow$) | Con. R (%, $\uparrow$) | Col. R (%, $\downarrow$) | FID ( $10^{{-2}}$, $\downarrow$) |
| S1 $\cup$ S3 | ContactGen [^39] | 0.27 | 80.12 | 10.40 | 12.18 |
| HALO-VAE $^{{-}}$ | 0.31 | 76.27 | 4.19 | 4.89 |
| HALO-VAE [^30] | 0.26 | 82.86 | 2.39 | 2.02 |
| S2 $\cup$ S4 | ContactGen [^39] | 0.26 | 74.98 | 17.56 | 22.53 |
| HALO-VAE $^{{-}}$ | 0.29 | 71.69 | 14.25 | 5.09 |
| HALO-VAE [^30] | 0.32 | 83.52 | 11.11 | 2.84 |
Table 5. Results on cooperative grasp synthesis. We measure the physical plausibility of generated grasps by interpenetration volume and contact ratio, meanwhile using collision ratio to examine interaction faithfulness and FID score to assess reality.
合成抓取结果的失败案例表明，在复杂且细长的几何形状上，提升物理可行性与自然度仍有较大空间。
Figure 8. Failure cases of cooperative grasp synthesis. (a) and (b) are generated by ContactGen [^39], while (c) and (d) are from HALO-VAE [^30].
### 6. 局限性与结论
我们提出了TACO，这是首个大规模的真实世界4D双手-物体操控数据集。它涵盖了广泛的工具-动作-物体组合及物体几何形状。TACO共包含2500个运动序列和520万帧视频，数据来自12个第三人称视角和1个第一人称视角。我们开发了一套自动数据采集流程，能够精准还原手-物体网格与分割结果，同时生成逼真的手-物体外观。利用TACO的多样化数据，我们对组合动作识别、可泛化的手-物体运动预测以及协作抓取合成进行了基准测试。这些测试揭示了可泛化手-物体交互研究领域的新见解、挑战与机遇。
TACO存在三大局限性。首先，TACO目前尚未涵盖关节类物体。其次，尽管TACO对物体几何形状与HOI行为进行了广泛探索，但缺少对理解人类操控行为同样至关重要的场景多样性。第三，我们采用的标记移除方案是基于生成模型实现的，因此无法完美还原物体的原始外观。
---
## 参考文献
[^1]: Vida Adeli, Mahsa Ehsanpour, Ian Reid, Juan Carlos Niebles, Silvio Savarese, Ehsan Adeli, and Hamid Rezatofighi. Tripod: Human trajectory and pose dynamics forecasting in the wild. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 13390–13400, 2021. 7, 17
[^2]: Samarth Brahmbhatt, Chengcheng Tang, Christopher D Twigg, Charles C Kemp, and James Hays. Contactpose: A dataset of grasps with object contact and hand pose. In Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part XIII 16, pages 361–378. Springer, 2020. 2, 3, 4
[^3]: Z. Cao, G. Hidalgo Martinez, T. Simon, S. Wei, and Y. A. Sheikh. Openpose: Realtime multi-person 2d pose estimation using part affinity fields. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2019. 4
[^4]: Yu-Wei Chao, Wei Yang, Yu Xiang, Pavlo Molchanov, Ankur Handa, Jonathan Tremblay, Yashraj S Narang, Karl Van Wyk, Umar Iqbal, Stan Birchfield, et al. Dexycb: A benchmark for capturing hand grasping of objects. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 9044–9053, 2021. 2, 3, 4, 5, 6
[^5]: Xingyu Chen, Yufeng Liu, Chongyang Ma, Jianlong Chang, Huayan Wang, Tian Chen, Xiaoyan Guo, Pengfei Wan, and Wen Zheng. Camera-space hand mesh recovery via semantic aggregation and adaptive 2d-1d registration. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2021. 5, 6
[^6]: Xingyu Chen, Yufeng Liu, Dong Yajiao, Xiong Zhang, Chongyang Ma, Yanmin Xiong, Yuan Zhang, and Xiaoyan Guo. Mobrecon: Mobile-friendly hand mesh reconstruction from monocular image. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2022. 5, 6
[^7]: Sammy Christen, Muhammed Kocabas, Emre Aksan, Jemin Hwangbo, Jie Song, and Otmar Hilliges. D-grasp: Physically plausible dynamic grasp synthesis for hand-object interactions. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 20577–20586, 2022. 2, 3
[^8]: Sammy Christen, Wei Yang, Claudia Pérez-D'Arpino, Otmar Hilliges, Dieter Fox, and Yu-Wei Chao. Learning human-to-robot handovers from point clouds. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 9654–9664, 2023. 2
[^9]: MMPose Contributors. Openmmlab pose estimation toolbox and benchmark. , 2020. 4, 14
[^10]: Enric Corona, Albert Pumarola, Guillem Alenya, and Francesc Moreno-Noguer. Context-aware human motion prediction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 6992–7001, 2020. 7, 8, 17, 18
[^11]: Dima Damen, Hazel Doughty, Giovanni Maria Farinella, Sanja Fidler, Antonino Furnari, Evangelos Kazakos, Davide
Moltisanti、Jonathan Munro、Toby Perrett、Will Price等人。扩展以眼为中心的视觉技术：EPIC-Kitchens数据集。载于欧洲计算机视觉会议（ECCV）论文集，第720–736页，2018年。2, 7
[^12]: Christian RG Dreher, Mirko Wächter, and Tamim Asfour. Learning object-action relations from bimanual human demonstration using graph networks. IEEE Robotics and Automation Letters, 5(1):187–194, 2019. 2, 3
[^13]: Zicong Fan, Omid Taheri, Dimitrios Tzionas, Muhammed Kocabas, Manuel Kaufmann, Michael J Black, and Otmar Hilliges. Arctic: A dataset for dexterous bimanual hand-object manipulation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 12943–12954, 2023. 2, 3, 4, 13, 14
[^14]: Martin A Fischler and Robert C Bolles. Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography. Communications of the ACM, 24(6):381–395, 1981. 4, 14
[^15]: Guillermo Garcia-Hernando, Shanxin Yuan, Seungryul Baek, and Tae-Kyun Kim. First-person hand action benchmark with rgb-d videos and 3d hand pose annotations. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 409–419, 2018. 2, 3, 4
[^16]: Raghav Goyal, Samira Ebrahimi Kahou, Vincent Michalski, Joanna Materzynska, Susanne Westphal, Heuna Kim, Valentin Haenel, Ingo Fruend, Peter Yianilos, Moritz Mueller-Freitag, et al. The something something video database for learning and evaluating visual common sense. In Proceedings of the IEEE international conference on computer vision, pages 5842–5850, 2017. 7
[^17]: Kristen Grauman, Andrew Westbury, Eugene Byrne, Zachary Chavis, Antonino Furnari, Rohit Girdhar, Jackson Hamburger, Hao Jiang, Miao Liu, Xingyu Liu, et al. Ego4d: Around the world in 3,000 hours of egocentric video. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 18995–19012, 2022. 2
[^18]: Shreyas Hampali, Mahdi Rad, Markus Oberweger, and Vincent Lepetit. Honnotate: A method for 3d annotation of hand and object poses. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 3196–3206, 2020. 2, 3, 4, 15, 16
[^19]: Shreyas Hampali, Sayan Deb Sarkar, Mahdi Rad, and Vincent Lepetit. Keypoint transformer: Solving joint identification in challenging hands and object interactions for accurate 3d pose estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 11090–11100, 2022. 2, 3, 4
[^20]: Yana Hasson, Gul Varol, Dimitrios Tzionas, Igor Kalevatykh, Michael J Black, Ivan Laptev, and Cordelia Schmid. Learning joint reconstruction of hands and manipulated objects. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 11807–11816, 2019. 2, 4
## [^21]: Roei Herzig, Elad Ben-Avraham, Karttikeya Mangalam, Amir Bar, Gal Chechik, Anna Rohrbach, Trevor Darrell, and Amir Globerson. Object-region video transformers. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 3148–3159, 2022. 3
---
[^22]: Zhi Hou, Xiaojiang Peng, Yu Qiao, and Dacheng Tao. Visual compositional learning for human-object interaction detection. In Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part XV 16, pages 584–600. Springer, 2020. 3
[^23]: Zhi Hou, Baosheng Yu, Yu Qiao, Xiaojiang Peng, and Dacheng Tao. Affordance transfer learning for human-object interaction detection. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 495–504, 2021.
[^24]: Zhi Hou, Baosheng Yu, Yu Qiao, Xiaojiang Peng, and Dacheng Tao. Detecting human-object interaction via fabricated compositional learning. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 14646–14655, 2021. 3
[^25]: Zhi Hou, Baosheng Yu, and Dacheng Tao. Discovering human-object interaction concepts via self-compositional learning. In European Conference on Computer Vision, pages 461–478. Springer, 2022. 3
[^26]: Juntao Jian, Xiuping Liu, Manyi Li, Ruizhen Hu, and Jian Liu. Affordpose: A large-scale dataset of hand-object interactions with affordance-driven hand pose. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 14713–14724, 2023. 2, 3, 4
[^27]: Changlong Jiang, Yang Xiao, Cunlin Wu, Mingyang Zhang, Jinghong Zheng, Zhiguo Cao, and Joey Tianyi Zhou. A2j-transformer: Anchor-to-joint transformer network for 3d interacting hand pose estimation from a single rgb image. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 8846–8855, 2023. 4
[^28]: Korrawe Karunratanakul, Jinlong Yang, Yan Zhang, Michael J Black, Krikamol Muandet, and Siyu Tang. Grasping field: Learning implicit representations for human grasps. In 2020 International Conference on 3D Vision (3DV), pages 333–344. IEEE, 2020. 3, 7, 8
[^29]: Korrawe Karunratanakul, Jinlong Yang, Yan Zhang, Michael J Black, Krikamol Muandet, and Siyu Tang. Grasping field: Learning implicit representations for human grasps. In 2020 International Conference on 3D Vision (3DV), pages 333–344. IEEE, 2020. 8
[^30]: Korrawe Karunratanakul, Adrian Spurr, Zicong Fan, Otmar Hilliges, and Siyu Tang. A skeleton-driven neural occupancy representation for articulated hands. In 2021 International Conference on 3D Vision (3DV), pages 11–21. IEEE, 2021. 3, 7, 8, 18
[^31]: Tae Soo Kim, Jonathan Jones, and Gregory D Hager. Motion guided attention fusion to recognize interactions from videos. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 13076–13086, 2021. 3
[^32]: Diederik P Kingma and Jimmy Ba. Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980, 2014. 17
[^33]: Alexander Kirillov, Eric Mintun, Nikhila Ravi, Hanzi Mao, Chloe Rolland, Laura Gustafson, Tete Xiao, Spencer Whitehead, Alexander C Berg, Wan-Yen Lo, et al. Segment anything. arXiv preprint arXiv:2304.02643, 2023. 4
[^34]: Franziska Krebs, Andre Meixner, Isabel Patzer, and Tamim Asfour. The kit bimanual manipulation dataset. In 2020
IEEE-RAS第20届仿人机器人国际会议（Humanoids），第499–506页。IEEE出版社，2021年。2, 3, 4
[^35]: Taein Kwon, Bugra Tekin, Jan Stühmer, Federica Bogo, and Marc Pollefeys. H2o: Two hands manipulating objects for first person interaction recognition. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 10138–10148, 2021. 2, 3, 4
[^36]: Haoming Li, Xinzhuo Lin, Yang Zhou, Xiang Li, Yuchi Huo, Jiming Chen, and Qi Ye. Contact2grasp: 3d grasp synthesis via hand-object contact constraint. arXiv preprint arXiv:2210.09245, 2022. 3
[^37]: Mengcheng Li, Liang An, Hongwen Zhang, Lianpeng Wu, Feng Chen, Tao Yu, and Yebin Liu. Interacting attention graph for single image two-hand reconstruction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 2761–2770, 2022. 4
[^38]: Qingtao Liu, Yu Cui, Zhengnan Sun, Haoming Li, Gaofeng Li, Lin Shao, Jiming Chen, and Qi Ye. Dexrepnet: Learning dexterous robotic grasping network with geometric and spatial hand-object representations. arXiv preprint arXiv:2303.09806, 2023. 3
[^39]: Shaowei Liu, Yang Zhou, Jimei Yang, Saurabh Gupta, and Shenlong Wang. Contactgen: Generative contact modeling for grasp generation. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 20609–20620, 2023. 3, 7, 8, 18
[^40]: Yunze Liu, Yun Liu, Che Jiang, Kangbo Lyu, Weikang Wan, Hao Shen, Boqiang Liang, Zhoujie Fu, He Wang, and Li Yi. Hoi4d: A 4d egocentric dataset for category-level human-object interaction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 21013–21022, 2022. 2, 3, 4
[^41]: Camillo Lugaresi, Jiuqiang Tang, Hadon Nash, Chris McClanahan, Esha Uboweja, Michael Hays, Fan Zhang, Chuo-Ling Chang, Ming Guang Yong, Juhyun Lee, et al. Mediapipe: A framework for building perception pipelines. arXiv preprint arXiv:1906.08172, 2019. 4
[^42]: Naureen Mahmood, Nima Ghorbani, Nikolaus F Troje, Gerard Pons-Moll, and Michael J Black. Amass: Archive of motion capture as surface shapes. In Proceedings of the IEEE/CVF international conference on computer vision, pages 5442–5451, 2019. 4
[^43]: Wei Mao, Richard I Hartley, Mathieu Salzmann, et al. Contact-aware human motion forecasting. Advances in Neural Information Processing Systems, 35:7356–7367, 2022.
[^44]: Joanna Materzynska, Tete Xiao, Roei Herzig, Huijuan Xu, Xiaolong Wang, and Trevor Darrell. Something-else: Compositional action recognition with spatial-temporal interaction networks. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 1049–1059, 2020. 3
[^45]: Eley Ng, Ziang Liu, and Monroe Kennedy. It takes two: Learning to plan for human-robot cooperative carrying. In 2023 IEEE International Conference on Robotics and Automation (ICRA), pages 7526–7532. IEEE, 2023. 2
### [^46]: JoonKyu Park, Yeonguk Oh, Gyeongsik Moon, Hongsuk Choi, and Kyoung Mu Lee. Handoccnet: Occlusion-robust
---
3D手部网格估计网络。载于IEEE/CVF计算机视觉与模式识别会议论文集，第1496–1505页，2022年。6
[^47]: Xiaogang Peng, Yaodi Shen, Haoran Wang, Binling Nie, Yigang Wang, and Zizhao Wu. Somoformer: Social-aware motion transformer for multi-person motion prediction. arXiv preprint arXiv:2208.09224, 2022. 7
[^48]: Xiaogang Peng, Siyuan Mao, and Zizhao Wu. Trajectory-aware body interaction transformer for multi-person pose forecasting. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 17121–17130, 2023. 7
[^49]: Charles R Qi, Hao Su, Kaichun Mo, and Leonidas J Guibas. Pointnet: Deep learning on point sets for 3d classification and segmentation. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 652–660, 2017. 18
[^50]: Yuzhe Qin, Hao Su, and Xiaolong Wang. From one hand to multiple hands: Imitation learning for dexterous manipulation from single-camera teleoperation. IEEE Robotics and Automation Letters, 7(4):10873–10881, 2022. 3
[^51]: Yuzhe Qin, Yueh-Hua Wu, Shaowei Liu, Hanwen Jiang, Ruihan Yang, Yang Fu, and Xiaolong Wang. Dexmv: Imitation learning for dexterous manipulation from human videos. In European Conference on Computer Vision, pages 570–587. Springer, 2022. 2, 3
[^52]: Gorjan Radevski, Marie-Francine Moens, and Tinne Tuytelears. Revisiting spatio-temporal layouts for compositional action recognition. arXiv preprint arXiv:2111.01936, 2021. 3, 7, 17
[^53]: Ramanathan Rajendiran, Debaditya Roy, and Basura Fernando. Modelling spatio-temporal interactions for compositional action recognition. arXiv preprint arXiv:2305.02673, 2023. 3
[^54]: Joseph Redmon and Ali Farhadi. Yolov3: An incremental improvement. arXiv preprint arXiv:1804.02767, 2018. 4, 14
[^55]: Javier Romero, Dimitrios Tzionas, and Michael J Black. Embodied hands: Modeling and capturing hands and bodies together. arXiv preprint arXiv:2201.02610, 2022. 4, 5, 13, 14
[^56]: Olaf Ronneberger, Philipp Fischer, and Thomas Brox. U-net: Convolutional networks for biomedical image segmentation. In Medical Image Computing and Computer-Assisted Intervention–MICCAI 2015: 18th International Conference, Munich, Germany, October 5-9, 2015, Proceedings, Part III 18, pages 234–241. Springer, 2015. 6, 17
[^57]: Fadime Sener, Dibyadip Chatterjee, Daniel Shelepov, Kun He, Dipika Singhania, Robert Wang, and Angela Yao. Assembly101: A large-scale multi-view video dataset for understanding procedural activities. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 21096–21106, 2022. 2
[^58]: Amir Shahroudy, Jun Liu, Tian-Tsong Ng, and Gang Wang. Ntu rgb+ d: A large scale dataset for 3d human activity analysis. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 1010–1019, 2016. 7
[^59]: Kihyuk Sohn, Honglak Lee, and Xinchen Yan. Learning structured output representation using deep conditional generative models. Advances in neural information processing systems, 28, 2015. 3
[^60]: Khurram Soomro, Amir Roshan Zamir, and Mubarak Shah. Ucf101: A dataset of 101 human actions classes from videos in the wild. arXiv preprint arXiv:1212.0402, 2012.7
[^61]: Pengzhan Sun, Bo Wu, Xunsong Li, Wen Li, Lixin Duan, and Chuang Gan. Counterfactual debiasing inference for compositional action recognition. In Proceedings of the 29th ACM International Conference on Multimedia, pages 3220–3228, 2021. 3
[^62]: Roman Suvorov, Elizaveta Logacheva, Anton Mashikhin, Anastasia Remizova, Arsenii Ashukha, Aleksei Silvestrov, Naejin Kong, Harshith Goka, Kiwoong Park, and Victor Lempitsky. Resolution-robust large mask inpainting with fourier convolutions. arXiv preprint arXiv:2109.07161, 2021.4
[^63]: Omid Taheri, Nima Ghorbani, Michael J Black, and Dimitrios Tzionas. Grab: A dataset of whole-body human grasping of objects. In Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part IV 16, pages 581–600. Springer, 2020. 3, 4
[^64]: Guy Tevet, Sigal Raab, Brian Gordon, Yonatan Shafir, Daniel Cohen-Or, and Amit H Bermano. Human motion diffusion model. arXiv preprint arXiv:2209.14916, 2022. 7, 8
[^65]: Weilin Wan, Lei Yang, Lingjie Liu, Zhuoying Zhang, Ruixing Jia, Yi-King Choi, Jia Pan, Christian Theobalt, Taku Komura, and Wenping Wang. Learn to predict how humans manipulate large-sized objects from interactive motions. IEEE Robotics and Automation Letters, 7(2):4702–4709, 2022. 7, 17
[^66]: Haozhong Wang, Hua Yu, and Qiang Zhang. Detecting zero-shot human-object interaction with visual-text modeling. In 2023 9th International Conference on Virtual Reality (ICVR), pages 155–162. IEEE, 2023. 3
[^67]: Suchen Wang, Yueqi Duan, Henghui Ding, Yap-Peng Tan, Kim-Hui Yap, and Junsong Yuan. Learning transferable human-object interaction detector with natural language supervision. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 939–948, 2022. 3
[^68]: Wei Xie, Zhipeng Yu, Zimeng Zhao, Binghui Zuo, and Yanggang Wang. Hmdo: Markerless multi-view hand manipulation capture with deformable objects. Graphical Models, 127:101178, 2023. 2, 3, 4
[^69]: Hao Xu, Tianyu Wang, Xiao Tang, and Chi-Wing Fu. H2onet: Hand-occlusion-and-orientation-aware network for real-time 3d hand mesh reconstruction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 17048–17058, 2023. 6
### [^70]: Sirui Xu, Zhengyuan Li, Yu-Xiong Wang, and Liang-Yan Gui. Interdiff: Generating 3d human-object interactions with physics-informed diffusion. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 14928–14940, 2023. 7, 8, 17
---
[^71]: Rui Yan, Peng Huang, Xiangbo Shu, Junhao Zhang, Yonghua Pan, and Jinhui Tang. Look less think more: Rethinking compositional action recognition. In Proceedings of the 30th ACM International Conference on Multimedia, pages 3666–3675, 2022. 3
[^72]: Jinyu Yang, Mingqi Gao, Zhe Li, Shang Gao, Fangjing Wang, and Feng Zheng. Track anything: Segment anything meets videos. arXiv preprint arXiv:2304.11968, 2023. 4, 14
[^73]: Lixin Yang, Xinyu Zhan, Kailin Li, Wenqiang Xu, Jiefeng Li, and Cewu Lu. Cpf: Learning a contact potential field to model the hand-object interaction. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 11097–11106, 2021. 3
[^74]: Lixin Yang, Kailin Li, Xinyu Zhan, Fei Wu, Anran Xu, Liu Liu, and Cewu Lu. Oakink: A large-scale knowledge repository for understanding hand-object interaction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 20953–20962, 2022. 2, 3, 4
[^75]: Taojiannan Yang, Yi Zhu, Yusheng Xie, Aston Zhang, Chen Chen, and Mu Li. AIM: Adapting image models for efficient video action recognition. In The Eleventh International Conference on Learning Representations, 2023. 7, 17
[^76]: Jianglong Ye, Jiashun Wang, Binghao Huang, Yuzhe Qin, and Xiaolong Wang. Learning continuous grasping function with a dexterous hand from human demonstrations. IEEE Robotics and Automation Letters, 8(5):2882–2889, 2023. 2
[^77]: Ruolin Ye, Wenqiang Xu, Zhendong Xue, Tutian Tang, Yanfeng Wang, and Cewu Lu. H2o: A benchmark for visual human-human object handover analysis. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 15762–15771, 2021. 2, 3, 4
[^78]: Chuhan Zhang, Ankush Gupta, and Andrew Zisserman. Is an object-centric video representation beneficial for transfer? In Proceedings of the Asian Conference on Computer Vision, pages 1976–1994, 2022. 3
[^79]: He Zhang, Yuting Ye, Takaaki Shiratori, and Taku Komura. Manipnet: neural manipulation synthesis with a hand-object spatial representation. ACM Transactions on Graphics (ToG), 40(4):1–14, 2021. 3
[^80]: Hui Zhang, Sammy Christen, Zicong Fan, Luocheng Zheng, Jemin Hwangbo, Jie Song, and Otmar Hilliges. Artigrasp: Physically plausible synthesis of bi-manual dexterous grasping and articulation. arXiv preprint arXiv:2309.03891, 2023. 2, 3
[^81]: Juntian Zheng, Qingyuan Zheng, Lixing Fang, Yun Liu, and Li Yi. Cams: Canonicalized manipulation spaces for category-level functional hand-object manipulation synthesis. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 585–594, 2023. 3
[^82]: Desen Zhou, Zhichao Liu, Jian Wang, Leshan Wang, Tao Hu, Errui Ding, and Jingdong Wang. Human-object interaction detection via disentangled transformer. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 19568–19577, 2022. 3
[^83]: Keyang Zhou, Bharat Lal Bhatnagar, Jan Eric Lenssen, and Gerard Pons-Moll. Toch: Spatio-temporal object-to-hand
用于运动细化的对应关系。载于《欧洲计算机视觉会议》，第1–19页。Springer，2022年。3, 7
[^84]: Xingyi Zhou, Qingfu Wan, Wei Zhang, Xiangyang Xue, and Yichen Wei. Model-based deep hand pose estimation, 2016. 15
#### [^85]: Zehao Zhu, Jiashun Wang, Yuzhe Qin, Deqing Sun, Varun Jampani, and Xiaolong Wang. Contactart: Learning 3d interaction priors for category-level articulated object and hand poses estimation. arXiv preprint arXiv:2305.01618, 2023. 3
---
#### 附录
### 7. 交互场估计
借助我们数据集中采集的精确物体模型和MANO[^55]网格，我们对从彩色图像中估计手与物体交互场的能力进行了基准测试。除了现有研究中恢复手-物体交互场的工作[^13]外，我们的任务还包括估计工具与目标物体之间的交互场。
问题表述：用l、r、t、o分别表示左手、右手、工具和目标物体，任务是从给定的RGB帧中估计手与物体之间的六个交互场（$F^{r\rightarrow t}$、$F^{t\rightarrow r}$、$F^{l\rightarrow o}$、$F^{o\rightarrow l}$、$F^{t\rightarrow o}$、$F^{o\rightarrow t}$），其中场$F^{a\rightarrow b}$定义为网格a中所有顶点到网格b中最近顶点的距离。
评估指标：遵循[^13]的方法，我们使用平均距离误差来评估预测交互场的精确度，用加速度误差来衡量这些估计值的平滑度。
基线方法、结果与分析：我们基于InterField-SF $^{[13]}$设置了两种基线方法。第一种（InterField-SF separated）以图像和两个网格为输入（例如右手和工具），估计它们之间的两个交互场；第二种（InterField-SF concatenated）将图像与双手、工具和目标物体的网格结合，一次性预测六个交互场。表6展示了这两种方法的定量结果。测试集之间的主要差异在于工具和动作的选择，与目标物体的相关性相对较弱。结果表明，这些变化对RT和TR的影响更为显著。在RT和TR字段中，S1上的方法表现明显优于S3，而S3的表现又优于S2和S4。这说明这些方法在泛化到未见过的几何形状时面临挑战。将已见过的几何形状与未见过的动作相结合（S3）也会带来额外的复杂性。这些在泛化到未见过的几何形状和动作方面的挑战，凸显了进一步探索和完善所提方法的必要性。
#### 8. 数据采集细节
#### 8.1. 相机校准
相机内参校准。我们采用传统方法：在相机视野中放置一个网格已知的棋盘格，利用OpenCV函数估算相机内参矩阵和畸变参数。
相机外参校准。获取相机内参后，我们在数据采集前通过半自动流程校准相机外参。如图9所示，我们首先在场景中放置12个标记点。借助我们的动作捕捉系统，我们可以获得这些标记点在世界坐标系中的精确位置，误差小于1毫米。随后我们手动标注每个标记点在彩色图像中的像素坐标，计算出使标记点重投影误差最小的最优相机外参。我们使用OpenCV算法求解这个透视-点（PnP）问题。
Figure 9. Calibrating the camera extrinsic.
#### 8.2. 时间同步
我们提供了来自不同传感器模态的时间同步数据。我们的12台工业级FLIR相机通过音频线从同一信号发生器接收信号。为了将工业相机与动作捕捉系统以及Realsense L515相机同步，我们会记录不同相机所拍摄的每一帧图像的UTC时间戳，并在这些时间戳之间进行最近邻匹配。匹配信号之间的最大时间差为17毫秒。
### 9. 数据标注详情
### 9.1. 物体姿态优化详情
我们在每个物体的表面粘贴四个半径为4毫米的标记点，通过光学动作捕捉系统采集这些标记点的位置来确定物体的姿态。为了重复利用这些标记点和优化结果，我们会在每个物体表面为标记点标记目标位置，并在数据采集前将标记点粘贴在这些固定位置上。对于每个物体，我们将这四个粘贴的标记点视为刚体B，并优化从3D物体模型到B的相对6D姿态$T = [R, t]$，其中$R \in SO(3)$表示3D旋转，$t \in \mathbb{R}^3$表示3D平移。由于标记点实际与物体表面接触且不会发生相互穿透，我们首先定义接触损失$L_c(q, P)$和穿透损失$L_p(q, P)$如下：
$$ \begin{aligned}&L_{c}(\boldsymbol{q},\boldsymbol{P})=\|\boldsymbol{q}-\boldsymbol{p}_{i^{*}}\|_{2},\\&L_{p}(\boldsymbol{q},\boldsymbol{P})=\max(-\vec{n}_{i^{*}}^{T}(\boldsymbol{q}-\boldsymbol{p}_{i^{*}}),0),\\ \end{aligned} $$
其中$q \in \mathbb{R}^3$为查询点，$P = \{p_i \in \mathbb{R}^3\}_{i=1}^{|P|}$为点云，$i^* = \arg\min_{1 \leq i \leq |P|} \|q - p_i\|_2$表示点集P中距离q最近的点的索引。
---
| Test Set | Method | Mean Distance Error (mm, $\downarrow$) | Acceleration Error (m/s $^{2}$, $\downarrow$) |
| RT | TR | LO | OL | TO | OT | RT | TR | LO | OL | TO | OT |
| S1 | InterField-SF (separated) | 8.4 | 8.7 | 10.4 | 21.5 | 11.6 | 15.7 | 8.7 | 8.3 | 10.3 | 12.3 | 13.7 | 16.3 |
| InterField-SF (concatenated) | 8.1 | 8.5 | 10.1 | 21.3 | 12.7 | 17.3 | 9.0 | 8.6 | 10.4 | 11.9 | 14.6 | 17.7 |
| S2 | InterField-SF (separated) | 14.9 | 32.5 | 14.7 | 18.9 | 15.6 | 12.5 | 10.5 | 11.4 | 12.0 | 10.7 | 13.8 | 11.6 |
| InterField-SF (concatenated) | 15.1 | 31.5 | 14.6 | 19.1 | 15.2 | 12.8 | 10.7 | 11.3 | 12.2 | 10.9 | 14.4 | 12.6 |
| S3 | InterField-SF (separated) | 13.6 | 17.2 | 15.1 | 26.6 | 13.0 | 14.0 | 9.8 | 9.1 | 11.2 | 10.8 | 13.0 | 13.4 |
| InterField-SF (concatenated) | 13.4 | 16.9 | 15.2 | 27.1 | 14.3 | 14.2 | 9.9 | 9.0 | 11.1 | 11.1 | 13.9 | 14.3 |
| S4 | InterField-SF (separated) | 13.9 | 34.2 | 12.5 | 19.0 | 15.0 | 12.5 | 12.6 | 9.6 | 10.7 | 10.3 | 14.5 | 13.3 |
| InterField-SF (concatenated) | 14.0 | 35.4 | 12.6 | 19.3 | 15.2 | 13.0 | 10.6 | 10.0 | 11.2 | 10.3 | 15.4 | 14.5 |
Table 6. Results on interaction field estimation $^{[13]}$, where R denotes right hand, T denotes tool, L denotes left hand and O denotes target object (e.g. RT means right-hand-to-tool). Methods are examined via Mean Distance Error and Acceleration Error.
$\vec{n_i}$表示该点的法向量$p_i$。随后我们结合这两种损失函数，通过下述函数计算最优相对姿态$T^*$：
$$ \begin{align*}T^{*}=\mathop{\arg\max}_{R,t}\sum_{k=1}^{K}(L_{c}(Rq_{k}+t,P)+L_{p}(Rq_{k}+t,P))\\ [L_{c}(Rq_{k}+t,P)<\alpha],\end{align*} $$
其中，K表示标记的数量，$q_k \in \mathbb{R}^3$代表标记在B坐标系中的位置，P为物体模型的顶点，而$\alpha=1$cm则是用于筛选物体附近标记的阈值。给定手动初始化的T后，我们采用Adam优化器来寻找$T^*$，学习率设为$1e-4$。在实际应用中，我们会在物体表面额外添加10个标记（$K=14$）以提高优化的鲁棒性；同时，在数据采集过程中仅使用其中的四个标记来追踪物体。
### 9.2. 三维手部关键点定位的细节
对于整个序列的首帧，我们使用预训练的YOLOv3[^54]来获取左右手的边界框。对于后续帧，我们利用Track-Anything Model[^72]以及前一帧优化得到的手部姿态来生成双手的掩码，并基于这些掩码计算边界框。接着我们根据这些边界框裁剪出仅包含一只手的子图像。这些子图像会经由单手姿态估计模型MMPose[^9]进行处理，从而确定每个相机视角下每只手的2D关键点位置$K_{2D_c}[i]$。在$K_{2D_c}[i]$中，$c \in C$表示所有以物体为中心的坐标系集合，$1 \leq i \leq 21$代表手部的21个关节。
由于并非所有位置都准确，我们采用RANSAC[^14]来过滤掉不精确的2D位置。在RANSAC的每次迭代中，会从两个随机选取的不同相机视角$K_{2D_{c_1}}[\vec{i}]$和$K_{2D_{c_2}}[\vec{i}]$中选择两个2D关键点位置$c_1$和$c_2$。根据位置$K_{2D_{c_1}}[\vec{i}]$和$K_{2D_{c_2}}[\vec{i}]$，我们可以通过三角测量计算出它们在世界坐标系下对应的3D点$K_{3D}[\vec{i}]<_{c_1,c_2}>$。随后，我们将这个3D点投影到相机平面上，并计算投影点周围30像素范围内的2D关键点数量。所有迭代结束后，周边2D关键点数量最多的3D点$K_{3D}[\vec{i}]<_{c_1,c_2}>$会被选为3D关键点$K_{3D}[\vec{i}]$。这一过程定义为
$$ \begin{align*}K_{3D}[i]&=\underset{K_{3D}[i]}{\arg\max}\sum_{c=1}^{12}\tag{4}\\&\quad around_{2D}(proj_{c}(K_{3D}[i]_{}),K_{2D_{c}}[i],30),\end{align*} $$
其中$proj_c(\cdot)$将$K_{3D}[i]$投影到相机c上，而$around_2D(\cdot)$用于计算两点之间的距离；如果距离小于30像素则输出1，否则输出0。在选定的迭代中，那些距离投影点超过30像素的2D关键点$K_{2D_c}[i]$会被判定为无效，从而在后续的优化阶段被排除，即$valid_c[i] = around_2D(proj_c(K_{3D}[i]), K_{2D_c}[i], 30)$。
### 9.3. 手部姿态优化细节
我们采用MANO[^55]来构建3D手部网格$\Theta_h = \{\theta, \beta, t\}$，其中$\theta \in \mathbb{R}^{48}$、$\beta \in \mathbb{R}^{10}$和$t \in \mathbb{R}^3$分别代表手部姿态、手部形状和手腕位置。对于每位参与者而言，形状参数$\beta$是基于专门采集的仅包含两只手的数据预先计算得出的，并在后续的手部姿态优化过程中保持固定。MANO模型会将$\Theta_h$映射为3D手部网格$\{J, V\} = MANO(\Theta_h)$，其中$J \in \mathbb{R}^{778 \times 3}$和$J \in \mathbb{R}^{21 \times 3}$分别对应手部的顶点和关节。我们首先通过最小化以下损失函数来拟合MANO模型：
$$\begin{aligned}\hat{\Theta}_{h}=&\underset{\Theta_{h}}{\arg\min}\left(\lambda_{2D}\mathcal{L}_{2D}+\lambda_{3D}\mathcal{L}_{3D}+\lambda_{angle}\mathcal{L}_{angle}+\right.\\&\left.\lambda_{tc}\mathcal{L}_{tc}\right),\end{aligned}\tag{5}$$
其中$\mathcal{L}_{2D}$和$\mathcal{L}_{3D}$用于促使MANO手部关节与2D及3D关键点对齐，$\mathcal{L}_{angle}$确保手部姿态自然，$\mathcal{L}_{tc}$则促进时间上的平滑性。利用物体姿态信息，我们再通过最小化以下损失函数来优化手部姿态：
---
$$ \begin{aligned}\hat{\Theta}_{h}=&\underset{\Theta_{h}}{\arg\min}\left(\lambda_{2D}\mathcal{L}_{2D}+\lambda_{3D}\mathcal{L}_{3D}+\lambda_{angle}\mathcal{L}_{angle}+\right.\\&\left.\lambda_{tc}\mathcal{L}_{tc}+\lambda_{p}\mathcal{L}_{p}+\lambda_{a}\mathcal{L}_{a}\right),\end{aligned} $$
其中$\mathcal{L}_{p}$可防止手部与物体相互穿透，$\mathcal{L}_{a}$则促使手部与物体接触。
2D关节损失$\mathcal{L}_{2D}$。2D关节损失项定义为
$$ \mathcal{L}_{2D}=\sum_{c=1}^{12}\sum_{i=1}^{21}valid_{c}[i]\left\|proj_{c}(J[i])-K_{2D_{c}}[i]\right\|^{2}, $$
其中$J[i]$表示$i^{th}$ 3D手部关节位置，运算符$proj_{c}(\cdot)$将其投影到相机c上，$K_{2D_{c}}[i]$是相机视图c中手部的$i^{th}$ 2D关键点位置，而由RANSAC确定的$valid_{c}[i]$则用于指示$K_{2D_{c}}[i]$是否为有效值。
3D关节损失$\mathcal{L}_{3D}$。3D关节损失项定义为
$$ \mathcal{L}_{3D}=\sum_{i=1}^{21}\|J[i]-K_{3D}[i]\|^{2} $$
其中$J_{i}$表示$i^{th}$ 3D手部关节位置，$K_{3D}[i]$则是通过RANSAC中12个离心视角下的2D关键点位置融合得到的$i^{th}$ 3D关键点位置。2D关节损失$\mathcal{L}_{2D}$和3D关节损失$\mathcal{L}_{3D}$为手部姿态提供了最直接的约束，使MANO手部模型与关键点的位置保持一致。
角度约束损失 $\mathcal{L}_{angle}$。角度约束损失项对15个关节的旋转角度施加限制，从而防止手指出现过度扭曲，确保手部姿态自然。在MANO模型中，手部姿态参数 $\theta \in \mathbb{R}^{48}$（可理解为 $\theta \in \mathbb{R}^{16 \times 3}$）代表了16组轴角表示；其中1组轴角对应手部的全局旋转，其余15组轴角则代表手部上15个关节的旋转。角度约束损失项的定义如下，参考自 [^84]：
$$ \mathcal{L}_{a n g l e}=\sum_{i=1}^{45}\max\left(\underline{{\theta_{i}}}-\theta[i],0\right)+\max\left(\theta[i]-\overline{{\theta_{i}}},0\right), $$
其中，$\underline{\theta}_{i}$ 和 $\overline{\theta}_{i}$ 分别表示 $i^{th}$ 关节角度参数 $\theta[i]$ 的上限和下限。
时间一致性损失$\mathcal{L}_{tc}$。由于数据中存在噪声，且每一帧中手部姿态估计模型的输出具有随机性，视频中的手部姿态可能会出现明显的抖动现象。虽然其他损失项作用于单帧图像，但该项损失会考虑相邻帧的信息，从而有效减轻手部姿态的抖动。我们借鉴了[^84]的思路，将时间一致性损失项定义如下：
$$ \mathcal{L}_{t c}=\sum_{i\in\mathcal{I}}\left(\left\|\Delta_{t}^{i}\right\|^{2}+\left\|\Delta_{\theta}^{i}-\Delta_{\theta}^{i-1}\right\|^{2}\right), $$
其中，$\Delta_{t}^{i}=t^{i}-t^{i-1}$ 和 $\Delta_{\theta}^{i}=\theta^{i}-\theta^{i-1}$。$\mathcal{I}$ 表示整个序列中的索引号，初始帧除外。
吸引力损失 $\mathcal{L}_{a}$。在优化过程中，手部与物体之间可能缺乏足够的接触。吸引力损失项旨在促使靠近物体的手部与其充分接触，其定义如下：
$$ \mathcal{L}_{a}=\sum_{i=1}^{778}a r o u n d_{3D}(\mathrm{V_{h}[i]},\mathrm{V_{o}[i^{*}]},0.01)\left\|\mathrm{V_{h}[i]}-\mathrm{V_{o}[i^{*}]}\right\|^{2}, $$
其中，$V_h[i]$ 是手部网格上的 $i^{th}$ 顶点，$V_o[i^*]$ 是距离 $V_h[i]$ 最近的物体表面顶点，而 $around_{3D}(\cdot)$ 用于计算两点间的距离；若距离小于0.01米则输出1，否则输出0。该损失项需计算两次：一次针对右手与工具，另一次针对左手与物体。
穿透损失 $\mathcal{L}_p$。优化过程中可能会出现手部与物体相互穿透的情况，这在现实场景中显然是不合理的。因此，我们引入该损失项来减少此类穿透现象。参照 [^18] 的做法，我们将穿透损失项定义如下：
$$ \mathcal{L}_{p}=\sum_{i=1}^{778}\max\left(-\mathbf{n}_{\mathrm{o}}\left(\mathrm{V}_{\mathrm{o}}\left[i^{*}\right]\right)^{T}\left(\mathrm{V}_{\mathrm{h}}[i]-\mathrm{V}_{\mathrm{o}}\left[i^{*}\right]\right),0\right), $$
其中，$\mathbf{n}_o(\cdot)$ 运算符用于计算顶点的法向量，$V_h[i]$ 代表手部网格上的 $i^{th}$ 顶点，$V_o[i^*]$ 则表示距离 $V_h[i]$ 最近的物体表面顶点。该损失项同样需计算两次：一次针对右手与工具，另一次针对左手与物体。
### 10. TACO数据集的详细统计信息
物体多样性。图10展示了我们数据集中的20类物体。这些类别选自日常的手部-物体交互场景，且每种物体都具有适合单手稳定操作的合适尺寸。在这20类中，有17类在交互中被用作工具，9类则被视作目标物体。图11展示了刷子类别下的12个物体实例，体现了物体几何形状的多样性。
交互多样性。作为支持新型工具-动作-物体相关研究的知识库，
---
Figure 10. Visualization of 20 object categories in TACO, including 17 tool categories (shown in purple and brown) and 9 target object categories (shown in purple and blue).
Figure 11. Visualization of 12 brushes in TACO.
在TACO数据集中，所谓“三元组”指的是使用不同的工具和目标物体来执行相同类型的动作。图12和图13分别展示了不同类型动作中工具和目标物体的使用比例。所有15种动作类型都涉及与各类目标物体的交互演示，其中12种动作是由多种工具类别完成的。
Figure 12. Percentage of tool usage for each action type.
Figure 13. Percentage of target object usage for each action type.
运动速度。表7显示了不同动作类型下手-物体运动的统计数据。$v_r$、$v_j$、v和$\omega$分别代表手腕的速度、MANO手部关节的平均速度、物体的线速度以及物体的角速度。与目标物体相比，工具在交互中始终占据主导地位，且运动速度明显更快（平均达到16.6 cm/s，占比71.3%），这一特点也反映出预测和合成工具运动轨迹的难度较大。由于所有操作行为均由右利手个体完成，右手通常负责操控工具，因此在不同动作类型中，右手的运动速度始终比左手更快。
手部姿态分布。图14展示了TACO数据集和HO3D数据集中的手部姿态的T-SNE可视化结果$^{[18]}$。由于人类行为存在差异，TACO数据集中的手部姿态分布与HO3D数据集有明显区别。
Figure 14. T-SNE visualization of hand poses from TACO and HO3D.
### 11. 标记移除评估详情
数据处理。对于原始视频和标记已移除的视频中的每一帧图像，我们首先在图像上渲染球体，
---
| Action | Right hand | Left hand | Tool | Target object |
| $v_r$(cm/s) | $v_j$(cm/s) | $v_r$(cm/s) | $v_j$(cm/s) | v(cm/s) | $\omega$(°/s) | v(cm/s) | $\omega$(°/s) |
| Put in | 17.2( $\pm$11.5) | 20.0( $\pm$13.2) | 9.4( $\pm$10.5) | 10.4( $\pm$11.8) | 18.9( $\pm$20.9) | 88.1( $\pm$116.3) | 3.7( $\pm$6.6) | 14.1( $\pm$35.3) |
| Put out | 17.9( $\pm$11.6) | 20.5( $\pm$13.0) | 10.5( $\pm$10.5) | 11.7( $\pm$11.7) | 18.7( $\pm$20.9) | 90.8( $\pm$129.1) | 4.4( $\pm$7.5) | 18.2( $\pm$67.0) |
| Skim off | 15.4( $\pm$10.7) | 18.0( $\pm$12.5) | 9.4( $\pm$10.3) | 10.2( $\pm$11.4) | 17.1( $\pm$19.9) | 70.8( $\pm$98.9) | 3.7( $\pm$6.4) | 15.0( $\pm$41.5) |
| Scrape off | 13.4( $\pm$10.4) | 15.4( $\pm$11.6) | 9.6( $\pm$10.0) | 10.7( $\pm$11.6) | 16.7( $\pm$19.0) | 69.5( $\pm$98.9) | 4.0( $\pm$7.4) | 19.0( $\pm$47.8) |
| Cut | 13.7( $\pm$11.5) | 15.5( $\pm$13.0) | 8.4( $\pm$9.8) | 9.5( $\pm$11.3) | 15.4( $\pm$17.9) | 70.1( $\pm$115.3) | 3.1( $\pm$6.1) | 13.3( $\pm$32.5) |
| Stir-fry | 17.0( $\pm$12.2) | 19.3( $\pm$13.3) | 10.7( $\pm$9.7) | 12.1( $\pm$11.7) | 21.4( $\pm$20.5) | 77.0( $\pm$88.2) | 8.2( $\pm$15.5) | 23.1( $\pm$63.7) |
| Stir | 16.8( $\pm$12.6) | 18.9( $\pm$13.7) | 9.0( $\pm$10.0) | 10.3( $\pm$11.2) | 20.1( $\pm$20.3) | 74.0( $\pm$114.6) | 4.6( $\pm$7.4) | 15.6( $\pm$29.5) |
| Brush | 15.3( $\pm$12.2) | 17.7( $\pm$14.5) | 11.0( $\pm$10.4) | 12.2( $\pm$11.9) | 19.3( $\pm$22.3) | 71.5( $\pm$167.6) | 8.1( $\pm$11.4) | 33.9( $\pm$55.6) |
| Dust | 13.9( $\pm$9.5) | 17.2( $\pm$11.4) | 10.8( $\pm$10.4) | 12.4( $\pm$12.1) | 19.6( $\pm$21.9) | 88.5( $\pm$121.1) | 7.1( $\pm$10.6) | 31.6( $\pm$49.7) |
| Pour in some | 15.0( $\pm$13.0) | 16.3( $\pm$14.2) | 9.0( $\pm$10.8) | 10.0( $\pm$12.7) | 8.8( $\pm$13.2) | 39.4( $\pm$77.9) | 2.8( $\pm$5.2) | 11.1( $\pm$27.4) |
| Empty | 14.9( $\pm$13.6) | 16.1( $\pm$14.7) | 8.5( $\pm$10.6) | 9.4( $\pm$12.5) | 10.2( $\pm$14.2) | 45.5( $\pm$83.49) | 2.9( $\pm$5.4) | 12.3( $\pm$40.0) |
| Smear | 12.4( $\pm$12.5) | 15.8( $\pm$15.2) | 9.9( $\pm$11.4) | 11.4( $\pm$12.3) | 16.5( $\pm$19.5) | 60.1( $\pm$161.6) | 7.4( $\pm$10.8) | 32.7( $\pm$59.5) |
| Hit | 14.1( $\pm$11.1) | 17.4( $\pm$13.1) | 9.3( $\pm$9.6) | 9.9( $\pm$9.9) | 18.7( $\pm$23.9) | 67.6( $\pm$114.1) | 5.7( $\pm$10.1) | 21.9( $\pm$40.0) |
| Measure | 15.3( $\pm$11.3) | 16.0( $\pm$12.4) | 15.9( $\pm$13.8) | 17.8( $\pm$16.7) | 12.0( $\pm$14.8) | 56.9( $\pm$102.0) | 2.0( $\pm$5.6) | 10.6( $\pm$24.2) |
| Screw | 12.5( $\pm$11.7) | 15.7( $\pm$13.0) | 10.8( $\pm$12.2) | 11.7( $\pm$13.0) | 11.6( $\pm$18.5) | 182.5( $\pm$278.0) | 4.8( $\pm$8.7) | 20.7( $\pm$37.1) |
| Overall | 15.0( $\pm$11.7) | 17.2( $\pm$13.4) | 9.9( $\pm$10.6) | 11.1( $\pm$12.1) | 16.6( $\pm$19.9) | 71.3( $\pm$125.9) | 5.0( $\pm$8.8) | 20.9( $\pm$46.9) |
Table 7. Average hand and object motion speed for each specific action type.
以获取它们的二维掩码，再裁剪出边界与掩码一致的图像块。随后我们按比例缩放该图像块，将其置于背景为黑色的512×512图像中心。最后，利用参数为$\sigma=1.0$的高斯核对这张512×512的图像进行处理，以此作为网络输入。
网络训练。对于输入图像$I \in \mathbb{R}^{512 \times 512 \times 3}$，采用U-Net[^56]来估计热图$H \in \mathbb{R}^{512 \times 512}$，该热图用于反映每个像素属于修复后图像区域的概率。损失函数是将估计出的热图与真实热图进行比对得到的均方误差。网络通过Adam[^32]优化器进行训练，学习率设为$5e-4$。
### 12. 评估指标详情
组合动作识别评估。遵循现有动作识别研究的方法$^{[52, 75]}$，我们采用Top-1准确率和Top-5准确率来评估模型预测出的概率最高的前1名或前5名结果中是否包含真实的动作标签。
通用手-物体运动预测评估。作为预测任务，运动预测方法的评估依据是预测结果与真实值之间的差异。遵循人体-物体运动预测领域的研究思路[^1] [^10] [^65] [^70]，我们将手部表示为包含21个关节的3D骨架$J \in \mathbb{R}^{21 \times 3}$，并采用平均关节位置误差$J_e = \frac{1}{21M} \sum_{k=1}^{M} \sum_{i=1}^{21} \|\hat{J}_{k,i} - \bar{J}_{k,i}\|_2$来衡量手部预测效果，其中M为预测帧数，$\hat{J}$为手部骨架预测结果，$\bar{J}$为真实值。由于物体属于刚体，因此定义了平移误差$T_e$和旋转误差$R_e$：
$$ \begin{aligned}&T_{e}=\frac{1}{M}\sum_{k=1}^{M}\|\hat{t}_{k}-\bar{t}_{k}\|_{2},\\&R_{e}=\frac{1}{M}\sum_{k=1}^{M}\arccos\frac{\mathbf{T r}(\hat{R}_{k}^{T}\bar{R}_{k})-1}{2},\\ \end{aligned} $$
其中，$\hat{t} \in \mathbb{R}^3$ 和 $\hat{R} \in \mathbb{R}^{3 \times 3}$ 是预测得到的物体平移向量与旋转矩阵，$\bar{t}$ 和 $\bar{R}$ 为对应的真实值，而 $\mathrm{Tr}$ 表示矩阵的迹。
评估协作抓取合成效果。作为一项生成任务，该基准测试需检验合成手部网格的物理合理性与真实性。在评估物理合理性时，接触率（Con. R）反映了结果与工具相接触的比例；互穿体积（Pen. V）则指生成的手部与工具所占据的平均体积，其计算方式是将手-物体网格体素化为1毫米的立方体后统计相交部分。碰撞率（Col. R）用于衡量生成的手部与环境之间的冲突情况，即结果穿透目标物体及左手的概率。为了评估结果的真实性，我们首先提出了一种交互特征提取器（图15），它可将手-物体顶点编码为64维特征f，再将其应用于真实交互快照以得到真实特征分布$\bar{D} = \{f_i\}$。随后，我们将右手网格的顶点替换为合成得到的顶点，从而得到另一组特征分布$\bar{D} = \{\hat{f}_i\}$。最后，基于$\bar{D}$ 和 $\bar{D}$ 计算弗雷歇 inception 距离（FID）得分，用以衡量两者之间的差异。该交互特征提取器通过全连接层从特征f中解码出独热动作标签来进行监督训练。
---
Figure 15. Network structure of our interaction feature extractor. Given vertices of hand-object meshes, the network first utilizes PointNet $^{[49]}$ to encode vertices of each mesh to a 128-dimensional feature, respectively, and then adds the four features together and acquires the interaction feature via a fully connected layer.
### 13. 交互式抓取合成的基线设计
我们对基线方法进行了修改[^30] [^39]，将交互环境（左手与目标物体）整合到网络结构中。我们直接将交互环境视为CVAE的额外条件，并利用现有的点云编码器将其点云转换为特征向量。图16对比了我们修改后的HALO-VAE[^30]结构与原始的HALO-VAE $^{-}$。
Figure 16. Comparison of HALO-VAE $^{-}$ and our modified HALO-VAE[^30].
### 14. 手-物体运动预测的定性结果
图17展示了CAHMP $^{[10]}$ 的定性结果。尽管CAHMP在四种基线方法中表现最佳，但它常常无法预测右手与工具的快速运动（图17 (a)、(b)），且在理解人类交互意图方面也存在困难（图17 (c)、(d)）。更多可视化结果请参阅我们的补充视频。
Figure 17. Qualitative results on hand-object motions predicted by CAHMP $^{[10]}$. The green and blue points denote the ground truth, while the red and purple ones indicate the predicted motions. We show five frames at 0.12, 0.24, 0.36, 0.48, and 0.60s.
### 15. TACO可视化
图18展示了来自所有第三人称视角的12帧RGB图像，以及来自自中心相机的RGB与深度图像。图19、20和21分别展示了手-物体网格、手-物体分割以及去除标记后的图像块示例。更多数据可视化内容请参阅我们的补充视频。
Figure 18. Visualization of allocentric and egocentric camera views. Our system involves 12 allocentric RGB cameras and one egocentric RGBD sensor.
---
Figure 19. Visualization of hand-object meshes. We overlay the original color frames with rendered hand-object meshes.
---
Figure 20. Visualization of automatic 2D hand-object segmentation.
---
Figure 21. Visualization of original and marker-removed image patches.