# OakInk：用于理解手-物体交互的大规模知识库 $^{1,2}$杨立新 $^{\star}$、$^{1}$李凯琳 $^{\star}$、$^{1}$詹欣宇 $^{\star}$、$^{1}$吴飞、$^{1}$徐安然、$^{1}$刘柳、$^{1,2}$卢策吾 $^{\dagger}$ $^{1}$上海交通大学，中国 $^{2}$上海智己研究院，中国 {siriusyang, kailinli, kelvin34501, legendary, xuanran, liuliu1993, lucewu}@sjtu.edu.cn ## 摘要 要让机器学会人类操纵物体的方式，需要从两个维度获取相关知识：一是理解物体的可供性，二是基于这些可供性学习人类的互动模式。尽管这两个知识库至关重要，但我们发现现有的数据库对它们的认知并不全面。在这项工作中，我们提出了一种多模态且标注丰富的知识库OakInk，用于实现对手-物体交互的视觉与认知理解。我们首先收集了1800种常见的家用物品，并标注它们的可供性，从而构建了首个知识库：Oak。基于这些可供性，我们记录了人类针对Oak中选取的100种物品的丰富互动数据。最后，我们通过一种名为Tink的新方法，将这100种物品上的互动数据迁移到它们的虚拟对应物上。所记录并迁移的手-物体互动构成了第二个知识库：Ink。最终，OakInk包含了5万组具备可供性感知能力且以意图为导向的手-物体互动数据。我们在姿态估计和抓取生成任务上对OakInk进行了基准测试。此外，我们还提出了OakInk的两类实用应用场景：基于意图的交互生成与物品交接生成。我们的数据集和源代码可在 公开获取。 ### 1. 引言 让机器能够理解并模仿人类的行为，一直是科学史上的长期愿景。在由此衍生出的各项任务中，学习人类如何操纵物体是一项极具挑战性的基础课题。由于大多数工具都是为实现特定功能而设计的，人类能够通过指令或经验轻松学会如何操作它们。然而，机器却很难获得这些经验。直到最近，数据驱动的方法才开始推动关于人类操纵行为的学习研究。 ![Image](images/f92275961644e7126e9bfa6e3ecc2a6c55a060f4bc783d41767eea4c41fa539b.jpg)
Figure 1. Illustration of different data modalities in OakInk repository. The left column shows human manipulating 3 source objects (mug, camera, and headphones). The right 5 columns show the transferred interactions on 15 virtual counterpart objects.
相关方法已开始推动关于学习人类操作 [^2] [^15] [^20] [^36] [^44] [^61] 的研究。已有工作尝试使机器具备复杂技能，例如手-物体定位 [^46]、位姿估计 [^30]、抓取生成 [^11]，以及动作模仿 [^42]。 学习人类操作行为的两个基本要素是：1）物体的可供性，以及 2）人类手基于这些可供性与物体互动的方式。尽管“可供性”一词在不同任务中有不同表述，但在本文中我们将其定义为物体的功能。自2019年以来，至少已发布9个关于手-物交互的数据集：ObMan [^23]、YCBAfford [^11]、HO3D [^19]、ContactPose [^5]、GRAB [^52]、DexYCB [^10]、两个H2O数据集 [^29] [^59] 以及DexMV [^42]。然而，这些数据集缺乏对物体可供性及手与物体交互情况的全面认知。首先，现有的真实世界数据集仅包含少量物体和手的交互数据。以两个典型例子说明：DexYCB中仅收录了20种物体，而ContactPose在290万张图像中仅捕捉到2.3千种独特的交互方式（占比仅0.08%）。其次，即便合成数据集 [^23] 能在抓取模拟器GraspIt [^34] 中生成大量交互数据，所生成的抓取方式既无法反映人类交互的分布特征，也未考虑物体本身的可供性。 --- 为了理解人类如何操作物体，我们提出从两个视角构建机器的相关知识：以物体为中心的视角和以人为中心的视角。为此，我们构建了两个相互关联的知识库。一个是物体可供性知识库（Oak知识库，见第3.1节），我们在其中通过知识图谱对物体的可供性进行了全面描述；另一个是交互知识库（Ink知识库，见第3.2节），我们从中收集了多种人类手部交互数据，用以展示如何根据物体的可供性来操作它们。 为构建Oak知识库，我们首先收集了1,800种专为单手操作设计的家用物品。Oak知识库中的物品来源有四个方面：1）从在线商家自行采集，2）ShapeNet [^9] 模型，3）YCB [^6] 数据集，以及 4）ContactDB [^3] 中的物品。其次，通过对上述来源中的物品进行详尽梳理，我们构建了一个物体知识图谱，该图谱用两类抽象概念——分类和属性——来对物品进行归类（见图2）。这个物体知识图谱使我们能够快速扩展新物品，并对具有相似可供性的物品进行便捷聚类。 为了构建Ink数据集，我们首先收集人类基于物体可供性进行的手-物交互经验。我们从Oak数据集中选取100个具有代表性的物体，邀请12名受试者进行演示，并搭建多传感器动作捕捉平台以记录相关数据（见图3）。所记录的序列构成了一个真实世界的图像数据集，其中包含230,064帧RGB-D图像，这些图像捕捉了12名受试者在32个类别、共100个物体上进行的多达5种意图导向的手部交互行为。在记录序列中出现的物体被定义为“源物体”。接下来，基于真实世界中的人类演示，我们的目标是将受试者对源物体的交互经验迁移到具有类似可供性的虚拟物体（目标物体）上。这种迁移后的手部交互不仅要保证物理上的合理性，还要保持与原始意图的一致性，同时匹配目标物体的尺寸、形状和可供性（见图1）。为此，我们提出了一种学习-拟合混合方法：Tink——即用于物体间交互知识迁移的方法（见第3.3节）。Tink包含三个模块：隐式形状插值、显式接触映射以及迭代姿态优化。借助Tink，我们将Ink数据集中的独特手-物交互数量扩展到了50,000种。 通过整合上述两个知识库：Oak和Ink，我们构建了一个大规模的知识库：OakInk。OakInk的优势主要体现在三个方面：1）它从物体可供性和人类经验两个角度为理解手-物交互提供了全面的知识；2）它包含了基于图像和基于几何的两大类手-物交互数据集；3）它提供了丰富的标注信息，包括手部和物体的姿态、扫描得到的物体模型、可供性、细粒度的接触与应力模式以及意图标签。OakInk能够惠及两个领域的研究：1）计算机视觉领域的姿态估计[^13] [^21] [^31]、形状重建[^23] [^25]以及动作识别[^15] [^29] [^53]；2）计算机图形学领域的抓取生成[^24] [^52] [^61]以及运动合成[^7] [^39]。在上述所有研究主题中，我们发现姿态估计和姿态生成与我们的研究方向最为契合。在本文中，我们在三个现有任务上对OakInk进行了基准测试，并提出了两项新任务：一项是基于意图的手部姿态生成，另一项是人类之间的物品递送生成。 我们的贡献主要体现为三个方面。首先，我们构建了OakInk这一用于理解手-物交互的大规模知识库。其次，在OakInk框架内，我们提出了一种名为Tink的新方法，该方法能够实现具有类似可供性的物体间的交互知识迁移。最后，我们对OakInk在三个现有任务上进行了全面的基准测试，并提出了两项新任务：生成适用于更定制化需求的合理手部姿态。 ### 2. 相关工作 手部与物体交互（HOI）数据集。根据数据源的不同，当前的HOI数据集可分为真实世界数据集和合成数据集。ObMan [^23]和YCBAfford [^11]属于合成数据集，它们利用抓取模拟器来合成或标注静态抓取姿态。真实世界数据集则根据标注方式的不同分为三类：1）基于标记的数据集借助附着在手上的磁传感器 [^15] [^59] [^60] 或反光标记 [^52] 来采集手部姿态；2）自动无标记数据集 [^5] [^19] 通过融合检测、分割和姿态估计方法得到的视觉线索来自动获取标注信息；3）众包无标记数据集则依靠人工标注者来标记手部与物体的二维姿态 [^10]。在本文中，我们通过众包方式采集手部二维关键点，并在多视角下对其进行优化，从而得到三维手部姿态标注；对于物体姿态，我们则在同步动作捕捉系统中记录附着在物体表面的反光片信息（见第3.2.3节）。我们将在第3.4节（表1）中对现有数据集进行全面的比较与统计分析。 手部与物体交互中的接触现象。为了捕捉接触信息，以往的方法会使用力传感器 [^40]、触觉传感器 [^51] 和热成像相机 [^3] [^5] 等测量设备，或者通过精确的姿态跟踪来计算真实的接触情况 [^52]。由于接触信息能为推理交互过程中的手部与物体共同姿态提供丰富线索，近期的研究便利用接触数据来帮助优化重建 [^25] [^57] 和合成 [^24] 任务中的抓取姿态。在本文中，我们推导出了接触区域及其应力分布…… --- 通过精确的姿态跟踪来确定相关参数（见第3.2.3节）。随后在第3.3节中，我们将接触信息映射到虚拟物体上，并基于这些接触信息优化姿态。 手部与物体交互的姿态估计。姿态估计是理解人类如何操控物体的常见任务。以往的方法要么专注于手部 [^54] 姿态，要么仅关注物体 [^55] 姿态。Hasson等人 [^23] 提出了首批手部与物体联合姿态估计方法，由此推动了该领域的发展 [^8] [^13] [^21] [^22] [^30] [^31]。HOI领域的另一热门任务是抓取姿态生成。这一方向的研究人员致力于基于图像 [^11] 或形状观测 [^25] 来合成可抓取的抓取姿态。诸如动作识别 [^15] [^29]、模仿学习 [^43]、远程操作 [^20] 以及人机交接（反之亦然） [^49] [^58] 等众多衍生任务，都是以这两项任务为基础开展的。在本文中，我们在经典姿态估计和姿态生成任务上对数据集进行了基准测试。我们还引入了两项有趣的任务，旨在探索给定意图下的生成模型以及在交接场景中的应用。 ### 3. OakInk数据集的构建 OakInk由两个相互关联的知识库组成。一个是以物体为中心的可供性知识：Oak基；另一个是以人为中心的交互知识：Ink基。确定了OakInk的构成后，需要回答三个问题：1）如何表示物体的可供性？2）如何记录人类基于这些可供性对物体进行操作时的体验？3）如何将记录下来的交互信息迁移到具有类似可供性的物体上？为解答这些问题，我们在第3.1节描述了Oak基的构建过程，在第3.2节介绍了人类演示数据的记录与标注方法，在第3.3节提出了一种新颖的交互知识迁移方法。最后，我们在第3.4节给出了相关统计数据与分析结果。 #### 3.1. 以物体为中心的可供性知识库 我们重点关注日常生活中常见且专为单手操作设计的物体。为此，我们共收集了1,800件家居物品。这些物品的来源分为四类：1）从线上商家自行采集；2）ShapeNet模型；3）YCB物品；4）ContactDB物品。通过这些来源，我们涵盖了多样化的物品类别、形状及可供性。我们将所有物品组织成知识图谱（见图2）。该知识图谱以及物品的扫描模型构成了Oak基的主体。接下来，我们将详细说明物品的排列方式（分类体系）以及物品可供性的描述方式（属性）。Oak基中的分类体系和属性需满足以下要求：1）分类需基于群体的共同经验达成一致性共识；2）具备可扩展性，能够轻松纳入新物品和新属性。 ![Image](images/c0536f21bb3772f780d521c30765d37e5841a5213f87222177b56428a7ecc0de.jpg)
Figure 2. Object Affordance Knowledge Graph.
在对上述数据集中的物品进行详尽分析后，我们发现分类体系和属性描述可以归纳为有限的类别。 分类体系。我们采用一种将Oak基物品分为两个层级的分类方式。顶层分类包含两类，即操作工具（maniptool）和功能工具（functool）。它们的定义如下： • maniptool类包含用于操纵（影响）其他实体的工具。这类物品通常带有把手（便于抓取）和末端执行器（用于影响其他实体），例如杯子、刀、钳子和电钻。 - functool类涵盖那些通常具备独立功能、不一定需要末端执行器的工具，例如相机和耳机。 在顶层分类的基础上，我们以WordNet [^35]类别作为次级分类依据来排列物品。Oak基中的类别总数为32个。所有类别列表详见附录。 属性。affordance 的概念由 Gibson [^17] 提出，作为物体功能属性的特征。随后在 CV 与机器人学社区中，affordance 已被用于不同的表述形式，例如可抓取区域 [^27] [^28]、抓取类型 [^11]、部件分割 [^12] [^36]、接触区域 [^4]，以及动作-效果 [^14]。在本文中，我们将 “affordance” 定义为物体的功能。affordance 由一组属性表示。每个属性包含一个部件分割，以及一个或多个描述该部件功能的描述性短语。例如，给定一把具有两个部分的刀：刀刃和刀柄，我们将短语 $\langle$cut, something $\rangle$ 赋予刀刃，并将短语 $\langle$handled $\rangle$ by, something $\rangle$ 赋予刀柄。我们邀请 10 名具有不同背景的志愿者，请他们首先为物体的每个部分构造一个形如：$\langle$verb (+ prep), something $\rangle$ 的短语。我们只关注具有功能性的部件。因此，对于可能不具有功能的部件，我们请志愿者进行判断并将其标记为 $\langle$no function $\rangle$。我们也鼓励志愿者 --- 总结不同物体类别之间的部件级相似性。起初，我们创建了一个空的候选短语池。当某个部件上首次提出一个新短语时，我们会先检查它在候选池中是否有重复的含义。接着，我们会征求所有志愿者的意见，决定是替换还是添加该短语。最后，我们汇总所有短语，明确其含义，并投票决定它们在各部件上的出现情况。通过逐一审查全部32个物体类别，我们最终确定了30个短语作为最终的属性短语。我们在附录中列出了所有属性短语。 #### 3.2. 以人为中心的交互知识库 在本节中，我们将详细介绍人类演示数据的收集过程以及Ink库的构建方法。我们首先在第3.2.1节介绍用于高效记录数据的硬件设置，在第3.2.2节给出数据采集协议，并在第3.2.3节阐述数据标注的细节。 #### 3.2.1 硬件设置 数据采集平台由一个多摄像头系统（MulCam）和一个红外动作捕捉系统（MoCap）组成。MulCam系统由4台RealSense D435摄像头构成，用于记录基于图像的交互序列。MoCap系统则由8台Optitrack Prime 13W摄像头组成，用于追踪交互过程中物体的运动。我们对两个传感器系统中的所有摄像头进行了同步，并校准了MulCam系统与MoCap系统之间的变换关系：$\mathcal{S}_c$ 和 $\mathcal{S}_m$。我们的平台如图3所示。所有传感器都被牢固地安装在$1.5 \times 1.2 \times 1 \, m^3$长方体区域的边缘，这样受试者就可以不受干扰地与物体或其他受试者自由互动。 #### 3.2.2 交互序列采集 我们邀请了12名受试者，并记录了他们与给定物体的互动情况。每位受试者会被分配一组来自物体数据库的物件。指导者会首先详细说明每个物体的属性，并确认所有受试者都理解这些属性。随后，要求受试者从手掌平放在桌面的姿势开始，拿起指定的物体，并按照给定的意图完成相应动作。对于每种物体，我们收集最多5种意图，即使用、握持、举起、递出和接收。其中，“使用”意图要求受试者执行利用物体属性的动作；“握持”则要求受试者稳定地抓住物体；“举起”指将翻倒的物体拾起并摆正。当要求受试者递出物体时，该受试者（递送者）会与另一名受试者（接收者）配对完成接收动作。递出与接收的配对序列构成了人与人之间的物品传递行为。在传递过程中，递送者需要确定接收者将在何处接过物体。 ![Image](images/62ece84c152cd6527df09489c5c8a87c4586b3e37ae498b93cdca7111a7ac8b1.jpg)
Figure 3. Our data collection platform with 4 RGB-D cameras (red circle) and 8 infrared MoCap cameras (blue circle).
“使用”意图下，接收者需确定如何在不发生直接接触的情况下从递送者处接过物体。每次动作完成后，指导者会将物体随机摆成某种姿势，以便进行下一次动作。我们对每个动作的记录时长均为5秒，并手动剔除其中的空闲帧。 #### 3.2.3 数据标注 在整个人类演示过程中，我们特别关注手与物体的姿态及接触模式，因为它们体现了人类操作物体的经验。 物体姿态。我们通过追踪附着在物体表面的反光标记点（图4左侧），在动作捕捉系统中获取物体的6自由度姿态$\mathcal{S}_m$。随后，通过系统校准，将物体姿态从$\mathcal{S}_m$转换到MulCam系统$\mathcal{S}_c$中。 手部姿态与几何结构。我们依靠多视角下人工标注的2D手部关键点来获取3D手部关节标注数据。参照[^10]中的做法，我们在在线众包平台上发布标注任务，要求标注员在所有指定帧的4个视角下定位每一个关键点。我们采用标准定义的21个手部关键点，其顺序和位置均遵循[^47]中的规定。为了描述3D空间中的手部姿态与几何结构，我们使用MANO手部模型[^45]。MANO通过姿态参数$\boldsymbol{\theta} \in \mathbb{R}^{16 \times 3}$和形状参数$\boldsymbol{\beta} \in \mathbb{R}^{10}$来表示可活动且可变形的手部。在本文后续内容中，我们将“手部姿态”定义为21个关节的位置：即$\boldsymbol{P}_h \in \mathbb{R}^{21 \times 3}$，这些位置基于$\mathcal{S}_c$系统。借助$\boldsymbol{\theta}$和$\boldsymbol{\beta}$，我们可以通过可微分的MANO层$\boldsymbol{P}_h$ $\boldsymbol{V}_h \in \mathbb{R}^{778 \times 3}$恢复手部姿态$\mathcal{M}(\cdot)$以及网格顶点[^23]。求解$\boldsymbol{P}_h$和$\boldsymbol{V}_h$的过程被构建为一个优化任务，该任务旨在最小化若干人为设定的代价函数。在主文中，我们仅描述了核心项：多视角下的3D-2D关键点投影误差。至于其他辅助性代价，如几何一致性、时间平滑性以及轮廓约束等，请参阅\textit{附录}。设$\hat{\boldsymbol{p}}_{j,v}$为第v个视角下第j个2D手部关键点的标注值，$\boldsymbol{P}_{h,j}$为第j个3D手部姿态估计值，而$\boldsymbol{T}_v$和$\boldsymbol{K}_v$则分别表示第v个视角的外部参数与内部参数。 --- ![Image](images/d8735b2f469cb3a83c9d0872888b4a32d718f83f5992fb44de75297a6db21d89.jpg)
Figure 4. Illustration of the reflective markers (left two) for tracking object motion and the contactness that describes physical contact region (right two).
对于第v个视角的摄像头，我们定义投影代价如下： $$ E_{\mathrm{r e p j}}=\frac{1}{\sum w_{j,v}}\sum_{v=1}^{N_{v}}\sum_{j=1}^{N_{j}}w_{j,v}\Big\|\boldsymbol{K}_{v}\boldsymbol{T}_{v}\boldsymbol{P}_{h,j}-\hat{\boldsymbol{p}}_{j,v}\Big\|_{2}^{2}, $$ 其中，$w_{j,v}$表示关键点$\hat{p}_{j,v}$的可见性。 接触与应力模式。根据精确的手部和物体姿态，我们可以推导出手部各部位在物体表面的接触区域。我们采用了Yang等人提出的17个手部部位的分割方法以及部位级锚点定位方式[^57]。基于GRAB中的高效接触启发式算法[^52]，如果物体表面上的某个顶点距离锚点较近（在25毫米阈值内），我们就自动为该顶点赋予相应的手部部位标签。带有已标记手部部位的顶点便构成了物体的接触区域。物理接触通常会导致手部和物体发生弹性形变[^18]，此时应力和应变会遍布整个形变区域。尽管MANO模型和刚性物体模型无法反映这种行为，但我们可以通过在接触区域内添加呈环状分布且逐渐递减的数值来模拟这种应力模式，我们将其称为“接触度”。如图4右侧所示，接触度在距离特定锚点最近的点处取值为最大值1，随着距离增加数值中心递减，当距离超过25毫米时便变为0。关于接触度的具体应用，我们将在第3.3.3节中详细阐述。 #### 3.3. Tink：交互知识的迁移 本节将介绍我们如何将人类演示中记录的手部与真实世界物体的交互行为，迁移到同一类别的虚拟对应物体上（这些虚拟物体采集自Oak数据集）。所迁移的交互行为需与关于接触、姿态、意图及人类感知方面的已有数据保持一致。然而，由于不同物体在形状和尺寸上存在差异，直接复制姿态的做法（如图5左侧所示）在大多数情况下会失效。为解决这一问题，我们提出了一种混合学习-拟合方法：Tink，用于迁移交互知识。Tink包含三个依次执行的模块，即形状插值、接触映射和姿态优化。 我们将真实世界人类演示中记录过的物体称为源物体，而将Oak数据集中的虚拟物体称为目标物体。由于一段记录序列仅包含一种类型的手-物交互（手递物序列则包含两种），我们会手动选取1种（或2种）稳定的交互姿态来代表该序列。这些选定的手部姿态便是交互迁移的源姿态。随后，我们将这些选定交互的集合命名为OakInk-Core。 #### 3.3.1 隐式形状插值 一旦决定将一个源物体上的交互迁移到另一个目标物体上，随之而来的问题便是如何描述物体形状并实现连续的形状变形。为解答此问题，我们首先将物体形状表示为隐式函数（SDF，有符号距离函数），因为SDF本身具有连续性。接下来的问题是如何在源物体和目标物体的SDF之间进行形状插值。为此，我们采用了一种神经生成模型：DeepSDF[^38]，它能将复杂的3D形状映射到连续的潜空间。使用DeepSDF有三个优势：1）我们能获得复杂形状的紧凑表示，即形状向量；2）通过在潜空间中插值形状向量，可实现精确的形状插值；3）在第3.3.3节中，我们可以通过惩罚负查询位置（公式(8)）来减少手-物穿插现象。 我们首先利用某一类别的所有源物体和目标物体的SDF来训练DeepSDF模型。接着，对于第i个源物体SDF：$\mathcal{O}_{i}^{s}$和第j个目标物体SDF：$\mathcal{O}_{j}^{t}$，我们对其潜在的形状向量：$o_{i}^{s}$和$o_{j}^{t}$进行线性插值。在插值过程中，我们会选取$N_{itpl}$个等间距的分位点作为标志点。最后，我们将这些标志点处的形状向量解码为对应的SDF，并通过Marching Cubes算法重建网格模型[^32]。这$N_{itpl}$个人造物体便构成了连接源物体与目标物体的路径。 #### 3.3.2 显式接触映射 如图5左侧所示，直接复制手部姿态会失败。我们需要找到源物体、目标物体以及路径上$N_{itpl}$个标志点之间共享的一致信息。与姿态相比，接触区域对形状变形的鲁棒性更强。我们从源物体开始映射接触区域，依次经过$N_{itpl}$个标志点，最终到达目标物体。只要任意两个标志点之间的间隔足够小，我们就可以忽略第i个物体与第$(i+1)$个物体之间的形状差异。接触映射过程如图5所示（不同手指部位的接触区域用不同颜色标注）。在效率与精度之间权衡后，我们通过经验得出$N_{itpl} = 10$便已足够。我们将第i个物体上某个顶点的接触标签映射到第$(i+1)$个物体上与其最接近的顶点。在每一步i（$0 \leq i < N_{itpl}$）中，我们采用迭代最近点（ICP）算法来关联对应的顶点。 #### 3.3.3 迭代姿态优化 在上一个模块中，我们将源物体的交互手部姿态映射到对应的目标物体上。由于 --- ![Image](images/43d62584f419fbe33ec5b6a979add5969b02b6d689db280aa6a85a7bcb397090.jpg)
Figure 5. (Best view in color) Illustration of our Tink pipeline. “Direct pose copy”: copying hand pose ( $\theta$) in source object system to target object without refinement. This pose copying usually suffers from unnatural disjointedness or intersection due to shape variant.
我们将交互知识表示为物体表面的语义信息，即接触区域（参见3.2.3节），因此姿态映射是通过确保源物体与目标物体之间的接触一致性来实现的。我们将姿态映射表述为一个迭代优化过程。优化过程中的变量包括新传输手部的姿态$\theta$、形状$\beta$以及手腕位置$P_{h_0}$。 我们开始将手部表面的锚点吸引到目标物体上对应的接触区域。设手部共17个区域的锚点为$\boldsymbol{A} = \{A_i\}_{i=1}^{17}$，与锚点$A_i$对应的物体表面顶点为$\boldsymbol{V}_h^{(i)} = \{V_{h,j}^{(i)}\}$，而$A_i$与$V_{h,j}^{(i)}$之间的接触程度为$\gamma_{ij}$。接触一致性代价可表示为： $$ E_{\mathrm{c o n s i s}}=\frac{1}{\sum\gamma_{i j}}\sum_{A_{i}}\sum_{V_{\mathrm{b}}^{(i)}}\gamma_{i j}\big\|A_{i}-V_{h,j}^{(i)}\big\|_{2}^{2}, $$ 直接对关节旋转$\theta$进行优化容易导致解剖结构异常。因此我们采用了Yang等人提出的轴向约束方法[^57]，对旋转轴和旋转角度加以限制。设第j个关节旋转的轴向分量和角度分量分别为$a_j$和$\phi_j$，预定义的扭转方向和展开方向分别为$n_j^t$和$n_j^s$。解剖学代价定义为： $$ E_{\mathrm{a n a t}}=\sum_{j\in\mathrm{a l l}}\Big(\boldsymbol{a}_{j}\cdot\boldsymbol{n}_{j}^{t}+\max\big((\phi_{j}-\frac{\pi}{2}),0\big)\Big)+\sum_{j\notin\mathrm{M C P}}\boldsymbol{a}_{j}\cdot\boldsymbol{n}_{j}^{s}, $$ 其中“MCP”指代五个掌骨关节。 为了控制手部与物体之间的相互穿透现象，我们还引入了穿透代价来惩罚那些位于物体内部的手部顶点： $$ E_{\mathrm{i n t p}}=\sum_{V_{h,j}}-\min\Big(\mathrm{S D F}_{\mathcal{O}}(V_{h,j}),0\Big), $$ 其中，$\mathrm{SDF}_{\mathcal{O}}(\cdot)$ 用于计算 3D 手部顶点 $V_{h,j}$ 到物体 SDF：$\mathcal{O}$ 的有符号距离值，该 SDF 在形状插值过程中提供（见第 3.3.1 节）。整个优化问题如下： $$ \begin{array}{r}{V_{h},P_{h}\leftarrow\underset{\theta,\beta,P_{h_{0}}}{\mathrm{a r g m i n}}\big(E_{\mathrm{c o n s i s}}+E_{\mathrm{a n a t}}+E_{\mathrm{i n t p}}\big),}\end{array} $$ 其中涉及 $V_h$、$P_h = \mathcal{M}(\boldsymbol{\theta}, \boldsymbol{\beta}) + P_{h_0}$。我们对每对源物体和目标物体运行 1,000 次迭代。整个流程基于 PyTorch 实现，采用 Adam 求解器。 感知评估。最后，所有迁移后的交互动作会被发送给 5 名志愿者进行感知评估。以源物体及其对应的手部姿态为参考，志愿者需判断目标物体上的手部姿态是否体现出相同的意图且满足视觉合理性。我们仅选取在合理性方面获得 5 名志愿者一致认可的互动样本。 #### 3.4. 数据集分析 在本节中，我们将介绍 OakInk 的统计信息与分析结果。简而言之，我们收集了 12 名受试者执行的 230K 帧图像，这些图像记录了他们与总计 100 个真实物体（属于 32 个类别）进行的多达 5 种意图导向型互动，随后将这些互动迁移到其余 1,700 个虚拟对应物体上。不同的手-物互动总数达到了 50,000 种。我们将基于图像的数据集命名为 OakInk-Image。我们为每个图像序列选取 1 个（或 2 个）具有代表性的手-物互动样本，将其集合称为 OakInk-Core。所有选定并迁移的互动构成了另一个基于几何的数据集：OakInk-Shape。我们在表 1 中与现有的手-物数据集进行了全面比较，并在附录中可视化了手部姿态和接触分布。 图像数据集交叉验证。为了评估 OakInk-Image 的价值，我们在表 2 中进行了跨数据集验证。我们分别基于三个训练集：HO3D、OakInk-Image 以及它们的混合集，训练一个基于图像的 3D 姿态估计模型[^50]，并报告其在 DexYCB 测试集上的手部 MPJPE 数值。我们发现，基于 OakInk-Image（单独使用或与其他数据集混合）训练的模型在 MPJPE 指标上均有稳定提升，这证明了 OakInk-Image 能够补充 HO3D 数据集并改善网络模型性能。 几何数据集质量。为了评估 OakInk-Shape 的质量，我们考察了多个基于物理的指标，这些指标用于评估抓取的可行性与稳定性。我们还将这些指标与其他三个数据集进行比较：FPHAB [^16]、GRAB（GrabNet 子集）[^52] 以及 HO3D [^19]，它们分别代表了三种不同的数据标注方法：主动磁性发射器、被动反射标记以及自动无标记方式。表 3 显示，OakInk-Shape 具备较高的基于物理的质量。 ---
Datasetmod.resolution#frame#subj#obj#views#inten#intactreal / syn.label methodintac. intenobj posedynamic intac.hand-overhand-obj contact.
ObMan [^23]RGBD$256 \times 256$154K203K1--synsimulate✗✓✗✗✗
YCBAfford [^11]RGB-133K1211-367synsimulate✗✗✗✗✗
FPHAB [^16]RGBD$1920 \times 1080$105K6413273realmarker✓✓✓✗✗
HO3D [^19]RGBD$640 \times 480$78K10101-5-68realauto✗✓✓✗✗
ContactPose [^5]RGBD$960 \times 540$2991K5025322.3Krealauto✓✓✗✗✓
GRAB [^52]Mesh-1624K1051-41.3Krealmarker✓✓✓✗✓
DexYCB [^10]RGBD$640 \times 480$582K10208-1Krealcrowd✗✓✓✗✗
H2O [^29]RGBD$1280 \times 720$571K48571.8Krealauto✓✓✓✗✗
Ours OakInk-ImageRGBD$848 \times 480$230K12100451Krealcrowd✓✓✓✓✓
Ours OakInk-ShapeMesh--121,700-549KrealTink✓✓✗✓✓
Table 1. Comparison of our OakInk with the publicly available datasets of hand-object interactions.
TrainTestMPJPE (mm) $\downarrow$
1) HO3DDexYCB55.38
2) OakInk-ImageDexYCB44.81
1) & 2) mixtureDexYCB39.70
Table 2. Cross dataset validation on OakInk-Image
Metrics$^{*} -Core$$^{*} -Shape$FPHABGRABHO3D
Penet. Depth. cm $\downarrow$0.180.111.952.531.16
Solid Intsec. Vol. cm $^{3}$ $\downarrow$1.030.6222.877.612.08
Sim. Disp. Mean cm $\downarrow$0.980.946.602.041.91
Sim. Disp. Std cm $\downarrow$1.741.625.343.172.88
Table 3. Quality assessment of ★(:OakInk)-Shape. To note: evaluation on PFHAB and HO3D are only conducted on frames of hand grasping objects (minimal distance $\leq$ 5 mm).
### 4. 任务与基准测试结果 我们在 OakInk 上对三项现有任务（见 F.1–4.3 节）进行了基准测试，并提出了两项新任务（见 4.4 节）。三项现有任务分别是：3D 手部网格恢复（HMR，见 F.1 节）[^33] [^37]、3D 手-物姿态估计（HOPE，见 4.2 节）[^21] [^53]，以及抓取姿态生成（GraspGen，见 4.3 节）[^52]。两项新任务分别为基于意图的交互生成（IntGen，见 4.4 A 节）和人与人交接生成（HoverGen，见 4.4 B 节）。 #### 4.1. 手部网格恢复 HMR任务旨在从单张图像中估计手部姿态$P_h \in \mathbb{R}^{21 \times 3}$和几何形状$V_h \in \mathbb{R}^{778 \times 3}$。为了在该任务上对OakInk进行基准测试，我们首先生成第3.2节中收集的图像帧的训练/测试划分。我们将这个基于图像的子集称为OakInk-Image。我们随机为每个序列选取一个视角，并将该视角下的所有图像标记为测试序列，其余三个视角则构成训练/验证序列（训练/验证/测试比例为70%/5%/25%）。我们将这种划分称为$\text{SPO}$（默认划分）。接下来，我们对两种HMR方法进行了基准测试：一种是直接的图像到顶点方法：I2L-MeshNet [^37]；另一种是混合运动学方法：HandTailor [^33]。我们使用三个指标来评估这些方法：关节位置误差平均值（MPJPE）、曲线范围内[0, 50毫米]内正确关键点的百分比（AUC），以及手腕相对坐标系中的顶点位置误差平均值（MPVPE）。我们在下文中展示相关结果。 ![Image](images/b18c35f7db58f849a8efd480ab13ab2ef4937beaf855a3c7da5248e03e6425fa.jpg)
Figure 6. Qualitative results of I2L-MeshNet [^37] on HMR task (top row), and Hassen et al. [^21] on HOPE task (bottom row).
SplitsMethodsMPJPE (AUC)MPVPE
SPOI2L MeshNet [^37]12.10 (0.784)12.29
HandTailor [^33]11.20 (0.884)11.75
Table 4. HMR results in mm. AUC are shown in parentheses.
MethodMPJPEMPCPE (all category)$^{*}$MPCPE (per category)
knifelotionmugcamera
Hasson et al. [^21]27.2656.0968.4060.7037.2668.13
Tekin et al. [^53]23.5252.1657.2957.1135.4456.87
Table 5. HOPE results in mm. $*$: only list 4 categories.
表8和图6（顶部行）中展示了SP0测试集的结果。其他划分的更多定量结果详见附录。 #### 4.2. 手-物体姿态估计 HOPE任务旨在从单张图像中同时估计手部姿态$P_h$和物体姿态（旋转$\boldsymbol{R}_o \in \mathrm{SO}(3)$、中心平移$t_o \in \mathbb{R}^3$）。以往的大多数方法都专注于实例级的物体姿态估计。在训练过程中计算损失时，会以网格顶点或角点形式提供的物体模型作为输入。遵循相同的协议，我们在相同的物体上训练和测试神经网络。HOPE任务的训练数据划分采用OakInk-Image SP0。 我们对两种具有代表性的HOPE架构设计进行了基准测试：Tekin等人提出的方法[^53]和Hasson等人提出的方法[^21]。需要注意的是，由于这两种方法的物体姿态输出方式不同，我们在它们的输出端添加了适配层。我们将物体姿态表示为3D物体边界框上的8个定向角点。我们使用两个指标来评估这些方法：MPJPE和角点位置误差平均值（MPCPE），两者均在手腕相对坐标系中衡量。我们在表5和图6（底部行）中展示了测试集结果。 --- ![Image](images/599363a0c97de66327ab94cb719aaf208ba846d74acbce90664aa37555970c41.jpg)
Figure 7. Network architectures. (1). GrabNet; (1)+(2): Intent-based interaction generation; (1)+(3): Handover generation.
#### 4.3. 抓取姿态生成 GraspGen任务旨在生成与给定物体形状交互的多样化手部姿态。现有的GraspGen方法[^24] [^25] [^52]广泛采用了条件VAE[^48]架构来实现这一目的。如图7（1）所示，模型以物体形状（作为BPS [^41] $\in \mathbb{R}^{4096}$）及其交互的手部姿态（$\theta_0$、$P_{h_0}$）作为输入进行训练，并被要求生成与输入手部一致的结果。最终，模型学习到了一种物体条件的手部嵌入空间：$\mathcal{Z}$。然后在测试阶段，给定测试物体后，模型会从其嵌入空间$\mathcal{Z}$中解码出手部姿态。为了对OakInk的GraspGen能力进行基准测试，我们从Oak基础数据中随机选取80%的物体用于训练，10%用于验证，剩余10%用于测试。所有物体模型都与其对应的交互手部姿态配对。我们将这种基于形状的子集称为OakInk-Shape。 我们在GrabNet [^52] 上对OakInk-Shape进行基准测试，GrabNet是一种面向GraspGen的代表性方法。GraspGen的评估指标包含四项：1）穿透深度；2）基于 [^57] 定义的实体相交体积；3）基于 [^23] 定义的模拟位移。为了了解普通用户对生成姿态的看法，我们还按照 [^1]、[^24]、[^25] 中的做法，在Amazon Mechanical Turk上针对网络预测结果开展了4）感知调查 [^52]。我们要求参与者对生成的手部姿态打分，分数范围从1（极度不满意）到5（极度满意）。该感知调查的方案和演示详见附录。我们在表6的第2列中报告了这四项评估结果。 #### 4.4. 两项新型生成任务 以往的GraspGen方法只能生成与意图无关的一般性抓取姿态。在本文中，我们研究了具有两种实用目的的姿态生成：A) 生成符合特定意图的合理姿态；B) 生成用于接收他人所递物体的合理姿态。图7展示了它们的网络设计，具体实现细节请参见附录。 A) 基于意图的交互生成。我们从修改GrabNet的网络设计入手。如图7的(1)+(2)所示，除了物体形状（原始条件）外，我们引入了另一个条件：给定意图的词嵌入。模型借此学习手部嵌入空间的条件。 ![Image](images/dee4a2869e87f8a0377ca4340fcacb41b1bc2d1bbd591823105171f8f6d38b45.jpg)
GrabNet
IntGen (use sth.)
HovprGen
Figure 8. Qualitative results of GrabNet, IntGen and HoverGen on OakInk-Shape. (blue: the generated hand; gray: the giver's hand.)
MetricsGrabNet [^52]IntGenHover Gen
mugtrigger sprayercameralotion bottle
Penet. Depth. cm $\downarrow$0.670.450.711.541.570.62
Solid Intsec. Vol. $cm^{3}$ $\downarrow$6.604.229.9914.3218.046.99
Sim. Disp. Mean cm $\downarrow$1.210.860.692.882.021.30
Sim. Disp. Std cm $\downarrow$2.051.510.814.532.992.03
Percep. score (1,...,5) $\uparrow$3.663.863.933.943.984.03
Table 6. Quantitative results on three generation tasks.
该条件基于形状和意图两个维度定义。测试时，给定测试物体和指定意图，模型会解码出基于意图的交互姿态，如图8中间所示。评估结果见表6。 B) 物品交接生成。我们对GrabNet做了另一项修改，将物体形状以及递物者的手作为条件（图7的(1)+(3)）。模型据此学习如何解码接收者手部姿态，以实现人与人之间的物品交接。我们在表6最后一列和图8右侧展示了针对多个测试物体的评估结果。生成的接收者手部姿态符合我们的预期：接收者的手应避免与递物者的手收回路径发生碰撞或阻碍。 ### 5. 讨论 局限性。目前的OakInk无法记录手部与铰接物体可动部件之间的动态交互（如剪刀），也未考虑将人类手部的交互知识迁移到多指机械臂上。我们将在未来的工作中解决这些局限性。 结论。在这项工作中，我们构建了大规模知识库OakInk，用以帮助机器掌握人类手-物交互的相关知识。OakInk由两个相互关联的知识库——Oak和Ink组成，其中包含丰富的数据和经验。尽管我们仅在计算机视觉和计算机图形学任务上对OakInk进行了基准测试，但我们非常希望将其应用于机器人领域，探索机器人学习的未来可能性。 --- ## 参考文献 [^1]: Amazon Mechanical Turk. [^2]: Dafni Antotsiou, Guillermo Garcia-Hernando, and Tae-Kyun Kim. Task-oriented hand motion retargeting for dexterous manipulation imitation. In ECCV Workshops, 2018. 1 [^3]: Samarth Brahmbhatt, Cush Ham, Charles C. Kemp, and James Hays. ContactDB: Analyzing and Predicting Grasp Contact via Thermal Imaging. In CVPR, 2019. 2 [^4]: Samarth Brahmbhatt, Ankur Handa, James Hays, and Dieter Fox. ContactGrasp: Functional Multi-finger Grasp Synthesis from Contact. In IROS, 2019. 3 [^5]: Samarth Brahmbhatt, Chengcheng Tang, Christopher D Twigg, Charles C Kemp, and James Hays. ContactPose: A dataset of grasps with object contact and hand pose. In ECCV, 2020. 1, 2, 7 [^6]: Berk Calli, Arjun Singh, Aaron Walsman, Siddhartha Srinivasa, Pieter Abbeel, and Aaron M. Dollar. The ycb object and model set: Towards common benchmarks for manipulation research. In ICAR, 2015. 2 [^7]: Zhe Cao, Hang Gao, Karttikeya Mangalam, Qi-Zhi Cai, Minh Vo, and Jitendra Malik. Long-term human motion prediction with scene context. In ECCV, 2020. 2 [^8]: Zhe Cao, Ilija Radosavovic, Angjoo Kanazawa, and Jitendra Malik. Reconstructing hand-object interactions in the wild. In ICCV, 2021. 3 [^9]: Angel X. Chang, Thomas Funkhouser, Leonidas Guibas, Pat Hanrahan, Qixing Huang, Zimo Li, Silvio Savarese, Manolis Savva, Shuran Song, Hao Su, Jianxiong Xiao, Li Yi, and Fisher Yu. ShapeNet: An Information-Rich 3D Model Repository. Technical Report arXiv:1512.03012, Stanford University, Princeton University, Toyota Technological Institute at Chicago, 2015. 2 [^10]: Yu-Wei Chao, Wei Yang, Yu Xiang, Pavlo Molchanov, Ankur Handa, Jonathan Tremblay, Yashraj S. Narang, Karl Van Wyk, Umar Iqbal, Stan Birchfield, Jan Kautz, and Dieter Fox. DexYCB: A benchmark for capturing hand grasping of objects. In CVPR, 2021. 1, 2, 4, 7 [^11]: Enric Corona, Albert Pumarola, Guillem Alenya, Francesc Moreno-Noguer, and Grégory Rogez. Ganhand: Predicting human grasp affordances in multi-object scenes. In CVPR, 2020. 1, 2, 3, 7 [^12]: Thanh-Toan Do, Anh Nguyen, and Ian Reid. Affordancenet: An end-to-end deep learning approach for object affordance detection. In ICRA, 2018. 3 [^13]: Bardia Doosti, Shujon Naha, Majid Mirbagheri, and David Crandall. Hope-net: A graph-based model for hand-object pose estimation. In CVPR, 2020. 2, 3 [^14]: Kuan Fang, Yuke Zhu, Animesh Garg, Andrey Kurenkov, Viraj Mehta, Li Fei-Fei, and Silvio Savarese. Learning task-oriented grasping for tool manipulation from simulated self-supervision. The International Journal of Robotics Research, 2020. 3 [^15]: Guillermo Garcia-Hernando, Shanxin Yuan, Seungryul Baek, and Tae-Kyun Kim. First-person hand action bench 配有RGB-D视频和3D手部姿态标注。载于CVPR 2018会议论文集，第1、2、3页。 [^16]: Guillermo Garcia-Hernando, Shanxin Yuan, Seungryul Baek, and Tae-Kyun Kim. First-person hand action benchmark with rgb-d videos and 3d hand pose annotations. In CVPR, 2018. 6,7 [^17]: James J Gibson. The ecological approach to visual perception: classic edition. Psychology Press, 2014. 3 [^18]: Patrick Grady, Chengcheng Tang, Christopher D Twigg, Minh Vo, Samarth Brahmbhatt, and Charles C Kemp. Contactopt: Optimizing contact to improve grasps. In CVPR, 2021. 5 [^19]: Shreyas Hampali, Mahdi Rad, Markus Oberweger, and Vincent Lepetit. Honnotate: A method for 3d annotation of hand and object poses. In CVPR, 2020. 1, 2, 6, 7 [^20]: Ankur Handa, Karl Van Wyk, Wei Yang, Jacky Liang, Yu Wei Chao, Qian Wan, Stan Birchfield, Nathan D. Ratliff, and Dieter Fox. DexPilot: Vision-based teleoperation of dexterous robotic hand-arm system. In ICRA, 2020. 1, 3 [^21]: Yana Hasson, Bugra Tekin, Federica Bogo, Ivan Laptev, Marc Pollefeys, and Cordelia Schmid. Leveraging photometric consistency over time for sparsely supervised hand-object reconstruction. In CVPR, 2020. 2, 3, 7 [^22]: Yana Hasson, Gül Varol, Ivan Laptev, and Cordelia Schmid. Towards unconstrained joint hand-object reconstruction from rgb videos. In arXiv preprint arXiv:2108.07044, 2021. [^23]: Yana Hasson, Gul Varol, Dimitrios Tzionas, Igor Kalevatykh, Michael J Black, Ivan Laptev, and Cordelia Schmid. Learning joint reconstruction of hands and manipulated objects. In CVPR, 2019. 1, 2, 3, 4, 7, 8 [^24]: Hanwen Jiang, Shaowei Liu, Jiashun Wang, and Xiaolong Wang. Hand-object contact consistency reasoning for human grasps generation. In ICCV, 2021. 2, 8 [^25]: Korrawe Karunratanakul, Jinlong Yang, Yan Zhang, Michael J Black, Krikamol Muandet, and Siyu Tang. Grasping field: Learning implicit representations for human grasps. In 3DV, 2020. 2, 3, 8 [^26]: Hiroharu Kato, Yoshitaka Ushiku, and Tatsuya Harada. Neural 3d mesh renderer. In CVPR, 2018. 12 [^27]: Mia Kokic, Danica Kragic, and Jeannette Bohg. Learning task-oriented grasping from human activity datasets. IEEE Robotics and Automation Letters (RAL), 2020. 3 [^28]: Mia Kokic, Johannes A Stork, Joshua A Haustein, and Danica Kragic. Affordance detection for task-specific grasping using deep learning. In Humanoids, 2017. 3 [^29]: Taein Kwon, Bugra Tekin, Jan Stuhmer, Federica Bogo, and Marc Pollefeys. $H_{2}O$: Two hands manipulating objects for first person interaction recognition. In ICCV, 2021. 1, 2, 3, 7 [^30]: Kailin Li, Lixin Yang, Xinyu Zhan, Jun Lv, Wenqiang Xu, Jiefeng Li, and Cewu Lu. ArtiBoost: Boosting articulated 3d hand-object pose estimation via online exploration and synthesis. In CVPR, 2022. 1, 3 ## [^31]: Shaowei Liu, Hanwen Jiang, Jiarui Xu, Sifei Liu, and Xiaolong Wang. Semi-supervised 3d hand-object poses estimation with interactions in time. In CVPR, 2021. 2, 3 --- [^32]: William E Lorensen and Harvey E Cline. Marching cubes: A high resolution 3d surface construction algorithm. ACM Siggraph Computer Graphics, 1987. 5 [^33]: Jun Lv, Wenqiang Xu, Lixin Yang, Sucheng Qian, Chongzhao Mao, and Cewu Lu. HandTailor: Towards high-precision monocular 3d hand recovery. In BMVC, 2021. 7, 13 [^34]: A.T. Miller and P.K. Allen. Graspit! a versatile simulator for robotic grasping. IEEE Robotics Automation Magazine, 2004. 1 [^35]: George A Miller. Wordnet: a lexical database for english. Communications of the ACM, 1995. 3 [^36]: Kaichun Mo, Leonidas Guibas, Mustafa Mukadam, Abhinav Gupta, and Shubham Tulsiani. Where2act: From pixels to actions for articulated 3d objects. In ICCV, 2021. 1, 3 [^37]: Gyeongsik Moon and Kyoung Mu Lee. I2l-meshnet: Image-to-pixel prediction network for accurate 3d human pose and mesh estimation from a single rgb image. In ECCV, 2020. 7, 13 [^38]: Jeong Joon Park, Peter Florence, Julian Straub, Richard Newcombe, and Steven Lovegrove. Deepsdf: Learning continuous signed distance functions for shape representation. In CVPR, 2019. 5 [^39]: Mathis Petrovich, Michael J. Black, and Gül Varol. Action-conditioned 3D human motion synthesis with transformer VAE. In ICCV, 2021. 2 [^40]: Tu-Hoa Pham, Nikolaos Kyriazis, Antonis A Argyros, and Abderrahmane Kheddar. Hand-object contact force estimation from markerless visual tracking. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017. 2 [^41]: Sergey Prokudin, Christoph Lassner, and Javier Romero. Efficient learning on point clouds with basis point sets. In ICCV, 2019. 8 [^42]: Yuzhe Qin, Yueh-Hua Wu, Shaowei Liu, Hanwen Jiang, Ruihan Yang, Yang Fu, and Xiaolong Wang. DexMV: Imitation learning for dexterous manipulation from human videos. In arXiv preprint arXiv:2108.05877, 2021. 1 [^43]: Ilija Radosavovic, Xiaolong Wang, Lerrel Pinto, and Jitendra Malik. State-only imitation learning for dexterous manipulation. In IROS, 2020. 3 [^44]: Grégory Rogez, James S. Supancic, and Deva Ramanan. Understanding everyday hands in action from RGB-D images. In ICCV, 2015. 1 [^45]: Javier Romero, Dimitrios Tzionas, and Michael J Black. Embodied hands: Modeling and capturing hands and bodies together. ACM Transactions on Graphics, 2017. 4, 11 [^46]: Dandan Shan, Jiaqi Geng, Michelle Shu, and David Fouhey. Understanding human hands in contact at internet scale. In CVPR, 2020. 1 [^47]: Tomas Simon, Hanbyul Joo, Iain Matthews, and Yaser Sheikh. Hand keypoint detection in single images using multiview bootstrapping. In CVPR, 2017. 4 [^48]: Kihyuk Sohn, Honglak Lee, and Xinchen Yan. Learning structured output representation using deep conditional generative models. In NIPS, 2015. 8 [^49]: Halit Bener Suay and Emrah Akin Sisbot. A position generation algorithm utilizing a biomechanical model for robot-human object handover. In ICRA, 2015. 3 [^50]: Xiao Sun, Bin Xiao, Fangyin Wei, Shuang Liang, and Yichen Wei. Integral human pose regression. In ECCV, 2018. 6 [^51]: Subramanian Sundaram, Petr Kellnhofer, Yunzhu Li, Jun-Yan Zhu, Antonio Torralba, and Wojciech Matusik. Learning the signatures of the human grasp using a scalable tactile glove. Nature, 2019. 2 [^52]: Omid Taheri, Nima Ghorbani, Michael J Black, and Dimitrios Tzionas. GRAB: A dataset of whole-body human grasping of objects. In ECCV, 2020. 1, 2, 5, 6, 7, 8, 12 [^53]: Bugra Tekin, Federica Bogo, and Marc Pollefeys. H+O: Unified egocentric recognition of 3d hand-object poses and interactions. In CVPR, 2019. 2, 7 [^54]: Dimitrios Tzionas, Luca Ballan, Abhilash Srikantha, Pablo Aponte, Marc Pollefeys, and Juergen Gall. Capturing hands in action using discriminative salient points and physics simulation. International Journal of Computer Vision, 2016. 3 [^55]: Dimitrios Tzionas and Juergen Gall. 3d object reconstruction from hand-object interactions. In ICCV, 2015. 3 [^56]: Laurens van der Maaten and Geoffrey Hinton. Visualizing data using t-sne. Journal of Machine Learning Research, 2008. 12 [^57]: Lixin Yang, Xinyu Zhan, Kailin Li, Wenqiang Xu, Jiefeng Li, and Cewu Lu. CPF: Learning a contact potential field to model the hand-object interaction. In ICCV, 2021. 2, 5, 6, 8, 12 [^58]: Wei Yang, Chris Paxton, Maya Cakmak, and Dieter Fox. Human grasp classification for reactive human-to-robot handovers. In IROS, 2020. 3 [^59]: Ruolin Ye, Wenqiang Xu, Zhendong Xue, Tutian Tang, Yanfeng Wang, and Cewu Lu. H2O: A benchmark for visual human-human object handover analysis. In ICCV, 2021. 1, 2 [^60]: Shanxin Yuan, Qianru Ye, Björn Stenger, Siddhant Jain, and Tae-Kyun Kim. Bighand2.2m benchmark: Hand pose dataset and state of the art analysis. In CVPR, 2017. 2 ## [^61]: Tianqiang Zhu, Rina Wu, Xiangbo Lin, and Yi Sun. Toward human-like grasp: Dexterous grasping via semantic representation of object-hand. In ICCV, 2021. 1, 2 --- ### OAKINK #### 用于理解手-物体交互的大规模知识库 #### 附录 A. Oak基础细节； B. 数据标注细节； C. 更多数据集分析； D. 实现：IntGen和HoverGen； E. 生成任务的感知调查； F. 额外的基准测试结果； F.1 手部网格恢复：其他划分； F.2 未见过的域外物体； F.3 更多可视化结果； G. 关于个人可识别数据的讨论； #### A. Oak基础细节 在本节中，我们介绍了物体可供性知识库（Oak基础）的详细信息，包括表7中所列的共32个类别和30个属性短语。 #### B. 数据标注细节 本节是对第3.2.3节“手部姿态与几何”的补充。基于手动标注的2D手部关键点，我们的目标是求解3D手部的姿态$\boldsymbol{\theta} \in \mathbb{R}^{16 \times 3}$、形状$\boldsymbol{\beta} \in \mathbb{R}^{10}$参数以及手腕位置$\boldsymbol{P}_{h,0} \in \mathbb{R}^{3}$。这些参数将通过可微分的MANO层驱动3D手部模型：$\mathcal{M}(\cdot)$ [^45]： $$ \boldsymbol{V}_{h},\boldsymbol{P}_{h}=\mathcal{M}(\boldsymbol{\theta},\boldsymbol{\beta})+\boldsymbol{P}_{h,0} $$ 其中$P_h \in \mathbb{R}^{21 \times 3}$是手部关节的3D位置，$V_h \in \mathbb{R}^{778 \times 3}$是手部网格顶点的3D位置。用于求解$\theta$、$\beta$和$P_{h,0}$的目标代价函数包含5个项。 重投影误差。首先，我们希望3D手部关节$P_{h}$的2D投影能与其2D关键点标注$\hat{p}$相匹配。设下标j和v分别表示关节ID和视角ID，则重投影代价为： $$ E_{\mathrm{repj}}=\frac{1}{\sum w_{j,v}}\sum_{v=1}^{4}\sum_{j=1}^{21}w_{j,v}\Big\|\boldsymbol{K}_{v}\boldsymbol{T}_{v}\boldsymbol{P}_{h,j}-\hat{\boldsymbol{p}}_{j,v}\Big\|_{2}^{2} $$
maniptoolknife, screwdriver, hammer, wrench, toothbrush, pen, frying pan, drill, pincer, scissors, stapler, mug, teapot, cup, can, box, bowl, wineglass, cylinder bottle, trigger sprayer, lotion bottle
functooleyeglasses, headphones, binoculars, game controller, lightbulb, camera, flashlight, mouse, phone, apple, banana, donut
Attribute phrasescontain sth, cover sth, pump out sth, cut sth, stab sth, flow in/out sth, tighten sth, loosen sth, clamp sth, brush sth, trigger sth, observe sth, point to sth, shear sth, attach to sth, connect sth, knock sth, spray sth, no function; hold by sth, screwed by sth, unscrewed by sth, pressed by sth, handled by sth, plug by sth, unplug by sth, squeeze by sth, pour out by sth
Table 7. The categories and attribute phrases in our Oak base
来自$E_{\mathrm{repj}}$的梯度会反向传播至$P_h$，进而更新$\theta$、$\beta$和$P_{h,0}$。 几何一致性。其次，我们希望手和物体的3D几何模型能与现实世界的观测结果一致：即不会出现相互穿透的情况。因此，我们引入第二个代价函数：穿透损失。我们从扫描模型中获取物体的符号距离场：$\mathcal{O}$，将$\mathcal{O}$的姿态从动作捕捉系统转换到相机系统，然后计算3D手部顶点$V_{h,i}$到$\mathcal{O}$的符号距离值。穿透代价会对位于物体表面内部的手部顶点（符号距离值为负）进行惩罚。 $$ E_{\mathrm{i n t p}}=\sum_{V_{h,i}}-\min\Big(\mathbf{S D F}_{\mathcal{O}}(\mathbf{V}_{h,i}),0\Big), $$ 来自$E_{\mathrm{intp}}$的梯度会反向传播至每个$V_{h,i}$，进而更新$\theta$、$\beta$和$P_{h,0}$。 轮廓约束。第三，我们希望手和物体模型的轮廓投影能与视觉线索相匹配。 --- 因此，我们引入了二元轮廓代价。我们首先从记录的图像中获取手和物体的二元掩码$(B_h$和$B_o$。这一过程是自动完成的。我们通过绿幕和深度图像抠图过滤掉背景像素，剩余的前景像素就是$B_h$和$B_o$的并集。接着，我们将3D手部和物体网格渲染到图像上形成轮廓，并对渲染出的轮廓与二元掩码之间的逐像素对齐误差进行惩罚。 $$ E_{\mathrm{sh}}=\sum_{\mathrm{all~pix.}}\underbrace{f(\mathcal{V}_{o}\cup\mathcal{V}_{h})}_{\mathrm{detached}}\cap B C E\Big\{f(\mathcal{V}_{o}\cup\mathcal{V}_{h}),(\mathcal{B}_{h}\cup\mathcal{B}_{o})\Big\} $$ 在这个方程中，$f(\cdot)$ 是一个可微的渲染函数[^26]；$(\mathcal{V}_o \cup \mathcal{V}_h)$ 是手部$\mathcal{V}_h$与物体$\mathcal{V}_o$的复合网格模型；$f(\mathcal{V}_o \cup \mathcal{V}_h)$ 是手部与物体模型的渲染轮廓图像；$(\mathcal{B}_h \cup \mathcal{B}_o)$ 是手部与物体的二值掩码的并集；而$BCE\},$ 则是二元交叉熵损失函数。来自$E_{\text{sh}}$ 的梯度会反向传播至$\mathcal{V}_h$，进而更新$\theta$、$\beta$以及$P_{h,0}$。 解剖学约束。接下来，我们希望MANO手部姿态能够满足人类手部的解剖学约束。因此，我们借鉴了Yang等人提出的轴向适应方法[^57]，对旋转轴和角度加以约束。 $$ E_{\mathrm{a n a t}}=\sum_{j\in\mathrm{a l l}}\left(\boldsymbol{a}_{j}\cdot\mathbf{n}_{j}^{t}+\max\left((\phi_{j}-\frac{\pi}{2}),0\right)\right)+\sum_{j\notin\mathrm{M C P}}\boldsymbol{a}_{j}\cdot\mathbf{n}_{j}^{s}, $$ 其中，$a_j$和$\phi_j$分别表示第j个关节旋转的轴向和角向分量，$\mathbf{n}_j^t$和$\mathbf{n}_j^s$是预定义的扭转与展开方向，而“MCP”则指代五个掌骨关节。来自$E_{\text{anat}}$的梯度会反向传播至每个关节的轴角参数，进而更新$\theta$。 时间平滑处理。上述代价函数只能提升每帧3D手部标注的精度，但帧与帧之间的平滑性对于提高标注质量同样至关重要。因此，我们希望求解出的3D手部姿态在时间域上保持连续。我们采用低通滤波器（如卡尔曼滤波器）对整个图像序列中的姿态$\theta$及手腕位置$P_{h,0}$进行后处理。 #### C. 更多数据集分析 手部姿态分布。我们将交互手部姿态投影到由t-SNE生成的嵌入空间中[^56]。源自同一OakInk-Core姿态的姿态会被标记为同一种颜色。从图9中的方框可以看出，针对不同物体的相似交互手部姿态在二维嵌入空间中彼此相邻；从图9中的圆圈可知，不同的抓取类型彼此之间相距较远。 ![Image](images/53005a66ccf77574fe713614d6a7695e5526f808d4811b1260d30606b48c2c07.jpg)
Figure 9. t-SNE embedding of hand poses. We randomly select 20 colors to visualize the clustered poses.
接触分布。我们提供了示例物体上的接触热图，用以展示所有交互场景中的接触频率。图10展示了六种Oak基础类别上的此类热图。我们发现，代表高接触频率的“热点”区域（红色）与我们描述的物体可供性相一致。 ![Image](images/0cdf8c3ecb93fea95366a7ec167788e20b282d4e282db416e1f346fe2934d414.jpg)
Figure 10. Heatmaps of contact frequency on object surface.
#### D. 实现：IntGen与HoverGen IntGen（图12）和HoverGen（图13）模型的架构是在原始的GrabNet设计基础上修改而来的[^52]（图11）。 ![Image](images/a962cde16fe69dfc87cb9f57ffcd81b81e02e1b0731a56b369ba9a64fa66ac9b.jpg)
Figure 11. GrabNet [^52]: the original design.
在IntGen任务中，我们选取了三种意图：使用、握持和递送，将这些意图对应的词串映射为实值词向量，并将意图向量作为额外输入来训练网络。训练期间，不同意图下的姿态会被映射到潜在姿态空间中的不同区域：$\mathcal{Z} \in \mathbb{R}^{16}$。IntGen的训练损失函数与GrabNet中的一致，包括标准的条件VAE损失（KL散度与权重正则化）、网格重建损失（手部顶点与网格边缘损失）以及物理质量损失（穿透与接触损失）。我们在OakInk-Shape的类别级数据上训练IntGen，涉及马克杯、相机、喷雾瓶和乳液瓶等物体。训练过程共进行1,000个周期，小批量大小为32，初始学习率为__ PH_MATH_000189__。 --- 为 $1 \times 10^{-3}$。学习率每 200 个 epoch 衰减为原来的 0.5。 ![Image](images/66c958800d0216e226a90179a607d3917abb190f23f043d44082736f03066a16.jpg)
Figure 12. IntGen: the intent-based grasp generation network design.
如图13所示，在HoverGen任务中，我们将施予者手部的根部旋转：$\theta_0^*$与根部位置：$P_{h,0}^*$作为CoarseNet的额外输入；同时将原始施予者手部到预测出的接收者手部之间的倒角距离：$D_{hh} \in \mathbb{R}^{778}$作为RefineNet的额外输入。最终，HoverGen模型学习到了以物体形状与施予者手部根部姿态为条件的接收手嵌入空间$\mathcal{Z}$。在推理阶段，给定未见过的物体形状以及施予者手部根部姿态：$(\theta_0^*, P_{h,0}^*,)$后，我们会从$\mathcal{Z}$中采样一个向量，并解码出接收手姿态，从而完成人与人之间的物品传递。HoverGen模型的训练损失包含了IntGen模型中的所有损失，再加上关于倒角距离$D_{hh}$的L1损失，该倒角距离是原始施予者手部到真实接收者手部之间的距离$\hat{D}_{hh}$。我们采用初始学习率为$1 \times 10^{-3}$的设置，对HoverGen模型训练1000个周期，每个小批量样本大小为256，且每训练200个周期学习率会减半。 ![Image](images/dd88019a3ce43690da407079e502ae800d4916bc6482f4e462ef629894cafbad.jpg)
Figure 13. HoverGen: the handover generation network design. The giver's hand is paint in gray and the receiver's hand in blue.
##### E. 生成任务的感知调查 为了了解普通受众对GrabNet、IntGen和HoverGen这些生成任务所预测出的姿态的看法，我们在Amazon Mechanical Turk（AMT）平台上开展了三项感知调查。每项调查中，我们会展示每种手-物交互的预测结果对应的四个视角，并要求受众针对某一陈述（例如“手部与物体的互动很自然”）发表意见。受众需使用五级李克特量表对该陈述进行评分（“完全同意”对应等级5，“完全不同意”对应等级1）。GrabNet、IntGen和HoverGen的感知调查布局如图15所示。 ##### F. 额外的基准测试结果 ##### F.1. 手部网格恢复：其他数据划分 除了正文中的默认划分SPO（按视角划分）外，我们还提供了另外两种数据划分方式，以及OakInk-Image的HMR基准测试结果。 • SP1（受试者划分）。（训练/验证/测试：6/1/5）。我们按照受试者对OakInk-Img数据进行划分。测试集中出现的受试者在训练集中不会出现。 • SP2（物体划分）。（训练/测试：70%/5%/25%）。我们按照物体对OakInk-Img数据进行划分。测试集中被抓取的物体在训练集中不会出现。
SplitsMethodsMPJPE $\downarrow$ (AUC $\uparrow$)MPVPE $\downarrow$
SP1I2L-MeshNet [^37]18.04 (0.641)18.08
HandTailor [^33]15.72 (0.792)16.31
SP2I2L-MeshNet [^37]15.79 (0.733)15.87
HandTailor [^33]14.14 (0.846)14.81
Table 8. HMR results in mm. AUC are shown in parentheses.
#### F.2. 未见过的域外物体 我们将OakInk-Shape测试集中的物体称为未见过的域内物体，意味着它们可能在训练集中有相似的对应物。在这部分内容中，我们也关注我们的生成任务在未见过的域外物体上的表现。我们选择斯坦福兔子这一常见的3D测试模型作为域外物体的示例原型。我们在斯坦福兔子上测试了GrabNet和HoverGen模型，并在图14中展示了生成的抓取姿态与接收姿态。GrabNet和HoverGen模型都是在我们的OakInk-Shape训练集上训练的。结果表明，通过在OakInk-Shape上训练，GrabNet和HoverGen能够为通用物体合成逼真的可抓取交互效果。 ![Image](images/428201bfe7d77ef4046dae97983d25cb5e3ec63b95d272982feba7426e5d9971.jpg) ![Image](images/bb7e1703757695160c0bb7f44b6ceec315fb10b22a757704a1add4cc066b205a.jpg)
Figure 14. Generation results on unseen out-of-domain objects.
--- #### F.3. 更多可视化结果 我们在图16中展示了HMR任务的更多定性基准测试结果，在图17中展示了HOPE任务的结果，在图18顶部展示了GraspGen（GrabNet）的结果，中间展示了IntGen的结果，底部展示了HoverGen的结果。 #### G. 关于个人可识别数据的讨论 我们通过一家第三方众包公司招募了12名受试者，收集他们与物体交互的数据。在采集过程中，MulCam系统会记录他们的动作并生成视频序列。我们通过以下声明确保数据采集过程符合伦理要求： - 该第三方众包公司保证已获得相应的IRB批准（或根据当地政府要求取得的等效批准）。基于匿名提交准则，公司名称及相关保证信息不予公开。 - 所有参与数据采集的受试者必须与第三方众包公司签署合同，合同中包含肖像使用权许可、数据使用确认以及支付条款等内容。数据采集期间，所有受试者将按小时获得报酬。 • 所有参与数据采集过程的受试者均确认：所采集的数据仅用于学术及经许可的商业用途。 - 我们确保所有参与数据采集过程的受试者愿意分享其个人相关数据，包括动作、肤色、身体/手部形态等。 - 我们要求所有受试者在数据采集期间不得穿着暴露或具有冒犯性的服装。 - 数据集发布时，我们会对数据集中的所有样本进行脱敏处理：模糊处理受试者面部（如有）、纹身、戒指或其他可能泄露其身份信息的饰品。 --- ![Image](images/17027e6e7f0b2c091690f1c2da266cdd3256324aae12873169292faed67919be.jpg) #### 图15. AMT上的三项感知调查布局 左侧：GrabNet（说明：手部与物体的交互自然）； 中间：IntGen（说明：蓝色手部自然地使用物体）； 右侧：HoverGen（说明：蓝色手部从灰色手部处执行自然的接收动作） --- ![Image](images/7911099d29d96d9013e9fcc008c915b47b1251a98f4064a7df4ba053e9cbacf1.jpg)
Figure 16. More qualitative results on HMR task.
![Image](images/50ed23997a5cbf2c1884c32584d1c9c02887f4372bba2a2702ab20c01747ac85.jpg)
Figure 17. More qualitative results on HOPE task.
--- ![Image](images/4820e555155b985f4c287926584bf331f5957a901e52321e2e135c406f5d9724.jpg)
Figure 18. More qualitative results on GrabNet, IntGen and HoverGen predictions.