# GRAB：一个全身人类抓取物体的数据集 Omid Taheri $^{\boxed{}}$、Nima Ghorbani、Michael J. Black和Dimitrios Tzionas 马克斯·普朗克智能系统研究所，德国图宾根、斯图加特 {otaheri,nghorbani,black,dtzionas}@tuebingen.mpg.de 摘要：要让计算机能够理解、建模并合成人类的抓取行为，就需要一个包含复杂3D物体形状、详细接触信息、手部姿态与形状，以及随时间变化的3D身体运动数据的丰富数据集。虽然“抓取”通常被认为是一只手稳定地提起物体，但我们记录了整个身体的运动，并采用了“全身抓取”这一广义概念。因此，我们收集了一个名为GRAB（GRasping Actions with Bodies）的新数据集，其中包含了10名受试者与51种形状和大小各异的日常物品互动时的全身抓取数据，涵盖完整的3D形状和姿态序列。借助动作捕捉标记，我们能够拟合出包括关节化的面部和手部在内的完整3D身体形状与姿态，以及3D物体姿态。由此可得到随时间变化的详细3D网格，进而计算出身体与物体之间的接触情况。这是一个独一无二的数据集，远远超越了现有用于建模和理解人类如何抓取及操控物体、全身如何参与以及不同任务下互动差异的数据集。我们通过一个应用实例展示了GRAB的实际价值：我们训练了GrabNet这一条件生成网络，用以预测未见过的3D物体形状对应的3D手部抓取形态。该数据集及相关代码可供研究用途，获取地址为。 ## 1 引言计算机视觉的一个关键目标是从视频中估算人与物体的交互情况，从而帮助理解人类行为。实现这一目标需要强大的交互模型，而学习该模型又需要数据。然而，采集这类数据并非易事。抓取过程既包含大幅度的动作，也包含细微的动作，因为人类会动用全身以及灵巧的手指动作来操控物体。因此，物体会与多个身体部位接触，而不只是手部。用图像来捕捉这类接触区域十分困难，因为这些区域会被遮挡。不过，压力传感器或其他物理仪器也并非完美的解决方案，因为它们可能会干扰自然的人机交互，且无法捕捉全身运动。因此，目前还没有包含全身运动、3D身体形状以及详细身体-物体接触的复杂人机交互数据集。为了填补这一空白，我们采集了一个全新的数据集，记录全身3D人类与3D物体动态互动的情况，如图1所示。通过精准追踪3D身体和物体的形状，我们能够推断出接触情况，从而得到比现有抓取数据集更详尽、更丰富的数据。 --- 涉及全身运动、3D人体形状以及详细的人体-物体接触情况的“人-物交互”。为了填补这一空白，我们采集了一组全新数据集，其中记录了全身3D人体与3D物体之间的动态交互过程，如图1所示。通过精准追踪人体和物体的3D形状，我们能够分析其中的接触情况，从而生成比现有抓取数据集更为详尽且丰富的数据集。 ![Image](images/803125d7ca373761908d3eba3ef98aa8ce3bf8bba3b6462356d95aa2e7a7fb20.jpg)

Fig. 1. Example “whole-body grasps” from the GRAB dataset. A “grasp” is usually thought of as a single hand interacting with an object. Using objects, however may involve more than just a single hand. From left to right: (i) passing a piggy bank, (ii) eating a banana, (iii) looking through binoculars, (iv) using a hammer, (v) drinking from a bowl. Contact between the object and the body is shown in red on the object; here contact areas are spatially extended to aid visualization. See the video on our website for a wide range of sequences with various objects and intents. (Color figure online)

以往的大多数研究都聚焦于可握持的“抓取”行为[^43]，即一只人手稳定地提起或使用物体。然而，手部只是其中的一部分。例如，婴儿最早的抓取行为就是将物体送到嘴边[^58]。再比如图1右侧所示的用碗喝水的例子：为了做到这一点，我们必须调整身体姿势以便够到碗，转动头部看清它，移动手臂和手来稳定地提起碗，然后将其送到嘴边，让嘴唇与之接触，最后倾斜头部喝水。正如该图及其他示例所展示的那样，人类对日常物品的抓取和使用涉及全身。这类互动本质上是三维的，物体会与多个身体部位接触。数据集。相较于单手-物体抓取[^25] [^4] [^37] [^3] [^10]，这种全身抓取[^14]所受到的关注要少得多[^27] [^43]。为了建模此类抓取行为，我们需要一个记录人体与各类物体交互过程的数据集，该数据集需能捕捉人体及物体的完整3D表面信息。为解决这一问题，我们采用了最新的动作捕捉技术，构建了一个名为GRAB（“带人体的抓取动作”之意）的全新丰富数据集。具体而言，我们对MoSh++[^38]进行了两方面的改进：首先，MoSh++能够根据动作捕捉标记点估算人体和双手的3D形状与运动；在此基础之上，我们进一步将其扩展至包含面部运动信息的捕捉。为了进一步提升…… --- 为了提升准确性，我们首先对每个受试者进行3D扫描，并将SMPL-X人体模型 [^46] 拟合到扫描结果上。随后利用MoSh++来还原身体、双手及面部的姿态。需要注意的是，面部在诸多交互场景中至关重要；如图1（从左数第二个）所示，嘴巴张开是为了吃香蕉。其次，我们还能精确捕捉受试者在操作3D物体时的运动情况。为此，我们在物体上放置小型半球形标记物，并证实这些标记物不会影响抓取行为。最终，我们获得了物体与人体在交互过程中的详细3D网格模型——该模型包含完整身体、可活动的手指以及面部细节，如图1所示。借助这些网格模型，我们便能推断出物体与人体的接触区域（图1中的红色区域）。与 [^5] 不同，该方法不仅能确定接触情况，还能获取随时间变化的全身及手部姿态。交互过程具有动态性，包括手持操作与重新抓取等行为。GRAB数据集收录了10名受试者（5男5女）与 [^5] 中列出的51个物体之间的交互数据。根据物体的可用性与功能差异，交互发生在四种不同情境下：提起、递送、从一只手传递到另一只手以及使用。应用场景。GRAB在多个领域都有重要应用价值。首先，我们展示了如何利用GRAB来深入了解日常场景中的手与物体的接触情况。其次，训练模型以实现对三维物体的抓取这一需求备受关注[^59]。因此，我们利用GRAB来训练条件变分自编码器（cVAE），从而为未见过的三维物体生成合理的抓取姿势。给定一个姿态随机的三维物体，我们能够预测出适合抓取该物体的手部参数（手腕姿态和手指关节角度）。为了编码任意三维物体形状，我们采用了最新的基点集（BPS）表示方法[^52]，其固定大小的特性非常适合神经网络处理。接着，以新的三维物体形状为条件，我们从学习到的潜空间中采样，进而生成该物体的手部抓取姿势。我们通过定量和定性方式对生成的抓取姿势进行评估，结果显示它们看起来十分自然。总而言之，本研究做出了以下贡献：（1）我们推出了一个独特的数据集，能够捕捉三维物体的真实“全身抓取”过程，包括人体全身运动、物体运动、手中操控以及重新抓取行为；（2）为了获取这些数据，我们对MoSh++算法进行了改进，用以求解SMPL-X模型中的身体、面部和手部参数，从而得到详细的运动三维网格；（3）利用这些网格以及追踪到的三维物体数据，我们计算出物体与人之间的合理接触情况，并对观察到的模式进行了分析；（4）我们通过训练一种新型条件神经网络来为未见过的三维物体生成三维手部抓取姿势，从而证明了本数据集在机器学习领域的应用价值。该数据集、模型和代码已发布于，供研究使用。 ## 2 相关工作手部抓握：手在抓取和操控物体方面起着至关重要的作用。因此，许多研究致力于理解各种抓握方式并定义相应的分类体系 $[3,10,14,27,43,51]$。这些研究探讨了物体的形状以及抓握的目的。 --- 抓握方式 [^10]、通过物体在墨水中留下的痕迹来获取手部接触区域信息 [^27]、利用集成数据手套 [^3] 和触觉手套 [^11] 获取的姿势与接触区域数据 [^51]，或是物体与手指的接触数量及拇指位置 [^14]。这些研究的关键在于精准捕捉手部姿势、手与物体的相对位置关系以及接触区域。全身抓握：人们通常不止使用一只手来与物体互动。然而，关于这一主题的文献资料并不多 [^4] [^25]。Borras等人 [^4] 利用动作捕捉数据 [^39] 记录了人们与多接触点场景互动的情况，并提出了针对此类全身抓握的身体姿势分类体系。Hsiao等人 [^25] 则专注于模仿学习，他们建立了一个包含人类远程操控模拟机器人时的全身抓握演示数据库。尽管这些研究方向正确，但它们使用的是不切实际的人形模型以及简单物体 [^4] [^25] 或合成物体 [^25]。相比之下，我们采用SMPL-X模型 [^46] 来捕捉“全身”、面部以及手部精细动作之间的交互情况。利用动作捕捉技术记录交互过程：动作捕捉技术常被用于记录、合成或评估人类与场景的交互行为。Lee等人 [^36] 记录了三维身体骨骼与三维场景的交互过程，并展示了如何在新场景中合成新的动作。Wang等人 [^73] 记录了三维身体骨骼与大型几何物体的交互情况。Han等人 [^20] 提出了一种自动标记手部标记点的方法，以加快虚拟现实环境中的手部追踪速度。Le等人 [^35] 记录了手与手机的交互过程，用以研究“舒适区域”；Feit等人 [^13] 则记录了双手与键盘的交互情况，以分析打字模式。其他研究 [^34] [^49] 侧重于图形应用领域。Kry等人 [^34] 记录了手与装有力传感器的三维形状基元的交互过程。Pollard等人 [^49] 记录了手部的运动，以此训练基于物理的抓握控制器。Mandery等人 [^39] 的研究介于上述工作之间，他们记录了人类与大型及手持物体的交互过程，但未涉及面部和手指的细节。以往的研究均未能同时捕捉完整的三维身体、手部和面部，以及三维物体操控和接触情况。接触点捕捉：捕捉人与物体的接触情况十分困难，因为人体和物体会相互遮挡。一种方法是使用触觉和压力传感器进行仪器测量，但这可能会干扰自然抓取动作。Pham等人[^47]会在物体上预先设定接触点以安装力传感器。近期触觉传感器的进步使得触觉模式和手持物体的识别更加精准[^65]。有些方法[^3]采用数据手套[^11]搭配嵌入式触觉手套[^51] [^67]，但这种组合较为复杂，且两种模态难以同步。微观领域的触觉传感器[^16]在[^26]中被提出，但难以在人体手上使用。Mascaro等人[^40]则利用微创摄像头来检测指甲颜色的变化。Brahmbbatt等人[^5]使用热成像相机直接观察手在所抓物体上留下的“热印迹”。不过，他们仅能捕捉持续时间足够长、足以发生热传递的静态抓取动作。 --- 因此，即便是那些能捕捉真实人手与物体[^15] [^19]或身体与场景[^23] [^61]交互的最新数据集，也避免直接测量接触情况。三维交互模型：学习人与物体交互的模型对图形学和机器人领域而言十分有用，它既能帮助虚拟形象[^12] [^63]或机器人[^21]与周围环境互动，也能辅助视觉系统[^18] [^42]从模糊数据中重建交互过程。然而，这其实是个先有鸡还是先有蛋的问题：要采集或合成用于训练模型的数据，首先就需要这样一个模型。正因如此，学界长期以来一直采用依赖接触原理和物理规律的人工设计方法，来处理身体与场景[^6] [^22] [^23] [^57] [^76]、身体与物体[^30] [^32] [^37]，或是手与物体[^24] [^45] [^54] [^55] [^62] [^68] [^69] [^72] [^77] [^78]的交互场景。这些方法对接触点的计算较为近似：当把人建模为三维骨骼[^30] [^37]或形状基元[^6] [^32] [^62]时，计算结果可能不够精确；而若使用三维网格，无论是通用型[^54] [^68]、个性化[^22] [^57] [^69] [^72]，还是基于三维统计模型的网格[^23] [^24]，计算结果则相对准确。为了收集训练数据，一些研究[^54] [^55]采用合成的Poser [^50]手部模型，通过手动调整来抓取三维形状基本体。接触点和作用力也通过三维网格的邻近性和相互穿透关系进行标注[^54]。相比之下，Hasson等人[^24]利用机器人学方法GraspIt [^41]自动为ShapeNet [^56]物体生成3D MANO [^7]抓取姿态，并渲染手与物体交互的合成图像。不过，GraspIt优化的依据是人为设定的抓取指标，这些指标未必能反映人类抓取的实际情况（详见[^24]的补充材料第C.2节以及[^17]）。另外，Garcia-Hernando等人[^15]利用磁传感器重建三维手部骨骼和刚体物体的姿态；他们记录了6名受试者与4个物体互动的数据。该数据集被[^33] [^66]用于学习估计三维手部及物体姿态，但存在姿态噪声大、物体相互穿透严重的问题（详见[^24]的第5.2节）。针对人体方面，Kim等人[^30]利用合成数据学习检测三维物体上的接触点，随后将相互作用的三维人体骨骼拟合到这些点上。Savva等人[^61]利用RGB-D技术捕捉5名受试者在30个三维场景中互动的三维人体骨骼数据，以此学习合成互动[^61]、可触知性检测[^60]，或从视频中重建互动过程[^42]。Mandery等人[^39]利用光学动作捕捉技术记录43名受试者与41个被追踪物体（包括大型和小型物体）互动的数据。这与我们的研究方向类似，但他们并未捕捉手指或三维人体形状，因此无法推断接触情况。Corona等人[^9]利用该数据集学习上下文感知型人体运动预测。Starke等人[^63]利用Xsens IMU传感器[^75]捕捉受试者与大型物体互动时的主体运动数据，并学习在虚拟世界中合成虚拟角色的运动。Hassan等人[^23]利用RGB-D技术和三维场景约束，捕捉20名以SMPL-X [^46]网格形式呈现的人体与12个静态三维场景互动的数据，但未涉及物体操控环节。Zhang等人[^79]利用这些数据学习生成具备三维场景感知能力的人体模型。由此可见，我们研究的问题只有部分得到了探讨。我们从以往的研究中汲取灵感，尤其是[^5] [^23] [^25] [^39]。在此基础上，我们进一步引入全新的真实“全身抓取”数据集，具体描述见下一节。 --- ## 3 数据集为了操控物体，人需要靠近其三维表面，使皮肤与之发生物理接触以施加力。要真实地捕捉此类人与物体的互动，尤其是“全身抓取”场景，是一项极具挑战性的任务。首先，物体可能会遮挡人体，反之亦然，从而导致观测结果模糊不清。其次，对于物理互动而言，精确重建人体和物体的详细三维表面至关重要。此外，数据采集还需覆盖多种尺度（人体、手指和面部）以及结构复杂的各类物体。我们针对这些挑战，采用了独特的前沿解决方案组合，并对其进行了适应性调整以应对这一问题。当前技术存在一个根本性的权衡：人们必须在以下两种方案中选择其一：(a) 依靠仪器实现精确的运动捕捉，但无法获得自然的RGB图像；或者 (b) 运动捕捉精度稍低，但能获取RGB图像。我们采用了前一种方案；关于更详细的讨论，请参阅补充材料。 ![Image](images/b4e0a6fc467b66087c4851f084ddddc0d4bd53f57d825af44704a83025311ced.jpg)

Fig. 2. MoCap markers used to capture humans and objects. Left: We attach 99 reflective markers per subject; 49 for the body, 14 for the face and 36 for the fingers. We use spherical 4.5 mm radius markers for the body and hemi-spherical 1.5 mm radius ones for the hands and face. Right: Example 3D printed objects from [^5]. We glue 1.5 mm radius hemi-spherical markers (the gray dots) on the objects. These makers are small enough to be unobtrusive. The 6 objects on the right are mostly used by one or more hands, while the 6 on the left involve “whole-body grasps”. (Color figure online)

### 3.1 运动捕捉（MoCap）我们采用了Vicon系统，配备54台红外“Vantage 16”[^71]摄像头，能够以120帧/秒的速率拍摄1600万像素的图像。大量的摄像头减少了遮挡现象，高帧率则能捕捉到接触过程中的时间细节。高分辨率使得使用半径仅为1.5毫米的半球形标记点成为可能。这能最大程度降低它们对手指和面部运动的影响，也不会改变人们抓取物体的方式。标记点的设置细节如图2所示。即便使用了众多摄像头，对人体、面部和手部以及物体的运动捕捉仍然十分罕见，因为这项任务极具挑战性。 --- ![Image](images/b1a916aba3419a5afb7eaf3849fcbcc4e0f4714f9efc82e007b7f31f188d0790.jpg)

Fig. 3. We capture humans interacting with objects over time and reconstruct sequences of 3D meshes for both, as described in Sect. 3.1 and Sect. 3.2. Note the realistic and plausible placement of objects in the hands, and the “whole-body” involvement. The video on our website shows more examples.

运动捕捉过程中，人体、面部和手部的运动，连同物体一起被捕捉的情况并不常见，因为其难度极高。运动捕捉标记点会出现遮挡现象，标签会发生错配，还会出现虚假标记点。运动捕捉数据的清洗工作由四名受过培训的技术人员使用Vicon公司的Shōgun-Post软件完成。人类运动捕捉：为了捕捉人体运动，我们使用了图2（左）所示的标记点套装。身体标记点被固定在紧身衣上，通过魔术贴固定，距离身体表面约$d_b = 9.5$毫米。手部和面部标记点则直接用特殊的可移除胶水贴在皮肤上，因此与皮肤的距离约为$d_h = d_f \approx 0$毫米。重要的是，实验中并未使用手套，且标记点仅放置在手背侧，掌心侧完全不安装任何仪器，以保证互动的自然性。物体捕捉：为了准确重建互动过程，了解精确的物体三维表面几何形状至关重要。因此，我们使用了[^5]提供的CAD物体模型，并用Stratasys Fortus 360mc[^64]打印机将其3D打印出来；详见图2（右）。每个物体o都由已知的带有顶点$V_o$的三维网格来表示。为了捕捉物体的运动，我们用强力胶将1.5毫米的半球形标记点直接粘在物体表面。每个物体至少会安装8个标记点，根据经验将其分布在物体上，以确保其中至少有3个标记点始终能被观察到。这些标记点的尺寸和摆放位置不会干扰物体本身。在补充材料中，我们提供了实验证据，证明标记点对抓取动作的影响极小。 --- ### 3.2 从运动捕捉标记点到三维表面人体模型：我们采用 SMPL-X [^46] 三维人体模型对人体进行建模。SMPL-X 将身体与可活动的面部和手指联合建模；这一高表现力的身体模型对于捕捉物理交互至关重要。更正式地说，SMPL-X 是一个可微函数 $M_b(\beta, \theta, \psi, \gamma)$，由身体形态 $\beta$、姿态 $\theta$、面部表情 $\psi$ 和平移 $\gamma$ 进行参数化。其输出是一个三维网格 $M_b = (V_b, F_b)$，包含 $N_b = 10475$ 个顶点 $V_b \in \mathbb{R}^{(N_b \times 3)}$ 和 $F_b$ 个三角形。形态参数 $\beta \in \mathbb{R}^{10}$ 是学习得到的低维线性形态空间中的系数。这使得 SMPL-X 能够以相同的网格拓扑表示不同的个体身份。运动学骨架的三维关节 $J(\beta)$ 由 $\beta$ 所定义的身体形态回归得到。该骨架共有 55 个关节：身体 22 个，每只手 15 个用于手指活动，颈部和眼睛共 3 个。校正混合变形会添加到身体形态中，然后基于该底层骨架通过线性混合蒙皮定义摆好姿态的身体。整体姿态参数 $\theta = (\theta_b, \theta_f, \theta_h)$ 由 $\theta_b \in \mathbb{R}^{66}$ 和 $\theta_f \in \mathbb{R}^9$ 参数组成，分别对应主身体关节与面部关节的轴角表示，每个关节具有 3 个自由度（DoF）；双手则采用低维姿态空间中的 $\theta_h \in \mathbb{R}^{60}$ 参数表示，即每只手 30 个自由度，遵循 [^24]。更多详情请参见 [^46]。模型与标记点对应关系：对于我们定义的人体，事先会在身体上确定标记点的大致位置，如图2（左）所示。随后利用MoSh++ [^38] 自动计算出各个个体身上的精确标记点位置。与人体不同，物体具有不同的形状和网格拓扑结构。标记点的放置需依据物体的形状、功能特性以及交互过程中的预期遮挡情况来确定，如图2（右）所示。因此，我们需要为每种物体标注特定的顶点-标记点对应关系，且每种物体只需标注一次。人体与物体跟踪：为确保人体形状的精确度，我们会先采集每个受试者的3D扫描数据，并依据 [^56] 将其拟合为SMPL-X模型。接着，我们利用MoSh++ [^38] 将这些个性化SMPL-X模型与我们清理后的3D标记点观测数据相匹配。具体而言，我们在保持已知形状参数 $\theta$ 不变的前提下，对姿态参数 $\psi$、表情参数 $\gamma$ 以及平移参数 $\beta$ 进行优化。MoSh++中针对手指和面部数据的权重是在合成数据集上调试得出的，具体描述见补充材料。补充材料中也提供了关于MoSh++拟合精度的分析结果。物体相对简单，因为它们是刚性的且3D形状已知。只要检测到三个或更多的标记点，我们就能解出刚性物体的姿态 $\theta_o \in \mathbb{R}^6$。在此过程中，我们逐帧分别跟踪人体和物体。图3显示，我们的方法能够捕捉到逼真的交互过程，并随时间推移重建出人体和物体的精细3D网格。我们网站上的视频展示了多种重建序列。 --- ### 3.3 接触标注由于接触现象无法直接观测，我们通过3D人体模型与物体模型之间的接近程度来估算接触情况。理论上，当两者之间的距离为零时即视为接触。但在实际应用中，我们会放宽这一条件，当距离 $d \leq \epsilon_{contact}$ 小于阈值 $\epsilon_{contact}$ 时便定义为接触。这样设定是为了解决以下问题：（1）测量与拟合误差；（2）网格分辨率有限；（3）人类软组织在抓取物体时会发生形变，而SMPL-X模型无法模拟这一现象。 ![Image](images/7b8329c5b02e256d599e6b7e1cafe3578a173ac72d4c169e0aff99b212f6ee77.jpg)

Fig. 4. Left: Accurate tracking lets us compute realistic contact areas (red) for each frame (Sect. 3.3). For illustration, we render only the hand of SMPL-X and spatially extend the red contact areas for visibility. Right: Detection of “intersection ring” triangles during contact annotation (Sect. 3.3). (Color figure online)

鉴于这些问题，准确估计接触情况颇具挑战性。以图4（右侧）中手握酒杯的情形为例，其中的彩色圆环表示交点。理想情况下，酒杯应与拇指、食指和中指相接触。“接触不足”会导致手指虽靠近物体表面却并未接触，比如拇指便是如此。“接触过度”则会使手指在接触区域穿透物体表面，如食指（紫色交点）和中指（红色交点）。对于薄型物体而言，后者尤为棘手——穿透的手指可能会穿过物体，在两侧形成交点。在本例中，我们希望仅标注物体外表面的接触点，而非内表面。我们采用一种高效的启发式方法来应对“接触过度”的情况。我们使用快速方法 [^29] [^46] 来检测交点，将其聚类为相连的“交点环” $\mathcal{R}_b \subsetneq V_b$ 和 $\mathcal{R}_o \subsetneq V_o$，并根据相交的身体部位为其标注颜色，如图4（右侧）中的紫色和红色圆环所示。这些“交点环” $\mathcal{R}_b$ 会将身体网格 $M_b$ 分割，从而得到“穿透子网格” $\mathcal{M}_b \subsetneq M_b$。（1）当某个身体部位仅产生一个交点时，我们将圆环 $V_o^C \subset V_o$ 所包围的物体上的所有顶点 $\mathcal{R}_o$ 标注为接触点；随后将身体上距离该圆环 $V_b^C \subset V_b$ 在阈值 $V_o^C$ 以内的所有顶点 $d_{o \to b} \leq \epsilon_{contact}$ 也标注为接触点。（2）若存在多个交点，我们仅考虑对应最大交点子集的圆环 $\mathcal{R}_b^i$，即 $\mathcal{M}_b^i$。 --- 对于上述未检测到接触的身体部位，可能存在“接触不足”的情况。为解决这一问题，我们计算每个物体顶点 $V_o$ 到每个未相交的身体顶点 $V_b$ 的距离。随后将满足特定条件的顶点 $V_o^c$ 标注为接触顶点 $V_b^c$ 和 $d_{o\to b} \leq \epsilon_{contact}$。通过实践我们发现，$\epsilon_{contact} = 4.5$ 毫米这一数值非常适合我们的需求。 ### 3.4 数据集协议人与物体的交互受多种因素影响，包括人体形态、物体形状与可供性、物体功能以及交互意图等。因此，我们选取了10名参与者（5名男性、5名女性），他们体型各异、国籍不同，与 [^5] 中的物体进行交互；具体物体示例见图2（右侧）。所有参与者均签署了书面知情同意书，同意为研究目的共享其数据。 ![Image](images/201b792eba3e06594c3c7fbd583387b6f4a626a6599ef9cf592b12db1e561ee0.jpg)

Fig. 5. Contact “heatmaps”. Left: For the body we focus on “use” sequences to show “whole-body grasps”. Right: For objects we include all intents. Object markers (light gray) are unobtrusive and can lie on “hot” (red) contact areas. (Color figure online)

Table 1. Size of the GRAB dataset. GRAB is sufficiently large to enable training of data-driven models of grasping as shown in Sect. 4.

Intent	“Use”	“Pass”	“Lift”	“Off-hand”	Total
# Sequences	579	414	274	67	1334
# Frames	605.796	335.733	603.381	77.549	1.622.459

针对每个物体，我们记录了4种不同意图下的交互情况：借鉴 [^5] 的协议，“使用”和“传递”（给他人）以及“举起”和“单手传递”（从一只手到另一只手）。图3展示了“使用”意图下的一些3D采集序列示例。对于每个序列，我们执行以下步骤：（i）随机摆放物体初始位置以增加动作多样性；（ii）指示参与者遵循指定意图；（iii）参与者从T字姿势出发并靠近物体；（iv）执行指定任务；（v）离开物体并恢复为T字姿势。我们网站上的视频展示了该协议的丰富性，包含了各类采集序列。 --- ### 3.5 分析数据集分析。该数据集包含1334个序列以及超过160万帧的动作捕捉数据；表1提供了详细的分类信息。在此，我们分析了那些检测到人体与物体之间发生接触的帧。我们假设物体静止放置在桌面上，仅因被抓取才会移动。因此，所谓接触帧是指物体垂直方向的位置偏离初始位置至少5毫米，且至少有50个身体顶点与物体相接触的帧。最终得到952,514帧接触帧，我们将在下文对其进行分析。这些接触判定阈值的细微差异对我们的分析结果影响甚微，详见补充材料。通过完整捕捉整个身体而非仅限手部，我们发现了有趣的交互模式。聚焦于能体现物体功能的“使用”序列，我们发现92%的接触帧涉及右手，39%涉及左手，31%涉及双手，8%涉及头部。对于第一类情况，从拇指到小指的各手指接触概率分别为100%、96%、92%、79%、39%，手掌的接触概率为24%。更多结果详见补充材料。为了直观呈现细粒度的接触信息，我们对每帧的二元接触图进行时间上的积分，生成反映全身表面接触概率的“热图”。图5（左）展示了“使用”序列对应的此类“热图”。“热”区域（红色）表示接触概率高，而“冷”区域（蓝色）表示接触概率低。可以看出，手和面部在日常物品使用中至关重要，这凸显了捕捉整个交互身体的重要性。对于面部而言，“热”区域包括嘴唇、鼻子、太阳穴区域和耳朵；对于手部来说，手指的接触频率高于手掌，且右手的接触多于左手。手掌在右手抓取中的作用似乎比左手更大，这可能是因为所有受试者均为右利手。接触模式还会受到物体大小和手部大小的影响；可视化结果详见补充材料。 ![Image](images/8b18d09cc5c63095f3b633ee7185943ba6c3e490eb5cc207c8c308e3dcff538d.jpg)

Fig. 6. Effect of interaction intent on contact during grasping. We show the “use” (top) and “pass” (bottom) intents for 4 different objects. (Color figure online)

图6展示了意图对接触行为的影响。“使用”序列中的接触符合物体的功能特性；例如，人们不会触碰刀刃或锅具的热区，但会触碰手电筒的开关按钮。而在“传递”序列中，受试者往往随意接触物体的一侧，留出另一侧供接收者抓取。 --- 在自然交互中，设置需尽可能不干扰用户。虽然我们的动作捕捉标记点体积小且不易察觉（图2（右）），但我们仍需确认这些标记点是否会影响受试者的抓取行为。图5（右）展示了不同意图下某些物体的接触“热图”。结果显示标记点常位于“热”区域，说明受试者并不会刻意避开这些位置进行抓取。基于K均值聚类分析的进一步结果详见补充材料。 ## 4 GrabNet：学习抓取物体我们通过一个具有挑战性的应用实例来展示GRAB数据集的价值；我们利用它来训练一个模型，该模型能为此前未见过的3D物体生成合理的3D MANO [^56] 抓取姿态。我们的模型名为GrabNet，由两个主要模块组成。首先，我们采用一种条件变分自编码器（cVAE）[^31]，即CoarseNet，来生成初始抓取姿态。为此，它学习了一种以物体形状为条件的抓取嵌入空间Z，该空间通过基点集（BPS）[^52] 表示法来编码，也就是基点至最近物体点的距离集合。CoarseNet生成的抓取姿态虽合理，但通过根据手与物体间的距离D来优化接触点，可进一步提升其真实感。我们通过第二个网络——RefineNet来实现这一点。GrabNet的架构如图7所示，更多细节请参阅补充材料。预处理。在训练阶段，我们收集所有涉及最小程度接触的右手抓取帧，具体细节请参阅补充材料。随后，我们将每个训练样本（即手-物体抓取姿态）以物体质心为基准进行居中处理，并计算用于条件设定的物体$BPS_o \in R^{4096}$ 表示。 CoarseNet。我们将物体形状$BPS_o$、初始MANO手腕旋转参数$\theta_{wrist}$以及平移参数$\gamma$输入编码器$Q(Z|\theta_{wrist},\gamma,BPS_o)$，从而生成潜 grasp码$Z\in R^{16}$。解码器$P(\bar{\theta},\bar{\gamma}|Z,BPS_o)$将Z和$BPS_o$映射为具有完整手指关节活动的MANO参数$\bar{\theta}$，进而生成3D抓取手模型。在训练损失方面，我们采用标准的cVAE损失项（KL散度、权重正则化项）、基于MANO网格边缘的L1损失项，以及穿透损失和接触损失。对于接触损失，我们从GRAB数据中学习候选接触点的权重，而非使用人工设定的权重[^23]或从人造数据中学习的权重[^24]。在推理阶段，给定未见过的物体形状$BPS_o$时，我们会对潜空间Z进行采样，并解码生成MANO抓取姿态。 RefineNet。CoarseNet估算出的抓取姿态虽合理，但还可进一步优化以提升接触效果。为此，RefineNet以初始抓取姿态$(\bar{\theta}, \bar{\gamma})$以及MANO顶点到物体网格的距离D作为输入。这些距离会根据从GRAB数据中学习到的顶点接触概率进行加权处理。随后，RefineNet会按照$(\hat{\theta}, \hat{\gamma})$中所述的三步迭代过程，估算出优化后的MANO参数[^28]，从而得到最终的抓取姿态。为了训练RefineNet，我们生成了 --- 一个合成数据集：我们以CoarseNet生成的抓取姿态作为真实值，并扰动其手部姿态参数以模拟有噪声的输入估计。我们采用了与CoarseNet相同的训练损失函数。 GrabNet。对于给定的未见过的3D物体，我们首先利用CoarseNet获得初始抓取估计，再将其传入RefineNet以得到最终的抓取估计。为简化流程，这两个网络分别训练，但我们预计端到端的优化将会带来更好的效果，正如[^24]中所描述的那样。图8（右侧）展示了一些生成示例；我们的生成结果看起来十分逼真，具体评价将在后续章节中详细说明。更多定性结果可查看我们网站上的视频以及补充材料中的图片。接触点。作为我们3D抓取预测的副产品，我们可以依据第3.3节的内容，计算出3D手部模型与物体模型之间的接触情况。GrabNet预测得到的接触点如图8（右侧）所示，以红色标示。其他接触点预测方法，比如[^5]，属于纯粹的自下而上式方法，它们仅将某个顶点标记为有接触或无接触，而不会对手部结构进行明确的推理。相比之下，我们采用自上而下的方法：先生成用于抓取的3D手部模型，然后再基于拟人化逻辑来计算接触点。 ![Image](images/55f9108ba6e1ba0023b9098f8e5b510f8b3c7c9acbdaa8181adb08cde92e5791.jpg)

Fig. 7. GrabNet architecture. GrabNet generates MANO [^56] grasps for unseen object shapes, encoded with a BPS [^52] representation. It is comprised of two main modules. First, with CoarseNet we predict an initial plausible grasp. Second, we refine this with RefineNet to produce better contacts with the object.

评估——CoarseNet/RefineNet。我们首先通过计算重建后的顶点间误差，对这两个主要组件进行定量评估。对于CoarseNet而言，训练集、验证集和测试集的误差分别为12.1毫米、14.1毫米和18.4毫米；而对于RefineNet，这些数值则分别为3.7毫米、4.1毫米和4.4毫米。结果表明，在将它们组合使用之前，单独训练的组件就已经能够取得不错的效果。 --- ![Image](images/984933ecf9ee6211263814feb8283f95bbfe9a4d2846b93d0e163cf5be423445.jpg)

Fig. 8. Grasps generated by GrabNet for unseen objects; grasps look natural. As free by-product of 3D mesh generation, we get the red contact areas. For each grasp we show the average Likert score from all annotators. On the left the average Likert score is shown for all generated grasps. (Color figure online)

评估——GrabNet。为了评估GrabNet生成的抓取姿势，我们通过AMT平台开展了用户研究[^1]。我们从数据集中选取6个测试物体，对每个物体生成20种抓取姿势，再将其与20种真实抓取姿势混合，以旋转的3D视角展示给受试者。随后，我们要求参与者根据5级李克特量表（5代表“完全同意”，1代表“完全不同意”）来评价他们是否认同“人类能够像视频中显示的那样抓住该物体”这一陈述。为了筛选出回答不可靠的受试者——即那些不理解任务要求或随意作答的人——我们设置了陷阱试次，用来展示不符合常理的抓取姿势；那些将此类陷阱试次评为“合理”的受试者将被排除，具体细节见补充材料。表2（左侧）展示了真实抓取姿势与生成抓取姿势的用户评分情况。

Table 2. GrabNet evaluation for 6 test objects. The “AMT” column shows user study results; grasp quality is rated from 1 (worst) to 5 (best). The “vertices” and “contact” columns evaluate grasps against the closest ground-truth one.

	AMT				Vertices	Contact
	Generation		Ground truth		Mean (cm)	%
Test object	Mean	Std	Mean	Std	N = 100	N = 20
Binoculars	4.09	0.93	4.27	0.80	2.56	4.00
Camera	4.40	0.79	4.34	0.76	2.90	3.75
Frying pan	3.19	1.30	4.49	0.67	3.58	4.16
Mug	4.13	1.00	4.36	0.78	1.96	3.25
Toothpaste	4.56	0.67	4.42	0.77	1.78	5.39
Wineglass	4.32	0.88	4.43	0.79	1.92	4.56
Average	4.12	1.04	4.38	0.77	2.45	4.18

---

Fig. 9. Comparison of GrabNet (right) to ContactDB [^5] (left). For each estimation we render two views, following the presentation style of [^5].

评估——接触点。图9展示了由[^5]（左侧）和我们方法（右侧）生成的接触区域（红色）示例。[^5]的方法为每个物体仅提供10种预测结果，其中一些甚至没有接触点；而且手部理应触碰整个红色区域，但这种情况往往不符合拟人化逻辑。我们的接触点预测是基于MANO模型推理得出的，从设计上就保证了其符合拟人化特征。此外，从我们学习到的抓取潜空间中可以生成无限多的样本。为进一步评估，我们采用了与[^5]类似的协议来处理我们的数据：对于每个未见过的测试物体，我们生成20种抓取姿势，针对每一种姿势，分别找出与之最接近的真实接触图以及最接近的真实手部顶点，以便进行比较。表2（右侧）报告了所有20种预测结果的平均误差，前者以百分比表示，后者则以厘米为单位。 ## 5 讨论我们向学术界提供了一个全新的数据集，它超越了以往的动作捕捉或抓取数据集。我们认为GRAB将对广泛的研究领域发挥作用。本文证明，它提供了充足的数据和多样性，足以训练出用于预测物体抓取的新网络，正如我们用GrabNet所展示的那样。不过，还有更多潜力有待挖掘。重要的是，GRAB包含了全身动作数据，能够实现比GrabNet更丰富的建模。局限性：由于我们侧重于精确的动作捕捉，因此没有同步的图像数据。不过，GRAB能够通过渲染合成的人体-物体交互场景[^8] [^28] [^24]，或学习先验知识来规范从2D图像中进行人体-物体交互推断时的病态问题[^53]，从而支持基于图像的推断[^70] [^42]。未来工作：GRAB可以支持学习人与物体交互模型[^42] [^61]、基于模仿的机器人抓取[^74]、学习从动作捕捉标记到网格的映射[^20]、渲染合成图像[^24] [^53] [^70]、从交互中推断物体形状/姿态[^2] [^44]，或分析时间模式[^48]。致谢。我们感谢S. Polikovsky、M. Höschle（MH）和M. Landry（ML）提供的动作捕捉设施。我们感谢F. Mattioni、D. Hieber和A. Valis进行的动作捕捉数据清洗工作。我们感谢ML和T. Alexiadis协调实验，感谢MH和F. Grimminger负责3D打印，感谢V. Callaghan提供语音录音，感谢J. Tesch完成渲染工作。披露： --- 过去五年间，MJB获得了来自英特尔、英伟达、Facebook和亚马逊的研究资助。他是Meshcapade GmbH的联合创始人和投资人，该公司致力于将3D人体形状技术商业化。虽然MJB是亚马逊的兼职员工，但他的研究工作仅在马克斯·普朗克研究所开展，且资金也完全由该所提供。 ## 参考文献 1. Amazon Mechanical Turk。 2. Behbahani, F.M.P., Singla-Buxarrais, G., Faisal, A.A.：触觉SLAM：一种基于贝叶斯推理从接触动力学中获取物体形状和手部姿态的理想观测模型。载于：Bello, F., Kajimoto, H., Visell, Y.（编）《EuroHaptics 2016》。LNCS第9774卷，第146–157页。Springer出版社，Cham（2016年）。 [^3]: Bernardin, K., Ogawara, K., Ikeuchi, K., Dillmann, R.: A sensor fusion approach for recognizing continuous human grasping sequences using hidden Markov models. IEEE Trans. Rob. (T-RO) 21(1), 47–57 (2005) [^4]: Borras, J., Asfour, T.: A whole-body pose taxonomy for loco-manipulation tasks. In: IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pp. 1578–1585 (2015) [^5]: Brahmbhatt, S., Ham, C., Kemp, C.C., Hays, J.: ContactDB: analyzing and predicting grasp contact via thermal imaging. In: IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2019) [^6]: Brubaker, M.A., Fleet, D.J., Hertzmann, A.: Physics-based person tracking using the anthropomorphic walker. Int. J. Comput. Vis. (IJCV) 87(1), 140 (2009) [^7]: Chang, A.X., et al.: ShapeNet: An information-rich 3D model repository. arXiv:1512.03012 (2015) [^8]: Choutas, V., Pavlakos, G., Bolkart, T., Tzionas, D., Black, M.J.: Monocular expressive body regression through body-driven attention. In: Proceedings of the European Conference on Computer Vision (ECCV) (2020) [^9]: Corona, E., Pumarola, A., Alenyà, G., Moreno-Noguer, F.: Context-aware human motion prediction. In: IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2020) [^10]: Cutkosky, M.R.: On grasp choice, grasp models, and the design of hands for manufacturing tasks. IEEE Trans. Rob. Autom. 5(3), 269–279 (1989) 11. Cyberglove III数据手套。 [^12]: ElKoura, G., Singh, K.: Handrix: animating the human hand. In: Proceedings of the ACM SIGGRAPH/Eurographics Symposium on Computer Animation (2003) [^13]: Feit, A.M., Weir, D., Oulasvirta, A.: How we type: movement strategies and performance in everyday typing. In: Proceedings of the CHI Conference on Human Factors in Computing Systems (2016) [^14]: Feix, T., Romero, J., Schmiedmayer, H.B., Dollar, A.M., Kragic, D.: The GRASP taxonomy of human grasp types. IEEE Trans. Hum.-Mach. Syst. 46(1), 66–77 (2016) [^15]: Garcia-Hernando, G., Yuan, S., Baek, S., Kim, T.K.: First-person hand action benchmark with rgb-d videos and 3d hand pose annotations. In: IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2018) 16. GelSight触觉传感器。 ## [^17]: Goldfeder, C., Ciocarlie, M.T., Dang, H., Allen, P.K.: The Columbia grasp database. In: IEEE International Conference on Robotics and Automation (ICRA) (2009) --- [^18]: Hamer, H., Gall, J., Weise, T., Van Gool, L.: An object-dependent hand pose prior from sparse training data. In: IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2010) [^19]: Hampali, S., Oberweger, M., Rad, M., Lepetit, V.: HO-3D: a multi-user, multi-object dataset for joint 3D hand-object pose estimation. In: IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2019) [^20]: Han, S., Liu, B., Wang, R., Ye, Y., Twigg, C.D., Kin, K.: Online optical marker-based hand tracking with deep labels. ACM Trans. Graph. (TOG) 37(4), 166:1–166:10 (2018) [^21]: Handa, A., et al.: DexPilot: vision based teleoperation of dexterous robotic hand-arm system. In: IEEE International Conference on Robotics and Automation (ICRA) (2019) [^22]: Hasler, N., Rosenhahn, B., Thormahlen, T., Wand, M., Gall, J., Seidel, H.: Markerless motion capture with unsynchronized moving cameras. In: IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2009) [^23]: Hassan, M., Choutas, V., Tzionas, D., Black, M.J.: Resolving 3D human pose ambiguities with 3D scene constrains. In: Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV) (2019) [^24]: Hasson, Y., et al.: Learning joint reconstruction of hands and manipulated objects. In: IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2019) [^25]: Hsiao, K., Lozano-Perez, T.: Imitation learning of whole-body grasps. In: IEEE/RSJ International Conference on Intelligent Robots and Systems (2006) [^26]: Johnson, M.K., Cole, F., Raj, A., Adelson, E.H.: Microgeometry capture using an elastomeric sensor. ACM Trans. Graph. (TOG) 30(4), 46:1–46:8 (2011) [^27]: Kamakura, N., Matsuo, M., Ishii, H., Mitsuboshi, F., Miura, Y.: Patterns of static prehension in normal hands. Am. J. Occup. Therapy 34(7), 437–445 (1980) [^28]: Kanazawa, A., Black, M.J., Jacobs, D.W., Malik, J.: End-to-end recovery of human shape and pose. In: IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2018) [^29]: Karras, T.: Maximizing parallelism in the construction of BVHs, octrees, and k-d trees. In: Proceedings of the ACM SIGGRAPH/Eurographics Conference on High-Performance Graphics (2012) [^30]: Kim, V.G., Chaudhuri, S., Guibas, L., Funkhouser, T.: Shape2pose: human-centric shape analysis. ACM Trans. Graph. (TOG) 33(4), 120:1–120:12 (2014) [^31]: Kingma, D.P., Welling, M.: Auto-encoding variational bayes. In: International Conference on Learning Representations (ICLR) (2014) [^32]: Kjellstrom, H., Kragic, D., Black, M.J.: Tracking people interacting with objects. In: IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2010) [^33]: Kokic, M., Kragic, D., Bohg, J.: Learning task-oriented grasping from human activity datasets. IEEE Rob. Autom. Lett. (RA-L) 5(2), 3352–3359 (2020) [^34]: Kry, P.G., Pai, D.K.: Interaction capture and synthesis. ACM Trans. Graph. (TOG) 25(3), 872–880 (2006) [^35]: Le, H.V., Mayer, S., Bader, P., Henze, N.: Fingers' range and comfortable area for one-handed smartphone interaction beyond the touchscreen. In: Proceedings of the CHI Conference on Human Factors in Computing Systems (2018) ## [^36]: Lee, K.H., Choi, M.G., Lee, J.: Motion patches: building blocks for virtual environments annotated with motion data. ACM Trans. Graph. (TOG) 25(3), 898–906 (2006) --- [^37]: Li, Z., Sedlar, J., Carpentier, J., Laptev, I., Mansard, N., Sivic, J.: Estimating 3D motion and forces of person-object interactions from monocular video. In: IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2019) [^38]: Mahmood, N., Ghorbani, N., Troje, N.F., Pons-Moll, G., Black, M.J.: AMASS: archive of motion capture as surface shapes. In: Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV) (2019) [^39]: Mandery, C., Terlemez, Ö., Do, M., Vahrenkamp, N., Asfour, T.: The KIT whole-body human motion database. In: International Conference on Advanced Robotics (ICAR) (2015) [^40]: Mascaro, S.A., Asada, H.H.: Photoplethysmograph fingernail sensors for measuring finger forces without haptic obstruction. IEEE Trans. Rob. Autom. (TRA) 17(5), 698–708 (2001) [^41]: Miller, A.T., Allen, P.K.: Graspit! a versatile simulator for robotic grasping. IEEE Rob. Autom. Mag. (RAM) 11(4), 110–122 (2004) [^42]: Monszpart, A., Guerrero, P., Ceylan, D., Yumer, E., Mitra, N.J.: iMapper: interaction-guided scene mapping from monocular videos. ACM Trans. Graph. (TOG) 38(4), 92:1–92:15 (2019) [^43]: Napier, J.R.: The prehensile movements of the human hand. J. Bone Joint Surg. 38(4), 902–913 (1956) [^44]: Oberweger, M., Wohlhart, P., Lepetit, V.: Generalized feedback loop for joint hand-object pose estimation. IEEE Trans. Pattern Anal. Mach. Intell. (TPAMI) 42(8), 1898–1912 (2020) [^45]: Oikonomidis, I., Kyriazis, N., Argyros, A.A.: Full dof tracking of a hand interacting with an object by modeling occlusions and physical constraints. In: Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV) (2011) [^46]: Pavlakos, G., et al.: Expressive body capture: 3D hands, face, and body from a single image. In: IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2019) [^47]: Pham, T., Kyriazis, N., Argyros, A.A., Kheddar, A.: Hand-object contact force estimation from markerless visual tracking. IEEE Trans. Pattern Anal. Mach. Intell. (TPAMI) 40(12), 2883–2896 (2018) [^48]: Pirk, S., et al.: Understanding and exploiting object interaction landscapes. ACM Trans. Graph. (TOG) 36(3), 31:1–31:14 (2017) [^49]: Pollard, N.S., Zordan, V.B.: Physically based grasping control from example. In: Proceedings of the ACM SIGGRAPH/Eurographics Symposium on Computer Animation (2005) 50. POSER：3D渲染与动画软件。 51. Pressure Profile Systems Inc.（PPS）。 [^52]: Prokudin, S., Lassner, C., Romero, J.: Efficient learning on point clouds with basis point sets. In: IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2019) [^53]: Ranjan, A., Hoffmann, D.T., Tzionas, D., Tang, S., Romero, J., Black, M.J.: Learning multi-human optical flow. Int. J. Comput. Vis. (IJCV) 128, 873–890 (2020) [^54]: Rogez, G., Supančič III, J.S., Ramanan, D.: Understanding everyday hands in action from RGB-D images. In: Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV) (2015) ## [^55]: Romero, J., Kjellström, H., Kragic, D.: Hands in action: real-time 3D reconstruction of hands in interaction with objects. In: IEEE International Conference on Robotics and Automation (ICRA) (2010) --- [^56]: Romero, J., Tzionas, D., Black, M.J.: Embodied hands: modeling and capturing hands and bodies together. ACM Trans. Graph. (TOG) 36(6), 245:1–245:17 (2017) [^57]: Rosenhahn, B., Schmaltz, C., Brox, T., Weickert, J., Cremers, D., Seidel, H.: Markerless motion capture of man-machine interaction. In: IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2008) [^58]: Ruff, H.A.: Infants' manipulative exploration of objects: effects of age and object characteristics. Dev. Psychol. 20(1), 9 (1984) [^59]: Sahbani, A., El-Khoury, S., Bidaud, P.: An overview of 3D object grasp synthesis algorithms. Rob. Auton. Syst. (RAS) 60(3), 326–336 (2012) [^60]: Savva, M., Chang, A.X., Hanrahan, P., Fisher, M., Nießner, M.: SceneGrok: inferring action maps in 3D environments. ACM Trans. Graph. (TOG) 33(6), 212:1–212:10 (2014) 61. Savva, M., Chang, A.X., Hanrahan, P., Fisher, M., Nießner, M.：PiGraphs：从观测数据中学习交互快照。《ACM图形学汇刊》（TOG）$\mathbf{35}$(4)，第1391–13912页（2016年）。 [^62]: Sridhar, S., Mueller, F., Zollhoefer, M., Casas, D., Oulasvirta, A., Theobalt, C.: Real-time joint tracking of a hand manipulating an object from RGB-D input. In: Proceedings of the European Conference on Computer Vision (ECCV) (2016) [^63]: Starke, S., Zhang, H., Komura, T., Saito, J.: Neural state machine for character-scene interactions. ACM Trans. Graph. (TOG) 38(6), 209:1–209:14 (2019) 64. Stratasys Fortus 360mc：3D打印设备。 [^65]: Sundaram, S., Kellnhofer, P., Li, Y., Zhu, J.Y., Torralba, A., Matusik, W.: Learning the signatures of the human grasp using a scalable tactile glove. Nature 569(7758), 698–702 (2019) [^66]: Tekin, B., Bogo, F., Pollefeys, M.: H+O: unified egocentric recognition of 3D hand-object poses and interactions. In: IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2019) 67. Tekscan握力系统：用于感知触觉握力和压力的设备。 [^68]: Tsoli, A., Argyros, A.A.: Joint 3D tracking of a deformable object in interaction with a hand. In: Proceedings of the European Conference on Computer Vision (ECCV) (2018) [^69]: Tzionas, D., Ballan, L., Srikantha, A., Aponte, P., Pollefeys, M., Gall, J.: Capturing hands in action using discriminative salient points and physics simulation. Int. J. Comput. Vis. (IJCV) 118(2), 172–193 (2016) [^70]: Varol, G., et al.: Learning from synthetic humans. In: IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2017) 71. Vicon Vantage：具备智能反馈和高分辨率功能的顶尖旗舰级摄像头。 [^72]: Wang, Y., et al.: Video-based hand manipulation capture through composite motion control. ACM Trans. Graph. (TOG) 32(4), 43:1–43:14 (2013) [^73]: Wang, Z., Chen, L., Rathore, S., Shin, D., Fowlkes, C.: Geometric pose affordance: 3D human pose with scene constraints. arXiv:1905.07718 (2019) [^74]: Welschehold, T., Dornhege, C., Burgard, W.: Learning manipulation actions from human demonstrations. In: IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS) (2016) 75. XSENS：惯性动作捕捉系统。 ## [^76]: Yamamoto, M., Yagishita, K.: Scene constraints-aided tracking of human body. In: IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2000) --- [^77]: Ye, Y., Liu, C.K.: Synthesis of detailed hand manipulations using contact sampling. ACM Trans. Graph. (TOG) 31(4), 41:1–41:10 (2012) [^78]: Zhang, H., Bo, Z.H., Yong, J.H., Xu, F.: InteractionFusion: real-time reconstruction of hand poses and deformable objects in hand-object interactions. ACM Trans. Graph. (TOG) 38(4), 48:1–48:11 (2019) [^79]: Zhang, Y., Hassan, M., Neumann, H., Black, M.J., Tang, S.: Generating 3D people in scenes without people. In: IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2020)