# ContactPose：包含物体接触与手部姿态的抓取数据集 Samarth Brahmbhatt $^{1}$[0000-0002-3732-8865]、Chengcheng Tang $^{3}$、Christopher D. Twigg $^{3}$、Charles C. Kemp $^{1}$ 以及 James Hays $^{1,2}$ $^{1}$ 佐治亚理工学院，美国亚特兰大 {samarth.robo,hays}@gatech.edu， $^{2}$ Argo AI $^{3}$ Facebook Reality Labs {chengcheng.tang,cdtwigg}@fb.com 摘要：抓取对人类而言是自然而然的行为。然而，它涉及复杂的手部构型以及软组织形变，这会导致手部与物体之间出现复杂的接触区域。理解并建模这种接触关系有望改进手部模型、增强现实/虚拟现实体验以及机器人抓取技术。但目前我们缺乏手-物接触数据与其他模态数据配对的数据集，而这类数据集对于开发和评估接触建模技术至关重要。我们推出的ContactPose是首个将手-物接触数据与手部姿态、物体姿态及RGB-D图像配对的数据集。ContactPose包含了50名参与者对25种家用物品进行的2306次独特抓取样本，这些抓取具有2种功能意图，且包含超过290万张RGB-D抓取图像。对ContactPose数据的分析揭示了手部姿态与接触之间的有趣关联。我们利用这些数据严格评估了各种数据表示方式、文献中的启发式方法以及接触建模的学习方法。相关数据、代码和训练好的模型可在获取。关键词：接触建模、手-物接触、功能性抓取 ## 1 引言一个人的日常体验中包含大量各式各样的手与物体的交互。理解并重建手-物体交互现象，近年来受到了计算机视觉、计算机图形学和机器人学领域的广泛关注。大多数研究集中于手部姿态估计[^17] [^53] [^57] [^59]、逼真的手部与身体重建[^24] [^25] [^61] [^65]，以及类人手的机器人抓取预测[^7] [^36]。在本文中，我们探讨了尚未被充分研究的手-物体接触建模问题，即基于抓取的其它信息（如三维手部姿态和抓取图像）来预测物体与手的接触情况。精确的接触模型在计算机界面、社交互动理解、物体操控及安全领域有诸多应用。例如，手部接触模型可以解读用户通过触碰3D打印的仿制品所产生的计算机指令，或是判断是否存在接触情况。 --- ![Image](images/c84880802049b54745e2d608062390f9530fefdc053f6676c17727aa2d1b04f6.jpg)

Fig.1: Examples from ContactPose, a dataset capturing grasps of household objects. ContactPose includes high-resolution contact maps (object meshes textured with contact), 3D joints, and multi-view RGB-D videos of grasps. Left hand joints are green, right hand joints are red.

受污染表面的病原体可通过接触途径传播。更广泛地说，精确的接触建模能够提升对抓取动力学的估算精度[^14] [^37] [^40] [^46]，进而实现更逼真的抓取场景虚拟现实模拟，以及软体机器人的抓取操作[^11] [^28]。缺乏真实数据很可能是导致该问题未被充分研究的原因。通常，抓取时的接触面会被遮挡，无法通过可见光成像直接观测到。给手部佩戴手套的装置[^55] [^62]会轻微影响自然的抓取行为，且无法测量物体表面的接触情况。将手部模型与物体模型进行匹配的方法需要仔细设定邻近阈值或特定的接触点[^25] [^61]。由于现有的先进手部模型[^50]均为刚性模型，因此这类方法也无法考虑柔软手部组织的形变情况。 Brahmbhatt等人[^6]最近引入热成像相机作为采集真实接触数据的传感器。他们的方法是在抓取后，通过热成像相机观测从（温度较高的）手部传递到物体的热量。我们采用了他们的方法，因为它能避免上述缺陷，并能借助真实数据评估接触建模方法。不过，该方法也存在一些限制：1）物体具有简单的视觉纹理，因为它们是3D打印而成的，以确保热属性一致。这不会影响基于3D手部姿态的接触建模方法以及VR/机器人抓取模拟器，因为这些方法依赖的是3D形状而非纹理；但它确实限制了基于RGB的方法的泛化能力，而使用深度图像和合成纹理或许能缓解这一问题。2）抓取动作是静态的，因为手部内部的运动会产生多个重叠的热手印，这些热手印会受到时间及其他因素的影响。静态抓取的接触建模仍是一个未解决的问题，它也是未来动态抓取研究的基础。我们在此介绍的方法可逐帧应用于动态场景。此外，我们开发了一种用于采集抓取过程多视角RGB-D视频的数据收集协议，以及一种用于重建手部关节的算法($§\ 3.1$)。总而言之，我们的贡献如下： --- - 数据方面：我们的数据集（ContactPose）记录了50名参与者以两种功能意图抓取25个物体的情况。该数据集包含每次抓取的高质量接触图、来自3个视角的超过290万张RGB-D图像，以及每帧的物体姿态和3D手部关节信息。我们将公开分享该数据集，以推动手-物交互和姿态估计领域的研究。 - 分析方面：我们以多种方式剖析这些数据，以探究接触情况与手部姿态之间的有趣关系。这揭示了一些令人惊讶的规律，也验证了一些常见的直觉。算法方面：我们探索了物体形状、手部姿态、接触情况的多种表示方法，以及用于基于学习的接触建模的网络架构。重要的是，我们针对这些方法（以及文献中的启发式方法）进行了严格评估，评估所依据的是ContactPose独有的真实数据。 ## 2 相关工作 ![Image](images/da4c146a32e9acdde0b26947756e905316bf805a2b39381af3369418aa4305d7.jpg)

Fig.2: Comparison to ContactDB [^6]. It includes contact maps and turntable RGB-D images (a), which are often not enough to fully interpret the grasp e.g. it is not clear which fingers generated the contact. In contrast, ContactPose includes 3D joint locations (b), which allows association of contacted areas to hand parts (c), and multi-view RGB-D grasp images (d). These data enable a more comprehensive interpretation of the grasp.

接触点的采集与建模：以往的研究通过为手部和/或物体安装传感器来采集接触数据。Bernardin等人[^5]以及Sundaram等人[^55]使用触觉手套来采集抓取过程中的手部接触数据。Brahmbhatt等人[^6]则在抓取后利用热成像相机观察温暖的手部在物体表面留下的热残留。然而，这些数据集要么缺少手部姿态信息，要么缺少抓取图像，而这两者对于开发实用的接触模型而言是必不可少的（见图2）。Pham等人[^44] [^45]以及Ehsani等人[^12]通过视频追踪手部和物体，并训练模型来预测指尖处的接触力与位置，从而解释所观察到的物体运动。相比之下，我们专注于复杂物体及抓取场景下的精细接触建模，并通过整个物体表面的接触图来评估模型性能。接触启发式方法：用于检测手-物体接触的启发式方法通常旨在优化手部姿态估计。Hamer等人[^21]开展了相关研究…… ---

Feature	FPHA [^17]	HO-3D [^23]	FreiHand [^69]	STAG [^55]	ContactDB [^6]	Ours
3D joints	✓	✓	✓	✗	✗	✓
Object pose	✓	✓	✗	✗	✓	✓
Grasp RGB images	✓	✓	✓	✓	✗	✓
Grasp Depth images	✓	✓	✗	✗	✗	✓
Natural hand appearance	✗	✓	✓	✗	✗	✓
Natural object appearance	✗	✓	✓	✓	✗	✗
Naturally situated	✓	✗	✗	✗	✗	✗
Multi-view images	✗	✗	✓	✗	✗	✓
Functional intent	✓	✗	✗	✗	✓	✓
Hand-object contact	✗	✗	✗	✓	✓	✓
# Participants	6	8	32	1	50	50
# Objects	4	8	35	26	50	25

Table 1: Comparison with existing hand-object datasets. Contact Pose stands out for its size, and paired hand-object contact, hand pose and object pose.

手部追踪与物体重建[^22]，且仅通过接近度阈值来推断指尖处的接触情况。在仿真环境[^63]以及机器人抓取任务[^38] [^40]中，接触判定方式往往类似，或是通过碰撞检测来实现[^33] [^58]。Ballan等人[^4]定义了一个包围物体网格三角形的圆锥体，并对穿透该圆锥体的手部点（反之亦然）进行惩罚。这种建模方式也被用于惩罚自穿透现象以及与环境发生的碰撞[^43] [^61]。尽管这类方法仅通过代理任务（如手部姿态估计）进行了评估，但ContactPose能够基于真实接触数据进行评估（$\S$ 6）。掌握数据集：在涉及手与物体交互的数据集中，手部姿态已通过磁性追踪器[^17]、手套[^5] [^19]、优化方法[^23]、多视角自举法[^53]、半自动化的人机协作流程[^69]、手动标注[^54]、合成数据[^25]或作为分类体系中的实例[^8] [^13] [^49]来以3D形式捕获，同时配有描述抓取动作的RGB-D图像。然而，这些数据集均没有接触点标注（见表1），还存在其他缺陷，比如缺乏物体信息[^53] [^69]，以及物体和交互方式过于简单[^17] [^54] [^25] [^54]，因此不适合用于我们的任务。相比之下，ContactPose包含大量真实的接触点数据，还有针对复杂物体的真实RGB-D图像，涵盖功能性的抓取动作（包括双手协作抓取）。不过，物体纹理单一这一点是ContactPose的缺点。关于其在接触建模方面的权衡问题，将在第1节中讨论。在ContactPose中，手-物接触被表示为物体网格表面的接触图，通过热成像相机进行观测；手部姿态则表示为物体坐标系下的3D关节位置，通过多视角RGB-D视频片段获取。由于相机已经校准且物体姿态已知，因此可以将3D关节坐标投影到图像中（示例详见补充材料）。重要的是，我们没有给手部佩戴数据手套、磁跟踪器或其他传感器，这种方式具有双重优势：在ContactPose中，手与物体的接触情况以物体网格表面的接触图形式呈现，并通过热成像相机进行观测。手部姿态则以物体坐标系下的3D关节位置来表示，通过多视角RGB-D视频片段来观测。由于相机已经校准且物体姿态已知，因此可以将3D关节投影到图像中（示例见补充材料）。重要的是，我们并未给手部佩戴数据手套、磁性追踪器或其他传感器。这样做有双重优势： --- 我们并未干扰自然的抓取行为，从而能够采用基于热成像相机的接触点采集方法（参见[^6]）。我们提出了一种计算方法（第3.2节），该方法通过利用精确的物体跟踪技术，并整合多视角与时间信息，来优化三维关节位置。下文描述的数据采集协议正是为这一方法服务的。 ## 3.1 数据采集协议与设备 ![Image](images/a6afda8577f2554bfec4b4a73adf93662df7d623c706eb5da016c572defa3bf8.jpg)

(a)

(b)

Fig. 3: (a) Our setup consists of 7 Optitrack Prime 13W tracking cameras, 3 Kinect v2 RGB-D cameras, a FLIR Boson 640 thermal camera, 3D printed objects, and a turntable. (b) Left: Different object tracking marker configurations we investigate. Right: 3D printed object with recessed 3 mm hemispherical markers (highlighted by red arrows) offer a good compromise between unobtrusiveness and tracking performance.

我们邀请身体健康的研究参与者来到实验室，按照经IRB批准的协议采集数据。物体被随机放置在桌面上，其摆放方向与实际使用场景一致。参与者需按照两种功能意图之一来抓取物体：要么直接使用该物体，要么将其递给他人。随后，他们站在数据采集区（见图3a），在立方体空间内移动物体10至15秒。要求他们保持手部关节稳定，但可以自由旋转手腕和肘部，既可以用双手也可以用惯用手抓取物体。这一动作由3台Kinect v2 RGB-D相机（用于捕捉手部姿态）和Optitrack动作捕捉系统（用于捕捉物体姿态）记录下来。之后，他们将物体递给研究人员，后者会戴上手套将物体放在转盘上。当转盘旋转一周时，物体会被动作捕捉系统、Kinect v2相机以及FLIR Boson 640热成像相机同时记录。 --- 接触点采集：利用Open3D将热成像图像纹理映射到物体网格上（参见[^66]、[^67]）。如[^6]及补充材料所示，生成的网格纹理（称为接触图）能够准确捕捉手与物体的接触情况。物体选择与制作：我们选取了来自[^6]中的25个物体进行抓取实验，这些物体既适用于“使用”类抓取，也适用于“递送”类抓取（具体列表见补充材料）。为确保物体与手部以及采集区绿色背景形成良好对比，这些物体采用蓝色3D打印而成。通过3D打印物体，可保证其热特性一致，同时确保实际采集场景中的物体与数据集中的三维模型在几何形状上保持一致。动作捕捉技术通过逆反射标记来还原物体的姿态，这些标记在物体上的布置需要格外小心。如果粘贴较大的“标记树”，会阻碍对物体表面较大区域的操作。将半球形标记贴在表面上虽然更具前景，但为了确保手部遮挡时仍能看到标记，需要足够多的标记（8个以上）；而且这些凸起的标记触感不佳，可能会影响自然的抓取行为。我们研究了几种替代的标记布局方式（见图3b）。扁平的胶带贴片触感更舒适，但只有当标记正对摄像头时才能被准确追踪。一个不错的折中方案是使用3毫米的半球形标记，但在3D打印时通过开小凹槽将其嵌入物体表面。这样从多个角度都能看到标记，却不会明显影响用户的握持体验。固定好标记位置后，也能轻松完成Optitrack刚体与该物体坐标系之间的校准。 ### 3.2 无需手部标记的抓取采集每次抓取过程会通过C台相机拍摄的N帧RGB-D图像来记录。我们假设手部相对于物体是固定的，且每一帧对应的物体六自由度姿态已知。因此，我们无需逐帧单独估算三维关节位置，而是可以将每帧中带有噪声的二维关节检测结果整合为一组高质量的三维关节数据，再依据该帧的物体姿态将其转换为相应坐标。对于每一帧RGB图像，我们使用Detectron [^26] 来定位手腕位置，并在手腕周围的[^53]裁剪区域上运行OpenPose手部关键点检测器 $200 \times 200$。这样就能得到2D关节检测结果 $\{\mathbf{x}^{(i)}\}_{i=1}^N$ 以及置信度数值 $\{\mathbf{w}^{(i)}\}_{i=1}^N$，这些结果遵循 [^53] 所定义的21个关节的格式。一种方法是通过深度图像 [^59] 将这些2D关节位置转换为3D坐标，但这种方法会使位置偏向相机和手部表面（而我们的目标是估算手部内部的关节位置）。此外，任意一帧中的关节检测结果都并不可靠。因此，我们利用手部与物体的刚性假设，来估算在物体坐标系下与所有NC图像相一致的3D关节位置 ${}^\circ\mathbf{X}$。具体实现方式是最小化平均重投影误差： $$ \min_{\mathbf{o}_{\mathbf{X}}}\sum_{i=1}^{N}\sum_{c=1}^{C}\mathcal{D}\left(\mathbf{x}_{c}^{(i)},\pi\left(\mathbf{o}_{\mathbf{X}};K_{c},^{c}T_{w}^{w}T_{o}^{(i)}\right);\mathbf{w}_{c}^{(i)}\right) $$ 其中 $\mathcal{D}$ 表示距离函数，$\pi(\cdot)$ 是利用相机内参 $K_c$ 以及第i帧时物体相对于相机的姿态 $cT_o^{(i)} = cT_w^wT_o^{(i)}$ 来计算的相机投影函数。 --- 我们的方法需要获取每一帧中物体相对于世界坐标系的姿态 $^{w}T_{o}^{(i)}$，也就是物体跟踪。这一步骤是通过Optitrack动作捕捉系统来实现的，该系统可追踪嵌入物体表面的标记点。实际操作中，2D关节检测结果存在噪声，且某些帧中的物体跟踪会失败。为缓解这一问题，我们采用鲁棒的Huber函数 [^29] 来处理马氏距离（$\mathbf{w}^{(i)}$ 代表方差），将其作为 $\mathcal{D}$，并将公式1嵌套在RANSAC [^16] 循环中。第二轮处理针对那些因物体姿态不准确而未通过RANSAC内点测试的帧：通过2D检测结果与RANSAC拟合出的3D关节位置之间的对应关系来估算其物体姿态；若这些帧通过内点测试（重投影误差小于阈值），就会被纳入内点集。将上述优化方法扩展到双手抓取场景也很容易实现。我们手动整理了数据集，有时会通过点击2D关节位置来帮助3D重建，同时也会剔除一些明显有噪声的数据。手部网格模型：除了抓取数据外，我们还通过平板上的手掌接触图，以及参与者做出7种已知手势时的多视角RGB-D视频来收集手部形状信息（详情见补充材料）。结合3D关节数据，这些数据有望用于为每次抓取匹配MANO手部网格模型 [^50] [^41]。在本文中，为了开展后续的一些分析和学习实验，我们使用了根据3D关节拟合的网格模型（见图4，详情见补充材料）。 ![Image](images/d560a8dd040e45bf4a00deda648f468adc60a467d01ea14e1afeafab463abf0a.jpg)

Fig.4: MANO hand meshes [^50] fit to ContactPose data. Both hand pose and shape parameters are optimized to minimize the distance of MANO joints from ContactPose 3D joint annotations.

### 4 数据分析接触图会按照 [^0] 中描述的逻辑斯谛拟合流程进行 [^1] [^6] 归一化处理。接触点与手部部位的关联：观察发现，某些手指和部位（如指尖）的接触频率高于其他部位 [^8] [^9]。ContactPose能够量化这一现象，这或许能为仿人机器人手的设计以及机器人手中的触觉传感器（如BioTac [^56]）布局提供参考。对于每次抓取，我们将接触图的阈值设为0.4，将每个被接触的物体点与其在拟合后的MANO手部网格中最邻近的手部点相关联。只要有一个或多个被接触的物体点与该手部点相关联，该手部点就被认定为被接触。更粗略的分析则是在指骨层面进行的。 --- 通过将指骨建模为连接关节的线段，即可实现这一目的。在这种情况下，物体点到指骨的距离就是到该线段上最近点的距离。 ![Image](images/af3ec4e089d7e608f7e0029188764a8c6a2561a3d233d21f83a79ef6413f537a.jpg) ![Image](images/e9f2988abf7704e23464566943a3b430092d5fef508bb2c607fae8558fde65c3.jpg)

(a)

![Image](images/bf94cccc6e40948f85284cc6c1214be2e8394894de83319a7b12de171ce0c543.jpg)

(b)

Fig. 5: (a) Hand contact probabilities estimated from the entire dataset. (b) Association of contacted binoculars points with fingers (top) and sets of phalanges at the same level of wrist proximity (bottom), indicated by different colors.

图5a展示了“使用”和“传递”抓取方式下接触概率的平均值。不出所料，拇指、食指和中指是最常接触的手指，而指尖则是最常接触的指骨。尽管在抓取研究中文献对指尖颇为关注，但食指的三节指骨的接触概率均高于小指尖的接触概率。近节指骨和手掌也具有显著的接触概率。这与Brahmbhatt等人的观察结果一致 [^6]。有趣的是，与“使用”抓取相比，“传递”抓取中接触更集中于拇指和食指。“使用”抓取的平均接触面积为35.87平方厘米，而“传递”抓取则为30.58平方厘米。这一分析与Hasson等人图3中的结果类似 [^25]，只不过此处依据的是真实的接触数据，而非合成抓取模型。对比平均指尖接触面积与全手接触面积（图6）可知，非指尖区域在抓取接触中发挥着重要作用，这也印证了[^6]中的初步分析。 ![Image](images/dd1874a323184317bc8d79d923c1180e7ccf264da0ae8571b6b2c62f6ed4ebad.jpg)

(a) 'use' grasps

![Image](images/b3486a190709a6cb81170eae5b0e3ebb0e0614a16da2b13de2bf4f19ba64a191.jpg)

(b) 'handoff' grasps

Fig.6: Comparing average fingertip (red) vs. whole-hand (blue) contact areas.

--- ![Image](images/632c95fe45b14f456495c8a55a914595901bae7df7f15f0436f84165ae7fd1c9.jpg)

Fig.7: Automatic 'active area' discovery: Contact probability for various hand parts on the object surface.

自动活动区域发现：Brahmbhatt等人 [^6] 将活动区域定义为物体上极有可能被接触的区域。他们虽手动选定了活动区域并测量了其被手部任何部位接触的概率，但ContactPose却能让我们自动针对特定手部部位发现活动区域。我们利用上文所述的物体点-指骨对应关系（如图5b所示），来估算每个物体点被特定手部部位（如食指指尖）接触的概率，再通过阈值设定来划分活动区域。图7展示了某些物体在“使用”抓取方式下，食指指尖和拇指的接触概率。这一结果有望为在物体上放置接触传感器（真实的 [^45] 或用于虚拟现实环境的虚拟传感器）提供位置参考。 ![Image](images/6acee1a122c80617d3b9b619bbe2ef540e0483e355a870fcf455e0b7cf49bd45.jpg)

(a)

![Image](images/389ea3d1217f01025a519ac0014a02e9708561a830cf1948e0e4e122a2bb91a2.jpg)

(b)

Fig.8: (a) Per-object standard deviation in 3D joint locations, for 'use' and 'hand-off'. 'Hand-off' grasps consistently exhibit more diversity than 'use' grasps. (b) A pair of grasps with similar hand pose but different contact characteristics. Hand contact feature color-coding is similar to Figure 5a.

抓取多样性：我们通过计算数据集中3D关节位置的标准差，进一步量化意图对抓取行为的影响。所有21个关节标准差的平均值如图8a所示。结果显示，就手部姿态而言，“传递”抓取比“使用”抓取的多样性更高。我们 --- ![Image](images/89086f6d5acfee0b6ae64820a51f819c03a30476188f7a06da0ad44cb48e0134.jpg)

Fig. 9: Examples from hand pose clusters for ‘use’ and ‘hand-off’ grasps. Grasps from different clusters are shown with different colors (some grasps are bimanual). Left hand joints are green, right hand joints are red.

对于对称的物体（如酒杯），我们将该物体所有手部姿态下的6个掌部关节（腕关节+5个指关节）对齐到同一组掌部关节，对齐时唯一的自由度是绕对称轴的旋转。手部尺寸则是通过缩放所有关节位置来实现归一化，以保证腕关节到中节指骨的距离保持不变。通过对这些对齐后的3D关节进行聚类（采用L2距离和HDBSCAN算法 [^10]）来分类抓取方式，便能揭示ContactPose所捕捉到的抓取多样性（图9）。“传递”抓取的变化更为连续，而“使用”抓取则与物体的功能联系更为紧密。“使用”抓取的平均簇内距离比“传递”抓取小32.5%。图8b展示了通过最小化手部姿态距离并最大化手部接触距离而找到的一对抓取方式。我们采用了上文所述的指骨级接触关联方法。将与某根指骨相关的所有顶点所触及的物体网格三角形面积相加，便可得到一个20维向量。我们以该向量上的L2距离作为接触距离。结果表明，手部姿态相似的抓取方式可能会接触物体的不同部位和/或手部本身，从而产生不同的作用力及操作可能性 [^17]，这也凸显出仅用手部姿态来描述抓取行为是不充分的。 ## 5 接触建模实验本节介绍了在已知物体几何形状与姿态的前提下，基于手部姿态或RGB抓取图像进行的接触建模实验。我们的实验重点在于寻找优质的数据表示方式与学习算法，并针对真实值评估相关技术的效果。借助这些模型，从易于获取的输入模态中生成高质量的接触输出，进而能够在AR/VR环境中实现更精准的手部-物体动力学模拟，也能助力软体机器人的抓取操作。物体形状表示：我们通过从物体表面密集采样的点云（根据物体大小不同，包含1K到30K个点）或$64^{3}$体素占用网格来表示物体形状。编码输入手部姿态的特征会与各个点（体素）相关联。随后会对整个点云（体素网格）进行处理，以预测各点（表面体素）的接触值。 --- 手部姿态表示：针对每个点或体素，都会计算出反映物体形状与手部姿态之间关系的特征。这些特征在手部形状编码的丰富程度上存在差异。为了模拟前4种特征对应的遮挡情况和有噪声的姿态感知问题，我们会随机选取一个相机姿态，并将离相机最远的15%关节所对应的所有特征置为0（即忽略这些特征）。 – simple-joints：我们首先使用相对于物体坐标系的21个3D关节位置，作为每个点的63维特征。对于双手抓取的情况，各点会采用与之关节距离最近的那只手的特征。 - relative-joints：由于物体表面某点的接触情况取决于手指的相对位置，因此接下来我们会计算从物体点到与其最近的手部关节的相对矢量。接触情况还与表面几何形状有关：如果指向物体点的矢量与该点的表面法线平行，手指就更有可能接触到该点。因此，我们利用单位法线的表面法线和相对关节矢量，为每个点生成$63+3=66$维特征。 skeleton：为了更准确地捕捉手部关节的连接关系，我们计算从物体点到指骨上最近点的相对矢量，将其视为线段。通过将20个此类矢量的长度（每个指骨对应一个矢量）以及它们与该物体点处表面法线的点积拼接起来，即可为每个物体点构建40维特征。 – mesh：这类特征利用了MANO手部模型丰富的几何信息。我们从物体点向其最近的手部网格点构造一个相对矢量。通过该矢量的长度、其与表面法线的点积，以及与21个手部关节的距离，可构建出23维特征。 - 抓取图像：为了探究CNN是否能直接从图像中提取相关信息，我们利用受U-Net启发的CNN编码器-解码器，从RGB抓取图像的$256 \times 256$裁剪区域中提取40维的密集特征[^51]（具体架构详见补充材料）。这些图像来自同一时刻。我们分别研究了三视图和单视图两种设置，其中前者在不同视图间共享特征提取器。利用已知物体姿态和相机内参，这些特征被映射到对应的3D物体点上；若多个图像观测到同一个3D点，则对这些特征取平均值（见图11a）。任何无法从图像中看到的点，其所有特征均设为0。图像背景通过第20百分位深度阈值进行分割，前景像素则被合成到随机选取的COCO[^35]图像上。这项研究是对近期基于图像的物体几何估计[^20] [^68]、物体姿态估计[^18] [^60]以及手部姿态估计[^23] [^53] [^57] [^65] [^69]研究的补充。接触表示：早期实验中我们发现，均方误差损失会导致接触预测结果模糊且饱和度过高。这可能是由于接触值的出现频率不平衡，以及平滑输入特征下的接触边界不连续所致。因此，我们借鉴Zhang等人的方法[^0]，将[^1] [^64]的归一化值离散为10个等宽区间，将接触预测视为分类问题来处理。我们采用加权交叉熵损失，其中每个区间的权重与该区间出现频率的倒数以及均匀分布的线性组合成正比。 --- 根据[^64]的研究，我们依据分类结果，利用退火均值（$\lambda = 0.4$）得出[^64] [^0]中接触状态的点估计值。该计算过程中各区间的出现频率与均匀分布的线性组合决定了对应权重（公式源自[^1]中的公式4，涉及$T = 0.1$）。学习算法：给定与点或体素相关联的手部姿态特征后，整个点云或体素网格会由神经网络处理以预测接触图。对于点云，我们采用在pytorch-geometric[^48] [^15]中实现、经过修改以减少可学习参数数量的PointNet++[^42]架构；对于体素网格，则采用源自[^39]、受VoxNet[^6]启发的3D CNN架构（具体架构详见补充材料）。在体素网格中，表示体素是否占用的二进制特征会被附加到手部姿态特征上。按照[^6]的方法，物体内部的体素对应的手部姿态特征被设为0。由于这些特征信息丰富且能直接反映接触情况，我们还设置了一个简单的基准学习器：包含90个隐藏节点的多层感知机（MLP），采用参数化ReLU[^27]和批归一化[^30]。接触建模启发式方法：借助MANO手部网格提供的详细手部几何信息，我们也研究了启发式技术的有效性。具体而言，我们采用源自$\Psi$ [^4]的圆锥距离场[^61]作为接触强度的代理指标。为了弥补手部建模（由于MANO网格的刚性）及拟合过程中的不足，我们不仅针对碰撞情况计算$\Psi$，当手部与物体网格间距小于1厘米时也会计算该值。最后，我们通过在4700个随机采样的接触点上进行的最小二乘线性回归，将$\Psi$校准为真实的接触数据。这两个步骤均提升了该技术的性能。 ## 6 实验结果

Learner	Features	Participant Split		Object Split
Learner	Features	AuC (%)	Rank	AuC (%)	Rank
None	Heuristic [^4] [^61]	78.31	5	81.11	4
VoxNet [^6] [^39]	skeleton	77.94		79.99
MLP	simple-joints	75.11		77.83
	relative-joints	75.39		78.83
	skeleton	80.78	3	80.07
	mesh	79.89	4	84.74	1
PointNet++	simple-joints	71.61		73.67
	relative-joints	74.51		77.10
	skeleton	81.15	2	81.49	3
	mesh	81.29	1	84.18	2
Image enc-dec, PointNet++	images (1-view)	72.89		77.09
Image enc-dec, PointNet++	images (3-view)	78.06		80.80	5

Table 2: Contact prediction re-balanced AuC (%) (higher is better) for various combinations of features and learning methods.

--- 在本节中，我们会对第5节中描述的各种特征组合与学习算法进行评估。定量评估的指标是随着接触差异阈值增大而计算的准确率所构成的曲线下的面积。根据[^64]的说明，该数值会经过重新平衡处理，以考虑10个接触区间内各数值出现频率的差异。我们划分了两种数据子集：物体子集排除了马克杯、平底锅和葡萄酒杯，这一划分依据来自[^6]；参与者子集则排除了编号为5、15、25、35和45的参与者。被排除的数据用于评估，模型则在剩余数据上训练。表2展示了两种子集下，基于被排除数据计算得出的重新平衡后的AuC值的平均值。我们发现，能够捕捉更丰富手部形状信息的特征表现更佳（例如simple-joints特征相比骨架特征和网格特征）。基于点云、采用网格特征的学习类技术甚至能超越启发式方法——尽管后者可以获取完整的高分辨率物体网格，而前者仅基于点云进行预测。学习机制还使得仅能获取3D关节位置的骨架特征，也能与基于网格的启发式特征相媲美。虽然基于图像的技术目前精度仍不及基于手部姿态的技术，但使用多视角输入后能显著提升其性能。图10展示了针对未见过的物体——马克杯，基于手部姿态的接触预测结果。为了便于可视化，预测结果会从点云转换为高分辨率网格。Skeleton-PointNet++组合能够预测出手部缺失部分的合理接触模式，还能捕捉到手掌接触的细微特征。Mesh-PointNet++组合能捕捉到更多细微特征，尤其是拇指和手掌底部。相比之下，基于相对关节特征的预测结果较为模糊，缺乏细节，且手指间隙处的接触概率较高，这可能是由于该类特征无法获取关节连接关系和手部形状的相关信息所致。图11b展示了针对未见过的物体——马克杯，基于RGB图像的接触预测结果。与基于手部姿态的预测结果相比，这些预测结果的高频细节较少。它们还存在深度歧义问题：从马克杯图像来看，食指的近端部分似乎与物体接触，但实际上并非如此。这一问题有望通过引入深度图像来缓解。 ## 7 结论与未来工作我们推出了ContactPose数据集，这是首个包含手部-物体接触关系、手部姿态、物体姿态以及RGB-D图像的数据集，可用于功能性抓取研究。数据分析揭示了一些令人惊讶的规律，例如在“放手”抓取与“使用”抓取场景中，手部接触多集中在前三根手指上。我们还证明了基于学习的几何接触建模技术能够捕捉到启发式方法忽略的细微细节。利用这种接触真值来开发更逼真的可变形手部网格模型，可能会是一个有趣的研究方向。当前最先进的模型（如[^31]、[^50]）均为刚性模型，而人类手部覆盖着软组织。正如[^50]的未来工作部分所指出的，这些模型是用……训练的。 --- 其中涉及的对象是人工剔除的，且模型并未明确考虑手部与物体的接触关系。ContactPose数据有望助力手部网格变形算法的开发与评估。 ![Image](images/8cc803a14eeb47e4055c0103d30bdede9abd97c6921d68b3600aacfaa8fb94f0.jpg)

Fig. 10: Contact prediction for mug (an unseen object) from hand pose. All input features related to black line segments and joints were dropped (set to 0). Notice how the mesh- and skeleton-PointNet++ predictors is able to capture nuances of palm contact, thumb and finger shapes.

![Image](images/53d3e947ae5371651968abe05c8342bce3fdb0f3d93f46fc615e30d03be81747.jpg)

Fig.11: (a) Image-based contact prediction architecture. (b) Contact prediction for mug (an unseen object) from RGB images, using networks trained with 3 views. Hand poses shown only for reference.

致谢：我们感谢匿名审稿人帮助改进本文。我们还要感谢Elise Campbell、Braden Copple、David Dimond、Vivian Lo、Jeremy Schichtel、Steve Olsen、Lingling Tao、Sue Tunstall、Robert Wang、Ed Wei和Yuting Ye在讨论和后勤方面的协助。 --- ## 补充材料摘要：补充材料包含关于接触点采集的讨论、手部姿态与接触真值的精度评估、MANO手部网格[^50]拟合细节、网络架构以及学习算法的实现细节。最后，我们列出了物体及其“使用”说明，并描述了ContactPose中包含的参与者的手部信息。如需查看示例RGB-D图像以及以以下形式呈现的数据切片：1）特定物体和意图的手部接触概率，2）物体的所有抓取场景下的“使用”与“传递”接触图及手部姿态，请参阅上的扩展补充材料。 ## 接触点采集讨论将热成像像素转换为接触值的过程遵循[^6]。原始热读数通过sigmoid函数转换为连续的接触值[^0] [^1]，该函数将最热点映射为0.95，最冷点映射为0.05。这些值非线性地编码了物体的温度，其中[^0] [^1]大致对应[室温，体温]。虽然大多数实验使用了这一连续值，但如果需要对某点的接触状态做出明确判定，可通过将处理后的数值阈值设为0.4来实现。 ## B. MANO模型拟合本节详细介绍了将MANO [^50]手部模型拟合到ContactPose数据中的流程。借鉴[^50]中的表述，MANO模型是一个由顶点$M(\beta, \theta)$构成的网格，其参数包括形状参数$\beta$和姿态参数$\theta$。经姿态调整后的网格的3D关节位置（此处记为$J(\beta, \theta)$）也是形状和姿态参数的函数。我们对原始模型进行了修改，在每个指尖处新增一个关节，从而匹配ContactPose标注中关节$J^{*}$的格式。 MANO模型拟合是通过优化以下目标函数来实现的，该函数结合了3D关节的L2距离和形状参数正则化项： $$ \beta^{*},\theta^{*}=\arg m i n_{\beta,\theta}||J\left(\beta,\theta\right)-J^{*}||+\frac{1}{\sigma}||\beta|| $$ 其中$\sigma$被设为10。该优化过程使用chumpy [^47]中实现的Dogleg [^2]优化器来完成。在手腕和5个掌骨关节完成6自由度对齐后，我们将$\beta$和$\theta$初始化为0（即平均形状和姿态）。最后，MANO模型默认会将45个姿态参数通过PCA分解简化为6个参数。我们在ContactPose数据集中提供了包含10个和15个姿态分量的MANO拟合数据，但在所有的接触建模实验中，我们均使用包含10个姿态分量的MANO模型。 --- ## C. 数据集精度在本节中，我们对ContactPose中包含的手部姿态和接触数据的精度进行了交叉评估。 ## C.1 接触精度我们注意到，在固体间接触中，热传导是主要的热传递方式[^34]。结合Brahmbhatt等人[^6]的观察结果——即在我们用于扫描的3D打印物体内部，热量散失较低——这表明传导热能够准确反映接触情况。遵循[^6]的方法，我们用热像仪测量传导热。与MANO手部网格的一致性：接触物体点到最近手部点的平均距离为4.17毫米（基于10个MANO手部姿态参数）和4.06毫米（基于15个MANO手部姿态参数）。与基于压力的接触一致性：我们还将热接触图与Sensel Morph平面压力传感器采集的压力图像进行了对比验证[^3] [^52]。在对热图像和压力图像进行配准后，我们将处理后的热图像的阈值设定在[^0] [^1]范围内，步长为0.1。压力图像中任何非零像素均被视为接触点。当阈值为0.4时，二元接触一致性达到95.4%的峰值（见图12）。

Binary Contact Agreement with Pressure Data (%)

![Image](images/ce244108b0e8ac4c3a44fc601cf716429dd1a9fc18f4a8b8ad45033130e1bbb4.jpg)

contact value threshold

Fig.12: Relation of contact value threshold to the binary contact agreement with pressure data from the Sensel Morph sensor. Agreement maximizes at the threshold value of 0.4.

--- ### C.2 3D手部姿态精度遵循[^23]的方法，该指标通过拟合的MANO模型的3D关节与真实3D关节之间的差异来衡量。质量较差且不符合物理规律的真实数据可能会导致更大的差异，因为MANO模型无法适配这些不符合物理规律的关节位置。表3显示，尽管ContactPose使用的MANO手部姿态参数不到其他近期数据集的三分之一，但其差异却显著更小。表4则给出了手与物体穿透情况的统计数据。

Dataset	Avg. 3D Joint Error (mm)	AUC (%)
HO-3D [^23]	7.7	79.0
FreiHand [^69]	-	79.1
HANDS 2019 [^1]	11.39	-
ContactPose (ours) - 10 pose params	7.65	84.54
ContactPose (ours) - 15 pose params	6.68	86.49

Table 3: Discrepancy between 3D joints of the fitted MANO model and the ground truth 3D joints. 3D joint error (lower is better) is averaged over all 21 joints. AUC (higher is better) is the area under the error threshold vs. percentage of correct keypoints (PCK) curve, where the maximum error threshold is set to 5 cm.

Dataset	Mean Penetration (mm)	Median Penetration (mm)	Penetration freq (%)
FPHA [^17] (reported in [^25])	11.0	-	-
ContactPose - 15 pose params	2.02	1.53	4.75

Table 4: Statistics for hand-object penetration showing the accuracy of Contact-Pose. Note that [^25] report joint penetration for [^17], while we report surface penetration.

### D 参与者手部信息我们通过两种方式获取每位ContactPose参与者的手部信息：1）平板上的接触图（示例见图13）；2）参与者做出7种手势时的RGB-D视频（见图14）。这些信息有望用于通过拟合实体手部模型来估算手部形状（例如[^50]）。 --- ![Image](images/803168a1d1c75e7d59ca7240493af526d8817029cecf8733638f65dddb76d7ca.jpg)

Fig.13: Contact map of a participant's palm on a flat plate. Such palm contact maps for each participant are included in ContactPose.

![Image](images/286436a2e299fbcd4d3ce1769feace3273d04348767395ce8f573c19ea4f6537.jpg)

Fig. 14: Pre-defined hand gestures performed by each participant. RGB-D videos from 3 Kinects of each participant performing these gestures are included in ContactPose.

--- ## E 网络架构 ## E.1 PointNet++ 我们使用的PointNet++架构与Qi等人提出的点云分割网络类似[^48]，但做了一些修改以减少可学习参数的数量。与[^48]的方法一致，我们用$SA(s, r, [l_1, \ldots, l_d])$来表示集合抽象层，该层包含最远点采样比s、球半径r（点云被归一化到$[-0.5, 0.5]$立方体内）以及大小为$l_i$的d个全连接层（$i = 1 \ldots d$）。全局集合抽象层则不标注最远点采样比和球半径。$FP(K, [l_1, \ldots, l_d])$表示特征传播层，该层包含K个最近邻点和大小为$l_i$的d个全连接层（$i = 1 \ldots d$）。$FC(S_{in}, S_{out})$表示输出大小为$S_{out}$的全连接层，该层分别应用于每个具有$S_{in}$维特征的点。在集合抽象层和特征传播层中，每个全连接层之后都接有ReLU层和批归一化层。我们的网络架构如下： $$ SA\left(0.2,0.1,[F,64,128]\right)-SA\left(0.25,0.2,[128,128,256]\right)- $$ $$ SA\left([256,512,1024]\right)-FP(1,[1024+256,256,256]) - $$ $$ FP(3,[256+128,256,128])-FP(3,[128+F,128,128])- $$ $$ FC(128,128)-FC(128,10) $$ 其中F为输入特征的数量，最后一层会输出10个接触值类别的得分。 ### E.2 图像编解码器我们借鉴U-Net [^51]的设计思路，设计了图15所示的轻量级网络，用于从RGB图像中提取密集特征。全局平均池化层旨在捕捉关于整个手部和物体的信息。 ### F 训练与评估细节所有模型均使用PyTorch [^42]和Adam优化器 [^32]进行训练（基础学习率为$\in \{5 \times 10^{-4}, 1 \times 10^{-3}, 5 \times 10^{-3}\}$，动量为0.9，权重衰减为$5e - 4$，批量大小为25）。点云和体素网格会沿其“向上”轴以等间距$30^\circ$旋转。在训练过程中，这些旋转被视为独立的数据点，评估时则对它们的预测结果取平均值。对于基于图像的接触点预测，ContactPose中每个抓取动作大约包含300帧RGB-D图像（由$\times$台Kinect采集），但由于帧率较高，时间上相邻的帧相关性很强。因此，我们在训练集中选取每个抓取动作中等间距的50帧图像。评估时则从这50帧中选取等间距的12帧进行。 --- ![Image](images/bed9da6faa857c96fc8bd60ab5d8a671fcfbc45c8f30b3691b23317cbd33d7b5.jpg)

Fig.15: Architecture for the image encoder-decoder (Figure 10 in main paper). Horizontal numbers indicate number of channels, and vertical numbers indicate spatial dimensions.

--- ## G 物体列表表5列出了ContactPose中的所有25个物体，同时说明了哪些物体属于两类功能性抓取类别，以及具体的使用说明。

Object	handoff	use	use instruction
apple	✓	✓	eat
banana	✓	✓	peel
binoculars	✓	✓	see through
bowl	✓	✓	drink from
camera	✓	✓	take picture
cell phone	✓	✓	talk on
cup	✓	✓	drink from
door knob		✓	twist to open door
eyeglasses	✓	✓	wear
flashlight	✓	✓	turn on
hammer	✓	✓	hit a nail
headphones	✓	✓	wear
knife	✓	✓	cut
light bulb	✓	✓	screw in a socket
mouse	✓	✓	use to point and click
mug	✓	✓	drink from
pan	✓	✓	cook in
PS controller	✓	✓	play a game with
scissors	✓	✓	cut with
stapler	✓	✓	staple
toothbrush	✓	✓	brush teeth
toothpaste	✓	✓	squeeze out toothpaste
Utah teapot	✓	✓	pour tea from
water bottle	✓	✓	open
wine glass	✓	✓	drink wine from
Total	24	25

Table 5: List of objects in ContactPose and specific 'use' instructions

## 参考文献 1. 第五届观察与理解手部动作国际研讨会。，访问日期：2020-03-12 17 2. chumpy：Python的自动微分工具。，访问日期：2020-03-12 15 3. SenseI morph。，访问日期：2020-07-07 16 --- [^4]: Ballan, L., Taneja, A., Gall, J., Van Gool, L., Pollefeys, M.: Motion capture of hands in action using discriminative salient points. In: European Conference on Computer Vision. pp. 640–653. Springer (2012) 4, 12 [^5]: Bernardin, K., Ogawara, K., Ikeuchi, K., Dillmann, R.: A sensor fusion approach for recognizing continuous human grasping sequences using hidden markov models. IEEE Transactions on Robotics 21(1), 47–57 (2005) 3, 4 [^6]: Brahmbhatt, S., Ham, C., Kemp, C.C., Hays, J.: ContactDB: Analyzing and predicting grasp contact via thermal imaging. In: The IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (June 2019) 2, 3, 4, 5, 6, 7, 8, 9, 12, 13, 15, 16 [^7]: Brahmbhatt, S., Handa, A., Hays, J., Fox, D.: ContactGrasp: Functional Multifinger Grasp Synthesis from Contact. In: IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS) (2019) 1 [^8]: Bullock, I.M., Feix, T., Dollar, A.M.: The yale human grasping dataset: Grasp, object, and task data in household and machine shop environments. The International Journal of Robotics Research 34(3), 251–255 (2015) 4, 7 [^9]: Bullock, I.M., Zheng, J.Z., De La Rosa, S., Guertler, C., Dollar, A.M.: Grasp frequency and usage in daily household and machine shop tasks. IEEE transactions on haptics 6(3), 296–308 (2013) 7 10. Campello, R.J.G.B., Moulavi, D., Zimek, A., Sander, J.：用于数据聚类、可视化和异常检测的层次化密度估计。《ACM知识发现与数据期刊》第10卷第1期，5:1–5:51页（2015年7月）。， 10 [^11]: Deimel, R., Brock, O.: A novel type of compliant and underactuated robotic hand for dexterous grasping. The International Journal of Robotics Research 35(1-3), 161-185 (2016) 2 [^12]: Ehsani, K., Tulsiani, S., Gupta, S., Farhadi, A., Gupta, A.: Use the force, luke! learning to predict physical forces by simulating effects. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (June 2020) 3 [^13]: Feix, T., Romero, J., Schmiedmayer, H.B., Dollar, A.M., Kragic, D.: The grasp taxonomy of human grasp types. IEEE Transactions on Human-Machine Systems 46(1), 66–77 (2015) 4 [^14]: Ferrari, C., Canny, J.: Planning optimal grasps. In: Proceedings IEEE International Conference on Robotics and Automation. pp. 2290–2295. IEEE (1992) 2 [^15]: Fey, M., Lenssen, J.E.: Fast graph representation learning with PyTorch Geometric. In: ICLR Workshop on Representation Learning on Graphs and Manifolds (2019) 12 [^16]: Fischler, M.A., Bolles, R.C.: Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography. Communications of the ACM 24(6), 381–395 (1981) 7 [^17]: Garcia-Hernando, G., Yuan, S., Baek, S., Kim, T.K.: First-person hand action benchmark with rgb-d videos and 3d hand pose annotations. In: Proceedings of Computer Vision and Pattern Recognition (CVPR) (2018) 1, 4, 10, 17 [^18]: Garon, M., Lalonde, J.F.: Deep 6-dof tracking. IEEE transactions on visualization and computer graphics 23(11), 2410–2418 (2017) 11 ## [^19]: Glauser, O., Wu, S., Panozzo, D., Hilliges, O., Sorkine-Hornung, O.: Interactive hand pose estimation using a stretch-sensing soft glove. ACM Transactions on Graphics (TOG) 38(4), 1–15 (2019) 4 --- [^20]: Groueix, T., Fisher, M., Kim, V.G., Russell, B.C., Aubry, M.: A papier-mâché approach to learning 3d surface generation. In: Proceedings of the IEEE conference on computer vision and pattern recognition. pp. 216–224 (2018) 11 [^21]: Hamer, H., Gall, J., Weise, T., Van Gool, L.: An object-dependent hand pose prior from sparse training data. In: IEEE Computer Society Conference on Computer Vision and Pattern Recognition. pp. 671–678. IEEE (2010) 3 [^22]: Hamer, H., Schindler, K., Koller-Meier, E., Van Gool, L.: Tracking a hand manipulating an object. In: 2009 IEEE 12th International Conference on Computer Vision. pp. 1475–1482. IEEE 4 [^23]: Hampali, S., Rad, M., Oberweger, M., Lepetit, V.: Honnotate: A method for 3d annotation of hand and object poses. In: IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (June 2020) 4, 11, 17 [^24]: Hassan, M., Choutas, V., Tzionas, D., Black, M.J.: Resolving 3d human pose ambiguities with 3d scene constraints. In: The IEEE International Conference on Computer Vision (ICCV) (October 2019) 1 [^25]: Hasson, Y., Varol, G., Tzionas, D., Kalevatykh, I., Black, M.J., Laptev, I., Schmid, C.: Learning joint reconstruction of hands and manipulated objects. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. pp. 11807–11816 (2019) 1, 2, 4, 8, 17 [^26]: He, K., Gkioxari, G., Dolr, P., Girshick, R.: Mask R-CNN. In: IEEE International Conference on Computer Vision (ICCV). pp. 2980–2988 (Oct 2017) 6 [^27]: He, K., Zhang, X., Ren, S., Sun, J.: Delving deep into rectifiers: Surpassing human-level performance on imagenet classification. In: Proceedings of the IEEE international conference on computer vision. pp. 1026–1034 (2015) 12 [^28]: Homberg, B.S., Katzschmann, R.K., Dogar, M.R., Rus, D.: Haptic identification of objects using a modular soft robotic gripper. In: IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). pp. 1698–1705. IEEE (2015) [^29]: Huber, P.J.: Robust estimation of a location parameter. In: Breakthroughs in statistics, pp. 492–518. Springer (1992) 7 [^30]: Ioffe, S., Szegedy, C.: Batch normalization: Accelerating deep network training by reducing internal covariate shift. In: International Conference on Machine Learning. pp. 448–456 (2015) 12 [^31]: Joo, H., Simon, T., Sheikh, Y.: Total capture: A 3d deformation model for tracking faces, hands, and bodies. In: Proceedings of the IEEE conference on computer vision and pattern recognition. pp. 8320–8329 (2018) 13 [^32]: Kingma, D.P., Ba, J.: Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980 (2014) 19 [^33]: Larsen, E., Gottschalk, S., Lin, M.C., Manocha, D.: Fast distance queries with rectangular swept sphere volumes. In: IEEE International Conference on Robotics and Automation. Symposia Proceedings (Cat. No. 00CH37065). vol. 4, pp. 3719–3726. IEEE (2000) 4 34. Lienhard, IV, J.H., Lienhard, V, J.H.：《传热学教材》。Phlogiston Press出版社，马萨诸塞州剑桥市，第5版（2019年8月），，版本5.00 16 [^35]: Lin, T.Y., Maire, M., Belongie, S., Hays, J., Perona, P., Ramanan, D., Dollár, P., Zitnick, C.L.: Microsoft coco: Common objects in context. In: European conference on computer vision. pp. 740–755. Springer (2014) 11 ## [^36]: Lu, Q., Chenna, K., Sundaralingam, B., Hermans, T.: Planning multi-fingered grasps as probabilistic inference in a learned deep network. In: International Symposium on Robotics Research (2017) 1 --- [^37]: Mahler, J., Matl, M., Satish, V., Danielczuk, M., DeRose, B., McKinley, S., Goldberg, K.: Learning ambidextrous robot grasping policies. Science Robotics 4(26), eaau4984 (2019) 2 [^38]: Mahler, J., Pokorny, F.T., Hou, B., Roderick, M., Laskey, M., Aubry, M., Kohlhoff, K., Kröger, T., Kuffner, J., Goldberg, K.: Dex-net 1.0: A cloud-based network of 3d objects for robust grasp planning using a multi-armed bandit model with correlated rewards. In: IEEE international conference on robotics and automation (ICRA). pp. 1957–1964. IEEE (2016) 4 [^39]: Maturana, D., Scherer, S.: Voxnet: A 3rd convolutional neural network for real-time object recognition. In: IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). pp. 922–928. IEEE (2015) 12 [^40]: Miller, A.T., Allen, P.K.: Graspit! a versatile simulator for robotic grasping. IEEE Robotics & Automation Magazine 11(4), 110–122 (2004) 2, 4 [^41]: Moon, G., Yong Chang, J., Mu Lee, K.: V2V-posenet: Voxel-to-voxel prediction network for accurate 3d hand and human pose estimation from a single depth map. In: Proceedings of the IEEE conference on computer vision and pattern recognition. pp. 5079–5088 (2018) 7 [^42]: Paszke, A., Gross, S., Chintala, S., Chanan, G., Yang, E., DeVito, Z., Lin, Z., Desmaison, A., Antiga, L., Lerer, A.: Automatic differentiation in PyTorch. In: NIPS Autodiff Workshop (2017) 12, 19 43. Pavlakos, G., Choutas, V., Ghorbani, N., Bolkart, T., Osman, A.A.A., Tzionas, D., Black, M.J.：富有表现力的身体捕捉技术：从单张图像中还原3D手部、面部和身体。载于：IEEE计算机视觉与模式识别会议（CVPR）论文集（2019年6月）， 4 [^44]: Pham, T.H., Kheddar, A., Qammaz, A., Argyros, A.A.: Towards force sensing from vision: Observing hand-object interactions to infer manipulation forces. In: Proceedings of the IEEE conference on computer vision and pattern recognition. pp. 2810–2819 (2015) 3 [^45]: Pham, T.H., Kyriazis, N., Argyros, A.A., Kheddar, A.: Hand-object contact force estimation from markerless visual tracking. IEEE Transactions on Pattern Analysis and Machine Intelligence 40. 2883–2896 (2018) 3, 9 [^46]: Pollard, N.S.: Parallel methods for synthesizing whole-hand grasps from generalized prototypes. Tech. rep., MASSACHUSETTS INST OF TECH CAMBRIDGE ARTIFICIAL INTELLIGENCE LAB (1994) 2 [^47]: Powell, M.J.: A new algorithm for unconstrained optimization. In: Nonlinear programming, pp. 31–65. Elsevier (1970) 15 [^48]: Qi, C.R., Yi, L., Su, H., Guibas, L.J.: Pointnet++: Deep hierarchical feature learning on point sets in a metric space. In: Advances in neural information processing systems. pp. 5099–5108 (2017) 12, 19 [^49]: Rogez, G., Supancic, J.S., Ramanan, D.: Understanding everyday hands in action from rgb-d images. In: Proceedings of the IEEE international conference on computer vision. pp. 3889–3897 (2015) 4 [^50]: Romero, J., Tzionas, D., Black, M.J.: Embodied hands: Modeling and capturing hands and bodies together. ACM Transactions on Graphics (TOG) 36(6), 245 (2017) 2, 7, 13, 15, 17 [^51]: Ronneberger, O., Fischer, P., Brox, T.: U-net: Convolutional networks for biomedical image segmentation. In: International Conference on Medical image computing and computer-assisted intervention. pp. 234–241. Springer (2015) 11, 19 ## [^52]: Rosenberg, I.D., Zarraga, J.A.: System for detecting and confirming a touch input. US Patent US20170336891A1 (2017) 16 --- [^53]: Simon, T., Joo, H., Matthews, I., Sheikh, Y.: Hand keypoint detection in single images using multiview bootstrapping. In: CVPR (2017) 1, 4, 6, 11 [^54]: Sridhar, S., Mueller, F., Zollhöfer, M., Casas, D., Oulasvirta, A., Theobalt, C.: Real-time joint tracking of a hand manipulating an object from rgb-d input. In: European Conference on Computer Vision. pp. 294–310. Springer (2016) 4 [^55]: Sundaram, S., Kellnhofer, P., Li, Y., Zhu, J.Y., Torralba, A., Matusik, W.: Learning the signatures of the human grasp using a scalable tactile glove. Nature 569(7758), 698 (2019) 2, 3, 4 56. SynTouch LLC：BioTac。，访问日期：2020-03-05 7 [^57]: Tekin, B., Bogo, F., Pollefeys, M.: H+ o: Unified egocentric recognition of 3d hand-object poses and interactions. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. pp. 4511–4520 (2019) 1, 11 [^58]: Teschner, M., Kimmerle, S., Heidelberger, B., Zachmann, G., Raghupathi, L., Fuhrmann, A., Cani, M.P., Faure, F., Magnenat-Thalmann, N., Strasser, W., et al.: Collision detection for deformable objects. In: Computer graphics forum. vol. 24, pp. 61–81. Wiley Online Library (2005) 4 [^59]: Tompson, J., Stein, M., Lecun, Y., Perlin, K.: Real-time continuous pose recovery of human hands using convolutional networks. ACM Transactions on Graphics (ToG) 33(5), 169 (2014) 1, 6 60. Tremblay, J., To, T., Sundaralingam, B., Xiang, Y., Fox, D., Birchfield, S.：用于家用物体语义机器人抓取的深度物体姿态估计。载于：机器人学习会议（CoRL）（2018年）， [^61]: Tzionas, D., Ballan, L., Srikantha, A., Aponte, P., Pollefeys, M., Gall, J.: Capturing hands in action using discriminative salient points and physics simulation. International Journal of Computer Vision 118(2), 172–193 (2016) 1, 2, 4, 12 [^62]: Wade, J., Bhattacharjee, T., Williams, R.D., Kemp, C.C.: A force and thermal sensing skin for robots in human environments. Robotics and Autonomous Systems 96, 1–14 (2017) 2 [^63]: Ye, Y., Liu, C.K.: Synthesis of detailed hand manipulations using contact sampling. ACM Transactions on Graphics (TOG) 31(4), 41 (2012) 4 [^64]: Zhang, R., Isola, P., Efros, A.A.: Colorful image colorization. In: European conference on computer vision. pp. 649–666. Springer (2016) 11, 12, 13 [^65]: Zhang, X., Li, Q., Mo, H., Zhang, W., Zheng, W.: End-to-end hand mesh recovery from a monocular rgb image. In: The IEEE International Conference on Computer Vision (ICCV) (October 2019) 1, 11 [^66]: Zhou, Q.Y., Koltun, V.: Color map optimization for 3d reconstruction with consumer depth cameras. ACM Transactions on Graphics (TOG) 33(4), 1–10 (2014) 6 [^67]: Zhou, Q.Y., Park, J., Koltun, V.: Open3D: A modern library for 3D data processing. arXiv:1801.09847 (2018) 6 [^68]: Zhou, X., Leonardos, S., Hu, X., Daniilidis, K.: 3d shape estimation from 2d landmarks: A convex relaxation approach. In: proceedings of the IEEE conference on computer vision and pattern recognition. pp. 4447–4455 (2015) 11 [^69]: Zimmermann, C., Ceylan, D., Yang, J., Russell, B., Argus, M., Brox, T.: Freihand: A dataset for markerless capture of hand pose and shape from single rgb images. In: The IEEE International Conference on Computer Vision (ICCV) (October 2019) 4, 11, 17