# DexGraspNet：基于仿真的大规模通用物体机器人灵巧抓取数据集
王瑞成 $^{1*}$、张佳良 $^{1*}$、陈嘉毅 $^{1,2}$、徐银珍 $^{1,2}$、李普浩 $^{2,3}$、刘腾宇 $^{2}$、王赫 $^{1\dagger}$
摘要—机器人灵巧抓取是实现类人灵巧物体操控的第一步，因此是一项至关重要的机器人技术。然而，与平行夹爪的物体抓取相比，灵巧抓取的研究程度要低得多，部分原因是缺乏大规模数据集。在这项工作中，我们提出了一种大规模机器人灵巧抓取数据集DexGraspNet，该数据集通过我们提出的高效合成方法生成，可普遍应用于任意灵巧手。我们的方法利用了深度加速的可微力闭合估计器，因此能够高效且稳健地大规模合成稳定且多样的抓取样本。我们选用ShadowHand作为实验对象，为5355个物体生成了132万个抓取样本，涵盖超过133个物体类别，每个物体实例对应超过200种不同抓取方式，所有抓取样本均经过Isaac Gym模拟器的验证。与Liu等人用GraspIt!生成的以往数据集相比，我们的数据集不仅包含更多物体和抓取样本，多样性和质量也更高。通过跨数据集实验我们发现，在 our数据集上训练多种灵巧抓取合成算法，其性能明显优于在以往数据集上训练的结果。如需获取我们的数据和代码（包括用于人形手和Allegro手抓取合成的代码），请访问我们的项目页面：。
## 一、引言
机器人物体抓取是许多机器人系统的重要技术。近年来，基于视觉的抓取方法[1–6]以及面向平行夹爪的大规模数据集取得了巨大进展，例如合成的物体中心数据集ACRONYM [^7]，以及杂乱环境中抓取的真实世界数据集GraspNet [^3]。
尽管平行夹爪在拾取放置任务中简单高效，但由于其自由度较低，在灵巧物体操控方面存在一定局限，例如使用剪刀时。相比之下，多指机器人手（如ShadowHand [^8]）具有类人结构，设计有极高的自由度（ShadowHand的自由度为26），能够实现更多样化的抓取类型。这些灵巧手可以支持许多复杂多样的操控任务，例如还原魔方 [^11]，也可用于特定任务的抓取 [^12]。
可以说，灵巧抓取是灵巧操控的第一步。然而，与平行抓取相比，灵巧抓取的研究程度仍很低。主要障碍之一是缺乏学习类方法所需的大规模机器人灵巧抓取数据集。迄今为止，唯一的数据集由Liu等人 [^9] 提供（即深度可微抓取数据集，简称DDG），其中仅包含6900个抓取样本。
Fig. 1: A visualization of DexGraspNet. DexGraspNet contains 1.32M grasps of ShadowHand [^8] on 5355 objects, which is two orders of magnitudes larger than the previous dataset from DDG [^9]. It features diverse types of grasping that cannot be achieved using GraspIt! [^10].
该数据集仅包含565个物体，规模远小于平行夹爪的抓取数据集，例如GraspNet [^3]、ACRONYM [^7]。考虑到灵巧手的高自由度特性，为了实现良好的泛化能力，灵巧抓取数据集需要具备更大的规模和更高的多样性。
在这项工作中，我们提出了DexGraspNet——一个用于机器人灵巧抓取的大规模模拟数据集。该数据集包含了针对ShadowHand在5355个物体上的132万个灵巧抓取样本，每个物体实例对应超过200种多样化的抓取方式。这些物体来自133类手部尺寸的物体，且采集自各种合成及扫描物体数据集。除了规模庞大之外，我们的数据集还具有高度的多样性和物理稳定性。所有抓取样本都经过了力闭合性检验，并通过Isaac Gym $^{[13]}$物理模拟器验证，从而能够支持现实世界与仿真环境中的后续任务。
需要注意的是，大规模合成高质量、多样化的灵巧抓取样本极具挑战性。在灵巧抓取数据合成领域，以往的研究（如DDG）主要采用GraspIt! [^10]工具，但由于其搜索策略较为简单，导致抓取姿态的多样性不足。近期的一项研究 [^19] 提出了一种解决多样性问题的新方法。该方法设计了一个可微分的能量项来近似
---
TABLE I: Dexterous Grasp Dataset Comparison
| Dataset | Hand | Observations | Sim./Real | Grasps | Obj.(Cat.) | Grasps per Obj. | Method |
| ObMan [^14] | MANO | - | Sim. | 27k | 2772(8) | 10 | Graspt! |
| HO3D [^15] | MANO | RGBD | Real | 77k | 10 | >7k | Estimation |
| DexYCB [^16] | MANO | RGBD | Real | 582K | 20 | >29k | Human annotation |
| ContactDB [^17] | MANO | RGBD+thermal | Real | 3750 | 50 | 75 | Capture |
| ContactPose [^18] | MANO | RGBD | Real | 2306 | 25 | 92 | Capture |
| DDGdata [^9] | ShadowHand | - | Sim. | 6.9k | 565 | >100 | Graspt! |
| DexGraspNet (Ours) | ShadowHand | - | Sim. | 1.32M | 5355(133) | >200 | Optimization |
力闭合性，进而通过优化来合成多样化且稳定的抓取样本。然而，[^19]方法存在生成效率低、收敛速度慢以及对物体网格约束严格等问题，因此我们无法用它来合成大规模数据集。
为了实现所需的多样性、质量和规模，我们对[^19]方法进行了几项关键改进，使其效率更高且更稳健。首先，我们设计了更优的手部姿态初始化策略，并精心挑选接触候选点以提高生成效率。在合成1万个有效抓取样本时，所需时长从400 GPU小时缩短至7 GPU小时。其次，我们提出了计算穿透能量和有符号距离的替代方法，这使得我们能够处理质量较差的物体网格，同时大幅简化了预处理流程。第三，我们引入了惩罚自穿透和超出极限范围的关节角度的能量项，以进一步提升抓取质量。此外，只需进行简单修改，整个流程就能应用于其他灵巧手，例如MANO [^20]和Allegro。
为了验证我们的数据集相较于DDG数据集的优势，我们在各自的数据集上训练了两种灵巧抓取算法。跨数据集实验表明，基于我们的数据集训练的模型能实现更好的抓取质量和更高的多样性。此外，我们数据集中丰富的手部抓取样本为未来灵巧抓取算法的发展留下了巨大的提升空间。
### 二、相关工作
抓取研究大致可以按照所涉及的末端执行器类型进行分类。其中研究最为深入的是吸盘式和平行夹爪式抓取器，其抓取姿态最多可由一个7维向量定义，包括3维平移参数、3维旋转参数以及1维的手指间距参数。而拥有三个或更多手指的灵巧机械手（如ShadowHand [^8]）以及类人手（如MANO [^20]）则需要更复杂的描述符，像ShadowHand [^8]的描述符甚至可达24个自由度。本文专注于后一类抓取器的相关研究。为了弥合类人手与机械手之间的差距，大量研究已经证明了将类人手姿态映射到灵巧机械手的可行性[21–24]。
### A. 解析法抓取
早期的灵巧抓取研究侧重于优化抓取姿态，以形成能够抵抗外部力和扭矩的力闭合状态[25–28]。
由于计算手部运动学以及测试力闭合状态的过程较为复杂，许多研究致力于简化搜索空间[29–31]。但这样一来，这些方法仅适用于受限场景，且能生成的抓取姿态类型也十分有限。另一类研究[32–34]则试图借助辅助函数来简化优化过程。[^19]提出使用可微分的力闭合度量估算器，从而为任意手部合成多样化的抓取姿态。
### B. 数据驱动的抓取方法
近期的研究将重点转向数据驱动的方法。对于给定物体而言，最直接的方式就是直接生成抓取手部的姿态向量[35–39]。这类方法通常会设置细化步骤，以消除诸如物体穿透等不一致现象。
其他方法则采用间接途径，即先生成中间表示。现有方法利用接触点[40–42]、接触图[21, 22, 43–45]以及占据场[^46]作为中间表示。随后，通过优化[^40] [^41] [^44] [^46]、规划[^43]、强化学习策略[^22] [^42]或另一种生成模型[^45]来获取抓取姿态。
与大多数解析方法相比，数据驱动方法在推理速度和生成的抓取姿态多样性方面表现更优。不过，其多样性仍受限于训练数据。
### C. 灵巧抓取数据集
由于灵巧抓取的自由度极高，对其进行标注极为困难。目前大多数相关研究都是在GraspIt! [^9]规划器的帮助下，通过程序化合成的抓取姿态进行训练的[^14] [^38] [^47] [^10]。该规划器会先在特征抓取空间中搜索超过阈值的前抓取姿态，随后挤压所选前抓取姿态中的所有手指以形成牢固的抓取。由于初始搜索是在低维的特征抓取空间中进行的，因此生成的数据分布较窄，无法涵盖多指手的全部灵巧性。
更近期的研究利用计算机视觉能力的提升来采集人与物体交互时的手部姿态。HO3D [^15] [^48]根据2D手部关键点标注计算出图像的真实3D手部姿态。该方法通过考虑手-物交互以及手-手交互中的物理约束来解决歧义问题。DexYCB [^16]和ContactPose [^18]则能从多视角RGBD相机记录中还原3D手部形状。最新的数据集[49–51]采用光学动作捕捉系统来追踪交互过程中的手部和物体形状。虽然这些
---
方法能生成自然流畅的交互演示，但数据仅限于类人手部结构和日常手部姿态。
此外，ContactDB [^17]和ContactPose [^18]利用红外相机采集物体表面的接触图。
### III. 数据集生成方法
### A. 物体预处理
我们从各种数据集中收集物体模型。ShapeNet-Core和ShapeNetSem [^52] [^53] 包含带有类别标签的计算机辅助设计（CAD）模型，我们从中选取了133个类别中的3980个物体。YCB [^54]、BigBIRD [^55]、Grasp [^56]、KIT [^57] 以及谷歌扫描的物体数据集 [^58] 都是没有类别标签的扫描模型库，我们从中选取了1375个物体。在我们的数据集中，这些物体并未标注类别。
由于这些数据集中的物体并非都按照现实世界中的尺寸对齐，我们选择将所有模型归一化到一个单位球内，然后通过均匀缩放的方式为每个物体生成5种固定尺寸的样本。接着，我们将它们重新网格化为流形 [^59]，以形成封闭图形。最后，为了便于模拟，我们使用CoACD [^60] 对每个物体网格进行凸分解，从而为每个物体创建碰撞网格。
### B. 抓取生成
1) 假设与符号说明：为了参数化灵巧抓取，我们使用元组 $g = (T, R, \theta)$，其中 $T \in \mathbb{R}^3$ 和 $R \in SO(3)$ 构成全局手部姿态，而 $\theta \in \mathbb{R}^d$ 描述了d个关节角度（对于ShadowHand而言为 $d = 22$）。给定灵巧手的URDF文件，我们可以通过正运动学利用g计算出手部网格H。在生成过程中，我们需要考虑接触点。遵循 [^19] 的观点——较少的接触候选点能加快收敛速度，我们首先从手部表面手动选取140个接触候选点；在优化的每次迭代中，会从这些候选点中随机抽取n个接触点来计算能量项。随后我们将抓取元组扩展为 $g' = (T, R, \theta, x)$，其中x代表 $n = 4$ 个接触点。给定物体网格O，可以根据x计算出接触法向量 $c \in \mathbb{R}^{n \times 3}$。需要注意的是，x是抓取生成算法的中间变量，算法结束后就会被丢弃。
2) 可微力闭合技术综述：我们的灵巧抓取生成方法主要基于 [^19] 的原始工作，他们提出了一种新颖的可微力闭合估计器作为能量项，并通过优化来合成抓取。这种可微力闭合项用于促使一组接触点形成力闭合，其表达式如下：
$$ \boldsymbol{E}_{\mathrm{f c}}=||\boldsymbol{G}\boldsymbol{c}||_{2} $$
其中
$$ G=\begin{bmatrix}I_{3}&\cdots&I_{3}\\ {\left[x_{1}\right]\times}&\cdots&\left[x_{n}\right]\times\end{bmatrix} $$
$$ \left[x_{i}\right]_{\times}=\begin{bmatrix}0&-x_{i}^{(z)}&x_{i}^{(y)}\\ x_{i}^{(z)}&0&-x_{i}^{(x)}\\ -x_{i}^{(y)}&x_{i}^{(x)}&0\end{bmatrix} $$
引入一对吸引与排斥能量函数，以确保接触并防止穿透：
$$ E_{\mathrm{d i s}}=\sum_{i=1}^{n}d(x_{n},O),E_{\mathrm{p e n}}=\sum_{v\in S(H)}[v\in O]d(v,O) $$
其中 $S(H)$ 是手部网格H的表面点云，$d(\cdot,\cdot)$ 表示点到网格的距离，若点v位于物体网格O内部则 $[v\in O]=1$。他们还使用了能量函数 $E_{\mathrm{prior}}$ 来保持手部的自然状态。完整的能量函数如下：
$$ E=E_{\mathrm{fc}}+w_{\mathrm{dis}}E_{\mathrm{dis}}+w_{\mathrm{pen}}E_{\mathrm{pen}}+w_{\mathrm{prior}}E_{\mathrm{prior}} $$
他们设计了改进的MALA优化算法，用于在扩展后的抓取元组 $g' = (T, R, \theta, x)$ 上最小化能量E。该算法以随机初始化的初始手部姿态 $g'_0$ 为起点。在每次迭代中，$T, R, \theta$ 会根据朗之万动力学进行更新，同时接触点x会以较小的概率被重新采样。更新的结果会根据Metropolis-Hastings规则随机接受或拒绝。优化过程在10000步后结束。更多细节请参考 [^19]。
3) 我们的方法：尽管[^19]取得了重大进展，但直接使用他们的方法获取大规模抓取数据集仍然相当困难，原因有三：1. 该算法成功率低且收敛速度慢；2. 由于物体数据集质量较差，我们使用的大多数物体网格没有厚度，因此无法计算穿透能量；3. 由于随机初始化，生成的一些抓取姿态可能显得扭曲。为解决这些问题，我们提出了几种方法来提升原算法的效率、有效性和鲁棒性：
首先，我们提出了一种能够显著提高成功率并加快收敛速度的初始化策略。我们发现，当初始手部处于闭合状态时，其优化算法的成功率会大幅下降。这促使我们在初始化策略中引入两个约束：1. 五根手指应张开以形成用于抓取的空间；2. 手掌应朝向物体。
具体来说，我们手动选取一个标准手部姿态$\theta_{ref}$，如图2所示，然后利用截断正态分布在每个关节角度的允许范围内对其进行微调。接着，针对每个物体网格，我们先取其凸包，再将凸包上的每个顶点沿远离原点的方向推移0.2米，从而得到膨胀后的凸包。之后，我们在膨胀后的凸包表面随机选取一点p，计算从p指向原物体网格上最近点的方向向量，再将该方向向量在圆锥体内微调得到$\vec{n}$。最后，将手部移动到p点，旋转使其方向与$\vec{n}$一致，随后沿$\vec{n}$方向以随机距离远离物体网格，并围绕$\vec{n}$随机旋转。
由此得到的初始手部姿态$(T_{0}, R_{0}, \theta_{0})$可以轻松被优化为抓取姿态，从而提高成功率。此外，对于每个物体，只要我们采样足够多的初始手部姿态，它们就能密集且均匀地环绕物体，这样我们就能
---
(a)
(b)
(c)
Fig. 2: (a) Green spheres with the radius of $\delta = 1$cm are manually selected to compute $E_{spen}$. (b) Contact candidates on the collision mesh in the canonical initial hand pose. (c) Initialization: 1. sample points on the object's inflated convex hull (blue); 2. move the hands to the sampled points and jitter the translation, rotation, and joint angles.
生成多样化的数据。同时我们发现，采用我们的策略后，最终的抓取姿态看起来更加自然。
其次，我们提出了一种计算穿透能量的替代方法，该方法能使算法对质量较差的薄物体网格更具鲁棒性。实际上，当物体网格没有厚度时，原算法会完全失效，因为此时穿透能量始终为零。因此，我们不从手部提取点云，而是从物体中提取点云，并计算每个点到手部网格的距离。我们将其称为反向穿透能量。这种方法根本不要求物体网格具有任何厚度，因此我们能够处理更多的物体CAD模型。
第三，我们借鉴$E_{prior}$的思路对[^45]进行修改，以惩罚自穿透现象以及超出限制范围的关节角度：
$$ E_{\mathrm{s p e n}}=\sum_{p\in P(H)}\sum_{q\in P(H)}[p\neq q]\max(\delta-d(p,q),0) $$
$$ E_{\mathrm{j o i n t s}}=\sum_{i=1}^{d}(\max(\theta_{i}-\theta_{i}^{\max},0)+\max(\theta_{i}^{\min}-\theta_{i},0)) $$
这些内容被纳入我们的最终能量函数中：
$$ E_{\mathrm{fc}}+w_{\mathrm{dis}}E_{\mathrm{dis}}+w_{\mathrm{pen}}E_{\mathrm{pen}}+w_{\mathrm{spen}}E_{\mathrm{spen}}+w_{\mathrm{joints}}E_{\mathrm{joints}} $$
$$ \begin{array}{r}{\mathrm{w h e r e~}w_{\mathrm{d i s}}=100,w_{\mathrm{p e n}}=100,w_{\mathrm{s p e n}}=10,w_{\mathrm{j o i n t s}}=1.}\end{array} $$
我们的实现与[^19]之间的另一个细微差别在于优化算法。由于我们的初始化策略已经将算法成功率提升至可接受水平，因此我们简化了MALA算法，在每次优化步骤中使用简单的梯度下降法来更新$T, R, \theta$。在我们的实验设置中，优化过程在不到6000次迭代内即可收敛，这几乎将原有的迭代次数减少了一半。
最后，我们采用了经过修改的Kaolin版本[^61]来代替DeepSDF[^62]，用于计算点到网格的有符号距离。这种方法无需预先训练类别级别的DeepSDF网络，还能在优化抓取策略时大幅降低内存消耗。
### C. 抓取验证
为了过滤掉优化收敛后的不良结果，我们会在物理模拟器中对所有抓取方案进行验证。
Fig. 3: Distribution of object numbers with respect to the average success rate for each object after final validation. We only keep successful grasps in our dataset.
Fig. 4: Visualization of grasps using different dexterous hands. From left to right: ShadowHand, MANO, Allegro.
我们使用以PhysX为基础物理引擎的Isaac Gym[^13]。首先，我们利用最终的抓取参数初始化夹持器。接着，为了对物体施加主动力，我们会沿着接触点的法线方向轻微移动夹持器的每个接触连杆，并将移动后的姿态设为位置控制的目标位置。最后，场景中会加入大小为$9.8m/s^{2}$的重力。如果在六个轴向的重力作用下，夹持器在100个模拟步长后仍能与物体保持接触，则该抓取被视为成功。图3展示了各物体的平均成功率与其对应物体数量的分布情况。此外，如果最大穿透深度超过0.1厘米，我们也认为该抓取失败。只有同时通过了模拟验证和穿透验证的抓取方案才会被存入我们的数据集。
### IV. 数据集分析与对比
借助我们改进的流程，我们为每个物体生成了超过200个抓取方案，总计达到132万个抓取样本，从而形成了规模最大的ShadowHand抓取数据集。图5展示了一些定性的可视化结果。此外，该流程也能稳定应用于其他灵巧手。图4分别展示了针对人手（MANO[^20]）、Allegro以及ShadowHand的合成结果。
与原始算法[^19]相比，我们改进的流程显著提升了运算速度。在运算能力为19.49 TFLOPS的NVIDIA A100上，我们的算法仅需74分钟就能完成对10000个抓取方案的6000步优化，其中约18%的抓取方案被认为有效。
---
Fig. 5: Visualization of the diverse grasps on the objects from DexGraspNet.
Fig. 6: Diversity comparison between DexGraspNet and DDGdata. Left: The poses of each finger of DDGdata (red) all collapse into a fan-shaped space, while fingers from our data (blue) can reach out in all directions. Right: Probability distribution of two joint angles over all grasp poses. Joint angles from DDGdata typically hover around the two limits, contributing to the dataset's stiff and inflexible grasp mode.
而原始算法[^19]在运算能力为35.58 TFLOPS的NVIDIA 3090上，优化512个抓取方案的10000步过程就需要耗时37分钟，其中仅约3%的抓取方案被视为有效。我们利用A100显卡花费950小时才生成了132万个有效的抓取方案，若使用原始算法则需耗费50000小时。这种速度上的提升得益于更快的收敛速度、更小的内存占用（从而允许更大的批量大小）以及更高的成功率。
我们通过将DexGraspNet与DDG[^9]提出的数据集（简称DDGdata）进行对比，来展示我们数据集的质量。DDGdata是由GraspIt![^10]生成的针对ShadowHand的抓取数据集，主要从以下两个方面进行比较。
首先，我们得出结论：DexGraspNet的多样性更强。如图6所示，GraspIt中的规划器只能让每个手指沿固定方向弯曲，因此每个手指的根部关节都会失去一个自由度。此外，由于生成策略简单，DDGdata中许多关节的角度往往会趋近于其上下极限，这些现象导致了严重的多样性缺失。相比之下，我们的优化方法能生成灵活性更高的多样化抓取方案，如图5所示。我们进一步采用平均熵模型来定量衡量多样性。为评估这一指标，我们首先将每个关节的运动范围划分为100个区间，然后利用各数据集中的样本估计概率分布，计算这些分布的熵值，再对所有关节的熵值取平均值。结果如表II所示。
其次，我们通过以下方式证明DexGraspNet的稳定性更强：
TABLE II: Statistics of $Q_{1}$ and Entropy
| Dataset | 100% $Q_{1}$ mean | best 10% $Q_{1}$ mean | H mean |
| DDGdata | 0.0712 | 0.2277 | 4.246 |
| DexGraspNet | 0.1145 | 0.2533 | 5.962 |
对比$Q_{1}$指标[^63]，该指标直观上表示能够破坏抓取状态的最小力矩的范数：
$$ Q_{1}=\mathrm{i n s c r i b e d~s p h e r e~r a d i u s~o f~C o n v e x H u l l}(\cup_{i}w_{i}) $$
其中$\{w_{i}\}$代表接触摩擦锥力矩。我们将接触阈值设为1毫米，且为节省计算时间，每个连杆最多只允许有一个接触点。结果如表II所示。我们可以发现，我们数据集的平均值明显优于DDGdata数据集。值得注意的是，我们的整个生成流程并未显式优化这些指标。
### V. 基准测试
我们在自己的数据集上对两种灵巧抓取合成方法——DDG [^9]和GraspTTA [^35]进行基准测试，并将它们与在DDGdata [^9]上训练的相同方法进行比较。
### A. 基准测试方法
DDG [^9]设计了一种可微分的$Q_1$指标，该指标将标准的$Q_1$指标推广到夹持器未与物体接触的情况。借助这种泛化的$Q_1$指标，他们能够指导神经网络端到端地预测精细的抓取姿态。他们的网络以物体的5张深度图像为输入，直接回归ShadowHand的6D位姿和关节角度。为了降低学习难度，他们将训练过程分为两个阶段：第一阶段仅使用抓取姿态的损失函数；第二阶段则利用可微分的$Q_1$损失函数及其他损失函数对网络进行微调，以避免物体穿透并让手更靠近物体。我们遵循他们的数据预处理流程，为我们的物体生成BVH表示和深度图像，并按照官方设置在每个数据集上训练网络。
另一项研究GraspTTA（即测试时适配的缩写）[^35]旨在通过确保手与物体之间的接触一致性来合成高质量的抓取方案。他们设计了两个网络：一个是用于合成抓取的CVAE [^64]，另一个是用于预测物体接触区域的接触网络。训练时，这两个网络分别独立训练；测试时，抓取合成采用两阶段流程：首先，CVAE以物体点云为条件，采样一个潜码，
---
TABLE III: Benchmarks of the Grasp Quality
| Method (Training Dataset) | Tested on DexGraspNet | Tested on DDGdata |
| success $\uparrow$ | Q1 $\uparrow$ | pen $\downarrow$ | success $\uparrow$ | Q1 $\uparrow$ | pen $\downarrow$ |
| DDG (DDGdata) | 57.4 | 0.0493 | 0.353 | 56.4 | 0.0461 | 0.333 |
| DDG (DexGraspNet) | 67.5 | 0.0582 | 0.173 | 75.9 | 0.0524 | 0.134 |
| GraspTTA (DDGdata) | 17.1 | 0.0126 | 0.720 | 23.7 | 0.0265 | 0.666 |
| GraspTTA (DexGraspNet) | 24.5 | 0.0271 | 0.678 | 39.3 | 0.0790 | 0.547 |
随后解码出手的6D全局位姿和关节角度，通过正运动学可进一步将其转换为手的点云。其次，接触网络同时接收物体和点云作为输入，预测目标接触图，并优化手部参数以最小化当前接触图与目标接触图之间的差异。我们在ShadowHand上重新实现了GraspTTA，按照[^35]中的方法处理来自DexGraspNet和DDGdata的数据，并在每个数据集上用相同的迭代次数训练网络。
### B. 实验与结果
我们报告以下用于评估的指标。1) 在Isaac Gym中的仿真成功率(%)。我们采用了更宽松的评判标准（第III-C节中的标准对基线模型而言过于严格）：只要抓取能够承受至少六个重力方向之一的作用，且最大穿透深度小于5毫米，即视为有效抓取。2) 平均$Q_1$ [^63]，该指标在第IV节中有所介绍。由于这些方法无法保证完全接触，我们将接触阈值放宽至1厘米。特别地，若穿透深度超过5毫米，则$Q_1$指标便无法被准确定义，因此我们手动将这些结果的$Q_1$值设为0。3) 最大穿透深度（厘米）。它定义为物体点云到手部网格之间的最大穿透深度。
主要结果如表III所示。对比在DexGraspNet上训练的模型与在DDGdata上训练的模型，我们发现无论采用何种基线、测试集或指标，前者得分始终更高。因此我们得出结论：基于学习的抓取方法在我们的数据集上训练时能取得更高的性能。表III还显示，DDG的输出质量在大多数情况下优于GraspTTA。更具体地说，GraspTTA存在严重的穿透问题。
除了抓取质量外，我们还使用关节角熵（与第IV节中的定义相同）来评估两种方法生成的抓取的多样性。表IV表明，在DexGraspNet上训练的模型的关节角熵均值更高，标准差更低，这意味着DexGraspNet提升了抓取方法的多样性。我们还发现GraspTTA的多样性高于DDG，部分原因是GraspTTA采用的测试时优化机制能生成多种变体。为了比较在DexGraspNet上训练的模型的关节角熵与DexGraspNet原始的关节角熵，我们进一步发现：1) DDG的熵值低于DexGraspNet的熵值，意味着DDG无法完全还原DexGraspNet的多样性；2) 尽管GraspTTA产生的熵值高于DexGraspNet，但这
TABLE IV: Benchmarks of the Grasp Diversity
| Method (Training Dataset) | DexGraspNet | DDGdata |
| H mean | H std | H mean | H std |
| DDG (DDGdata) | 4.958 | 2.653 | 3.709 | 1.942 |
| DDG (DexGraspNet) | 5.683 | 1.993 | 4.272 | 1.287 |
| GraspTTA (DDGdata) | 5.952 | 0.934 | 5.837 | 1.047 |
| GraspTTA (DexGraspNet) | 6.111 | 0.569 | 5.947 | 0.528 |
并不一定意味着GraspTTA学会了多样化的抓取方式，毕竟其成功率极低。我们将此解释为DDG和GraspTTA各自做出的权衡，因为稳定性和多样性在一定程度上是相互矛盾的。更重要的是，这一现状表明现有抓取方法均无法在保持合理成功率的同时，完全学会DexGraspNet所具备的高度多样化的抓取姿态。
### 六、局限性
通过将我们数据集中的抓取方式与[^65]中的分类法进行对比，我们发现该数据集无法涵盖所有描述的抓取类型。由于优化步骤倾向于将所有候选点拉近物体，最终的抓取方式总是接触面较大，即强力抓取。因此，代表多指机械手灵巧性的精准抓取几乎不会出现。此外，我们的方法缺乏语义引导，难以生成功能性抓取，例如通过杯柄拾取杯子。精准抓取与功能性抓取仍是我们需要进一步探索的重要课题。
### 七、结论
在本文中，我们提出了一个大规模的合成灵巧抓取数据集DexGraspNet，该数据集是通过我们提出的深度加速优化方法合成的。与以往的数据集相比，这个数据集的规模更大、抓取质量更好且多样性更高。基于DexGraspNet训练后的以往抓取合成方法，在质量和多样性方面都能取得持续的提升。然而，现有的方法都无法在这两项指标上同时表现优异。我们认为，与使用平行夹爪进行抓取相比，灵巧抓取具有更大的研究空间。我们发布DexGraspNet，希望其规模、质量和多样性能够助力未来方法攻克灵巧抓取任务，发掘灵巧夹爪的更多潜力。
### 八、致谢
本研究部分得到了国家重点研发计划（2022ZD0114900）和北京市科学技术委员会（Z221100003422004）的支持。
---
## 参考文献
[^1]: M. Breyer, J. J. Chung, L. Ott, R. Siegwart, and J. Nieto, “Volumetric grasping network: Real-time 6 dof grasp detection in clutter,” arXiv preprint arXiv:2101.01132, 2021.
[^2]: M. Sundermeyer, A. Mousavian, R. Triebel, and D. Fox, “Contact-graspnet: Efficient 6-dof grasp generation in cluttered scenes,” in 2021 IEEE International Conference on Robotics and Automation (ICRA). IEEE, 2021, pp. 13438–13444.
[^3]: H.-S. Fang, C. Wang, M. Gou, and C. Lu, "Graspnet-1billion: A large-scale benchmark for general object grasping," in Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2020, pp. 11444–11453.
[^4]: M. Gou, H.-S. Fang, Z. Zhu, S. Xu, C. Wang, and C. Lu, "Rgb matters: Learning 7-dof grasp poses on monocular rgbd images," in Proceedings of the International Conference on Robotics and Automation (ICRA), 2021.
[^5]: C. Wang, H.-S. Fang, M. Gou, H. Fang, J. Gao, and C. Lu, "Graspness discovery in clutters for fast and accurate grasp detection," in Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), October 2021, pp. 15964–15973.
[^6]: H. Fang, H.-S. Fang, S. Xu, and C. Lu, “Transcg: A large-scale real-world dataset for transparent object depth completion and a grasping baseline,” IEEE Robotics and Automation Letters, pp. 1–8, 2022.
[^7]: C. Eppner, A. Mousavian, and D. Fox, "ACRONYM: A large-scale grasp dataset based on simulation," in 2021 IEEE Int. Conf. on Robotics and Automation, ICRA, 2020.
[^8]: “ShadowRobot,” URL , 2005.
[^9]: M. Liu, Z. Pan, K. Xu, K. Ganguly, and D. Manocha, “Deep differentiable grasp planner for high-dof grippers,” arXiv preprint arXiv:2002.01530, 2020.
[^10]: A. T. Miller and P. K. Allen, “Graspit! a versatile simulator for robotic grasping,” IEEE Robotics & Automation Magazine, 2004.
[^11]: I. Akkaya, M. Andrychowicz, M. Chociej, M. Litwin, B. McGrew, A. Petron, A. Paino, M. Plappert, G. Powell, R. Ribas, et al., “Solving rubik’s cube with a robot hand,” arXiv preprint arXiv:1910.07113, 2019.
[^12]: M. Kokic, J. A. Stork, J. A. Haustein, and D. Kragic, “Affordance detection for task-specific grasping using deep learning,” in 2017 IEEE-RAS 17th International Conference on Humanoid Robotics (Humanoids). IEEE, 2017, pp. 91–98.
[^13]: J. Liang, V. Makoviychuk, A. Handa, N. Chentanez, M. Macklin, and D. Fox, “Gpu-accelerated robotic simulation for distributed reinforcement learning,” in Conference on Robot Learning. PMLR, 2018, pp. 270–282.
[^14]: Y. Hasson, G. Varol, D. Tzionas, I. Kalevatykh, M. J. Black, I. Laptev, and C. Schmid, “Learning joint reconstruction of hands and manipulated objects,” in Conference on Computer Vision and Pattern Recognition (CVPR), 2019.
[^15]: S. Hampali, M. Rad, M. Oberweger, and V. Lepetit, “Honnotate: A method for 3d annotation of hand and object poses,” in Conference on Computer Vision and Pattern Recognition (CVPR), 2020.
[^16]: Y.-W. Chao, W. Yang, Y. Xiang, P. Molchanov, A. Handa, J. Tremblay, Y. S. Narang, K. Van Wyk, U. Iqbal, S. Birchfield, et al., “Dexycb: A benchmark for capturing hand grasping of objects,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2021, pp. 9044–9053.
[^17]: S. Brahmbhatt, C. Ham, C. C. Kemp, and J. Hays, “Contactdb: Analyzing and predicting grasp contact via thermal imaging,” in Conference on Computer Vision and Pattern Recognition (CVPR), 2019.
[^18]: S. Brahmbhatt, C. Tang, C. D. Twigg, C. C. Kemp, and J. Hays, "Contactpose: A dataset of grasps with object contact and hand pose," in European Conference on Computer Vision (ECCV), 2020.
[^19]: T. Liu, Z. Liu, Z. Jiao, Y. Zhu, and S.-C. Zhu, “Synthesizing diverse and physically stable grasps with arbitrary hand structures using differentiable force closure estimator,” IEEE Robotics and Automation Letters (RA-L), 2021.
[^20]: J. Romero, D. Tzionas, and M. J. Black, “Embodied hands: Modeling and capturing hands and bodies together,” ACM Transactions on Graphics (TOG), 2017.
[^21]: S. Brahmbhatt, A. Handa, J. Hays, and D. Fox, “Contactgrasp: Functional multi-finger grasp synthesis from contact,” in International Conference on Intelligent Robots and Systems (IROS), 2019.
[^22]: P. Mandikal and K. Grauman, “Learning dexterous grasping with object-centric visual affordances,” in 2021 IEEE International Conference on Robotics and Automation (ICRA). IEEE, 2021, pp. 6169–6176.
[^23]: Y. Qin, H. Su, and X. Wang, “From one hand to multiple hands: Imitation learning for dexterous manipulation from single-camera teleoperation,” arXiv preprint arXiv:2204.12490, 2022.
[^24]: J. Ye, J. Wang, B. Huang, Y. Qin, and X. Wang, “Learning continuous grasping function with a dexterous hand from human demonstrations,” arXiv preprint arXiv:2207.05053, 2022.
[^25]: A. Rodriguez, M. T. Mason, and S. Ferry, “From caging to grasping,” International Journal of Robotics Research (IJRR), vol. 31, no. 7, pp. 886–900, 2012.
[^26]: D. Prattichizzo, M. Malvezzi, M. Gabiccini, and A. Bicchi, “On the manipulability ellipsoids of underactuated robotic hands with compliance,” Robotics and Autonomous Systems, vol. 60, no. 3, pp. 337–346, 2012.
[^27]: C. Rosales, R. Suárez, M. Gabiccini, and A. Bicchi, “On the synthesis of feasible and prehensile robotic grasps,” in International Conference on Robotics and Automation (ICRA), 2012.
[^28]: R. M. Murray, A mathematical introduction to robotic manipulation. CRC press, 2017.
[^29]: J. Ponce, S. Sullivan, J.-D. Boissonnat, and J.-P. Merlet, “On characterizing and computing three-and four-finger force-closure grasps of polyhedral objects,” in International Conference on Robotics and Automation (ICRA), 1993.
[^30]: J. Ponce, S. Sullivan, A. Sudsang, J.-D. Boissonnat, and J.-P. Merlet, “On computing four-finger equilibrium and force-closure grasps of polyhedral objects,” International Journal of Robotics Research (IJRR), vol. 16, no. 1, pp. 11–35, 1997.
[^31]: J.-W. Li, H. Liu, and H.-G. Cai, “On computing three-finger force-closure grasps of 2-d and 3-d objects,” IEEE Transactions on Robotics and Automation, vol. 19, no. 1, pp. 155–161, 2003.
[^32]: Y. Zheng and C.-M. Chew, “Distance between a point and a convex cone in n-dimensional space: Computation and applications,” Transactions on Robotics (T-RO), vol. 25, no. 6, pp. 1397–1412, 2009.
[^33]: H. Dai, A. Majumdar, and R. Tedrake, “Synthesis and optimization of force closure grasps via sequential semidefinite programming,” in Robotics Research. Springer, 2018, pp. 285–305.
[^34]: Y.-H. Liu, “Qualitative test and force optimization of 3-d frictional form-closure grasps using linear programming,” IEEE Transactions on Robotics and Automation, vol. 15, no. 1, pp. 163–173, 1999.
[^35]: H. Jiang, S. Liu, J. Wang, and X. Wang, "Hand-object contact consistency reasoning for human grasps generation," in International Conference on Computer Vision (ICCV), 2021.
[^36]: E. Corona, A. Pumarola, G. Alenya, F. Moreno-Noguer, and G. Rogez, “Ganhand: Predicting human grasp affordances in multi-object scenes,” in Conference on Computer Vision and Pattern Recognition (CVPR), 2020.
[^37]: J. Lundell, E. Corona, T. N. Le, F. Verdoja, P. Weinzaepfel, G. Rogez, F. Moreno-Noguer, and V. Kyrki, “Multi-fingan: Generative coarse-to-fine sampling of multi-finger grasps,” in International Conference on Robotics and Automation (ICRA), 2021.
[^38]: J. Lundell, F. Verdoja, and V. Kyrki, “Ddgc: Generative deep dexterous grasping in clutter,” IEEE Robotics and Automation Letters (RA-L), 2021.
[^39]: L. Yang, X. Zhan, K. Li, W. Xu, J. Li, and C. Lu, "Cpf: Learning a contact potential field to model the hand-object interaction," in Proceedings of the IEEE/CVF International Conference on Computer Vision, 2021, pp. 11097–11106.
[^40]: L. Shao, F. Ferreira, M. Jorda, V. Nambiar, J. Luo, E. Solowjow, J. A. Ojea, O. Khatib, and J. Bohg, "Unigrasp: Learning a unified model to grasp with multifingered robotic hands," IEEE Robotics and Automation Letters (RA-L), 2020.
[^41]: A. Wu, M. Guo, and C. K. Liu, “Learning diverse and physically feasible dexterous grasps with generative model and bilevel optimization,” arXiv preprint arXiv:2207.00195, 2022.
[^42]: K. Li, N. Baron, X. Zhang, and N. Rojas, “Efficientgrasp: A unified data-efficient learning to grasp method for multi-fingered robot hands,” IEEE Robotics and Automation Letters, vol. 7, no. 4, pp. 8619–8626, 2022.
## [^43]: J. Varley, J. Weisz, J. Weiss, and P. Allen, “Generating multi-fingered robotic grasps via deep learning,” in 2015 IEEE/RSJ international conference on intelligent robots and systems (IROS). IEEE, 2015, pp. 4415–4420
---
[^44]: D. Turpin, L. Wang, E. Heiden, Y.-C. Chen, M. Macklin, S. Tsogkas, S. Dickinson, and A. Garg, “Grasp’d: Differentiable contact-rich grasp synthesis for multi-fingered hands,” 2022.
[^45]: T. Zhu, R. Wu, X. Lin, and Y. Sun, “Toward human-like grasp: Dexterous grasping via semantic representation of object-hand,” in Proceedings of the IEEE/CVF International Conference on Computer Vision, 2021, pp. 15741–15751.
[^46]: K. Karunratanakul, J. Yang, Y. Zhang, M. Black, S. Tang, and K. Muandet, “Grasping field: Learning implicit representations for human grasps,” in International Conference on 3D Vision (3DV), 2020.
[^47]: C. Goldfeder, M. Ciocarlie, H. Dang, and P. K. Allen, “The columbia grasp database,” in 2009 IEEE international conference on robotics and automation. IEEE, 2009, pp. 1710–1716.
[^48]: S. Hampali, S. D. Sarkar, M. Rad, and V. Lepetit, “Keypoint transformer: Solving joint identification in challenging hands and object interactions for accurate 3d pose estimation,” in CVPR, 2022.
[^49]: O. Taheri, N. Ghorbani, M. J. Black, and D. Tzionas, “Grab: A dataset of whole-body human grasping of objects,” in European Conference on Computer Vision (ECCV), 2020.
[^50]: O. Taheri, V. Choutas, M. J. Black, and D. Tzionas, “Goal: Generating 4d whole-body motion for hand-object grasping,” arXiv preprint arXiv:2112.11454, 2021.
[^51]: Z. Fan, O. Taheri, D. Tzionas, M. Kocabas, M. Kaufmann, M. J. Black, and O. Hilliges, “Articulated objects in free-form hand interaction,” arXiv preprint arXiv:2204.13662, 2022.
[^52]: A. X. Chang, T. Funkhouser, L. Guibas, P. Hanrahan, Q. Huang, Z. Li, S. Savarese, M. Savva, S. Song, H. Su, J. Xiao, L. Yi, and F. Yu, "ShapeNet: An Information-Rich 3D Model Repository," Stanford University — Princeton University — Toyota Technological Institute at Chicago, Tech. Rep. arXiv:1512.03012 [cs.GR], 2015.
[^53]: M. Savva, A. X. Chang, and P. Hanrahan, “Semantically-Enriched 3D Models for Common-sense Knowledge,” CVPR 2015 Workshop on Functionality, Physics, Intentionality and Causality, 2015.
[^54]: B. Calli, A. Singh, J. Bruce, A. Walsman, K. Konolige, S. Srinivasa, P. Abbeel, and A. M. Dollar, “Yale-cmu-berkeley dataset for robotic manipulation research,” The International Journal of Robotics Research, vol. 36, no. 3, pp. 261–268, 2017.
[^55]: A. Singh, J. Sha, K. S. Narayan, T. Achim, and P. Abbeel, “Bigbird: A large-scale 3d database of object instances,” in 2014 IEEE international conference on robotics and automation (ICRA). IEEE, 2014, pp. 509–516.
[^56]: D. Kappler, J. Bohg, and S. Schaal, “Leveraging big data for grasp planning,” in 2015 IEEE international conference on robotics and automation (ICRA). IEEE, 2015, pp. 4304–4311.
[^57]: A. Kasper, Z. Xue, and R. Dillmann, “The kit object models database: An object model database for object recognition, localization and manipulation in service robotics,” The International Journal of Robotics Research, vol. 31, no. 8, pp. 927–934, 2012.
[^58]: L. Downs, A. Francis, N. Koenig, B. Kinman, R. Hickman, K. Reymann, T. B. McHugh, and V. Vanhoucke, “Google scanned objects: A high-quality dataset of 3d scanned household items,” arXiv preprint arXiv:2204.11918, 2022.
[^59]: J. Huang, Y. Zhou, and L. Guibas, “Manifoldplus: A robust and scalable watertight manifold surface generation method for triangle soups,” arXiv preprint arXiv:2005.11621, 2020.
[^60]: X. Wei, M. Liu, Z. Ling, and H. Su, “Approximate convex decomposition for 3d meshes with collision-aware concavity and tree search,” arXiv preprint arXiv:2205.02961, 2022.
[^61]: K. M. Jatavallabhula, E. Smith, J.-F. Lafleche, C. F. Tsang, A. Rozantsev, W. Chen, T. Xiang, R. Lebaredian, and S. Fidler, “Kaolin: A pytorch library for accelerating 3d deep learning research,” arXiv preprint arXiv:1911.05063, 2019.
[^62]: J. J. Park, P. Florence, J. Straub, R. Newcombe, and S. Lovegrove, "Deepsfd: Learning continuous signed distance functions for shape representation," in Conference on Computer Vision and Pattern Recognition (CVPR), 2019.
[^63]: C. Ferrari and J. F. Canny, “Planning optimal grasps.” in ICRA, vol. 3, no. 4, 1992, p. 6.
[^64]: K. Sohn, H. Lee, and X. Yan, “Learning structured output representation using deep conditional generative models,” Advances in Neural Information Processing Systems (NeurIPS), vol. 28, 2015.
[^65]: T. Feix, J. Romero, H.-B. Schmiedmayer, A. M. Dollar, and D. Kragic, "The grasp taxonomy of human grasp types," IEEE Transactions on Human-Machine Systems, vol. 46, no. 1, pp. 66–77, 2015.