# DexYCB：用于捕捉物体抓取动作的基准测试
赵宇伟 $^{1}$ 杨伟 $^{1}$ 向宇 $^{1}$ Pavlo Molchanov $^{1}$ Ankur Handa $^{1}$ Jonathan Tremblay $^{1}$ Yashraj S. Narang $^{1}$ Karl Van Wyk $^{1}$ Umar Iqbal $^{1}$ Stan Birchfield $^{1}$ Jan Kautz $^{1}$ Dieter Fox $^{1,2}$
$^{1}$英伟达，$^{2}$华盛顿大学
{ychao,weiy,yux,pmolchanov,ahanda,jtremblay,ynarang,kvanwyk,uiqbal,sbirchfield,jkautz,dieterf}@nvidia.com
Figure 1: Two captures (left and right) from the DexYCB dataset. In each case, the top row shows color images simultaneously captured from three views, while the bottom row shows the ground-truth 3D object and hand pose rendered on the darkened captured images.
## 摘要
我们推出了DexYCB，这是一个用于捕捉物体抓取动作的新数据集。我们首先通过跨数据集评估将DexYCB与相关数据集进行对比，随后针对三个相关任务对现有先进方法进行了全面的基准测试：2D物体及关键点检测、6D物体位姿估计以及3D手部位姿估计。最后，我们评估了一项新的机器人相关任务：在人机物体交接过程中生成安全的机器人抓取动作。 $^{1}$
### 1. 引言
3D物体位姿估计和3D手部位姿估计是两个重要但尚未解决的视觉问题。传统上，这两个问题被分开研究，但在许多关键应用场景中，我们需要两者协同工作 [^36] [^6] [^13]。例如，在机器人领域，可靠的物体操作手部运动捕捉对于从人类演示中学习 [^12] 以及实现流畅且安全的人机交互 [^46] 都至关重要。
目前用于3D物体位姿 [^37] [^20] [^34] [^27] [^40] [^26] [^19] 和3D手部位姿估计 [^49] [^23] [^18] [^2] [^9] [^14] [^31] 的先进方法均基于深度学习，因此需要大量标注了手部或物体位姿的数据集来进行训练。这两个领域已经推出了许多数据集 [^48] [^49] [^16] [^17]，推动了这两个问题的并行研究进展。然而，由于这些数据集是为单个任务设计的，其中很多并不包含手与物体的交互数据，即场景中只有静态物体而没有人类，或者只有裸露的手部而未与物体产生交互。一旦存在交互情况，同时解决这两个任务的难度不仅翻倍，甚至会呈指数级上升，因为物体的运动以及交互产生的相互遮挡会进一步增加挑战。因此，仅基于其中某一类数据集训练出的网络无法很好地泛化到交互场景。
出于同样的原因，创建包含精确3D手部及物体位姿的数据集也颇具挑战性。因此，以往的研究尝试通过专用手套 [^10]、磁传感器 [^48] [^8] 或基于标记的动作捕捉系统 [^3] [^35] 来捕捉精确的手部运动。虽然这些方法能达到极高的精度，但佩戴在手部上的设备可能会干扰自然运动，从而破坏手部运动的自然性。此外，这类设备还会改变手部的外观，进而可能导致模型泛化能力不足的问题。
由于获取真实的三维姿态颇具挑战性，人们越来越倾向于使用合成数据集来训练姿态估计模型。在物体姿态估计方面，这种方法已取得显著成效。利用三维扫描的物体模型和照片级真实感渲染技术，先前的研究[^16] [^34] [^38] [^5] [^17]已经生成了外观高度逼真的物体合成场景。仅用合成数据训练的模型
---
因此能够应用于真实图像。不过，模拟手与物体的交互仍然颇具挑战性。其中一个难题是为通用物体合成逼真的抓取姿态[^4]。此外，生成自然的人体动作至今仍是图形学领域的热门研究方向。
在本文中，我们专注于无标记的真实手部与物体交互数据采集工作。我们借鉴了近期的研究成果[^11]，搭建了一套多摄像头系统，能够从多个视角同步记录交互过程。与以往研究相比，我们在该系统中配备了更多摄像头，并调整其配置以覆盖更大的工作区域，从而让受试者能够自由地与物体互动。此外，我们的姿态标注流程采用人工标注而非自动标注方式；我们通过众包形式完成标注工作，以便高效扩大数据标注规模。基于这套系统，我们构建了一个大规模数据集，用于捕捉一项简单却普遍存在的任务：从桌面上抓取物体。这个名为DexYCB的数据集包含582K帧RGB-D图像，涵盖10名受试者抓取20种不同物体的1,000个序列，拍摄视角达8种（见图1）。
我们的贡献主要有三点。首先，我们推出了一个用于采集物体抓取手部动作的新数据集。通过跨数据集评估，我们实证了该数据集相较于相关数据集的优势。其次，我们对当前方法在三个相关任务上的表现进行了深入分析：二维物体及关键点检测、六维物体姿态估计以及三维手部姿态估计。据我们所知，我们的数据集是首个允许对这三项任务进行联合评估的数据集。最后，我们在一个新的机器人相关任务——为人与机器人之间的物体交接生成安全的机器人抓取方案——中，证明了手部与物体姿态联合估计的重要性。
### 2. 构建DexYCB数据集
#### 2.1. 硬件设置
为了构建该数据集，我们搭建了一套多摄像头系统，用于捕捉人手与物体的交互过程。关键的设计思路是打造一个足够大的捕捉空间，让受试者能够自由地操作多个物体并完成相应任务。我们的多摄像头系统如图2所示。我们使用了8台RealSense D415型号的RGB-D摄像头，它们的安装位置经过精心设计，能够共同覆盖桌面工作区域且盲区极少。这些摄像头经过了外部校准和时间同步处理。在数据采集阶段，我们以30帧/秒的速率同步流式传输并录制全部8个视角的视频，色彩和深度分辨率均为$640 \times 480$。
#### 2.2. 数据采集与标注
基于上述系统，我们记录了手部抓取物体的视频。我们选用YCB-Video数据集中的20种物体[^44]，由10名受试者进行多次试验。每次试验中，我们会选取一个目标物体，再搭配2到4个其他物体并放置
Figure 2: Our setup with 8 RGB-D cameras (red circle).
把它们放在桌上。我们要求受试者从放松的姿势开始，拿起目标物体并将其悬在空中。我们还要求部分受试者假装将物体递给对面的人。我们记录3秒钟，这足以涵盖整个动作过程。对于每个目标物体，我们重复试验5次，每次搭配不同的随附物体和摆放位置。在前两次试验中，我们要求受试者用右手拿取物体；在第三和第四次试验中则用左手。第五次试验则随机选择用手。我们将目标物体在所有20个物体中轮换，这样每位受试者需完成100次试验，所有受试者合计进行1,000次试验。
为了获取手部与物体的精确真实3D姿态，我们的方法（详见第2.3节）依赖于每个视角下手部与物体的2D关键点标注。为确保准确性，我们通过人工标注完整标记RGB序列中所需的关键点。我们的标注工具基于VATIC [^39]，可高效完成视频标注工作。我们在Amazon Mechanical Turk (MTurk)上设置标注任务，对所有序列中的每个视角进行标注。
对于手部而言，我们采用21个预定义的手部关节作为关键点（每个手指有3个关节加1个指尖，加上腕关节）。我们明确要求标注员在给定的视频序列中标注并追踪这些关节。当某个关节在某帧中被遮挡时，标注员还需将其标记为不可见。
为每种物体详尽预定义关键点既费时又难以扩展，尤其是当物体数量增加时。我们的方法（第2.3节）通过允许自定义关键点来专门解决这一问题。具体而言，针对特定视角下的视频序列，我们首先要求标注员找出在该物体上易于识别且可追踪的2个显著标志点，并要求他们在整个序列中标注并追踪这些点。我们明确要求标注员选择大部分时间可见的关键点，并在其被遮挡时将其标记为不可见。
---
#### 2.3. 求解手部与物体的3D姿态
为表示3D手部姿态，我们采用常用的MANO手部模型 [^28]。该模型用包含778个顶点的可变形三角网格来表示右手或左手。该网格由两个低维嵌入参数化（$\theta, \beta$），其中 $\theta \in \mathbb{R}^{51}$ 用于描述姿态变化（即关节活动），$\beta \in \mathbb{R}^{10}$ 用于描述形状变化。我们使用来自 [^14] 的版本，该版本在PyTorch中将MANO实现为可微分层，可将 $(\theta, \beta)$ 映射为网格以及关键点标注中所定义的21个手部关节的3D位置。我们会为每位受试者预先校准手部形状 $\beta$，并在该受试者的所有序列中固定这一参数。
由于我们从YCB-Video [^44] 获取的物体也配有纹理映射的3D网格模型，因此我们采用标准的6D姿态表示方法 [^16] [^17] 来描述3D物体姿态。每个物体的姿态由一个矩阵 $T \in \mathbb{R}^{3 \times 4}$ 表示，该矩阵由3D旋转矩阵和3D平移向量组成。
为了求解手部和物体的姿态，我们利用所有视角的深度和关键点标注以及多视角几何信息，构建了类似于[^50] [^11]的优化问题。对于包含$N_H$只手和$N_O$个物体的给定序列，我们用$P = (P_H, P_O)$表示某一时间帧下的整体姿态，其中$P_H = \{\theta_h\}_{h=1}^{N_H}$和$P_O = \{T_o\}_{o=1}^N$。我们定义的是在世界坐标系下的姿态，该坐标系下各摄像机的外部参数已知。随后，在每个时间帧中，我们通过最小化下述能量函数来求解姿态。
$$ E(P)=E_{\mathrm{d e p t h}}(P)+E_{\mathrm{k p t}}(P)+E_{\mathrm{r e g}}(P). $$
深度项：深度项$E_{\text{depth}}$用于衡量给定姿态下的模型对观测到的深度数据的拟合程度。设$\{d_i \in \mathbb{R}^{3}\}_{i=1}^{N_D}$为将所有视角下的点云转换到世界坐标系后合并得到的总点云，其中$N_D$表示点的数量。给定一个姿态参数，我们将所有手部和物体网格的集合记为$\mathcal{M}(P) = (\{\mathcal{M}_h(\theta_h)\}, \{\mathcal{M}_o(T_o)\})$。深度项的定义如下：
$$ E_{\mathrm{d e p t h}}(P)=\frac{1}{N_{D}}\sum_{i=1}^{N_{D}}|\texttt{S D F}(d_{i},\mathcal{M}(P))|^{2}, $$
其中$\mathrm{SDF}(\cdot)$用于计算三维点到$\mathrm{mm}$中三角网格的有符号距离值。虽然$E_{\mathrm{depth}}$是可微分的，但针对大规模点云和顶点数量庞大的网格来计算$E_{\mathrm{depth}}$及其梯度时，计算成本较高。因此，我们采用了高效的点并行GPU实现方式来执行这一操作。
关键点项：关键点项$E_{kpt}$用于衡量模型上关键点与标注关键点之间的重投影误差，该项可拆分为手部相关部分和物体相关部分：
$$ E_{\mathrm{k p t}}(P)=E_{\mathrm{k p t}}(P_{H})+E_{\mathrm{k p t}}(P_{O}). $$
对于手部而言，设$J_{h,j}$为手部h的关节j在世界坐标系下的三维位置，$p_{h,i}^{c}$为该关节在视角c的图像坐标系下的标注位置，$\gamma_{h,j}^{c}$为其可见性指示符。能量项的定义如下：
$$ \begin{array}{r l}&{E_{\mathsf{k p t}}(P_{H})=\frac{1}{\sum\gamma_{h,j}^{c}}\displaystyle\sum_{c=1}^{N_{C}}\displaystyle\sum_{h=1}^{N_{H}}\displaystyle\sum_{j=1}^{N_{J}}\gamma_{h,j}^{c}||\mathsf{p r o j}^{c}(J_{h,j})-p_{h,j}^{c}||_{2}^{2},}\end{array} $$
其中$\text{proj}^c(\cdot)$负责将三维点投影到视角c的图像平面上，而$N_C = 8$和$N_J = 21$。
对于物体而言，需说明的是我们并未预先定义用于标注的关键点，而是要求标注员选择具有辨识度的点进行追踪。此处我们假设在物体关键点首次被标记为可见的那一帧中，已给出精确的初始姿态。随后，我们通过将关键点的位置反向投影到物体的可见表面上，把所选关键点映射到物体3D模型上的某个顶点，此后便固定这种映射关系。设$K_{o,k}^c$为视角c下物体o的所选关键点k在世界坐标系下的三维位置。与公式(4)类似，结合$N_K = 2$，能量项定义为：
$$ \begin{array}{r l}&{E_{\mathrm{k p t}}(P_{O})=\frac{1}{\sum\gamma_{o,k}^{c}}\displaystyle\sum_{c=1}^{N_{C}}\displaystyle\sum_{o=1}^{N_{O}}\displaystyle\sum_{k=1}^{N_{K}}\gamma_{o,k}^{c}||\mathrm{p r o j}^{c}(K_{o,k}^{c})-p_{o,k}^{c}||_{2}^{2}.}\end{array} $$
为确保关键点映射能有精确的初始姿态，我们在每个时间帧中将姿态初始化为上一次求解得到的姿态。第一帧中的姿态则是通过对每个视角运行PoseCNN [^44]来初始化，再由人工为每个物体选取精确的姿态。
正则化：参照[^24] [^13]的方法，我们为MANO模型的低维姿态嵌入添加了$\ell_2$正则化项，以避免手部出现不规则的运动。
$$ E_{\mathrm{r e g}}(P)=\frac{1}{N_{H}}\sum_{h=1}^{N_{H}}||\theta_{h}||_{2}^{2}. $$
为了最小化公式(1)，我们采用学习率为0.01的Adam优化器。对于每个时间帧，我们先用上一次求解得到的姿态P来初始化，再运行100次优化迭代。
### 3. 相关数据集
#### 3.1.6 D物体姿态数据集
大多数数据集针对的是实例级的6D物体姿态估计，这类任务中3D模型是预先给定的。最近的BOP挑战赛[^16] [^17]汇集了一系列此类数据集，供参赛者进行评估。不过这些数据集中的物体大多是静止的，不存在人类交互。最近有一项用于类别级6D姿态估计的数据集[^41]，但其中的场景同样也是静态的。
#### 3.2. 3D手部姿态
我们在表1中总结了相关的3D手部姿态数据集。其中一些数据集仅利用深度信息进行姿态估计，
---
| dataset | visual modality | real image | marker-less | hand-hand int | hand-obj int | 3D obj pose | 3D hand shape | resolution | #frames | #sub | #obj | #views | motion | #seq | dynamic grasp | label |
| BigHand2.2M [^48] | depth | ✓ | ✗ | ✗ | ✗ | ✗ | - | ✗ | 640×480 | 2,200K | 10 | - | 1 | ✓ | - | magnetic sensor |
| SynthHands [^25] | RGB-D | ✗ | - | ✗ | ✓ | ✗ | ✗ | ✗ | 640×480 | 220K | - | 7 | 5 | ✗ | - | synthetic |
| Rendered Hand Pose [^49] | RGB-D | ✗ | - | ✗ | ✗ | - | ✗ | 320×320 | 44K | 20 | - | 1 | 1 | ✗ | - | synthetic |
| GANerated Hands [^23] | RGB | ✗ | - | ✗ | ✓ | ✗ | ✗ | 256×256 | 331K | - | - | 1 | 1 | ✗ | - | synthetic |
| ObMan [^14] | RGB-D | ✗ | - | ✗ | ✓ | ✓ | ✓ | 256×256 | 154K | 20 | 3K | 1 | 1 | ✗ | - | synthetic |
| FPHA [^8] | RGB-D | ✓ | ✗ | ✗ | ✓ | ✓ | ✗ | 1920×1080 | 105K | 6 | 4 | 1 | ✓ | 1,175 | ✓ | magnetic sensor |
| ContactPose [^3] | RGB-D | ✓ | ✗ | ✗ | ✓ | ✓ | ✓ | 960×540 | 2,991K | 50 | 25 | 3 | ✓ | 2,303 | ✗ | mocap + thermal mocap |
| GRAB [^35] | - | - | ✗ | ✗ | ✓ | ✓ | ✓ | - | 1,624K | 10 | 51 | - | - | ✓ | 1,335 | ✓ |
| Mueller et al. [^24] | depth | ✗ | - | ✓ | ✗ | - | ✗ | 640×480 | 80K | 5 | - | 4 | ✓ | 11 | - | synthetic |
| InterHand2.6M [^22] | RGB | ✓ | ✓ | ✓ | ✗ | - | ✓ | 512×334 | 2,590K | 27 | - | >80 | ✓ | - | - | semi-auto |
| Dexter+Object [^32] | RGB-D | ✓ | ✓ | ✗ | ✓ | ✓ | ✗ | 640×480 | 3K | 2 | 2 | 1 | ✓ | 6 | ✓ | manual |
| Simon et al. [^30] | RGB | ✓ | ✓ | ✓ | ✓ | ✗ | ✗ | 1920×1080 | 15K | - | - | 31 | ✓ | - | ✓ | automatic |
| EgoDexter [^25] | RGB-D | ✓ | ✓ | ✗ | ✓ | ✗ | ✗ | 640×480 | 3K | 4 | - | 1 | ✓ | 4 | ✓ | manual |
| FreiHAND [^50] | RGB | ✓ | ✓ | ✗ | ✓ | ✗ | ✓ | 224×224 | 37K | 32 | 27 | 8 | ✗ | - | - | semi-auto |
| HO-3D [^11] | RGB-D | ✓ | ✓ | ✗ | ✓ | ✓ | ✓ | 640×480 | 78K | 10 | 10 | 1-5 | ✓ | 27 | ✓ | automatic |
| DexYCB (ours) | RGB-D | ✓ | ✓ | ✗ | ✓ | ✓ | ✓ | 640×480 | 582K | 10 | 20 | 8 | ✓ | 1,000 | ✓ | manual |
Table 1: Comparison of DexYCB with existing 3D hand pose datasets.
例如BigHand2.2M [^48]。这类数据集规模可能很大，但缺少彩色图像，且仅捕捉无交互的裸手图像。另一些数据集则关注手与手之间的交互，例如Mueller等人[^24]和InterHand2.6M [^22]。虽然它们并非专注于物体交互，但其数据集涉及另一种具有挑战性的场景，与我们研究的方向正交。下文我们将介绍包含手-物交互的数据集。
合成数据在手部姿态估计中的应用日益广泛[^25] [^49] [^23] [^14]。其常见缺陷是合成图像在外观上与真实图像存在差距。为弥合这一差距，GANerated Hands [^23]通过生成对抗网络将合成图像转换为真实图像。不过其他挑战依然存在：其中之一就是为物体合成逼真的抓取姿态。ObMan [^14]便是为解决这一挑战而提出的，它采用了启发式指标。然而除了姿态外，合成逼真的运动也十分困难。因此，这些数据集仅提供静态图像而非视频。我们的数据集则捕捉了带有真实抓取姿态和运动的真实视频。此外，我们来自真实场景的运动数据还能助力合成数据的生成。
基于标记的方法FPHA [^8]通过将磁性传感器附着在手上，在第一人称视角下捕捉手与物体的交互。这种方法灵活且便携，但附着的传感器可能会妨碍手的自然运动，还会影响手的外观。ContactPose [^3]通过用动作捕捉标记追踪物体，并从物体表面的热成像中恢复手部姿态来捕捉抓取姿态。虽然该数据集规模较大，但基于热成像的方法只能捕捉刚性抓取姿态，无法捕捉运动。GRAB [^35]利用基于标记的动捕技术捕捉全身运动以及手-物交互。它能高精度地记录交互过程，但不包含任何视觉模态。我们的数据集无需标记，能捕捉动态抓取运动，并提供多视角的RGB-D序列。
无标记方法：我们的DexYCB数据集属于此类。其难点在于获取精确的三维姿态。像Dexter+Object [^32]和EgoDexter [^23]这类数据集依赖人工标注，因此规模有限。为了大规模获取三维姿态，其他方法采用了自动或半自动方案[^30] [^50]。虽然这些数据集能捕捉手-物交互，但并未提供物体的三维姿态。
与我们最相似的是最近的HO-3D数据集[^11]。HO-3D同样记录了从多个视角拍摄的手与物体的交互过程，并提供了手部与物体的三维姿态信息。不过，这两个数据集在定量和定性方面都存在差异。从定量角度来看（见表1），DexYCB涵盖的物体种类更多（20种对比10种），拍摄视角也更多（8个对比1到5个），且帧数（58.2万帧对比7.8万帧）$^{2}$和序列数量（1000个对比27个）$^{3}$都高出至少一个数量级。从定性角度来看（见图8），我们指出三点差异：首先，DexYCB能捕捉完整的抓取过程（即手部靠近、手指张开、接触物体直至稳定握住物体）的短片段，而HO-3D记录的则是物体被手握持时间较长的长序列。在HO-3D的27个序列中，我们发现有17个序列里手始终牢牢附着在物体上，仅通过手腕转动物体，并无手指活动；其次，DexYCB覆盖了完整的桌面工作区，且标注了桌上所有物体的三维姿态，而在HO-3D中每次只有物体被握在相机附近，且仅对该物体标注姿态信息；最后，在标注方面，DexYCB采用众包方式由人工完成关键点标注，而HO-3D则依赖全自动标注流程。
---
Figure 3: Qualitative comparison of HO-3D [^11] (top) and DexYCB (bottom). DexYCB captures full grasping processes in a tabletop workspace with 3D pose of all the on table objects.
DexYCB的关键点完全由人工通过众包方式标注，而HO-3D则依靠全自动标注流程。
### 4. 跨数据集评估
为了进一步评估DexYCB数据集的价值，我们参照先前的研究[^50] [^29] [^47]开展跨数据集评估。鉴于其相关性，我们重点选取HO-3D[^11]作为对比对象，评估HO-3D与DexYCB在单图像三维手部姿态估计任务上的泛化能力。对于DexYCB数据集，我们按照基准测试设置生成训练/验证/测试划分（见第5.1节中的“S0”）。对于HO-3D数据集，我们从中选取55个训练序列中的6个作为测试集。我们采用Spurr等人[^31]提出的方法（HAND 2019挑战赛的获奖方法）作为测试模型，分别在三组训练集上单独训练模型：HO-3D的训练集、DexYCB的训练集以及两个数据集合并后的训练集。最后，我们分别在这三个训练好的模型上评估其在HO-3D和DexYCB测试集上的表现。
表2展示了采用两种不同对齐方法时平均关节位置误差（MPJPE）的结果（详见第5.4节）。我们采用了ResNet50和HRNet32两种骨干网络[^33]进行实验。不出所料，当模型在单一数据集上训练时，对相应测试集的泛化效果更佳，在另一数据集上测试时误差会增大。当用在DexYCB上训练的模型测试HO-3D时，我们会观察到误差从$1.4\times$增加到$1.9\times$（例如，对于ResNet50模型，基于根部坐标的误差从18.05毫米增至31.76毫米）。然而，当用在HO-3D上训练的模型测试DexYCB时，误差的增加更为显著，从$3.4\times$升至$3.7\times$（例如，对于ResNet50模型，基于根部坐标的误差从12.97毫米增至48.30毫米）。这表明在DexYCB上训练的模型比在HO-3D上训练的模型具有更好的泛化能力。此外，当我们在合并训练集上训练模型并在HO-3D上评估时，误差较仅在HO-3D上训练时进一步降低（例如，从18.05毫米降至15.79毫米）；但在DexYCB上测试时，误差反而比仅在DexYCB上训练时更高（例如，从12.97毫米升至13.36毫米）。我们由此得出结论：DexYCB对HO-3D的补充作用优于反之。
| train\test | HO-3D [^11] | DexYCB | HO-3D [^11] + DexYCB |
| HO-3D | 18.05 / 10.66 | 31.76 / 15.23 | 15.79 / 9.51 |
| DexYCB | 48.30 / 24.23 | 12.97 / 7.18 | 13.36 / 7.27 |
| HO-3D | 17.46 / 10.44 | 33.11 / 15.51 | 15.89 / 9.00 |
| DexYCB | 46.38 / 23.94 | 12.39 / 6.79 | 12.48 / 6.87 |
Table 2: Cross-dataset evaluation with HO-3D [^11] on 3D hand pose estimation. Results are in MPJPE (mm) (root-relative / Procrustes aligned). Top: [^31] + ResNet50. Bottom: [^31] + HRNet32.
### 5. 代表性方法的基准测试
我们在DexYCB数据集上对三项任务进行基准测试：二维物体和关键点检测、六维物体姿态估计以及三维手部姿态估计。针对每项任务，我们选取具有代表性的方法并分析其性能。
#### 5.1. 评估设置
为了评估不同场景，我们以四种不同的方式生成训练/验证/测试集划分（称为“设置”）：
- S0（默认）。训练集包含所有10名受试者、所有8个摄像头视角以及所有20种被抓取物体。只有序列不与验证/测试集共享。
• S1（未见过的受试者）。数据集按受试者划分（训练/验证/测试：7/1/2）。
S2（未见过的视角）。数据集按摄像头视角划分（训练/验证/测试：6/1/1）。
- S3（未见过的抓取情况）。数据集按被抓取物体划分（训练/验证/测试：15/2/3）。测试集中被抓取的物体从未在训练/验证集中出现，但可能以静止状态出现在桌面上。这样训练集仍包含每种物体的示例。
#### 5.2. 二维物体和关键点检测
我们使用COCO评估协议[^21]来评估物体和关键点检测性能。在物体检测方面，我们考虑20类物体和1类手部。我们通过为每个摄像头视角下的每个实例渲染分割掩码来收集真实值。对于关键点，我们考虑21个手部关节，通过将每个三维关节重新投影到各摄像头图像上来收集真实值。
我们选取两种具有代表性的方法进行基准测试：Mask R-CNN（Detectron2）[^15] [^43]和SOLOv2 [^42]。Mask R-CNN一直是物体和关键点检测的事实标准，而SOLOv2则是COCO实例分割领域的最先进方法。对于这两种方法，我们都使用在ImageNet上预训练的ResNet50-FPN骨干网络，并在DexYCB数据集上进行微调。
表3展示了物体检测的平均精度（AP）结果。首先，Mask R-CNN和SOLOv2在平均平均精度（mAP）上的表现相近。Mask R-CNN在边界框方面略占优势（例如，在S0场景下mAP为75.76，而SOLOv2为75.13），而SOLOv2在分割方面略占优势（例如，在S0场景下mAP为71.56，而Mask R-CNN为69.58）。原因如下：
---
| S0 (default) | S1 (unseen subjects) | S2 (unseen views) | S3 (unseen grasping) |
| Mask | R-CNN | SOLOv2 | Mask | R-CNN | SOLOv2 | Mask | R-CNN | SOLOv2 | Mask | R-CNN | SOLOv2 |
| bbox | seg | bbox | seg | bbox | seg | bbox | seg | bbox | seg | bbox | seg | bbox | seg | bbox | seg |
| 002_master_chef_can | 83.87 | 82.68 | 84.90 | 85.20 | 82.41 | 80.69 | 82.74 | 81.67 | 85.82 | 84.44 | 83.52 | 83.39 | 83.96 | 83.72 | 84.53 | 85.44 |
| 003_cracker_box | 85.85 | 83.72 | 89.08 | 88.07 | 82.12 | 80.18 | 84.26 | 84.39 | 88.74 | 87.60 | 89.61 | 87.85 | 85.51 | 83.68 | 79.75 | 88.00 |
| 004_sugar_box | 81.30 | 77.71 | 80.45 | 79.26 | 78.35 | 74.75 | 77.17 | 76.66 | 83.72 | 79.53 | 81.91 | 79.25 | 78.06 | 75.68 | 74.87 | 77.40 |
| 005_tomato_soup_can | 76.03 | 74.75 | 75.70 | 75.33 | 73.65 | 71.33 | 72.66 | 71.35 | 77.66 | 76.70 | 75.25 | 73.82 | 76.70 | 76.29 | 76.50 | 76.48 |
| 006_mustard_bottle | 81.56 | 79.40 | 79.94 | 81.87 | 78.76 | 75.41 | 77.76 | 75.92 | 81.12 | 79.06 | 79.87 | 78.29 | 81.74 | 82.37 | 82.24 | 84.45 |
| 007_tuna_fish_can | 68.08 | 67.14 | 67.76 | 67.34 | 68.99 | 67.76 | 68.07 | 67.59 | 73.37 | 72.06 | 71.72 | 70.68 | 75.76 | 77.70 | 75.76 | 77.61 |
| 008_pudding_box | 73.60 | 70.39 | 74.05 | 72.58 | 69.77 | 68.04 | 69.78 | 68.20 | 78.88 | 76.74 | 79.01 | 76.58 | 71.32 | 71.43 | 65.11 | 70.94 |
| 009_gelatin_box | 69.51 | 68.43 | 68.64 | 68.09 | 67.37 | 64.99 | 66.16 | 63.14 | 72.87 | 71.45 | 73.34 | 69.36 | 61.19 | 58.41 | 60.98 | 59.49 |
| 010_potted_meat_can | 75.63 | 72.66 | 77.28 | 75.80 | 73.86 | 71.95 | 70.87 | 71.76 | 78.96 | 78.35 | 79.63 | 76.84 | 77.48 | 78.03 | 78.40 | 79.24 |
| 011_banana | 70.53 | 63.43 | 69.67 | 65.49 | 68.07 | 60.50 | 67.31 | 60.57 | 72.46 | 58.18 | 70.80 | 70.68 | 71.67 | 67.54 | 73.25 | 70.28 |
| 019_pitcher_base | 87.17 | 84.67 | 89.95 | 88.98 | 86.21 | 82.00 | 90.07 | 86.38 | 90.47 | 86.67 | 86.88 | 87.02 | 85.62 | 83.69 | 90.22 | 89.91 |
| 021_bleach_cleanser | 80.98 | 77.52 | 75.52 | 79.71 | 79.59 | 76.68 | 78.77 | 78.52 | 84.75 | 81.71 | 82.79 | 81.75 | 77.36 | 71.54 | 77.01 | 75.54 |
| 024_bowl | 80.62 | 78.12 | 75.79 | 80.30 | 78.75 | 76.42 | 78.06 | 77.39 | 83.25 | 80.12 | 81.54 | 79.72 | 81.12 | 79.69 | 81.91 | 82.99 |
| 025_mug | 76.01 | 71.95 | 76.35 | 74.35 | 74.64 | 69.64 | 72.72 | 69.93 | 80.14 | 75.99 | 78.24 | 74.13 | 75.51 | 73.19 | 76.78 | 75.86 |
| 035_power_drill | 81.83 | 73.80 | 82.85 | 77.20 | 76.89 | 69.02 | 77.90 | 71.50 | 82.57 | 74.66 | 82.42 | 74.09 | 83.67 | 77.62 | 84.06 | 80.77 |
| 036_wood_block | 83.75 | 81.41 | 85.72 | 85.59 | 80.45 | 78.15 | 79.45 | 79.32 | 83.78 | 83.40 | 41.24 | 64.85 | 77.52 | 73.84 | 78.01 | 77.78 |
| 037_scissors | 64.07 | 29.36 | 59.00 | 32.63 | 55.05 | 20.68 | 50.85 | 26.51 | 63.16 | 17.93 | 38.00 | 16.93 | 58.01 | 24.35 | 57.92 | 31.11 |
| 040_large_marker | 52.69 | 42.42 | 50.95 | 42.46 | 50.14 | 38.46 | 44.94 | 36.46 | 53.98 | 36.47 | 50.78 | 33.58 | 55.35 | 41.23 | 53.66 | 45.22 |
| 052_extra_large_clamp | 73.41 | 54.03 | 71.71 | 55.38 | 68.12 | 51.26 | 65.26 | 52.33 | 75.61 | 52.77 | 61.14 | 53.59 | 75.24 | 57.28 | 72.52 | 58.87 |
| 061_foam_brick | 72.68 | 72.85 | 72.54 | 72.93 | 68.34 | 66.62 | 67.98 | 65.72 | 75.24 | 74.10 | 73.01 | 71.05 | 71.36 | 71.32 | 71.50 | 71.59 |
| hand | 71.85 | 54.83 | 66.41 | 54.27 | 64.88 | 46.86 | 58.33 | 46.66 | 70.23 | 54.70 | 59.28 | 52.08 | 71.23 | 54.89 | 66.33 | 53.51 |
| mAP | 75.76 | 69.58 | 75.13 | 71.56 | 72.69 | 66.26 | 71.48 | 67.24 | 77.94 | 70.60 | 72.37 | 68.66 | 75.02 | 69.69 | 74.35 | 72.05 |
Table 3: 2D object detection results in AP (%) on the four setups. We compare Mask R-CNN (Detectron2) [^15] [^43] with SOLOv2 [^42] on both bounding box (bbox) and segmentation (seg).
| S0 | S1 | S2 | S3 |
| hand | 36.42 | 26.85 | 32.90 | 35.18 |
Table 4: 2D keypoint detection results in AP (%) with Mask R-CNN (Detectron2) [^15] [^43].
Mask R-CNN先预测边界框，再利用它们生成分割结果。因此分割误差可能会累积。相比之下，SOLOv2直接预测分割结果，再据此生成边界框。其次，手部的AP值低于物体的AP值（例如，对于Mask R-CNN，手部AP值为71.85，而S0场景下边界框AP值为75.76）。这表明手部比物体更难检测，可能是由于其位置变化更大。最后，不同设置下的性能存在差异。例如，S1场景下的mAP值低于S0场景（例如，对于Mask R-CNN，边界框mAP值为72.69，而S0场景下为75.76）。这可归因于未见过的受试者带来的挑战。表4展示了使用Mask R-CNN的关键点检测AP值。我们观察到不同设置下AP值的排序趋势相似。
我们遵循BOP挑战协议[^16] [^17]来评估单视图六维姿态估计性能。该任务要求根据图像中物体的数量和实例数，估算每个物体实例的六维姿态。评估时采用三种不同的姿态误差函数（VSD、MSSD、MSPD）计算召回率，最终得分是这三个召回率值的平均值（AR）。
#### 5.3. 六维物体姿态估计
我们首先通过比较静态物体和被抓取物体来分析手部抓取带来的挑战。我们使用PoseCNN作为基准模型。
| all | static | grasped |
| 52.68 | 56.53 | 41.65 |
Table 5: PoseCNN (RGB) [^44] results in AR (%) on S0 (default).
以(RGB) [^44] 作为基准，在DexYCB数据集上重新训练模型。表5展示了在完整测试集、仅静态物体以及仅抓取物体这三种情况下S0的AR值。不出所料，当仅考虑抓取物体时，AR值会显著下降。这反映出在手部交互场景下物体姿态估计的难度日益增加。为了更专注于这一情况，后续实验中我们仅针对抓取物体进行评估。
接下来，我们使用相同的基线模型在四种场景下进行评估。结果如表6（左）所示。在S1（未见过的受试者）场景下，与S0相比，AR值出现下降（例如，整体AR值从41.65降至38.26），这与物体检测的情况类似。这可归因于未见过的手的交互以及不同的抓取方式所带来的影响。S3列（未见过的抓取方式）显示了测试集中仅有的三种被抓取物体（“009_gelatin_box”、“021_bleach_cleanser”、“036_wood_block”）的AR值。同样，与S0相比AR值更低，对于像“009_gelatin_box”这样的较小物体，降幅尤为明显（33.07对比46.62）。令人惊讶的是，S2（未见过的视角）下的AR值并未下降，反而略有上升（例如，整体AR值从41.65升至45.18）。这表明我们的多摄像头设置对场景的覆盖足够密集，以至于在某些视角下训练得到的模型能够较好地应用于其他视角。
最后，我们对五种具有代表性的方法进行了基准测试：PoseCNN [^44]、DeepIM [^20]、DOPE [^38]、PoseRBPF [^5]，
---
| S0 | S1 | S2 | S3 | PoseCNN [^44] | DeepIM [^20] | DOPE [^38] | PoseRBPF [^5] | CosyPose [^19] |
| RGB | + depth ref | RGB | RGB-D | RGB | RGB | RGB-D | RGB |
| 002_master_chef_can | 47.47 | 44.53 | 51.36 | - | 44.53 | 48.24 | 60.74 | 68.40 | 19.82 | 35.19 | 58.04 | 77.21 | |
| 003_cracker_box | 61.04 | 57.46 | 60.65 | - | 57.46 | 62.62 | 79.43 | 84.56 | 53.50 | 43.62 | 67.37 | 88.39 | |
| 004_sugar_box | 45.11 | 36.00 | 51.73 | - | 36.00 | 42.45 | 51.29 | 59.34 | 32.06 | 30.55 | 56.55 | 69.61 | |
| 005_tomato_soup_can | 36.68 | 34.88 | 45.44 | - | 34.88 | 42.99 | 46.87 | 55.46 | 20.52 | 23.76 | 40.03 | 52.76 | |
| 006_mustard_bottle | 52.56 | 42.89 | 51.96 | - | 42.89 | 48.98 | 55.52 | 63.31 | 23.66 | 28.98 | 54.93 | 67.11 | |
| 007_tuna_fish_can | 32.70 | 29.58 | 31.96 | - | 29.58 | 36.17 | 39.18 | 46.98 | 5.86 | 20.13 | 36.77 | 49.00 | |
| 008_pudding_box | 44.24 | 42.60 | 50.81 | - | 42.60 | 51.26 | 58.23 | 67.18 | 14.48 | 27.24 | 47.95 | 70.22 | |
| 009_gelatin_box | 46.62 | 34.39 | 44.38 | 33.07 | 34.39 | 41.71 | 47.89 | 55.54 | 21.81 | 31.27 | 46.14 | 57.63 | |
| 010_potted_meat_can | 37.41 | 42.10 | 45.08 | - | 42.10 | 51.64 | 60.19 | 69.40 | 14.15 | 31.17 | 46.43 | 65.37 | |
| 011_banana | 38.33 | 36.71 | 44.42 | - | 36.71 | 40.21 | 41.82 | 48.63 | 16.15 | 21.39 | 39.15 | 35.48 | |
| 019_pitcher_base | 53.49 | 46.03 | 53.51 | - | 46.03 | 49.62 | 54.27 | 63.46 | 7.02 | 19.94 | 51.38 | 52.68 | |
| 021_bleach_cleanser | 49.41 | 42.54 | 56.03 | 38.52 | 42.54 | 46.29 | 51.54 | 61.44 | 16.70 | 22.94 | 53.50 | 63.62 | |
| 024_bowl | 57.42 | 54.25 | 58.15 | - | 54.25 | 57.05 | 60.30 | 69.40 | - | 37.00 | 62.49 | 74.74 | |
| 025_mug | 40.68 | 37.28 | 43.70 | - | 37.28 | 38.69 | 41.15 | 49.51 | - | 18.21 | 34.87 | 48.48 | |
| 035_power_drill | 47.93 | 41.86 | 50.79 | - | 41.86 | 45.79 | 58.10 | 64.28 | 19.60 | 30.67 | 51.41 | 49.22 | |
| 036_wood_block | 40.11 | 38.66 | 49.50 | 40.53 | 38.66 | 44.08 | 49.91 | 65.39 | - | 23.80 | 51.63 | 67.14 | |
| 037_scissors | 21.93 | 22.87 | 25.90 | - | 22.87 | 25.29 | 27.48 | 32.65 | 14.16 | 17.18 | 29.40 | 24.36 | |
| 040_large_marker | 35.09 | 32.12 | 38.19 | - | 32.12 | 38.73 | 33.27 | 46.63 | - | 19.05 | 29.66 | 50.58 | |
| 052_extra_large_clamp | 30.48 | 31.89 | 34.42 | - | 31.89 | 33.60 | 39.63 | 47.04 | - | 22.99 | 35.99 | 50.78 | |
| 061_foam_brick | 12.80 | 13.04 | 15.75 | - | 13.04 | 16.70 | 18.14 | 27.57 | - | 17.40 | 32.42 | 30.12 | |
| all | 41.65 | 38.26 | 45.18 | 37.41 | 38.26 | 43.27 | 48.99 | 57.54 | - | 26.24 | 46.48 | 57.43 | |
Table 6: 6D object pose estimation results in AR (%). Left: PoseCNN (RGB). Right: performance of representative approaches on S1.
以及CosyPose [^19]（2020年BOP挑战赛的获胜者）。它们均采用RGB输入。对于PoseCNN，我们还纳入了带有后处理深度优化功能的变体。对于DeepIM和PoseRBPF，我们也纳入了它们的RGB-D变体。对于CosyPose，我们采用其单视图版本。对于DeepIM和CosyPose，我们利用PoseCNN（RGB）的输出结果来初始化物体姿态。除DOPE和PoseRBPF外，我们均在DexYCB数据集上重新训练所有模型；这两种方法仅使用合成图像训练模型。对于DOPE，除了提供的5个物体外，我们还为其额外训练了7个物体的模型。表6（右）比较了在最具挑战性的S1（未见过的受试者）场景下各方法的表现。首先，我们可以明显看出，使用深度信息的模型相较于各自的纯RGB变体更具优势（对于PoseCNN，整体AR值从38.26提升至43.27）。其次，像DeepIM和CosyPose这类基于优化方法的方法，能够在初始姿态输入的基础上显著提升性能（例如，对于DeepIM RGB-D，整体AR值从38.26提升至57.54）。最终，在所有基于RGB的方法中，CosyPose的整体AR值最高（整体AR值为57.43）。
#### 5.4. 三维手部姿态估计
该任务旨在从单张图像中估计21个手部关节的三维位置。我们采用两个指标进行评估：平均关节位置误差（MPJPE，单位：毫米）以及关键点正确率（PCK）。除了计算绝对三维位置的误差外，我们还在后处理中报告将预测结果与真实值对齐后的误差 [^49] [^50] [^11]。我们考虑了两种对齐方法：基于根节点的对齐和Procrustes对齐。前者通过用真实值替换根节点（手腕）位置来消除平移方面的歧义；后者则消除了平移、旋转和缩放方面的歧义，从而专门聚焦于关节活动情况。对于PCK，我们重新—
| | absolute | root-relative | Procrustes |
| S0 | [^31] + ResNet50 | 53.92 (0.307) | 17.71 (0.683) | 7.12 (0.858) |
| [^31] + HRNet32 | 52.26 (0.328) | 17.34 (0.698) | 6.83 (0.864) |
| A2J [^45] | 27.53 (0.612) | 23.93 (0.588) | 12.07 (0.760) |
| S1 | [^31] + ResNet50 | 70.23 (0.240) | 22.71 (0.601) | 8.43 (0.832) |
| [^31] + HRNet32 | 70.10 (0.248) | 22.26 (0.615) | 7.98 (0.841) |
| A2J [^45] | 29.09 (0.584) | 25.57 (0.562) | 12.95 (0.743) |
| S2 | [^31] + ResNet50 | 83.46 (0.208) | 23.15 (0.566) | 8.11 (0.838) |
| [^31] + HRNet32 | 80.63 (0.217) | 25.49 (0.530) | 8.21 (0.836) |
| A2J [^45] | 23.44 (0.576) | 27.65 (0.540) | 13.42 (0.733) |
| S3 | [^31] + ResNet50 | 58.69 (0.281) | 19.41 (0.665) | 7.56 (0.849) |
| [^31] + HRNet32 | 55.39 (0.311) | 18.44 (0.686) | 7.06 (0.859) |
| A2J [^45] | 30.99 (0.608) | 24.92 (0.581) | 12.15 (0.759) |
Table 7: 3D hand pose estimation results in MPJPE (mm). Numbers in parentheses are AUC values.
报告误差范围在[0, 50毫米]内、分为100个步长的曲线下面积（AUC）。
我们对比了基于RGB的方法和基于深度的方法。对于RGB方法，我们选用Spurr等人提出的监督学习版本 [^31]，该版本曾荣获2019年HANDS挑战赛冠军 [^1]。我们分别使用原始的ResNet50骨干网络以及性能更强的HRNet32 [^33] 骨干网络进行实验，两者均先用ImageNet预训练模型初始化，再在DexYCB数据集上进行微调。对于深度方法，我们选用A2J [^45]，并在DexYCB数据集上重新训练模型。
### 表7展示了实验结果。对于[^31]而言，仅依靠RGB信息来估计绝对3D位置十分困难（例如，在S0数据集上，使用ResNet50时绝对MPJPE达到53.92毫米）。虽然性能更强的HRNet32骨干网络能略微降低误差（例如在S0数据集上，绝对MPJPE从53.92毫米降至52.26毫米），但改善幅度有限。与物体姿态估计的情况类似，在S1数据集（未见过的受试者）上的误差比S0数据集更大（例如，HRNet32的绝对MPJPE从52.26毫米增至70.10毫米），这是由于未见过的手部形状和抓取方式所致。不过，与表6（左侧）中的趋势不同，S2数据集（未见过的视角）上的误差同样显著增大，甚至超过了其他设置（例如，HRNet32的绝对MPJPE达到80.63毫米）。这是因为与物体不同，在此设定中受试者始终从固定位置面向同一方向，这进一步限制了各视角下可观察到的手部姿态范围，从而加大了跨视角泛化难度。
---
Figure 4: Precision-coverage curves for grasp generation on S1.
不出所料，由于有深度输入，A2J模型[^45]在绝对MPJPE指标上的表现优于[^31]，但在关节角度估计方面却稍逊一筹，对齐后的误差即可证明这一点（例如，在S0数据集上，HRNet32的Procrustes MPJPE为6.83毫米，而A2J仅为12.07毫米）。
### 6. 安全的人机物体交接
任务描述：给定一张包含人手持物体的RGB-D图像，目标是生成多种机器人抓取方案，以便在不夹伤人手的情况下接过物体（我们将其称为“安全”交接）。抓取方案的多样性至关重要，因为并非所有方案在运动学上都能实际执行。我们假设使用平行夹爪式的Franka Panda机械手，并将每种抓取表示为SE(3)空间中的一个点。
评估方法：我们首先利用最远点采样法，针对每个YCB物体从[^7]中预先生成的多种抓取方案中选取100种，以确保对姿态空间的密集覆盖（见图15）。对于每张图像，我们利用物体的真实姿态将这些抓取从物体坐标系转换到相机坐标系，随后剔除那些与真实物体及手部网格发生碰撞的抓取。由此便得到了成功抓取的参考集R。
给定一组预测的抓取$\chi$后，我们通过计算[^7]的覆盖率$\mathcal{R}$来评估其多样性，覆盖率定义为$\mathcal{R}$中至少存在一个与$\chi$中的抓取匹配且既不与物体碰撞也不与人手碰撞的抓取所占的百分比。具体而言，若满足$|g_t - h_t| < \sigma_t$和$\operatorname{arccos}(|\langle g_q, h_q\rangle|) < \sigma_q$条件，则认为两个抓取g和h是匹配的，其中$g_t$表示平移量，$g_q$表示四元数形式的方向。我们采用$\sigma_t = 0.05$米作为阈值，$\sigma_q = 15^\circ$作为角度阈值。
如果穷尽所有可能性来采样抓取，或许能获得很高的覆盖率。因此我们还计算了精确度，
Figure 5: Top: 100 successful grasps sampled from [^7]. Bottom: predicted grasps generated by the predicted object pose (textured model) and hand segmentation (blue masks). Green ones denote those covering successful grasps, red ones denote those collided with the object or hand, and gray ones are failures not covering any successful grasps in the reference set. Ground-truth objects and hands are shown in translucent white and brown meshes.
其定义为$\chi$中至少存在一个与参考集R中某个成功抓取匹配的抓取所占的百分比。
基线：我们尝试了一种简单的基线方法，该方法仅需手部分割和6D物体姿态信息。与构建R类似，我们将100个抓取点转换到相机坐标系下，但使用的是估计出的物体姿态；随后剔除那些与手部分割得到的手点云以及深度图像发生碰撞的抓取点。具体来说，如果夹持器点云中的某点与手点云中某点的距离小于阈值$\epsilon$，则该抓取点即被视为发生碰撞。夹持器点云由夹持器表面预先采样的一组点构成。我们采用了Mask R-CNN给出的手部分割结果（见第5.2节）。
结果：我们在不同阈值$\epsilon \in [0, 0.07 \, \text{m}]$下，评估了采用不同物体姿态方法生成的抓取点，并在图4中展示了S1上的精度-覆盖率曲线。结果显示，更精准的物体姿态估计能带来更好的抓取点生成效果。图15展示了预测抓取点的定性示例。我们发现，大多数失败的抓取点（红色和灰色）都是由于物体姿态不准确导致的。其中一些是因物体部分遮挡手部时手部检测遗漏而产生的手部碰撞抓取点（例如“003_cracker_box”）。这一问题有望通过直接预测完整手部形状的基于模型的方法来解决。
## 7. 结论
我们推出了用于采集物体抓取数据的DexYCB数据集。我们展示了该数据集的优势，针对三个相关任务对现有方法进行了全面的基准测试，还评估了一项新的机器人相关任务。我们希望该数据集能推动这些关键领域的研究进展。
---
## 参考文献
[^1]: Anil Armagan, Guillermo Garcia-Hernando, Seungryul Baek, Shreyas Hampali, Mahdi Rad, Zhaohui Zhang, Shipeng Xie, MingXiu Chen, Boshen Zhang, Fu Xiong, Yang Xiao, Zhiguo Cao, Junsong Yuan, Pengfei Ren, Weiting Huang, Haifeng Sun, Marek Hrz, Jakub Kanis, Zdeněk Krôul, Qingfu Wan, Shile Li, Linlin Yang, Dongheui Lee, Angela Yao, Weiguo Zhou, Sijia Mei, Yunhui Liu, Adrian Spurr, Umar Iqbal, Pavlo Molchanov, Philippe Weinzaepfel, Romain Brégier, Grégory Rogez, Vincent Lepetit, and Tae-Kyun Kim. Measuring generalisation to unseen viewpoints, articulations, shapes and objects for 3D hand pose estimation under hand-object interaction. In ECCV, 2020. 7
[^2]: Adnane Boukhayma, Rodrigo de Bem, and Philip H.S. Torr. 3D hand shape and pose from images in the wild. In CVPR, 2019. 1
[^3]: Samarth Brahmbhatt, Chengcheng Tang, Christopher D. Twigg, Charles C. Kemp, and James Hays. ContactPose: A dataset of grasps with object contact and hand pose. In ECCV, 2020. 1,4
[^4]: Enric Corona, Albert Pumarola, Guillem Alenyà, Francesc Moreno-Noguer, and Grégory Rogez. GanHand: Predicting human grasp affordances in multi-object scenes. In CVPR, 2020. 2
[^5]: Xinke Deng, Arsalan Mousavian, Yu Xiang, Fei Xia, Timothy Bretl, and Dieter Fox. PoseRBPF: A Rao-Blackwellized particle filter for 6D object pose estimation. In RSS, 2019. 1, 6, 7, 14, 15, 19
[^6]: Bardia Doosti, Shujon Naha, Majid Mirbagheri, and David J. Crandall. HOPE-Net: A graph-based model for hand-object pose estimation. In CVPR, 2020. 1
[^7]: Clemens Eppner, Arsalan Mousavian, and Dieter Fox. A billion ways to grasps: An evaluation of grasp sampling schemes on a dense, physics-based grasp data set. In ISRR, 2019. 8, 14
[^8]: Guillermo Garcia-Hernando, Shanxin Yuan, Seungryul Baek, and Tae-Kyun Kim. First-person hand action benchmark with RGB-D videos and 3D hand pose annotations. In CVPR, 2018. 1,4
[^9]: Liuhao Ge, Zhou Ren, Yuncheng Li, Zehao Xue, Yingying Wang, Jianfei Cai, and Junsong Yuan. 3D hand shape and pose estimation from a single RGB image. In CVPR, 2019. 1
[^10]: Oliver Glauser, Shihao Wu, Daniele Panozzo, Otmar Hilliges, and Olga Sorkine-Hornung. Interactive hand pose estimation using a stretch-sensing soft glove. In SIGGRAPH, 2019. 1
[^11]: Shreyas Hampali, Mahdi Rad, Markus Oberweger, and Vincent Lepetit. HOnnotate: A method for 3D annotation of hand and object poses. In CVPR, 2020. 2, 3, 4, 5, 7, 12
[^12]: Ankur Handa, Karl Van Wyk, Wei Yang, Jacky Liang, Yu-Wei Chao, Qian Wan, Stan Birchfield, Nathan Ratliff, and Dieter Fox. DexPilot: Vision-based teleoperation of dexterous robotic hand-arm system. In ICRA, 2020. 1
[^13]: Yana Hasson, Bugra Tekin, Federica Bogo, Ivan Laptev, Marc Pollefeys, and Cordelia Schmid. Leveraging photomet-
在稀疏监督的手部-物体重建任务中保持时间上的一致性。载于CVPR 2020会议论文集，第1、3页。
[^14]: Yana Hasson, Gul Varol, Dimitrios Tzionas, Igor Kalevatykh, Michael J. Black, Ivan Laptev, and Cordelia Schmid. Learning joint reconstruction of hands and manipulated objects. In CVPR, 2019. 1, 3, 4
[^15]: Kaiming He, Georgia Gkioxari, Piotr Dollár, and Ross Girshick. Mask R-CNN. In ICCV, 2017. 5, 6, 13, 18
[^16]: Tomáš Hodaň, Frank Michel, Eric Brachmann, Wadim Kehl, Anders Glent Buch, Dirk Kraft, Bertram Drost, Joel Vidal, Stephan Ihrke, Xenophon Zabulis, Caner Sahin, Fabian Manhardt, Federico Tombari, Tae-Kyun Kim, Jiří Matas, and Carsten Rother. BOP: Benchmark for 6D object pose estimation. In ECCV, 2018. 1, 3, 6
[^17]: Tomáš Hodaň, Martin Sundermeyer, Bertram Drost, Yann Labbé, Eric Brachmann, Frank Michel, Carsten Rother, and Jiří Matas. BOP challenge 2020 on 6D object localization. ECCV Workshops, 2020. 1, 3, 6
[^18]: Umar Iqbal, Pavlo Molchanov, Thomas Breuel, Juergen Gall, and Jan Kautz. Hand pose estimation via latent 2.5D heatmap regression. In ECCV, 2018. 1
[^19]: Yann Labbé, Justin Carpentier, Mathieu Aubry, and Josef Sivic. CosyPose: Consistent multi-view multi-object 6D pose estimation. In ECCV, 2020. 1, 7, 13, 14, 15, 19
[^20]: Yi Li, Gu Wang, Xiangyang Ji, Yu Xiang, and Dieter Fox. DeepIM: Deep iterative matching for 6D pose estimation. In ECCV, 2018. 1, 6, 7, 13, 14, 15, 19
[^21]: Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, and C. Lawrence Zitnick. Microsoft COCO: Common objects in context. In ECCV, 2014. 5, 16
[^22]: Gyeongsik Moon, Shoou-I Yu, He Wen, Takaaki Shiratori, and Kyoung Mu Lee. InterHand2.6M: A dataset and baseline for 3D interacting hand pose estimation from a single RGB image. In ECCV, 2020. 4
[^23]: Franziska Mueller, Florian Bernard, Oleksandr Sotnychenko, Dushyant Mehta, Srinath Sridhar, Dan Casas, and Christian Theobalt. GANerated Hands for real-time 3D hand tracking from monocular RGB. In CVPR, 2018. 1,4
[^24]: Franziska Mueller, Micah Davis, Florian Bernard, Oleksandr Sotnychenko, Mickeal Verschoor, Miguel A. Otaduy, Dan Casas, and Christian Theobalt. Real-time pose and shape reconstruction of two interacting hands with a single depth camera. In SIGGRAPH, 2019. 3, 4
[^25]: Franziska Mueller, Dushyant Mehta, Oleksandr Sotnychenko, Srinath Sridhar, Dan Casas, and Christian Theobalt. Real-time hand tracking under occlusion from an egocentric RGB-D sensor. In ICCV, 2017. 4
[^26]: Kiru Park, Timothy Patten, and Markus Vincze. Pix2Pose: Pixel-wise coordinate regression of objects for 6D pose estimation. In ICCV, 2019. 1
[^27]: Sida Peng, Yuan Liu, Qixing Huang, Xiaowei Zhou, and Hujun Bao. PVNet: Pixel-wise voting network for 6DoF pose estimation. In CVPR, 2019. 1
## [^28]: Javier Romero, Dimitrios Tzionas, and Michael J. Black. Embodied hands: Modeling and capturing hands and bodies together. In SIGGRAPH Asia, 2017. 3
---
[^29]: Dandan Shan, Jiaqi Geng, Michelle Shu, and David F. Fouhey. Understanding human hands in contact at internet scale. In CVPR, 2020. 5
[^30]: Tomas Simon, Hanbyul Joo, Iain Matthews, and Yaser Sheikh. Hand keypoint detection in single images using multiview bootstrapping. In CVPR, 2017. 4
[^31]: Adrian Spurr, Umar Iqbal, Pavlo Molchanov, Otmar Hilliges, and Jan Kautz. Weakly supervised 3D hand pose estimation via biomechanical constraints. In ECCV, 2020. 1, 5, 7, 8, 13, 20
[^32]: Srinath Sridhar, Franziska Mueller, Michael Zollhoefer, Dan Casas, Antti Oulasvirta, and Christian Theobalt. Real-time joint tracking of a hand manipulating an object from RGB-D input. In ECCV, 2016. 4
[^33]: Ke Sun, Bin Xiao, Dong Liu, and Jingdong Wang. Deep high-resolution representation learning for human pose estimation. In CVPR, 2019. 5,7
[^34]: Martin Sundermeyer, Zoltan-Csaba Marton, Maximilian Durner, Manuel Brucker, and Rudolph Triebel. Implicit 3D orientation learning for 6D object detection from RGB images. In ECCV, 2018. 1
[^35]: Omid Taheri, Nima Ghorbani, Michael J. Black, and Dimitrios Tzionas. GRAB: A dataset of whole-body human grasping of objects. In ECCV, 2020. 1,4
[^36]: Bugra Tekin, Federica Bogo, and Marc Pollefeys. H+O: Unified egocentric recognition of 3D hand-object poses and interactions. In CVPR, 2019. 1
[^37]: Bugra Tekin, Sudipta N. Sinha, and Pascal Fua. Real-time seamless single shot 6D object pose prediction. In CVPR, 2018. 1
[^38]: Jonathan Tremblay, Thang To, Balakumar Sundaralingam, Yu Xiang, Dieter Fox, and Stan Birchfield. Deep object pose estimation for semantic robotic grasping of household objects. In CoRL, 2018. 1, 6, 7
[^39]: Carl Vondrick, Donald Patterson, and Deva Ramanan. Efficiently scaling up crowdsourced video annotation. IJCV, 101(1):184–204, Jan 2013. 2
[^40]: Chen Wang, Danfei Xu, Yuke Zhu, Roberto Martin-Martin, Cewu Lu, Li Fei-Fei, and Silvio Savarese. DenseFusion: 6D object pose estimation by iterative dense fusion. In CVPR, 2019. 1
[^41]: He Wang, Srinath Sridhar, Jingwei Huang, Julien Valentin, Shuran Song, and Leonidas J. Guibas. Normalized object coordinate space for category-level 6D object pose and size estimation. In CVPR, 2019. 3
[^42]: Xinlong Wang, Rufeng Zhang, Tao Kong, Lei Li, and Chunhua Shen. SOLOv2: Dynamic, faster and stronger. In NeurIPS. 2020. 5, 6
[^43]: Yuxin Wu, Alexander Kirillov, Francisco Massa, Wan-Yen Lo, and Ross Girshick. Detectron2. , 2019. 5, 6, 13, 18
[^44]: Yu Xiang, Tanner Schmidt, Venkatraman Nafurayanan, and Dieter Fox. PoseCNN: A convolutional neural network for 6D object pose estimation in cluttered scenes. In RSS, 2018. 2, 3, 6, 7, 13, 14, 15, 19
[^45]: Fu Xiong, Boshen Zhang, Yang Xiao, Zhiguo Cao, Taidong Yu, Joey Tianyi Zhou, and Junsong Yuan. A2J: Anchor-to-joint regression network for 3D articulated pose estimation from a single depth image. In ICCV, 2019. 7, 8
[^46]: Wei Yang, Chris Paxton, Maya Cakmak, and Dieter Fox. Human grasp classification for reactive human-to-robot handovers. In IROS, 2020. 1
[^47]: Zhixuan Yu, Jae Shin Yoon, In Kyu Lee, Prashanth Venkatesh, Jaesik Park, Jihun Yu, and Hyun Soo Park. HUMBI: A large multiview dataset of human body expressions. In CVPR, 2020. 5
[^48]: Shanxin Yuan, Qi Ye, Bjorn Stenger, Siddhant Jain, and Tae Kyun Kim. BigHand2.2M benchmark: Hand pose dataset and state of the art analysis. In CVPR, 2017. 1,4
[^49]: Christian Zimmermann and Thomas Brox. Learning to estimate 3D hand pose from single RGB images. In ICCV, 2017. 1, 4, 7
[^50]: Christian Zimmermann, Duygu Ceylan, Jimei Yang, Bryan Russell, Max J. Argus, and Thomas Brox. FreiHAND: A dataset for markerless capture of hand pose and shape from single RGB images. In ICCV, 2019. 3, 4, 5, 7, 12
### 附录
#### 目录
A 构建DexYCB数据集 11
A.1. 优化$E_{depth}$ 11
B DexYCB数据集的特性 11
B.1. 可视化展示 11
B.2. 3D标注准确性分析 12
B.3. 手部姿态的多样性 12
B.4. 为何采用黑色背景？ 12
B.5. 为何在HO-3D数据集上泛化能力更强？ 12
C 代表性方法的基准测试 12
C.1. 实验设置细节 12
C.2. 定性分析：2D物体与关键点检测 13
C.3. 定性分析：6D物体姿态估计 13
C.4. 定性分析：3D手部姿态估计 13
C.5. 完整的定量结果：6D物体姿态估计 14
D 安全的人机物体交接 14
D.1. 预生成的抓取点 14
D.2. 额外的定性结果 14
D.3. 完整的定量结果 14
E 自然场景图像上的实验结果 15
---
### A. 构建DexYCB数据集
#### A.1. 优化$E_{depth}$
在此我们详细介绍求解3D手部与物体姿态时深度项$E_{depth}$的优化过程（见第2.3节）。首先，我们描述了基于并行GPU实现的高效前向计算方式；随后我们证明$E_{depth}$是可微分的，并推导出了它的梯度。
回忆一下，$\{d_i \in \mathbb{R}^3\}_{i=1}^{N_D}$表示整个点云，其中$d_i$是一个单独的3D点，而$\mathcal{M}(P)$是我们模型的三角网格。在不失一般性的前提下，我们假设模型仅包含一个刚性物体，即$P \in \text{SE}(3)$。深度项的定义如下：
$$ E_{\mathrm{d e p t h}}(P)=\frac{1}{N_{D}}\sum_{i=1}^{N_{D}}|\texttt{S D F}(d_{i},\mathcal{M}(P))|^{2}, $$
其中，$\mathrm{SDF}(\cdot)$ 用于计算三维点 d 到网格 $\mathcal{M}$ 的有符号距离值。一种简单的计算方式是逐一计算查询点 d 到网格上所有三角形面的距离，然后取其中的最小值。为了实现更高效的计算，我们利用了图形学中的包围体层次结构（BVH）技术。具体来说，我们在每次执行公式 7 的前向计算之初，就构建一个轴对齐包围盒树（AABB 树）来对网格的三角形面进行索引。借助 AABB 树，我们可以高效地遍历网格中的三角形面，从而无需逐一检查所有面就能计算出查询点 d 的距离。此外，由于公式 7 会对所有查询点 $\{d_i\}$ 进行相同的计算，因此我们可以通过利用 GPU 实现并行处理查询点来进一步加快计算速度。
现在让我们来看看公式 7 的反向传播过程，因为我们采用基于梯度的方法来优化 $E_{\text{depth}}(P)$。在前向计算过程中，对于某个查询点 d，一旦找到它在网格上的最近点 $q \in \mathbb{R}^3$，我们就可以用重心坐标来表示 q：
$$ \boldsymbol{q}=\boldsymbol{u}\cdot\boldsymbol{a}+\boldsymbol{v}\cdot\boldsymbol{b}+\boldsymbol{w}\cdot\boldsymbol{c}, $$
其中，$a,b,c \in \mathbb{R}^3$ 表示 q 所在三角形面的三个顶点，且 $u,v,w \in \mathbb{R}$、$0 \leq u,v,w \leq 1$ 和 $u+v+w=1$。现在我们可以用以下方式进一步表示 $E_{\text{depth}}(P)$：
$$ \begin{align*}E_{\mathrm{depth}}(P)&=\frac{1}{N_{D}}\sum_{i=1}^{N_{D}}|\mathrm{SDF}(d_{i},\mathcal{M}(P))|^{2}\\&=\frac{1}{N_{D}}\sum_{i=1}^{N_{D}}||d_{i}-q_{i}||_{2}^{2}.\end{align*} $$
因此我们可以推导出梯度为：
$$ \frac{\partial E_{\mathrm{d e p t h}}(P)}{\partial P}=\frac{1}{N_{D}}\sum_{i=1}^{N_{D}}\frac{\partial||d_{i}-q_{i}||_{2}^{2}}{\partial P}. $$
设 $\mathcal{V}_n = (\mathcal{V}_{n,x}, \mathcal{V}_{n,y}, \mathcal{V}_{n,z}) \in \mathbb{R}^3$ 表示网格 $\mathcal{M}$ 中的第 n 个顶点，该网格共有 $N_V$ 个顶点。利用多元复合函数求导法则，我们得到：
$$ \frac{\partial||d-q||_{2}^{2}}{\partial P}=\sum_{n=1}^{N_{V}}\sum_{m\in\{x,y,z\}}\frac{\partial||d-q||_{2}^{2}}{\partial\mathcal{V}_{n,m}}\cdot\frac{\partial\mathcal{V}_{n,m}}{\partial P}. $$
结合公式 8 中 q 的重心表示形式，我们可以写成：
$$ \begin{align*}\|d-q\|_{2}^{2}&=||d-(u\cdot a+v\cdot b+w\cdot c)||_{2}^{2}\\&=(d_{x}-u\cdot a_{x}-v\cdot b_{x}-w\cdot c_{x})^{2}\\&\quad+(d_{y}-u\cdot a_{y}-v\cdot b_{y}-w\cdot c_{y})^{2}\\&\quad+(d_{z}-u\cdot a_{z}-v\cdot b_{z}-w\cdot c_{z})^{2}.\end{align*} $$
最终，借助公式 11 和 12，我们可以推导出关于顶点的梯度为：
$$ \begin{aligned}&\frac{\partial||d-q||_{2}^{2}}{\partial\mathcal{V}_{n,m}}=\\&\begin{cases}-2\cdot u\cdot(d_{x}-u\cdot a_{x}-v\cdot b_{x}-w\cdot c_{x})&if\mathcal{V}_{n,m}=a_{x},\\-2\cdot u\cdot(d_{y}-u\cdot a_{y}-v\cdot b_{y}-w\cdot c_{y})&if\mathcal{V}_{n,m}=a_{y},\\-2\cdot u\cdot(d_{z}-u\cdot a_{z}-v\cdot b_{z}-w\cdot c_{z})&if\mathcal{V}_{n,m}=a_{z},\\-2\cdot v\cdot(d_{x}-u\cdot a_{x}-v\cdot b_{x}-w\cdot c_{x})&if\mathcal{V}_{n,m}=b_{x},\\-2\cdot v\cdot(d_{y}-u\cdot a_{y}-v\cdot b_{y}-w\cdot c_{y})&if\mathcal{V}_{n,m}=b_{y},\\-2\cdot v\cdot(d_{z}-u\cdot a_{z}-v\cdot b_{z}-w\cdot c_{z})&if\mathcal{V}_{n,m}=b_{z},\\-2\cdot w\cdot(d_{x}-u\cdot a_{x}-v\cdot b_{x}-w\cdot c_{x})&if\mathcal{V}_{n,m}=c_{x},\\-2\cdot w\cdot(d_{y}-u\cdot a_{y}-v\cdot b_{y}-w\cdot c_{y})&if\mathcal{V}_{n,m}=c_{y},\\-2\cdot w\cdot(d_{z}-u\cdot a_{z}-v\cdot b_{z}-w\cdot c_{z})&if\mathcal{V}_{n,m}=c_{z},\\0&otherwise.\end{cases}\end{aligned} $$
由于我们也能在公式 11 中为刚体物体计算 $\partial\mathcal{V}_{n,m}/\partial P$，因此可以得到 $E_{\text{depth}}(P)$ 的梯度。实际上，只要 $E_{\text{depth}}(P)$ 是可微的，我们就能计算 $\mathcal{V}_{n,m}(P)$ 的梯度。这一结论既适用于 YCB 物体（刚体），也适用于 MANO 手部模型（可变形）。因此，我们既能用物体模型也能用手部模型来优化公式 7。与前向计算类似，反向传播过程也可以通过 GPU 实现并行处理。
#### B. DexYCB 的特性
#### B.1. 可视化
如需更好地查看数据与标注信息，请观看补充视频。$^{4}$
---
| thumb tip | index tip | middle tip | ring tip | pink tip |
| 4.27 $\pm$ 3.42 | 4.99 $\pm$ 3.67 | 4.33 $\pm$ 3.53 | 4.03 $\pm$ 3.56 | 3.90 $\pm$ 3.45 |
Table 8: Reprojection error (pixels) of the five finger tips.
Figure 6: Qualitative examples of annotations with high reprojection errors.
#### B.2. 3D 标注准确性分析
为了分析 DexYCB 中 3D 标注的准确性，我们计算了每张图像中真实 3D 关键点与人类标注的 2D 关键点之间的投影误差。表 8 报告了五个指尖的投影误差，平均误差均低于 5 像素。如图 6 所示，较大的误差通常源于手部快速移动的情况（上方），或是标注存在歧义的情况（下方：将无名指标注为小指）。
#### B.3. 手部姿态的多样性
DexYCB将以往的手部数据集在抓取多样性方面提升到了前所未有的规模。为了分析手部姿态的多样性，我们提取了每种手部姿态下MANO手模型的PCA表示，并利用前两个PCA系数在二维空间中可视化其分布。图7对比了DexYCB与HO-3D [^11]中的手部姿态分布。虽然DexYCB相比以往的数据集增加了物体数量以及每个物体对应的抓取次数，但其主要优势实际上体现在所捕获的抓取多样性上，这一点从手部姿态的分布中便可看出。这种多样性给手-物交互中的姿态估计以及机器人物体递送等下游应用带来了重大挑战。
##### B.4. 为何采用黑色背景？
DexYCB的重点在于抓取的多样性，而非背景的多样性。即便在受控环境下，捕捉手-物交互本身也具有挑战性。此外，在这方面DexYCB并不逊色于以往的数据集：FreiHAND [^50]采用了绿色背景；而HO
Figure 7: Distribution of hand pose represented by the first two MANO PCA coefficients.
Figure 8: The two captured scene backgrounds (top and bottom) in HO-3D [^11].
3D [^11]采用了更自然的背景，但多样性并未显著提升，因为HO-3D中选择的背景场景仍仅有两种（见图8）。
#### B.5. 为何在HO-3D上的泛化能力更强？
结合B.3和B.4可知，由于DexYCB在场景背景多样性相近的情况下具备更好的抓取多样性，因此其泛化能力更强。这也解释了为何在第4节的交叉数据集评估中DexYCB能展现出优势。
#### C. 代表性方法的基准测试 C.1. 实验设置细节
表9展示了四种评估设置下的统计数据：S0（默认设置）、S1（未见过的受试者）、S2（未见过的视角）以及S3（未见过的抓取场景）。第一行（“全部”）代表完整数据集，下方的每个子表分别展示了某一特定设置的统计数据，并按训练/验证/测试划分。对于每个划分，我们列出了受试者数量（“#sub”）、物体数量
---
| #sub | #obj | #view | #seq | #image | #obj anno | #hand anno |
| all | grasped | 6D eval | handover eval | all | right | left |
| all | 10 | 20 | 8 | 1,000 | 581,968 | 2,317,312 | 581,968 | - | - | 508,384 | 254,000 | 254,384 |
| SO (default) |
| train | 10 | 20 | 8 | 800 | 465,504 | 1,846,144 | 465,504 | - | - | 406,888 | 203,096 | 203,792 |
| val | 2 | 20 | 8 | 40 | 23,200 | 97,456 | 23,200 | - | - | 22,728 | 11,296 | 11,432 |
| test | 8 | 20 | 8 | 160 | 93,264 | 373,712 | 93,264 | 94,816 | 1,280 | 78,768 | 39,608 | 39,160 |
| S1 (unseen subjects) |
| train | 7 | 20 | 8 | 700 | 407,088 | 1,620,128 | 407,088 | - | - | 356,600 | 177,656 | 178,944 |
| val | 1 | 20 | 8 | 100 | 58,592 | 226,288 | 58,592 | - | - | 47,656 | 23,848 | 23,808 |
| test | 2 | 20 | 8 | 200 | 116,288 | 470,896 | 116,288 | 119,192 | 1,600 | 104,128 | 52,496 | 51,632 |
| S2 (unseen views) |
| train | 10 | 20 | 6 | 750 | 436,476 | 1,737,984 | 436,476 | - | - | 381,288 | 190,500 | 190,788 |
| val | 10 | 20 | 1 | 125 | 72,746 | 289,664 | 72,746 | - | - | 63,548 | 31,750 | 31,798 |
| test | 10 | 20 | 1 | 125 | 72,746 | 289,664 | 72,746 | 73,383 | 1,000 | 63,548 | 31,750 | 31,798 |
| S3 (unseen grasping) |
| train | 10 | 15 | 8 | 750 | 436,416 | 1,742,672 | 436,416 | - | - | 381,288 | 189,712 | 191,576 |
| val | 10 | 2 | 8 | 100 | 58,192 | 221,664 | 58,192 | - | - | 50,736 | 25,864 | 24,872 |
| test | 10 | 3 | 8 | 150 | 87,360 | 352,976 | 87,360 | 89,392 | 1,200 | 76,360 | 38,424 | 37,936 |
Table 9: Statistics of the four evaluation setups: S0 (default), S1 (unseen subjects), S2 (unseen views), and S3 (unseen grasping).
（“#obj”）、视角数量（“#view”）、序列数量（“#seq”）以及图像样本数量（“#image”）。
我们还列出了每个划分中的物体标注数量（“#obj anno”），包括全部物体集合（“all”）以及仅包含被抓取物体的子集（“grasped”）。对于6D物体姿态估计，我们遵循BOP挑战赛的规则，通过评估采样后的关键帧来加快评估速度，采用的采样因子为4。“6D eval”列列出了测试划分中关键帧内的物体标注数量。对于物体递送任务，测试图像需捕捉到手持物体、准备进行递送的人。因此我们使用每个视频的最后一帧作为测试样本，因为在采集过程中要求受试者在最后将物体递给对方面前的人。“handover eval”列列出了测试划分中用于递送评估的手持物体标注数量（也就是所有视频最后一帧的数量，因为每张图像都包含一个手持物体）。
最后，我们列出了每个划分中的手部标注数量（“#hand anno”），包括全部手部集合（“all”）以及仅包含右手（“right”）和左手（“left”）的子集。
#### C.2. 定性分析：2D物体与关键点检测
图11展示了在S0设置下使用Mask R-CNN（Detectron2）进行二维物体检测和关键点检测的定性结果[^15] [^43]。我们在最后两行中重点列出了一些失败案例。在许多失败情况中，由于其他物体的遮挡（如第5行第2列的“036_wood_block”）或手部交互（如第6行第1列的“021_bleach_cleanser”），会出现错误的物体检测结果。当手与物体交互时，我们还会看到手部关键点检测不准确的现象（如第6行第4列）。
#### C.3. 定性分析：6D物体姿态估计
图12展示了在S1设置下6D物体姿态估计的定性结果。第一行显示了输入的RGB图像，后续几行则展示了每种代表性方法所估计的姿态。我们根据估计的姿态渲染物体模型，并将其叠加在变暗的输入图像上。当物体被手部严重遮挡时，可见其挑战性（如PoseCNN [^44]（RGB）的最左侧示例）。我们还发现，像DeepIM [^20]和CosyPose [^19]这类基于精细化处理的方法，能够在其粗略估计输入（即PoseCNN（RGB））的基础上进一步优化，生成更精确的最终预测结果（如DeepIM（RGB）的左数第二个示例）。
### C.4. 定性分析：3D手部姿态估计
图13展示了在S0设置下使用Spurr等人提出的方法[^31]（HRNet32）进行3D手部姿态估计的定性结果。即使在物体遮挡的情况下，该方法也能生成合理的关节化姿态。这与表7中报告的定量结果一致，其中经过Procrustes对齐后的平均关节位置误差小于1厘米（6.83毫米）。如表中所指出的，主要的误差来源是平移、旋转和缩放（绝对误差），而非关节运动。不过，当物体紧密接触时，我们仍会看到局部关节运动的误差（如第2行第1列的中指），以及
---
| S0 (default) |
| PoseCNN [^44] | DeepIM [^20] | PoseRBPF [^5] | CosyPose [^19] |
| RGB | + depth ref | RGB | RGB-D | RGB | RGB-D | RGB |
| 002_master_chef_can | 47.47 | 51.04 | 63.53 | 71.69 | 36.70 | 55.23 | 78.97 |
| 003_cracker_box | 61.04 | 64.44 | 79.82 | 86.53 | 48.54 | 68.47 | 88.74 |
| 004_sugar_box | 45.11 | 49.90 | 59.30 | 70.98 | 34.44 | 58.95 | 78.45 |
| 005_tomato_soup_can | 36.68 | 46.23 | 52.84 | 61.28 | 29.54 | 42.60 | 57.89 |
| 006_mustard_bottle | 52.56 | 56.10 | 60.92 | 71.00 | 33.86 | 59.20 | 71.57 |
| 007_tuna_fish_can | 32.70 | 36.37 | 39.78 | 46.81 | 19.14 | 35.03 | 46.31 |
| 008_pudding_box | 44.24 | 51.72 | 56.55 | 68.26 | 29.64 | 52.34 | 68.52 |
| 009_gelatin_box | 46.62 | 56.15 | 62.49 | 72.60 | 32.08 | 49.88 | 70.38 |
| 010_potted_meat_can | 37.41 | 43.42 | 55.48 | 63.33 | 32.98 | 44.39 | 59.23 |
| 011_banana | 38.33 | 42.41 | 46.47 | 53.30 | 22.53 | 42.96 | 38.01 |
| 019_pitcher_base | 53.49 | 56.39 | 60.01 | 71.27 | 18.66 | 59.32 | 55.43 |
| 021_bleach_cleanser | 49.41 | 54.87 | 59.13 | 71.73 | 32.03 | 60.40 | 68.80 |
| 024_bowl | 57.42 | 58.90 | 63.92 | 73.15 | 34.35 | 61.07 | 77.12 |
| 025_mug | 40.68 | 43.52 | 49.17 | 58.27 | 21.88 | 37.69 | 54.70 |
| 035_power_drill | 47.93 | 51.59 | 62.10 | 72.30 | 37.54 | 58.86 | 52.02 |
| 036_wood_block | 40.11 | 46.76 | 51.77 | 68.28 | 25.29 | 53.23 | 68.46 |
| 037_scissors | 21.93 | 24.11 | 27.57 | 33.59 | 22.32 | 32.31 | 23.82 |
| 040_large_marker | 35.09 | 42.49 | 35.35 | 49.04 | 25.05 | 36.03 | 53.61 |
| 052_extra_large_clamp | 30.48 | 34.75 | 39.94 | 49.96 | 22.07 | 36.74 | 52.18 |
| 061_foam_brick | 12.80 | 15.96 | 17.50 | 25.82 | 18.33 | 35.10 | 34.34 |
| all | 41.65 | 46.40 | 52.25 | 62.03 | 28.90 | 49.09 | 59.99 |
Table 10: 6D object pose estimation results of representative approaches in AR (%) on S0.
手指被所持物体大量遮挡时的情况（如第6行第4列的食指）。
#### C.5. 完整的定量分析：6D物体姿态估计
对于6D物体姿态估计，由于表6中仅报告了S1上的基准测试结果，现在我们补充其他三种设置下的结果。表10、11和12分别展示了S0、S2和S3上的AR结果。总体而言，我们观察到了与S1上相似的趋势（见第5.3节），即DeepIM（RGBD）[^20]和CosyPose [^19]在估计精度方面是最具竞争力的两种方法。
#### D. 安全的人机物体交接
#### D.1. 预先生成的抓取方案
图14可视化了评估中使用的每个物体的100种抓取方案。这些抓取方案是从[^7]中针对YCB物体预先生成的抓取方案中采样得到的。需要注意的是，这里我们只展示了DexYCB中20个物体里的18个的抓取方案，因为剩下的两个物体（“002_master_chef_can”和“036_wood_block”）无法用所选的夹爪（即Franka Panda）实现可行的抓取。
### D.2. 额外的定性结果
图15展示了人向机器人传递物体时预测抓取结果的额外定性分析。有趣的是，像“003_cracker_box”这样的较大物体（第1行第1列）对姿态估计误差的容忍度较低，因为大多数成功的抓取要求夹爪完全张开且刚好能容纳该物体。因此，姿态估计中的微小误差就会导致夹爪与物体发生碰撞。同时，物体姿态估计误差也可能导致夹爪无法成功抓取，尤其是在较小物体上（例如第4行第3列中“037_scissors”的灰色抓取区域）。另一方面，由于遮挡导致手部未被识别或识别不完整，可能会引发夹爪夹伤手部的风险（例如第5行第3列中“061_foam_brick”的红色抓取区域）。
#### D.3. 完整的定量结果
由于图4仅展示了在S1数据集上的抓取生成结果，现在我们纳入其他三个数据集上的结果。图9分别展示了S0、S2和S3上的精度-覆盖率曲线。总体而言，与在S1上的情况类似，我们可以看到更精确的物体姿态估计会带来更好的抓取生成性能。
值得注意的是，尽管DeepIM（RGB-D）[^20]和CosyPose [^19]在6D物体姿态估计方面的性能非常接近（例如表6中分别为57.54和57.43 AR），但后者在抓取生成方面的表现明显更好（例如参见图4）。这是因为DeepIM（RGB-D）仅在一小部分物体上（例如S1中的7种物体）以较大优势超越CosyPose，从而保持了具有竞争力的平均召回率；而CosyPose在更多物体上（例如S1中的13种物体）均优于DeepIM（RGB-D）。这表明6D姿态指标上的更高性能并不必然意味着在物体传递等下游机器人任务中也能取得更好的表现。
---
| S2 (unseen views) |
| PoseCNN [^44] | DeepIM [^20] | PoseRBPF [^5] | CosyPose [^19] |
| RGB | + depth ref | RGB | RGB-D | RGB | RGB-D | RGB |
| 002_master_chef_can | 51.36 | 57.42 | 68.86 | 72.87 | 37.64 | 63.04 | 81.94 |
| 003_cracker_box | 60.65 | 67.45 | 84.10 | 89.34 | 54.25 | 74.63 | 90.66 |
| 004_sugar_box | 51.73 | 60.06 | 69.68 | 76.23 | 47.15 | 71.17 | 83.11 |
| 005_tomato_soup_can | 45.44 | 52.56 | 55.36 | 65.60 | 32.62 | 47.60 | 61.52 |
| 006_mustard_bottle | 51.96 | 58.77 | 64.04 | 71.64 | 40.81 | 65.02 | 73.55 |
| 007_tuna_fish_can | 31.96 | 39.20 | 44.21 | 51.25 | 26.09 | 44.43 | 55.65 |
| 008_pudding_box | 50.81 | 61.41 | 64.94 | 73.88 | 36.66 | 62.11 | 77.75 |
| 009_gelatin_box | 44.38 | 52.93 | 59.64 | 70.02 | 37.51 | 47.61 | 72.51 |
| 010_potted_meat_can | 45.08 | 54.94 | 66.58 | 70.41 | 40.13 | 51.26 | 68.60 |
| 011_banana | 44.42 | 49.09 | 48.16 | 58.30 | 24.85 | 49.07 | 42.50 |
| 019_pitcher_base | 53.51 | 56.73 | 61.36 | 71.98 | 26.37 | 62.30 | 56.77 |
| 021_bleach_cleanser | 56.03 | 62.24 | 66.20 | 76.89 | 38.13 | 67.77 | 73.86 |
| 024_bowl | 58.15 | 62.15 | 67.75 | 72.60 | 40.76 | 70.66 | 80.42 |
| 025_mug | 43.70 | 46.79 | 52.47 | 58.65 | 26.81 | 48.77 | 59.09 |
| 035_power_drill | 50.79 | 57.14 | 68.25 | 75.54 | 40.00 | 60.70 | 54.66 |
| 036_wood_block | 49.50 | 57.34 | 57.19 | 75.54 | 33.19 | 60.41 | 72.40 |
| 037_scissors | 25.90 | 28.21 | 31.42 | 36.68 | 27.86 | 39.38 | 26.90 |
| 040_large_marker | 38.19 | 48.47 | 38.21 | 56.44 | 27.65 | 35.72 | 58.60 |
| 052_extra_large_clamp | 34.42 | 40.21 | 42.24 | 52.72 | 28.25 | 46.33 | 58.73 |
| 061_foam_brick | 15.75 | 19.11 | 20.10 | 28.39 | 26.19 | 40.90 | 31.58 |
| all | 45.18 | 51.61 | 56.54 | 65.25 | 34.65 | 55.44 | 64.04 |
Table 11: 6D object pose estimation results of representative approaches in AR (%) on S2.
| S3 (unseen grasping) |
| PoseCNN [^44] | DeepIM [^20] | PoseRBPF [^5] | CosyPose [^19] |
| RGB | + depth ref | RGB | RGB-D | RGB | RGB-D | RGB |
| 002_master_chef_can | - | - | - | - | - | - | - |
| 003_cracker_box | - | - | - | - | - | - | - |
| 004_sugar_box | - | - | - | - | - | - | - |
| 005_tomato_soup_can | - | - | - | - | - | - | - |
| 006_mustard_bottle | - | - | - | - | - | - | - |
| 007_tuna_fish_can | - | - | - | - | - | - | - |
| 008_pudding_box | - | - | - | - | - | - | - |
| 009_gelatin_box | 33.07 | 43.43 | 47.68 | 54.13 | 29.95 | 47.71 | 58.29 |
| 010_potted_meat_can | - | - | - | - | - | - | - |
| 011_banana | - | - | - | - | - | - | - |
| 019_pitcher_base | - | - | - | - | - | - | - |
| 021_bleach_cleanser | 38.52 | 45.32 | 48.32 | 60.18 | 25.35 | 58.31 | 63.04 |
| 024_bowl | - | - | - | - | - | - | - |
| 025_mug | - | - | - | - | - | - | - |
| 035_power_drill | - | - | - | - | - | - | - |
| 036_wood_block | 40.53 | 48.17 | 50.54 | 65.74 | 27.30 | 55.19 | 65.31 |
| 037_scissors | - | - | - | - | - | - | - |
| 040_large_marker | - | - | - | - | - | - | - |
| 052_extra_large_clamp | - | - | - | - | - | - | - |
| 061_foam_brick | - | - | - | - | - | - | - |
| all | 37.41 | 45.66 | 48.86 | 60.07 | 27.52 | 53.78 | 62.25 |
Table 12: 6D object pose estimation results of representative approaches in AR (%) on S3.
AR指标的高性能并不一定等同于在物体传递等下游机器人任务中表现更佳。
### E. 自然场景图像上的实验结果
由于DexYCB数据集是在背景固定的受控实验室环境中采集的，基于该数据集训练的模型…
---
S0 (default)
S2 (unseen views)
S3 (unseen grasping)
Figure 9: Precision-coverage curves for grasp generation on S0, S2, and S3.
DexYCB的RGB图像预计无法很好地泛化到自然场景图像上。我们测试了在DexYCB上训练的模型在COCO图像上的表现[^21]，果然观察到了性能下降现象。图10展示了2D手部及关键点检测的定性示例。可以看出，检测器经常产生误检（左上）、漏检（中上）以及不准确的关键点检测结果（右上）。将DexYCB与其他自然场景数据集结合用于训练，将会是一个值得进一步探索的方向。
---
Figure 10: Samples of 2D hand and keypoint detection on COCO.
---
Figure 11: Qualitative results of 2D object and keypoint detection with Mask R-CNN (Detectron2) [^15] [^43]. The last two rows highlight failure examples.
---
Figure 12: Qualitative results of 6D object pose estimation. We render object models given the estimated poses on a darkened input image.
---
Figure 13: Qualitative results of the predicted 3D hand pose using Spurr et al.'s method [^31] (HRNet32). For each image we visualize 3D pose from both front and side views.
---
Figure 14: The 100 pre-generated grasps for each object.
---
Figure 15: Additional qualitative results of the predicted grasps. Green ones denote those covering successful grasps, red ones denote those collided with the object or hand, and gray ones are failures not covering any successful grasps in the reference set. Predicted object poses are visualized by textured models and hand segmentations are highlighted by blue masks. Ground-truth objects and hands are shown in translucent white and brown meshes.