# ArtiBoost：通过在线探索与合成提升关节型三维手-物体姿态估计性能

 $^{1,2}$杨立新 $^{\star}$，$^{1}$李凯琳 $^{\star}$，$^{1}$詹欣宇，$^{1}$吕俊，$^{1,2}$徐文强，$^{1}$李杰峰，$^{1,2}$卢泽武 $^{\dagger}$

 $^{1}$上海交通大学，中国

 $^{2}$上海人工智能研究院，中国

{siriusyang, kailinli, kelvin34501, LyuJune_SJTU, vinjohn, ljf_likit, lucewu}@sjtu.edu.cn

## 摘要

从单张RGB图像中估计关节型三维手-物体姿态是一项极具歧义且极具挑战性的任务，该任务需要包含多样化手部姿态、物体类型和相机视角的大规模数据集。大多数真实世界的数据集缺乏这类多样性。相比之下，数据合成可以轻松单独保证这些多样性。然而，构建既合理又多样的手-物体交互数据，以及高效地从海量合成数据中学习，仍然颇具挑战性。为解决上述问题，我们提出了ArtiBoost——一种轻量级的在线数据增强方法。ArtiBoost通过在复合手-物体配置与视角空间（CCV-space）中采样，能够覆盖多样化的手-物体姿态和相机视角；同时它还能通过损失反馈和样本重加权，自适应地丰富当前难以区分的样本。ArtiBoost在学习流程中交替进行数据探索与合成，并将这些合成数据混入真实世界的源数据进行训练。我们将ArtiBoost应用于简单的学习基线网络，在多个手-物体基准测试中均观察到了性能的提升。我们的模型和代码可在 <https://github.com/lixiny/ArtiBoost> 获取。

### 1. 引言

关节型物体，如人手、人体以及联动机构，在我们的日常生活中随处可见。它们的关节、连杆和可动部件体现了关节型物体的功能。从图像或视频序列中提取它们的瞬时配置，也就是通常所说的姿态估计 [^8] [^36] [^37]，能够为机器人技术和增强现实领域的诸多下游任务提供支持。多物体关节的姿态估计尤其具有挑战性，因为它会受到严重的自身遮挡或相互遮挡的影响。

物体类型 | 复合手-物体姿态 | 相机视角

![Image](images/ef5eba48f4795fda80ceceabb361f0cad3a78620fa4f98b571160974120db37e.jpg)

<div style="text-align: center;">Figure 1. An intuitive illustration of the CCV-space.</div>

在本研究中，我们重点关注某一类多物体关节——手与物体在交互过程中产生的复合姿态[5, 11, 18, 20, 23–25, 29, 31, 42, 68]。手是人们在现实世界中操纵物体的主要工具，手-物体姿态估计（HOPE）任务对于理解人类行为具有巨大潜力 [^13] [^17] [^35] [^45] [^60]。

随着自由度（DoF）的增加，用于覆盖姿态分布的数据量也呈指数级增长。与最常见的关节体相比，人手有16个关节，约21个自由度。为HOPE任务准备如此多样化的训练数据极具挑战性。现实世界的录制和标注方法[^3] [^6] [^13] [^20]往往会限制姿态的多样性。例如，基于多视角的方法[^3] [^20]要求受试者在视频序列中保持固定的抓取姿态。因此，其录制过程效率低下，且姿态多样性不足。相比之下，数据合成既高效又无需标注，已被广泛应用于单物体N维姿态估计[^9] [^14] [^41] [^62] [^64] [^70]。然而，这些方法无法适用于多物体关节运动场景，因为此类场景中姿态会受到相互接触和遮挡的限制。用于HOPE任务的数据合成要求我们模拟虚拟的手-物交互（抓取）过程，以匹配现实世界中相应的姿态分布。传统方法要么手动调整手模进行抓取[^10] [^50] [^51]，要么将抓取合成工作交给外部工具处理[^2] [^25] [^33]。

---

货架抓取模拟器：GraspIt [^47]。不过，手动方法难以大规模生成数据，而模拟方法又会牺牲手姿态的多样性。GraspIt优化的依据是人工设定的抓取指标[^12]，这些指标并不能反映21自由度灵巧手的姿态分布。此外，即便有大量的合成抓取样本，也并非每种手-物配置都对训练有帮助。例如，相似的配置可能已被多次观察到，这些容易识别的样本出现频率也会很高。因此，在训练期间不与模型反复交互的离线数据合成方式，对于学习任务而言仍被认为效率低下。

为解决上述问题，我们提出了一种在线数据增强方法ArtiBoost，通过探索与合成两个步骤有效提升关节手-物姿态估计的效果。首先，为了描述手-物交互现象，我们设计了一个三维离散空间：复合手-物配置与视角空间（CCV空间），其中物体类型、手姿态和视角是其组成部分。其次，为了在CCV空间中构建有效且多样的手-物姿态，我们设计了一种基于拟合的抓取合成方法，该方法利用手与物体顶点间的接触约束[^68]来模拟MANO手[^52]抓取给定物体的过程。CCV空间建立之后，接下来我们将介绍ArtiBoost如何增强HOPE任务。

在探索阶段，ArtiBoost会遍历CCV空间，并从中采样不同的手-物体-视角三元组。随后在合成阶段，会将三元组中的手和物体按照该视角渲染到图像上。这些合成图像会与真实世界的源图像分批混合，用于训练HOPE模型。之后，训练损失会被反馈给探索阶段，用以指导其对当前难以区分的三元组重新分配权重，以便进行下一轮采样。通过训练循环中的这种交互机制，ArtiBoost能够自适应地调整采样权重，为当前的HOPE模型筛选出更多难以区分的数据。随着HOPE模型性能的提升，它也能持续推动ArtiBoost不断进化。ArtiBoost具有模型无关性，这意味着它可以嵌入到任何现代CNN架构中。在本文中，我们将ArtiBoost分别嵌入到基于分类的（如[^56]）和基于回归的（如[^1]）姿态估计模型中，以验证其有效性。在评估环节，我们报告了这些模型在两个极具挑战性的HOPE基准测试集：HO3D（v1-v3）[19–21]和DexYCB [^6]上的表现。无需花哨的设计，这些简单的基线模型就能超越以往最先进方法的结果。

在本文中，我们提出通过增强训练数据中潜在姿态分布的多样性来提升HOPE任务的性能。我们的贡献总结如下：（1）为了描述复合的手-物体-视角姿态分布，我们设计了CCV空间。（2）为解决以往数据集中此类姿态稀缺的问题，我们设计了一种基于接触引导的抓取合成方法，模拟出有效且多样的手-物体姿态来填充CCV空间。（3）为了帮助HOPE模型高效拟合潜在的姿态分布，我们将数据合成与学习流程并行化，利用训练反馈并采用样本重加权策略。最后，我们开展了大量实验来验证我们的技术贡献（第4.2节、4.3节），并揭示了其潜在应用（第4.4节）。

### 2. 相关工作

手-物体姿态估计。由于部分HOPE任务与手部姿态估计（HPE）任务密切相关[^63] [^65]，我们首先回顾几种HPE方法。根据其输出形式，基于单RGB图像的3D HPE可分为三类：图像到姿态（I2P）[^67]、图像到几何（I2G）[^8] [^59]以及混合方法[^69]。I2P仅关注关节的姿态，而I2G则致力于恢复完整的手部几何结构（姿态和形状）。同时，近期的研究[^36] [^66] [^69]表明，通过神经逆运动学（IK）可将I2G与I2P相结合。接下来，我们探讨几种HOPE方法。在基于学习的方法中，有些旨在用统一模型预测手-物体姿态[^23] [^42]，而另一些则侧重于基于接触建模恢复手-物体交互关系[^18] [^68]。至于非学习方法，Hasson等人[^24]和Cao等人[^5]提出聚合来自物体检测、HPE和实例分割的视觉线索，以获取最优的手-物体配置。本文采用了两种简单的学习基线网络，分别对应两种范式：分类（将关节表示为3D热图）和回归（从姿态和形状预测中获取关节）。结果表明，借助ArtiBoost，即使是简单的基线网络也能超越以往复杂的CNN设计。

姿态估计的数据合成。利用合成数据来增加姿态变体，这一方法在单物体N维姿态估计任务中已被广泛采用，例如人体姿态[^7] [^62] [^64]、手部姿态[^9] [^14] [^70]、6D物体姿态[^32] [^57] [^61]以及7D关节物体姿态[^37] [^41]等。这些方法利用了关节物体的运动学模型，驱动受约束的关节运动，并从不同视角渲染当前模型。与单物体姿态估计不同，HOPE（多物体）任务的数据合成不仅要考虑关节限制，还要遵循由相互接触和遮挡带来的物理约束。在复合手-物姿态合成方面，文献中涵盖了三种类型：手动标注方法[^10] [^50] [^51]通过调整手部模型来实现抓取；基于度量指标的方法[^2] [^25] [^33]利用抓取模拟器[^47]进行模拟。

---

![Image](images/e2c97ec0296a7a57f44e2ede3d311d5cb735a14a0d65cc70ff0795d0095bb416.jpg)

<div style="text-align: center;">Figure 2. Illustration of the integrated pipeline. ArtiBoost can be plugged into an arbitrary HOPE framework by modifying the current data loader.</div>

符合物理抓取度量的手部姿态；数据驱动的方法[^30] [^31] [^58]训练条件变分自编码器来生成新的抓取姿势。本文提出了一种自动引导接触的优化方法，用于构建有效且多样的手-物交互姿态。

难例挖掘，也称为“难例/负样本挖掘”，已被证明在各类计算机视觉任务中效果显著，例如物体检测[^39] [^54]、行人重识别[^27]、头部姿态估计[^34]、人脸识别[^53]以及深度度量学习[^15] [^55]。一般来说，难例挖掘的基本理念是：若某个数据样本在特定度量指标下的预测误差较大，则说明该数据样本未被学习算法充分掌握。将这类数据样本加入训练批次有助于加快学习收敛速度。近期的研究利用生成对抗模型[^16]根据误差反馈训练来获取更难的样本，但为确保样本的有效性，需在对抗部分投入大量精力。本文采用了一种简单却有效的样本重加权策略，自适应地选取那些难以区分的训练三元组（手-物-视角）进行训练。

### 3. 方法

概述。本节描述了ArtiBoost中的探索与合成步骤，并详细阐述了HOPE任务的学习框架。在探索步骤中，我们介绍了复合配置与视角空间（CCV-space），这是ArtiBoost的核心组件。

问题定义。给定一张观测到单手与某物体交互的输入图像$\mathbf{I} \in \mathbb{R}^{H \times W \times 3}$，HOPE的目标是训练一个神经网络，以预测3D手部关节位置：$\mathbf{P}_h = \{\mathbf{p}_j\}_{j=1}^J$、物体质心位置：$\mathbf{p}_o$以及物体旋转角度：$\mathbf{r}_o \in \mathfrak{so}(3)$，其中$\mathbf{p}_j, \mathbf{p}_o \in \mathbb{R}^3$、$J = 21$和$H \times W$分别表示分辨率。

为了训练神经网络，我们首先准备一个现实世界的源数据集：$\mathcal{D}_{real}$。我们采用ArtiBoost算法来处理$\mathcal{D}_{real}$。在训练过程中，ArtiBoost会根据权重图M，从CCV空间C中迭代采样（无放回）手-物体-视角三元组。M中的每个条目对应C中的某个三元组，该条目中的数值则代表该三元组的采样权重。同时，所选的三元组会在合成步骤中被渲染成一批合成图像。这些合成图像会与来自$\mathcal{D}_{real}$的源图像混合。之后，混合后的批次数据会被输入到HOPE学习框架中，以完成前向传播和反向传播。当一个训练周期结束后，ArtiBoost会根据损失值对M中的样本重新加权，然后等待下一轮训练。整个流程如图2所示。

#### 3.1. CCV空间中的在线探索

## 复合配置与视角空间

HOPE问题通常涉及某种特定手-物体交互配置，且该配置是从特定视角观察到的。因此，HOPE的输入域可缩减为三个主要维度：物体类型、手部姿态和视角方向。需要注意的是，物体类型和手部姿态这两个维度并非彼此独立。对于给定的物体模型，与其交互的手部姿态取决于该模型的几何结构。如图1所示，我们将输入域的离散表示定义为CCV空间：$\mathcal{S} = \{(n_o, n_p, n_v) \in \mathbb{N}_+\mid n_o \leq N_o, n_p \leq N_p, n_v \leq N_v\}$，其中$N_o, N_p$和$N_v$分别代表物体类型、离散姿态和视角的数量。$(i, j, k)$在$\mathcal{S}$中所代表的含义是：第i个物体与第j个手部姿态之间的交互在第k个相机视角下被观察到。接下来，我们将依次介绍CCV空间中的各个组成部分，即：手部配置空间（C空间）、复合手-物体配置空间（CC空间）以及视角空间（V空间）。

有效手部姿态的C空间。为了表示手部，我们采用了参数化蒙皮手部模型MANO [^52]，该模型通过16个关节的旋转$\theta \in \mathbb{R}^{16 \times 3}$和形状参数$\beta \in \mathbb{R}^{10}$来驱动可变形手部网格。考虑到旋转采用的是轴角形式，MANO拥有48个自由度，这一数值超出了有效手部姿态所允许的自由度范围[^38]。对这48个自由度的旋转进行拟合或插值可能会得到异常的手部姿态，这种姿态不利于HOPE网络的训练。此外，原始的MANO坐标系与手部运动树的方向并不同轴，

---

![Image](images/a94c749f74ae10c8c674452244878e6fdbb5f2525112f424241ce3e5f1a06871.jpg)

<div style="text-align: center;">Figure 3. Offset surface.</div>

![Image](images/9a8ae085a4b5dec6970ddcf6d23541ac9b17056470c39654cae682b482647ecd.jpg)

<div style="text-align: center;">Figure 4. Pre-grasping hand pose.</div>

![Image](images/839b1a797a9f529d0251b844e7615e06bf9e3f0c8c86b4151f8dde3cf1883855.jpg)

因此旋转轴至少会与MANO的两个正交轴重合。这一特性使得姿态插值变得更加困难。在本文中，我们采用了基于扭转-伸展-弯曲坐标系的轴适配方法，该方法最初由[^68]提出。借助这种方法，我们可以将每个关节处的手部姿态描述为沿指定坐标轴（例如弯曲轴）的旋转角度。通过这种轴适配方式，我们设计了三种用于描述有效手部姿态C空间的协议：

ii). 对于五根手指而言，其近节关节和远节关节的弯曲姿态是相互关联且相互依赖的；而五个掌骨关节处的弯曲姿态则与其他关节无关。

i). 根据手部解剖结构，手部运动链中的所有非掌骨关节只能呈现弯曲姿态。而五个掌骨关节则只能同时呈现弯曲和外展姿态。任何沿指向方向扭转的动作，或非掌骨关节处的外展动作都是被禁止的。

iii). 只要不违背规则i)和ii)，各个手指的姿态是相互独立的。

基于这些规则，手部C空间中的总自由度数为21（五个手指各拥有1个外展自由度和2个独立的弯曲自由度，加上腕部的6个自由度）。因此，我们只需描述15个关节沿指定轴的旋转角度：$\theta_i^{bend}$ 或 $\theta_i^{splay}$，以及腕部姿态：$\xi_w \in \mathfrak{se}(3)$，就能完整描述整个手部的姿态。这些规则不仅保证了手部姿态的多样性和合法性，还确保了这些姿态在视觉上的合理性。在构建出合法的C空间后，我们接下来将探讨用于描述手-物体交互的复合空间。

<div style="text-align: center;">Figure 5. Fingertip and its contact point.</div>

手-物体交互的复合C空间。我们首先将手-物体“交互”定义为满足以下条件的场景：i) 拇指和至少一个或多个手指需与物体表面接触[^58]；ii) 手部模型与物体模型之间不能相互穿插。由于手部的交互姿态高度依赖于其接近方向和物体的几何形状，因此手C空间中只有一小部分姿态适用于交互目的。因此，我们不再在整个手C空间中搜索有效的交互姿态，而是转而探索预定义的手-物体姿态离散空间。我们将其称为复合C空间（CC空间）。CC空间的目标是增加针对特定物体的交互姿态多样性。为此，我们利用接触约束来优化抓取方式。该方法分为三个步骤。

- 1). 首先，给定物体模型后，我们在其原始表面外侧构建一个偏移曲面，并在该偏移曲面上均匀采样$N_w$个点（见图3）。这些点将用于控制腕部位置。对于每个点：$\mathbf{p}_w$，我们查找其在物体表面上的最近顶点：$\mathbf{v}_o$。向量：$(\mathbf{v}_o - \mathbf{p}_w)$代表了手向物体靠近的方向。接着，我们构建一个模仿平行夹爪放松状态的抓握手部姿态（见图4）。这种预抓取手部被放置在每个$\mathbf{p}_w$处作为交互起点。$\mathbf{p}_w$的接近方向决定了腕部的移动方向。基于某个特定的$\mathbf{p}_w$，我们将$\mathbf{v}_o$与手指能触及的最远顶点之间的区域定义为物体的可接触区域。

- 2). 其次，为了生成交互姿态，我们将指尖贴合到从可接触区域中选出的接触点$v_c$上（见图5）。对于每个$\mathbf{p}_w$，我们生成$N_p^w$种交互手部姿态。为了增加多样性，我们在拟合过程中引入了多种随机性：i) 我们随机选择拇指和N个（$1 \leq N \leq 4$）其他手指参与拟合。只有被选中的手指才会参与拟合过程。ii) 对于每根被选中的手指，我们在可接触区域内设定一个随机的最小触及半径$r_c$。此时，被选中的指尖必须触及满足以下条件的接触点$v_c$：i) $\|\mathbf{v}_c - \mathbf{p}_w\|_2 \geq r_c$；ii) $\min_{v_c} \|\mathbf{v}_c - \mathbf{p}_f\|_2$，其中$\mathbf{p}_f$为被选中的指尖点。每根被选中的指尖与某个特定的接触点配对后，我们便开始进行拟合过程。

• 3). 在拟合过程中，我们采用基于锚点的手部模型以及CPF中定义的基于接触的成本函数[^68]。拟合过程旨在最小化由未连接的指尖和接触点所产生的成本：指尖上的未连接锚点$p_f$会被吸引到物体在对应的接触点$v_c$处，而相交的锚点则会被推开。手部姿态的拟合仅在手部C空间中预定义的自由度范围内进行，从而确保生成有效的手部姿态。

视角空间。对于相机视角，我们根据球面均匀采样$N_{v}$个视角方向$n_{v}$。

---

采样策略[^44]：

 $$ \mathbf{n}_{v}=(\sqrt{1-u^{2}}\cos(\phi),\sqrt{1-u^{2}}\sin(\phi),u)^{\mathsf{T}} $$

其中$u \sim \mathcal{U}[-1,1]$和$\phi \sim \mathcal{U}[0,2\pi]$，此处$\mathcal{U}$代表均匀分布。

CCV空间的实现。我们对每个物体迭代拟合300种不同的交互姿态。由于优化过程可能会产生局部最小值，我们会手动剔除那些手部与物体之间存在严重相互穿透现象的姿态$\mathbf{i}$，或是形成不自然抓取或交互方式的姿态$\mathbf{ii}$。随后，我们为每个给定物体选取最多100种交互手部姿态。尽管优化过程可能生成无限多的交互姿态，但我们发现每个物体100种姿态便足以提升当前HOPE任务的性能。在视角空间中，我们选择$N_u = 12$和$N_\phi = 24$，它们共包含$N_v = N_u \times N_\phi = 288$个不同的视角。不同的（手部-物体-视角）三元组总数取决于基准测试数据集。例如，针对DexYCB数据集（包含20个YCB物体）的三元组数量为$N_o \times N_p \times N_v = 20 \times 100 \times 288 = 576,000$。

加权引导采样策略。在文献中，合成数据集[^25] [^48] [^70]广泛采用均匀采样策略。然而，CCV空间中的每个样本对网络的作用并不相同。由于我们希望那些难以区分的样本能更频繁地出现，因此我们构建了权重图$\mathbf{M} \in \mathbb{R}^{N_o \times N_p \times N_v}$来指导探索阶段的采样。在$\mathbf{M}$中，每个元素$w_i$对应CCV空间中相应项的采样权重。某个项被采样的概率$p_i$为$p_i = w_i / \sum w_j$。随后我们从多项分布$N_{syn}$中抽取$\{p_i \mid p_i = w_i / \sum w_j; \; w_i, w_j \in \mathbf{M}\}$个样本。根据这一策略，当我们从损失值中获得反馈时，会增大$\mathbf{M}$中那些难以区分样本的权重，同时减小那些易于区分样本的权重。

样本权重重分配。在一个训练周期结束后，ArtiBoost会选出那些难以区分的样本，并重新调整它们的采样权重。我们考察了一种基于百分位数的权重重分配策略。在权重重分配阶段，每个合成样本都会被赋予一个权重更新值。这些更新值会与M中的原始采样权重相乘。直观来说，我们希望那些难以区分的样本能拥有较高的权重。在基于百分位数的权重重分配策略中，我们根据整个训练周期内合成样本的关节位置误差均值（MPJPE）的百分位数来计算权重更新值。对于第i个样本，给定其MPJPE值为$e_i$，百分位数为$q_i = \frac{e_{\max - e_i}}{e_{\max - e_{\min}}}$，其权重更新值可通过一个简单的倒数启发式公式得出：$\delta w_i = \frac{1}{q_i + 0.5}$。如果样本i在当前训练周期内的MPJPE值$e_{\max}$最大，那么其在M中的原始采样权重将会乘以一个最大的更新因子$\delta w_i = 2$；若i的MPJPE值$e_{\min}$最小，则其更新因子将为$\delta w_i = 2/3$。我们还会将更新后的M值限制在0.1到2.0之间，以避免出现过度不平衡的情况。

### 3.2. HOPE任务的在线合成

在训练过程中，我们会将采样的手-物体-视角三元组合成为RGB图像。这种合成过程是针对特定任务的，因为自适应采样会根据下游任务的需求来决定其组成方式。接下来，我们将介绍在线合成步骤中的相关特性。

对三元组的扰动。为了增加姿态分布的方差，进而提升网络的泛化能力，我们在渲染图像前会对手部姿态和视角方向施加扰动。

• 对于手部姿态，我们放宽了手空间协议中第ii条的限制，现在每个手指的远端和近端关节的弯曲角度可以独立地受到扰动。接着，我们对15个弯曲角度分别施加高斯扰动$\mathcal{N}(0, \sigma_1^2)$。其次，对于张开角度的扰动，我们在五个掌骨关节上施加$\mathcal{N}(0, \sigma_2^2)$。我们通过实验将$\sigma_1 = 3$和$\sigma_2 = 1.5$设定为相应的度数。需要注意的是，这种扰动仍受限于协议第i条和第iii条的规定，以确保手部姿态的有效性和抓握能力。不过，这些扰动可能会导致手部与物体模型之间的相互穿透现象。因此，我们会通过GrabNet中的RefineNet模块[^58]对受扰动的手部-物体姿态进行进一步处理，该模块能够减轻相互穿透现象。除了手部姿态外，手部形状也会影响与物体的交互。因此，我们从分布$\beta \in \mathbb{R}^{10}$中采样随机的MANO形状参数($\mathcal{N}(0, 0.5)$)，以构建最终的手部模型。

• 对于视角方向，我们分别对仰角距离u、方位角$\mathcal{U}(-\delta u,+\delta u)$以及相机平面旋转施加三种扰动：$\mathcal{U}(-\delta\phi,+\delta\phi)$、$\mathcal{U}(0,2\pi)$和$\phi$。在所有实验中，我们通过实验将$\delta u=0.05$和$\delta\phi=7.5$设定为相应的度数。

肤色与纹理。我们采用了最先进的手部肤色与纹理模型：HTML [^49]，以使渲染图像具有逼真的外观。HTML将手部的肤色与纹理表示为PCA空间中的连续参数。在经过优化的手部模型进入渲染流程前，我们会为其随机分配一张HTML纹理图。我们还发现，省略HTML中的阴影去除操作能够生成视觉上更合理的图像。

渲染过程：我们采用了现成的渲染软件PyRender [^46]，它集成在ArtiBoost中。交互式的手部和物体属于前景，而COCO [^40]数据集中的图像则作为背景。该流程能够支持将带有纹理的逼真手部与物体模型渲染到$224 \times 224$画布上，在每张显卡（Titan X）上可达到120帧/秒的速率，这足以让我们并行执行渲染与训练任务。

---

![Image](images/91bdb717db13214fc83b23dcf9874cbb8aa2db199a80565a31dc5f3aa8d9f344.jpg)

<div style="text-align: center;">Figure 6. The rendered images during online synthesis.</div>

合成数据由四个定制化的元素组成，即手部-物体-视角三元组、背景、肤色以及纹理。我们在图6中展示了几张合成图像。

#### 3.3. 学习框架

我们采用了两种简单的基线网络：一种是基于分类的（Clas），另一种是基于回归的（Reg）。在这两种网络中，我们都以ResNet-34 [^26]作为骨干网络。在Clas网络中，我们使用两层反卷积层来生成22个3D热图，用以表示22个关节（21个手部关节和1个物体质心）的位置概率。这22个3D热图定义在受限的uvd空间中，其中uv代表像素坐标，d则表示相对于腕部的深度值。随后，我们利用软argmax算子将3D热图转换为关节的uvd坐标。最后，通过相机内参K和腕部位置$\mathbf{P}_h$，将关节的uvd坐标转换为相机空间中的3D位置：$\mathbf{p}_o$、$\mathbf{p}_w$。在Reg网络中，我们使用多层感知机（MLP）来回归MANO参数：$\theta$、$\beta$以及相对于腕部的物体质心w、$\mathbf{p}_o$。接着，通过MANO模型将$\theta$、$\beta$转换为相对于腕部的手部关节：$w\mathbf{P}_h$。最终，通过将已知的腕部位置$w\mathbf{P}_h$加到$w\mathbf{p}_o$和$\mathbf{p}_w$上，即可将其转换到相机空间。Clas和Reg网络都采用另一个MLP分支来预测物体旋转角度：$\mathbf{r}_o$。详细实现见\textit{附录}。

损失函数：用于训练HOPE网络的损失函数包含四项。

首先，我们对全部22个关节（21个手部关节和1个物体质心）的位置误差进行惩罚，采用$\ell2$距离来衡量：

 $$ \mathcal{L}_{loc}=\frac{1}{22}\sum_{i=1}^{22}\left\|\mathbf{p}_{i}-\hat{\mathbf{p}}_{i}\right\|_{2}^{2} $$

其中$\hat{p}_{i}$表示关节的真实位置。

其次，我们对物体旋转误差进行惩罚，采用$\ell2$距离，在八个最贴近边界框的角点处进行计算：

 $$ \mathcal{L}_{c o r}=\frac{1}{8}\sum_{i=1}^{8}\Big\|\exp(\mathbf{r}_{o})*\mathbf{\bar{c}}_{i}-\mathbf{\hat{c}}_{i}\Big\|_{2}^{2} $$

其中$\bar{c}_i$和$\hat{c}_i$分别是物体在标准视图和相机视图下的角点，$\exp(\mathbf{r}_o)$为预测的旋转结果。

第三，我们采用序数关系损失来修正2D-3D对齐误差。$\mathcal{L}_{ord}$用于检测一对关节之间的深度关系：其中一个来自21个手部关节，另一个来自8个物体角点。如果第i个手部关节：$\mathbf{p}_i$与第j个角点$\mathbf{c}_j$之间的预测深度关系与其真实关系$\mathbb{1}_{i,j}^{ord}$不一致，我们便对其进行惩罚。$\mathcal{L}_{ord}$的公式如下：

 $$ \mathcal{L}_{o r d}=\sum_{j=1}^{8}\sum_{i=1}^{J=21}\mathbb{1}_{i,j}^{o r d}*\left|\left(\mathbf{p}_{i}-\mathbf{c}_{j}\right)\cdot\mathbf{n}_{\perp}\right| $$

其中n $\perp$表示视点方向。

第四，我们借鉴了Hampali等人提出的对称感知物体角点损失：$\mathcal{L}_{sym}$ [^22]：

 $$ \mathcal{L}_{s y m}=\min_{\mathbf{R}\in\mathcal{S}}\frac{1}{8}\sum_{i=1}^{8}\left\|\exp(\mathbf{r}_{o})*\mathbf{\bar{c}}_{i}-\exp(\mathbf{\hat{r}}_{o})\mathbf{R}*\mathbf{\bar{c}}_{i}\right\|_{2}^{2} $$

其中$\exp(\hat{\mathbf{r}}_{o})$表示物体的真实旋转矩阵。对于一个给定的物体，集合S包含了基于该物体预定义对称轴的所有有效旋转矩阵。

总体损失是这四项的加权和：

 $$ \mathcal{L}_{H O P E}=\mathcal{L}_{l o c}+\lambda_{1}\mathcal{L}_{c o r}+\lambda_{2}\mathcal{L}_{o r d}+\lambda_{3}\mathcal{L}_{s y m} $$

其中，$\lambda_{1\sim3}$ 为超参数。

### 4. 实验与结果

#### 4.1. 数据集与评价指标

数据集。我们在三个手部-物体数据集上评估我们的方法：FHAB [^13]、HO3D [^20] 和 DexYCB [^6]。FHAB包含2万条手部操作物体的样本。我们遵循Tekin等人[^60]提出的“动作”划分方式，其中包含10503个训练样本和10998个测试样本。FHAB数据集中的手部姿态和视角数量较少，我们发现其训练集足以满足神经网络的训练需求，因此仅用FHAB来验证该学习框架的可行性。HO3D是一个包含大量手部-物体交互图像的数据集，HO3D测试集的评估在在线服务器上进行。我们还报告了最新发布的HO3Dv3 [^21]上的实验结果，该版本采用了不同的训练/测试划分方式。DexYCB包含582K帧关于20种YCB物体的抓取图像。我们仅使用官方提供的“S0”划分来评估右手姿态，并过滤掉手部与物体间最小距离大于5厘米的帧，以确保出现合理的手部-物体交互场景。

评价指标。对于手部姿态，我们采用腕部对齐坐标系下的平均关节位置误差（MPJPE）作为评价指标。对于物体姿态，文献中有两种标准评价指标：平均角点位置误差（MPCPE）和最大对称感知表面距离（MSSD）。前者MPCPE直接衡量物体的唯一姿态；但由于部分物体具有对称性或旋转不变性，且物体常被手部严重遮挡，直接测量物体的绝对唯一姿态有时并不合理。MSSD则衡量当前物体姿态与其所有旋转不变对应姿态之间的最小差异。本文中，我们报告不同训练方案下物体的MPCPE和MSSD数值。

---

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Method</td><td style='text-align: center; word-wrap: break-word;'>MPJPE</td><td style='text-align: center; word-wrap: break-word;'>MPCPE</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Hasson et al. [^23]</td><td style='text-align: center; word-wrap: break-word;'>11.33</td><td style='text-align: center; word-wrap: break-word;'>28.42</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Our Clas w/o $\mathcal{L}_{ord}$</td><td style='text-align: center; word-wrap: break-word;'>8.71</td><td style='text-align: center; word-wrap: break-word;'>18.64</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Our Clas</td><td style='text-align: center; word-wrap: break-word;'>8.60</td><td style='text-align: center; word-wrap: break-word;'>19.45</td></tr></table>

<div style="text-align: center;">Table 1. Comparisons with SOTA on FHAB dataset (errors are reported in mm). The comparisons are made in the wrist-aligned coordinates system.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Method</td><td style='text-align: center; word-wrap: break-word;'>MPJPE</td><td style='text-align: center; word-wrap: break-word;'>MPCPE</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Hasson et al. [^23]</td><td style='text-align: center; word-wrap: break-word;'>3.69</td><td style='text-align: center; word-wrap: break-word;'>12.38</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Liu et al. [^42]</td><td style='text-align: center; word-wrap: break-word;'>2.93</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Our Reg</td><td style='text-align: center; word-wrap: break-word;'>3.53</td><td style='text-align: center; word-wrap: break-word;'>7.38</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Our Reg + Arti</td><td style='text-align: center; word-wrap: break-word;'>3.17</td><td style='text-align: center; word-wrap: break-word;'>5.87</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Our Clas</td><td style='text-align: center; word-wrap: break-word;'>3.06</td><td style='text-align: center; word-wrap: break-word;'>7.24</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Our Clas + Arti</td><td style='text-align: center; word-wrap: break-word;'>2.64</td><td style='text-align: center; word-wrap: break-word;'>5.16</td></tr></table>

<div style="text-align: center;">Table 2. Comparisons (cm) with SOTA on HO3D dataset.</div>

![Image](images/5db32639f8937c907e45b8843f96e8c4c8ee3b071d6b0c373673c9c269b4f5dd.jpg)

在报告MPCPE时，我们使用$\lambda_1 = \lambda_2 = 1$和$\lambda_3 = 0$来训练网络；考虑物体的对称性时，则使用$\lambda_1 = \lambda_2 = 0$和$\lambda_3 = 1$训练网络。我们将后者称为对称性模型（简称sym），并按照BOP挑战赛协议[^28]报告其MSSD数值。YCB物体的对称轴定义可参见\textit{附录}。

<div style="text-align: center;">Figure 7. Qualitative results on the HO3D and DexYCB dataset.</div>

#### 4.2. HOPE网络性能

定性结果。我们在HO3D和DexYCB测试集上的定性结果如图7所示。我们将预测得到的手部关节和物体角点绘制为其二维投影（$1^{st}$颜色）。我们还采用了预训练的IK网络[^43]，将手部关节映射为手部网格表面以便可视化。我们在相机视角下绘制完整的手部-物体几何结构（$2^{nd}$颜色），以及另一个视角下的结果（$3^{rd}$颜色）。更多定性结果详见附录。

与现有最优方法的对比。在表1中，我们将所提出的Clas方法与之前在FHAB数据集上的SOTA方法[^23]进行对比，以验证序数关系损失$\mathcal{L}_{ord}$的有效性。需要注意的是，[^23]是在相机空间中回归手部和物体姿态的；为了公平比较，我们将其结果转换到腕部相对坐标系下。

在后续的表格中，我们用“+ Arti”来表示某个网络是用原始数据集的训练集加上从ArtiBoost的探索与合成模块获得的合成数据进行训练的。表2显示，我们的ArtiBoost提升了HO3D数据集上的回归与分类性能。与之前的SOTA方法相比，我们的MPJPE指标分别提升了28%和10% [^23] [^42]。为了公平比较，我们在计算MPCPE时会移除测试集中的未见物体（水壶底座）。

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td rowspan="2">Method</td><td rowspan="2">MPJPE</td><td colspan="3">MSSD</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>mustard bottle</td><td style='text-align: center; word-wrap: break-word;'>bleach cleanser</td><td style='text-align: center; word-wrap: break-word;'>potted meat can</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Hampali et al. [^22]</td><td style='text-align: center; word-wrap: break-word;'>2.57</td><td style='text-align: center; word-wrap: break-word;'>4.41</td><td style='text-align: center; word-wrap: break-word;'>6.03</td><td style='text-align: center; word-wrap: break-word;'>9.08</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Our Clas sym</td><td style='text-align: center; word-wrap: break-word;'>3.10</td><td style='text-align: center; word-wrap: break-word;'>4.07</td><td style='text-align: center; word-wrap: break-word;'>6.56</td><td style='text-align: center; word-wrap: break-word;'>8.70</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Our Clas sym + Arti</td><td style='text-align: center; word-wrap: break-word;'>2.53</td><td style='text-align: center; word-wrap: break-word;'>3.14</td><td style='text-align: center; word-wrap: break-word;'>5.72</td><td style='text-align: center; word-wrap: break-word;'>6.36</td></tr></table>

在对称模型下（记为“sym”），我们重新—

<div style="text-align: center;">Table 3. Comparison (cm) with Transformer-based SOTA on HO3D using symmetry-aware loss  $\mathcal{L}_{sym}$. We use the same symmetry axes as described in [^22].</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td rowspan="2">Method</td><td rowspan="2">MPJPE</td><td colspan="4">MSSD $^{\star}$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>power drill</td><td style='text-align: center; word-wrap: break-word;'>cracker box</td><td style='text-align: center; word-wrap: break-word;'>scissors</td><td style='text-align: center; word-wrap: break-word;'>bleach cleanser</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Our Class sym</td><td style='text-align: center; word-wrap: break-word;'>13.00</td><td style='text-align: center; word-wrap: break-word;'>74.95</td><td style='text-align: center; word-wrap: break-word;'>63.68</td><td style='text-align: center; word-wrap: break-word;'>88.10</td><td style='text-align: center; word-wrap: break-word;'>91.66</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Our Class sym + Arti</td><td style='text-align: center; word-wrap: break-word;'>12.80</td><td style='text-align: center; word-wrap: break-word;'>52.70</td><td style='text-align: center; word-wrap: break-word;'>46.13</td><td style='text-align: center; word-wrap: break-word;'>66.52</td><td style='text-align: center; word-wrap: break-word;'>72.31</td></tr></table>

<div style="text-align: center;">Table 4. Our results (mm) on DexYCB. ★ We only list the MSSD score of 4 objects. The full table can be found in Appx.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td rowspan="2">Method</td><td rowspan="2">MPJPE</td><td rowspan="2">MPCPE</td><td colspan="3">MSSD</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>mustard bottle</td><td style='text-align: center; word-wrap: break-word;'>bleach cleanser</td><td style='text-align: center; word-wrap: break-word;'>potted meat can</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Our Clas</td><td style='text-align: center; word-wrap: break-word;'>2.94</td><td style='text-align: center; word-wrap: break-word;'>7.53</td><td style='text-align: center; word-wrap: break-word;'>6.88</td><td style='text-align: center; word-wrap: break-word;'>5.56</td><td style='text-align: center; word-wrap: break-word;'>7.63</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Our Clas + Arti</td><td style='text-align: center; word-wrap: break-word;'>2.50</td><td style='text-align: center; word-wrap: break-word;'>5.88</td><td style='text-align: center; word-wrap: break-word;'>3.79</td><td style='text-align: center; word-wrap: break-word;'>4.99</td><td style='text-align: center; word-wrap: break-word;'>6.21</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Our Clas sym</td><td style='text-align: center; word-wrap: break-word;'>2.98</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>3.73</td><td style='text-align: center; word-wrap: break-word;'>6.39</td><td style='text-align: center; word-wrap: break-word;'>7.28</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Our Clas sym + Arti</td><td style='text-align: center; word-wrap: break-word;'>2.34</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>2.66</td><td style='text-align: center; word-wrap: break-word;'>5.23</td><td style='text-align: center; word-wrap: break-word;'>5.82</td></tr></table>

<div style="text-align: center;">Table 5. Our results (cm) on HO3D v3.</div>

表3汇报了我们的ArtiBoost的性能结果。使用ArtiBoost时，我们的分类模型的性能优于最近的基于Transformer的方法[^22]。我们还在表4和表5中分别在最新发布的DexYCB数据集和HO3D v3数据集上评估了我们的方法。所有结果都证明了我们方法的有效性。

#### 4.3. 消融研究

为了进一步探究ArtiBoost的工作原理，我们设计了两项消融研究。A）我们将ArtiBoost与传统抓取合成方法进行比较，以证明CCV空间的有效性；B）我们将ArtiBoost与离线训练方案进行对比，以展示我们动态在线重加权机制的效率。

A）传统抓取合成。GraspIt中的模拟手-物体姿态[^47]未必正确或具有多样性（详见GanHand的3.1节及图3 [^10]）。因此，Corona等人[^10]手动标注了MANO手抓取YCB物体的数据[^4]，并发布了抓取姿态数据集：YCBAfford。我们发现YCBAfford是我们CCV空间中合成抓取的理想对照样本。在本研究中，我们比较了在同一模型上用两种不同数据组合训练的性能：一种是a.1) HO3D加YCBAfford，另一种是a.2) HO3D加我们在CCV空间中生成的合成姿态。为了确保比较公平且有指导意义，我们使用了相同数量的来自YCBAfford和CCV空间的HO姿态，设置了相同的渲染流程，并关闭了重加权功能。训练过程中，合成HO姿态会被随机采样并渲染，然后

---

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Training set composition</td><td style='text-align: center; word-wrap: break-word;'>MPJPE</td><td style='text-align: center; word-wrap: break-word;'>MPCPE</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HO3D</td><td style='text-align: center; word-wrap: break-word;'>3.06</td><td style='text-align: center; word-wrap: break-word;'>7.24</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>a.1) HO3D $\oplus$ YCBAfford</td><td style='text-align: center; word-wrap: break-word;'>3.01</td><td style='text-align: center; word-wrap: break-word;'>6.89</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>a.2) HO3D $\oplus$ CCV-space</td><td style='text-align: center; word-wrap: break-word;'>2.71</td><td style='text-align: center; word-wrap: break-word;'>5.49</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HO3D + Arti (full version)</td><td style='text-align: center; word-wrap: break-word;'>2.64</td><td style='text-align: center; word-wrap: break-word;'>5.16</td></tr></table>

<div style="text-align: center;">Table 6. Ablation on grasp poses synthesis. a.1) v.s a.2) shows a same network model (Clas) trained on HO3D plus synthetic pose from Conventional v.s from CCV-space. (cm)</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Method on % of source data</td><td style='text-align: center; word-wrap: break-word;'>MPJPE</td><td style='text-align: center; word-wrap: break-word;'>MPCPE</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Our Reg (10%)</td><td style='text-align: center; word-wrap: break-word;'>3.81</td><td style='text-align: center; word-wrap: break-word;'>8.77</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Our Reg (100%)</td><td style='text-align: center; word-wrap: break-word;'>3.53</td><td style='text-align: center; word-wrap: break-word;'>7.38</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Our Reg (10%) + Arti</td><td style='text-align: center; word-wrap: break-word;'>3.29</td><td style='text-align: center; word-wrap: break-word;'>6.87</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Our Clas (10%)</td><td style='text-align: center; word-wrap: break-word;'>3.63</td><td style='text-align: center; word-wrap: break-word;'>7.66</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Our Clas (100%)</td><td style='text-align: center; word-wrap: break-word;'>3.06</td><td style='text-align: center; word-wrap: break-word;'>7.24</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Our Clas (10%) + Arti</td><td style='text-align: center; word-wrap: break-word;'>3.05</td><td style='text-align: center; word-wrap: break-word;'>6.02</td></tr></table>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Dataset</td><td style='text-align: center; word-wrap: break-word;'>Method</td><td style='text-align: center; word-wrap: break-word;'>MPJPE</td><td style='text-align: center; word-wrap: break-word;'>MPCPE</td><td style='text-align: center; word-wrap: break-word;'>CS-J</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HO3Dv1</td><td style='text-align: center; word-wrap: break-word;'>[^23]</td><td style='text-align: center; word-wrap: break-word;'>5.75</td><td style='text-align: center; word-wrap: break-word;'>9.61</td><td style='text-align: center; word-wrap: break-word;'>6.24</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HO3Dv1</td><td style='text-align: center; word-wrap: break-word;'>[^23] + Arti</td><td style='text-align: center; word-wrap: break-word;'>3.67</td><td style='text-align: center; word-wrap: break-word;'>3.24</td><td style='text-align: center; word-wrap: break-word;'>3.57</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HO3D</td><td style='text-align: center; word-wrap: break-word;'>[^23]</td><td style='text-align: center; word-wrap: break-word;'>3.69</td><td style='text-align: center; word-wrap: break-word;'>12.38</td><td style='text-align: center; word-wrap: break-word;'>5.52</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HO3D</td><td style='text-align: center; word-wrap: break-word;'>[^23] + Arti</td><td style='text-align: center; word-wrap: break-word;'>3.39</td><td style='text-align: center; word-wrap: break-word;'>8.31</td><td style='text-align: center; word-wrap: break-word;'>4.90</td></tr></table>

![Image](images/6eea152eda65db9d6edabcb0c3d3e4f2db640978b8fcd6f51563b4b52396659d.jpg)

<div style="text-align: center;">Figure 8. Ablation on offline training scheme.</div>

渲染后的图像会被混入原始的HO3D训练集中。表6展示了本研究的结果。我们发现，用CCV空间中的姿态训练的模型性能优于用传统合成姿态训练的模型，这验证了本文的核心观点：多样化的姿态变体有助于姿态估计。

<div style="text-align: center;">Table 8. Results of porting ArtiBoost to the model in Hasson et al. [^23]. CS-J: the MPJPE in camera space; all in cm.</div>

B）离线训练方案。为了模拟离线训练方案，我们固定采样权重图中所有的权重，并从CCV空间中随机选取三元组。我们在整个训练过程中开展了两项实验，一项采用在线样本重加权策略，另一项遵循离线方案。两项实验均使用分类模型和对称模型，并在DexYCB数据集上训练。我们按固定时间间隔汇报DexYCB测试集上的中期结果。如图8所示，在线样本重加权能帮助模型快速收敛并取得更高的分数。

我们探索了ArtiBoost的潜在应用，并设计了两项研究。A）由于真实世界数据标注效率低下且成本高昂，我们尝试利用ArtiBoost帮助神经网络模型在更少的真实标注数据量下完成训练；B）由于ArtiBoost具有模型无关性，我们证明它可以迁移到其他HOPE学习框架中并提升其性能。

#### 4.4. 应用场景

A). 基于较少真实世界标注数据的训练。本研究仅使用HO3D训练数据中的一小部分来训练神经模型。假设HO3D训练集中原始数据量为N，我们设置了三种不同的训练集规模：(1) 原始数据集的10% N；(2) 原始数据集的100% N；(3) 原始数据集的10% N加上ArtiBoost合成姿态数据的100% N。如表7所示，我们发现采用设置(3)训练的神经网络性能优于使用100%真实世界数据训练的网络。

B). 将ArtiBoost迁移到其他HOPE模型。表8展示了将ArtiBoost迁移到Hasson等人提出的另一种HOPE框架的结果[^23]，该框架可直接回归手-物体姿态以及经过焦距归一化的相机空间位移。[^19]中使用的源训练数据集HO3Dv1[^23]是HO3D的早期版本。我们仅通过在预定义的第1版数据集上训练其网络，复现了[^23]中的结果。我们报告了相机空间中的MPJPE以及手腕相对系统的指标。表8显示，将ArtiBoost迁移到相机空间的HOPE模型能显著改善各项指标。

### 5. 讨论

局限性。不过，我们并未明确缓解合成数据与真实数据之间的域差异，因为我们发现对HOPE任务的主要改进源于更多样化的姿态变体图像，而非外观更逼真的图像。此外，由于ArtiBoost中的渲染器不可微，当前的ArtiBoost仅支持在预定义的查找表（如CCV空间）中进行探索。在未来的工作中，我们将研究一种强大的生成式与对比学习模型，以寻找真实图像与合成图像共有的特征。

结论。在这项工作中，我们提出了一种新颖的在线数据增强方法ArtiBoost，它通过探索与合成来优化关节姿态估计的学习框架。我们提出的ArtiBoost可集成到任何学习框架中，在本研究中，我们展示了其在具有挑战性的手-物体姿态估计任务中的有效性。即便采用简单的基线模型，我们的方法也能使其性能超越现有在常用数据集上的最佳水平。此外，所提出的CCV空间也为通用关节姿态估计打开了大门，这我们将留作未来的研究工作。

致谢：本工作得到了国家重点研发计划（编号2021ZD0110700）、上海市重大科技专项（2021SHZDZX0102）、上海人工智能研究院以及SHEITC（2018-RGZN-02046）的支持。

---

## 参考文献

[^1]: Adnane Boukhayma, Rodrigo de Bem, and Philip HS Torr. 3d hand shape and pose from images in the wild. In CVPR, 2019. 2

[^2]: Samarth Brahmbhatt, Ankur Handa, James Hays, and Dieter Fox. ContactGrasp: Functional Multi-finger Grasp Synthesis from Contact. In IROS, 2019. 1, 2

[^3]: Samarth Brahmbhatt, Chengcheng Tang, Christopher D Twigg, Charles C Kemp, and James Hays. ContactPose: A dataset of grasps with object contact and hand pose. In ECCV, 2020. 1

[^4]: Berk Calli, Arjun Singh, Aaron Walsman, Siddhartha Srinivasa, Pieter Abbeel, and Aaron M. Dollar. The ycb object and model set: Towards common benchmarks for manipulation research. In ICAR, 2015. 7

[^5]: Zhe Cao, Ilija Radosavovic, Angjoo Kanazawa, and Jitendra Malik. Reconstructing hand-object interactions in the wild. In ICCV, 2021. 1,2

[^6]: Yu-Wei Chao, Wei Yang, Yu Xiang, Pavlo Molchanov, Ankur Handa, Jonathan Tremblay, Yashraj S. Narang, Karl Van Wyk, Umar Iqbal, Stan Birchfield, Jan Kautz, and Dieter Fox. DexYCB: A benchmark for capturing hand grasping of objects. In CVPR, 2021. 1, 2, 6

[^7]: Wenzheng Chen, Huan Wang, Yangyan Li, Hao Su, Zhenhua Wang, Changhe Tu, Dani Lischinski, Daniel Cohen-Or, and Baoquan Chen. Synthesizing training images for boosting human 3d pose estimation. In 3DV, 2016. 2

[^8]: Xingyu Chen, Yufeng Liu, Chongyang Ma, Jianlong Chang, Huayan Wang, Tian Chen, Xiaoyan Guo, Pengfei Wan, and Wen Zheng. Camera-space hand mesh recovery via semantic aggregation and adaptive 2d-1d registration. In CVPR, 2021. 1, 2

[^9]: Xingyu Chen, Yufeng Liu, Dong Yajiao, Xiong Zhang, Chongyang Ma, Yanmin Xiong, Yuan Zhang, and Xiaoyan Guo. MobRecon: Mobile-friendly hand mesh reconstruction from monocular image. In arXiv preprint arXiv:2112.02753, 2021. 1, 2

[^10]: Enric Corona, Albert Pumarola, Guillem Alenya, Francesc Moreno-Noguer, and Grégory Rogez. Ganhand: Predicting human grasp affordances in multi-object scenes. In CVPR, 2020. 1, 2, 7

[^11]: Bardia Doosti, Shujon Naha, Majid Mirbagheri, and David J Crandall. HOPE-Net: A graph-based model for hand-object pose estimation. In CVPR, 2020. 1

[^12]: Carlo Ferrari and John F. Canny. Planning optimal grasps. In ICRA, 1992. 2

[^13]: Guillermo Garcia-Hernando, Shanxin Yuan, Seungryul Baek, and Tae-Kyun Kim. First-person hand action benchmark with rgb-d videos and 3d hand pose annotations. In CVPR, 2018. 1, 6

[^14]: Liuhao Ge, Zhou Ren, Yuncheng Li, Zehao Xue, Yingying Wang, Jianfei Cai, and Junsong Yuan. 3d hand shape and pose estimation from a single rgb image. In CVPR, 2019. 1, 2

[^15]: Weifeng Ge, Weilin Huang, Dengke Dong, and Matthew R. Scott. Deep metric learning with hierarchical triplet loss. In ECCV, 2018. 3

[^16]: Kehong Gong, Jianfeng Zhang, and Jiashi Feng. Poseaug: A differentiable pose augmentation framework for 3d human pose estimation. In CVPR, 2021. 3

[^17]: Raghav Goyal, Samira Ebrahimi Kahou, Vincent Michalski, Joanna Materzynska, Susanne Westphal, Heuna Kim, Valentin Haenel, Ingo Fruend, Peter Yianilos, Moritz Mueller-Freitag, et al. The "something something" video database for learning and evaluating visual common sense. In ICCV, 2017. 1

[^18]: Patrick Grady, Chengcheng Tang, Christopher D Twigg, Minh Vo, Samarth Brahmbhatt, and Charles C Kemp. Contactopt: Optimizing contact to improve grasps. In CVPR, 2021. 1, 2

[^19]: Shreyas Hampali, Markus Oberweger, Mahdi Rad, and V. Lepetit. HO-3D: A multi-user, multi-object dataset for joint 3d hand-object pose estimation. In arXiv preprint arXiv:1907.01481, 2019. 8

[^20]: Shreyas Hampali, Mahdi Rad, Markus Oberweger, and Vincent Lepetit. Honnotate: A method for 3d annotation of hand and object poses. In CVPR, 2020. 1, 2, 6

[^21]: Shreyas Hampali, Sayan Deb Sarkar, and Vincent Lepetit. HO-3D_v3: Improving the accuracy of hand-object annotations of the ho-3d dataset. In arXiv preprint arXiv:2107.00887, 2021. 2, 6

[^22]: Shreyas Hampali, Sayan Deb Sarkar, Mahdi Rad, and Vincent Lepetit. HandsFormer: Keypoint transformer for monocular 3d pose estimation of hands and object in interaction. In arXiv preprint arXiv:2104.14639, 2021. 6,7

[^23]: Yana Hasson, Bugra Tekin, Federica Bogo, Ivan Laptev, Marc Pollefeys, and Cordelia Schmid. Leveraging photometric consistency over time for sparsely supervised hand-object reconstruction. In CVPR, 2020. 1, 2, 7, 8

[^24]: Yana Hasson, Gül Varol, Ivan Laptev, and Cordelia Schmid. Towards unconstrained joint hand-object reconstruction from rgb videos. In 3DV, 2021. 1,2

[^25]: Yana Hasson, Gul Varol, Dimitrios Tzionas, Igor Kalevatykh, Michael J Black, Ivan Laptev, and Cordelia Schmid. Learning joint reconstruction of hands and manipulated objects. In CVPR, 2019. 1, 2, 5

[^26]: Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In CVPR, 2016. 6

[^27]: Alexander Hermans, Lucas Beyer, and Bastian Leibe. In defense of the triplet loss for person re-identification. arXiv preprint arXiv:1703.07737, 2017. 3

[^28]: Tomáš Hodaň, Martin Sundermeyer, Bertram Drost, Yann Labbé, Eric Brachmann, Frank Michel, Carsten Rother, and Jiří Matas. Bop challenge 2020 on 6d object localization. In ECCV Workshops, 2020. 7

[^29]: Lin Huang, Jianchao Tan, Jingjing Meng, Ji Liu, and Junsong Yuan. HOT-Net: Non-autoregressive transformer for 3d hand-object pose estimation. In ACMMM, 2020. 1

## [^30]: Hanwen Jiang, Shaowei Liu, Jiashun Wang, and Xiaolong Wang. Hand-object contact consistency reasoning for human grasps generation. In ICCV, 2021. 3

---

[^31]: Korrawe Karunratanakul, Jinlong Yang, Yan Zhang, Michael J Black, Krikamol Muandet, and Siyu Tang. Grasping field: Learning implicit representations for human grasps. In 3DV, 2020. 1, 3

[^32]: Wadim Kehl, Fabian Manhardt, Federico Tombari, Slobodan Ilic, and Nassir Navab. SSD-6d: Making rgb-based 3d detection and 6d pose estimation great again. In ICCV, 2017.

[^33]: Mia Kokic, Danica Kragic, and Jeannette Bohg. Learning task-oriented grasping from human activity datasets. IEEE Robotics and Automation Letters, 5(2), 2020. 1, 2

[^34]: Felix Kuhnke and Jörn Ostermann. Deep head pose estimation using synthetic images and partial adversarial domain adaptation for continuous label spaces. ICCV, 2019. 3

[^35]: Taein Kwon, Bugra Tekin, Jan Stuhmer, Federica Bogo, and Marc Pollefeys. H2o: Two hands manipulating objects for first person interaction recognition. In ICCV, 2021. 1

[^36]: Jiefeng Li, Chao Xu, Zhicun Chen, Siyuan Bian, Lixin Yang, and Cewu Lu. HybrIK: A hybrid analytical-neural inverse kinematics solution for 3d human pose and shape estimation. In CVPR, 2021. 1,2

[^37]: Xiaolong Li, He Wang, Li Yi, Leonidas J Guibas, A Lynn Abbott, and Shuran Song. Category-level articulated object pose estimation. In CVPR, 2020. 1, 2

[^38]: John Lin, Ying Wu, and Thomas S Huang. Modeling the constraints of human hand motion. In Proceedings workshop on human motion, 2000. 3

[^39]: Tsung-Yi Lin, Priya Goyal, Ross Girshick, Kaiming He, and Piotr Dollár. Focal loss for dense object detection. In ICCV, 2017. 3

[^40]: Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, and C Lawrence Zitnick. Microsoft coco: Common objects in context. In ECCV, 2014. 5

[^41]: Liu Liu, Han Xue, Wenqiang Xu, Haoyuan Fu, and Cewu Lu. Towards real-world category-level articulation pose estimation. IEEE Transactions on Image Processing, 2022. 1, 2

[^42]: Shaowei Liu, Hanwen Jiang, Jiarui Xu, Sifei Liu, and Xiaolong Wang. Semi-supervised 3d hand-object poses estimation with interactions in time. In CVPR, 2021. 1, 2, 7

[^43]: Jun Lv, Wenqiang Xu, Lixin Yang, Sucheng Qian, Chongzhao Mao, and Cewu Lu. HandTailor: Towards high-precision monocular 3d hand recovery. In BMVC, 2021. 7

[^44]: George Marsaglia et al. Choosing a point from the surface of a sphere. The Annals of Mathematical Statistics, 1972. 5

[^45]: Joanna Materzynska, Tete Xiao, Roei Herzig, Huijuan Xu, Xiaolong Wang, and Trevor Darrell. Something-else: Compositional action recognition with spatial-temporal interaction networks. In CVPR, 2020. 1

[^46]: Matthew Matl. PyRender. <https://github.com/mmatl/pyrender>, 2019. 5

[^47]: A.T. Miller and P.K. Allen. Graspit! a versatile simulator for robotic grasping. IEEE Robotics Automation Magazine, 2004. 2, 7

[^48]: Franziska Mueller, Florian Bernard, Oleksandr Sotnychenko, Dushyant Mehta, Srinath Sridhar, Dan Casas, and Christian Theobalt. Generated hands for real-time 3d hand tracking from monocular rgb. In CVPR, 2018. 5

[^49]: Neng Qian, Jiayi Wang, Franziska Mueller, Florian Bernard, Vladislav Golyanik, and Christian Theobalt. HTML: A parametric hand texture model for 3d hand reconstruction and personalization. In ECCV, 2020. 5

[^50]: Gregory Rogez, James S. Supancic, III, and Deva Ramanan. Understanding everyday hands in action from RGB-D images. In ICCV, 2015. 1, 2

[^51]: Javier Romero, Hedvig Kjellström, and Danica Kragic. Hands in action: real-time 3d reconstruction of hands in interaction with objects. In ICRA, 2010. 1,2

[^52]: Javier Romero, Dimitrios Tzionas, and Michael J Black. Embodied hands: Modeling and capturing hands and bodies together. ACM Transactions on Graphics, 2017. 2, 3

[^53]: Florian Schroff, Dmitry Kalenichenko, and James Philbin. Facenet: A unified embedding for face recognition and clustering. In CVPR, 2015. 3

[^54]: Abhinav Shrivastava, Abhinav Gupta, and Ross Girshick. Training region-based object detectors with online hard example mining. In CVPR, 2016. 3

[^55]: Kihyuk Sohn. Improved deep metric learning with multi-class n-pair loss objective. In NIPS, 2016. 3

[^56]: Xiao Sun, Bin Xiao, Fangyin Wei, Shuang Liang, and Yichen Wei. Integral human pose regression. In ECCV, 2018. 2

[^57]: Martin Sundermeyer, Zoltan-Csaba Marton, Maximilian Durner, Manuel Brucker, and Rudolph Triebel. Implicit 3d orientation learning for 6d object detection from rgb images. In ECCV, 2018. 2

[^58]: Omid Taheri, Nima Ghorbani, Michael J Black, and Dimitrios Tzionas. GRAB: A dataset of whole-body human grasping of objects. In ECCV, 2020. 3, 4, 5

[^59]: Xiao Tang, Tianyu Wang, and Chi-Wing Fu. Towards accurate alignment in real-time 3d hand-mesh reconstruction. In ICCV, 2021. 2

[^60]: Bugra Tekin, Federica Bogo, and Marc Pollefeys. H+O: Unified egocentric recognition of 3d hand-object poses and interactions. In CVPR, 2019. 1, 6

[^61]: Bugra Tekin, Sudipta N Sinha, and Pascal Fua. Real-time seamless single shot 6d object pose prediction. In CVPR, 2018. 2

[^62]: Gül Varol, Ivan Laptev, Cordelia Schmid, and Andrew Zisserman. Synthetic humans for action recognition from unseen viewpoints. International Journal of Computer Vision, 2021. 1, 2

[^63]: Chengde Wan, Thomas Probst, Luc Van Gool, and Angela Yao. Self-supervised 3d hand pose estimation through training by fitting. In CVPR, 2019. 2

[^64]: Haonan Yan, Jiaqi Chen, Xujie Zhang, Shengkai Zhang, Nianhong Jiao, Xiaodan Liang, and Tianxiang Zheng. Ultrapose: Synthesizing dense pose with 1 billion points by human-body decoupling 3d model. In ICCV, 2021. 1, 2

[^65]: Linlin Yang, Shicheng Chen, and Angela Yao. Semihand: Semi-supervised hand pose estimation with consistency. In ICCV, 2021. 2

## [^66]: Lixin Yang, Jiasen Li, Wenqiang Xu, Yiqun Diao, and Cewu Lu. BiHand: Recovering hand mesh with multi-stage bisected hourglass networks. In BMVC, 2020. 2

---

[^67]: Linlin Yang and Angela Yao. Disentangling latent hands for image synthesis and pose estimation. In CVPR, 2019. 2

[^68]: Lixin Yang, Xinyu Zhan, Kailin Li, Wenqiang Xu, Jiefeng Li, and Cewu Lu. CPF: Learning a contact potential field to model the hand-object interaction. In ICCV, 2021. 1, 2, 4

[^69]: Yuxiao Zhou, Marc Habermann, Weipeng Xu, Ikhsanul

Habibie、Christian Theobalt和Feng Xu。利用多模态数据进行单目实时手部形状与运动捕捉。发表于CVPR 2020年会议。第2页。

[^70]: Christian Zimmermann and Thomas Brox. Learning to estimate 3d hand pose from single rgb images. In ICCV, 2017. 1, 2, 5