# 从RGB图像中估计手持物体的姿态与形状
米娅·科基奇
达尼卡·克拉吉奇
珍妮特·博格
Fig. 1: Qualitative example results for estimating the 6D pose and the shape of hand-held objects from RGB images. We show four input-output pairs of our approach - one per object category considered in this paper: mug, bottle, knife and bowl. Left: RGB image. Right: Estimated hand pose and configuration + estimated object pose and shape.
摘要—我们开发了一套系统，能够从显示手握着已知类别中新物体的RGB图像中，建模三维环境下的手-物交互。我们设计了一种名为HOPS-Net的卷积神经网络（CNN），用于估计手持物体的姿态与形状，并利用已有成果来估算手部姿态与构型。我们基于这样的认知：手部信息有助于物体姿态与形状的估计，因此将手部数据同时纳入物体姿态与形状的训练和推理过程，以及估计结果的优化环节。该网络在大量人类手部与物体交互的合成数据集上训练。为了弥合真实图像与合成图像之间的差距，我们采用了图像到图像转换模型（Augmented CycleGAN），它能根据合成渲染结果生成具有真实纹理的物体。这为生成用于训练HOPS-Net的标注数据提供了一种可扩展的方案。定量实验表明，即便手部参数存在噪声，也能显著辅助物体姿态与形状的估计；定性实验则展示了该系统对“现实场景”中手部所持物体的姿态与形状估计结果。
## 一、引言
通过观察物体在操作过程中的姿态，可以推断物体与手部之间的接触交互情况。这种接触交互是理解物理层面操作行为的关键，对于虚拟现实中的物体操作，或是机器人通过人类演示学习抓取物体的应用而言，这种层面的理解至关重要 [^1]， [^2]。
尽管已有大量人类操作不同物体的二维图像和视频资料 [^3] [^4] [^5]，但这些资料往往缺乏超出二维边界框之外的标注信息，因此无法对操作行为进行物理层面的解读。我们的目标是通过将这些数据从二维升级为三维，从而实现对手-物交互物理属性的推断。为此，我们提出了一种从RGB图像中估计手持物体形状和六自由度姿态的方法，详见图1。
这一问题带来了诸多挑战：首先，观测数据中缺乏深度信息，导致问题约束严重不足；其次，操作过程中物体和/或手部会出现明显遮挡；第三，目前尚无标注了操作过程中物体与手部姿态的真实世界大规模数据集。为了应对部分挑战，我们提出了如下系统：a）该系统仅用合成数据训练，却能处理已知类别中新物体实例的真实图像；b）利用手部姿态与构型的估计结果 [^6] 来辅助物体姿态与形状的估计。
我们开发了一种名为HOPS-Net的CNN，用于估计物体的姿态并输出形状特征，以便从一组3D网格中检索出最相似的物体。它从两个方面利用有关手的信息：i) 将手部参数与分割出的物体一起作为网络的输入，以推断其姿态和形状；ii) 我们利用人手模型来优化初始的物体姿态估计结果，并在抓取模拟器中生成合理的抓取姿势。我们在各种姿态下由手所持有的合成网格图像上训练该网络。为解决仿真到现实之间的差距，我们通过图像到图像转换网络将合成物体的图像转换为多种逼真的变体。据我们所知，这是首次应用此类网络来解决具有相同形状却具有多种外观的物体的仿真到现实差距问题。
我们的贡献如下：
1) 我们开发了一个从单张RGB图像中估计手持物体的3D形状和6D姿态的系统。
2) 我们的方法能够处理来自四个类别的新颖物体实例，而无需在真实数据上训练，仅使用合成数据即可。
3) 我们将人手信息纳入训练和优化过程，事实证明这能提升形状和姿态估计的精度。即便手部姿态和构型的估计存在误差，这一效果依然明显。
4) 我们在由人手持有的逼真物体数据集上评估了该方法的准确性，并验证了其在真实世界以眼为中心的活动数据集上的适用性 [^5]。
---
### II. 相关工作
### A. 理解手与物体的交互
基于视觉理解手与物体的交互是一个由来已久的问题，学界已从多个角度展开研究。一类研究聚焦于手本身，例如从RGB或RGB-D数据中推断手部姿态和构型，以便跟踪手部运动 [^7] [^8] [^9]，或推断操作动作 [^10] [^11] [^12]。另一类研究则基于“物体形状会影响手部构型”这一认知，探索手与物体协同作用的情况 [^13] [^14] [^15]。有些研究者甚至试图预测手与物体之间的作用力和接触情况 [^5]。然而，要将这种方法扩展到众多物体上，就需要大量标注了手部和物体姿态的RGB或RGB-D数据集，而这类数据的收集成本极高。正因如此，现有数据集要么包含的标注了6D姿态的实例数量较少 [^16]，要么包含大量仅有粗略标注（如抓取类型或边界框）的实例 [^3]、[^4]，因此不足以深入理解手与物体的交互机制。在我们的研究中，提出了一种从RGB图像中同时估计手部和物体姿态的方法，该方法有望帮助我们自动标注这些数据集，进而用于进一步分析物理层面上的手与物体交互。
### B. 物体形状和姿态估计
为了从RGB图像中估计物体形状，近期的研究大多采用度量学习方法，即将图像的特征与多视角下渲染的3D网格模型的特征进行匹配。形状估计是基于在渲染网格的特征中找到最近邻并提取它[^17] [^18] [^19]。另一种方法是将3D体素网格和图像映射到一个低维嵌入空间。随后通过将真实的RGB图像嵌入该空间，并在体素网格中找到最近邻来完成3D模型检索[^20]。我们采用了这种方法，因为它能让我们利用所有关于形状的信息，而不仅仅是不同视角的渲染图。我们将2D和3D实例嵌入到同一个潜空间中，迫使同一物体的2D和3D特征在该空间中彼此靠近，而其他物体则相距较远。
关于物体6D姿态估计的研究可以从两个方面进行分类：i) 输入模态（2D、2.5D、3D、多模态）以及ii) 先验物体知识（已知、未知）。当物体已知且输入为RGB图像时，主要挑战在于解决由物体对称性以及姿态表示方式（如欧拉角或四元数）引发的歧义。最先进的方法利用CNN直接回归位置和姿态[^21] [^22] [^23]，或者隐式地学习姿态描述符[^24]、[^25]。后者相比直接回归具有优势，因为它能够处理对称视图导致的歧义性表示和姿态问题。如果有深度数据可用，通常会使用迭代最近点（ICP）算法对初始预测结果进行优化[^21]、[^23]、[^24]。在我们的研究中，我们直接从RGB图像回归位置和姿态，但通过构建一种连续的、特定类别的物体姿态表示来解决歧义问题，这种表示对该特定物体类别的对称性具有不变性。
当物体属于新类别但归属于已知类别时，最大的挑战在于开发一种能够应对类内巨大差异并能推广到新实例的方法。为此，训练所用的数据集必须包含大量带有姿态标签的3D形状。这通常通过手动将物体网格与RGB图像中的物体对齐来实现[^26]、[^27]，这一过程既耗时又昂贵。解决此问题的一种方法是在合成数据上训练模型，例如在不同姿态下渲染的网格。生成的图像无需额外标注姿态信息。不过需要注意的是，合成图像在外观上与真实图像差异较大，因此在此类数据上训练的模型往往无法很好地推广到现实场景。
### C. 弥合仿真到现实的差距
有几种策略可以使合成数据更逼真。例如，照片级真实感渲染和域随机化技术[^22]、[^28]、[^29]能够为合成图像添加不同的背景、随机光照条件等。如果合成数据与真实数据之间的差距已经较小（比如合成物体本身带有纹理），这些方法通常就足以缩小这种差异。在我们的研究中，我们避开了手动标注真实数据以训练模型的问题。我们仅使用合成物体的图像，这些图像的标注信息可自动获取，随后利用生成对抗网络的一种变体将其转化为逼真的图像。
### III. 问题陈述
我们的方法能够利用单张RGB图像来估计新型手持物体的三维形状和六自由度位姿。我们选取了四类物体：瓶子、杯子、刀和碗。基于“手部信息有助于物体位姿和形状估计”这一思路，我们开发的类别专用CNN模型HOPS-Net以(i)分割后的物体RGB图像以及(ii)估计出的手部位姿和构型作为输入，输出物体在相机坐标系中的位置与朝向，还有形状特征；我们利用这些特征从训练数据中找出外观最相似的网格模型。
### A. 符号说明
1) 图像：设 $\mathbf{X} \in \mathbb{R}^{H \times W \times 3}$ 为手拿着的物体的RGB图像。我们将背景为白色且显示分割后物体的图像记为 $\mathbf{X}_M$，将包围该分割区域的最小正方形边界框（即裁剪后的图像）记为 $\mathbf{X}_M^c$。
2) 手部：设 $\mathbf{HP} \in \mathbb{R}^3 \times SE(3) \times \mathbb{R}^{20}$ 用于描述相机坐标系中人类手部的位姿及其关节构型。位姿由腕部位置及以旋转矩阵形式表示的朝向来描述；构型则由20个关节角度来描述。设 $\mathbf{HS} \in \mathbb{R}^{20 \times 3}$ 描述该关节构型下的手部形状，$\mathbf{HS}$ 则包含相机坐标系中这20个关节的三维位置。
---
Fig. 3: The input to the system is an image X showing a hand holding an object and the output is the object shape M and the pose $\tilde{\mathbf{w}}$ (color purple). In the pre-processing stage we use existing methods to obtain the object category c, a segment of the object $\mathbf{X}_M$ and an estimate of the hand shape HS as well as hand pose HP. In the second stage, our model outputs the object position $\tilde{\mathbf{p}}$, orientation $\tilde{\mathbf{O}}$ and a feature vector $\psi(\mathbf{X}_M^c, \mathbf{HP})$ which is used to retrieve the most similar mesh in the training data examples (dotted lines). We also find the closest orthogonal rotation matrix in the training examples (retrievals are denoted with dotted rectangles). Finally, we refine the initial object pose such that the fingertips of the hand are in contact with the object surface and compute a plausible grasp.
3) 物体：设 $\mathbf{M}$ 为一个多边形网格，$\mathbf{M}_V \in \mathbb{Z}_2^{H \times W \times D}$ 为其体素化表示，也就是二值占用网格。设 $\mathbf{w} = (\mathbf{p}, \mathbf{O}) \in SE(3)$ 为物体的位姿，即其在相机坐标系中的位置 $\mathbf{p} \in \mathbb{R}^3$ 和朝向 $\mathbf{O} \in SO(3)^1$。我们用 $\mathbf{R}$ 表示类别专用的朝向表示方法，它由 $\mathbf{O}$ 中的各列组成。
特征用 $\psi(\cdot)$ 表示，估计得到的变量用 $\sim$ 表示。
### B. 系统概述
系统的输入是手拿着新型物体的RGB图像X，系统会估计出物体的形状 $\tilde{M}$ 和位姿 $\tilde{w}$。图3展示了我们的完整模型。我们的方法分为三个阶段：第一阶段为预处理阶段，我们采用现有的手部估计和实例分割方法。我们使用一个用于估计手部形状 [^6] 以及位姿和构型 $\tilde{H}\mathbf{S}$ 的手部位姿与构型估计网络 $\tilde{H}\mathbf{P}$，我们将其称为HandNet；我们使用Mask R-CNN [^32] 来确定物体类别c以及物体的分割区域 $\mathbf{X}_{M}$。第二阶段，模型输出物体的位置 $\tilde{p}$、朝向 $\tilde{O}$ 以及形状特征向量 $\psi(\mathbf{X}_{M}^{c}, \tilde{\mathbf{H}}\mathbf{P})$，利用这些特征就能从训练数据中找到外观最相似的网格模型。第三阶段，我们对初始的物体位姿进行优化，使估计出的手部的指尖能与物体表面接触，从而得到合理的抓取姿态。
### IV. 位姿估计与形状检索
为了从图像X中估计物体的形状M和位姿 $\tilde{w}$，我们开发了一个能学习三种映射关系的单一模型：
$$ f:(\mathbf{X}_{M}^{c},\mathbf{H}\tilde{\mathbf{P}})\mapsto\psi(\mathbf{X}_{M}^{c},\mathbf{H}\tilde{\mathbf{P}}) $$
$$ g:(\mathbf{X}_{M},\mathbf{H}\mathbf{\bar{S}})\mapsto\mathbf{\tilde{p}} $$
$$ h:(\mathbf{X}_{M}^{c},\mathbf{H}\tilde{\mathbf{P}})\mapsto\tilde{\mathbf{O}} $$
估计问题能从手部信息中获益良多。首先，即使物体被手遮挡，手也能提供关于物体位置的线索。其次，手的方向和形状能提供关于物体方向和形状的线索；例如，刀通常握在刀柄处，因此刀刃会朝下。因此，手部信息构成了三种映射的输入。为了估计位置，公式(2)将分割后的物体$\mathbf{X}_M$和手形$\mathbf{H}\mathbf{S}$作为输入。为了估计物体的形状和方向，公式(1)和公式(3)将裁剪后的物体片段$\mathbf{X}_M^c$以及手的姿态和关节配置$\mathbf{H}\mathbf{P}$作为输入。我们通过实验发现，3D关节位置更能反映物体位置，而手的姿态和关节配置则有助于确定物体的形状和方向$^2$。
该模型的训练目标是最小化形状、位置和方向的损失之和。
$$ \mathcal{L}=\mathcal{L}_{\mathrm{M}}+\mathcal{L}_{\mathrm{p}}+\mathcal{L}_{\mathrm{O}} $$
### A. 从2D图像到3D形状
为了估计物体形状，我们采用了一种度量学习方法，为形状和图像特征生成联合嵌入空间。我们的模型基于孪生网络，该网络用于弱监督度量学习中的降维处理[^33]。它由两个结构相同且共享权重的孪生网络组成。
训练时，网络接收两个数据点并输出它们的特征，这些特征用于计算损失。该损失函数确保相似的数据点在嵌入空间中彼此靠近，不相似的点则相距较远。在我们的模型中，第一个数据点是分割后物体的裁剪部分$\mathbf{X}_M^c$以及手的姿态和配置HP；第二个数据点是一个随机网格$\mathbf{M}_V$。每个数据点都会经过预处理以获得相同维度的特征，随后由孪生网络输出$\psi(\mathbf{X}_M^c, \mathbf{HP})$和$\psi(\mathbf{M}_V)$，它们被用于计算形状损失$\mathcal{L}_M$。该损失定义如下：
$$ \mathcal{L}_{\mathbf{M}}=(1-y)\frac{1}{2}d^{2}+\frac{1}{2}{m a x}(0,m-d)^{2}, $$
其中d是特征$\psi(\mathbf{X}_{M}^{c}, \mathbf{H}\mathbf{P})$和$\psi(\mathbf{M}\mathbf{v})$之间的欧几里得距离，m是在[^34]中定义的边界值，y是一个二元函数：如果$\mathbf{X}_{M}^{c}$和$\mathbf{M}\mathbf{v}$属于同一物体，则y=1；否则y=0。
测试时，我们只能利用分割后物体的裁剪部分以及估计出的手部信息来计算
---
$\psi(\mathbf{X}_{M}^{c},\mathbf{H}\mathbf{P})$。通过将$\tilde{\mathbf{M}}_{\mathbf{V}}$与训练数据集中所有网格预先计算好的$\psi(\mathbf{X}_{M}^{c},\mathbf{H}\mathbf{P})$进行比较，我们就能得到3D物体形状的估计值$\psi(\mathbf{M}_{\mathbf{V}})$。在该特征空间中，$\tilde{\mathbf{M}}$将成为最近的邻居。
### B. 从2D图像到6D姿态
我们通过直接回归$\tilde{p}$和$\tilde{O}$来估计物体的姿态。由于这两个变量涉及不同的视觉属性——即物体在图像中的位置与能反映其方向的特征——因此我们分别对其进行学习。
如第II节所述，由于表示方式和物体对称性的歧义，计算整个旋转矩阵上的方向损失颇具挑战性。不过，采用对对称性具有不变性的表示方法后，便能简化学习过程。借鉴[^35]的研究工作，我们构建了一种特定类别的表示方法R：它由旋转矩阵的各列u组成，具体定义取决于物体所具有的对称性类型，详见图4。
针对每个类别，我们通过从估计的方向$\bar{u}$中提取各列$\bar{O}$并构造$\bar{R}$来计算方向损失。该损失$\mathcal{L}_O$即为$\bar{R}$与$\mathbf{R}$之间的均方误差。因此，若估计的方向$\bar{O}$虽与真实方向$\mathbf{O}$不同，但能生成相同的$\mathbf{R}$，则不会受到惩罚。位置损失$\mathcal{L}_p$同样是通过计算$\bar{p}$与p之间的均方误差来得到的。
| c | Symmetry | R |
| axial spherical single plane reflection single plane reflection axial spherical | $R=u_{3}$\n $R=([u_{1};u_{3}],u_{2}u_{2}^{T})$\n $R=([u_{1};u_{2}],u_{3}u_{3}^{T})$\n $R=u_{3}$ |
Fig. 4: Per category orientation representation R. It consists of columns u of a rotation matrix O and is constructed based on the type of symmetry that the object category possesses.
### V. 数据生成
为了训练HOPS-Net，我们需要带有姿态和形状标注、且包含手部信息的逼真RGB图像。第V-A节介绍了我们如何从无纹理的网格生成逼真图像，第V-B节则说明了如何生成姿态和形状标签。
### A. 生成逼真图像
生成训练数据的简单方法是渲染不同姿态下被抓取物体的3D网格投影。然而，由于合成图像与真实图像之间存在巨大视觉差异，基于合成图像训练的网络难以很好地泛化到真实图像。通过把合成图像转换为真实图像并加以标注，可以缩小这种差异。为此，我们采用了CycleGAN的变体——一种图像到图像的转换网络[^36]，它可将图像从
Fig. 5: Top: Example images in the real domain. Bottom: Top row shows example images in the synthetic domain (two per category) and the bottom row shows generated real world variants. The generated images look realistic both in color and texture, e.g., a label on a bottle.
源域Y映射到目标域X，反之亦然。CycleGAN的关键优势在于它能利用非配对数据进行学习，即无需明确知道Y中的哪个数据点对应X中的哪个数据点。为解决这一问题，它采用了循环一致性损失，以确保正向和反向映射具有双射关系。
CycleGAN只能处理一对一的映射关系，这并不适用于我们的场景：一张合成物体的图像可能对应多种真实变体，例如一张合成瓶子的图像可能对应多种颜色、纹理各异的真实瓶子。因此，我们提出使用增强版CycleGAN，它能在不同域之间实现一对多及多对多的映射。它通过为Y和X分别添加潜空间$Z_x$和$Z_y$来学习这些映射。这些潜空间的各元素服从高斯先验分布，因此能够捕捉两个域中的变化（见图5）。我们通过学习函数$i: Y \times Z_x \mapsto X$来约束模型，使其学习合成图像与真实图像之间的一对多映射关系。循环一致性通过两种损失来实现：一种用于还原Y，另一种用于还原$Z_x$。详情见[^37]。
为了训练AugCGAN，针对每个类别，我们通过将各种姿态下的无纹理3D网格投影到2D图像上来构建源域Y。目标域X则来自ImageNet中的图像集合[^38]，这些图像经过Mask R-CNN预处理以生成物体分割结果。在两个域中，物体都会被裁剪并随机旋转。AugCGAN会输出合成物体的“真实”图像，这些图像将被用于为HOPS-Net生成数据集。我们用Y表示源域的一个实例，用X表示目标域，而翻译后的“真实”图像同样记为X。由此得到的模型能够为我们生成用于HOPS-Net的真实训练数据，无需进行繁琐的手动标注。
### B. 为HOPS-Net生成标注
我们利用GraspIt! [^39]仿真环境来生成手持物体的数据集。其中，生成的图像$\hat{X}_M$和$\hat{X}_M^c$显示出的被分割物体常常被手部严重遮挡。每张图像都标注了手部姿态$\{\text{HS}, \text{HP}\}$以及物体的位姿和形状$\{\mathbf{p}, \mathbf{O}, \mathbf{M}\}$。我们将以这种方式生成的数据集称为“真实遮挡数据集”。
为了生成一个数据点，我们将网格M导入GraspIt!，并将物体渲染为姿态w以得到
---
图像$\mathbf{Y}_M$。随后我们裁剪该图像并将其输入AugCGAN以获得$\hat{\mathbf{X}}_M^c$。我们还会保存裁剪中心的坐标，以便通过将$\hat{\mathbf{X}}_M$放置到原始图像中来生成$\hat{\mathbf{X}}_M^c$。接着，我们导入参数化为HP的手部模型，HP是从包含稳定抓取姿态的集合$\mathcal{H}\mathcal{P}$中随机采样的。这些抓取姿态是通过EigenGrasp规划器[^40]离线生成的。我们通过筛选满足以下两个条件的抓取姿态来手动限定该集合：i) 所有指尖都与物体表面接触；ii) 生成的抓取姿态符合某一特定类别的物体在现实世界中的任务相关抓取分布，例如，杯状物体要么从顶部抓取，要么从侧面抓取，且拇指和食指靠近开口处，因为这类抓取方式便于提起或倾倒物品。
在真实图像上测试时，我们可能会得到有噪声的手部估计结果。为了更好地应对这种情况，我们通过向HP中的所有参数添加高斯噪声来扩充数据集，并渲染出由此产生的手-物配置图像。接着，通过计算带手图像与不带手图像之间的像素级差异来将手部区域掩码掉。所有存在差异的像素会被标记为白色，这样就得到了$\hat{X}_M$。我们也会裁剪该图像以获得$\hat{X}_M^c$。如果手部遮挡物体的面积不足50%，我们就将该图像保存为训练数据点，并通过人手模型的正向运动学从HP计算出HS；否则，我们就继续处理下一个实例。
### VI. 训练与推理
### A. 网络架构
在训练过程中，HOPS-Net的输入包括一个物体分割结果$\hat{\mathbf{X}}_M$、其裁剪图像$\hat{\mathbf{X}}_M^c$，以及一个处于标称方向的随机网格的二进制体素网格$\mathbf{M}_\mathbf{V}$。我们将$\hat{\mathbf{X}}_M$和$\hat{\mathbf{X}}_M^c$分别通过一组独立的卷积层，将输出展平后分别与HS和HP拼接起来。$\hat{\mathbf{X}}_M$和HS会被送入两个三层全连接层，以估计物体的位置$\tilde{\mathbf{p}}$；$\hat{\mathbf{X}}_M^c$和HP也会通过一个全连接层来提取中间特征$\psi^*(\hat{\mathbf{X}}_M^c, \mathbf{HP})$，再通过另外三个全连接层来得到物体朝向的估计值$\tilde{\mathbf{O}}$。同时，我们将$\mathbf{M}_\mathbf{V}$通过两个三维卷积层，将输出展平后再送入全连接层，得到与$\psi^*(\mathbf{M}_\mathbf{V})$维度相同的中间特征向量$\psi^*(\hat{\mathbf{X}}_M^c, \mathbf{HP})$。随后，这些中间特征会被送入孪生网络，最终提取出图像特征$\psi(\hat{\mathbf{X}}_M^c, \mathbf{HP})$和形状特征$\psi(\mathbf{M}_\mathbf{V})$，详见图6。
### B. 推理阶段
在推理阶段，首先使用Mask R-CNN对输入图像X进行预处理，以获取$\mathbf{X}_M$、$\mathbf{X}_M^c$以及物体类别c。我们借助HandNet来估计关节的标准化三维坐标以及手腕位置。将这些数值缩放以匹配GraspIt!中的手部模型，生成$\mathbf{HS}$，并通过逆运动学计算手部姿态和构型$\mathbf{HP}$。我们假设Mask R-CNN能够高精度地将物体从背景中分割出来，且HandNet得出的数值接近真实值。
Fig. 6: HOPS-Net architecture. Dotted rectangles show mappings $f : (\hat{\mathbf{X}}_M^c, \mathbf{H}\mathbf{P}) \mapsto \psi(\hat{\mathbf{X}}_M^c, \mathbf{H}\mathbf{P}), g : (\hat{\mathbf{X}}_M, \mathbf{H}\mathbf{S}) \mapsto \tilde{\mathbf{p}}$ and $h : (\hat{\mathbf{X}}_M^c, \mathbf{H}\mathbf{P}) \mapsto \tilde{\mathbf{O}}$.
HOPS-Net会估计$\tilde{\mathbf{p}}$和$\tilde{\mathbf{O}}$，并输出$\psi(\mathbf{X}_M^c, \tilde{\mathbf{H}}\mathbf{P})$。为了找到最匹配的物体形状，我们会最小化$\psi(\mathbf{X}_M^c, \tilde{\mathbf{H}}\mathbf{P})$与训练数据集中所有网格预先计算好的$\psi(\mathbf{M}_V)$之间的欧几里得距离。此外，由于$\tilde{\mathbf{O}}$并非正交矩阵，我们会从训练集中找出最接近的旋转矩阵$^3$，从而得到最近的正交矩阵。
### C. 姿态优化
估算出物体姿态后，我们将其与手部姿态对齐，从而生成可在GraspIt!中分析的合理抓取方案。为此，我们分别将人手模型和检索到的物体导入模拟器中的$\tilde{w}$和$\tilde{HP}$位置。我们假设手部姿态固定不变，通过最小化指尖位置与物体表面点之间的距离来优化物体姿态。
$$ \underset{\tilde{\mathbf{O}},\tilde{\mathbf{p}}}{\arg\min}\frac{1}{5}\sum_{\mathbf{x}_{f}\in\mathbf{H C}}\min_{\mathbf{x}_{m}\in\mathbf{M}}||\mathbf{x}_{f}-(\tilde{\mathbf{O}}\mathbf{x}_{m}+\tilde{\mathbf{p}})|| $$
此处，$\mathbf{x}_f \in \mathbb{R}^3$表示指尖位置，$\mathbf{x}_m \in \mathbb{R}^3$表示网格顶点的位置。优化过程受到位置不超过5厘米、朝向不超过5度的限制。这样虽然能得到优化的物体姿态，但仍无法保证手部与物体不会发生干涉。为解决这一问题，我们会固定物体姿态，运行规划器来计算出物理上可行且能形成力闭合的抓取方案。
### VII. 评估
我们在“真实”遮挡数据集上对形状检索和姿态估计的准确性进行了定量评估。为了探究手部信息对物体姿态估计的帮助程度，我们开展了消融实验，分别对比包含和不包含手部信息的模型训练结果。我们还展示了来自操作动作数据集中的一部分自然场景图像的定性结果[^5]。
$^{3}$我们还测试了矩阵正交化方法[^35]，但最终的方向估计结果采用最近邻方法时更佳，这可能是因为所估计的旋转矩阵远非正交。
---
Fig. 7: Accuracy-threshold curves for accuracy computed with the ADD (left) and ADD-s (right) metric. The curves are plotted for training cases i - iv).
| ADD | ADD-S |
| c | “real” | “real” | “real” | | “real” | “real” |
| occ. | occ. | occ. | “real” | occ. | occ. |
| + | + | + | occ. | + | + |
| HP, HS | HP, HS ref. | | | HP, HS | HP, HS ref. |
| bottle | 13.51 | 39.25 | 53.88 | 34.69 | 64.13 | 75.67 |
| mug | 8.47 | 21.33 | 23.38 | 53.45 | 67.77 | 71.77 |
| knife | 7.05 | 30.11 | 42.27 | 28.73 | 55.94 | 73.61 |
| bowl | 16.77 | 21.00 | 31.44 | 52.38 | 56.44 | 66.88 |
| avg | 11.45 | 27.92 | 37.44 | 42.31 | 61.07 | 71.98 |
Fig. 8: Area under the accuracy-threshold curve for ADD and ADD-s metrics. The results correspond to training cases ii)-iv).
### A. 评价指标
为了评估物体姿态估计的准确性，我们首先计算真实姿态下网格表面点与估计姿态下网格表面点之间的平均成对距离（也称为平均距离（ADD）指标[^41]）。
$$ \mathrm{A D D}=\frac{1}{m}\sum_{\mathbf{x}_{m}\in\mathbf{M}}||(\mathbf{O}\mathbf{x}_{m}+\mathbf{p})-(\tilde{\mathbf{O}}\mathbf{x}_{m}+\tilde{\mathbf{p}})||, $$
其中$\mathbf{x}_m \in \mathbf{M}$代表网格表面点。如果这一平均值低于特定阈值，则该姿态估计被视为正确。我们按照[^21]中的做法，将阈值从0变化到10厘米，针对每个阈值数值确定测试集中正确的样本数量。据此便可计算出准确率-阈值曲线下的面积。ADD指标存在一个问题：它会惩罚那些在对称物体类别中未包含在方向表示$\tilde{\mathbf{O}}$内的$\tilde{\mathbf{R}}$中的组件。为了避免对不可观测的自由度进行惩罚，我们选取$\tilde{\mathbf{O}}$中合适的列，并构造围绕这些轴的所有可能旋转矩阵（例如，表示瓶子和碗绕z轴旋转的矩阵）。随后我们计算每个矩阵的ADD值，并报告最小的ADD值。
尽管通过这种方式我们解决了对称物体的一些歧义性问题，但我们也报告了采用ADD-S指标[^21]得到的结果。在该指标中，真实姿态下网格表面点与估计姿态下网格表面点之间的平均成对距离是利用最近点距离而非对应点之间的距离来计算的：
$$ \mathrm{A D D-S}=\frac{1}{m}\sum_{\mathbf{x}_{m_{1}}\in\mathbf{M}}\min_{\mathbf{x}_{m_{2}}\in\mathbf{M}}||(\mathbf{O x}_{m_{1}}+\mathbf{p})-(\tilde{\mathbf{O}}\mathbf{x}_{m_{2}}+\tilde{\mathbf{p}})||, $$
其中$\mathbf{x}_{m_1}, \mathbf{x}_{m_2} \in \mathbf{M}$表示网格表面点。这是因为某些物体可能仅在特定的角度范围内具有对称性，例如，从某个视角看，杯子的把手可能不可见。若选择使ADD值最小的$\tilde{\mathbf{O}}$，就无法考虑到这种情况。
### B. 定量评估
1) 形状检索：为了对形状检索进行定量评估，我们计算$M_{V}$与$\overline{M}_{V}$之间的F1分数（图12）。我们还将“真实”遮挡数据集的测试样本以及训练集的网格映射到的学习嵌入空间进行了可视化展示（图11）。可视化结果显示，相似的图像和网格实例如果被判定为相似，则会被映射到彼此靠近的位置。由于测试集图像中存在大量遮挡情况，因此预计部分实例不会与任何网格靠近，从而在空间中央形成灰色区域。无论是否加入手部信息作为训练数据，定量结果均显示出轻微的提升。
Fig. 11: Shape embedding space. Blue squares indicate mapped mesh instances and gray squares image instances from the "real" occluded test set.
| $F_{1}$ score |
| c | “real” occ. | “real” occ. + HP, HS |
| bottle | 67.91 | 68.28 |
| mug | 49.42 | 51.28 |
| knife | 65.31 | 67.74 |
| bowl | 41.35 | 43.77 |
| avg | 55.99 | 57.76 |
Fig. 12: F1 scores for shape retrieval. The scores are calculated between $\tilde{M}_{V}$ and $M_{V}$ for training cases ii) and iii).
2) 姿态估计：在消融研究中，我们考虑了四种不同的训练数据情况：i) 仅使用“真实”图像；ii) 使用“真实”遮挡图像但不包含HP、HS；iii) 使用“真实”遮挡图像且HP、HS带有噪声；iv) 使用“真实”遮挡图像且HP、HS带有噪声并进行优化处理。我们在包含HP、HS的“真实”遮挡数据集上对该模型进行测试。每个类别的训练数据和测试数据按70:30的比例划分。
图7展示了训练案例ii)–iv)中ADD和ADD-S指标的准确率-阈值曲线，图8则给出了相应的定量结果。使用手部数据训练时效果更佳，经过优化后性能进一步提升，这验证了我们的假设：物体姿态估计会从手部参数的获取中受益。如果物体上的抓取方式符合现实世界的抓取分布，那么这种性能提升也在意料之中。我们通过实验发现，当抓取方式随机生成时，形状和姿态估计并不会有显著改善。
| Position MAE (cm) | Orientation MAE (deg) |
| c | “real” occ. | “real” occ. + HP, HS | “real” occ. + HP, HS ref. | c | “real” occ. | “real” occ. + HP, HS | “real” occ. + HP, HS | “real” occ. + HP, HS ref. |
| bottle | 4.125 | 2.549 | 1.836 | bottle | 23.97 | 16.91 | 14.37 | |
| mug | 3.957 | 3.188 | 2.936 | mug | 63.68 | 53.42 | 53.20 | |
| knife | 5.134 | 3.237 | 2.833 | knife | 81.51 | 43.31 | 42.64 | |
| bowl | 3.876 | 3.541 | 2.923 | bowl | 30.50 | 28.35 | 27.60 | |
| avg | 4.277 | 3.076 | 2.686 | avg | 49.91 | 35.49 | 34.45 | |
图13：训练案例ii)–iv)中p与$\bar{p}$之间的平均绝对误差MAE（单位：厘米）。
图14：训练案例ii)–iv)中O与$\bar{a}$之间的平均$\bar{O}$误差MAE（单位为$^{\circ}$）。
---
Fig. 9: Qualitative results on GUN71. We show two examples for bottle, mug, knife and bowl (from left to right). The first and the third row show images “in the wild” and the second and the fourth row show the object pose and the hand pose and configurations after refinement.
Fig. 10: Failure cases on GUN71. Top row shows images “in the wild” (one for each category) and the bottom row shows the object pose and the hand pose and configuration after refinement. White outline on the images in the first row indicates results of Mask R-CNN which affects the retrieved shape. Pose results show that when the estimates of the hand pose is wrong, the accuracy of the object pose is also incorrect.
图13和图14展示了训练案例ii)–iv)中位置和姿态的平均绝对误差（MAE）。引入手部信息后，位置和姿态的估计效果均有所提升。不过，位置估计相对容易，整体MAE小于5厘米，而姿态估计则要困难得多。其中瓶子和碗的姿态估计结果优于马克杯和刀。原因主要有两点：其一，瓶子和碗的姿态表示方式为$\mathbf{R} \in \mathbb{R}^3$，而马克杯和刀则为$\mathbf{R} \in \mathbb{R}^{6 \times 1} \times \mathbb{R}^{3 \times 3}$；其二，马克杯和刀需要检测更明显的特征，比如马克杯的把手和开口、刀的刀刃下侧。如果这些部位不可见或被手部遮挡，识别难度会更大。此外，碗比瓶子更难处理，因为碗的凹面——也就是最能反映姿态的特征——往往视觉上难以辨识。
### C. 在GUN71数据集上的定性评估
由于目前没有标注了物体和手部姿态的适用真实世界数据集，我们仅提供在GUN-71数据集上的定性结果[^5]。我们选取了HandNet和Mask R-CNN能够成功识别的各类别样本各两张，如图9所示。结果显示，即便存在大面积遮挡或透明情况，物体姿态和形状的估计结果在定性上仍较为合理。图10中的失败案例表明，一旦手部姿态估计不准确，物体姿态估计的精度就会下降。这是因为HOPS-Net在姿态存在不确定性时会依赖手部线索——比如瓶子的开口和底部有时难以区分，而准确的手部姿态估计有助于解决这一问题。
### VIII. 讨论与结论
我们提出了一种从RGB图像中估计新型手持物体的3D形状和6D姿态的方法。我们设计了CNN模型HOPS-Net，它以物体分割区域以及手部姿态和配置作为输入，输出用于匹配最相似网格的位置、姿态和形状特征。该模型利用手部信息辅助物体形状和姿态估计，还能进一步优化初始预测结果，从而在抓取模拟器中生成合理的抓取方案。该模型仅在合成数据上训练，这些合成数据通过图像到图像的翻译网络处理得更贴近真实场景。合成数据中还包含了在模拟器中用人体手部模型抓取物体时产生的手部遮挡情况。我们方法的局限性在于它依赖于现有的预处理方法，而这些方法往往不够精确。未来，我们计划联合学习手部和物体的估计方法，同时还会增加更多物体类别以拓展系统规模。
---
翻译网络。合成数据还包含了在模拟器中用人体手部模型抓取物体时产生的手部遮挡情况。我们方法的局限性在于它依赖于现有的预处理方法，而这些方法往往不够精确。未来，我们计划联合学习手部和物体的估计方法，同时还会增加更多物体类别以拓展系统规模。
## 参考文献
[^1]: M. Kokic, J. A. Stork, J. A. Haustein, and D. Kragic, “Affordance detection for task-specific grasping using deep learning,” in 2017 IEEE-RAS 17th International Conference on Humanoid Robotics (Humanoids). IEEE, 2017, pp. 91–98.
[^2]: R. Antonova, M. Kokic, J. Stork, and D. Kragic, “Global search with bernoulli alternation kernel for task-oriented grasping informed by simulation,” in Conference on Robot Learning, 2018.
[^3]: D. Damen, H. Doughty, G. Maria Farinella, S. Fidler, A. Furnari, E. Kazakos, D. Moltisanti, J. Munro, T. Perrett, W. Price, et al., “Scaling egocentric vision: The epic-kitchens dataset,” in Proceedings of the European Conference on Computer Vision (ECCV), 2018, pp. 720–736.
[^4]: Y. Li, Z. Ye, and J. M. Rehg, “Delving into egocentric actions,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2015, pp. 287–295.
[^5]: G. Rogez, J. S. Supancic, and D. Ramanan, “Understanding everyday hands in action from rgb-d images,” in Proceedings of the IEEE international conference on computer vision, 2015, pp. 3889–3897.
[^6]: C. Zimmermann and T. Brox, “Learning to estimate 3d hand pose from single rgb images,” in International Conference on Computer Vision, vol. 1, no. 2, 2017, p. 3.
[^7]: J. Romero, H. Kjellström, and D. Kragic, “Hands in action: Real-time 3d reconstruction of hands in interaction with objects,” in Robotics and Automation (ICRA), 2010 IEEE International Conference on. IEEE, 2010, pp. 458–463.
[^8]: I. Oikonomidis, N. Kyriazis, and A. A. Argyros, "Full dof tracking of a hand interacting with an object by modeling occlusions and physical constraints," 2011.
[^9]: J. Romero, H. Kjellström, C. H. Ek, and D. Kragic, “Non-parametric hand pose estimation with object context,” Image and Vision Computing, vol. 31, no. 8, pp. 555–564, 2013.
[^10]: M. Cai, K. M. Kitani, and Y. Sato, “A scalable approach for understanding the visual structures of hand grasps,” in 2015 IEEE International Conference on Robotics and Automation (ICRA). IEEE, 2015, pp. 1360–1366.
[^11]: Y. Yang, C. Fermuller, Y. Li, and Y. Aloimonos, "Grasp type revisited: A modern perspective on a classical feature for vision," in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2015, pp. 400–408.
[^12]: A. Saran, D. Teney, and K. M. Kitani, “Hand parsing for fine-grained recognition of human grasps in monocular images,” in 2015 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 2015, pp. 5052–5058.
[^13]: T. Feix, I. M. Bullock, and A. M. Dollar, “Analysis of human grasping behavior: Object characteristics and grasp type,” IEEE transactions on haptics, vol. 7, no. 3, pp. 311–323, 2014.
[^14]: M. Cai, K. M. Kitani, and Y. Sato, “Understanding hand-object manipulation with grasp types and object attributes,” in Robotics: Science and Systems, vol. 3, 2016.
[^15]: M. Cai, K. Kitani, and Y. Sato, “An ego-vision system for hand grasp analysis,” vol. 47, no. 4. IEEE, 2017, pp. 524–535.
[^16]: G. Garcia-Hernando, S. Yuan, S. Baek, and T.-K. Kim, “First-person hand action benchmark with rgb-d videos and 3d hand pose annotations,” arXiv preprint arXiv:1704.02463, vol. 1, no. 2, p. 7, 2017.
[^17]: H. Oh Song, Y. Xiang, S. Jegelka, and S. Savarese, “Deep metric learning via lifted structured feature embedding,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016, pp. 4004–4012.
[^18]: M. Aubry and B. C. Russell, “Understanding deep features with computer-generated imagery,” in Proceedings of the IEEE International Conference on Computer Vision, 2015, pp. 2875–2883.
[^19]: H. Izadinia, Q. Shan, and S. M. Seitz, “Im2cad,” in The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), July 2017.
[^20]: R. Girdhar, D. F. Fouhey, M. Rodriguez, and A. Gupta, “Learning a predictable and generative vector representation for objects,” in European Conference on Computer Vision. Springer, 2016, pp. 484–499.
[^21]: Y. Xiang, T. Schmidt, V. Narayanan, and D. Fox, “Posecnn: A convolutional neural network for 6d object pose estimation in cluttered scenes,” arXiv preprint arXiv:1711.00199, 2017.
[^22]: W. Kehl, F. Manhardt, F. Tombari, S. Ilic, and N. Navab, “Ssd-6d: Making rgb-based 3d detection and 6d pose estimation great again,” in Proceedings of the International Conference on Computer Vision (ICCV 2017), Venice, Italy, 2017, pp. 22–29.
[^23]: E. Brachmann, F. Michel, A. Krull, M. Ying Yang, S. Gumhold, et al., “Uncertainty-driven 6d pose estimation of objects and scenes from a single rgb image,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016, pp. 3364–3372.
[^24]: M. Sundermeyer, Z.-C. Marton, M. Durner, M. Brucker, and R. Triebel, “Implicit 3d orientation learning for 6d object detection from rgb images,” in European Conference on Computer Vision. Springer, 2018, pp. 712–729.
[^25]: V. Balntas, A. Doumanoglou, C. Sahin, J. Sock, R. Kouskouridas, and T.-K. Kim, “Pose guided rgbd feature learning for 3d object pose estimation,” in Proceedings of the IEEE International Conference on Computer Vision, 2017, pp. 3856–3864.
[^26]: S. Tulsiani, J. Carreira, and J. Malik, “Pose induction for novel object categories,” in Proceedings of the IEEE International Conference on Computer Vision, 2015, pp. 64–72.
[^27]: A. Grabner, P. M. Roth, and V. Lepetit, "3d pose estimation and 3d model retrieval for objects in the wild," in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018, pp. 3022–3031.
[^28]: S. Hinterstoisser, V. Lepetit, P. Wohlhart, and K. Konolige, “On pre-trained image features and synthetic images for deep learning,” in European Conference on Computer Vision. Springer, 2018, pp. 682–697.
[^29]: J. Tremblay, T. To, B. Sundaralingam, Y. Xiang, D. Fox, and S. Birchfield, “Deep object pose estimation for semantic robotic grasping of household objects,” arXiv preprint arXiv:1809.10790, 2018.
[^30]: J. N. Cederberg, A course in modern geometries. Springer Science & Business Media, 2013.
[^31]: N. Jacobson, Basic Algebra I: Second Edition, ser. Basic Algebra. Dover Publications, 2009. [Online]. Available:
[^32]: K. He, G. Gkioxari, P. Dollár, and R. Girshick, “Mask r-cnn,” in Computer Vision (ICCV), 2017 IEEE International Conference on. IEEE, 2017, pp. 2980–2988.
[^33]: G. Koch, R. Zemel, and R. Salakhutdinov, “Siamese neural networks for one-shot image recognition,” in ICML Deep Learning Workshop, vol. 2, 2015.
[^34]: R. Hadsell, S. Chopra, and Y. LeCun, “Dimensionality reduction by learning an invariant mapping,” in 2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'06), vol. 2. IEEE, 2006, pp. 1735–1742.
[^35]: A. Saxena, J. Driemeyer, and A. Y. Ng, “Learning 3-d object orientation from images,” in Robotics and Automation, 2009. ICRA'09. IEEE International Conference on. IEEE, 2009, pp. 794–800.
[^36]: J.-Y. Zhu, T. Park, P. Isola, and A. A. Efros, “Unpaired image-to-image translation using cycle-consistent adversarial networks,” arXiv preprint, 2017.
[^37]: A. Almahairi, S. Rajeswar, A. Sordoni, P. Bachman, and A. Courville, “Augmented cyclegan: Learning many-to-many mappings from unpaired data,” arXiv preprint arXiv:1802.10151, 2018.
[^38]: J. Deng, W. Dong, R. Socher, L.-J. Li, K. Li, and L. Fei-Fei, "Imagenet: A large-scale hierarchical image database," 2009.
[^39]: A. T. Miller and P. K. Allen, “Graspit! a versatile simulator for robotic grasping,” IEEE Robotics & Automation Magazine, vol. 11, no. 4, pp. 110–122, 2004.
[^40]: M. T. Ciocarlie and P. K. Allen, “Hand posture subspaces for dexterous robotic grasping,” The International Journal of Robotics Research, vol. 28, no. 7, pp. 851–867, 2009.
[^41]: S. Hinterstoisser, V. Lepetit, S. Ilic, S. Holzer, G. Bradski, K. Konolige, and N. Navab, “Model based training, detection and pose estimation of texture-less 3d objects in heavily cluttered scenes,” in Asian conference on computer vision. Springer, 2012, pp. 548–562.