# 在真实场景中重建手与物体的交互
曹哲 $^{*}$ 伊利亚·拉多萨沃维奇 $^{*}$ 安吉乌·金纳扎瓦 吉滕德拉·马利克 加州大学伯克利分校
Figure 1: Reconstructions in the wild. For each row, we show the input image (top), the reconstructed hand and object in two different viewpoints (bottom). Our method can achieve compelling results for a variety of object categories, grasp types, and interaction scenarios.
## 摘要
我们研究了从真实场景中的二维图像理解手与物体交互的问题。这需要将手和物体都重建为三维模型，但由于手与物体之间的相互遮挡，这一任务极具挑战性。本文做出了两项主要贡献：（1）一种全新的重建技术——RHO（即“重建手与物体”技术），该技术利用二维图像线索和三维接触先验来重建手与物体的三维模型；（2）一个名为MOW（“真实场景中的物体操控”数据集）的数据集，包含500个经过RHO技术“三维化”处理的手与物体交互图像样本。总体而言，我们的数据集涵盖了121种不同的物体类别，其操控动作的多样性也远超以往的数据集。
### 1. 引言
我们的手是与世界中物体交互的主要方式，反过来，我们也是以手的需求为出发点来设计世界的。因此，理解手与物体的交互是构建能够在现实世界中感知并行动的智能体的重要基础。例如，这有助于智能体学习物体的可供性[^10]、推断人类的意图[^27]，以及从人类那里学习操控技能[^34] [^26] [^33]。
那么，理解手与物体的交互意味着什么呢？我们认为，要完全捕捉手与物体交互的丰富性，就需要具备三维理解能力。一般来说，从单张RGB图像中理解三维信息本身就是一个约束条件不足的问题。在手与物体交互的场景中，由于物体操控过程中会出现大量遮挡、存在大量未收录于标注识别数据集的小型日常物品，以及难以建模的复杂细微交互，这一问题变得更加棘手。
总体而言，学界在这一目标上已经取得了显著进展。然而，由于获取真实场景下的三维标注数据难度较大，数据采集工作主要集中在实验室环境中[^12] [^61] [^9] [^2] [^47]。如图2所示，现有的实验室环境与真实场景中图像所呈现的环境及交互丰富度之间存在巨大差距。实际上，如表1所示，现有数据集的参与者和物体数量都十分有限。
---
Figure 2: Images from existing hand-object dataset. The reality gap between the existing in-the-lab datasets with 3D annotations (left) and in-the-wild images (right) is large.
本文做出了两项主要贡献：（1）我们开发了一种从真实场景中的单张图像重建三维手与物体的新技术，称为RHO，即“重建手与物体”技术；（2）我们利用该技术并结合人工干预，创建了一个全新的人类操控真实物体的三维数据集，我们将其命名为MOW。
具体而言，RHO是一种用于重建真实场景中手与物体交互的新颖的基于优化的方法。其核心思路是利用二维图像线索和三维接触先验来提供约束条件。RHO包含四个步骤：利用二维手部关键点估计手部姿态；利用二维物体掩码和深度信息通过可微渲染估计物体姿态；对三维空间中的手与物体配置进行联合优化；利用三维接触先验对姿态进行精细化调整。
我们方法的显著优势在于能够还原自然界中各种各样的物体——其数量比以往在人体-物体或手部-物体重建领域的研究成果高出数个数量级。要实现这一点需要多项创新。首先，我们发现可以利用现有的识别模型来获取未知物体类别的分割掩码。其次，我们提出了一种可扩展的数据驱动方法，用于强化接触先验约束，这些先验是从实验室中用仪器记录的3D动作捕捉数据中学习得到的。
我们在有真实标注的实验室环境中对RHO与现有方法进行了定量比较，同时在自然场景图像上进行了定性评估。结果显示，在实验室数据集上RHO的表现与最先进的方法不相上下。此外，我们发现现有方法在处理具有挑战性的自然场景图像时存在困难，这也凸显了我们所收集的数据集的必要性。
我们将该方法用作数据标注工具，引入人工干预主要出于两个原因：其一，是为了找到并准备好图像中被操纵物体的对应3D模型；其二，是通过迭代方式验证并调整方法的输出结果，以确保标注的高质量。借助这一流程，我们对来自EPIC Kitchens [^8]和100 Days of数据集的500张图像进行了标注。
| HO3D [^12] | CP [^2] | GRAB [^47] | Ours |
| setting | lab | lab | lab | wild |
| data type | video | video | MoCap | image |
| particip. | 10 | 50 | 10 | 450 |
| objects | 10 | 25 | 51 | 121 |
Table 1: Existing 3D hand-object datasets. Our dataset contains in-the-wild images, as shown in Figure 2 right, and a large number of different participants and objects.
这些数据涵盖了丰富多样的操作动作，我们还为它们补充了从121个物体类别中新收集的3D物体模型、3D物体姿态以及3D手部姿态信息，这些数据来自Hands [^40]数据集。
生成的数据集有多种用途。接下来我们重点介绍两种潜在的应用场景：其一，该数据集可用于在具有挑战性的自然场景数据上评估手部-物体重建方法；其二，它可用于从自然场景图像中深入了解人类的操作行为。例如，我们对数据进行了初步分析，发现了一些有趣的趋势（见图8）。
总而言之，我们的主要贡献包括：（1）我们提出了一种基于优化的新流程RHO，能够在自然场景中重建涵盖多种物体类别的手部-物体交互；（2）我们证明了该方法在定量和定性方面均优于现有方法，尤其是在自然场景环境下；（3）我们贡献了一个全新的3D数据集MOW，包含500张自然场景图像，涵盖121个物体类别，标注内容涉及实例类别、3D物体模型、3D手部姿态以及物体姿态。
我们建议读者访问项目页面以获取更多资料及数据下载说明。
### 2. 相关工作
3D手部姿态估计。以往许多关于手部姿态估计的研究，都是直接从深度图像[^41] [^44] [^46] [^51] [^55] [^56] [^29]或RGB图像[^36] [^30] [^3] [^54] [^60]中预测3D关节位置。一些近期的研究则预测3D手部关节旋转以及MANO[^37]等参数化手部模型的形状参数。基于拟合的方法[^32] [^52] [^19]会将此类参数化模型与2D关键点检测结果进行匹配，从而优化3D手部参数。基于学习的方法[^58] [^38]则利用深度网络直接从RGB图像输入中预测手部参数。最近，[^20] [^19]提出使用网格卷积来直接预测3D手部网格重建。我们采用基于学习的方法[^38]来获取初始的手部姿态估计结果，再通过施加2D手部关键点和3D手部-物体接触先验约束来进一步改进结果。
3D物体姿态估计。现有大量研究致力于从单张图像中估计3D物体姿态。有些方法[^50] [^21] [^11] [^22]利用神经网络——
---
Figure 3: Method. In this work, we propose an optimization-based method, called RHO, that leverages 2D image cues and 3D contact priors for reconstructing hand-object interactions in the wild. It consists of four steps: (a) hand pose estimation by 2D keypoints fitting, (b) object pose estimation via differentiable rendering, (c) joint optimization for hand-object configuration, and (d) hand pose refinement using 3D contact priors learnt from MoCap data.
来预测物体的形状、平移量以及相机坐标系中的全局朝向。这些方法通常在有限的物体类别上训练，难以推广到新物体。另一方面，有些方法[^24] [^28] [^53] [^57] [^45] [^39]假设已知3D物体模型，专注于6自由度物体姿态预测。在本研究中，我们采用了类似于[^45] [^57]的基于拟合的方法。我们的主要创新点在于引入了深度损失项，通过施加物体形状约束来提升预测效果。
3D手部与物体姿态估计。早期的手部和物体建模方法需要输入多视角图像[^31]或RGB-D序列[^51]。最近，[^15]提出了一种在合成数据上训练的深度学习模型，可从单目RGB图像中重建手部和物体网格。[^48]设计了一种神经网络，专门用于联合预测3D手部姿态和3D物体边界框，尤其适用于以自我为中心的场景。[^14]提出利用时间帧间的光度一致性作为额外信号，以便在标注数据较少的情况下训练模型。所有这些方法均在实验室环境或合成数据集上训练和测试。在本研究中，我们提出了一种无需3D监督的方法，并且我们是首个仅凭单张图像就能在真实场景中取得良好手-物交互效果的研究团队。
3D手-物体数据集。手部抓取场景的数据集通常需要人工标注[^43] [^6]或深度跟踪[^51]来获取真实值。为避免人工操作，[^9]采用带有磁传感器的动作捕捉系统来收集标注数据。[^15]则通过模拟方式收集合成的手-物体数据集。[^61] [^12]提出了一种基于多视角设置优化得到的大规模3D标注数据集。一些近期的数据集[^1] [^2] [^47]除了提供3D手部姿态和物体姿态外，还提供了手-物体接触区域的标注。接触区域的数据要么来自热传感器[^1] [^2]，要么来自基于标记的动作捕捉系统。所有这些数据集在建模3D手-物体交互方面付出了巨大努力，但由于特定的相机设置，它们只能在实验室环境中收集数据。因此，其中的参与者和物体数量有限（如表1所示）。在本研究中，我们贡献了一个包含野外图像和多样化物体类别的数据集。3D标注是通过运行我们的优化方法并辅以人工干预来获得的高质量结果。
优化3D交互。我们的方法与近期用于建模人与场景[^13]、人与物体[^57]以及多人之间[^16]的3D交互的基于优化的方法思路一致。为了获得良好的3D重建结果，这些方法需要额外的3D输入。例如，[^13]需要输入完整的3D重建场景网格以施加几何约束；[^57]需要手动标注人-物体网格顶点以确定细粒度的交互对，且仅适用于COCO中的8个物体类别[^25]。在本研究中，我们专注于建模手-物体交互。我们的主要优势在于无需额外输入即可处理野外环境中的多样化物体。我们提出利用可扩展的数据驱动方法来建模接触先验，该方法会利用现有的3D动作捕捉数据。结合获取物体掩码的新方法，我们的方法被证明能够重建涉及121种不同物体类别的手部交互。
### 3. 方法
我们首先介绍用于在野外重建手-物体交互的方法，称为RHO。如图3所示，该方法包含4个步骤：估计手部姿态、物体姿态、它们的3D配置，最后利用3D接触先验优化姿态。各步骤的中间结果如图4所示。我们将逐一描述每个步骤。
---
Figure 4: Intermediate results. Top row: input images. 2nd row: results from individually optimizing hand and object. 3rd row: results from joint optimization (two viewpoints per example). Bottom row: results after refinement.
接下来我们会详细说明。我们注意到，虽然RHO可应用于多个手和物体，但为简便起见，我们假设仅有一对手-物体对。我们将在后续章节中评估RHO、讨论新数据集MOW的构建过程，并展示相关分析结果。
#### 3.1. 手部姿态估计
RHO的第一步是手部姿态估计（图3a）。给定输入图像后，我们的目标是重建完整的3D手部网格。我们先使用基于学习的方法得到初步结果，再通过将其与2D手部关键点对齐来进一步优化估计结果。
特别地，我们使用由 MANO [^37] 定义的参数化模型来表示手部：$\mathbf{V}_h = H(\boldsymbol{\theta}, \boldsymbol{\beta})$，其中 $\boldsymbol{\theta} \in \mathbb{R}^{3 \times 15}$ 和 $\boldsymbol{\beta} \in \mathbb{R}^{10}$ 分别为姿态和形状参数。以单张 RGB 图像作为输入，我们使用 FrankMocap [^38] 来估计弱透视相机模型 $\Pi_h = (t_x, t_y, s_h)$ 以及初始 3D 手部参数 $\boldsymbol{\theta}$ 和 $\boldsymbol{\beta}$。我们通过拟合从 [^5] [^42] 获得的 2D 手部关键点，进一步优化手部姿态。
手部姿态优化的目标是最小化2D关键点检测结果与3D手部关键点的2D投影之间的差异：
$$ \boldsymbol{\theta}^{*},\boldsymbol{\beta}^{*}=\arg\min_{\boldsymbol{\theta},\boldsymbol{\beta}}L_{j o i n t s}+L_{r e g}, $$
该优化目标包含2D关键点距离项$L_{joints}$以及针对手部形状$L_{reg}$的正则化项$\beta$。
我们假设焦距f固定，从而将弱透视相机转换为透视相机。手部的深度通过焦距除以相机缩放系数$s_{h}$来近似计算。最终的手部顶点通过以下方式获得：
$$ \mathbf{V}_{h}^{*}=H(\boldsymbol{\theta}^{*},\boldsymbol{\beta}^{*})+[t_{x},t_{y},f/s_{h}], $$
#### 3.2. 物体姿态估计
在我们方法的下一步（见图3b），我们采用“分析-合成”方法来恢复物体姿态。给定输入图像和3D模型，我们希望优化物体缩放系数$s \in \mathbb{R}$、3D旋转参数$\boldsymbol{R} \in SO(3)$以及平移参数$\boldsymbol{T} \in \mathbb{R}^3$。我们使用可微渲染器[^17]将3D模型渲染成2D掩码和深度图。通过比较渲染出的掩码/深度图与目标数据，我们计算梯度以更新物体参数。
物体掩码估计。我们如何为自然图像中各种各样的物体获取优质的掩码呢？在大型标注数据集上训练的现代2D识别模型能够对真实世界数据给出合理的预测。然而，在我们的场景中，我们需要一系列物体类别的实例掩码，而这些类别甚至不在现有的标注数据集中（例如锅铲、钳子、麦克风等）。因此，我们不能指望现有模型在我们的环境中能正确识别这些物体。我们发现，即便预测的类别有误，对于多种物体而言，生成的实例掩码仍然相当合理。例如，模型虽然不知道锅铲的名称，但仍能将其分割出来（详见图9中的示例）。
基于这一观察，我们利用现有的识别模型来估计实例掩码，而忽略类别信息。具体来说，我们使用在COCO数据集上训练的PointRend模型[^18] [^25]。对于图像中所有物体实例的预测结果，我们通过运行手部检测器[^40]来确定手部正在交互的实例，即选择与检测到的手框具有最高IoU的实例。这种自动化的方法使我们能够获取超过100种日常物体的实例掩码，详见第5.3节。
掩码损失。给定估计出的物体掩码后，我们通过可微渲染来优化物体姿态。具体而言，我们将物体掩码损失定义为渲染出的掩码与估计出的物体掩码之间的L1差异：
$$ \begin{array}{r}{L_{m a s k}=\|\mathrm{N R}_{m}(s,\boldsymbol{R},\boldsymbol{T})-\boldsymbol{M}\|,}\end{array} $$
其中$\mathrm{NR}(\cdot)$表示可微渲染操作，即将3D网格渲染成2D掩码。
深度损失。虽然在某些情况下2D掩码损失已经足够，但它无法捕捉几何信息，且可能存在歧义——多种物体姿态可能产生相似的2D掩码（详见图10中的示例）。为解决这一问题，我们引入了新的损失项，该损失项用于将3D模型拟合到通过[^35]估计出的深度图D上：
$$ L_{d e p t h}=\|\mathrm{N R}_{d}(s,\boldsymbol{R},\boldsymbol{T})-\boldsymbol{D}\|, $$
物体姿态优化目标。结合掩码损失和深度损失，我们得到物体姿态估计的优化目标：
$$ s^{*},\boldsymbol{R}^{*},\boldsymbol{T}^{*}=\underset{s,\boldsymbol{R},\boldsymbol{T}}{\arg\min}\ L_{m a s k}+L_{d e p t h}, $$
---
我们在以物体为中心的图像区域内进行优化。我们初始设定若干随机初始姿态，然后选择能使损失值最小的那个姿态。
#### 3.3. 联合优化
在本节中，我们将介绍如何联合优化前几节得到的3D手部与物体结果（图3c）。若简单地将它们组合在一起，可能会得到不合理的手-物重建结果（图4，第2行），即手部与物体在3D空间中相距过远或发生相互穿透。造成这一问题的原因是仅基于2D输入时存在的深度与尺度歧义：距离相机较远的大物体，在2D图像中呈现的效果可能与距离相机较近的小物体相同。为了消除这种歧义，我们引入了基于手-物距离和碰撞情况的额外约束。
$$ \begin{aligned}L_{dist}=&\frac{1}{\left|V_{o}\right|}\sum_{x\in V_{o}}\min_{y\in V_{h}}\|x-y\|_{2}\\&+\frac{1}{\left|V_{h}\right|}\sum_{y\in V_{h}}\min_{x\in V_{o}}\|x-y\|_{2}.\end{aligned} $$
交互损失。重建出的手部与物体在3D空间中可能相距较远。然而当手部与物体发生交互时，二者之间的距离应当较小。为了促使交互对物体在3D空间中更靠近手部，我们基于二者的倒角距离定义了交互损失。
对于网格中的每个顶点，倒角距离函数会找到另一组点集中最近的点，并将这些距离相加。我们发现这一损失项有助于通过将物体移近手部来修正其尺度。
碰撞损失。仅使用交互损失可能会导致不合理的伪影，例如手部与物体发生碰撞。为了解决这一问题，我们增加了穿透损失项，用于惩罚位于手部网格内部的物体顶点。我们利用手部网格的符号距离场（SDF）来判断是否有物体顶点位于手部内部。我们首先计算出围绕手部的紧凑包围盒，并将其体素化为用于存储SDF值的3D网格。对于手部网格，我们使用修改后的SDF函数$\phi$：
$$ \phi(\boldsymbol{c})=-\min(\mathrm{S D F}(c_{x},c_{y},c_{z}),0). $$
对于3D网格中的每个体素单元$c = (c_x, c_y, c_z)$，若该单元位于手部网格内部，则$\phi$取正值，其大小与到手表面的距离成正比；而若位于手部网格外部，则$\phi$的值为0。此时，穿透损失可表示为：
$$ L_{c o l l i s i o n}=\sum_{\mathbf{v}\in V_{o}^{*}}\phi(\mathbf{v}), $$
其中$\phi(v)$以可微的方式从3D手部网格中采样每个物体顶点v对应的SDF值。
Figure 5: Qualitative results. Our method produces reconstructions of reasonably high-quality across a range of viewpoints, activities, and objects.
联合优化目标。结合物体姿态估计中的各项损失项，我们得到用于联合优化手部与物体的整体目标：
$$ \begin{array}{r}{L=\lambda_{1}L_{m a s k}+\lambda_{2}L_{d e p t h}+\lambda_{3}L_{d i s t}+\lambda_{4}L_{c o l l i s i o n}.}\end{array} $$
#### 3.4. 姿态精细化
物理上合理的手-物重建不仅应无碰撞，还需具备足够的手-物接触面积以支撑相应动作。然而，3.3节中描述的交互损失并未考虑细粒度的手-物接触情况。为了进一步精细化3D重建结果，我们在RHO流程的最后一步对手-物接触施加约束（图3d）。
如果我们能获得手部与物体的逐顶点接触区域标注，就能轻松解决这一问题，因为这样我们可以强制使接触区域更紧密。不过，要为大量自然场景图像获取此类标注颇具挑战性。作为一种更具扩展性的解决方案，我们从大规模手部动作捕捉数据集[^47]中学习3D接触先验。这些先验包含了人可能会接触到的物体区域。例如，人更有可能握住杯子的把手。
利用联合优化得到的手部网格和物体网格，我们希望更新手部姿态，使其与物体的接触更加合理。我们训练了一个小型网络来进行手部姿态的精细化处理。
该网络的输入为初始手部参数 $(\theta, \gamma)$，以及从手部顶点 $\pmb{F}$ 到物体顶点 $V_{h}^{*}$ 的距离场 $V_{o}^{*}$。对于每一个手部顶点 $v_{h}$，我们都会计算它到最近的物体顶点的距离：
$$ \boldsymbol{F}(\boldsymbol{v}_{h})=\min_{\boldsymbol{v}_{o}\in\boldsymbol{V}_{o}^{*}}\|\boldsymbol{v}_{h}-\boldsymbol{v}_{o}\|_{2}^{2} $$
随后，网络会以迭代的方式精细化手部参数 $(\theta, \beta)$。每次迭代之后，手部与物体之间的距离场都会被更新，以便将其用作
---
Figure 6: Qualitative comparison in the wild. Compared to existing method [^14], our approach produces better hand-object reconstruction across diverse object categories.
下一步的输入。训练数据是通过扰动真实的手部姿态参数和平移量来生成的，以此模拟有噪声的输入估计。如图4所示，我们可以观察到精细化处理后的结果（第4行）能够比前一步（第3行）重建出更逼真的手与物体之间的交互效果。
### 4. 方法评估
在本节中，我们在两种场景下将我们的方法与现有方法进行比较：在实验室中进行定量比较，以及在真实环境中进行定性比较。我们还进一步展示了关于方法不同方面的消融研究。
#### 4.1. 实验室中的定量比较
在表2中，我们在HO3D数据集 [^12] 和FPH数据集 [^9] 中对我们的方法进行了定量评估。HO3D [^12] 数据集包含68个视频序列、10名受试者和10个物体的手部与物体的3D标注信息。FPHA [^9] 数据集利用动作捕捉系统来记录手与物体的交互情况；其中4个物体和部分视频提供了3D物体姿态标注。我们采用了与 [^14] 相同的测试划分方式进行比较。
对比方法：我们与最先进（SOTA）的方法 [^14] 进行对比，两者使用的输入均为单目RGB图像和已知的3D物体模型。[^14] 采用前馈神经网络来预测3D手部姿态和物体姿态，其单帧模型在完整的3D监督下表现出最先进的性能。
评估指标：我们报告了21个手部关节的平均误差（MAE）。该误差衡量的是预测结果与真实值之间的欧几里得距离。按照 [^12] 的做法，我们会在将手部根部位置和全局尺度与真实值对齐后再计算误差。
在评估物体姿态时，我们计算真实物体顶点与预测物体顶点（通过用预测的物体姿态旋转输入的CAD模型得到）之间的Chamfer距离。
| Metrics | [^14] | Ours | Metrics | [^14] | Ours |
| Hand MAE $\downarrow$ | 14.7 | 9.7 | Hand MAE $\downarrow$ | 18.0 | 14.2 |
| Obj CF dist $\downarrow$ | 26.8 | 19.9 | Obj MAE $\downarrow$ | 22.3 | 23.9 |
Table 2: Quantitative comparison in the lab. Our method achieves results better or on par with the state of the art on popular in-the-lab datasets: HO3D (left) and FPHA (right).
| HO Distance $\downarrow$ | Collision Score $\downarrow$ |
| Individual results | 414.8 | 0 |
| + Interaction loss | 71.5 | 39.8 |
| + Depth loss | 75.2 | 17.6 |
| + Penetration loss | 76.4 | 7.7 |
| + Refinement | 75.8 | 6.5 |
Table 3: Ablations on loss terms and pose refinement. From top to bottom, we add each component one by one (cumulative) and evaluate the prediction in terms of the distance between hand and object, and the collision score.
结果。表 2 显示，在 3D 手部和物体误差方面，我们的方法达到了比 [^14] 更高的精度。在 HO3D 数据集（左表）中，我们的预测具有更小的手部关节误差（9.7 mm vs. 14.7 mm），以及更小的物体 Chamfer 距离（19.9 vs. 26.8）。在 FPHA 数据集（右表）中，我们的方法实现了更小的手部关节误差（14.2 mm vs. 18.0 mm）。我们的物体误差略大于 [^14]。主要原因是 [^14] 使用了 FPHA 的动作划分，即具有不同动作标签的相同物体被用于训练和测试。相比之下，我们的方法在这些数据集上直接进行测试，无需 3D 监督。
#### 4.2. 真实环境中的定性比较
在图6中，我们展示了使用来自[^14]的真实场景图像与[^40]进行的并列定性比较，这清楚地显示了我们方法的优势。尽管[^14]在实验室环境中表现良好，但在真实场景图像上却表现不佳。这主要是由于缺乏包含多样化物体类别的标注真实场景训练数据。因此，在实验室中基于有限物体类别训练的模型难以泛化到新的未见物体上。
#### 4.3. 消融实验
现在我们介绍该方法的消融实验。我们评估联合优化损失项和细化阶段对整体结果的影响。我们报告估计的手部与物体中心之间的距离，以及基于SDF计算的碰撞得分。物体与手部相交程度越大，碰撞得分就越高。良好的重建结果应具有较小的碰撞得分和较小的手-物距离。
在表3中，我们发现单独重建的手部和物体相距甚远，导致距离较大且无碰撞。加入交互损失后，
---
Figure 7: Example annotations. We use the techniques proposed in this work to annotate in-the-wild images and obtain 3D meshes, amodal masks, and contact maps.
距离迅速减小到71.5毫米，但也会产生较大的碰撞，即39.8。加入深度和碰撞损失后，碰撞得分降至7.7，同时手-物距离仍保持在相近水平，即76.4毫米。细化阶段会对最终结果进行微调，能够略微降低碰撞得分（6.5对比7.7）和手-物距离（75.8毫米对比76.4毫米）。这些发现与图4中的可视化结果一致。
### 5. 数据集
我们描述了数据集的收集流程，并给出分析以凸显数据的多样性。
图像集合。作为真实场景数据的来源，我们使用了EPIC Kitchens [^8] [^7]和100 Days of Hands [^40]数据集中的静态帧，需注意我们并未利用任何时序信息。这些数据集包含了多种有趣的手-物交互场景，涉及多样化的物体、人物和视角（第一人称和第三人称）。为了确定用于重建的候选图像，我们使用手部与物体检测器[^40]，挑选出物体与手部边界框重叠度较高的图像。
#### 5.1. 数据集构建
我们的标注流程分为三步：选择3D物体模型、使用第3节提出的方法进行重建，以及对结果进行验证。
步骤1：模型选择。标注的第一步要求标注员为手部操作的物体选择合适的3D物体模型。我们维护着一个可用的物体模型库。如果所需物体已在库中，标注员可直接选择该模型；若不在库中，标注员需在线找到合适的模型并将其添加到库中。我们主要使用的两个3D物体模型来源是YCB数据集[^4]和Free3D在线平台。
| Object IoU | Hand IoU | Quality | Match? |
| Large | 0.84 | 0.67 | - | - |
| Medium | 0.78 | 0.69 | - | - |
| Small | 0.64 | 0.63 | - | - |
| All | 0.77 | 0.68 | 4.16 | 92% |
Table 4: Dataset evaluation. Left: Amodal masks derived from our 3D annotations have a high overlap with ground truth amodal masks labeled by humans. Right: Users, asked to rate the quality of our 3D annotations from 1 to 5, find that they are of good quality on average and include a 3D object model that matches the true object in most cases.
步骤2：重建。接下来，我们使用第3节提出的名为RHO的方法进行手-物重建。这一步骤是半自动的，需要标注员选择合适的损失权重以获得良好的重建效果。实践中，大多数标注员发现我们的默认损失设置能提供一个合理的起点。
步骤3：验证。实践中我们发现，RHO在许多情况下都能生成良好的重建结果。然而，由于歧义性，不同视角下的结果仍可能存在瑕疵。因此，为确保标注质量，我们会增加一个步骤来验证步骤2中获得的重建结果。具体而言，我们会要求标注员检查步骤2的结果，并采取以下三种操作之一：若结果良好则予以接受；若有改进潜力则将其退回步骤2；若不太可能进一步优化则将其排除在外。我们会与步骤2反复迭代，直至得到质量合理的重建结果集。
总结而言，我们的标注流程输出结果为：针对每张图像，我们可获得3D物体模型、3D物体姿态以及3D手部姿态。此外，我们还能轻松衍生出其他标注，例如非模态掩码或接触图。示例标注如图7所示。
#### 5.2. 数据集评估
3D数据标注难度较大，评估标注质量则更难。为了评判所收集标注的质量，我们采用两种评估方式。评估工作是在100张图像的样本集上进行的。
非模态掩码准确率。为了评估我们的标注结果，我们需要一种能够预测重建质量且能被人类可靠标注的信号。包含物体可见部分与被遮挡部分的非模态实例掩码[^23]恰好符合这一要求。仅凭借图像的可见部分，隐藏的物体部分就有多种合理的排列方式，尤其是像手这样的关节类物体。不过，人类能够以较高的一致性预测被遮挡区域[^59]。
我们要求人工标注员为手和物体标注非模态掩码，以此作为基准真值。随后我们将从重建结果中得出的非模态掩码与之进行比较。
---
Figure 8: Variety of objects and grasps. We present analysis that shows the variety of objects and grasp types in our data. Top left: Our data contains 121 object categories and a total of 500 instances. The object distribution has a long tail. Top right: We embed 3D hand poses into 2D space using Isomap [^49]. Each point is a hand-object interaction and is color-coded by object category. We notice that there is a cluster of pens but no other clear clusters. This suggests that our data contains a variety of grasp types for each object category rather than only iconic grasps. Indeed, we see examples of different object categories with similar grasp types (pen and spoon) and same object category with different grasp types (pen). Bottom: We observe that the first embedding dimension (x axis) corresponds to the closure of the grasp. We show examples for increasing value of x. From left to right, we see that the grasps gradually transitions from fully closed to fully open.
基准真值。表4中我们报告了手和物体的平均交并比（IoU）得分。与[^25]类似，我们展示了不同物体尺寸下的结果。我们发现，我们的非模态掩码与基准真值的重叠度很高。不出所料，较大物体的重叠度更高。
用户研究。我们还开展了用户研究。给定输入图像及标注好的手-物体重建结果后，我们要求用户对每个示例按1到5的等级评定质量分数。评分标准为：若重建效果较差（例如存在严重碰撞或手远离物体），则评分为1；若无明显瑕疵，则评分为5。用户可以在3D可视化界面中旋转结果，从不同角度查看。我们还要求用户判断图像中的物体是否与3D模型匹配。
表4中我们报告了研究结果。我们获得的平均重建质量为4.16分。这表明我们的标注大多质量良好。此外，我们发现92%的情况下3D物体模型与真实物体相匹配。在剩余的8%中，大多数情况是由于网格拓扑不精确所致，例如将圆柱体拟合到带把手的杯子上。
#### 5.3. 数据集分析
我们使用所提出的流程标注了500张图像。现在我们将对收集到的数据进行分析。
物体多样性。我们的数据集包含121个物体类别，涵盖了各类日常物品。图8左上角展示了出现频率最高的50种物体的分布情况。其中一些类别的样本数量较多，而样本数量较少的物体类别则呈长尾分布。
掌握多样性。我们数据的一个独特之处在于它提供了各种现实场景中的手-物体交互情况。这使我们能够利用真实世界的数据来研究并了解人类的抓握方式。在图8的右上角，我们使用Isomap将3D手部姿态嵌入到2D空间中 [^49]。每个点对应一种交互方式，并根据物体类别进行颜色编码。
我们观察到左侧有一群笔，但没有其他明显的聚类。这表明我们的数据中包含了每种物体类别下的多种抓握类型，而不仅仅是典型的抓握方式。实际上，仔细观察我们会发现，不同物体类别中存在许多相似的抓握示例（例如笔和勺子），同一物体类别下也存在不同的抓握类型（例如笔）。
抓握结构。我们在数据中进一步观察到了一个有趣的模式。具体而言，我们发现手部姿态嵌入的第一个维度（x轴）对应于手的闭合程度。在图8下方，我们展示了x值逐渐增大时的示例图像。可以看到，抓握方式从完全闭合逐渐过渡到完全张开。
### 6. 结论
在这项工作中，我们提出了一种借助2D图像线索和3D接触先验来重建手-物体交互的新技术。我们将该技术与人类干预相结合，构建了一个全新的野外3D手-物体交互数据集。我们鼓励读者访问项目页面以获取更多相关资料。
致谢。本研究得到了DARPA机器常识计划的支持。
---
Figure 9: Unlabeled object categories. We are interested in reconstructing object categories that are not labeled in existing image segmentation datasets. Our key insight that allows us to do this is that the models trained on large labeled datasets can produce reasonable object masks even if the category predictions are incorrect, as shown here.
Figure 10: The effect of the depth loss. We show the predicted 2D object mask visualized in the image (top-left), the predicted depth map (top-right), the object pose estimation result without depth loss (bottom-left), and the result with depth loss (bottom-right).
## 附录
在本附录中，我们提供了关于2D物体掩码、深度损失以及实现细节的更多信息。我们还补充了主文中未提及的失败案例和额外的定性示例。
## 物体掩码
在图9中，我们展示了针对现有物体分割数据集中未标注的物体类别的模型预测示例。我们发现，即使预测的类别有误，生成的物体掩码也相当合理。例如，模型虽然不知道铲子叫什么，但仍能将其正确分割出来。我们在方法中利用了这一特性来重建各类物体。
## 深度损失
在图10中，我们展示了深度损失对物体姿态估计的影响。在某些情况下，仅使用2D掩码损失是不够的，因为它无法捕捉几何信息且容易产生歧义——如底部两行结果所示，多种物体姿态可能产生相似的2D掩码。
Figure 11: Failure cases. We show failure cases of different parts of our method: hand pose estimation (left), object pose estimation (middle), and the joint optimization (right).
为了解决这种歧义问题，我们引入了一种新的深度损失，用于比较渲染出的物体深度图与通过现成方法估算出的深度图之间的差异。如最终结果所示，这一额外损失使我们的方法能够更精确地估计物体的朝向。
## 实现细节
为了加快优化速度，我们对3D物体模型进行预处理，使其面数约为800个。在进行物体姿态估计时，我们采用从$[-\pi, \pi]$中均匀采样的1000种初始物体旋转参数；物体平移参数则初始化为零。我们会选择损失值最低的物体姿态。在优化手部姿态时，我们会根据每个预测出的手部关节的置信度分数，对2D关键点损失$L_{2D}$赋予相应的权重。对于手部与物体的联合优化，默认的损失权重如下：$\lambda_1 = 200$、$\lambda_2 = 20$、$\lambda_3 = 1000$、$\lambda_4 = 5$。在计算手部与物体之间的相互穿透损失时，我们会将手部网格体素化到$32 \times 32 \times 32$网格中。对于细化网络，我们使用10,000个物体顶点来计算手部到物体的距离场D，并进行3次细化迭代。实际测试中，使用GTX 2080 Ti GPU处理一张图像时，我们的方法运行时间约为1分钟，其中优化物体姿态耗时约18秒，联合优化耗时约30秒。
## 失败案例
在图11中，我们展示了该方法典型的失败模式。左列显示的是当手部被严重遮挡或在图像中被裁剪时，手部姿态估计出现失误的情况。中间列展示了由于2D掩码存在歧义（上图）以及物体模型不完美（下图）导致的物体姿态预测错误现象。右列则给出了联合优化收敛到不良局部极小值的示例。
---
Figure 12: Additional qualitative results. Our method, RHO, produces strong results for a range of interactions and objects.
---
## 参考文献
[^1]: Samarth Brahmbhatt, Cush Ham, Charles C. Kemp, and James Hays. ContactDB: Analyzing and predicting grasp contact via thermal imaging. In CVPR, 2019. 3
[^2]: Samarth Brahmbhatt, Chengcheng Tang, Christopher D. Twigg, Charles C. Kemp, and James Hays. ContactPose: A dataset of grasps with object contact and hand pose. In ECCV, 2020. 1, 2, 3
[^3]: Yujun Cai, Liuhao Ge, Jianfei Cai, and Junsong Yuan. Weakly-supervised 3d hand pose estimation from monocular rgb images. In ECCV, 2018. 2
[^4]: Berk Calli, Arjun Singh, Aaron Walsman, Siddhartha Srinivasa, Pieter Abbeel, and Aaron M Dollar. The ycb object and model set: Towards common benchmarks for manipulation research. In ICRA, 2015. 7
[^5]: Zhe Cao, Gines Hidalgo Martinez, Tomas Simon, Shih-En. Wei, and Yaser Sheikh. Openpose: Realtime multi-person 2d pose estimation using part affinity fields. TPAMI, 2019. 4
[^6]: Enric Corona, Albert Pumarola, Guillem Alenya, Francesc Moreno-Noguer, and Grégory Rogez. Ganhand: Predicting human grasp affordances in multi-object scenes. In CVPR, 2020. 3
[^7]: Dima Damen, Hazel Doughty, Giovanni Maria Farinella, Antonino Furnari, Evangelos Kazakos, Jian Ma, Davide Moltisanti, Jonathan Munro, Toby Perrett, Will Price, et al. Rescaling egocentric vision. arXiv:2006.13256, 2020. 7
[^8]: Dima Damen, Hazel Doughty, Giovanni Maria Farinella, Sanja Fidler, Antonino Furnari, Evangelos Kazakos, Davide Moltisanti, Jonathan Munro, Toby Perrett, Will Price, et al. Scaling egocentric vision: The epic-kitchens dataset. In ECCV, 2018. 2,7
[^9]: Guillermo Garcia-Hernando, Shanxin Yuan, Seungryul Baek, and Tae-Kyun Kim. First-person hand action benchmark with RGB-D videos and 3D hand pose annotations. In CVPR, 2018. 1, 3, 6
[^10]: James J Gibson. The theory of affordances. Hilldale, USA, 1977. 1
[^11]: Georgia Gkioxari, Jitendra Malik, and Justin Johnson. Mesh r-cnn. In ICCV, 2019. 2
[^12]: Shreyas Hampali, Mahdi Rad Markus Oberweger, and Vincent Lepetit. Honnotate: A method for 3d annotation of hand and object poses. In CVPR, 2020. 1, 2, 3, 6
[^13]: Mohamed Hassan, Vasileios Choutas, Dimitrios Tzionas, and Michael J. Black. Resolving 3D human pose ambiguities with 3D scene constraints. In ICCV, 2019. 3
[^14]: Yana Hasson, Bugra Tekin, Federica Bogo, Ivan Laptev, Marc Pollefeys, and Cordelia Schmid. Leveraging photometric consistency over time for sparsely supervised hand-object reconstruction. In CVPR, 2020. 3, 6
[^15]: Yana Hasson, Gül Varol, Dimitris Tzionas, Igor Kalevatykh, Michael J. Black, Ivan Laptev, and Cordelia Schmid. Learning joint reconstruction of hands and manipulated objects. In CVPR, 2019. 3
[^16]: Wen Jiang, Nikos Kolotouros, Georgios Pavlakos, Xiaowei Zhou, and Kostas Daniilidis. Coherent reconstruction of multiple humans from a single image. In CVPR, 2020. 3
[^17]: Hiroharu Kato, Yoshitaka Ushiku, and Tatsuya Harada. Neural 3d mesh renderer. In CVPR, 2018. 4
[^18]: Alexander Kirillov, Yuxin Wu, Kaiming He, and Ross Girshick. Pointrend: Image segmentation as rendering. In CVPR, 2020. 4
[^19]: Dominik Kulon, Riza Alp Guler, Iasonas Kokkinos, Michael M. Bronstein, and Stefanos Zafeiriou. Weakly-supervised mesh-convolutional hand reconstruction in the wild. In CVPR, 2020. 2
[^20]: Dominik Kulon, Haoyang Wang, Riza Alp Güler, Michael Bronstein, and Stefanos Zafeiriou. Single image 3d hand reconstruction with mesh convolutions. BMVC, 2019. 2
[^21]: Abhijit Kundu, Yin Li, and James M Rehg. 3d-rcnn: Instance-level 3d object reconstruction via render-and-compare. In CVPR, 2018. 2
[^22]: Weicheng Kuo, Anelia Angelova, Tsung-Yi Lin, and Angela Dai. Mask2cad: 3d shape prediction by learning to segment and retrieve. ECCV, 2020. 2
[^23]: Ke Li and Jitendra Malik. Amodal instance segmentation. In ECCV, 2016. 7
[^24]: Joseph J Lim, Hamed Pirsiavash, and Antonio Torralba. Parsing ikea objects: Fine pose estimation. In ICCV, 2013. 3
[^25]: Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, and C Lawrence Zitnick. Microsoft coco: Common objects in context. In ECCV, 2014. 3, 4, 8
[^26]: Priyanka Mandikal and Kristen Grauman. Dexterous robotic grasping with object-centric visual affordances. arXiv:2009.01439, 2020. 1
[^27]: Andrew N Meltzoff. Understanding the intentions of others: re-enactment of intended acts by 18-month-old children. Developmental psychology, 1995. 1
[^28]: Frank Michel, Alexander Kirillov, Eric Brachmann, Alexander Krull, Stefan Gumhold, Bogdan Savchynskyy, and Carsten Rother. Global hypothesis generation for 6d object pose estimation. In CVPR, 2017. 3
[^29]: Gyeongsik Moon, Ju Yong Chang, and Kyoung Mu Lee. V2v-posenet: Voxel-to-voxel prediction network for accurate 3d hand and human pose estimation from a single depth map. In CVPR, 2018. 2
[^30]: Franziska Mueller, Florian Bernard, Oleksandr Sotnychenko, Dushyant Mehta, Srinath Sridhar, Dan Casas, and Christian Theobalt. Generated hands for real-time 3d hand tracking from monocular rgb. In CVPR, 2018. 2
[^31]: Iason Oikonomidis, Nikolaos Kyriazis, and Antonis A Argyros. Full dof tracking of a hand interacting with an object by modeling occlusions and physical constraints. In ICCV, 2011. 3
[^32]: Georgios Pavlakos, Vasileios Choutas, Nima Ghorbani, Timo Bolkart, Ahmed A. A. Osman, Dimitrios Tzionas, and Michael J. Black. Expressive body capture: 3d hands, face, and body from a single image. In CVPR, 2019. 2
## [^33]: Xue Bin Pe-tendra Malik, Pieter Abbent learning
---
[^34]: Ilija Radosavovic, Xiaolong Wang, Lerrel Pinto, and Jitendra Malik. State-only imitation learning for dexterous manipulation. In IROS, 2021. 1
[^35]: René Ranftl, Katrin Lasinger, David Hafner, Konrad Schindler, and Vladlen Koltun. Towards robust monocular depth estimation: Mixing datasets for zero-shot cross-dataset transfer. TPAMI, 2020. 4
[^36]: Javier Romero, Hedvig Kjellström, and Danica Kragic. Hands in action: real-time 3d reconstruction of hands in interaction with objects. In ICRA, 2010. 2
[^37]: Javier Romero, Dimitrios Tzionas, and Michael J Black. Embodied hands: Modeling and capturing hands and bodies together. TOG, 2017. 2, 4
[^38]: Yu Rong, Takaaki Shiratori, and Hanbyul Joo. Frankmocap: Fast monocular 3d hand and body motion capture by regression and integration. arXiv:2008.08324, 2020. 2, 4
[^39]: Mihir Sahasrabudhe, Zhixin Shu, Edward Bartrum, Riza Alp Guler, Dimitris Samaras, and Iasonas Kokkinos. Lifting autoencoders: Unsupervised learning of a fully-disentangled 3d morphable model using deep non-rigid structure from motion. In ICCV, 2019. 3
[^40]: Dandan Shan, Jiaqi Geng, Michelle Shu, and David Fouhey. Understanding human hands in contact at internet scale. In CVPR, 2020. 2, 4, 6, 7
[^41]: Toby Sharp, Cem Keskin, Duncan Robertson, Jonathan Taylor, Jamie Shotton, David Kim, Christoph Rhemann, Ido Leichter, Alon Vinnikov, Yichen Wei, et al. Accurate, robust, and flexible real-time hand tracking. In CHI, 2015. 2
[^42]: Tomas Simon, Hanbyul Joo, Iain Matthews, and Yaser Sheikh. Hand keypoint detection in single images using multiview bootstrapping. In CVPR, 2017. 4
[^43]: Srinath Sridhar, Franziska Mueller, Michael Zollhöfer, Dan Casas, Antti Oulasvirta, and Christian Theobalt. Real-time joint tracking of a hand manipulating an object from rgb-d input. In ECCV, 2016. 3
[^44]: Srinath Sridhar, Antti Oulasvirta, and Christian Theobalt. Interactive markerless articulated hand motion tracking using RGB and depth data. In ICCV, 2013. 2
[^45]: Xingyuan Sun, Jiajun Wu, Xiuming Zhang, Zhoutong Zhang, Chengkai Zhang, Tianfan Xue, Joshua B Tenenbaum, and William T Freeman. Pix3d: Dataset and methods for single-image 3d shape modeling. In CVPR, 2018. 3
[^46]: Andrea Tagliasacchi, Matthias Schröder, Anastasia Tkach, Sofien Bouaziz, Mario Botsch, and Mark Pauly. Robust articulated-icp for real-time hand tracking. In Computer Graphics Forum, 2015. 2
[^47]: Omid Taheri, Nima Ghorbani, Michael J. Black, and Dimitrios Tzionas. GRAB: A dataset of whole-body human grasping of objects. In ECCV, 2020. 1, 2, 3, 5
[^48]: Bugra Tekin, Federica Bogo, and Marc Pollefeys. H+o: Unified egocentric recognition of 3d hand-object poses and interactions. In CVPR, 2019. 3
[^49]: Joshua B Tenenbaum, Vin De Silva, and John C Langford. A global geometric framework for nonlinear dimensionality reduction. Science, 2000. 8
[^50]: Shubham Tulsiani, Saurabh Gupta, David Fouhey, Alexei A. Efros, and Jitendra Malik. Factoring shape, pose, and layout from the 2d image of a 3d scene. In CVPR, 2018. 2
[^51]: Dimitrios Tzionas, Luca Ballan, Abhilash Srikantha, Pablo Aponte, Marc Pollefeys, and Juergen Gall. Capturing hands in action using discriminative salient points and physics simulation. IJCV, 2016. 2, 3
[^52]: Donglai Xiang, Hanbyul Joo, and Yaser Sheikh. Monocular total capture: Posing face, body, and hands in the wild. In CVPR, 2019. 2
[^53]: Yu Xiang, Tanner Schmidt, Venkatraman Narayanan, and Dieter Fox. Posecnn: A convolutional neural network for 6d object pose estimation in cluttered scenes. In RSS, 2018. 3
[^54]: Linlin Yang and Angela Yao. Disentangling latent hands for image synthesis and pose estimation. In CVPR, 2019. 2
[^55]: Qi Ye, Shanxin Yuan, and Tae-Kyun Kim. Spatial attention deep net with partial pso for hierarchical hybrid hand pose estimation. In ECCV, 2016. 2
[^56]: Shanxin Yuan, Guillermo Garcia-Hernando, Björn Stenger, Gyeongsik Moon, Ju Yong Chang, Kyoung Mu Lee, Pavlo Molchanov, Jan Kautz, Sina Honari, Liuhao Ge, et al. Depth-based 3d hand pose estimation: From current achievements to future goals. In CVPR, 2018. 2
[^57]: Jason Y. Zhang, Sam Pepose, Hanbyul Joo, Deva Ramanan, Jitendra Malik, and Angjoo Kanazawa. Perceiving 3d human-object spatial arrangements from a single image in the wild. In ECCV, 2020. 3
[^58]: Yuxiao Zhou, Marc Habermann, Weipeng Xu, Ikhsanul Habibie, Christian Theobalt, and Feng Xu. Monocular real-time hand shape and motion capture using multi-modal data. In CVPR, 2020. 2
[^59]: Yan Zhu, Yuandong Tian, Dimitris Metaxas, and Piotr Dollár. Semantic amodal segmentation. In CVPR, 2017. 7
[^60]: Christian Zimmermann and Thomas Brox. Learning to estimate 3d hand pose from single rgb images. In ICCV, 2017. 2
[^61]: Christian Zimmermann, Duygu Ceylan, Jimei Yang, Bryan Russell, Max Argus, and Thomas Brox. Freihand: A dataset for markerless capture of hand pose and shape from single rgb images. In ICCV, 2019. 1,3