# 学习手部与操作物体的联合重建
Yana Hasson $^{1,2}$ Gül Varol $^{1,2}$
Michael J. Black $^{3}$
Dimitrios Tzionas $^{3}$ Igor Kalevatykh $^{1,2}$
Ivan Laptev $^{1,2}$ Cordelia Schmid $^{1,4}$
$^{1}$Inria，$^{2}$法国高等师范学院计算机系、法国国家科学研究中心、PSL研究大学
$^{3}$德国图宾根马克斯·普朗克智能系统研究所
$^{4}$法国格勒诺布尔阿尔卑斯大学、法国国家科学研究中心、格勒诺布尔国立理工学院、LJK实验室
## 摘要
估计手与物体的交互情况对于解读和模仿人类动作至关重要。以往的研究在单独重建手部姿态和物体形状方面取得了显著进展。然而，由于手和物体都存在严重的遮挡现象，重建操作过程中的手与物体则是一项更具挑战性的任务。虽然操作过程带来了诸多挑战，但它也可能简化问题：因为接触物理规律限制了合法的手-物配置空间。例如，在操作过程中，手与物体应当相互接触但不能互相穿透。在这项工作中，我们利用操作约束来规范手与物体的联合重建。我们提出了一种端到端可学习的模型，该模型采用一种新颖的接触损失函数，以优先保证物理上合理的手-物构型。以RGB图像为输入时，我们的方法在抓取质量指标上优于基线模型。为了训练和评估该模型，我们还提出了一个全新的大规模合成数据集ObMan，其中包含手与物体的交互数据。我们证明了在ObMan上训练的模型能够迁移到真实数据上。
### 1. 引言
准确估计人类手部及其与物理世界的互动情况，对于更好地理解人类动作和交互至关重要。具体而言，恢复手部的3D形状是诸多应用的关键，包括虚拟现实与增强现实、人机交互、动作识别以及基于模仿的机器人技能学习。
图像和视频中的手部分析在计算机视觉领域有着悠久的历史。早期研究主要利用关节模型[^19] [^49] [^63] [^77]或统计形状模型[^31]来进行手部估计与跟踪。RGB-D传感器的出现为基于深度图像的手部姿态估计带来了显著进展[^17] [^24] [^41] [^66] [^68]。虽然深度传感器能提供强有力的线索，但其应用场景仍受到限制。
Input
Figure 1: Our method jointly reconstructs hand and object meshes from a monocular RGB image. Note that the model generating the predictions for the above images, which we captured with an ordinary camera, was trained only on images from our synthetic dataset, ObMan.
能耗以及环境限制（如与目标的距离、阳光照射等）制约了深度传感器的应用。近期的研究利用卷积神经网络，从单目RGB图像中获取2D和3D手部姿态估计的出色结果[^9] [^20] [^37] [^45] [^60] [^61] [^80]。不过，这类研究大多针对稀疏关键点估计，不足以用于推断手与物体的接触情况。有时会通过将手部网格拟合到检测到的关节处[^45]，或在良好的初始化条件下进行跟踪[^8]，从而从图像中估计完整的3D手部网格。最近，已有研究利用端到端可学习的模型，结合深度输入来处理手部3D形状或表面的重建问题[^33]。
交互行为会对手与物体的相对配置施加约束。例如，稳定的物体抓取需要手与物体表面相接触，而实体物体则不允许穿透。在本研究中，我们利用物体操作所带来的约束来重建手和物体模型，并模拟它们之间的交互。我们基于参数化手部模型MANO [^55] 展开研究，该模型源自人类手部的3D扫描数据，能够生成符合人体工学特征的手部网格。接着我们提出……
---
Figure 2: Our model predicts the hand and object meshes in a single forward pass in an end-to-end framework. The repulsion loss $\mathcal{L}_{R}$ penalizes interpenetration while the attraction loss $\mathcal{L}_{A}$ encourages the contact regions to be in contact with the object.
一种可微分的MANO网络层，能够实现手部形状估计的端到端学习。借助这种可微分的基于形状的手部模型，我们进一步设计了用于联合估计手部形状、物体形状及其相对比例和位移的网络架构。我们还提出了一种新颖的接触损失函数，该函数会对穿透现象进行惩罚，同时鼓励手与被操纵物体之间产生接触。我们的方法概览如图2所示。
在实际应用中，获取包含真实标注形状的交互式手与物体图像十分困难。现有的涉及手-物交互的数据集要么规模太小，无法满足深度神经网络的训练需求 [^70]，要么仅提供部分3D手部或物体标注信息 [^62]。Garcia-Hernando等人最近发布的数据集 [^12] 提供了手-物交互过程中4个物体的3D关节点及网格数据。
合成数据集因其规模庞大且标注信息易于获取，成为颇具吸引力的替代方案。近期已有一些包含合成手部的数据集问世 [^33] [^37] [^80]，但它们并不包含手-物交互场景。我们生成了一个全新的大规模合成数据集——ObMan（物体操纵数据集），其中收录了被手部操纵的物体。我们通过为来自8个物体类别的2700个日常物体模型自动生成抓取姿势来实现数据多样性。我们将MANO适配为基于GraspIt软件的自动抓取生成工具 [^35]。ObMan的规模足够大且多样性充足，能够支持我们深度模型的训练和消融实验；同时其真实感也足以使模型推广到真实图像场景。图1展示了在ObMan上训练模型后，对真实图像进行的重建结果。
总而言之，我们的贡献如下：首先，我们设计了首个能够从RGB数据端到端学习并联合重建手与物体3D模型的系统；其次，我们提出了一种新颖的接触损失函数，该函数会对穿透现象进行惩罚，同时鼓励手与物体之间产生接触；第三，我们创建了新的大规模合成数据集ObMan，其中包含了手-物操纵场景。ObMan数据集以及我们的预训练模型和代码均已公开提供 $^{1}$。
### 2. 相关工作
接下来，我们将回顾那些分别针对手部重建和物体重建的研究方法，随后介绍那些能够联合重建手-物交互的相关工作。
手部姿态估计。自20世纪90年代以来，手部姿态估计便受到了大量研究关注[^19] [^49]。商用RGB-D传感器的普及[^25] [^48] [^59]，推动了基于深度或RGB-D输入的三维手部姿态估计技术的显著进步[^17] [^24] [^39] [^40]。近期，研究界将重点转向了基于RGB的方法[^20] [^37] [^45] [^60] [^80]。为弥补三维标注数据的不足，许多方法采用了合成训练图像[^9] [^33] [^37] [^38] [^80]。与这些方法类似，我们也利用合成渲染图像，但额外融入了物体交互信息。
三维手部姿态估计通常被视为预测稀疏关节的三维位置[^20] [^37] [^80]。与仅预测骨骼的方法不同，我们的目标是输出密集的手部网格，以便能够推断与物体的交互情况。最近，Panteleris等人[^45]和Malik等人[^33]分别实现了完整手部网格的生成。不过，[^45]是通过对二维预测结果进行拟合来实现这一点的，属于后处理步骤。我们的手部估计模块与[^33]最为相似。但与[^33]不同的是，我们的方法输入的是RGB图像而非深度图，这种方式更具挑战性，也更具通用性。
关于存在物体时的手部姿态估计，Mueller等人[^37] [^38]在混合现实环境中抓取7个物体，以此生成合成手部姿态数据集。不过，在这些研究中物体仅充当遮挡物，且该方法难以扩展到更多物体实例。
物体重建。如何在CNN框架中表示三维物体是当前的研究热点。体素[^34] [^76]、点云[^64]以及网格表面[^15] [^23] [^73]都已被纳入研究范畴。我们选用网格表面，因为网格能更好地建模与手部的交互过程。AtlasNet[^15]将顶点坐标与图像特征拼接后输入，输出变形后的网格。更近期，Pixel2Mesh[^73]通过引入正则化机制来提升预测网格的感知质量。以往的研究大多侧重于生成精确的形状，且输出的物体均处于类别特定的标准姿态下的归一化坐标框架中。我们采用了[^15]的以视角为中心的变体，无需任何类别相关知识即可处理通用物体类别。与现有方法通常输入CAD模型的简单渲染图（如ShapeNet[^5]）不同，我们处理的是存在手部遮挡的复杂图像。手持扫描技术[^44] [^56] [^71] [^75]虽是在操作任务背景下开展的，但其核心在于物体重建，需要RGB-D视频作为输入。
手部-物体重建。手部与物体的联合重建已有相关研究，这些研究采用多视角RGB[^2] [^42] [^74]或RGB-D输入，分别采用优化[16, 17, 43, 47, 62, 69–71]或分类[51–54]方法。这些研究使用的均为刚性物体，仅有少数研究涉及铰接式[^70]或可变形物体[^69]。聚焦于接触问题
---
大多数研究采用距离度量方法 [^62] [^69] [^70]，而 [^51] 则直接从图像中回归这些距离，[^47] 则通过对受控物体进行接触测量来实现。[^70] 会引入穿透和接触的物理约束，从而将手指单向吸引到物体上；相反，[^69] 会将指尖与物体表面对称地吸引在一起。后两种方法会评估所有可能的接触点配置，然后选择能提供最稳定抓取效果 [^70] 或与视觉证据匹配度最高的配置 [^69]。与我们的工作最为相关的是，Romero等人 [^54] 在给定RGB图像的情况下，会查询一个包含手部与物体交互的庞大合成数据集，以找出与视觉证据匹配的配置。不过，他们方法的准确性受到数据库中所含配置多样性的限制。与我们研究同步进行的还有 [^67]，该方法可同时估计手部骨骼和物体的6自由度参数。
### 3. 手部-物体重建
我们的工作与以往的手部-物体重建方法的主要区别在于：我们采用了端到端可学习的CNN架构，该架构能够利用可微分的手部模型以及关于穿透和接触的可微分物理约束。
如图2所示，我们设计了一种神经网络架构，仅需一次前向传播就能从左手握持物体的粗略图像裁剪图中重建手部-物体配置。我们的网络架构分为两个分支：第一个分支在标准化坐标空间中重建物体形状；第二个分支则预测手部网格以及将物体转换到手部相关坐标系所需的信息。每个分支都配备了在ImageNet [^18] 上预训练的ResNet18 [^57] 编码器。测试时，我们的模型在Titan X GPU上的处理速度可达20帧/秒。接下来，我们将详细介绍该方法的三个组成部分：3.1节讲解手部网格估计，3.2节讲解物体网格估计，3.3节讲解两个网格之间的接触情况。
#### 3.1. 可微分的手部模型
借鉴将SMPL参数化人体模型 [^30] 作为网络层的方法 [^21] [^46]，我们将MANO手部模型 [^55] 集成为了一个可微分层。MANO是一种统计模型，可将姿态（$\theta$）和形状（$\beta$）参数映射为网格。姿态参数用于描述手部关节之间的角度，而形状参数则控制因人而异的手部变形；更多细节请参见 [^55]。
手部姿态存在于一个低维子空间中 [^28] [^55]。我们并未预测完整的45维姿态空间，而是预测30个姿态PCA分量。我们发现当使用30个PCA分量时性能已趋于饱和，因此在所有实验中均采用这一数值（详见附录A.2）。
对顶点和关节位置的监督$(\mathcal{L}_{V_{Hand}}, \mathcal{L}_J)$。手部编码器从图像中生成编码$\Phi_{Hand}$。给定$\Phi_{Hand}$后，全连接网络会回归出$\theta$和$\beta$。我们将网格生成集成为一个可微的网络层，该层以$\theta$和$\beta$作为输入，输出手部顶点$V_{Hand}$以及16个手部关节。除了MANO关节外，我们还会选取网格上的5个顶点作为指尖，从而得到21个手部关键点J。我们定义对顶点坐标$(\mathcal{L}_{V_{Hand}})$和关节位置$(\mathcal{L}_J)$的监督，以便在没有真实手部表面数据的数据集上进行训练。这两种损失均定义为与真实值的L2距离。我们使用以根部为参考的3D位置来对$\mathcal{L}_{V_{Hand}}$和$\mathcal{L}_J$进行监督。除非另有说明，否则我们以MANO定义的手腕关节作为根部关节。
对手部形状的正则化$(\mathcal{L}_\beta)$。当手部形状不受约束时，稀疏监督可能会导致极端的网格变形。因此，我们对手部形状使用正则化项$\mathcal{L}_\beta = \|\beta\|^2$，以使其接近MANO训练集中的平均形状，该平均形状对应$\beta = \overline{0} \in \mathbb{R}^{10}$。
最终得到的手部重建损失$\mathcal{L}_{Hand}$是所有$\mathcal{L}_{V_{Hand}}$、$\mathcal{L}_J$和$\mathcal{L}_\beta$项的总和：
$$ \mathcal{L}_{{H a n d}}=\mathcal{L}_{V_{{H a n d}}}+\mathcal{L}_{J}+\mathcal{L}_{\beta}. $$
我们的实验表明这三项均能带来益处（详见附录A.1）。我们的手部分支在标准的3D手部姿态估计基准测试中也能达到最先进的性能（详见附录A.3）。
#### 3.2. 物体网格估计
遵循近期的方法[^23] [^73]，我们专注于亏格为0的拓扑结构。我们使用AtlasNet[^15]作为神经网络架构中的物体预测组件。AtlasNet的输入是在一组方形补丁或球面上采样的点坐标，以及图像特征$\Phi_{Obj}$。它利用全连接网络输出重建物体表面的新坐标。AtlasNet采用两种采样策略：从球面采样点和从一组正方形中采样点。初步实验表明，当输入点在球面上采样时，对未见过的类别具有更好的泛化能力。在我们所有的实验中，我们会对细分等级为3的二十面体进行变形，该二十面体共有642个顶点。AtlasNet最初设计用于重建规范视图下的网格。在我们的模型中，网格是在以视图为中心的坐标系中重建的。我们通过实验验证了在这种设置下AtlasNet能够准确重建网格（详见附录B.1）。借鉴AtlasNet的思路，物体顶点的监督定义为预测顶点与在物体真实外部表面上随机采样的点之间的对称Chamfer损失。
对物体形状的正则化$(\mathcal{L}_{E}, \mathcal{L}_{L})$。为了判断物体的内部和外部，预测出表面定义明确且三角剖分质量良好的网格至关重要。然而，AtlasNet并未对网格质量施加明确的约束。我们发现当
---
学习建模有限数量物体形状时，三角化质量能够得到保持。然而，在ObMan数据集上训练种类更多的物体时，我们发现对物体网格施加额外的正则化措施会很有益处。参照 [^14]、[^22] 和 [^73] 的做法，我们采用了两种用于惩罚不规则网格的损失函数。我们通过边缘正则化损失 $\mathcal{L}_E$ 来惩罚长度与平均边缘长度不符的边缘；我们还引入了基于 $\mathcal{L}_L$ 的曲率正则化损失 [^22]，该损失会促使预测网格的曲率与球体的曲率相近（详见附录B.2）。我们通过权重 $\mathcal{L}_E$ 和 $\mathcal{L}_L$ 分别调节 $\mu_E$ 与 $\mu_L$ 的权重，经实验确定这两个权重分别设为2和0.1。正如我们在附录的图A.4中所展示的，这两种损失共同作用能够提升预测网格的质量。此外，在ObMan数据集上训练时，我们首先训练网络来预测归一化后的物体，随后冻结物体编码器和AtlasNet解码器，仅训练网络中与手相关的部分。当在归一化坐标下训练物体（记为n）时，总的物体损失为：
$$ \mathcal{L}_{O b j e c t}^{n}=\mathcal{L}_{V_{O b j}}^{n}+\mu_{L}\mathcal{L}_{L}+\mu_{E}\mathcal{L}_{E}. $$
手相关坐标系 $(\mathcal{L}_S, \mathcal{L}_T)$。遵循AtlasNet [^15] 的思路，我们首先通过偏移和缩放真实顶点，将物体预测为归一化尺度下的形态，从而使物体内切于固定半径的球体。不过，由于我们的研究重点是手与物体的交互，因此需要估算物体相对于手的位置和尺度。为此我们设计了两个分支来预测平移量和尺度，这两个分支分别输出表示平移的三维偏移坐标（即x、y、z）以及表示物体尺度的标量。我们定义 $\mathcal{L}_T = \|T - \hat{T}\|_2^2$ 和 $\mathcal{L}_S = \|S - \hat{S}\|_2^2$，其中 $\hat{T}$ 和 $\hat{S}$ 分别为预测的平移量和尺度。T表示手相关坐标系下的真实物体质心，S表示以该质心为中心的物体的真实最大半径。
对物体顶点位置的监督（$L_{V_{Obj}}^{n}$、$L_{V_{Obj}}$）。我们将AtlasNet解码得到的顶点乘以预测的尺度，再根据预测的平移量进行偏移，从而得到最终的物体重建结果。应用平移和尺度调整后，再计算倒角损失（$L_{V_{Obj}}$）。在手相关坐标系下训练时，损失函数变为：
$$ \mathcal{L}_{O b j e c t}=\mathcal{L}_{T}+\mathcal{L}_{S}+\mathcal{L}_{V_{O b j}}. $$
#### 3.3. 接触损失
到目前为止，手和物体的预测并未利用到约束物理世界中物体交互的规则。具体来说，这些模型没有考虑到我们的先验知识：物体之间不能相互穿透，且抓取物体时，接触发生在物体与手的表面。我们将这些接触约束转化为可微损失函数 $\mathcal{L}_{Contact}$，可直接用于端到端学习框架中。我们通过权重参数 $\mu_C$ 来引入这一额外损失，经实验确定该权重设为10。
Figure 3: Left: Estimated contact regions from ObMan. We find that points that are often involved in contacts can be clustered into 6 regions on the palmar surface of the hand. Right: Generic shape of the penalization function emphasizing the role of the characteristic distances.
我们采用以下点间距离的定义：$d(v, V_{Obj}) = \inf_{w \in V_{Obj}} \|v - w\|_2$ 表示点到集合的距离，$d(C, V_{Obj}) = \inf_{v \in C} d(v, V_{Obj})$ 表示集合到集合的距离。此外，我们定义了一个通用的惩罚函数 $l_\alpha(x) = \alpha \tanh\left(\frac{x}{\alpha}\right)$，其中 $\alpha$ 为作用的特征距离。
排斥作用（$L_{R}$）。我们定义了一个排斥损失（$L_{R}$），用于惩罚手部与物体之间的相互穿透现象。为了检测这种穿透现象，我们首先找出位于物体内部的手部顶点。由于该物体是一个变形的球体，因此它是密闭的。于是我们从手部顶点发射射线，通过计算射线与物体网格的交点数量来判断该顶点是位于预测网格的内部还是外部[^36]。$L_{R}$会影响所有属于物体内部的手部顶点，我们将这部分顶点记为Int(Obj)。排斥损失的定义如下：
$$ \mathcal{L}_{R}(V_{O b j},V_{H a n d})=\sum_{v\in V_{H a n d}}\mathbb{1}_{v\in\mathrm{I n t}(V_{O b j})}l_{r}(d(v,V_{O b j})), $$
其中r为排斥特征距离，我们在所有实验中将其经验性地设定为2厘米。
吸引力（$\mathcal{L}_A$）。我们进一步定义了吸引力损失（$\mathcal{L}_A$），用于惩罚手部顶点虽处于物体附近但表面并未接触的情况。该损失仅作用于属于物体外部的顶点$\text{Ext}(Obj)$。
我们对下一节中描述的自动生成的抓取结果进行统计分析，以确定手部上哪些顶点经常参与接触。我们针对每个MANO顶点，计算其在数据集中处于物体邻近区域（定义为距物体表面小于3毫米）的频率。我们发现，只要识别出在至少8%的抓取中出现于物体附近的顶点，就能得到手上6个相连的顶点区域$\{C_i\}_{i\in[1,6]}$，这些区域对应5个指尖以及部分手掌，如图3（左）所示。吸引力项$\mathcal{L}_A$会对每个区域到物体的距离进行惩罚，从而实现对物体表面的稀疏引导：
$$ \mathcal{L}_{A}(V_{O b j},V_{H a n d})=\sum_{i=1}^{6}l_{a}(d(C_{i}\cap\mathrm{E x t}(O b j),V_{O b j})). $$
---
我们在所有实验中将a设定为1厘米。对于距离手部超过阈值a的区域，吸引力会显著减弱；随着与物体距离的进一步增大，吸引力可忽略不计，详见图3（右）。
我们最终的接触损失$\mathcal{L}_{Contact}$是吸引力项$\mathcal{L}_{A}$与排斥项$\mathcal{L}_{R}$的加权和：
$$ \mathcal{L}_{C o n t a c t}=\lambda_{R}\mathcal{L}_{R}+(1-\lambda_{R})\mathcal{L}_{A}, $$
其中$\lambda_R \in [0,1]$为接触权重系数，例如$\lambda_R = 1$意味着仅有排斥项起作用。我们的实验表明，吸引力与排斥力之间的平衡对物理质量至关重要。
我们的网络首先用$\mathcal{L}_{Hand} + \mathcal{L}_{Object}$进行训练。随后继续用$\mathcal{L}_{Hand} + \mathcal{L}_{Object} + \mu_C \mathcal{L}_{Contact}$进行训练，以提升手-物交互的物理质量。附录C.1中给出了更多实现细节。
### 4. ObMan数据集
为了解决模型训练数据不足的问题，我们生成了一个大规模的合成图像数据集，用于记录手部抓取物体的场景，我们将其称为ObMan数据集。在此我们介绍手-物图像的自动生成方法及其扩展情况。
物体。为了获取各种高质量、常用于日常操作的物体网格模型，我们从ShapeNet [^5]数据集中选取了相关模型。我们挑选了8类日常物品（瓶子、碗、罐头、广口瓶、刀具、手机、相机和遥控器），最终共得到2772个网格模型，它们被划分为训练集、验证集和测试集。
抓取。为了生成合理的抓取方式，我们采用了GraspIt软件[^35]，其使用方法与构建Grasp数据库时相同[^13]。在机器人领域，该数据集多年来一直具有重要价值[^58]，至今仍是根据已知物体模型快速生成抓取方式的参考标准[^27] [^32]。
相较于底层模型的精确度，我们更看重抓取生成的简单性与鲁棒性。该软件需要输入手的刚性关节模型。我们将MANO模型拆分为16个刚性部分：每个手指的指骨占3个部分，手掌占1个部分。给定物体网格后，GraspIt会通过不同的初始状态生成多种抓取方式。遵循[^13]中的方法，我们生成的抓取方式会针对抓取指标进行优化，但不一定符合人类抓取的统计分布。我们根据启发式度量标准对生成的抓取方式进行排序（详见附录C.2），并为每个物体保留两个最佳候选抓取方式。最终我们共生成了2.1万组抓取方式。
身体姿态。为了追求真实感，我们会对手部和全身进行渲染（见图4）。手部姿态会被映射到SMPL+H[^55]模型的手部上，该模型将MANO与SMPL[^30] [^55]统计人体模型整合在一起，从而能够渲染出逼真的手部图像。尽管我们会调整摄像机焦距以聚焦手部，但我们仍会改变
Figure 4: ObMan: large-scale synthetic dataset of hand-object interactions. We pose the MANO hand model [^55] to grasp [^35] a given object mesh. The scenes are rendered with variation in texture, lighting, and background.
身体姿态，以营造自然的遮挡效果和连贯的背景。身体姿态和形状是通过从与SURREAL[^72]相同的分布中采样得到的：即从CMU MoCap数据库[^1]中采样姿态，从CAESAR[^50]中采样形状。为了最大化视角的多样性，还会对全身施加一个在$SO(3)$范围内均匀采样的全局旋转。我们将手部根关节平移至摄像机的光轴上，手部到摄像机的距离则在50到80厘米之间均匀采样。
纹理。物体纹理是从ShapeNet[^5]模型附带的纹理图中随机选取的。身体纹理则取自SURREAL[^72]中使用的人体全身扫描数据。大多数扫描数据中手部区域的颜色值存在缺失。因此，我们将身体纹理与从20名受试者的手部扫描中获取的176张高分辨率纹理相结合。这些手部纹理被拆分，其中14名受试者的纹理用于训练，3名受试者的纹理用于测试集和验证集。对于每种身体纹理，手部的肤色都会与受试者的面部颜色相匹配。我们根据面部肤色，在HSV色彩空间中找出最接近的3种手部纹理匹配项。我们还会进一步调整手部的HSV通道，以更好地匹配该人的肤色。渲染方面，背景图像是从LSUN[^78]和ImageNet[^57]数据集中选取的。我们使用Blender[^3]进行图像渲染。为确保能看到手部和物体，如果手部可见像素少于100个，或物体可见比例低于40%，我们就会排除这类配置。
对于每种手-物配置，我们会分别渲染仅含物体的图像、仅含手部的图像以及手-物合照，同时还会生成对应的分割图和深度图。
### 5. 实验
我们首先定义了实验所用的评估指标和数据集（第5.1节、5.2节）。接着分析了遮挡效应（第5.3节）和接触损失（第5.4节）的影响。最后，我们展示了从合成数据域到真实数据域的迁移学习实验结果（第5.5节、5.6节）。
#### 5.1. 评估指标
我们的输出结果具有结构化特征，单凭单一指标无法全面反映性能。因此我们需要依赖多种
---
评估指标。
手部误差。对于手部重建任务，我们按照 [^80] 的要求，计算21个关节处的平均端点误差（单位：毫米）。
物体误差。参照AtlasNet [^15] 的方法，我们通过计算真实网格上采样点与预测网格顶点之间的对称Chamfer距离（单位：毫米）来衡量物体重建的精确度。
接触情况。为了衡量关节重建的物理质量，我们使用以下指标。
穿透深度（单位：毫米）、相交体积（ $cm^{3}$）：手和物体不应占据同一物理空间。为了判断这一规则是否被违反，我们会记录物体与手之间的相交体积以及穿透深度。为测量手和物体的相交体积，我们会将手和物体以0.5厘米为分辨率进行体素化。如果手和物体发生碰撞，穿透深度即为手网格顶点到物体表面的最大距离；若未发生碰撞，穿透深度则为0。
仿真位移（单位：毫米）：依照 [^70] 的方法，我们利用物理仿真来评估生成的抓取效果。该指标衡量的是在模拟环境中物体质心的平均位移 [^7]，假设手部固定且物体受重力作用。关于仿真的设置及所用参数的详细信息可参见 [^70]。优质的抓取效果在仿真中应当保持稳定。不过，即便碰撞产生的力相互平衡，也可能出现稳定的仿真抓取结果。为了评估抓取质量，必须结合碰撞测量结果来分析仿真位移数据。如果仿真位移和穿透深度均呈下降趋势，则有充分证据表明抓取的物理质量正在改善（具体分析见第5.4节）。所报告的指标均为数据集上的平均值。
#### 5.2. 数据集
我们在此介绍用于评估模型的数据集。各数据集的统计信息汇总于表1中。
第一人称手部基准数据集（FHB）。该数据集 [^12] 是近期收集的视频资料，提供了多种手-物交互场景下的3D手部标注。关节信息是通过绑在手上的磁传感器自动标注的，这些传感器在RGB图像中可见。该数据集为四种物体提供了3D网格标注：三种不同的瓶子和盐盒。为确保所交互的物体定义明确，我们会过滤掉操作手与操作物体间距超过1厘米的帧。我们将这个过滤后的数据集称为FHB。由于牛奶瓶属于拓扑结构为1的物体，且常被握持其把手，因此在涉及接触情况的实验中我们排除了这种物体，将该子集称为FHB_C。我们采用与 [^12] 相同的受试者划分方式，因此每个物体同时出现在训练集和测试集中。
该数据集的物体标注存在一定
| ObMan | FHB | $FHB_{C}$ | HIC |
| #frames | 141K/6K | 8420/9103 | 5077/5657 | 251/307 |
| #video sequences | - | 115/127 | 76/88 | 2/2 |
| #object instances | 1947/411 | 4 | 3 | 2 |
| real | no | yes | yes | yes |
Table 1: Dataset details for train/test splits.
| Training | Evaluation images | Training | Evaluation images |
| H-img | HO-img | O-img | HO-img |
| H-img $\mathcal{L}_{H}$ | 10.3 | 14.1 | O-img $\mathcal{L}_{O}$ | 0.0242 | 0.0722 |
| HO-img $\mathcal{L}_{H}$ | 11.7 | 11.6 | HO-img $\mathcal{L}_{O}$ | 0.0319 | 0.0302 |
Table 2: We first show that training with occlusions is important when targeting images of hand-object interactions.
不精确度。为了探究物体真实误差的范围，我们测量了每种手-物配置下手部骨骼在物体内的穿透深度。我们发现，在FHB训练集上，平均穿透深度为11.0毫米（标准差为8.9毫米）。虽然为了完整性我们仍会报告关于物体的定量结果，但真实误差导致我们无法从该数据集的重建指标波动中得出明确结论。
动作中的手部数据集（HIC）。我们使用了HIC数据集的一个子集[^70]，该子集包含单只手与物体交互的序列。我们从中获得了4个涉及球体与立方体操作的序列。我们选取手部与物体距离小于5毫米的帧。我们将该数据集划分为2个训练序列和2个测试序列，每种物体都会出现在两个划分中，且我们的预测仅局限于手部与物体顶点间最小距离低于5毫米的帧。对于该数据集，系统会提供手部与物体的网格模型。我们将MANO模型拟合到提供的手部网格上，从而实现对手部与物体的密集点级监督。
#### 5.3. 遮挡的影响
对于我们合成数据集中的每个样本，除了手-物图像（HO-img）外，我们还会渲染两张对应的孤立且无遮挡的手部图像（H-img）或物体图像（O-img）。借助这种设置，我们可以系统地研究遮挡对ObMan模型的影响，而在非合成环境下开展此类研究是不切实际的。
我们通过训练两个网络来研究物体遮挡手部的影响：一个网络基于纯手部图像训练，另一个基于手-物图像训练。我们分别报告它们在无遮挡和有遮挡图像上的性能。我们采用对称的设置来研究手部遮挡对物体的影响。由于手相对坐标不适用于仅含物体的图像实验，我们研究了以物体质心为中心、缩放至半径为1的球体内的归一化形状重建结果。
不出所料，如表2所示，当训练和测试均在无遮挡图像上进行时，模型性能最佳。而当训练和测试均在有遮挡图像上时——
---
Figure 5: Qualitative comparison between with (bottom) and without (top) contact on FHB $_{C}$. Note the improved contact and reduced penetration, highlighted with red regions, with our contact loss.
| ObMan Dataset | $FHB_{{C}}$ Dataset |
| Hand Error | Object Error | Maximum Penetration | Simulation Displacement | Intersection Volume | Hand Error | Object Error | Maximum Penetration | Simulation Displacement | Intersection Volume |
| No contact loss | 11.6 | 641.5 | 9.5 | 31.3 | 12.3 | 28.1 \pm 0.5 | 1579.2 \pm 66.2 | 18.7 \pm 0.6 | 51.2 \pm 1.7 | 26.9 \pm 0.2 |
| Only attraction ( $\lambda_{{R}} = 0$) | 11.9 | 637.8 | 11.8 | 26.8 | 17.4 | 28.4 \pm 0.6 | 1586.9 \pm 58.3 | 22.7 \pm 0.7 | 48.5 \pm 3.2 | 41.2 \pm 0.3 |
| Only repulsion ( $\lambda_{{R}} = 1$) | 12.0 | 639.0 | 6.4 | 38.1 | 8.1 | 28.6 \pm 0.8 | 1603.7 \pm 49.9 | 6.0 \pm 0.3 | 53.9 \pm 2.3 | 7.1 \pm 0.1 |
| Attraction + Repulsion ( $\lambda_{{R}} = 0.5$) | 11.6 | 637.9 | 9.2 | 30.9 | 12.2 | 28.8 \pm 0.8 | 1565.0 \pm 65.9 | 12.1 \pm 0.7 | 47.7 \pm 2.5 | 17.6 \pm 0.2 |
Table 3: We experiment with each term of the contact loss. Attraction $(\mathcal{L}_{A})$ encourages contacts between close points while repulsion $(\mathcal{L}_{R})$ penalizes interpenetration. $\lambda_{R}$ is the repulsion weight, balancing the contribution of the two terms.
Figure 6: We examine the relative importance between the contact terms on the grasp quality metrics. Introducing a well-balanced contact loss improves upon the baseline on both max penetration and simulation displacement.
手部与物体的重建误差会显著下降，分别降低12%和25%。这验证了我们的直觉：在存在遮挡的情况下估计手部姿态和物体形状是一项更具挑战性的任务。
我们观察到，对于手部和物体而言，最具挑战性的情况是：在無遮挡图像上训练，却在有遮挡图像上测试。这表明，包含遮挡的训练对于准确重建手-物配置至关重要。
#### 5.4. 接触损失的影响
在缺乏显式物理约束的情况下，ObMan模型预测的手部和物体平均穿透深度为9毫米，FHB$_{C}$数据集上的穿透深度则达到19毫米（见表3）。测试时出现相互穿透现象，说明模型并未隐式学习到手-物交互的物理规则。两个数据集在物理指标上的差异，既源于ObMan更高的重建精度，也源于FHB$_{C}$中嘈杂的物体真实数据——这些数据会产生相互穿透且可能不稳定的“真实抓取状态”。
在图6中，我们研究了将接触损失作为微调步骤引入后的效果。我们在$\lambda_{R}$中对$\left[0, 1\right]$进行线性插值，以探索引力项和斥力项的不同权重配比。
我们发现，单独使用$\mathcal{L}_R$能够有效减小最大穿透深度，对ObMan而言该数值降低了33%，对FHB而言则降低了68% $_C$。但这种效果是以牺牲仿真中抓取的稳定性为代价的。同理，$\mathcal{L}_A$能够稳定仿真中的抓取，但会导致手与物体之间产生更多碰撞。我们发现，给这两项赋予相同的权重（$\mathcal{L}_R = 0.5$）能够改善两项物理指标，且不会对合成数据集和真实数据集上的重建指标产生负面影响，如表3（最后一行）所示。对于FHB $_C$，我们针对每个指标报告了10组随机种子下的均值和标准差。
我们发现，在合成数据集上，穿透深度的减小往往以仿真不稳定为代价；而对于FHB_C而言，将$\lambda_R$的值从0提高到0.5既能减小穿透深度，又不会影响仿真稳定性。此外，对于$\lambda_R = 0.5$，我们观察到如图5所示，FHB_C上的定性效果有显著提升。
#### 5.5. 从合成数据到真实数据的迁移
在缺乏合适的真实数据集时，可以利用大规模合成数据来预训练模型。我们研究了针对FHB和HIC任务时，在ObMan上预训练的优势。我们通过比较使用真实数据集子集训练的两组网络，来探究真实数据稀缺对FHB任务的影响：一组在ObMan上预训练，另一组则随机初始化，其中编码器除外——编码器是在ImageNet上预训练的 [^57]。在这些实验中，我们没有加入接触损失项，并报告了5组不同随机种子下的均值和标准差。我们发现，在数据量较少的情况下，尤其是在用于微调的真实数据集图像数量不足1000张时，在ObMan上预训练具有显著优势，详见图8。
---
Figure 7: Qualitative results on CORe50. Our model, trained only on synthetic data, shows robustness to various hand poses, objects and scenes. Global hand pose and object outline are well estimated while fine details are missed. We present failure cases in the red box.
Figure 8: We compare training on FHB only (Real) and pre-training on synthetic, followed by fine-tuning on FHB (Synth2Real). As the amount of real data decreases, the benefit of pre-training increases. For both the object and the hand reconstruction, synthetic pre-training is critical in low-data regimes.
HIC训练集仅包含250张图像。我们尝试使用合成数据集的变体进行预训练。除了图9中标记为(a)的ObMan外，我们还为另外两个合成数据集(b)和(c)渲染了$20K$张图像，这两个数据集利用了HIC训练集(d)中的信息。(b)是通过我们的抓取工具为HIC中的每个物体模型自动生成抓取姿态得到的，(c)则采用了HIC训练集中的物体和姿态分布。这使我们能够研究从真实数据的目标分布中采样手-物体姿态的重要性。我们探索了在(a)、(b)、(c)上训练的情况，以及是否在HIC上进行微调。我们发现，在所有三个数据集上预训练对手部和物体的重建都有益处。当在(c)上预训练时性能最佳：在该设置下，甚至在进行微调前，物体的重建性能就优于仅用真实图像训练的结果，微调后更是显著提升。手部姿态误差在预训练阶段就已达到饱和，因此利用真实数据也无法进一步改善。这些结果表明，当使用合成数据训练时，数据与真实数据的手部和姿态分布的相似性至关重要。
#### 5.6. 在CORe50上的定性结果
FHB是一个背景有限、可见磁传感器较多且受试者与物体数量极少的数据集。在本节中，我们验证了在ObMan上训练的模型在不进行微调的情况下泛化到真实数据的能力。CORe50 [^29]是一个侧重物体和背景多样性、包含手-物体交互的数据集，但该数据集没有3D手部或物体标注。因此，我们在此展示定性结果……
Figure 9: We compare the effect of training with and without fine-tuning on variants of our synthetic dataset on HIC. We illustrate each dataset (a, b, c, d) with an image sample, see text for definitions. Synthetic pre-training, whether or not the target distribution is matched, is always beneficial.
该数据集上的结果如表所示。图7表明，我们的模型能够泛化到不同物体类别上，包括灯泡——这种物体并不属于模型训练时所针对的类别。在相机视角下，物体的整体轮廓被很好地还原出来，但在垂直方向上则会出现较大的误差。更多结果可参见附录D。
### 6. 结论
我们提出了一种端到端方法，仅需单张RGB图像作为输入即可同时重建手部与物体。我们提出了一种新颖的接触损失函数，用于为两个网格之间的交互施加物理约束。我们的研究成果以及ObMan数据集为物体操控建模研究开辟了新方向。未来的研究方向包括从大规模视觉数据中学习抓取可供性，以及识别复杂且动态的手部动作。
致谢。本研究部分得到了ERC资助项目ACTIVIA和ALLEGRO、MSR-Inria联合实验室、Louis Vuitton ENS人工智能讲席基金以及DGA项目DRAAF的支持。我们感谢MPI的Tsvetelina Alexiadis、Jorge Marquez和Senya Polikovsky在扫描采集方面的帮助，感谢Joachim Tesch提供的手-物渲染成果，感谢Mathieu Aubry和Thibault Groueix在AtlasNet方面的建议，感谢David Fouhey的反馈。MJB获得了来自Intel、Nvidia、Adobe、Facebook和Amazon的研究赠款。虽然MJB是Amazon的兼职员工，但他的研究完全在MPI开展，且经费也全部由MPI提供。MJB在Amazon和Meshcapade GmbH拥有财务权益。
---
## 参考文献
[^1]: Carnegie-Mellon Mocap Database. .
[^2]: L. Ballan, A. Taneja, J. Gall, L. Van Gool, and M. Pollefeys. Motion capture of hands in action using discriminative salient points. In ECCV, 2012.
[^3]: Blender Online Community. Blender - a 3D modelling and rendering package. .
[^4]: Y. Cai, L. Ge, J. Cai, and J. Yuan. Weakly-supervised 3D hand pose estimation from monocular RGB images. In ECCV, 2018.
[^5]: A. X. Chang, homas A. Funkhouser, eonidas J. Guibas, P. Hanrahan, Q. Huang, Z. Li, S. Savarese, M. Savva, S. Song, H. Su, J. Xiao, L. Yi, and F. Yu. ShapeNet: An information-rich 3D model repository. arXiv:1512.03012, 2015.
[^6]: C. B. Choy, D. Xu, J. Gwak, K. Chen, and S. Savarese. 3D-R2N2: A unified approach for single and multi-view 3D object reconstruction. In ECCV, 2016.
[^7]: E. Coumans. Bullet real-time physics simulation, 2013.
[^8]: M. De La Gorce, D. J. Fleet, and N. Paragios. Model-based 3D hand pose estimation from monocular video. IEEE Transactions on Pattern Analysis and Machine Intelligence, 33(9):1793–1805, 2011.
[^9]: E. Dibra, S. Melchior, T. Wolf, A. Balkis, A. C. Öztireli, and M. H. Gross. Monocular RGB hand pose inference from unsupervised refinable nets. In CVPR Workshops, 2018.
[^10]: T. Feix, J. Romero, H.-B. Schmiedmayer, A. Dollar, and D. Kragic. The grasp taxonomy of human grasp types. Human-Machine Systems, IEEE Transactions on, 2016.
[^11]: C. Ferrari and J. F. Canny. Planning optimal grasps. In ICRA, 1992.
[^12]: G. Garcia-Hernando, S. Yuan, S. Baek, and T.-K. Kim. First-person hand action benchmark with RGB-D videos and 3D hand pose annotations. In CVPR, 2018.
[^13]: C. Goldfeder, M. T. Ciocarlie, H. Dang, and P. K. Allen. The Columbia grasp database. In ICRA, 2009.
[^14]: T. Groueix, M. Fisher, V. G. Kim, B. Russell, and M. Aubry. 3D-CODED : 3D correspondences by deep deformation. In ECCV, 2018.
[^15]: T. Groueix, M. Fisher, V. G. Kim, B. Russell, and M. Aubry. AtlasNet: A papier-mâché approach to learning 3D surface generation. In CVPR, 2018.
[^16]: H. Hamer, J. Gall, T. Weise, and L. Van Gool. An object-dependent hand pose prior from sparse training data. In CVPR, 2010.
[^17]: H. Hamer, K. Schindler, E. Koller-Meier, and L. Van Gool. Tracking a hand manipulating an object. In ICCV, 2009.
[^18]: K. He, X. Zhang, S. Ren, and J. Sun. Deep residual learning for image recognition. In CVPR, 2015.
[^19]: T. Heap and D. Hogg. Towards 3D hand tracking using a deformable model. In IEEE International Conference on Automatic Face and Gesture Recognition, 1996.
[^20]: U. Iqbal, P. Molchanov, T. Breuel, J. Gall, and J. Kautz. Hand pose estimation via latent 2.5D heatmap regression. In ECCV, 2018.
[^21]: A. Kanazawa, M. J. Black, D. W. Jacobs, and J. Malik. End-to-end recovery of human shape and pose. In CVPR, 2018.
[^22]: A. Kanazawa, S. Tulsiani, A. A. Efros, and J. Malik. Learning category-specific mesh reconstruction from image collections. In ECCV, 2018.
[^23]: H. Kato, Y. Ushiku, and T. Harada. Neural 3D mesh renderer. In CVPR, 2018.
[^24]: C. Keskin, F. Kiraç, Y. Kara, and L. Akarun. Hand pose estimation and hand shape classification using multi-layered randomized decision forests. In ECCV, 2012.
[^25]: Kinect. .
[^26]: D. P. Kingma and J. Ba. Adam: A method for stochastic optimization. ICLR, 2014.
[^27]: I. Lenz, H. Lee, and A. Saxena. Deep learning for detecting robotic grasps. In The International Journal of Robotics Research, 2015.
[^28]: J. Lin, Y. Wu, and T. S. Huang. Modeling the constraints of human hand motion. In Proceedings of the Workshop on Human Motion (HUMO'00), 2000.
[^29]: V. Lomonaco and D. Maltoni. Core50: a new dataset and benchmark for continuous object recognition. In Proceedings of the 1st Annual Conference on Robot Learning, Proceedings of Machine Learning Research, 2017.
[^30]: M. Loper, N. Mahmood, J. Romero, G. Pons-Moll, and M. J. Black. SMPL: A skinned multi-person linear model. ACM Transactions on Graphics, (Proc. SIGGRAPH Asia), 34(6):248:1–248:16, 2015.
[^31]: J. MacCormick and M. Isard. Partitioned sampling, articulated objects, and interface-quality hand tracking. In ECCV, 2000.
[^32]: J. Mahler, J. Liang, S. Niyaz, M. Laskey, R. Doan, X. Liu, J. A. Ojea, and K. Goldberg. Dex-Net 2.0: Deep learning to plan robust grasps with synthetic point clouds and analytic grasp metrics. Robotics: Science and Systems, 2017.
[^33]: J. Malik, A. Elhayek, F. Nunnari, K. Varanasi, K. Tamaddon, A. Héloir, and D. Stricker. DeepHPS: End-to-end estimation of 3D hand pose and shape by learning from synthetic depth. In 3DV, 2018.
[^34]: D. Maturana and S. Scherer. VoxNet: A 3D convolutional neural network for real-time object recognition. In IROS, 2015.
[^35]: A. T. Miller and P. K. Allen. Graspit! A versatile simulator for robotic grasping. Robotics Automation Magazine, IEEE, 11:110–122, 2004.
[^36]: T. Möller and B. Trumbore. Fast, minimum storage ray-triangle intersection. J. Graph. Tools, 1997.
[^37]: F. Mueller, F. Bernard, O. Sotnychenko, D. Mehta, S. Sridhar, D. Casas, and C. Theobalt. GANerated hands for real-time 3D hand tracking from monocular RGB. In CVPR, 2018.
[^38]: F. Mueller, D. Mehta, O. Sotnychenko, S. Sridhar, D. Casas, and C. Theobalt. Real-time hand tracking under occlusion from an egocentric RGB-D sensor. In ICCV, 2017.
[^39]: M. Oberweger, P. Wohlhart, and V. Lepetit. Hands deep in deep learning for hand pose estimation. Proc. Computer Vision Winter Workshop, 2015.
[^40]: M. Oberweger, P. Wohlhart, and V. Lepetit. Training a feedback loop for hand pose estimation. In ICCV, 2015.
[^41]: I. Oikonomidis, N. Kyriazis, and A. A. Argyros. Efficient model-based 3D tracking of hand articulations using Kinect. In BMVC, 2011.
[^42]: I. Oikonomidis, N. Kyriazis, and A. A. Argyros. Full dof tracking of a hand interacting with an object by modeling occlusions and physical constraints. In ICCV, 2011.
## [^43]: I. Oikonomidis, N. Kyriazis, and A. A. Argyros. Tracking the articulated motion of two strongly interacting hands. In
---
CVPR，2012年。
[^44]: P. Panteleris, N. Kyriazis, and A. A. Argyros. 3D tracking of human hands in interaction with unknown objects. In BMVC, 2015.
[^45]: P. Panteleris, I. Oikonomidis, and A. Argyros. Using a single RGB frame for real time 3D hand pose estimation in the wild. In WACV, 2018.
[^46]: G. Pavlakos, L. Zhu, X. Zhou, and K. Daniilidis. Learning to estimate 3D human pose and shape from a single color image. In CVPR, 2018.
[^47]: T. Pham, N. Kyriazis, A. A. Argyros, and A. Kheddar. Hand-object contact force estimation from markerless visual tracking. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018.
[^48]: PrimeSense. .
[^49]: J. M. Rehg and T. Kanade. Visual tracking of high DOF articulated structures: an application to human hand tracking. In ECCV, 1994.
[^50]: K. M. Robinette, S. Blackwell, H. Daanen, M. Boehmer, S. Fleming, T. Brill, D. Hoeferlin, and D. Burnsides. Civilian American and European Surface Anthropometry Resource (CAESAR) final report. Technical Report AFRL-HE-WP-TR-2002-0169, US Air Force Research Laboratory, 2002.
[^51]: G. Rogez, J. S. S. III, and D. Ramanan. Understanding everyday hands in action from RGB-D images. In ICCV, 2015.
[^52]: G. Rogez, M. Khademi, J. S. Supaněič III, J. M. M. Montiel, and D. Ramanan. 3D hand pose detection in egocentric RGB-D images. In ECCV Workshop on Consumer Depth Cameras for Computer Vision, 2014.
[^53]: G. Rogez, J. S. Supančič III, and D. Ramanan. First-person pose recognition using egocentric workspaces. In CVPR, 2015.
[^54]: J. Romero, H. Kjellström, and D. Kragic. Hands in action: real-time 3D reconstruction of hands in interaction with objects. In ICRA, 2010.
[^55]: J. Romero, D. Tzionas, and M. J. Black. Embodied hands: Modeling and capturing hands and bodies together. ACM Transactions on Graphics, (Proc. SIGGRAPH Asia), 36(6), 2017.
[^56]: S. Rusinkiewicz, O. Hall-Holt, and M. Levoy. Real-time 3D model acquisition. ACM Transactions on Graphics (TOG), 21(3):438–446, 2002.
[^57]: O. Russakovsky, J. Deng, H. Su, J. Krause, S. Satheesh, S. Ma, Z. Huang, A. Karpathy, A. Khosla, M. Bernstein, A. C. Berg, and L. Fei-Fei. ImageNet large scale visual recognition challenge. International Journal of Computer Vision, 115(3):211–252, 2015.
[^58]: A. Sahbani, S. El-Khoury, and P. Bidaud. An overview of 3D object grasp synthesis algorithms. Robotics and Autonomous Systems, 2012.
[^59]: J. Shotton, A. Fitzgibbon, A. Blake, A. Kipman, M. Finochio, B. Moore, and T. Sharp. Real-time human pose recognition in parts from a single depth image. In CVPR, 2011.
[^60]: T. Simon, H. Joo, I. Matthews, and Y. Sheikh. Hand keypoint detection in single images using multiview bootstrapping. In CVPR, 2017.
[^61]: A. Spurr, J. Song, S. Park, and O. Hilliges. Cross-modal deep variational hand pose estimation. In CVPR, 2018.
[^62]: S. Sridhar, F. Mueller, M. Zollhoefer, D. Casas, A. Oulasvirta, and C. Theobalt. Real-time joint tracking of a hand manipulating an object from RGB-D input. In ECCV, 2016.
[^63]: B. Stenger, P. R. Mendonça, and R. Cipolla. Model-based 3D tracking of an articulated hand. In CVPR, 2001.
[^64]: H. Su, H. Fan, and L. Guibas. A point set generation network for 3D object reconstruction from a single image. In CVPR, 2017.
[^65]: X. Sun, Y. Wei, S. Liang, X. Tang, and J. Sun. Cascaded hand pose regression. 2015.
[^66]: D. Tang, T.-H. Yu, and T.-K. Kim. Real-time articulated hand pose estimation using semi-supervised transductive regression forests. In ICCV, 2013.
[^67]: B. Tekin, F. Bogo, and M. Pollefeys. H+O: Unified egocentric recognition of 3D hand-object poses and interactions. In CVPR, 2019.
[^68]: J. Tompson, M. Stein, Y. Lecun, and K. Perlin. Real-time continuous pose recovery of human hands using convolutional networks. ACM Transactions on Graphics (TOG), 33(5):169:1–169:10, 2014.
[^69]: A. Tsoli and A. Argyros. Joint 3D tracking of a deformable object in interaction with a hand. In ECCV, 2018.
[^70]: D. Tzionas, L. Ballan, A. Srikantha, P. Aponte, M. Pollefeys, and J. Gall. Capturing hands in action using discriminative salient points and physics simulation. International Journal of Computer Vision, 118(2):172–193, 2016.
[^71]: D. Tzionas and J. Gall. 3D object reconstruction from hand-object interactions. In ICCV, 2015.
[^72]: G. Varol, J. Romero, X. Martin, N. Mahmood, M. J. Black, I. Laptev, and C. Schmid. Learning from synthetic humans. In CVPR, 2017.
[^73]: N. Wang, Y. Zhang, Z. Li, Y. Fu, W. Liu, and Y.-G. Jiang. Pixel2Mesh: Generating 3D mesh models from single RGB images. In ECCV, 2018.
[^74]: Y. Wang, J. Min, J. Zhang, Y. Liu, F. Xu, Q. Dai, and J. Chai. Video-based hand manipulation capture through composite motion control. ACM Transactions on Graphics (TOG), 32(4):43:1–43:14, 2013.
[^75]: T. Weise, T. Wismer, B. Leibe, and L. Van Gool. Online loop closure for real-time interactive 3D scanning. Computer Vision and Image Understanding, 115(5):635–648, 2011.
[^76]: J. Wu, Y. Wang, T. Xue, X. Sun, W. T. Freeman, and J. B. Tenenbaum. MarrNet: 3D Shape Reconstruction via 2.5D Sketches. In NIPS, 2017.
[^77]: Y. Wu, J. Y. Lin, and T. S. Huang. Capturing natural hand articulation. In ICCV, 2001.
[^78]: F. Yu, Y. Zhang, S. Song, A. Seff, and J. Xiao. LSUN: Construction of a large-scale image dataset using deep learning with humans in the loop. arXiv:1506.03365, 2015.
[^79]: J. Zhang, J. Jiao, M. Chen, L. Qu, X. Xu, and Q. Yang. 3D hand pose tracking and estimation using stereo matching. arXiv:1610.07214, 2016.
### [^80]: C. Zimmermann and T. Brox. Learning to estimate 3D hand pose from single RGB images. In ICCV, 2017
---
#### 附录
主论文中我们提出了一种手部与物体联合重建的方法。下文我们将在第A节介绍仅手部重建的补充分析，在第B节介绍仅物体重建的分析，第C节则阐述实现细节。
#### A. 手部姿态估计
我们首先针对在MANO手部模型上定义的不同损失函数展开消融研究（第A.1节）。接着，我们研究了手部的潜在表示（第A.2节）。最后，我们验证了手部姿态估计分支的性能，证明其在基准数据集上与最先进方法相比具有竞争力（第A.3节）。
#### A.1. 基于MANO的损失函数研究
正如主论文第3.1节所述，训练网络时我们为可微手部模型定义了三种损失：(i) 顶点位置$\mathcal{L}_{V_{Hand}}$，(ii) 关节位置$\mathcal{L}_{J}$，以及(iii) 形状正则化$\mathcal{L}_{\beta}$。只有在存在$\mathcal{L}_{\beta}$的情况下才会预测形状。若没有形状正则化，且仅提供稀疏关键点监督时，不对其正则化就直接预测$\beta$会导致手部网格出现极端变形，因此我们会将$\beta$固定为平均手部形状。
表A.1总结了每种损失的贡献。需要注意的是，密集顶点监督仅在我们的合成数据集ObMan中可用，而在真实数据集FHB [^12]和StereoHands [^79]中则无法使用。
| ObMan | FHB | StereoHands |
| $\mathcal{L}_{J}$ | 13.5 | 28.1 | 11.4 |
| $\mathcal{L}_{J} + \mathcal{L}_{\beta}$ | 11.7 | 26.5 | 10.0 |
| $\mathcal{L}_{V_{Hand}}$ | 14.0 | - | - |
| $\mathcal{L}_{V_{Hand}} + \mathcal{L}_{\beta}$ | 12.0 | - | - |
| $\mathcal{L}_{V_{Hand}} + \mathcal{L}_{J} + \mathcal{L}_{\beta}$ | 11.6 | - | - |
Table A.1: We report the mean end-point error (mm) to study different losses defined on MANO. We experiment with the loss on 3D vertices ( $\mathcal{L}_{V_{Hand}}$), 3D joints ( $\mathcal{L}_J$), and shape regularization ( $\mathcal{L}_\beta$). We show the results of training and testing on our synthetic ObMan dataset, as well as the real datasets FHB [^12] and StereoHands [^79].
我们发现，在利用$\beta$对$\mathcal{L}_{\beta}$进行正则化的前提下预测它，能显著改善关键点的平均端点误差。在合成数据集ObMan上，加入$\mathcal{L}_{V}$还能带来小幅度的性能提升。因此，只要具备密集顶点监督条件，我们就使用全部三种损失；而当仅能提供关键点监督时，则使用$\mathcal{L}_{J}$与$\mathcal{L}_{\beta}$相结合的方式。
### A.2. MANO姿态表示
正如主论文第3.1节所述，我们的手部分支会输出一个30维向量来表示手部姿态。这些向量取自45维完整姿态空间中前30个主成分。我们针对潜在手部表示的维度进行了不同设置下的实验，并将结果总结在表A.2中。虽然低维度无法捕捉数据集中存在的某些姿态，但我们将维度增加到30以上后并未观察到性能提升。因此，主论文中的所有实验均采用这一维度值。
| #PCA comps. | 6 | 15 | 30 | 45 |
| FHB | 28.2 | 27.5 | 26.5 | 26.9 |
| StereoHands | 13.9 | 11.1 | 10.0 | 10.0 |
| ObMan | 23.4 | 13.3 | 11.6 | 11.2 |
Table A.2: We report the mean end-point error on multiple datasets to study the effect of the number of PCA hand pose components for the latent MANO representation.
#### A.3. 与现有技术的比较
Figure A.1: Qualitative results on the test sequence of the StereoHands dataset.
利用网络中的MANO分支，我们还能为手部未与物体交互的图像估计手部姿态，并将结果与以往的方法进行比较。我们在StereoHands数据集上开展训练和测试[^79]，遵循[^20] [^37] [^80]提出的评估流程：用StereoHands中的10个序列训练模型，剩余2个序列用于测试。为了公平比较，我们通过取手部模型掌部前后两个顶点的位置平均值，向MANO模型中添加一个掌心关节。尽管手部形状参数$\beta$能够捕捉人类群体中自然存在的手部形状差异，但它无法解决不同关节定义方式带来的差异问题。为解决骨骼不匹配的问题，我们添加了一个线性层，该层初始化后的作用就是确定MANO关节到最终关节标注之间的映射关系。
---
Figure A.2: We compare our root-relative 3D hand pose estimation on Stereohands to the state-of-the-art methods from Iqbal et al. [^20], Cai et al. [^4], Mueller et al. [^37], Zimmermann and Brox [^80], and CHPR [^65].
我们报告了正确关键点百分比（PCK）对应的曲线下面积（AUC）。图A.2显示，我们的可微手部模型与现有技术水平相当。需要注意的是，StereoHands基准测试已接近饱和。与其他仅预测稀疏骨骼关键点的方法[^4] [^20] [^37] [^65] [^80]相比，我们的模型能生成密集的手部网格。图A.1展示了该数据集的一些定性结果。
#### B. 物体重建
接下来，我们验证物体重建分支的设计选择。我们分别针对以下两种情况进行物体重建实验：(i) 相机视角下的重建（见B.1节）；(ii) 加入正则化损失后的重建（见B.2节）。
### B.1. 规范视图与相机视图重建对比
正如主论文第3.2节所述，我们是在相机坐标系下进行物体重建的。为了验证AtlasNet [^15]能否成功预测相机视角以及规范视角下的物体，我们复现了原论文中的训练设置 [^15]。我们采用在球面上采样2500个点的设置，并基于ShapeNet生成的渲染图像进行训练 [^6]。为了得到物体的旋转参考模型，我们会利用渲染图中提供的真实方位角和仰角信息，从而使三维真实模型与相机视角相匹配。我们沿用原有的超参数（Adam优化器 [^26]，学习率为0.001），让两个网络各训练25个周期。无论是用于监督还是评估指标，我们都采用倒角距离 $\mathcal{L}_{V_{Obj}} = \frac{1}{2}(\sum_p min_q \|p - q\|^2 + \sum_q min_p \|q - p\|^2)$ 来衡量，其中q代表预测的顶点，p代表在真实物体表面均匀采样的点。我们始终保证在物体表面采样的点数与预测网格中的顶点数一致。无论从数值还是定性分析来看，两种设置下的性能都相当。图A.3展示了一些相机视角下的重建网格；为了便于阅读，图中还将倒角损失乘以了1000。为了给出与原论文 [^15] 可直接对比的结果，我们在表A.3中也报告了采用相同缩放比例的数值。表A.3分别列出了原论文发布模型、我们在规范视角下的复现结果，以及在非规范视角下的实现结果。我们发现，我们的实现方式能够训练出性能与原发布模型相近的模型。在预测相机视角而非规范视角时，我们并未观察到性能上的数值或定性下降。
Figure A.3: Renderings from ShapeNet models and our corresponding reconstructions in camera view.
| Object error |
| Canonical view [^15] | 4.87 |
| Canonical view (ours) | 4.88 |
| Camera view (ours) | 4.88 |
Table A.3: Chamfer loss ( $\times1000$) for 2500 points in the canonical view and camera view show no degradation from predicting the camera view reconstruction. We compare our reimplementation to the results provided by [^15] on their code page
>
#### B.2. 物体网格正则化
我们发现，若不对网格质量进行显式正则化，预测出的网格可能会非常不规则。在真实网格较为平滑的区域会出现明显的曲率不连续现象，且网格三角形的尺寸差异也很大。这些缺陷在图A.3的三组重建结果中均有体现。借鉴近期关于从图像输入估计网格的研究成果 [^14] [^22] [^73]，我们引入了针对物体网格的正则化项。
拉普拉斯平滑正则化（$L_{L}$）。为了避免网格曲率出现不必要的不连续性，
---
Figure A.4: We show the benefits from each term of the regularization. Using both the $\mathcal{L}_{E}$ and $\mathcal{L}_{L}$ in conjunction improves the visual quality of the predicted triangulation while preserving the shape of the object.
我们施加了局部平滑先验。我们使用离散的拉普拉斯-贝尔特拉米算子来估算每个网格顶点处的曲率；由于我们对几何体的最终形状没有先验认知，因此会在网格上计算图拉普拉斯矩阵L，该矩阵仅考虑网格顶点间的邻接关系。将拉普拉斯矩阵L与物体顶点的位置相乘 $V_{Obj}$，得到的向量方向与顶点法线一致，其模长则与曲率成正比。因此，最小化这些向量的模长就能减小曲率。我们通过最小化所有顶点上的平均曲率来促进网格的平滑性。
拉普拉斯边长正则化（$L_{E}$）。$L_{E}$ 会对网格边长不一致的情况进行惩罚。边长正则化的定义如下：
$$ \mathcal{L}_{E}=\frac{1}{|\mathcal{E}_{L}|}\sum_{l\in\mathcal{E}_{L}}|l^{2}-\mu(\mathcal{E}_{L}^{2})|, $$
其中 $\mathcal{E}_L$ 表示边长集合，定义为边长的L2范数，而 $\mu(\mathcal{E}_L^2)$ 则是边长平方的平均值。
为了评估这两种正则化项的效果，我们训练了四种不同的模型。我们训练了一个没有任何正则化的模型、两个仅启用其中一种正则化项的模型，以及一个同时应用两种正则化项的模型。每种模型均训练200个周期。
图A.4展示了各正则化项的定性效果。仅使用边缘正则化$\mathcal{L}_E$时，预测网格的质量就已经显著提升；不过仍会出现网格的异常弯曲现象，例如在手机重建的最后一排中。加入拉普拉斯平滑约束$\mathcal{L}_L$后，这些不规则现象便得以解决。然而，引入每种正则化项都会对最终的重建评分产生负面影响。具体而言，引入边缘正则化会使Chamfer损失增加22%，尽管预测网格的感知质量得到了明显改善。引入正则化项还会导致物体重建结果较为粗糙，这一点在第三排中尤为明显：输入图像中物体的尖锐曲率在重建结果中未能被准确捕捉。
#### C. 实现细节
我们将分别介绍训练流程（C.1节）和自动抓取生成方法（C.2节）的实现细节。
### C.1. 训练细节
在所有实验中，我们均采用Adam优化器[^26]。由于在合成数据集上训练时观察到验证曲线存在不稳定性，我们冻结了批量归一化层。这样可将它们的权重固定为ImageNet[^57]预训练的ResNet18[^18]中的原始值。
对于在ObMan数据集上训练的最终模型，我们首先使用$\mathcal{L}_{Object}^n$对（归一化后的）物体分支训练250个周期，初始学习率为$10^{-4}$，在第200个周期时降至$10^{-5}$。随后，如主论文第3.2节所述，我们冻结物体编码器和AtlasNet解码器。之后，我们再使用$\mathcal{L}_{Hand} + \mathcal{L}_{Object}$对整个网络额外训练350个周期，前200个周期后学习率从$10^{-4}$降至$10^{-5}$。
当从基于合成数据训练的主模型微调到较小的真实数据集时，我们会解除物体重建分支的冻结状态。
对于FHB$_c$数据集，我们同时在监督信号$\mathcal{L}_{Hand} + \mathcal{L}_{Object}$下训练网络的所有部分，共400个周期，第300个周期时学习率从$10^{-4}$降至$10^{-5}$。
在使用额外的接触损失$\mathcal{L}_{Hand} + \mathcal{L}_{Object} + \mu_C \mathcal{L}_{Contact}$对模型进行微调时，我们采用的学习率为$10^{-5}$。此外，我们将Adam优化器[^26]的动量设为零，因为我们发现加入接触损失后动量会对训练稳定性产生负面影响。
在所有实验中，我们均保持主论文中给出的不同损失间的相对权重，并将它们归一化，使所有权重之和等于1。
#### C.2. 用于排序GraspIt抓取结果的启发式指标
我们使用GraspIt[^35]为ShapeNet物体模型生成抓取方案。GraspIt能生成多种多样的抓取方案。
---
Figure A.5: Qualitative results on CORe50 dataset. We present additional hand-object reconstructions for a variety of object categories and object instances, spanning various hand poses and object shapes.
通过探索不同的初始手部姿势来实现。然而，某些初始化方式无法产生良好的抓取效果。与[^13]类似，我们在后处理步骤中对抓取结果进行筛选，以保留根据我们为此设计的启发式指标判定为高质量的抓取。
对于每次抓取操作，GraspIt会提供两个抓取质量指标$\varepsilon$和v[^11]。GraspIt生成的每次抓取[^35]都会确定手部与物体之间的接触点。在假设接触为刚性且存在摩擦的情况下，我们可以计算出该抓取所能承受的力矩空间：即抓取力矩空间（GWS）。这一空间会根据物体的尺度进行归一化，该尺度定义为以物体质心为中心的最大半径。只要外部力矩位于GWS范围内，该抓取方式就适用于相关任务。v表示六维GWS的体积，它反映了抓取所能抵抗的力矩范围。GWS还可以通过其中心位于原点且与抓取力矩空间相切的最大球的半径$\varepsilon$来进一步描述。$\varepsilon$代表接触点能够平衡的最大力矩范数，该力矩来自任意方向的外部作用。$\varepsilon$属于尺度归一化后的GWS中的[^0] [^1]，其值越大，说明抓取对外部力矩的抵抗能力越强。
为了对不同抓取方式进行分类，我们需要一个能够反映抓取质量的单一数值。在评估抓取质量时，我们采用$[\varepsilon, v]$向量的范数作为启发式指标。我们发现，由GraspIt生成的抓取方式中，符合[^10]所定义的标准的强力抓取——即手掌与物体有较大接触面的抓取方式——很少出现。为了增加强力抓取的比例，我们引入了一个乘数$\gamma_{palm}$；经实验测定，当手掌未与物体接触时该乘数取1，否则取3。此外，我们还通过$N_p$这一参数来提升那些有更多指骨与物体接触的抓取方式的评分——该参数代表与物体接触的指骨数量，由软件计算得出。
最终的抓取质量得分G定义如下：
$$ G=\gamma_{{p a l m}}\sqrt{N_{p}}\|\varepsilon,v\|_{2}. $$
我们发现，为每个物体保留最佳的两个抓取结果，既能得到多样化的抓取方式，又能保证抓取质量良好。
### D. CORe50数据集上的定性结果
我们展示了CORe50 [^29]数据集上的额外定性结果。我们在图A.5中展示了CORe50中的多种多样化输入图像，以及仅用ObMan训练的最终模型的预测结果。
不过我们发现，物体的形状往往较为粗糙，手机天线等细节也无法被重建。我们还观察到物体与手部之间的相对位置存在误差，模型倾向于将物体中心预测在手部的掌侧区域，详见图A.5第四列。由于未施加硬性的碰撞约束，某些配置下会出现手与物体相互穿透的现象，比如右上角的示例。左下角的示例展示了一个抓取失败案例，该案例中手部姿势违反了解剖学约束。需要注意的是，虽然我们的模型在低维空间中预测手部姿势，这会对手部姿势起到隐式的正则化作用，但并不能保证其符合解剖学有效性。
第一行展示了不同形状的灯泡实验结果。需要注意的是，这一类别并未包含在ObMan的合成物体模型中。因此，我们的模型能够跨物体类别进行泛化。最后一列展示了一些杯子的重建结果，从中可以看出AtlasNet的球面基准模型在拓扑结构上的局限性——该模型本质上无法捕捉物体的把手部分。