# 利用时间上的光度一致性进行稀疏监督下的手-物体重建 Yana Hasson $^{1,2}$ * Bugra Tekin $^{4}$ Federica Bogo $^{4}$ Ivan Laptev $^{1,2}$ Marc Pollefeys $^{3,4}$ Cordelia Schmid $^{1,5}$ $^{1}$Inria，$^{2}$巴黎高等师范学院计算机系、法国国家科学研究中心、PSL研究大学 $^{3}$苏黎世联邦理工学院，$^{4}$微软公司，$^{5}$格勒诺布尔阿尔卑斯大学、法国国家科学研究中心、格勒诺布尔国立理工学院、LJK实验室 ## 摘要 建模手与物体的交互过程对于理解人类如何与环境互动至关重要。尽管这一任务具有实际重要性，但由于交互过程中存在大量相互遮挡现象，估计交互时手和物体的姿态极具挑战性。近期的研究主要聚焦于需要大量标注训练样本的全监督方法。然而，收集手-物体交互的3D真实数据成本高昂、耗时且易出错。为克服这一难题，我们提出了一种方法：当视频中仅有少量帧有标注时，可利用时间上的光度一致性来辅助建模。我们的模型以彩色图像为输入，端到端训练以联合重建手和物体的3D模型并推断其姿态。基于所得到的重建结果，我们对相邻图像对之间的光流进行可微渲染，并将其用于网络中以将一帧图像扭曲到另一帧。随后我们应用一种自监督的光度损失函数，该函数依赖于相邻图像间的视觉一致性。我们在3D手-物体重建基准测试中取得了业界领先的结果，并且证明在数据量较少的场景下，该方法能够通过利用相邻帧的信息来提升姿态估计的精度。 ### 1. 引言 理解手与物体的交互方式对于语义上准确解读人类行为至关重要。近年来，手姿态估计领域取得了令人瞩目的成果，但手与物体姿态的联合预测至今仍受到较少关注。尽管在增强现实、机器人技术和监控等诸多应用中，手与物体的统一3D建模都不可或缺。 ![Image](images/91a7427b139c28be3e38bad2d9ba362f872ddeccdbd2d26529f207deb450a897.jpg)
Figure 1. Our method provides accurate 3D hand-object reconstructions from monocular, sparsely annotated RGB videos. We introduce a loss which exploits photometric consistency between neighboring frames. The loss effectively propagates information from a few annotated frames to the rest of the video.
由于存在相互遮挡现象，估计手与物体交互时的姿态是一项极具挑战性的任务。而手与物体的联合3D重建则更具难度，因为这需要精准把握杂乱的现实环境中发生的细微交互过程。计算机视觉领域的最新研究已经能够应对基于彩色输入的手与物体统一建模中的一些挑战。[^16]、[^24]、[^37]等人的开创性工作提出了在物体操控过程中恢复手部运动的方法，但并未明确考虑物体姿态。另一方面，近期少数旨在建模手-物体交互的研究[^12]、[^43]，则聚焦于手-物体姿态的联合3D估计与重建技术。不过，这些方法需要在带有3D手-物体姿态标注的大型数据集上进行全面监督训练。收集用于手-物体交互的此类3D真实数据集仍是一个难题。 虽然动作捕捉数据集[^6]能够提供大量带有精确标注的训练样本，但它们 --- 这类数据只能在受控环境中采集，且图像上会有明显的标记，这些标记会干扰彩色图像中的姿态预测。多视角设置[^39] [^52]能够通过二维检测结果实现三维三角测量，但同样只能在受控环境下采集。合成数据集提供了一种替代方案。然而，现有的合成数据集[^12] [^24] [^26] [^51]尚无法达到足以推广到真实数据集的保真度和真实感水平。手动标注以及基于优化的数据标注技术往往效率低下且容易出错。由于数据采集方面的这些挑战，现有数据集要么是规模有限且局限于特定环境的真实数据集，要么是缺乏真实感的合成数据集。基于此类数据训练的模型更容易出现过拟合现象，且泛化能力较差。 我们的方法旨在解决这些难题，并减少对三维标注的严重依赖。为此，我们提出了一种用于三维手物联合重建的新型弱监督方法。我们的模型能够在仅对数据集中一小部分样本的稀疏帧进行标注的训练视频基础上，同时估计手部与物体的姿态，并重建它们的三维形状。该方法能够建模手物交互的时间特性，利用运动信息作为三维密集手物重建的自监督信号。图1展示了该方法的一个示例结果。 我们的贡献可总结如下： - 我们提出了一种用于三维手物密集联合重建的新方法。该方法基于彩色图像，通过神经网络的单次前向传播即可高效回归出基于模型的形状和姿态参数。 我们引入了一种新颖的光度损失函数，该函数依赖于相邻图像对之间估算出的光流信息。我们的方案直接在网络内部利用光流将一帧图像变换为下一帧，并通过自监督损失利用连续变换后图像之间的视觉一致性，从而减轻对强监督的需求。 在第4节中，我们通过定量实验证明，这些贡献使我们能够可靠地预测交互中手与物体的三维姿态，同时密集重建它们的三维形状。在缺乏强监督的情况下，我们的方法能够提高在具有挑战性的真实场景序列中的姿态估计精度，并在三维手物重建基准测试中取得最先进的成果。相关代码已公开提供。$^{1}$ ### 2. 相关工作 我们的工作致力于解决从单目RGB视频中估计手物姿态的问题，利用光度线索实现自监督。据我们所知，我们的方法是首个将此类自监督应用于手物场景的方法。我们首先回顾有关手部与物体姿态估计的文献，随后重点介绍利用运动与光度线索实现自监督的方法，尤其是人体姿态估计领域的相关研究。 手部与物体姿态估计。文献中的大多数方法分别处理手部或物体姿态估计问题。 在基于RGB图像的物体姿态估计中，当前的主流方法是利用卷积神经网络（CNN）来预测物体在图像空间中3D边界框的2D位置 [^20] [^33] [^44]。随后通过PnP算法 [^21] 或进一步的迭代优化来获得6D姿态。这类方法通常需要以物体的3D模型作为输入，并且需要大量的标注数据。DeepIM [^22] 通过迭代地将物体的渲染图像与观测图像进行匹配，展现了对未见物体的泛化能力。最近，Pix2Pose [^28] 通过预测图像像素与物体模型之间的密集2D-3D对应关系，提高了对遮挡情况的鲁棒性。大多数方法 [^22] [^28] [^42] 试图依靠合成数据来减少所需的标注量。然而，当存在由手-物交互引起的大面积遮挡时，这些方法的性能究竟如何仍不明确。 针对基于RGB图像的手部姿态估计，几种方法侧重于回归3D骨骼关节位置 [^5] [^16] [^24] [^40] [^48] [^51]。不过，能够直接输出3D手部表面的方法提供了更丰富的表征方式，有助于直接分析遮挡和接触点信息 [^25]。像MANO [^38] 这样的参数化手部模型，利用一组形状和姿态参数来表示逼真的3D手部网格。[^17] [^30] 通过将此类参数化模型拟合到CNN回归得到的2D关节位置上，从而从全身图像中估计手部姿态。 近期有不少方法将MANO嵌入端到端的深度学习框架中，以便从单张RGB图像中获取精确的手部3D形状和姿态 [^3] [^7] [^49]。与我们类似，这些方法也是直接从图像中回归模型参数，不过它们并未涉及手-物交互场景。鉴于其中的挑战性，手-物交互问题通常是在多视角或RGB-D相机设置下加以解决的 [^36] [^46]。针对从单张RGB图像进行姿态估计的任务，Romero等人 [^37] 通过在大型合成图像数据库中执行最近邻搜索，实现了3D手-物重建。 近期，研究人员致力于获取手部和物体在交互过程中的真实3D标注数据。早期提供手部操纵物体标注RGB视图的数据集依赖于人工标注 [^41] 和深度跟踪技术 [^46]，这限制了数据集的规模以及手与物体之间的遮挡程度。规模更大的 --- 依赖动作捕捉技术 [^6] 和多视角设置 [^11] 的数据集已被收集起来，这推动了手-物姿态估计新方法的开发。最近，[^12] [^43] 提出了基于CNN的方法，能够从单目RGB图像中精确预测手部和物体的姿态。不过，这些方法属于完全监督学习范畴，并未利用时间维度来进行姿态估计。 利用运动和光度线索进行监督。在RGB视频中，运动线索提供了可用于自监督的有用信息。已有多种方法在人体姿态估计领域探索了这一思路。 Pfister等人[^32]利用光流技术进行二维人体姿态估计。Slim DensePose[^27]采用现成的光流方法[^15]来建立视频中相邻帧之间的密集对应关系[^9]。这些对应关系被用于在帧间传播人工标注信息，并强制满足时空等变性约束。最近，PoseWarper[^2]利用图像特征来学习标注帧与未标注帧之间的姿态变换，从而在标注稀疏的视频中传播标注信息。 回归三维姿态更为困难：在单目场景下该问题本质上存在歧义。此外，收集三维标注数据也不像二维那样容易。VideoPose3D[^31]通过将三维骨骼关节位置反投影到图像空间，并以CNN估算的二维关键点作为监督信号，来实现三维骨骼关节位置的回归。Tung等人[^45]利用光流和重投影掩码作为弱监督信号，来回归SMPL人体模型参数[^23]。与我们不同的是，他们依赖现成的光流方法，因此姿态精度取决于光流的质量。最近，Arnab等人[^1]利用基于SMPL参数的束调整算法，来优化每帧中噪声较大的姿态预测结果[^18]。这些方法并未在存在严重身体遮挡的场景中进行测试。 我们的方法强制相邻帧间的姿态估计具有光度一致性。类似的思想已成功应用于自动驾驶汽车的自监督学习，用于估计自我运动、深度和场景流[^4] [^8] [^50]。与这些方法不同——它们针对多为刚性场景估计像素级概率深度分布——我们专注于估计操纵物体的手部的关节姿态。我们从训练时的多视角设置出发，[^34] [^35]提出了用于单目人体姿态估计的弱监督策略。我们考虑的是摄像头可能移动的单目场景。与我们类似，TexturePose[^29]通过强制两帧间的光度一致性来优化人体姿态估计结果。他们在UV空间中定义一致性损失：这一做法假定始终提供UV参数化信息。而我们则在图像空间中定义损失函数。值得注意的是，这些方法考虑的场景均无严重遮挡（场景中仅有一个实例，即一个人体）。 这些方法均未聚焦于手部，尤其是复杂的手-物交互场景。 ### 3. 方法 我们提出了一种基于CNN的三维手-物重建模型，该模型可利用一组标注稀疏的视频帧高效训练。具体而言，我们的方法以捕捉手部与物体交互过程的单目RGB视频作为输入。我们假设物体模型已知，且仅有部分视频帧具备稀疏标注信息。 与以往的研究[^20] [^43] [^44]一致，我们假设已提供物体的三维网格模型。为了重建手部，我们采用参数化模型MANO[^38]，它根据一组形状和姿态参数对三维手部网格模板进行变形。作为输出，我们的方法会为序列中的每一帧返回手部与物体的三维顶点位置（连同形状和姿态参数）。 我们方法的核心思想是利用光度一致性损失，将其作为无标注中间帧上的自监督信号，以改进手部和物体重建效果。我们在第3.1节中介绍了这种损失函数，随后在第3.2节详细描述了我们的学习框架。 #### 3.1. 基于运动的光度监督 如上所述，我们的方法以一系列RGB帧为输入，输出每一帧对应的手部和物体网格顶点位置。在[^12]中也会生成同类型的输出，即每一帧RGB图像被单独处理。我们发现视频中的时间连续性会对相邻帧施加时间约束。我们假设只有少量帧配备了3D标注；这种情况在实际数据收集中十分常见：当采集顺序图像时，往往只有部分图像会被手动标注。随后我们定义了一种自监督损失函数，以便将这些信息传递到未标注的帧中。 我们的自监督损失利用了帧间的光度一致性，其定义在图像空间中。图2展示了这一过程。考虑时间为$t_{ref}$、$I_{t_{ref}}$的已标注帧，我们拥有该帧对应的真实手部和物体顶点$V_{t_{ref}}$（为了简化表述，此处不区分手部和物体顶点）。对于未标注帧$I_{t_{ref}+k}$，我们的目标是精准回归出其中的手部和物体顶点位置$V_{t_{ref}+k}$。我们的核心洞见是：只要能估算出每帧的3D网格并已知相机内参，就能将网格反向投影到图像空间，利用像素级信息来提供额外的跨帧监督信号。 给定$I_{t_{ref}+k}$后，我们首先通过单次前馈网络运算来回归手部和物体顶点$V_{t_{ref}+k}$（详见 --- ![Image](images/26ea7fd3795fcc151b1590ea00526ea7cede9ef6c46332f9cdb4c446e2018e82.jpg)
Figure 2. Photometric consistency loss. Given an annotated frame, $t_{ref}$, and an unannotated one, $t_{ref+k}$, we reconstruct hand and object 3D pose at $t_{ref+k}$ leveraging a self-supervised loss. We differentiably render the optical flow between ground-truth hand-object vertices at $t_{ref}$ and estimated ones. Then, we use this flow to warp frame $t_{ref+k}$ into $t_{ref}$, and enforce consistency in pixel space between warped and real image.
![Image](images/21528b8727ce632632334b3cf15e092bfeb1bf25ed84bb8484034fc93cc0555c.jpg)
Figure 3. Architecture of the single-frame hand-object reconstruction network.
第3.2节）。现在假设我们将这些顶点反向投影到$I_{t_{ref}+k}$上，并为每个顶点赋予其所投影到的像素的颜色。$t_{ref}$和$t_{ref+k}$处的物体网格具有相同的拓扑结构，手部网格也是如此。因此，如果我们将$t_{ref}$处的真实网格反向投影到$I_{t_{ref}}$上，那么来自$V_{t_{ref}}$和$V_{t_{ref}+k}$的对应顶点应被赋予相同的颜色。 我们将这一思路转化为光度一致性损失。我们计算$V_{t_{ref}}$和$V_{t_{ref}+k}$中对应顶点间的3D位移（“光流”）。随后将这些值投影到图像平面，并在可见的网格三角形上进行插值。为此，我们使用Neural Renderer $V_{t_{ref}}$来对从$V_{t_{ref}+k}$到[^19]的估算光流进行可微渲染。这使我们能够定义一对图像之间的变形光流W，将其表示为$V_{t_{ref}+k}$的函数。 我们利用计算出的光流将$I_{t_{ref}+k}$变形为变形后的图像$\mathcal{W}(I_{t_{ref}+k}, V_{t_{ref}+k})$，具体做法是根据预测的光流位移，从$I_{t_{ref}+k}$中可微地采样数值。我们的损失函数会强制保证变形后的图像与参考图像之间的一致性： $$ \mathcal{L}_{photo}(V_{t_{ref}+k})=||M\cdot(\mathcal{W}(I_{t_{ref}+k},V_{t_{ref}+k})-I_{t_{ref}})||_{1}, $$ 其中M是一个表示表面点可见性的二值掩码。 为了计算可见性掩码，我们确保监督像素属于目标帧中重投影网格的轮廓 $I_{t_{ref}+k}$。我们还通过执行循环一致性检查来验证，监督不会应用于参考帧中被遮挡的像素，这一方法与 [^14] 和 [^27] 中描述的方法类似，具体细节详见补充材料。我们利用光流将像素位置网格从 $t_{ref}$ 扭曲到 $t_{ref}+k$，再从 $t_{ref}+k$ 扭曲回 $t_{ref}$，仅保留那些保持稳定的像素位置；而在一个帧中被遮挡的网格表面点无法满足这一约束。需要注意的是，针对估计的手部和物体顶点 $V_{t_{ref}+k}$，误差会被最小化。 一致性监督 $L_{photo}$ 可以直接应用于像素，这与自监督自我运动及深度学习场景类似 [^8] [^50]。这些方法与我们的主要区别在于：它们估计的是逐像素的深度值，而我们试图利用光度一致性损失来优化刚体和关节运动。我们的方法在理念上与 [^29] 类似。与他们相比，我们所考虑的场景更具挑战性（存在多个3D实例且遮挡严重）。此外，我们在图像空间而非UV空间中定义损失函数，因此并不假设存在可用的UV参数化。 由于每个操作都是可微分的，我们可以将这种损失结合起来，将其单独用作监督，或与其他重建损失一同使用（见第3.2节）。 #### 3.2. 密集的3D手-物体重建 我们将第3.1节中介绍的损失应用于为每个帧独立获取的3D手-物体重建结果。这些逐帧估计是通过对深度神经网络进行一次前向传播得到的，该网络的架构如图3所示。秉承 [^3] 和 [^12] 的理念，我们的网络以单张RGB图像为输入，输出MANO [^38] 的姿态和形状参数。不过，与 [^12] 不同的是，我们假设物体已具备3D模型，并通过在网络中增加第二个头来预测其6D姿态（同样见图3）。我们采用的骨干网络是 --- 简单的ResNet-18 [^13]，其计算效率非常高（见第4节）。我们使用基础网络模型作为图像编码器，选取分类器之前的最后一层来生成图像特征。随后，我们通过两个带有ReLU非线性激活函数的全连接层，从这些特征中回归出手部和物体的参数。关于该架构的更多细节可在补充材料中找到。 接下来，我们将详细介绍手-物体姿态和形状的回归方法，以及训练时使用的损失函数。 手部与物体的全局姿态估计。我们在相机坐标系中对手部与物体的全局姿态估计问题进行建模，旨在确定手部和物体的精确绝对三维位置。与人体姿态估计文献中常用的弱透视相机模型不同，我们在此选择使用更真实的投影模型。在我们的图像中，手部与物体的交互通常发生在距离相机较近的位置，因此弱透视模型所基于的假设并不成立。相反，我们遵循物体姿态估计中的最佳实践。如同在 [^22] 和 [^47] 中一样，我们预测那些能够依据图像信息轻易估算出的数值。具体而言，为了估计手部和物体的平移量，我们回归一个经过焦距归一化的深度偏移量 $d_f$ 以及一个定义在像素空间内的二维平移向量 $(t_u, t_v)$。我们计算 $d_f$ 的方式如下： $$ d_{f}=\frac{V_{z}-z_{o f f}}{f}, $$ 其中 $V_{z}$ 表示网格顶点沿 z 轴到相机中心的距离，f 为相机焦距，而 $z_{off}$ 经实验设定为 40 厘米。$t_{u}$ 和 $t_{v}$ 分别表示物体（或手部）原点在图像空间中相对于图像中心的平移量，单位为像素。需要注意的是，我们分别为手部和物体单独回归 $d_{f}$ 和 $(t_{u},t_{v})$。 根据估算出的 $d_{f}$ 和 $(t_{u}, t_{v})$ 以及相机内参，我们便能轻松推导出物体（或手部）的三维全局平移量。对于全局旋转，我们采用轴角表示法。依照 [^18]、[^22] 和 [^30] 的做法，物体和手部的旋转量是在以物体为中心的坐标系中预测的。 手部关节姿态与形状估计。我们通过预测 MANO 的姿态和形状参数来获取手部的三维重建结果。对于姿态而言，类似于 [^3] 和 [^12] 中的做法，我们预测由 [^38] 提供的低维手部姿态空间中的主成分分析（PCA）系数；对于形状，我们预测 MANO 形状参数，这些参数用于控制诸如骨骼长度等个体特异性特征。总体而言，我们预测 15 个姿态系数和 10 个形状参数。 正则化损失。我们发现，通过应用 $\ell_2$ 惩罚项来对手部姿态和形状进行正则化效果显著，这一做法与 [^3] 中的方法一致。$\mathcal{L}_{\theta_{\text{Hand}}}$ 可防止不自然的关节旋转，而 $\mathcal{L}_{\beta_{\text{Hand}}}$ 则能避免极端的形状变形，这类变形会导致手部网格不规则且不真实。 骨骼适配。不同数据集中的手部骨骼模型可能存在显著差异，从而导致关节位置的定义不一致。骨骼不匹配可能会迫使手部模型发生不自然的变形。为解决这些问题，我们用一个能够根据顶点位置回归关节位置的骨骼适配层来替换固定的 MANO 关节回归器。我们使用 MANO 关节回归器的值来初始化这个线性回归器，并将其与网络权重一同优化。我们保持手指尖端和腕关节的位置固定不变，而在训练时针对其他关节学习特定于数据集的映射关系。 重建损失。总体而言，我们为手部与物体的旋转和平移预测了6个参数，以及25个MANO参数，最终得到共37个回归参数。随后，我们将预测得到的变换应用于参考手部和物体模型，进而生成MANO手模型的3D关节位置——这些位置由MANO输出，同时输出的还有手部顶点位置。我们针对手部关节位置$\mathcal{L}_{J_{Hand}}$以及3D物体顶点$\mathcal{L}_{V_{Obj}}$设定监督项。这两类损失均定义为$\ell_2$误差。 我们最终的损失$\mathcal{L}_{HO}$是重建项与正则化项的加权和： $$ \mathcal{L}_{H O}=\mathcal{L}_{V_{O b j}}+\lambda_{J}\mathcal{L}_{J_{H a n d}}+\lambda_{\beta}\mathcal{L}_{\beta_{H a n d}}+\lambda_{\theta}\mathcal{L}_{\theta_{H a n d}}. $$ ### 4. 评估 在本节中，我们首先介绍相关数据集及对应的评估协议，随后将我们的方法与其他前沿方法进行比较，并对我们的框架展开详细分析。 #### 4.1. 数据集 我们在两个最新发布的数据集上评估我们的手部与物体3D重建及姿态估计框架：第一人称手部动作基准测试集[^6]和HO-3D[^11]，这两个数据集提供了所有手部关键点的姿态标注以及被操控的刚体物体的相关信息。 第一人称手部动作基准测试集（FPHAB）：FPHAB数据集[^6]收集了记录各类手部与物体交互场景的 Egocentric RGB-D 视频，包含3D手部姿态、6D物体姿态以及手部关节位置的真实标注。这些标注通过绑在手部上的动作捕捉磁传感器自动获取。对于部分视频，可提供4种物体的姿态标注；与手部标注类似，它们也是通过磁传感器获得的。在我们的评估中，采用了与[^43]中相同的动作划分方式：每个物体同时出现在训练集和测试集中，从而让模型能够学习特定实例对应的6个自由度信息。 --- （自由度）变换。为了进一步将我们的结果与[^12]的结果进行对比，我们还采用了FPHAB的数据集划分方式，即训练集和测试集包含不同的受试者。 HO-3D：最新的HO-3D数据集[^11]是研究人员在无标记环境下收集双手及被操控物体3D姿态标注的成果。在本研究中，我们报告的是该数据集首个版本所发布子集上的实验结果[^10]。关于该子集的具体细节可在补充材料中查看。我们重点研究的HO-3D子集包含14个序列，其中2个可用于评估。研究者们在真实训练序列的基础上加入了额外的合成数据。为了将我们的方法与[^10]中提出的基线方法进行比较，我们联合使用它们的真实训练集和合成训练集进行训练。 #### 4.2. 评估指标 平均3D误差。为了评估我们的3D手部重建质量，我们按照[^51]的方法，计算21个关节处的平均端点误差（单位：毫米）。对于物体而言，在FPHAB数据集上，我们计算相机坐标系下的平均顶点距离，以便与[^43]的结果进行对比；在HO-3D数据集上，则计算平均边界框角点距离。 我们在3D手部姿态估计和6D物体姿态估计任务上评估我们的方法，利用官方提供的训练/测试划分来评估其相对于前沿方法的性能。我们使用以下指标来报告准确率。 平均二维误差。我们报告了重投影关键点与手部和物体的二维真实位置之间的平均误差。为了评估手部姿态估计的准确性，我们测量关节距离的平均值。对于物体姿态估计，按照三维误差指标的协议，我们报告FPHAB数据集上的平均二维顶点距离，以及HO-3D数据集上的平均二维角点距离。为了进一步将我们的结果与[^10]的结果进行比较，我们还报告了正确关键点的百分比（PCK）。具体而言，针对不同的像素距离，我们计算出平均误差低于给定阈值的帧数所占的百分比。 #### 4.3. 实验结果 我们首先报告了我们单帧手-物重建模型的姿态估计准确性，并将其与最先进的[^10]和[^43]方法进行比较。随后，我们展示了基于运动的自监督学习方法的结果，并证明了其在真实标注数据稀缺情况下的高效性。 单帧手-物重建。我们的模型以彩色图像为输入，重建密集网格以利用像素级一致性，进而推断手部和物体的姿态。为了将我们的结果与最先进的[^10]、[^12]和[^43]方法进行比较，我们在FPHAB [^6]数据集和HO-3D [^11]数据集上评估了我们的姿态估计准确性。
MethodHand errorObject error
Tekin et al.15.824.9
Ours18.022.3
Table 1. Comparison to state-of-the-art method of Tekin et al. [^43] on FPHAB [^6], errors are reported in mm.
MethodHand error
Ours - no skeleton adaptation28.1
Ours27.4
Hasson et al. [^12]28.0
Table 2. On the FHPAB dataset, for which the skeleton is substantially different from the MANO one, we show that adding a skeleton adaptation layer allows us to outperform [^12], while additionally predicting the global translation of the hand.
表1显示，在物体姿态估计方面，我们的模型比[^43]具有更高的准确性。我们将此归因于[^43]采用关键点位置回归方式，并将物体姿态恢复作为不可微的后处理步骤，而我们则直接优化6D姿态。我们的方法在FPHAB数据集上的平均误差为18毫米，而[^43]的平均误差比我们小2.6毫米。这一实验结果与先前的研究结论一致，即单独估计关键点位置的方式优于模型参数回归[^18]、[^29]、[^30]。虽然我们的方法在姿态估计准确性上与最先进水平相当，但它具有预测精细手部形状的优势，这对于深入理解手-物交互及接触点至关重要。我们还将我们的结果与[^12]在FPHAB数据集上使用受试者划分方式得出的结果进行了比较，结果表明我们的模型不仅提升了手部姿态估计的准确性，还能额外估算出手部在相机空间中的全局位置。 我们进一步在近期推出的HO-3D数据集上评估了单图像模型的手-物姿态估计准确性。图5显示，在手部及物体姿态估计方面，我们的表现均优于[^10]。 在表3中，我们分析了在统一框架内同时训练手部与物体姿态估计的效果。我们将统一模型的结果与分别针对手部姿态估计和物体姿态估计训练的模型结果进行了比较。我们发现，统一协同训练会略微降低手部姿态估计的准确性。[^43]也观察到了这一现象，其原因可能是手部姿态对物体姿态有很强的约束作用，但物体姿态的同时估计并不会提升手部姿态估计的准确性，这与关节姿态估计问题本身所具有的高自由度特性有关。 --- ![Image](images/96df7695db2ad09e2acf9d43bdf7b2ea5e9625f775c4c4d8cfcd21c229020613.jpg)
Figure 4. Qualitative results on the FPHAB dataset. We visualize the reconstructed meshes reprojected on the image as well as a rotated view. When training on the full dataset, we obtain reconstructions which accurately capture the hand-object interaction. In the sparsely supervised setting, we qualitatively observe that photometric consistency allows to recover more accurate hand and object poses. Failure cases occur in the presence of important motion blur and large occlusions of the hand or the object by the subject's arm.
![Image](images/5e1b3f76645d9e90e2ad7105842a663787423e7fe64eb18062a0eddc21cff7ef.jpg)
Figure 5. Evaluation of our baseline for hand-object pose estimation on HO-3D. We report the PCK for 2D joint mean-end-point error for hands, and the mean 2D reprojection error for objects.
![Image](images/f18acef9f66ec9d0ad58539d07dd33f8869750d5d7c6fe340e47c049ea45ebac.jpg)
Figure 6. Predicted reconstructions for images from HO-3D. While rotation errors around axis parallel to the camera plane are not corrected and are sometimes even introduced by the photometric consistency loss, we observe qualitative improvement in the 2D reprojection of the predicted meshes on the image plane.
Hand error (mm)Object error (mm)
Hand only15.7-
Object only-21.8
Hand + Object18.022.3
视频中的光度监督。我们在真实数据可用性有限的情况下，验证了自监督密集手-物体重建方法的效率。我们通过在每个序列中均匀采样帧，利用一部分数据进行模型预训练。为了达到每个训练视频序列中标注帧的指定比例，我们从第一帧开始采样若干帧。随后我们继续利用光度信息开展训练——
Table 3. We compare training for hand and object pose estimation jointly and separately on FPHAB [^6] and find that the encoder can be shared at a minor performance cost in hand and object pose accuracy.
![Image](images/b3e1620b85f4aa39fcff47837e64d6a8c128b09b771340bdbb0a69bc01f2417a.jpg)
Figure 7. Effect of using photometric-consistency self-supervision when only a fraction of frames are fully annotated on HO-3D. We report average values and standard deviations over 5 different runs.
我们将光度一致性作为额外的损失项，同时保留对稀疏标注帧的完整监督。额外的实现细节和训练细节在补充材料中进行了说明。为了单独分析额外一致性项的效应，并排除因训练时间更长带来的潜在优势，我们继续训练一个以稀疏关键帧为监督依据的参考模型以供对比。我们测试了多种 --- ![Image](images/2c851c5b0be6397938bfe4a7ebbcc68fe30e5990f40da3c92e293aca5ddeefcb.jpg)
Figure 8. We observe consistent quantitative improvements from the photometric consistency loss as the percentage of fully supervised frames decreases below 10% for both hands and objects.
数据稀缺场景，逐步将标注关键帧的比例从50%降至不足1%。 我们在图8中展示了FPHAB数据集上的结果，在图7中展示了HO-3D数据集上的结果。我们发现，仅需20%的帧就能在FPHAB数据集上达到密集监督下的性能水平，这源于相邻帧之间的相关性。然而，随着标注数据的比例进一步降低，泛化误差反而显著减小。我们证明，在数据量极少、仅标注了少量样本的情况下，我们的自监督学习策略能大幅提升姿态估计精度，从而减少对大型标注数据集在手-物体重建任务中的依赖。尽管随着视频间监督信息的稀疏化，参考帧与一致性监督帧之间的相似性会降低，且到参考帧的平均距离会增加，导致外观变化更大，但我们发现：当完全标注的数据越稀缺时，额外引入的光度一致性约束所带来的益处就越明显，无论对手部还是物体而言皆是如此。当使用不到1%的训练数据进行完整监督时，物体的平均误差绝对改善值达到7像素，手部则为4像素，分别使稀疏监督与完全监督场景间的差距缩小了25%和23%（见图8）。虽然在HO-3D数据集上，物体在像素级的改善并未转化为更好的3D重建效果（见图7），但在FPHAB数据集上，当仅对2.5%的数据进行完全监督时，物体姿态方面的相对改善最为显著。在这种设置下，平均像素误差降低了4.7，相当于误差减少了51%，3D毫米级误差也降低了40%。我们定性分析了引入额外光度一致性损失后的改进模式与失效情况，详见图4和图6。 ![Image](images/00afca92a202bf05e3e13e0b93b9e7294d519de836ef0672773bba9471e6a4bd.jpg)
Figure 9. Progressive pose refinement over training samples, even in the presence of large motion and inaccurate initialization. In extreme cases (last row), the model cannot recover.
从图4和图6可以看出，引入额外的光度一致性损失所带来的改进与不足。 由于我们的方法依赖光度一致性来进行监督，因此一旦光度一致性假设被打破，该方法就可能失效。这种情况可能出现在快速运动或光照变化等场景中。不过，只要光度一致性假设仍然成立，即便参考帧与目标帧之间存在大幅度运动，我们的方法仍有可能提供有效的监督信息。我们观察到，在大多数情况下，我们的基准模型能在未标注的帧上给出合理的初始姿态估计，从而让光度损失函数提供有价值的梯度信息。在图9中，我们展示了在FPHAB数据集的训练样本上，由我们的损失函数指导下的成功与失败的姿态优化实例。我们的模型能够在初始预测不准确且相对于参考帧存在大幅度运动的困难情况下，改善姿态估计结果。 ### 5. 结论 在本文中，我们提出了一种从单目彩色图像进行手部与物体密集三维重建的新方法。我们进一步提出了一种利用稀疏监督帧之间的光度一致性来实现稀疏监督学习的方法。实验表明，我们的方法在手部与物体姿态估计方面能够达到高精度，并且能够充分利用稀疏标注帧与未标注相邻帧之间的相似性来提供额外的监督信息。未来的工作将探索更多用于手部与物体重建的自监督三维穿插及场景交互约束。我们的框架具有通用性，可扩展至包含完整人体及环境表面，我们计划以此实现全面的人体中心场景理解。 致谢。本研究得到了微软研究院-英里亚联合实验室的支持，以及法国国家研究署作为“未来投资”计划的一部分所提供的资助，项目编号为ANR-19-P3IA-0001（PRAIRIE 3IA研究所）。Yana Hasson感谢Mihai Dusmanu、Yann Labbé和Thomas Eboli在讨论中提供的帮助。 --- ## 参考文献 [^1]: Anurag $^{*}$ Arnab, Carl $^{*}$ Doersch, and Andrew Zisserman. Exploiting temporal context for 3d human pose estimation in the wild. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2019. 3 [^2]: Gedas Bertasius, Christoph Feichtenhofer, Du Tran, Jianbo Shi, and Lorenzo Torresani. Learning temporal pose estimation from sparsely-labeled videos. In Advances in Neural Information Processing Systems, 2019. 3 [^3]: Adnane Boukhayma, Rodrigo de Bem, and Philip H.S. Torr. 3d hand shape and pose from images in the wild. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2019. 2, 4, 5 [^4]: Fabian Brickwedde, Steffen Abraham, and Rudolf Mester. Mono-sf: Multi-view geometry meets single-view depth for monocular scene flow estimation of dynamic traffic scenes. In The IEEE International Conference on Computer Vision (ICCV), October 2019. 3 [^5]: Yujun Cai, Liuhao Ge, Jianfei Cai, and Junsong Yuan. Weakly-supervised 3D hand pose estimation from monocular RGB images. In The European Conference on Computer Vision (ECCV), 2018. 2 [^6]: Guillermo Garcia-Hernando, Shanxin Yuan, Seungryul Baek, and Tae-Kyun Kim. First-person hand action benchmark with RGB-D videos and 3D hand pose annotations. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2018. 1, 3, 5, 6, 7 [^7]: Liuhao Ge, Zhou Ren, Yuncheng Li, Zehao Xue, Yingying Wang, Jianfei Cai, and Junsong Yuan. 3d hand shape and pose estimation from a single rgb image. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2019. 2 [^8]: Clément Godard, Oisin Mac Aodha, and Gabriel J. Brostow. Unsupervised monocular depth estimation with left-right consistency. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017. 3, 4 [^9]: Riza Alp Guler, Natalia Neverova, and Iasonas Kokkinos. DensePose: Dense human pose estimation in the wild. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2018. 3 [^10]: Shreyas Hampali, Markus Oberweger, Mahdi Rad, and Vincent Lepetit. Ho-3d: A multi-user, multi-object dataset for joint 3d hand-object pose estimation. In arXiv Preprint 1907.01481v1, 2019. 6 [^11]: Shreyas Hampali, Markus Oberweger, Mahdi Rad, and Vincent Lepetit. Honnotate: A method for 3d annotation of hand and objects poses. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2020. 3, 5, 6 [^12]: Yana Hasson, Gül Varol, Dimitris Tzionas, Igor Kalevatykh, Michael J. Black, Ivan Laptev, and Cordelia Schmid. Learning joint reconstruction of hands and manipulated objects. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2019. 1, 2, 3, 4, 5, 6 [^13]: Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2015. 5 [^14]: Junhwa Hur and Stefan Roth. MirrorFlow: Exploiting sym- 联合光流与遮挡估计中的度量问题。载于IEEE国际计算机视觉会议（ICCV），2017年。4 [^15]: Eddy Ilg, Nikolaus Mayer, Tonnoy Saikia, Margret Keuper, Alexey Dosovitskiy, and Thomas Brox. Flownet 2.0: Evolution of optical flow estimation with deep networks. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017. 3 [^16]: Umar Iqbal, Pavlo Molchanov, Thomas Breuel, Juergen Gall, and Jan Kautz. Hand pose estimation via latent 2.5d heatmap regression. In The European Conference on Computer Vision (ECCV), 2018. 1, 2 [^17]: Hanbyul Joo, Tomas Simon, and Yaser Sheikh. Total capture: A 3d deformation model for tracking faces, hands, and bodies. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2018. 2 [^18]: Angjoo Kanazawa, Michael J. Black, David W. Jacobs, and Jitendra Malik. End-to-end recovery of human shape and pose. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2018. 3, 5, 6 [^19]: Hiroharu Kato, Yoshitaka Ushiku, and Tatsuya Harada. Neural 3D mesh renderer. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2018. 4 [^20]: Wadim Kehl, Fabian Manhardt, Federico Tombari, Slobodan Ilic, and Nassir Navab. Ssd-6d: Making rgb-based 3d detection and 6d pose estimation great again. In The IEEE International Conference on Computer Vision (ICCV), 2017. 2, 3 [^21]: Vincent Lepetit, Francesc Moreno-Noguer, and Pascal Fua. EPnP: An accurate O(n) solution to the PnP problem. International Journal of Computer Vision (IJCV), 2009. 2 [^22]: Yi Li, Gu Wang, Xiangyang Ji, Yu Xiang, and Dieter Fox. Deepim: Deep iterative matching for 6d pose estimation. In The European Conference on Computer Vision (ECCV), 2018. 2, 5 [^23]: Matthew Loper, Naureen Mahmood, Javier Romero, Gerard Pons-Moll, and Michael J. Black. SMPL: A skinned multiperson linear model. ACM Transactions on Graphics, (Proc. SIGGRAPH Asia), 2015. 3 [^24]: Franziska Mueller, Florian Bernard, Oleksandr Sotnychenko, Dushyant Mehta, Srinath Sridhar, Dan Casas, and Christian Theobalt. GANerated hands for real-time 3D hand tracking from monocular RGB. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2018. 1, 2 [^25]: Franziska Mueller, Micah Davis, Florian Bernard, Oleksandr Sotnychenko, Mickeal Verschoor, Miguel A. Otaduy, Dan Casas, and Christian Theobalt. Real-time Pose and Shape Reconstruction of Two Interacting Hands With a Single Depth Camera. ACM Transactions on Graphics (TOG). 2 [^26]: Franziska Mueller, Dushyant Mehta, Oleksandr Sotnychenko, Srinath Sridhar, Dan Casas, and Christian Theobalt. Real-time hand tracking under occlusion from an egocentric RGB-D sensor. In The IEEE International Conference on Computer Vision (ICCV), 2017. 2 ## [^27]: Natalia Neverova, James Thewlis, Riza Alp Guler, Iasonas Kokkinos, and Andrea Vedaldi. Slim densepose: Thrifty learning from sparse annotations and motion cues. In The --- IEEE计算机视觉与模式识别会议（CVPR），2019年。3, 4 [^28]: Kiru Park, Timothy Patten, and Markus Vincze. Pix2Pose: Pixel-wise coordinate regression of objects for 6D pose estimation. In The IEEE International Conference on Computer Vision (ICCV), 2019. 2 [^29]: Georgios Pavlakos, Nikos Kolotouros, and Kostas Daniilidis. Texturepose: Supervising human mesh estimation with texture consistency. In The IEEE International Conference on Computer Vision (ICCV), 2019. 3, 4, 6 [^30]: Georgios Pavlakos, Luyang Zhu, Xiaowei Zhou, and Kostas Daniilidis. Learning to estimate 3D human pose and shape from a single color image. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2018. 2, 5, 6 [^31]: Dario Pavllo, Christoph Feichtenhofer, David Grangier, and Michael Auli. 3d human pose estimation in video with temporal convolutions and semi-supervised training. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2019. 3 [^32]: Tomas Pfister, James Charles, and Andrew Zisserman. Flowing convnets for human pose estimation in videos. In The IEEE International Conference on Computer Vision (ICCV), 2015. 3 [^33]: Mahdi Rad and Vincent Lepetit. BB8: A scalable, accurate, robust to partial occlusion method for predicting the 3D poses of challenging objects without using depth. In The IEEE International Conference on Computer Vision (ICCV), 2017. 2 [^34]: Helge Rhodin, Mathieu Salzmann, and Pascal Fua. Unsupervised geometry-aware representation learning for 3D human pose estimation. In The European Conference on Computer Vision (ECCV), 2018. 3 [^35]: Helge Rhodin, Jörg Spörri, Isinsu Katircioglu, Victor Constantin, Frédéric Meyer, Erich Müller, Mathieu Salzmann, and Pascal Fua. Learning monocular 3D human pose estimation from multi-view images. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2018. 3 [^36]: Grégory Rogez, James Steven Supancic III, and Deva Ramanan. Understanding everyday hands in action from RGBD images. In The IEEE International Conference on Computer Vision (ICCV), 2015. 2 [^37]: Javier Romero, Hedvig Kjellström, and Danica Kragic. Hands in action: real-time 3D reconstruction of hands in interaction with objects. 2010. 1,2 [^38]: Javier Romero, Dimitrios Tzionas, and Michael J. Black. Embodied hands: Modeling and capturing hands and bodies together. ACM Transactions on Graphics, (Proc. SIGGRAPH Asia), 2017. 2, 3, 4, 5 [^39]: Tomas Simon, Hanbyul Joo, Iain Matthews, and Yaser Sheikh. Hand keypoint detection in single images using multiview bootstrapping. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017. 2 [^40]: Adrian Spurr, Jie Song, Seonwook Park, and Otmar Hilliges. Cross-modal deep variational hand pose estimation. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2018. 2 [^41]: Srinath Sridhar, Franziska Mueller, Michael Zollhoefer, Dan Casas, Antti Oulasvirta, and Christian Theobalt. Real-time 基于RGB-D输入的手部操纵物体的关节跟踪。载于欧洲计算机视觉会议（ECCV），2016年。2 [^42]: Martin Sundermeyer, Marton Zoltan-Csaba, Maximilian Durner, Manuel Brucker, and Rudolph Triebel. Implicit 3D orientation learning for 6D object detection from RGB images. In The European Conference on Computer Vision (ECCV), 2018. 2 [^43]: Bugra Tekin, Federica Bogo, and Marc Pollefeys. H+O: Unified egocentric recognition of 3D hand-object poses and interactions. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2019. 1, 3, 5, 6 [^44]: Bugra Tekin, Sudipta Sinha, and Pascal Fua. Real-time seamless single shot 6D object pose prediction. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2018. 2, 3 [^45]: Hsiao-Yu Tung, Hsiao-Wei Tung, Ersin Yumer, and Katerina Fragkiadaki. Self-supervised learning of motion capture. In Advances in Neural Information Processing Systems, 2017. 3 [^46]: Dimitrios Tzionas, Luca Ballan, Abhilash Srikantha, Pablo Aponte, Marc Pollefeys, and Juergen Gall. Capturing hands in action using discriminative salient points and physics simulation. International Journal of Computer Vision (IJCV), 2016. 2 [^47]: Yu Xiang, Tanner Schmidt, Venkatraman Narayanan, and Dieter Fox. Posecnn: A convolutional neural network for 6d object pose estimation in cluttered scenes. Robotics: Science and Systems (RSS), 2018. 5 [^48]: Linlin Yang and Angela Yao. Disentangling latent hands for image synthesis and pose estimation. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2019. 2 [^49]: Xiong Zhang, Qiang Li, Hong Mo, Wenbo Zhang, and Wen Zheng. End-to-end hand mesh recovery from a monocular RGB image. In The IEEE International Conference on Computer Vision (ICCV), 2019. 2 [^50]: Tinghui Zhou, Matthew Brown, Noah Snavely, and David Lowe. Unsupervised learning of depth and ego-motion from video. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017. 3,4 [^51]: Christian Zimmermann and Thomas Brox. Learning to estimate 3d hand pose from single rgb images. In The IEEE International Conference on Computer Vision (ICCV), 2017. 2,6 [^52]: Christian Zimmermann, Duygu Ceylan, Jimei Yang, Bryan Russell, Max Argus, and Thomas Brox. Freihand: A dataset for markerless capture of hand pose and shape from single rgb images. In The IEEE International Conference on Computer Vision (ICCV), 2019. 2