# SHOWMe：基于物体的通用手-物体3D重建基准测试
Anilkumar Swamy $^{1,2}$, Vincent Leroy $^{1}$, Philippe Weinzaepfel $^{1}$, Fabien Baradel $^{1}$, Salma Galaaoui $^{1}$, Romain Brégier $^{1}$, Matthieu Armando $^{1}$, Jean-Sebastien Franco $^{2}$, Grégory Rogez $^{1}$
$^{1}$NAVER LABS Europe $^{2}$、格勒诺布尔阿尔卑斯大学Inria研究中心
Figure 1: The SHOWMe dataset comprises 96 videos with their associated high-quality textured meshes of a hand holding an object. For two different samples, we show on the left side, row by row, real RGB crops from the dataset, an overlay of the corresponding ground truth textured mesh, and a rendering of the texture-less mesh with Phong shading. On the right, we show the 3D reconstruction of the hand-object obtained from the RGB stream only, using one of the evaluated baselines.
## 摘要
近期的人手与物体交互数据集在真实物体的多样性方面存在局限，且需借助MANO参数化模型来获取手部形状的基准真值。为突破这些限制并推动相关研究的发展，我们推出了SHOWMe数据集，该数据集包含96段视频，配有真实且精细的手部与物体三维纹理网格标注。借鉴近期的研究成果，我们设定了刚性的手-物场景，即在整个视频序列中，手部相对于物体的姿态保持不变。这一假设使我们能够将亚毫米级精度的基准真值三维扫描数据匹配到SHOWMe数据集中的图像序列上。尽管这种假设较为简单，但在对精度和细节要求较高的应用场景中却具有实际意义，例如人机协作中的物体递送、物体扫描，或是操控与接触点分析等。尤为重要的是，手-物系统的刚性特征使得我们能够采用两阶段流程来实现未知手持物体的基于视频的三维重建：先执行刚性配准步骤，再进行多视角重建。
(MVR)部分。我们仔细评估了针对这两个阶段的一系列非平凡基线，结果表明：利用SfM工具箱或手部姿态估计器来恢复刚性变换，再结合现成的MVR算法，就能够实现具有前景的、与物体无关的三维手-物体重建。不过，这些方法仍然对初始相机姿态估计较为敏感——由于物体表面缺乏纹理或手部存在严重遮挡，初始估计往往不够精确，因此重建效果仍有提升空间。代码和数据集可在获取。
### 1. 引言
从RGB图像中理解手与物体之间的交互，是更深入理解人类行为与互动的关键环节。这种理解能够助力众多应用场景的发展，从虚拟与增强现实，到人机交互以及通过演示学习实现的自主机器人操控等。例如，在人类向配备RGB传感器的机器人递送物体的场景中，我们希望机器人能够在不伤害人的前提下抓住该物体。此类操作很可能需要对物体以及握持它的手部进行精细感知，而能够在RGB数据的基础上精准建模3D手-物体（HO）系统，在这种场景下将大有用处。
---
Figure 2: Hand-Object 2-stage 3D reconstruction pipeline. Given an RGB video of a hand holding an object (left), the rigid transformation between frames is first estimated. This allows to see the problem as if a set of multiple virtual cameras observe a fixed hand-object system (middle). Multi-view reconstruction can then be employed to estimate an accurate hand-object 3D shape (right). We benchmark several baselines for both stages using the presented dataset.
机器人需要在不伤害人的前提下抓取物体。此类操作很可能需要对物体以及握持物体的手部进行精细感知；在此类场景下，能够基于RGB数据精准建模三维手-物体（HO）系统将非常有用。
联合手物三维重建问题在近期的大量研究中已被探讨[^26] [^24] [^25] [^6] [^21] [^11] [^13] [^54] [^13] [^48]，这些研究旨在从单张RGB图像中估计手物的三维形状。这类方法通常依赖人手的可变形运动模型——MANO [^42]，该模型虽能提供有用的先验信息，却也会限制对未见过的手形进行高精度重建的能力[^15]。大多数手物重建方法的另一个重要局限在于：它们往往预先假定物体的精确三维模型已知，因此难以泛化到训练数据分布之外的物体。尽管无需物体先验的单图像手物重建任务仍极具挑战性，但利用场景的多次观测能显著简化这一任务。
获取更多观测数据的一种方式是采用同步多摄像头方案，不过这在实践中会增加部署复杂度。另一种方式是利用RGB视频流的时间维度，正如[^27]的研究所示，他们最近证明可利用场景的多次观测来简化无物体先验的手物三维重建任务。不过，他们的方法仅适用于小物体的近距离指尖抓取场景，无法用于自然的手物交互。有趣的是，此前很少有研究关注利用RGB视频的时间信息来进行手物重建[^27]，除非事先强加了物体已知的假设[^25] [^24]。
借鉴[^6]和[^27]的思路，我们将问题简化，作为实现动态时间信息整合的中间步骤：假设摄像头固定不动，且手紧握着一个未知物体。在这种设定下，一段RGB视频可被视为对同一手物系统的多次观测，这使我们能够将手物建模问题转化为多视图重建（MVR）场景：观测到的是经历刚性变换的手物实例的RGB外观。为解决这一问题，需要处理两个未知数：1. 刚性变换参数；2. 如何聚合RGB观测数据。值得注意的是，这两点可以分别或共同处理。除了在受限场景下开展研究的[^27]之外，尚无专门为解决此类任务所面临的挑战而设计的方法；更重要的是，目前还缺乏相应的评估协议和专门设计的数据集。
因此，我们提出了一种新型数据集，包含96段手紧握物体并向摄像头展示该物体的视频。我们共采集了87K帧图像，涵盖42种独特物体，这些物体的抓取姿态分布均匀，由15名受试者操作，涵盖了不同的性别、肤色和手形。重要的是，我们的数据集包含了高精度的手物三维形状真值，这些真值是在拍摄每段视频序列前用亚毫米级精度的扫描仪获取的。随后，我们将生成的带纹理三维网格与对应序列中的每一帧进行配准，从而提供高度详细的真值标注。实际操作中分为两步：1）将手物三维网格真值配准到序列中每帧的深度图上；2）利用可微渲染流程优化配准结果，从而获得如图1所示的三维网格与RGB帧的精准对齐。我们将该数据集命名为SHOWMe，即“带精确带纹理三维网格的单摄像头手物视频”的缩写。
借助SHOWMe，我们对由刚性配准和基于多视角观测的HO 3D重建组成的两阶段流程进行了基准测试，详见图2。与针对人体形状的[^34]方法类似，我们首先利用手部关键点检测器的输出结果来估算各帧间的刚性变换，正如[^27]中所述。我们将这种方法与传统的运动恢复结构（SfM）方法——即COLMAP [^44]进行对比。我们发现，基于手部的刚性变换估算对于无纹理物体更为稳健，但在严重遮挡情况下效果较差。完成刚性配准后，便可采用多视角重建方法来执行HO重建。我们比较了基于轮廓的重建方法（该方法利用了手-物体分割技术[^32]）以及基于可微渲染方法的较新方案[^47]。
---
| dataset | real images | marker-less | # number of | image resol. | grasp variability | object scan | hand-obj texture | hand scan | hand annotation |
| img | seq | sbj | obj |
| ObMan[^26] | ✗ | ✓ | 154k | - | 20 | 3K | $256 \times 256$ | +++ | ✓ | ✗ | ✗ | MANO |
| GRAB[^46] | ✗ | ✗ | - | 1,335 | 10 | 51 | - | +++ | ✓ | ✗ | ✗ | MANO |
| FPHA[^20] | ✓ | ✗ | 105k | 1,175 | 6 | 4 | $1920 \times 10^{80}$ | + | ✓ | ✗ | ✗ | keypoints |
| ContactPose[^6] | ✓ | ✗ | 2,991k | 2,303 | 50 | 25 | 960 $\times$ 540 | ++ | ✓ | ✗ | ✗ | MANO |
| ARCTIC[^17] | ✓ | ✗ | 1,200k | 242 | 9 | 10 | 2800 $\times$ 2000 | +++ | ✓ | ✗ | ✗ | MANO |
| YCB-Affordance[^16] | ✓ | ✓ | 133k | - | 1 | 21 | 640 $\times$ 480 | +++ | ✓ | ✗ | ✗ | MANO |
| GUN-71[^41] | ✓ | ✓ | 12k | 1,680 | 8 | 1988 | 640 $\times$ 480 | +++ | ✗ | ✗ | ✗ | grasp Id |
| FreiHand[^58] | ✓ | ✓ | 37k | - | 32 | 27 | 224 $\times$ 224 | ++ | ✗ | ✗ | ✗ | MANO |
| Dexter+Object[^45] | ✓ | ✓ | 3k | 6 | 2 | 2 | 640 $\times$ 480 | + | ✗ | ✗ | ✗ | fingertips |
| EgoDexter[^35] | ✓ | ✓ | 3k | 4 | 4 | - | 640 $\times$ 480 | + | ✗ | ✗ | ✗ | fingertips |
| HO3D[^21] | ✓ | ✓ | 78k | 27 | 10 | 10 | 640 $\times$ 480 | +++ | ✓ | ✗ | ✗ | MANO |
| DexYCB[^12] | ✓ | ✓ | 582k | 1,000 | 10 | 20 | 640 $\times$ 480 | ++ | ✓ | ✗ | ✗ | MANO |
| $H_{2}O$[^31] | ✓ | ✓ | 571k | - | 4 | 8 | 1280 $\times$ 720 | ++ | ✓ | ✗ | ✗ | MANO |
| OakInk[^53] | ✓ | ✓ | 230k | - | 12 | 100 | 848 $\times$ 480 | +++ | ✗ | ✗ | ✗ | MANO |
| HOD[^27] | ✓ | ✓ | 126k | 70 | 1 | 35 | 2160 $\times$ 3840 | + | ✓ (only 14) | ✗ | ✗ | NO Annotations |
| SHOWMe (Ours) | ✓ | ✓ | 87k | 96 | 15 | 42 | 1280 $\times$ 720 | +++ | ✓ | ✓ | ✓ | MANO |
Table 1: Comparison of our dataset with existing hand-object interaction datasets
神经隐式表面模型[^27]。在已知精确配准结果的前提下，这三种方法均能取得极高的精度。然而，当使用估算出的配准结果时，最佳基线方法仅在约四分之三的序列上能取得令人满意的效果，其余序列则效果不佳。这证实了从RGB视频中进行HO 3D重建是一项极具挑战性的任务，我们希望我们的数据集能推动该领域的进一步研究。
总而言之，我们的贡献有两点。首先，我们提出了全新的手-物体交互数据集SHOWMe，以及用于利用高精度手-物体3D扫描对RGB-D视频进行标注的流程。SHOWMe是首个为手-物体3D形状提供如此高精度真值的数据集。其次，我们针对基于多视角重建的流程，评估了一系列用于从RGB视频中实现细节丰富且不受物体类型限制的HO 3D重建的基线方法。
在第2节讨论相关工作及现有数据集之后，我们在第3节介绍了SHOWMe数据集及其采集设置。最后，我们在第4节阐述了两阶段流程，并在第5节评估了若干基线方法。
### 2. 相关工作
由于我们的两项贡献分别是全新的HO数据集以及不受物体类型限制的HO重建基线基准测试，下文我们将探讨最相关的数据集与方法。
手-物体数据集。早期关于手-物体交互的研究[^41] [^4] [^8] [^9] [^18]提出了用于抓取分类或动作识别的数据集。尽管这些识别任务十分重要，但由于缺乏3D关节或3D形状等真值标注，这些数据集很少被用于HO重建研究。
获取带有真实3D信息的图像通常是个棘手的问题，即便对于非手部相关研究也是如此。由于图像中手部尺寸较小，手动标注十分困难 [^45]。当涉及手部与物体的交互时，这一问题会更加突出。因此，以往的研究提出了使用合成数据 [^40] [^35] [^14] [^26] [^16]、带标记点的动作捕捉技术 [^6]、磁传感器 [^20] 或多视角设置 [^58] [^21] [^6] [^12] [^31] [^53]。合成数据通常是通过渲染手部与物体交互的参数化模型来获得的。即便在考虑深度传感器时其逼真度足够高 [^40]，但合成图像与真实RGB图像之间的域差异往往过大，以至于无法单独作为可靠的数据来源。另一方面，基于磁传感器和标记点的侵入式动作捕捉方法会使手部外观显得不真实，还会引入不必要的偏差。
最近通过多视角设置获得的大多数数据集 [^58] [^21] [^6] [^12] [^31] [^53] 都是利用多视角数据来拟合MANO参数化模型 [^42]，并将其作为手部形状的基准真值。尽管该模型包含有用的先验信息，但MANO无法表示非常精细的手部形状 [^15]。在我们的研究中，我们使用高精度扫描仪对手部进行扫描，从而获得精度达到亚毫米级的基准真值形状。
诸如 [^21] [^12] [^22] 等近期的多视角视频数据集在规模、无标记特性以及动作逼真度方面表现优异，但物体种类却较为有限（[^21] 数据集包含10种物体，[^12] 数据集包含20种物体，两者所用的物体集均来自YCB数据集 [^10]）。这些数据集中的动作也局限于从桌上拿起物体再放回去，或是将物体递给他人等固定模式。OakInk [^53] 虽然提供了种类更多的物体，但动作类型有限。而SHOWMe数据集则包含超过40种物体，能呈现物体各个侧面的复杂运动。
与我们所提出的SHOWMe数据集较为接近的是ContactPose [^6] 和HOD [^27]，它们同样考虑了操作过程中手部的静态配置。虽然HOD为部分被操作的物体提供了未经配准的3D扫描数据，但ContactPose提供了手部和物体的真实3D形状及姿态信息。不过，该数据集中的物体均为人为制作的无纹理物体，且为了动作捕捉目的还装有突出的基准标记点。手部形状也是通过拟合MANO模型得到的。此外，我们发现有些帧
---
Figure 3: Rendering of the textured mesh for few hand-object configurations of our SHOWMe dataset.
在某些序列中缺失，导致操作过程中手-物运动出现不连续现象，从而无法采用基于视频的方法进行处理。我们的SHOWMe数据集在物体外观和抓取类型方面更具多样性（见图3）；重要的是，它是首个为手部和物体同时提供真实3D形状的数据集。我们在表1中对SHOWMe与最相关且应用最广泛的手-物交互数据集进行了对比。
从单张RGB图像或单目视频中重建手与物体的关系是一项极其困难的任务，原因在于手与物体之间的相互遮挡、复杂的运动关系以及物体形状的多样性。正因如此，早期的研究[^50] [^49] [^55] [^3] [^37]通常采用RGB-D数据或多视角输入。近期，基于单目RGB图像的手物联合重建研究取得了令人瞩目的成果。这类方法大致可分为两类：一类是基于参数化手部模型的方法[^26] [^42] [^11] [^33] [^30] [^39]，这类方法假设物体模板已知（或属于特定类别[^30] [^36] [^23]）；另一类是基于隐式表示的方法[^29]，或是两者的结合[^54] [^13]。其中，[^54]假设已知3D模板，通过参数化模型获取手与物体的姿态——并利用有符号距离函数（SDF）来辅助重建手与物体的形状细节；而[^13]仅使用参数化模型作为手部先验，就能重建通用的手持物体，无需预先知道其3D模板。不过，这类方法的物体重建效果较差，因为目前尚不清楚如何利用隐式表示通过单一模型来重建多种多样的物体形状，这一点在[^29]中已有体现。为了以完全不依赖物体类型的方式获得合理的手物重建结果，[^27]利用了视频序列中手物刚性构型的多次观测数据；该方法先通过手部追踪器恢复相机运动，再采用基于隐式神经表示的方法重建手与物体的SDF及颜色场。受此启发，我们采用了两阶段流程：先进行刚性配准，再进行多视图重建（MVR），并对这两个阶段的多个基准方法进行了测试。
其他一些方法则将单目RGB手物视频作为输入。[^24]利用随时间变化的光度一致性来实现手物联合重建，而[^25]则采用了优化方法。[^33]利用时空一致性来选择用于自训练的伪标签。不过这些方法最大的缺陷在于推理时需要物体模板网格，这使得手物重建问题变成了手物6自由度姿态估计任务。我们的重点是对能够重建任意手物形状的无物体类型依赖方法进行基准测试。
### 3. SHOWMe数据集
本节中，我们将在第3.1节详细介绍数据集的采集流程，第3.2节说明数据标注情况（概述见图4），第3.3节则会说明如何对真实扫描数据进一步标注手物相关信息。
#### 3.1. 数据集采集
我们要求受试者根据不同的使用场景来抓取物体：要么是强力抓取，即用所有手指紧紧握住物体；要么是使用抓取，即像准备使用物体那样握住它；要么是传递抓取，即像要把物体交给他人那样握住它。随后，我们用RGB-D单目相机录制受试者手部与物体抓取过程的视频，确保拍到手部的每一个细节。为了便于从手臂中分离出手-物区域（这并非本数据集的研究重点），受试者会穿上颜色醒目的袖套，且视频中不会出现其他人体部位。视频拍摄完成后，我们要求受试者保持相同的抓取姿势，并用亚毫米级精度的扫描仪获取手-物构型的形状。图3展示了多个采集到的带纹理网格模型，体现了物体和抓取方式的多样性。
硬件详情。我们使用一台Intel RealSense L515 RGB-D相机[^28]采集视频，用Artec Eva 3D扫描仪[^2]获取手-物构型的真实值。相机在预处理阶段已完成校准，可同时采集深度流和RGB流，帧率最高可达30fps，分辨率则为1280×720。我们对RGB流和深度流进行处理，以实现像素对齐和时间同步。我们采用供应商提供的软件，从扫描结果中获取精确的形状数据。
数据集统计信息。我们从15名不同的受试者那里收集了96个序列，
---
Figure 4: Hand-Object capture and registration pipeline. We capture a video sequence of a hand holding rigidly an object and moving in front of an RGB-D camera, and we automatically segment the hand-object system in the images. We reconstruct a precise textured mesh of the hand-object in the exact same pose using an off-the-shelf 3D scanner and register this mesh to each frame to provide ground-truth annotations.
Figure 5: Mesh registration procedure for data annotation. Left: the pose of the ground truth HO mesh (light blue) is initialized through ICP registration with the segmented depth map. Right: it is then refined with differentiable rendering and temporal smoothness priors.
这些受试者抓取的是日常生活中常见的42种不同物体，物体的大小和形状各异。受试者在性别、肤色和手型上具有多样性。三种抓取类型（强力抓取、使用抓取、传递抓取）的分布较为均匀。每个视频序列的平均时长为48秒，总共包含87,540帧画面。
#### 3.2. 手-物三维形状的真实值标注
接下来我们将详细介绍如何在RGB图像中获取手-物分割结果以及真实值的刚体变换参数，也就是每一帧图像与扫描得到的3D网格之间的对齐关系，从而实现网格在图像上的投影。
分割过程。我们首先通过对输入的RGB-D流中的深度值进行阈值处理来分割前景，也就是手-物像素。这一过程能分离出手腕和物体，但也会把手臂包含在内，而手臂不在本研究范围内，且不符合刚体假设，因此我们需要将其排除。接着，我们根据袖套的颜色对RGB像素值进行阈值处理，从而分割出手臂部分。最后，我们将这两个掩码合并，得到手-物掩码，该掩码可同时应用于RGB帧和深度值，后者会被表示为反投影得到的3D点云。
从扫描得到的网格到每一帧的刚体变换。对于每个视频，我们将所有帧与扫描得到的真实值网格对齐。对齐的第一步是在真实值网格与上述经过掩码处理的深度点云之间执行鲁棒的刚性迭代最近点（ICP）算法[^56]。我们手动进行3D对齐以初始化每个序列的第一帧，随后利用前一步的结果作为初始值，自动对齐剩余帧，从而得到初步对齐的姿态$\{R_i|t_i\} \in SE(3)$，其中分别表示旋转和平移参数。我们发现这种对齐效果已经相当理想，但由于传感器噪声或ICP算法的局部极小值问题，仍会存在一些偏差。因此，我们通过后续介绍的可微渲染流程来优化这些对齐后的姿态。
对于每个序列，令 $I_i, i \in \{1..N\}$ 表示分辨率为 $H \times W$ 的 N 个输入帧， $S_i$ 为相同分辨率下的真实分割，且 $\mathcal{M}$ 为 GT 网格。该网格关联了从传感器获取的外观信息，使我们能够以可微分的方式将其渲染到各个图像平面上。我们的目标是细化相机位姿 $\{R_i'(t_i') = \{R_i \text{orth}(R_i^{\text{corr}}) | t_i + t_i' \text{corr}\}$ 使得彩色网格 $\mathcal{P}(\mathcal{M}, \{R_i'(t_i') \})$ 的投影与每一帧的 RGB 观测相匹配。我们将位姿修正表示为相对于 ICP 结果的偏移。并且我们将旋转修正 $R_i^{\text{corr}}$ 参数化为 $2 \times 3$ 矩阵，并用 Gram-Schmidt 过程 $\text{orth}()$ 将其正交归一化为旋转矩阵，遵循 [^7] 。
更正式地说，我们最小化渲染图像 $\hat{I}_{i}$ 与观测值之间的掩码均方误差（MSE）：
$$ \mathcal{L}_{R G B}=\sum_{i}^{N}\sum_{p}^{H\times W}S_{i}(p).||\hat{I}_{i}(p)-I_{i}(p)||^{2}. $$
仅靠这一损失项，在 RGB 信息模糊的序列中无法使模型有效收敛。因此，基于两个假设，我们添加了两项正则化项。我们假设连续的旋转和平移是平滑的，于是加入平滑项 $\mathcal{L}_{Smooth} = \mathcal{L}_t + \mathcal{L}_R$，它由两个函数组合而成，用于最小化变换的离散拉普拉斯算子：一个针对以度为单位表示的旋转 $\mathcal{L}_R$，另一个针对以厘米为单位表示的平移 $\mathcal{L}_t$：
$$ \mathcal{L}_{t}=\sum_{i=1}^{N-1}\frac{||2t^{\prime}_{i}-\mathrm{sg}(t^{\prime}_{i-1}+t^{\prime}_{i+1})||}{2N}, $$
$$ \mathcal{L}_{R}=\sum_{i=1}^{N-1}\frac{\angle\big(\mathrm{s g}(R_{i-1}^{\prime}),R_{i}^{\prime}\big)+\angle\big(R_{i}^{\prime},\mathrm{s g}(R_{i+1}^{\prime})\big)}{2N}, $$
---
其中 sg 是停止梯度算子，$\angle$ 用于计算两个旋转之间的夹角。在我们的可微分框架中，引入 sg 是为了防止 R 和 T 的值收敛为唯一确定值。
这些平滑项会禁止违背运动平滑性假设的相机变换。为了促使位姿修正量尽可能小，我们加入了如下形式的权重衰减正则化项：
$$ \mathcal{L}_{w d}=\sum_{i}\|R_{i}^{c o r r}-I\|^{2}+\|T_{i}^{c o r r}\|^{2} $$
这里 I 表示恒等旋转。最终，我们所优化的损失函数表达为：
$$ \mathcal{L}=\mathcal{L}_{RGB}+\lambda_{Smooth}\mathcal{L}_{Smooth}+\lambda_{wd}\mathcal{L}_{wd} $$
我们没有加入深度信息相关的损失项，因为那样会带来较大的计算开销。我们认为 ICP 对齐过程已经提供了来自深度的信号，这些信号已包含在 $\mathcal{L}_{wd}$ 所描述的表达式中。我们在 [^19] 的可微分渲染框架中，以稀疏体素网格结构来建模真实几何形状，靠近真实网格的体素具有较高的不透明度。每个非零体素都配备了从 $\mathcal{M}$ 初始化的外观信息。由于 $\mathcal{M}$ 的外观信息是通过扫描仪获取的，它与 RGB 观测值并不完全一致，因此我们需要调整外观以适配传感器相关的信息差异。于是，我们同时优化相机位姿偏移量和真实网格的外观参数。具体的优化细节请参阅补充材料。
图 5 展示了这种相机优化流程的效果。由于只有极少像素能提供关于细小结构的深度信息，因此通过 ICP 很难实现这些结构的正确对齐。相比之下，基于 RGB 的优化方法结合平滑约束后，能够标注出更精确的位姿。经过人工验证，在 96 个序列中，有 47 个序列的标注位姿在 $\mathcal{L}_{RGB}$ 指标上以及视觉质量上均得到了改善；其余 49 个序列原本的标注精度就很高，优化对其并无明显帮助。
#### 3.3. 参数化模型标注
对于每个序列，我们还会提供有关所描绘抓取动作的语义信息。为此，我们单独采集了物体的带纹理的3D扫描数据，并将其与MANO手部模型[^42]一起配准到HO网格上。正如图6所示，这样就能独立地获得关于手部和物体的姿态与形状标注。这些额外信息对其他任务可能很有用，比如详细的抓取分析、人机交互相关任务，甚至是手-物体姿态估计，尽管这超出了本文的研究范围。重要的是，GT MANO运动学姿态将帮助我们评估用于估计刚体变换的手部姿态估计方法。
Figure 6: Hand and Object 3D model annotation. Partial overlay of the MANO hand model (in red) and a decimated object mesh (in blue) registered to the textured hand-object 3D scan for different sequences of SHOWMe.
我们的配准过程是半自动的，包含三个步骤。首先，我们手动估算物体的姿态，将其网格大致对齐到HO网格上。其次，我们估算能使HO网格上手动标注的3D关键点与对应的MANO顶点之间的平方距离误差最小化的MANO手部姿态和形状参数。我们使用L-BFGS优化算法以及[^26]提供的可微分的MANO层。第三步，我们进一步优化MANO参数和物体姿态，以实现精确的配准，具体通过最小化以下表达式来实现：
$$ \frac{1}{|\mathcal{H O}|}\sum_{x\in\mathcal{H O}}\operatorname*{m i n}\left(d(x,\mathcal{O}),d(x,\mathcal{H})\right), $$
该表达式表示网格上每个点x$\mathcal{H}O$到手部网格或物体网格上最近点的距离平均值（分别记为$\mathcal{H}$和$\mathcal{O}$）。我们将3D法线为$n_x$的点x与网格$\mathcal{M}$之间的距离定义为：
$$ d(x,\mathcal{M})\triangleq\|x-p\|^{2}+\lambda\|n_{x}-n_{p}\|^{2}, $$
其中p是$\mathcal{M}$上距离x最近的点，$n_p$表示其3D法线。实践中我们选取$\lambda = 1mm^2$，并在HO网格上均匀采样$|\mathcal{H}\mathcal{O}| = 30k$个点来评估公式(6)。优化后我们得到亚毫米级的残差误差。我们在图6和补充视频中提供了这种配准的定性可视化结果。
### 4. 两阶段重建流程
为了从RGB视频中重建HO，我们采用了图2所示的两阶段流程：先估算序列中HO的刚体变换（第4.1节），再进行MVR重建（第4.2节）。
#### 4.1. 刚体变换估算
我们评估了两种估算帧间HO刚体变换的方法：一种是使用通用的SfM工具箱，另一种是利用手部姿态作为代理。基于SfM工具箱的刚体变换：我们运行COLMAP[^44]——这款以稳健性和高效性著称的SfM软件——来估算相机相对于HO系统的姿态。
---
| Method | Hand pose | Rigid transformation |
| MPJPE $\downarrow$ | PA-MPJPE $\downarrow$ | PCK $\uparrow$ | Rot error $\downarrow$ | Trans error $\downarrow$ | Det. rate (%) $\uparrow$ |
| image-based | Minimal Hand [^57] | 85.4 | 38.1 | 10.9 | - | - | - |
| Frankmocap [^43] | 39.3 | 14.9 | 38.3 | - | - | - |
| HandOccNet [^38] | 37.4 | 14.7 | 45.7 | - | - | - |
| DOPE [^52] | 26.9 | 12.4 | 64.6 | 21.0 | 0.17 | 99.0 |
| video-based | DOPE [^52] + fixed hand pose | 26.2 | 12.4 | 69.4 | 21.5 | 0.16 | 99.0 |
| DOPE [^52] + median filtering | 26.2 | 12.4 | 69.4 | 21.3 | 0.15 | 100 |
| DOPE [^52] + PoseBERT [^5] | 27.3 | 12.3 | 58.4 | 20.6 | 0.15 | 100 |
| COLMAP [^44] | - | - | - | 14.6 | 0.06 | 78.2 |
Table 2: MANO Evaluations: Hand pose estimation and associated rigid transformation estimation. The MPJPE and PA-MPJPE are reported in mm. We use a threshold of 30mm for the PCK. The 'Rot. error' is the geodesic distance expressed in degree with the ground-truth rigid transformation. The 'Trans error' is the MSE.
我们借助轮廓信息忽略背景关键点。基于手部姿态估计的刚体变换：在我们的特定设置中，也可以通过估算HO姿态来测量刚体变换。如[^27]所述，我们假设物体未知，因此重点关注手部关键点。我们首先运行现成的2D-3D手部姿态估计器，通过计算手部3D关键点的相对变换来估算帧间的刚体变换。由于这些关键点以手腕为中心，而2D关键点是在像素空间中估算的，因此我们首先运行PnP算法来获取场景中的3D关键点。随后，我们通过Procrustes对齐来估算帧间的刚体变换，也就是相机姿态。
#### 4.2. 基于多观测结果的重建
基于鲁棒视觉外壳（VH）的重建。首先，我们以GT轮廓为基准，采用基于轮廓的公式作为重建基线，该公式源自[^32]。按照他们的记号约定，我们设定$\alpha = N/8$和$\beta = N/4$。
基于快速可微渲染（FDR）的重建。我们还对[^47]提出的最新方法进行了基准测试。他们提出了一种从粗到精的可微渲染方法，专门用于多视图表面捕获问题。
基于神经隐式表面的重建。最后，我们考虑HHOR [^27]提出的更先进的方法：该方法结合了NeuS [^51]——这是一种将密度辐射场替换为有符号距离场（SDF）的NeRF表示形式，还采用了语义引导的光线采样策略（以更聚焦于物体），以及相机优化阶段。这一步骤会同时优化SDF和相机姿态，以弥补估计不精确带来的误差。
### 5. 实验结果
我们现在评估流程的两个阶段，即刚性配准（第5.1节）和多视图重建（第5.2节）。
#### 5.1. 刚性变换估计评估
我们在表2中报告了通过手部姿态或COLMAP估计刚性变换的结果。由于基于手部的方法的性能很可能与手部姿态精度相关，我们还对4种不同的基于图像的方法进行了手部3D姿态估计评估：(i) Minimal Hand [^57]，一款易于使用的实时系统；(ii) FrankMocap [^43]，应用于IHOI [^54]和HHOR [^27]中；(iii) 最新的HandOccNet [^38]；(iv) DOPE [^52]的手部模块，它在手-物体交互场景下表现优异[^1]。我们发现DOPE的性能远超其他方法，因此将其选为手部姿态估计器。
我们还研究了三种进一步平滑每帧DOPE预测结果的方法：(i) 利用刚性运动假设，通过计算序列中所有手部姿态的中位数来得到最终姿态；(ii) 对姿态序列应用中位数滤波，滑动窗口大小为5帧；(iii) 使用PoseBERT [^5]，这是一种用于平滑3D姿态序列的Transformer模块。我们发现简单的基线方法(i)和(ii)效果更好。
我们发现，更精准的手部姿态估计往往能带来更好的刚性变换结果，但COLMAP的表现最佳。不过，与总能提供估计结果的基于手部的方法相比，COLMAP的检测率更低；它还需要精确的分割结果，且恢复的相机姿态存在未知的缩放因子。基于手部的方法天然包含粗略的尺度信息，由此得到的重建结果与GT网格的尺度相近，这是一个很有趣的特性。
#### 5.2. 手-物体3D重建评估
在表3中，我们报告了不同重建方法在经过针对GT扫描的旋转、平移和缩放的Procrustes对齐后的准确率（acc）、完整度（comp）以及F分数。首先，我们评估IHOI [^54]的性能，这是最近提出的一种无需模板的单图像手-物体重建方法。我们使用标注好的MANO关节进行对齐，因此对齐效果近乎完美。这也解释了尽管重建结果存在严重伪影（详见补充材料），整体结果仍十分出色的原因。另一方面，这些结果也表明，强大的手部先验有助于完成这项极具挑战性的任务。表中报告的该方法的重建率是按帧计算的。
---
| Rigid Transform | Recon. Method | Rec. rate (%) $\uparrow$ | Acc. $\dagger$ (cm) $\downarrow$ | Comp. $\dagger$ (cm) $\downarrow$ | Acc. ratio @5mm (%) $\uparrow$ | Comp. ratio @5mm (%) $\uparrow$ | Fscore @5mm (%) $\uparrow$ |
| GT | IHOI [^54] | 87.3 | 0.79 | 1.34 | 41.7 | 37.8 | 39.3 |
| GT | VH [^32] | 93.7 | 0.42 | 0.65 | 67.3 | 61.6 | 63.6 |
| GT | FDR [^47] | 95.8 | 0.35 | 0.49 | 75.8 | 72.0 | 73.5 |
| GT | HHOR [^27] | 98.9 | 0.34 | 0.31 | 81.0 | 83.7 | 82.2 |
| DOPE [^52] | FDR [^47] | 92.7 | 1.02 | 3.18 | 31.7 | 15.7 | 20.0 |
| COLMAP [^44] | FDR [^47] | 76.0 | 0.64 | 0.79 | 39.3 | 36.2 | 37.6 |
| COLMAP [^44] | HHOR [^27] | 72.9 | 0.65 | 0.73 | 53.7 | 55.2 | 54.2 |
Table 3: Hand-object reconstruction evaluation using either ground-truth rigid transformations or estimated ones.† means that the metrics are obtained by computing on the reconstructed mesh only, the failing ones are not taken into account, making direct comparison between different methods unfair. DOPE refers to the variant ‘DOPE + fixed hand pose’ from Tab 2.
Figure 7: Qualitative reconstruction results.
利用GT刚性变换，三种重建方法均能得到极佳的结果（5毫米误差下的Fscore超过60%）。最近的HHOR方法在所有指标上表现更优。接着，我们评估了使用估计的刚性变换时FDR重建的效果，无论是基于手部关键点还是SfM数据。性能均出现下降：例如，使用COLMAP时5毫米误差下的Fscore从73.5%降至37.6%，使用DOPE时更是降至20%。随后我们评估了HHOR方法，发现其相比FDR有16.6%的性能提升（而使用GT刚性变换时仅提升9%）。相机位姿优化虽然能修正COLMAP产生的噪声相机位姿，但计算成本极高（HHOR处理每个序列需要1 GPU天，而FDR仅需不到1分钟）。我们在图7和补充材料V中展示了定性结果：VH无法重建凹陷部位，比如手指间的空隙，而FDR的表现稍好一些；可以看出HHOR重建出的形状细节极为丰富。需要注意的是，HHOR [^27]使用COLMAP时得到的结果极差，这也正是采用FrankMocap来估计刚性变换的原因。然而，FrankMocap在我们涵盖多种手物交互的数据集上表现非常差。我们认为，其HOD数据集中那些不切实际的手指紧握特写画面有助于获得准确的手部位姿估计，而我们的实验场景中完全不存在这种情况。
| method | object size | Acc. ratio @5mm (%) $\uparrow$ | Comp. ratio @5mm (%) $\uparrow$ | Fscore @5mm (%) $\uparrow$ |
| COLMAP+FDR | small | 31.78 | 28.95 | 30.23 |
| larger | 50.05 | 46.23 | 47.93 |
| DOPE+FDR | small | 35.38 | 18.58 | 23.43 |
| larger | 29.44 | 13.96 | 17.85 |
Table 4: HO reconstruction evaluation vs. object size.
详细分析。经过仔细分析我们发现，与大型物体相比，COLMAP在小型物体上的表现较差甚至无法正常工作。为验证这一点，我们将数据集中的物体分为小型和大型（即大型及中型）两类，并计算这两类物体的重建误差。表4展示了相应的重建指标。我们发现COLMAP在大型物体上的重建效果更佳，而DOPE在小型物体上的表现更好。对于小型物体而言，用于匹配步骤的特征可能不足，而这正是COLMAP进行相机位姿估计的关键。另一方面，小型物体导致的手部遮挡较少，手部关节估计也更准确，进而能得出更可靠的刚性变换估计结果。这充分说明，对于视觉特征较少、难以进行常规位姿估计的小型物体而言，可靠的手部关键点估计器是实现精准刚性变换估计的核心。
### 6. 结论
我们推出了SHOWMe数据集，旨在解决从单目视频中重建手持未知物体的精细3D模型这一问题。随后，我们对几种基于视频的基准方法进行了评测，这些方法均采用常见的两阶段流程：先进行刚性配准，再进行多视图重建。尽管在某些情况下能获得高质量的手物3D重建结果，但其质量高度依赖于初始的刚性变换估计，而在无纹理物体或手部遮挡严重的情况下，这类估计往往难以获取。重建质量仍有提升空间，我们希望SHOWMe能推动该领域的进一步研究。
---
## 参考文献
[^1]: Anil Armagan, Guillermo Garcia-Hernando, Seungryul Baek, Shreyas Hampali, Mahdi Rad, Zhaohui Zhang, Shipeng Xie, Mingxiu Chen, Boshen Zhang, Fu Xiong, Yang Xiao, Zhiguo Cao, Junsong Yuan, Pengfei Ren, Weiting Huang, Haifeng Sun, Marek Hruz, Jakub Kanis, Zdenek Krnoul, Qingfu Wan, Shile Li, Linlin Yang, Dongheui Lee, Angela Yao, Weiguo Zhou, Sijia Mei, Yunhui Liu, Adrian Spurr, Umar Iqbal, Pavlo Molchanov, Philippe Weinzaepfel, Romain Brégier, Grégory Rogez, Vincent Lepetit, and Tae-Kyun Kim. Measuring generalisation to unseen viewpoints, articulations, shapes and objects for 3d hand pose estimation under hand-object interaction. In ECCV, 2020. 7
[^2]: Artecc3d. Artecc3D structure light 3d scanner. 4
[^3]: Luca Ballan, Aparna Taneja, Jürgen Gall, Luc Van Gool, and Marc Pollefeys. Motion capture of hands in action using discriminative salient points. In Computer Vision–ECCV 2012: 12th European Conference on Computer Vision, Florence, Italy, October 7-13, 2012, Proceedings, Part VI 12, pages 640–653. Springer, 2012. 4
[^4]: Sven Bambach, Stefan Lee, David J. Crandall, and Chen Yu. Lending A Hand: Detecting Hands and Recognizing Activities in Complex Egocentric Interactions. In ICCV, 2015. 3
[^5]: Fabien Baradel, Romain Brégier, Thibault Groueix, Philippe Weinzaepfel, Yannis Kalantidis, and Grégory Rogez. Posebert: A generic transformer module for temporal 3d human modeling. IEEE Trans. PAMI, 2022. 7
[^6]: Samarth Brahmbhatt, Chengcheng Tang, Christopher D Twigg, Charles C Kemp, and James Hays. Contactpose: A dataset of grasps with object contact and hand pose. In ECCV, 2020. 2, 3
[^7]: Romain Brégier. Deep regression on manifolds: a 3D rotation case study. In 3DV, 2021. 5
[^8]: Ian M Bullock, Thomas Feix, and Aaron M Dollar. The Yale human grasping dataset: Grasp, object, and task data in household and machine shop environments. IJRR, 2015. 3
[^9]: Minjie Cai, Kris M Kitani, and Yoichi Sato. A scalable approach for understanding the visual structures of hand grasps. In ICRA, 2015. 3
[^10]: Berk Calli, Aaron Walsman, Arjun Singh, Siddhartha Srinivasa, Pieter Abbeel, and Aaron M Dollar. Benchmarking in manipulation research: The ycb object and model set and benchmarking protocols. IEEE Robotics and Automation Magazine, 2015. 3
[^11]: Zhe Cao, Ilija Radosavovic, Angjoo Kanazawa, and Jitendra Malik. Reconstructing hand-object interactions in the wild. In ICCV, 2021. 2, 4
[^12]: Yu-Wei Chao, Wei Yang, Yu Xiang, Pavlo Molchanov, Ankur Handa, Jonathan Tremblay, Yashraj S Narang, Karl Van Wyk, Umar Iqbal, Stan Birchfield, et al. Dexycb: A benchmark for capturing hand grasping of objects. In CVPR, 2021. 3
[^13]: Zerui Chen, Yana Hasson, Cordelia Schmid, and Ivan Laptev. Alignsdf: Pose-aligned signed distance fields for hand-object reconstruction. In ECCV, 2022. 2, 4
[^14]: Chijo Choi, Sang Ho Yoon, Chin-Ning Chen, and Karthik Ramani. Robust hand pose estimation during the interaction with an unknown object. In ICCV, 2017. 3
[^15]: Enric Corona, Tomas Hodan, Minh Vo, Francesc Moreno-Noguer, Chris Sweeney, Richard Newcombe, and Lingni Ma. Lisa: Learning implicit shape and appearance of hands. In CVPR, 2022. 2, 3
[^16]: Enric Corona, Albert Pumarola, Guillem Alenyà, Francesc Moreno-Noguer, and Grégory Rogez. Ganhand: Predicting human grasp affordances in multi-object scenes. In CVPR, 2020. 3
[^17]: Zicong Fan, Omid Taheri, Dimitrios Tzionas, Muhammed Kocabas, Manuel Kaufmann, Michael J Black, and Otmar Hilliges. Articulated objects in free-form hand interaction. arXiv preprint arXiv:2204.13662, 2022. 3
[^18]: Alireza Fathi, Xiaofeng Ren, and James M Rehg. Learning to recognize objects in egocentric activities. In CVPR, 2011. 3
[^19]: Sara Fridovich-Keil, Alex Yu, Matthew Tancik, Qinhong Chen, Benjamin Recht, and Angjoo Kanazawa. Plenoxels: Radiance fields without neural networks. In CVPR, 2022. 6
[^20]: Guillermo Garcia-Hernando, Shanxin Yuan, Seungryul Baek, and Tae-Kyun Kim. First-person hand action benchmark with rgb-d videos and 3d hand pose annotations. In CVPR, 2018. 3
[^21]: Shreyas Hampali, Mahdi Rad, Markus Oberweger, and Vincent Lepetit. Honnotate: A method for 3d annotation of hand and object poses. In CVPR, 2020. 2, 3
[^22]: Shreyas Hampali, Sayan Deb Sarkar, and Vincent Lepetit. Ho-3d_v3: Improving the accuracy of hand-object annotations of the ho-3d dataset. arXiv preprint arXiv:2107.00887, 2021. 3
[^23]: Shreyas Hampali, Sayan Deb Sarkar, Mahdi Rad, and Vincent Lepetit. Handsformer: Keypoint transformer for monocular 3d pose estimation of hands and object in interaction. arXiv preprint arXiv:2104.14639, 2, 2021. 4
[^24]: Yana Hasson, Bugra Tekin, Federica Bogo, Ivan Laptev, Marc Pollefeys, and Cordelia Schmid. Leveraging photometric consistency over time for sparsely supervised hand-object reconstruction. In CVPR, 2020. 2, 4
[^25]: Yana Hasson, Gül Varol, Cordelia Schmid, and Ivan Laptev. Towards unconstrained joint hand-object reconstruction from rgb videos. In 3DV, 2021. 2, 4
[^26]: Yana Hasson, Gul Varol, Dimitrios Tzionas, Igor Kalevatykh, Michael J Black, Ivan Laptev, and Cordelia Schmid. Learning joint reconstruction of hands and manipulated objects. In CVPR, 2019. 2, 3, 4, 6
[^27]: Di Huang, Xiaopeng Ji, Xingyi He, Jiaming Sun, Tong He, Qing Shuai, Wanli Ouyang, and Xiaowei Zhou. Reconstructing hand-held objects from monocular video. In SIGGRAPH Asia, 2022. 2, 3, 4, 7, 8
[^28]: IntelRealsense. Intel realsense 1515 rgbd camera. 4
## [^29]: Korrawe Karunratanakul, Jinlong Yang, Yan Zhang, Michael J Black, Krikamol Muandet, and Siyu Tang. Grasping field: Learning implicit representations for human grasps. In 3DV, 2020. 4
---
[^30]: Mia Kokic, Danica Kragic, and Jeannette Bohg. Learning to estimate pose and shape of hand-held objects from RGB images. In IROS, 2019. 4
[^31]: Taein Kwon, Bugra Tekin, Jan Stühmer, Federica Bogo, and Marc Pollefeys. H20: Two hands manipulating objects for first person interaction recognition. In ICCV, 2021. 3
[^32]: Vincent Leroy, Jean-Sébastien Franco, and Edmond Boyer. Volume sweeping: Learning photoconsistency for multi-view shape reconstruction. IJCV, 2021. 2, 7, 8
[^33]: Shaowei Liu, Hanwen Jiang, Jiarui Xu, Sifei Liu, and Xiaolong Wang. Semi-supervised 3d hand-object poses estimation with interactions in time. In CVPR, 2021. 4
[^34]: Wei-Chiu Ma, Anqi Joyce Yang, Shenlong Wang, Raquel Urtasun, and Antonio Torralba. Virtual correspondence: Humans as a cue for extreme-view geometry. In CVPR, 2022. 2
[^35]: Franziska Mueller, Dushyant Mehta, Oleksandr Sotnychenko, Srinath Sridhar, Dan Casas, and Christian Theobalt. Real-time hand tracking under occlusion from an egocentric rgb-d sensor. In ICCV, 2017. 3
[^36]: Markus Oberweger, Paul Wohlhart, and Vincent Lepetit. Generalized feedback loop for joint hand-object pose estimation. IEEE transactions on pattern analysis and machine intelligence, 42(8):1898–1912, 2019. 4
[^37]: Iason Oikonomidis, Nikolaos Kyriazis, and Antonis A Argyros. Full dof tracking of a hand interacting with an object by modeling occlusions and physical constraints. In ICCV, 2011. 4
[^38]: JoonKyu Park, Yeonguk Oh, Gyeongsik Moon, Hongsuk Choi, and Kyoung Mu Lee. Handoccnet: Occlusion-robust 3d hand mesh estimation network. In CVPR, 2022. 7
[^39]: Neng Qian, Jiayi Wang, Franziska Mueller, Florian Bernard, Vladislav Golyanik, and Christian Theobalt. HTML: A Parametric Hand Texture Model for 3D Hand Reconstruction and Personalization. In ECCV. 2020. 4
[^40]: Grégory Rogez, James Steven Supancic III, and Deva Ramanan. First-person pose recognition using egocentric workspaces. In CVPR, 2015. 3
[^41]: Grégory Rogez, James S Supancic, and Deva Ramanan. Understanding everyday hands in action from RGB-D images. In ICCV, 2015. 3
[^42]: Javier Romero, Dimitrios Tzionas, and Michael J Black. Embodied hands: Modeling and capturing hands and bodies together. ACM ToG, 2017. 2, 3, 4, 6
[^43]: Yu Rong, Takaaki Shiratori, and Hanbyul Joo. Frankmocap: A monocular 3d whole-body pose estimation system via regression and integration. In ICCV Workshops, 2021. 7
[^44]: Johannes Lutz Schönberger and Jan-Michael Frahm. Structure-from-Motion Revisited. In CVPR, 2016. 2, 6, 7, 8
[^45]: Srinath Sridhar, Franziska Mueller, Michael Zollhöfer, Dan Casas, Antti Oulasvirta, and Christian Theobalt. Real-time joint tracking of a hand manipulating an object from rgb-d input. In ECCV, 2016. 3
[^46]: Omid Taheri, Nima Ghorbani, Michael J Black, and Dimitrios Tzionas. Grab: A dataset of whole-body human grasping of objects. In ECCV, 2020. 3
[^47]: Briac Toussaint, Maxime Genisson, and Jean-Sébastien Franco. Fast gradient descent for surface capture via differentiable rendering. In 3DV, 2022. 2, 7, 8
[^48]: Tze Ho Elden Tse, Kwang In Kim, Ales Leonardis, and Hyung Jin Chang. Collaborative learning for hand and object reconstruction with attention-guided graph convolution. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 1664–1674, 2022. 2
[^49]: Dimitrios Tzionas, Luca Ballan, Abhilash Srikantha, Pablo Aponte, Marc Pollefeys, and Juergen Gall. Capturing Hands in Action using Discriminative Salient Points and Physics Simulation. IJCV, 2016. 4
[^50]: Dimitrios Tzionas, Abhilash Srikantha, Pablo Aponte, and Juergen Gall. Capturing hand motion with an rgb-d sensor, fusing a generative model with salient points. In GCPR, 2014. 4
[^51]: Peng Wang, Lingjie Liu, Yuan Liu, Christian Theobalt, Taku Komura, and Wenping Wang. Neus: Learning neural implicit surfaces by volume rendering for multi-view reconstruction. 2021. 7
[^52]: Philippe Weinzaepfel, Romain Brégier, Hadrien Combaluzier, Vincent Leroy, and Grégory Rogez. DOPE: Distillation of part experts for whole-body 3D pose estimation in the wild. In ECCV, 2020. 7, 8
[^53]: Lixin Yang, Kailin Li, Xinyu Zhan, Fei Wu, Anran Xu, Liu Liu, and Cewu Lu. Oakink: A large-scale knowledge repository for understanding hand-object interaction. In CVPR, 2022. 3
[^54]: Yufei Ye, Abhinav Gupta, and Shubham Tulsiani. What's in your hands? 3d reconstruction of generic objects in hands. In CVPR, 2022. 2, 4, 7, 8
[^55]: Hao Zhang, Yuxiao Zhou, Yifei Tian, Jun-Hai Yong, and Feng Xu. Single depth view based real-time reconstruction of hand-object interactions. TOG, 2021. 4
[^56]: Juyong Zhang, Yuxin Yao, and Bailin Deng. Fast and robust iterative closest point. IEEE Trans. PAMI, 2021. 5
[^57]: Yuxiao Zhou, Marc Habermann, Weipeng Xu, Ikhsanul Habibie, Christian Theobalt, and Feng Xu. Monocular real-time hand shape and motion capture using multi-modal data. In CVPR, 2020. 7
[^58]: Christian Zimmermann, Duygu Ceylan, Jimei Yang, Bryan Russell, Max Argus, and Thomas Brox. Freihand: A dataset for markerless capture of hand pose and shape from single rgb images. In ICCV, 2019. 3