# HOLD：基于视频的类别无关手与物体交互三维重建

范子聪 $^{1,2}$、Maria Parelli $^{1}$、Maria Eleni Kadoglou $^{1}$

陈旭 $^{1,2,\dagger}$、Muhammed Kocabas $^{1,2}$、Michael J. Black $^{2}$、Otmar Hilliges $^{1}$

$^{1}$苏黎世联邦理工学院，瑞士 $^{2}$马克斯·普朗克智能系统研究所，德国图宾根

实验室环境下的静态视图

![Image](images/7389bdee027895fa7ab3eeb38537e3864ec49ba9c2735a5209a40c979452a858.jpg)

野外环境下的动态视图

<div style="text-align: center;">Figure 1. HOLD: Given a monocular video sequence of a hand interacting with an unknown object, our method, HOLD, reconstructs high-quality 3D hand and object surfaces in both in-the-lab videos from a static camera and in-the-wild egocentric-view videos. Here we show the input images and the reconstructed surface normals. Best viewed in color.</div>

## 摘要

由于人类每天都会与各种各样的物体互动，因此对这些互动进行完整的三维捕捉对于理解和建模人类行为至关重要。然而，目前大多数基于RGB图像的手-物体重建方法要么依赖预先扫描的物体模板，要么严重依赖有限的3D手-物体数据，这限制了它们扩展并泛化到更多无约束互动场景的能力。为解决这一问题，我们提出了HOLD——首个能够从单目交互视频中联合重建关节手和物体的类别无关方法。我们开发了一种组合式关节隐式模型，可从2D图像中重建解耦的3D手和物体。我们还进一步引入了手-物体约束，以优化手-物体姿态，进而提升重建质量。我们的方法无需任何3D手-物体标注数据，却在实验室环境和极具挑战性的野外环境中均显著优于全监督基线模型。此外，我们通过定性实验验证了该方法在野外视频重建中的鲁棒性。代码、数据、模型和更新信息可在此查看。

### 1. 引言

我们在日常生活中会与各种各样的物体互动：我们手持清晨的咖啡杯；在家装维修时握着电钻；从盒子里倒出麦片。研究表明，平均而言我们每天会与140种物体互动 [^45]。为了理解、建模并合成这些互动 [^7] [^9] [^59] [^74] [^75]，能够对其进行三维重建至关重要。基于此目标，我们解决了仅从手-物体交互的单目视频中重建多样化的3D物体以及握持它们的关节手这一极具挑战性的问题，如图1所示。

大多数手-物体重建方法都假设存在预先扫描的物体模板 [^12] [^23] [^24] [^68]，因此无法扩展到野外场景 [^2]。其他一些方法虽不依赖物体模板 [^22] [^70]，但训练所用的数据集包含的物体种类有限，导致泛化能力较差。最近，Ye等人 [^71] 提出了一种基于数据的先验模型，该模型在六类物体上训练而成，他们利用该先验从分割掩码观测结果中重建手和物体表面。尽管

---

他们能够重建新型物体和关节手模型，但这种方法仅限于这些训练类别。另一项新兴研究方向聚焦于利用单目视频对手持物体进行扫描 [^21] [^26] [^79]。他们采用多视角重建技术来汇总手持物体在不同刚性姿态下的观测数据。尽管这些方法在新型物体的重建质量上表现不错，但它们并未考虑手的关节运动，因此无法处理更灵巧的手-物交互情况。

在本文中，我们超越了以往的研究，着手解决类别无关的交互重建这一新任务。以单目视频为输入，我们的方法HOLD（即利用三维交互约束进行手与物体重建）无需预设物体模板，就能为每一帧重建出手和物体的3D表面。我们的核心见解在于：交互中的手和物体能为彼此的形状和姿态提供互补的线索。例如，当人握住一个杯子时，手的几何形状会通过接触关系限制杯子可能的形状。因此，我们采用一种组合式神经隐式模型来共同建模物体和关节手。

为了从视频中共同重建手和物体的表面，HOLD首先借助现成的手部回归器进行初始手部姿态估计，并利用运动恢复结构（SfM）技术估计物体姿态。基于这些带有噪声的初始手部和物体姿态，我们训练HOLD-Net——这个组合式神经隐式模型能够同时描述关节手和物体。该模型通过体积渲染，并借助辅助损失函数进行监督，从而获取手和物体的3D表面。在通过训练HOLD-Net初始化手和物体形状之后，我们再利用交互约束来优化手和物体的姿态。最后，我们利用优化后的姿态进一步训练HOLD-Net，以获得更好的形状重建效果。

我们通过实验证明：在这种类别无关的重建场景中，通过交互约束共同建模手和物体，其重建质量要优于仅考虑物体的方法。我们使用现有的手-物数据集对我们的方法进行了定量评估，进一步证实该方法既能适用于实验室环境视频，也能适用于真实场景视频。我们还验证了该方法对第三人称和第一人称视角下、光照和背景条件各异的移动摄像头拍摄的视频的泛化能力。

总结一下我们的贡献：1）我们提出了一种新方法，无需预先扫描的物体模板或预训练的物体类别，就能从单目2D交互视频中精确重建手和物体的3D表面；2）我们构建了一种组合式隐式模型，有助于实现手和物体的解耦与3D重建；3）我们证明通过共同优化手-物约束，能获得比单独处理手和物体更好的重建质量；4）我们从定性和定量两方面评估了该方法在3D重建方面的性能，并展示了其在具有挑战性的真实场景视频中的逼真重建效果。

### 2. 相关工作

3D手部姿态与形状恢复：自Rehg和Kanade的开创性工作以来，单目RGB 3D手部重建领域便不断发展[^49]。现有文献中很大一部分仅专注于手部重建[1, 4, 10, 11, 14, 22, 27, 34, 41, 43, 53–56, 64, 73, 78, 81, 82]。例如，Zimmermann等人[^82]采用深度卷积网络，通过多阶段方法实现3D手部姿态估计。Ziani等人[^81]则采用自监督的时间对比学习方法以提升野外场景下的泛化能力。近期也有研究致力于重建强交互状态下的手部3D姿态[18, 31, 33, 34, 39–42, 44]。比如，Fan等人[^11]引入了语义特征融合层，以解决双手强交互时的外观歧义问题；Tse等人[^63]则提出了用于双手重建的基于谱图的Transformer模型。与之不同，我们的研究重点是手-物体重建。

手-物体重建：从图像和视频中重建3D手部和物体同样是一个成熟的研究领域[8, 15, 22–24, 37, 61, 62, 68, 68, 80]。文献中的大多数方法都假设存在物体模板，仅估计手部和物体的姿态[^2] [^8] [^13] [^37] [^61] [^68]。例如，Tekin等人[^61]利用时间模型在视频中推断手部和物体的3D控制点，从而实现跨时间的信息传递；Fan等人[^12]可估计灵巧操作场景下手部的物体姿态；Liu等人[^37]设计了一种半监督学习方法：首先基于时间启发式规则在手-物体交互视频中构建伪真值，再利用该新标注数据训练模型；Yang等人[^68]引入了接触势场以优化手-物体接触效果。尽管这类方法能实现精准的物体姿态估计，但由于需要已知的物体模板，很难将其推广到新物体和野外视频场景中。也有不依赖物体模板、通过在3D手-物体数据上训练来实现重建的方法[^5] [^22] [^70]。遗憾的是，由于3D手-物体数据有限，这些方法的泛化能力较差。近期出现了更具通用性的方法[^26] [^47] [^48] [^58] [^71]，它们结合了可微渲染技术和数据驱动的先验知识。不过，这些方法要么要求手部在与物体交互时保持刚性[^26] [^47]，要么需要多视角观测数据[^48]，或者需要类别级别的手-物体监督信息[^71]。相比之下，我们的方法支持关节可动的手部，仅需单目视频即可实现重建，且不受物体类别限制。

手持物体扫描：手持物体扫描领域正受到越来越多的关注。该任务的目标是从人类与物体交互的视频中重建物体的规范3D形状；通常手部并不会……

---

![Image](images/876a66aaa4eec58dc08fa6e2c742232046574fd5c33d32d80f8603980cb921b6.jpg)

<div style="text-align: center;">Figure 2. Method overview. For each image in a video, our method, HOLD, first initializes the hand and object poses using off-the-shelf estimators. Then we briefly pre-train HOLD-Net, a compositional implicit signed distance field to learn hand and object shapes. The learned shapes of HOLD-Net are then used to refine poses with hand-object interaction constraints. Finally, we use the refined poses to fully train HOLD-Net to learn accurate 3D geometries of hand and object.</div>

重建。例如，早期的研究如 Tzionas 等人[^65]利用手部运动作为物体扫描的先验信息。最近，BundleSDF[^67]借助连续的 RGBD 图像来估计物体姿态，同时重建由有符号距离场（SDF）定义的隐式表面。HHOR[^26]也采用 SDF 来表示物体表面，但其特色在于能同时重建物体和手部——前提是物体被牢固地握在手中。Hampali 等人[^21]提出了一种新方法，该方法结合了相机轨迹对齐技术，并利用体素渲染来增强物体表面的重建效果。最近，Zhong 等人[^79]引入了一种全局着色与重新光照网络，显著提升了物体扫描过程中的纹理提取能力。与我们的工作不同，上述方法并未重建具有关节活动的手部，且主要侧重于捕捉物体的规范形状。

### 3. 方法：HOLD

图 2 概述了我们用于从单目 RGB 视频中重建手-物表面的方法 HOLD。为实现这一目标，HOLD 首先为视频中的每一帧初始化手部和物体的姿态（第 3.1 节）。随后，我们利用这些姿态来训练 HOLD-Net（第 3.2 节）——这是一种用于描述手部和物体形状的复合隐式有符号距离场。借助学习到的形状，我们再利用交互约束来优化手-物姿态（第 3.3 节）。最后，利用优化后的姿态对 HOLD-Net 进行完整训练（第 3.4 节），从而得到精确的 3D 手-物几何模型。

#### 3.1. 姿态初始化

对于每一帧，为了获取手部姿态$\theta \in \mathbb{R}^{48}$（包括全局方向）、形状$\beta$以及平移量$t_h \in \mathbb{R}^3$，我们使用现成的手部姿态估计器[^35]。估计物体姿态则更具挑战性，因为我们的方法是类别无关的，而现有的类别级物体姿态估计器并不适用于类别外的物体[^3] [^66]。因此，我们首先利用现成的分割网络[^29]，从每段视频中提取仅包含物体的图像。接着，我们使用 HLoc[^51] [^52]来执行运动恢复结构（SfM）处理，从而得出定义物体的点云，以及每一帧中物体的旋转量$\mathbf{R}_o \in SO(3)$和平移量$t_o \in \mathbb{R}^3$。由于 SfM 重建的点云没有固定的尺度，为了将手部和物体对齐到同一空间并估算物体的尺度$s \in \mathbb{R}$，我们执行一个简单的优化过程：该过程会促使手部与物体接触，同时确保手部关节的 2D 投影与物体点云的 2D 投影能与原始 2D 投影相匹配。通过这一优化，我们可以更新每一帧中手部和物体的平移量$\{t_h, t_o\}$、手部形状$\beta$以及物体尺度 s。详细解释请参见补充材料。

#### 3.2. HOLD-Net 训练

#### 3.2.1 HOLD-Net

图 3 展示了我们的复合神经隐式模型 HOLD-Net。具体而言，我们将手部和物体表面表示为两种神经表征，它们可以通过体素渲染生成 RGB 图像。遵循[^17]的思路，我们使用随时间变化的 NeRF++[^77]来对动态背景进行建模。HOLD 在帧与帧之间共享手部和物体的时间无关规范 3D 几何结构。因此，如果某一帧中某个物体区域被遮挡，那么从另一帧未遮挡的区域就能观察到该区域。

手部模型：我们将手部建模为一个由MANO姿态$\theta$和位移$t_h$驱动的隐式网络[^50]。为了在规范空间中建模手部的形状和外观，我们使用由多层感知机（MLP）参数化的有向距离场和纹理场：

 $$ f_{h}:\mathbb{R}^{3}\to\mathbb{R}\times\mathbb{R}^{3} $$

 $$ \mathbf{x}\mapsto d,\mathbf{c}, $$

其中，MLP$f_{h}$具有可学习的参数$\psi_{h}$，它接收规范空间中的点x，并预测该点到手部表面的有向距离d以及颜色c。

为了确定变形观测空间中的有向距离和颜色，我们使用逆向线性混合蒙皮（LBS）技术，将观测空间中的点$x'$映射回规范空间：

 $$ \mathbf{x}=\left(\textstyle\sum_{i=1}^{n_{b}}w_{i}(\mathbf{x}^{\prime})\cdot\mathbf{B}_{i}\right)^{-1}\mathbf{x}^{\prime}, $$

---

![Image](images/60ae2206688e0bd3c507faaf405c8af9358332fa4327bef202d2a24cb45c687f.jpg)

<div style="text-align: center;">Figure 3. HOLD-Net. Given as input hand and object poses and a query pixel, HOLD-Net determines the pixel color in the following steps: 1) HOLD-Net first samples points along the ray independently for object, hand, and background using error-bounded sampling; 2) These sampled points in the observation space are then mapped to the canonical space via rigid transformation for the object and inverse linear blend skinning for the hand; 3) The SDF and color values for the sampled points are queried from the canonical hand, object, and background networks; 4) All object, hand, and background points are merged by sorting via their z-values, and their color and density values are integrated to determine the pixel color. Images on the right are the rendered RGB and normal images.</div>

其中，$\{B_i\}_{i=1,\ldots,n_b}$是根据$\theta$通过正向运动学得到的骨骼变换，而$\{w_i(\mathbf{x}')\}_{i=1,\ldots,n_b}$则是每个变形点的蒙皮权重，它通过取MANO模型[^50]中距离最近的K个顶点的蒙皮权重的平均值来确定，并依据距离进行加权。

物体模型：与手部模型类似，我们的物体模型也是由规范空间和变形空间之间的相对物体尺度s、旋转$\mathbf{R}_o$以及位移$\mathbf{t}_o$来驱动的。物体的规范形状和纹理是通过神经有向距离场和纹理场$f_o$来建模的，它具有可学习的参数$\psi_o$：

 $$ f_{o}:{\mathbb{R}}^{3}\times\mathbb{R}^{n_{z,o}}\to\mathbb{R}\times\mathbb{R}^{3} $$

 $$ \mathbf{x},\mathbf{z_{o}}\mapsto d,\mathbf{c}, $$

其中，维度为$\mathbf{z}_o \in \mathbb{R}^{n_{z,o}}$的$n_{z,o} = 32$是一个可优化的时变潜码，用于建模因姿态变化、遮挡和阴影导致的物体外观变化。

为了确定变形观测空间中物体的有向距离和颜色，我们使用简单的刚体变换，将观测空间中的点$x'$映射回规范空间：

 $$ \mathbf{x}=\left(s\mathbf{R}_{o}\right)^{-1}\cdot\left(\mathbf{x}^{\prime}-\mathbf{t}_{o}\right). $$

背景：遵循[^17]和[^69]的方法，我们定义了前景场景（即手部和物体）的包围球。对于包围球之外的给定采样点$x'$，其有向距离和颜色由具有可学习参数$\psi_b$的背景网络来预测：

 $$ \begin{aligned}f_{b}:\mathbb{R}^{3}\times\mathbb{R}^{3}\times\mathbb{R}^{n_{z,b}}\to\mathbb{R}\times\mathbb{R}^{3}\\\mathbf{x},\mathbf{v},\mathbf{z_{b}}\mapsto d,\mathbf{c},\end{aligned} $$

其中，$\mathbf{v} \in \mathbb{R}^3$是观察方向，维度为$\mathbf{z} \in \mathbb{R}^{n_z,b}$的$n_z,b = 32$是一个可优化的潜码，每帧的取值各不相同，用于建模动态背景。由于我们只关注手部和物体的建模，而人类互动的图像中常常包含身体的其他部分，因此该模型也用于解释作为变化背景一部分的人体局部观测。遵循NeRF++[^77]的做法，我们在背景模型中采用了他们的反向球体参数化方法。更多细节请参阅补充材料。

复合体积渲染：遵循[^69]的方法，为了将手部和物体的有向距离函数（SDF）值转换为体积渲染所需的密度$\sigma$，我们使用了缩放拉普拉斯分布的累积分布函数，记为$\Gamma_{\alpha_1, \alpha_2}(s)$，其中$\alpha_1, \alpha_2 > 0$是可优化的参数。更多细节可在[^69]中找到。

对于每一帧，为了渲染前景（即手和物体），我们首先沿着由摄像机中心o和观察方向v参数化的对应光线r，使用误差有界采样方法采集点[^69]。我们为手部采样n个点$\{\mathbf{x}'\}_{i=1,\ldots,n}$，通过逆LBS将它们转换到规范空间，然后从规范手部模型$\{(\sigma_i, \mathbf{c}_i)\}_{i=1,\ldots,n}^h$中查询它们的不透明度和颜色值$f_h$。对于物体而言，我们在同一条光线上采样n个点$\{\mathbf{x}_i\}_{i=1,\ldots,n}$，通过将其刚性变换回规范物体模型来获取它们的密度和颜色$\{(\sigma_i, \mathbf{c}_i)\}_{i=1,\ldots,n}^o$。接着，我们根据深度值对这两组样本进行排序和合并以获得$\{(\sigma_i, \mathbf{c}_i)\}_{i=1,\ldots,n}$，随后执行体积渲染：

 $$ \begin{aligned}&C_{F}(\mathbf{r})=\sum_{i=1}^{2n}\tau_{i}\mathbf{c}_{i}\\&\mathrm{where}\tau_{i}=\exp\left(-\sum_{j<i}\sigma_{j}\delta_{j}\right)(1-\exp\left(-\sigma_{i}\delta_{i}\right))\\ \end{aligned} $$

其中$\delta_i$是两个相邻样本之间的距离。类似地，我们通过从背景网络中查询采样点的密度和颜色来确定背景色$C_B(\mathbf{r})$。为了合成背景和前景，我们先渲染光线的前景掩码概率$\mathbf{r}$，该概率可通过$M_F(\mathbf{r}) = \sum_{i=1}^{2n} \tau_i \in \mathbb{R}$计算得出。在带有动态背景的渲染中，光线的最终颜色值

---

定义为

 $$ C(\mathbf{r})=C_{F}(\mathbf{r})+(1-M_{F}(\mathbf{r}))C_{B}(\mathbf{r}) $$

这里$C_B(\mathbf{r})$是背景颜色值。与确定前景概率类似，我们的模型还会通过独立累加手部或物体的样本透射率，来确定某个像素属于手部[^32]或物体$M_h(\mathbf{r}) \in \mathbb{R}$的无模态掩码$M_o(\mathbf{r}) \in \mathbb{R}$概率。此外，我们的模型会按照公式9和公式10中的渲染流程来渲染每个像素的类别概率$S(\mathbf{r}) \in \mathbb{R}^3$，该概率分别对应手部、物体和背景，同时会将每个采样点的颜色c替换为对应类别的一热编码三维向量。

#### 3.2.2 训练损失

由于从单目视频中重建3D形状受到严重约束，我们设计了一种由多项组成的损失函数$\mathcal{L}$，用于优化纹理和网络参数$\{\psi_h, \psi_o, \psi_b\}$、每帧参数$\{\theta, \mathbf{t}_h, \mathbf{R}_o, \mathbf{t}_o, \mathbf{z}_o, \mathbf{z}_b\}$以及全局参数$\{\beta, s\}$。

具体而言，我们首先通过以下方式确保RGB值与输入图像保持一致：

 $$ \mathcal{L}_{\mathrm{r g b}}=\sum_{\mathbf{r}}\left\|C(\mathbf{r})-\hat{C}(\mathbf{r})\right\| $$

其中$\mathbf{r}$是从图像上的采样像素发射的光线，$C(\mathbf{r})$和$\hat{C}(\mathbf{r})$分别是渲染颜色和真实颜色。

 $$ \mathcal{L}_{\mathrm{s e g m}}=\sum_{\mathbf{r}}\left\|S(\mathbf{r})-\hat{S}(\mathbf{r})\right\|, $$

为了促进手部、物体和背景之间的解耦，我们用多类别分割损失对网络进行监督：

这里$\tilde{S}(\mathbf{r}) \in \mathbb{R}^3$是表示像素预测类别的一热编码向量，由现成的分割网络[^29]生成。为了规整手部和物体的形状，我们会在规范空间中随机采样点，也会在手部和物体表面周围采样点。随后我们施加欧拉尔损失$\mathcal{L}_{\text{eikonal}}$ [^16]，以规整规范的手部和物体形状。为了给手部提供形状先验，利用同一组采样点，我们强制要求规范手部模型预测的SDF与MANO模型的SDF尽可能相似，具体损失函数如下：

 $$ \mathcal{L}_{\mathrm{s d f}}=\sum_{\mathbf{x}\in\mathcal{X}}\|f_{h}(\mathbf{x})-S D F(\mathbf{x})\| $$

这里$\mathcal{X}$是规范空间中的一组随机采样点，$SDF(\mathbf{x})$是MANO网格的有符号距离。为了从MANO网格得到平滑的SDF，我们会使用Loop细分算法[^38]对MANO网格进行细分。

最后，为了限制手部表面之外的手部密度稀疏性，对于远离MANO手部网格的光线 $\mathbf{r}$，我们将其无模态掩码概率 $M_h(\mathbf{r})$ 强制设为0。如果光线 $\mathbf{r}$ 到网格的最近距离超过了阈值，就说明该光线远离网格。类似地，我们会定期通过Marching Cubes算法构建物体网格，当像素的光线远离物体时，便利用该网格来施加物体稀疏性损失约束。具体来说，

 $$ \mathcal{L}_{\mathrm{s p a r s e}}=\sum_{\mathbf{r}\in\mathcal{F}_{h}}\|M_{h}(\mathbf{r})\|+\sum_{\mathbf{r}\in\mathcal{F}_{o}}\|M_{o}(\mathbf{r})\| $$

其中$\mathcal{F}_{h}$和$\mathcal{F}_{o}$分别是远离手部网格和物体网格的光线集合。总损失$\mathcal{L}$定义为：

 $$ \begin{aligned}\mathcal{L}=\mathcal{L}_{rgb}&+\lambda_{segm}\mathcal{L}_{segm}+\lambda_{sdf}\mathcal{L}_{sdf}\\&+\lambda_{sparse}\mathcal{L}_{sparse}+\lambda_{eikonal}\mathcal{L}_{eikonal}\end{aligned} $$

其中$\lambda_{*}$为各项损失的权重。需要注意的是，由于预测的分割掩码通常存在噪声，我们会随时间逐渐减小$\lambda_{\mathrm{segm}}$，同时逐步增加先验权重$\lambda_{\mathrm{sdf}}$和$\lambda_{\mathrm{sparse}}$。

#### 3.3. 姿态优化

第3.1节中得到的姿态并不完美，因为SfM生成的物体点云存在噪声，且手部形状参数也未经优化。在第3.2节的训练之后，HOLD-Net会学习到定制的物体模板，该模板比SfM点云更精确，可用于在接触约束下优化手部和物体的姿态。虽然理论上联合训练HOLD-Net并优化姿态能够解决姿态噪声问题，但我们的实验表明这种策略效率较低，因为每个训练帧的姿态只能获得稀疏的训练信号，即仅在对应帧被采样时才有训练信号。为了高效获取精确的姿态，我们首先训练HOLD-Net少量轮次，以得到物体形状的粗略估计。随后我们遵循[^72]的方法，利用基于网格的交互约束来优化手部和物体的姿态参数$\{\mathbf{t}_h, \mathbf{R}_o, \mathbf{t}_o, \beta, s\}$，其中物体网格由HOLD提取，手部模型则采用MANO。

具体而言，我们促使经常接触的手部顶点$\mathbf{V}_{tips}$（顶点ID来自[^22]）与物体顶点相接触，即让每个此类手部顶点都靠近某个物体顶点。具体地说，该损失定义为：

 $$ \mathcal{L}_{\mathrm{c o n t a c t}}=\sum_{i}\min_{j}\left\|\mathbf{V}_{\mathrm{t i p s}}^{i}-\mathbf{V}_{o}^{j}\right\|. $$

为了实现手部和物体更好的像素级对齐，我们使用Soft Rasterizer [^36]来渲染手部无模态掩码$\mathcal{M}_{h}$和物体无模态掩码$\mathcal{M}_{o}$，并通过类似$\mathcal{L}_{mask}$的遮挡感知项[^76]，促使它们与现成语义分割算法生成的掩码相匹配。这些简单的项在实践中效果很好。更多细节和讨论请参阅补充材料。

---

#### 3.4. 最终训练

利用第3.2节得到的优化后手部姿态参数$\{\theta\}$以及第3.3节得到的$\{\mathbf{t}_h, \mathbf{R}_o, \mathbf{t}_o, \beta, s\}$，我们按照第3.2节的公式，用损失函数$\mathcal{L}$对HOLD-Net进行完整训练，从而重建输入视频每一帧中的手部和物体三维几何结构。为了避免$f_h, f_o, f_b$在预训练阶段因姿态不准确而产生的伪影，我们从头开始训练$\{\psi_h, \psi_o, \psi_b, \mathbf{z}_o, \mathbf{z}_b\}$。为简洁起见，我们省略了各帧参数的时间戳。出于计算效率考虑，HOLD-Net的预训练轮数仅为完整训练阶段的一半，因为我们发现手部和物体形状在早期训练阶段就会趋于稳定。这两种训练流程除使用的姿态和训练轮数外完全相同。

### 4. 实验

在本节中，我们将我们的方法与新提出的类别无关交互重建任务中的现有基线方法进行比较。该任务的目标是从单目视频中重建手和物体的精确3D表面，且我们既不假设存在物体模板，也不预设物体类别。

实验室数据集：我们使用HO3D-v3 [^20]进行定量和定性评估。该数据集包含手操纵刚性物体的RGB视频。手部为可活动结构，提供了MANO参数和6D物体姿态的3D标注。由于HO3D并未公布测试集的真实标注，我们选取训练集中每个物体对应的两个含有3D标注的视频序列用于评估：一个序列与Hampali等人[^21]的研究保持一致，另一个为随机序列，其中手和物体在整个过程中都保持在画面内，以简化预处理流程。由于SfM算法无法收敛，我们排除了香蕉和剪刀这两种物体；它们要么纹理不足，要么结构纤细，同时也是[^19]和[^21]方法的失效案例。为完整起见，我们在补充材料中报告了这两种物体采用随机姿态时的评估结果。

HOLD数据集：为了评估我们的方法能否泛化到各类真实场景，我们采集了室内外场景中 household items 的视频序列。我们使用iPhone 14的主摄像头，在不同光照条件下采集第一人称移动视角和第三视角静态视角的视频。实验中，我们对每个视频每10帧进行一次下采样。

评估指标：我们使用毫米为单位的根相对平均关节误差（MPJPE）来衡量手部姿态误差，用平方厘米为单位的倒角距离来评估物体重建质量[^5]。由于倒角距离对异常值较为敏感，我们还使用百分比形式的F分数来衡量局部形状细节[^60] [^71]。特别地，为了独立于物体姿态评估物体模板的质量，我们遵循[^71]的方法，对HO3D网格的真实模型执行ICP对齐，允许缩放和旋转操作。

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'>MPJPE [mm] $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>CD [cm $^{2}$] $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>F10 [%] $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>CD $_{h}$ [cm $^{2}$] $\downarrow$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HOMan $^{\dagger}$ [^24]</td><td style='text-align: center; word-wrap: break-word;'>32.0</td><td style='text-align: center; word-wrap: break-word;'>N/A</td><td style='text-align: center; word-wrap: break-word;'>N/A</td><td style='text-align: center; word-wrap: break-word;'>78.2</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>iHOI $^{\ddagger}$ [^70]</td><td style='text-align: center; word-wrap: break-word;'>38.4</td><td style='text-align: center; word-wrap: break-word;'>3.8</td><td style='text-align: center; word-wrap: break-word;'>75.8</td><td style='text-align: center; word-wrap: break-word;'>41.7</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>DiffHOI [^71]</td><td style='text-align: center; word-wrap: break-word;'>32.3</td><td style='text-align: center; word-wrap: break-word;'>4.3</td><td style='text-align: center; word-wrap: break-word;'>68.8</td><td style='text-align: center; word-wrap: break-word;'>43.8</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ours</td><td style='text-align: center; word-wrap: break-word;'>24.2</td><td style='text-align: center; word-wrap: break-word;'>0.4</td><td style='text-align: center; word-wrap: break-word;'>96.5</td><td style='text-align: center; word-wrap: break-word;'>11.3</td></tr></table>

<div style="text-align: center;">Table 1. Comparison with SOTA hand-object reconstruction methods. We evaluate our method and the baselines on the HO3D dataset.  ${}^{\dagger}$HOMan assumes a ground-truth object template.  ${}^{\ddagger}$During training, iHOI uses 3D annotation of the test objects, while DiffHOI and ours do not use such information.</div>

随后计算倒角距离（CD）以及5毫米阈值下的F分数（F5）和10毫米阈值下的F分数（F10）。为了衡量3D空间中物体相对于手部的姿态和形状，我们将每个物体网格减去预测得到的手部根部位置，进而计算出物体相对于手部的倒角距离（$CD_{h}$）。

实现细节：我们使用Adam优化器训练每个序列。每次迭代中，我们从序列中随机选取10张图像进行优化。为保证稳定性，我们采用了梯度裁剪技术，这对手部模型的收敛至关重要。初始训练共进行100个epoch，在A100 GPU上大约需要10小时；最终训练则持续200个epoch。我们使用SAM-track [^6]通过在第一帧使用点提示来生成手部和物体的分割掩码，具体细节见补充材料。可视化方面我们采用了AITViewer [^28]。

#### 4.1. 与最先进方法的比较

手-物体重建：表1对比了HOLD与现有的手-物体重建方法。我们发现，HOLD在手部姿态（MPJPE）和物体形状（CD、F10）质量方面均显著优于现有方法。如表所示，我们的方法还能更精确地推断手和物体的相对空间对齐关系，这从更优的手部相对倒角距离（$CD_{h}$）中便可看出。

这一改进也体现在图4的质量对比中。我们的方法生成的重建结果始终比iHOI和DiffHOI更接近真实情况，尤其在捕捉细微结构（如杯子把手和汽车框架）以及手与物体的动态姿态方面有明显提升。相比之下，这两种基线方法生成的重建结果细节不足，且手与物体的姿态存在偏差，即便是在较为简单的实验室数据集上也是如此。值得注意的是，这两种基线方法都使用了3D监督信息——iHOI在包含真实3D形状的HO3D数据集序列上进行训练，而DiffHOI则利用各种瓶子和杯子的3D形状作为训练监督。相比之下，我们的方法仅使用输入的2D单目视频，无需任何3D标注，却仍能实现更优的重建质量。无论背景和光照条件如何，无论是在第三人称视角还是移动的第一人称视角下，我们的方法都能可靠地重建手与物体（见图5）。

---

![Image](images/27ebd5a4b3c28ffed044c22107f3a259af913286fa01ce212af32e6063990de1.jpg)

<div style="text-align: center;">Figure 4. Qualitative comparison with SOTA. We show hands and objects reconstructed by our method and SOTA baselines from in-the-lab (left) and in-the-wild (right) videos. Our reconstruction demonstrates more accurate shapes, richer details, and more accurate poses. In addition, our method works consistently well on various objects, even those with unique shapes (e.g. the Lego mug at the bottom right).</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'>Object categories</td><td style='text-align: center; word-wrap: break-word;'>MPJPE [mm] $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>CD [ $cm^{{2}}$] $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>F10 [%] $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>CD_h [ $cm^{{2}}$] $\downarrow$</td></tr><tr><td rowspan="2">DiffHOI Ours</td><td rowspan="2">DiffHOI training</td><td style='text-align: center; word-wrap: break-word;'>34.2</td><td style='text-align: center; word-wrap: break-word;'>1.3</td><td style='text-align: center; word-wrap: break-word;'>83.5</td><td style='text-align: center; word-wrap: break-word;'>42.5</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>22.5</td><td style='text-align: center; word-wrap: break-word;'>0.4</td><td style='text-align: center; word-wrap: break-word;'>95.9</td><td style='text-align: center; word-wrap: break-word;'>10.4</td></tr><tr><td rowspan="2">DiffHOI Ours</td><td rowspan="2">DiffHOI unseen</td><td style='text-align: center; word-wrap: break-word;'>30.9</td><td style='text-align: center; word-wrap: break-word;'>6.5</td><td style='text-align: center; word-wrap: break-word;'>57.8</td><td style='text-align: center; word-wrap: break-word;'>44.8</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>25.5</td><td style='text-align: center; word-wrap: break-word;'>0.3</td><td style='text-align: center; word-wrap: break-word;'>96.9</td><td style='text-align: center; word-wrap: break-word;'>12.0</td></tr></table>

<div style="text-align: center;">Table 2. Generalization comparison. We compare the generalization ability of HOLD and DiffHOI. We report results on objects within and beyond DiffHOI's training categories. DiffHOI's performance degrades significantly on unseen object categories while ours produces more accurate reconstruction consistently.</div>

泛化能力：为了量化我们的方法与DiffHOI在泛化能力上的差异，我们在表2中根据HO3D序列是否属于DiffHOI的训练类别进行了划分。结果显示，虽然DiffHOI在所有指标上针对未见类别的性能均显著下降，但我们的方法在所有类别上均表现出稳定的性能。这一点在图4中也有体现：我们的方法能够准确重建电钻等物体，而基线方法无法泛化到训练分布之外的实例。

值得注意的是，即便对于DiffHOI的训练类别，我们的方法也明显优于它。从图4右上角的水瓶示例中可以窥见端倪：DiffHOI试图重建其数据驱动先验训练集中出现的瓶子，因此得到的只是个通用的瓶子模型。

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'>CD [ $\text{cm}^{2}$] $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>F5 [%] $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>F10 [%] $\uparrow$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Hampali [^21]</td><td style='text-align: center; word-wrap: break-word;'>1.4</td><td style='text-align: center; word-wrap: break-word;'>57.4</td><td style='text-align: center; word-wrap: break-word;'>79.9</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ours</td><td style='text-align: center; word-wrap: break-word;'>0.5</td><td style='text-align: center; word-wrap: break-word;'>84.3</td><td style='text-align: center; word-wrap: break-word;'>94.4</td></tr></table>

<div style="text-align: center;">Table 3. Comparison with a SOTA in-hand scanning method.</div>

相比之下，我们重建出的瓶子能真实地还原图像中瓶子的形状细节。

手持物体扫描：表3将我们的方法与Hampali等人提出的手持物体扫描领域最先进方法[^21]进行了对比。由于该方法未公开代码，我们将我们的规范形状与其发布的物体点云进行比较。我们发现HOLD在物体规范形状（CD）和局部细节（F5和F10）方面表现更佳。补充材料中有相关的质量对比。

#### 4.2. 消融实验

手-物联合重建：为了验证手重建对物体重建的补充作用，我们设置了一个不建模手的消融基线。具体来说，我们将所有视频帧中的手区域进行掩码处理，然后在这些处理后的帧上训练物体网络。如表4所示，从模型中移除手会导致重建精度下降（CD和F10指标）。图6(a)给出了一个定性示例：由于物体模型需要解释被手遮挡的区域，没有手建模时，重建出的物体在手部抓取处会出现孔洞。

---

![Image](images/debc671f7142fb5bf660e7413165bb22089808a45056c99cbffeadfe9c9ba0bf.jpg)

<div style="text-align: center;">Figure 5. More qualitative results. We render the normals of hands and objects reconstructed by HOLD. Our method can reliably reconstruct in both static views and moving egocentric views.</div>

这些图像中的手已被掩码处理。通过同时建模手、物体及其遮挡关系，即便存在手-物遮挡情况，我们的方法也能忠实地重建物体。

基于接触的手-物姿态优化：为了评估第3.3节所述的姿态优化步骤的影响，我们将我们的模型与省略该步骤的基线进行了比较。图6(b)提供了旋转视角的示意图，突出了基线模型与我们完整方法之间的差异。没有姿态优化时，手与物体之间会出现不真实的分离现象，这是单目重建中常见的难题——由于深度不确定性较大，会导致空间对齐错误。

我们的优化策略通过促进手与物体的接触来减轻这一问题，从而降低相对深度不确定性。表4定量展示了手、物体及其空间排列在姿态精度上的改进。我们的方法优于基线模型，其手部姿态精度更高，表现为更低的MPJPE值，同时手部相对Chamfer距离也更小（参见$CD_{h}$）。这种姿态精度的提升还带来了更精确的物体模板重建效果（参见CD和F10）。

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'>MPJPE [mm] $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>CD [cm $^{2}$] $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>F10 [%] $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>CD $_{h}$ [cm $^{2}$] $\downarrow$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>w/o hand</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>0.41</td><td style='text-align: center; word-wrap: break-word;'>95.9</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>w/o pose ref.</td><td style='text-align: center; word-wrap: break-word;'>24.6</td><td style='text-align: center; word-wrap: break-word;'>0.55</td><td style='text-align: center; word-wrap: break-word;'>94.2</td><td style='text-align: center; word-wrap: break-word;'>122.1</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ours</td><td style='text-align: center; word-wrap: break-word;'>24.2</td><td style='text-align: center; word-wrap: break-word;'>0.38</td><td style='text-align: center; word-wrap: break-word;'>96.5</td><td style='text-align: center; word-wrap: break-word;'>11.3</td></tr></table>

<div style="text-align: center;">Table 4. Ablation study. Modelling the hand and object jointly improves object reconstruction accuracy. Pose refinement improves hand-object poses and consequently object reconstruction.</div>

![Image](images/5f094db4fb52beb2fbd8b934a2878ffe73619d6db839c039a25f0a350a60eaa5.jpg)

<div style="text-align: center;">Figure 6. Ablation study. (a) Jointly reconstructing the hand and object effectively reduces artifacts. (b) Without contact-based pose refinement, the hand and object can have an erroneous spatial arrangement due to depth ambiguity.</div>

### 5. 结论

在本文中，我们提出了HOLD——首个无需区分物体类别、能从单目交互视频中联合重建关节化手部与物体的方法。我们提出了一种新颖的物体与关节化手部的组合式隐式模型，能够从二维观测数据中分离并重建三维手部与物体。我们进一步证明，通过交互约束对手部与物体进行联合优化，比单独重建物体能获得更好的物体表面重建效果。无论是在实验室环境还是真实场景中，我们的方法都显著优于完全监督的最先进基线模型，且无需依赖三维手-物标注数据。我们通过定性实验验证了该方法在复杂的真实场景视频中的鲁棒性。

局限性与讨论：虽然HOLD能够成功重建各类别无关的交互场景，但仍面临一些挑战。对于薄型或无纹理物体，其重建效果受限于基于检测器的SfM姿态初始化方法。无检测器SfM技术的进步[^25] [^57]有望解决这一问题。此外，我们对RGB监督的依赖可能会阻碍罕见物体区域的重建；借助先验知识[^46]或许能对此加以规范。最后，采用更快的表示方法[^30]可缩短训练时间。

致谢：本研究部分得到了瑞士SERI“AI-PERCEIVE”整合项目的资助。声明：<https://files.is.tue.mpg.de/black/CoI_CVPR_2024.txt>

---

## 参考文献

[^1]: Adnane Boukhayma, Rodrigo de Bem, and Philip H. S. Torr. 3D hand shape and pose from images in the wild. In Computer Vision and Pattern Recognition (CVPR), 2019. 2

[^2]: Zhe Cao, Ilija Radosavovic, Angjoo Kanazawa, and Jitendra Malik. Reconstructing hand-object interactions in the wild. In International Conference on Computer Vision (ICCV), 2021. 1,2

[^3]: Xu Chen, Zijian Dong, Jie Song, Andreas Geiger, and Otmar Hilliges. Category level object pose estimation via neural analysis-by-synthesis. In European Conference on Computer Vision (ECCV). Springer, 2020. 3

[^4]: Xingyu Chen, Baoyuan Wang, and Heung-Yeung Shum. Hand avatar: Free-pose hand animation and rendering from monocular video. In Computer Vision and Pattern Recognition (CVPR), 2023. 2

[^5]: Zerui Chen, Shizhe Chen, Cordelia Schmid, and Ivan Laptev. gSDF: Geometry-driven signed distance functions for 3D hand-object reconstruction. In Computer Vision and Pattern Recognition (CVPR), 2023. 2, 6

[^6]: Yangming Cheng, Liulei Li, Yuanyou Xu, Xiaodi Li, Zongxin Yang, Wenguan Wang, and Yi Yang. Segment and track anything. arXiv preprint arXiv:2305.06558, 2023. 6

[^7]: Sammy Christen, Muhammed Kocabas, Emre Aksan, Jemin Hwangbo, Jie Song, and Otmar Hilliges. D-Grasp: Physically plausible dynamic grasp synthesis for hand-object interactions. In Computer Vision and Pattern Recognition (CVPR), 2022. 1

[^8]: Enric Corona, Albert Pumarola, Guillem Alenyà, Francesc Moreno-Noguer, and Grégory Rogez. GanHand: Predicting human grasp affordances in multi-object scenes. In Computer Vision and Pattern Recognition (CVPR), 2020. 2

[^9]: Markos Diomataris, Nikos Athanasiou, Omid Taheri, Xi Wang, Otmar Hilliges, and Michael J. Black. WANDR: Intention-guided human motion generation. In Computer Vision and Pattern Recognition (CVPR), 2024. 1

[^10]: Enes Duran, Muhammed Kocabas, Vasileios Choutas, Zicong Fan, and Michael J. Black. HMP: Hand motion priors for pose and shape estimation from video. In Winter Conference on Applications of Computer Vision (WACV), 2024. 2

[^11]: Zicong Fan, Adrian Spurr, Muhammed Kocabas, Siyu Tang, Michael J. Black, and Otmar Hilliges. Learning to disambiguate strongly interacting hands via probabilistic per-pixel part segmentation. In International Conference on 3D Vision (3DV), 2021. 2

[^12]: Zicong Fan, Omid Taheri, Dimitrios Tzionas, Muhammed Kocabas, Manuel Kaufmann, Michael J. Black, and Otmar Hilliges. ARCTIC: A dataset for dexterous bimanual hand-object manipulation. In Proceedings IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2023. 1, 2

[^13]: Zicong Fan, Takehiko Ohkawa, Linlin Yang, Nie Lin, Zhishan Zhou, Shihao Zhou, Jiajun Liang, Zhong Gao, Xu-anyang Zhang, Xue Zhang, Fei Li, Liu Zheng, Feng Lu, Karim Abou Zeid, Bastian Leibe, Jeongwan On, Seungryul Baek, Aditya Prakash, Saurabh Gupta, Kun He, Yoichi Sato,

Otmar Hilliges、Hyung Jin Chang和Angela Yao。以物体为中心的手部交互姿态估计基准测试与挑战。arXiv预印本arXiv:2403.16428，2024年。2

[^14]: Qichen Fu, Xingyu Liu, Ran Xu, Juan Carlos Niebles, and Kris M. Kitani. Deformer: Dynamic fusion transformer for robust hand pose estimation. In International Conference on Computer Vision (ICCV), 2023. 2

[^15]: Patrick Grady, Chengcheng Tang, Christopher D. Twigg, Minh Vo, Samarth Brahmbhatt, and Charles C. Kemp. ContactOpt: Optimizing contact to improve grasps. In Computer Vision and Pattern Recognition (CVPR), 2021. 2

[^16]: Amos Gropp, Lior Yariv, Niv Haim, Matan Atzmon, and Yaron Lipman. Implicit geometric regularization for learning shapes. In International Conference on Machine Learning (ICML), 2020. 5

[^17]: Chen Guo, Tianjian Jiang, Xu Chen, Jie Song, and Otmar Hilliges. Vid2Avatar: 3D avatar reconstruction from videos in the wild via self-supervised scene decomposition. In Computer Vision and Pattern Recognition (CVPR), 2023. 3, 4

[^18]: Zhiyang Guo, Wengang Zhou, Min Wang, Li Li, and Houqiang Li. HandNeRF: Neural radiance fields for animatable interacting hands. In Computer Vision and Pattern Recognition (CVPR), 2023. 2

[^19]: Shreyas Hampali. 3D Pose and Shape Estimation of Objects and Hands in Challenging Scenarios. PhD thesis, TU Graz, 2023. 6

[^20]: Shreyas Hampali, Mahdi Rad, Markus Oberweger, and Vincent Lepetit. HOnnotate: A method for 3D annotation of hand and object poses. In Computer Vision and Pattern Recognition (CVPR), 2020. 6

[^21]: Shreyas Hampali, Tomas Hodan, Luan Tran, Lingni Ma, Cem Keskin, and Vincent Lepetit. In-hand 3D object scanning from an RGB sequence. Computer Vision and Pattern Recognition (CVPR), 2023. 2, 3, 6, 7

[^22]: Yana Hasson, Gül Varol, Dimitrios Tzionas, Igor Kalevatykh, Michael J. Black, Ivan Laptev, and Cordelia Schmid. Learning joint reconstruction of hands and manipulated objects. In Computer Vision and Pattern Recognition (CVPR), 2019. 1, 2, 5

[^23]: Yana Hasson, Bugra Tekin, Federica Bogo, Ivan Laptev, Marc Pollefeys, and Cordelia Schmid. Leveraging photometric consistency over time for sparsely supervised hand-object reconstruction. In Computer Vision and Pattern Recognition (CVPR), 2020. 1

[^24]: Yana Hasson, Gül Varol, Cordelia Schmid, and Ivan Laptev. Towards unconstrained joint hand-object reconstruction from RGB videos. In International Conference on 3D Vision (3DV). IEEE, 2021. 1, 2, 6

[^25]: Xingyi He, Jiaming Sun, Yifan Wang, Sida Peng, Qixing Huang, Hujun Bao, and Xiaowei Zhou. Detector-free structure from motion. In arxiv, 2023. 8

[^26]: Di Huang, Xiaopeng Ji, Xingyi He, Jiaming Sun, Tong He, Qing Shuai, Wanli Ouyang, and Xiaowei Zhou. Reconstructing hand-held objects from monocular video. In SIGGRAPH Asia 2022 Conference Papers, 2022. 2, 3

## [^27]: Umar Iqbal, Pavlo Molchanov, Thomas Breuel Juergen Gall, and Jan Kautz. Hand pose estimation via latent 2.5D

---

热图回归。载于欧洲计算机视觉会议（ECCV），2018年。2

[^28]: Manuel Kaufmann, Velko Vechev, and Dario Mylonopoulos. aitviewer, 2022. 6

[^29]: Alexander Kirillov, Eric Mintun, Nikhila Ravi, Hanzi Mao, Chloe Rolland, Laura Gustafson, Tete Xiao, Spencer Whitehead, Alexander C Berg, Wan-Yen Lo, et al. Segment anything. In International Conference on Computer Vision (ICCV), 2023. 3, 5

[^30]: Muhammed Kocabas, Jen-Hao Rick Chang, James Gabriel, Oncel Tuzel, and Anurag Ranjan. HUGS: Human gaussian splats. In Computer Vision and Pattern Recognition (CVPR), 2024. 8

[^31]: Jihyun Lee, Minhyuk Sung, Honggyu Choi, and Tae-Kyun Kim. Im2hands: Learning attentive implicit representation of interacting two-hand shapes. In Computer Vision and Pattern Recognition (CVPR), 2023. 2

[^32]: Ke Li and Jitendra Malik. Amodal instance segmentation. In European Conference on Computer Vision (ECCV). Springer, 2016. 5

[^33]: Lijun Li, Linrui Tian, Xindi Zhang, Qi Wang, Bang Zhang, Liefeng Bo, Mengyuan Liu, and Chen Chen. RenderIH: A large-scale synthetic dataset for 3D interacting hand pose estimation. In International Conference on Computer Vision (ICCV), 2023. 2

[^34]: Mengcheng Li, Liang An, Hongwen Zhang, Lianpeng Wu, Feng Chen, Tao Yu, and Yebin Liu. Interacting attention graph for single image two-hand reconstruction. In Computer Vision and Pattern Recognition (CVPR), 2022. 2

[^35]: Kevin Lin, Lijuan Wang, and Zicheng Liu. End-to-end human pose and mesh reconstruction with transformers. In Computer Vision and Pattern Recognition (CVPR), 2021. 3

[^36]: Shichen Liu, Tianye Li, Weikai Chen, and Hao Li. Soft rasterizer: A differentiable renderer for image-based 3D reasoning. In International Conference on Computer Vision (ICCV), 2019. 5

[^37]: Shaowei Liu, Hanwen Jiang, Jiarui Xu, Sifei Liu, and Xiaolong Wang. Semi-supervised 3D hand-object poses estimation with interactions in time. In Computer Vision and Pattern Recognition (CVPR), 2021. 2

[^38]: Charles Loop. Smooth subdivision surfaces based on triangles. 1987. 5

[^39]: Hao Meng, Sheng Jin, Wentao Liu, Chen Qian, Mengxiang Lin, Wanli Ouyang, and Ping Luo. 3D interacting hand pose estimation by hand de-occlusion and removal. In European Conference on Computer Vision (ECCV). Springer, 2022. 2

[^40]: Gyeongsik Moon. Bringing inputs to shared domains for 3D interacting hands recovery in the wild. In Computer Vision and Pattern Recognition (CVPR), 2023.

[^41]: Gyeongsik Moon, Shoou-I Yu, He Wen, Takaaki Shiratori, and Kyoung Mu Lee. InterHand2.6M: A dataset and baseline for 3D interacting hand pose estimation from a single RGB image. In European Conference on Computer Vision (ECCV), 2020. 2

[^42]: Gyeongsik Moon, Shunsuke Saito, Weipeng Xu, Rohan Joshi, Julia Buffaloini, Harley Bellan, Nicholas Rosen, Jesse Richardson, Mallorie Mize, Philippe De Bree, et al. A

带重新打光的三维交互手部数据集。NeurIPS，2023年。

[^43]: Franziska Mueller, Florian Bernard, Oleksandr Sotnychenko, Dushyant Mehta, Srinath Sridhar, Dan Casas, and Christian Theobalt. GANerated hands for real-time 3D hand tracking from monocular RGB. In Computer Vision and Pattern Recognition (CVPR), 2018. 2

[^44]: Takehiko Ohkawa, Kun He, Fadime Sener, Tomas Hodan, Luan Tran, and Cem Keskin. AssemblyHands: towards egocentric activity understanding via 3d hand pose estimation. In Computer Vision and Pattern Recognition (CVPR), 2023. 2

[^45]: Valeria Perasso. What have you touched today?, 2015. 1

[^46]: Ben Poole, Ajay Jain, Jonathan T. Barron, and Ben Mildenhall. DreamFusion: Text-to-3D using 2D diffusion. International Conference on Learning Representations (ICLR), 2022. 8

[^47]: Aditya Prakash, Matthew Chang, Matthew Jin, and Saurabh Gupta. Learning hand-held object reconstruction from in-the-wild videos. arXiv, 2305.03036, 2023. 2

[^48]: Wentian Qu, Zhaopeng Cui, Yinda Zhang, Chenyu Meng, Cuixia Ma, Xiaoming Deng, and Hongan Wang. Novel-view synthesis and pose estimation for hand-object interaction from sparse views. In International Conference on Computer Vision (ICCV), 2023. 2

[^49]: James M. Rehg and Takeo Kanade. Visual tracking of high DOF articulated structures: An application to human hand tracking. In European Conference on Computer Vision (ECCV), 1994. 2

[^50]: Javier Romero, Dimitrios Tzionas, and Michael J. Black. Embodied hands: Modeling and capturing hands and bodies together. Transactions on Graphics (TOG), 36(6), 2017. 3,4

Rodenau、Roland Siegwart以及Robust hierarchical and Pattern

[^52]: Paul-Edouard Sarlin, Daniel DeTone, Tomasz Malisiewicz, and Andrew Rabinovich. SuperGlue: Learning feature matching with graph neural networks. In Computer Vision and Pattern Recognition (CVPR), 2020. 3

[^53]: Tomas Simon, Hanbyul Joo, Iain Matthews, and Yaser Sheikh. Hand keypoint detection in single images using multiview bootstrapping. In Computer Vision and Pattern Recognition (CVPR), 2017. 2

[^54]: Adrian Spurr, Jie Song, Seonwook Park, and Otmar Hilliges. Cross-modal deep variational hand pose estimation. In Computer Vision and Pattern Recognition (CVPR), 2018.

[^55]: Adrian Spurr, Umar Iqbal, Pavlo Molchanov, Otmar Hilliges, and Jan Kautz. Weakly supervised 3D hand pose estimation via biomechanical constraints. In European Conference on Computer Vision (ECCV), 2020.

## [^56]: Adrian Spurr, Aneesh Dahiya, Xi Wang, Xucong Zhang, and Otmar Hilliges. Self-supervised 3D hand pose estimation from monocular RGB via contrastive learning. In International Conference on Computer Vision (ICCV), 2021. 2

---

[^57]: Jiaming Sun, Zehong Shen, Yuang Wang, Hujun Bao, and Xiaowei Zhou. LoFTR: Detector-free local feature matching with transformers. Computer Vision and Pattern Recognition (CVPR), 2021. 8

[^58]: Anilkumar Swamy, Vincent Leroy, Philippe Weinzaepfel, Fabien Baradel, Salma Galaaoui, Romain Brégier, Matthieu Armando, Jean-Sebastien Franco, and Grégory Rogez. SHOWMe: Benchmarking object-agnostic hand-object 3D reconstruction. In International Conference on Computer Vision (ICCV), 2023. 2

[^59]: Omid Taheri, Yi Zhou, Dimitrios Tzionas, Yang Zhou, Duygu Ceylan, Soren Pirk, and Michael J. Black. GRIP: Generating interaction poses using latent consistency and spatial cues. In International Conference on 3D Vision (3DV), 2024. 1

[^60]: Maxim Tatarchenko, Stephan R Richter, René Ranftl, Zhuwen Li, Vladlen Koltun, and Thomas Brox. What do single-view 3D reconstruction networks learn? In Computer Vision and Pattern Recognition (CVPR), 2019. 6

[^61]: Bugra Tekin, Federica Bogo, and Marc Pollefeys. H+O: Unified egocentric recognition of 3D hand-object poses and interactions. In Computer Vision and Pattern Recognition (CVPR), 2019. 2

[^62]: Tze Ho Elden Tse, Kwang In Kim, Ales Leonardis, and Hyung Jin Chang. Collaborative learning for hand and object reconstruction with attention-guided graph convolution. In Computer Vision and Pattern Recognition (CVPR), 2022. 2

[^63]: Tze Ho Elden Tse, Franziska Mueller, Zhengyang Shen, Danhang Tang, Thabo Beeler, Mingsong Dou, Yinda Zhang, Sasa Petrovic, Hyung Jin Chang, Jonathan Taylor, et al. Spectral graphormer: Spectral graph-based transformer for egocentric two-hand reconstruction using multi-view color images. In International Conference on Computer Vision (ICCV), 2023. 2

[^64]: Dimitrios Tzionas and Juergen Gall. A comparison of directional distances for hand pose estimation. In German Conference on Pattern Recognition (GCPR), 2013. 2

[^65]: Dimitrios Tzionas and Juergen Gall. 3D object reconstruction from hand-object interactions. In International Conference on Computer Vision (ICCV), 2015. 3

[^66]: He Wang, Srinath Sridhar, Jingwei Huang, Julien Valentin, Shuran Song, and Leonidas J Guibas. Normalized object coordinate space for category-level 6d object pose and size estimation. In Computer Vision and Pattern Recognition (CVPR), 2019. 3

[^67]: Bowen Wen, Jonathan Tremblay, Valts Blukis, Stephen Tyree, Thomas Müller, Alex Evans, Dieter Fox, Jan Kautz, and Stan Birchfield. BundleSDF: Neural 6-dof tracking and 3d reconstruction of unknown objects. In Computer Vision and Pattern Recognition (CVPR), 2023. 3

[^68]: Lixin Yang, Xinyu Zhan, Kailin Li, Wenqiang Xu, Jiefeng Li, and Cewu Lu. CPF: Learning a contact potential field to model the hand-object interaction. In International Conference on Computer Vision (ICCV), 2021. 1,2

[^69]: Lior Yariv, Jiatao Gu, Yoni Kasten, and Yaron Lipman. Volume rendering of neural implicit surfaces. In NeurIPS, 2021. 4

[^70]: Yufei Ye, Abhinav Gupta, and Shubham Tulsiani. What's in your hands? 3D reconstruction of generic objects in hands. In Computer Vision and Pattern Recognition (CVPR), 2022. 1,2,6

[^71]: Yufei Ye, Poorvi Hebbar, Abhinav Gupta, and Shubham Tulsiani. Diffusion-guided reconstruction of everyday hand-object interaction clips. In International Conference on Computer Vision (ICCV), 2023. 1, 2, 6

[^72]: Yifei Yin, Chen Guo, Manuel Kaufmann, Juan Zarate, Jie Song, and Otmar Hilliges. Hi4D: 4D instance segmentation of close human interaction. In Computer Vision and Pattern Recognition (CVPR), 2023. 5

[^73]: Baowen Zhang, Yangang Wang, Xiaoming Deng, Yinda Zhang, Ping Tan, Cuixia Ma, and Hongan Wang. Interacting two-hand 3D pose and shape reconstruction from single color image. In International Conference on Computer Vision (ICCV), 2021. 2

[^74]: Hui Zhang, Sammy Christen, Zicong Fan, Otmar Hilliges, and Jie Song. GraspXL: Generating grasping motions for diverse objects at scale. arXiv preprint, 2024. 1

[^75]: Hui Zhang, Sammy Christen, Zicong Fan, Luocheng Zheng, Jemin Hwangbo, Jie Song, and Otmar Hilliges. ArtiGrasp: Physically plausible synthesis of bi-manual dexterous grasping and articulation. In International Conference on 3D Vision (3DV), 2024. 1

[^76]: Jason Y Zhang, Sam Pepose, Hanbyul Joo, Deva Ramanan, Jitendra Malik, and Angjoo Kanazawa. Perceiving 3D human-object spatial arrangements from a single image in the wild. In European Conference on Computer Vision (ECCV). Springer, 2020. 5

[^77]: Kai Zhang, Gernot Riegler, Noah Snavely, and Vladlen Koltun. Nerf++: Analyzing and improving neural radiance fields. arXiv preprint arXiv:2010.07492, 2020. 3, 4

[^78]: Xiong Zhang, Qiang Li, Hong Mo, Wenbo Zhang, and Wen Zheng. End-to-end hand mesh recovery from a monocular RGB image. In International Conference on Computer Vision (ICCV), 2019. 2

[^79]: Licheng Zhong, Lixin Yang, Kailin Li, Haoyu Zhen, Mei Han, and Cewu Lu. Color-NeuS: Reconstructing neural implicit surfaces with color. In International Conference on 3D Vision (3DV), 2024. 2, 3

[^80]: Yuxiao Zhou, Marc Habermann, Weipeng Xu, Ikhsanul Habibie, Christian Theobalt, and Feng Xu. Monocular real-time hand shape and motion capture using multi-modal data. In Computer Vision and Pattern Recognition (CVPR), 2020. 2

[^81]: Andrea Ziani, Zicong Fan, Muhammed Kocabas, Sammy Christen, and Otmar Hilliges. TempCLR: Reconstructing hands via time-coherent contrastive learning. In International Conference on 3D Vision (3DV), 2022. 2

[^82]: Christian Zimmermann and Thomas Brox. Learning to estimate 3D hand pose from single RGB images. In International Conference on Computer Vision (ICCV), 2017. 2