# 从单目视频重建手持物体

黄迪

<mailto:dihuanginfo@gmail.com>

悉尼大学

澳大利亚

孙佳明

<mailto:suenjiaming@gmail.com>

Image Derivative Inc.

中国

季晓鹏

<mailto:xp.ji@cad.zju.edu.cn>

浙江大学

中国

何彤

<mailto:tonghe90@gmail.com>

上海人工智能实验室

中国

何星毅

<mailto:hexingyi8@gmail.com>

浙江大学

中国

帅青

<mailto:s_q@zju.edu.cn>

浙江大学

中国

欧阳万利

<mailto:wanli.ouyang@sydney.edu.au>

上海人工智能实验室

悉尼大学

澳大利亚

周晓伟 $^{*}$

<mailto:xwzhou@zju.edu.cn>

国家CAD&CG重点实验室

浙江大学

中国

![Image](images/f171531343cca9dd397f78ba14a2c7c137eca2defca2ffc7cd866bf136f43604.jpg)

<div style="text-align: center;">Figure 1: Hand-held object reconstruction. We propose a novel approach that reconstructs a moving hand-held object from a video captured by a static RGB camera, which is a common real-life scenario. The proposed approach does not require any prior knowledge about the object and thus can be widely applicable. The data capture process (left) and reconstructed 3D meshes (right) are visualized.</div>

## 摘要

本文提出了一种从单目视频重建手持物体的方法。与许多直接通过训练好的网络预测物体几何形状的现有方法不同，该方法无需依赖任何关于物体的学习先验，能够恢复出更精确、细节更丰富的物体几何形状。其核心思路是：手部的运动天然提供了物体的多个视角，且手部运动可通过手部姿态追踪器可靠地估计出来；随后，通过求解多视图重建问题即可恢复物体几何形状。我们设计了基于隐式神经表示的方法来解决这一重建问题，并应对了手部姿态估计不精确、手与物体间的相对运动、小物体几何优化不足等问题。我们还提供了一个包含3D真实标注的新数据集来验证所提出的方法。该数据集和代码将在<https://dihuangdh.github.io/hhor>发布。

## CCS概念

• 计算方法 → 重建。

## 关键词

物体重建，手与物体联合重建

## ACM参考格式

黄迪、季晓鹏、何星毅、孙佳明、何彤、帅青、欧阳万利、周晓伟。2022年。从单目视频重建手持物体。收录于SIGGRAPH Asia 2022会议论文集（SA '22会议论文集），2022年12月6日至9日，韩国大邱。ACM，美国纽约，共9页。<https://doi.org/10.1145/3550469.3555401>

---

## 1 引言

从2D图像重建3D物体对增强现实、3D打印、机器人操控等诸多应用而言至关重要。现有方法[Izadi等人，2011年；Schönberger等人，2016年]主要聚焦于用RGB相机或深度传感器围绕静态物体旋转来采集数据的场景。本研究探讨的是另一种场景：物体由一只以固定抓握姿势移动的手持握，置于固定的RGB相机前，如图1所示。这种场景不仅在视频会议等日常场景中十分常见，还能提供更人性化的物体采集流程，无需围绕物体走动。

手持物体拍摄会带来以下挑战，使得现有的重建方法无法适用。首先，基于视频的3D重建需要解决物体与相机之间的相对运动问题。现有系统通常依赖运动恢复结构（SfM）算法[Schönberger和Frahm 2016]。然而，SfM假设场景是刚性的，而在我们的场景中，物体是独立于背景运动的。另一种方法是追踪物体的6自由度位姿。但传统的物体位姿估计方法要么需要物体的CAD模型[Tjaden等人 2016, 2017]，要么依赖丰富的纹理来实现可靠的特征追踪[Lowe 2004]，这两点在我们的场景中均无法满足。近期的研究[Chen等人 2020；Wang等人 2019]采用基于学习的方法进行物体位姿估计，但需要在同一物体类别上进行训练。其次，即便已知物体的运动信息，从RGB图像中对无纹理物体进行密集重建仍然十分困难，尤其是在没有物体掩码的情况下。此外，物体还会被手部部分遮挡，这进一步增加了物体位姿追踪和重建的难度。为解决这些挑战，近期的一些研究采用基于学习的方法，通过预先学习物体形状先验，从而能够利用神经网络从单视图中估计物体形状[Choy等人 2016；Fan等人 2017；Hasson等人 2019；Karunratanakul等人 2020]。尽管这些方法取得了令人鼓舞的结果，但所学的单视图重建网络很难泛化到新的物体类别。

在本文中，我们提出了一种新颖的框架，能够在无需事先了解物体任何信息的情况下，从单目视频中重建手持移动物体。其核心思路在于：手与物体之间的物理约束为物体重建提供了重要的运动线索——虽然物体的3D运动难以直接追踪，但我们能够借助基于学习的手部位姿估计器，通过追踪手部运动来推断物体的运动。在密集几何重建方面，我们并未采用无法处理无纹理物体的传统多视图立体算法，而是利用基于神经表示的方法的最新进展[Mildenhall等人 2020；Wang等人 2021a]，这类方法通过可微渲染技术直接优化由隐式函数表示的3D场景几何与外观。然而，直接采用这种表示方法会导致重建质量较差。我们发现有三个主要因素会降低重建质量：1）手部位姿不精确；2）手与物体之间的相对运动；3）由于物体尺寸远小于手部，导致其几何优化效率低下。针对这些挑战，我们提出了三种解决方案。首先，我们同时优化神经场景表示以及手与相机之间的相对位姿。其次，我们在神经场景表示中加入可学习的变形场，用以建模手与物体之间的相对运动。第三，我们利用2D物体掩码，在训练期间自适应地在物体表面采样更多光线，从而使网络更专注于物体而非手部。需要注意的是，通过额外提供背景图像，便可利用背景减除和手部分割技术获取物体掩码，而无需事先知道物体类别。

为了验证所提出的方法，我们收集了一个全新的手持物体数据集，其中包含35个物体的4K视频，其中14个物体配有通过商用3D扫描仪获取的真实网格数据。该数据集涵盖了各种类型的日常物品。实验表明，我们的方法能够准确重建物体和手部，且性能优于多种基线方法。

## 2 相关工作

多视角三维重建。传统的多视角三维重建方法[Furukawa和Ponce 2007；Kutulakos和Seitz 2000；Yao等人2018]遵循两阶段流程：首先通过SfM估计相机参数，然后利用多视角立体视觉（MVS）从校准后的图像中重建场景。这类方法中具有代表性的系统是COLMAP[Schönberger和Frahm 2016；Schönberger等人2016]，它先估算多视角深度图，再将深度数据融合成三维模型。最近的趋势是通过利用体积渲染来恢复隐式场景表示，从而解决多视角三维重建问题。NeRF[Mildenhall等人2020]提出将场景表示为密度与颜色的辐射场。NeuS[Wang等人2021a]通过用有符号距离场（SDF）取代密度辐射场，改进了NeRF的表示方法，从而获得了更好的重建质量。这些方法仍然需要依靠SfM提供的相机位姿，而一些较新的研究[Lin等人2021；Wang等人2021b]旨在同时优化辐射场和相机位姿，以摆脱对SfM阶段的依赖。不过，如果没有合适的相机位姿初始化，它们容易陷入局部最优解[Wang等人2021b]。上述现有的多视角三维重建方法通常都依赖SfM来为每一帧估计相机参数。遗憾的是，在我们要从单目RGB视频中重建手持运动物体的场景下，SfM无法发挥作用。首先，标准SfM假设场景是刚性的，而在我们的场景中，物体是独立于背景运动的；其次，手和物体往往纹理较少，导致标准SfM无法正常工作。

单视角三维重建。另一类研究旨在通过学习物体形状先验，从单视角输入重建三维物体。根据表示类型的不同，单视角三维重建方法可分为基于体素的方法[Choy等人2016；Dai等人2017；Riegler等人2017；Tatarchenko等人2017；Wang等人2017]、基于点的方法[Fan等人2017；Insafutdinov和Dosovitskiy 2018；Jiang等人2018；Mandikal等人2018]以及基于网格的方法[Groueix等人2018；Wang等人2018]。体素适合CNN处理，但分辨率有限；点云和网格虽然表示紧凑，却难以由神经网络生成。为了克服上述三种三维表示的局限性，近期的研究提出

---

![Image](images/a90d9f2d28a4bfc8f78278ab19eed81548431f86fb9aab174e3c47157396dc21.jpg)

<div style="text-align: center;">Figure 2: The pipeline of our approach, which consists of two stages. Hand tracking: by minimizing the reprojection error of hand keypoints detected by a learned detector, the 3D hand pose and the camera motion relative to it are recovered. Dense reconstruction: an implicit neural representation-based method is employed to reconstruct the SDF and color fields of the hand and object. Three additional modules are proposed: the pose adjustment to compensate for imprecise hand pose tracking, the deformation field to model the relative motion between the hand and object, and the semantics-guided sampling to improve object reconstruction quality.</div>

利用隐式神经表示[Chen和Zhang 2019；Chibane等人2020；Mescheder等人2019；Park等人2019；Xu等人2019]。在这些方法中，三维场景的几何与外观被表示为空间位置的连续函数，再由训练好的神经网络进行近似。上述所有单视角三维重建方法都需要从大量训练数据中学习强大的物体形状先验。由于缺少包含真实图像及对应三维模型的大规模三维物体数据集，以往的方法通常在ShapeNet[Chang等人2015]等合成数据集上训练，因此泛化能力有限，尤其是当测试图像的物体类别此前未曾出现过时更是如此。此外，单视角重建的质量本质上不如多视角方法。

手部追踪。手部追踪是计算机视觉领域的一个热门研究方向。早期研究主要利用深度传感器来追踪手部运动。[Tompson等人，2014年]采用深度卷积网络提取特征，再通过逆向运动学算法来获取精确的手部姿态。[Taylor等人，2016年]针对实时增强现实应用提出了一种手部追踪系统，该系统采用平滑的手部模型和非线性优化技术，实现了出色的手部追踪性能。[Mueller等人，2019年]提出了一种新型模型，能够实时追踪两只相互交互的手。[Hampali等人，2020年]利用一台或多台RGB-D相机及可微渲染技术，同时估计手部姿态和物体的6D姿态。近年来，基于RGB输入的手部追踪受到了更多关注。[Han等人，2020年；Mueller等人，2018年]将手部追踪问题分为两个阶段：先估算3D关键点位置，再通过骨骼拟合过程得到最终的追踪结果。其他研究[如Boukhayma等人，2019年；Ge等人，2019年；Kulon等人，2020年]则通过直接估算参数化手部模型（例如MANO模型[Romero等人，2017年]）的姿态和形状参数来实现手部追踪。

手持物体捕捉。由于手部经常与物体互动，因此重建手中的物体对于手持式增强现实/虚拟现实应用而言是一个关键问题。早期的手持扫描以深度图像为输入。[Rusinkiewicz等人，2002年]提出了一种手持3D模型获取系统，用户可操纵物体并实时查看扫描网格；该系统先捕获局部表面片段，再将其对齐并整合为完整的3D网格。后续研究[Weise等人，2008年]通过引入高效的配准失败检测机制及三种更优的配准方法对该系统进行了改进。由于该系统严重依赖物体纹理，对于无纹理物体往往无法有效处理，因此[Tzionas和Gall，2015年]提出利用手部接触点作为额外的配准约束。[Zhang等人，2019年]提出了一种新颖的流程，利用两台RGBD相机同步重建手部姿态和物体形状；后来[Zhang等人，2021年]将其简化为仅用一台RGBD相机即可实现。近期的研究聚焦于从单张RGB图像中同步重建手部和物体。[Hasson等人，2019年]采用两个独立分支来同步重建手部和物体：一个分支估算MANO参数，另一个分支则在归一化坐标空间中重建物体形状。[Karunratanakul等人，2020年；Ye等人，2022年]利用隐式表示来恢复物体形状。不过，所有基于学习的方法都局限于训练集中包含的少数已知物体类别。相比之下，我们的方法仅需RGB输入，无需依赖任何预训练的物体模型即可恢复高保真度的物体网格。

## 3 数据采集与预处理

### 3.1 数据采集

我们的系统仅使用普通的单目RGB相机作为采集设备（例如iPhone或iPad）。我们首先用相机拍摄背景场景的快照，用于后续生成前景掩码。接着，我们采集一段短暂的抓取视频以实现手-物重建。在数据采集过程中，用户只需在相机前抓取并旋转物体即可。

---

采集期间相机保持固定，物体被手部牢牢握住，这意味着手部与物体之间的相对运动很小。每段视频包含约1800帧，帧率为30 fps，分辨率为4K（2160 × 3840）。

### 3.2 手-物分割

我们的方法需要手-物体分割图来帮助分离手和物体。我们设计了一个两步框架来生成二维语义图。首先，我们利用背景抠图技术 [Lin et al. 2020] 提取前景掩码，其中同时包含手和物体。其次，我们利用手部分割网络从前景掩码中分割出手部。值得注意的是，我们收集了一个新的以自我为中心的视角手部分割数据集来训练该网络。整个分割过程不依赖任何物体先验知识，能够广泛适用于各种类型的物体。

## 4 方法

本节介绍了从单目RGB视频中重建手持物体的所提出方法，该方法无需任何物体先验信息。所提出的方法包含两个主要阶段：手部跟踪（第4.1节）和密集重建（第4.2节）。图2展示了我们方法的整体概述。

### 4.1 手部跟踪

我们的手部跟踪方法基于广泛使用的参数化手部模型MANO [Romero et al. 2017]。手部网格由两组参数定义：姿态 $(\theta)$ 和形状 $(\beta)$。姿态参数会影响除腕关节外的各关节角度，形状参数则控制因人而异的形状变形。$R \in \text{SO}(3)$ 和 $T \in \mathbb{R}^3$ 是手部与标准MANO空间之间的相对旋转和平移量，也反映了手部与相机之间的相对运动。$R, T, \theta$ 和 $\beta$ 采用与MANO相同的参数化方式。本文中将优化后的手部模型记为 $M = \{\theta, \beta, R, T\}$。MANO模型的配对关节位置可表示为 $J(M)$。

给定由单目相机拍摄的一组RGB图像 $\mathcal{I}$，手部跟踪的目标是确定手部模型参数 $\mathcal{M} = \{M_t\}_{t=1}^{N_T}$ 以匹配图像观测结果，其中 $N_T$ 表示帧数。每个 $M_t$ 包含 $\boldsymbol{\theta}_t$、$\boldsymbol{\beta}_t$、$R_t$ 和 $T_t$。一些先前的研究[Han等人，2020年；Mueller等人，2018年、2019年；Taylor等人，2016年]采用了类似的公式，但通常仅针对每一帧优化手部参数 $M_t$，且只考虑短期时间约束。而在我们的场景中手部姿态变化并不显著，因此我们提出一次性优化整个序列的手部参数 $\mathcal{M}$，并为整个视频共享相同的手部参数：$\boldsymbol{\theta}_1 = \boldsymbol{\theta}_2 = \cdots = \boldsymbol{\theta}_t$。$\boldsymbol{\beta}_1 = \boldsymbol{\beta}_2 = \cdots = \boldsymbol{\beta}_t$。共享手部参数能够减少需要优化的参数数量，并确保整个视频中的姿态一致性，从而让手部模型拟合过程更快且对遮挡更具鲁棒性（详见附录C）。具体而言，我们最小化下述能量函数以优化手部参数：

 $$ \mathcal{M}=\operatorname*{m i n}_{\mathcal{M}}(E_{2D}+\omega_{1}E_{t}+\omega_{2}E_{r e g}). $$

误差项 $E_{2D}$ 用于评估恢复出的手部模型与输入视频之间的一致性：

 $$ E_{2D}=\sum_{t}||\pi(J(M_{t}))-J_{t}||_{2}^{2}, $$

其中 $\mathcal{J} = \{J_t\}_{t=1}^{N_T}$ 是所有帧中检测到的二维关节点，$\pi$ 是将三维手部关键点通过相机内参矩阵K投影到图像平面的投影算子，K由图像宽度和高度初始化。$M_t$ 是第t帧的手部模型参数。$J(M_t)$ 是第t帧手部模型的三维关键点。

$E_{t}$ 是用于保证时间平滑性的项，$E_{reg}$ 是用于避免异常手部形态的正则化项：

 $$ E_{t}=\sum_{t}||R_{t}-R_{t-1}||+||T_{t}-T_{t-1}||, $$

 $$ E_{r e g}=\sum_{t}||\mathbf{\theta}_{t}||_{2}^{2}+||\mathbf{\beta}_{t}||_{2}^{2}. $$

在所有实验中，我们将方程(1)中的 $\omega_1$ 和 $\omega_2$ 分别设为1e-4和5e-4。

直接将手部模型拟合到二维关键点观测上是一个高度非线性的过程，且对初始值极为敏感。与SPIN [Kolotouros et al. 2019]类似，我们通过用神经网络为每一帧初始化手部模型参数来改善拟合的收敛性。具体来说，我们训练一个MANO估计网络来提供初始值，然后采用多阶段方式优化手部参数。首先，我们固定$\theta_t$和$\beta_t$，仅用$R_t$优化$T_t$和$E_{2D}$。接着，我们利用公式(1)中的所有能量函数优化$\mathcal{M}$。在优化过程中，我们使用LBFGS作为优化器。为了在心视角和手-物体交互场景下获得更精确的二维关键点检测结果，我们在混合数据集上训练了一个二维关键点检测网络（详见附录B.1）。

完成手部跟踪后，我们便能借助估计出的$\{R_t, T_t\}$和K，将视频帧转换为以手/物体为中心坐标系下的校准后的多视角图像。

### 4.2 密集重建

在密集重建中，我们选择有符号距离函数（SDF）作为隐式表面表示方式。SDF表示能够刻画高质量的物体表面，通过Marching Cubes算法 [Lorensen and Cline 1987]便可轻松从中提取网格。为了恢复SDF，我们采用了近期提出的可微SDF渲染技术 [Wang et al. 2021a]，该技术将SDF转换为辐射场，通过体积渲染生成图像，再将渲染结果与输入图像进行对比以优化SDF。

4.2.1 表面表示。我们遵循[Wang et al. 2021a]的方法，将要重建的3D几何与外观表示为：

 $$ [s(\mathbf{p}),c(\mathbf{p},\mathbf{d})]=F(\mathbf{p},\mathbf{d}), $$

其中F是一个多层感知机网络。F以3D位置$\mathbf{p}$和观察方向$\mathbf{d}$作为输入，输出RGB颜色$c(\mathbf{p},\mathbf{d})$和SDF值$s(\mathbf{p})$。为了捕捉高频信号，我们对$\mathbf{p}$和$\mathbf{d}$应用了位置编码函数。

在渲染方面，对于每个像素，我们沿穿过该像素的相机光线采样一组点，记为$\{\mathbf{p}(z) | \mathbf{p}(z) = \mathbf{o} + z\mathbf{d}, z \in [z_n, z_f]\}$，其中$\mathbf{o}$是相机原点。

---

d为每个图像像素的观察方向，$z_n$和$z_f$分别表示光线的近界和远界。注意，$\mathbf{o}$以及每个像素对应的$\mathbf{d}$都可由手部参数$\{R_t, T_t\}$和K计算得出。随后，像素的颜色可表示为：

 $$ \hat{C}=\int_{z_{n}}^{z_{f}}\omega(z)c(\mathbf{p}(z),\mathbf{d})d z, $$

其中$\omega(z)$是用于累加颜色的权重函数。$\omega(z)$是$T(z)$和$\rho(z)$的乘积。$T(z)$衡量从$z_n$到z处累积的总透射率，$\rho(z)$是表示占据概率的密度函数。我们利用3D手部关键点$J(M)$自动确定$z_n$和$z_f$，无需像以往方法那样进行繁琐的手动设置和调整。遵循NeuS [Wang et al. 2021a]的做法，我们采用无偏且具备遮挡感知能力的函数$\omega(z)$，将SDF值$s(\mathbf{p}(z))$转换为$T(z)$和$\rho(z)$：

 $$ T(z)=\exp(-\int_{z_{n}}^{z_{f}}\rho(z)d z), $$

 $$ \rho(z)=\max\left(\frac{-\frac{d\Phi_{h}}{d z}(s(\mathbf{p}(z)))}{\Phi_{h}(s(\mathbf{p}(z)))},0\right), $$

其中$\Phi_{h}(x) = (1 + e^{-hx})^{-1}$是Sigmoid函数，$h^{-1}$是在优化过程中可训练的参数。实际应用中，上述公式会通过数值积分的方式进行近似计算。

4.2.2 相机姿态优化。由于手与物体之间存在严重遮挡，基于手部追踪生成的相机姿态（相对于物体而言）往往不够精确且存在噪声，这直接降低了重建质量。为缓解这一问题，我们提出同时优化SDF和相机姿态。将相机姿态视为一组可优化的参数，在网络训练过程中逐步细化它们，以降低渲染损失。

在同步优化过程中，我们采用由粗到精的策略来实现更精确的相机姿态优化，这一做法参考了[Lin等人，2021年；Park等人，2021年]的研究。具体而言，我们将$\mathbf{p}$的位置编码权重设为$\lambda(\mathbf{p}) = (\mathbf{p}, \ldots, w_k(n_s) \cdot \sin(2^k \pi \mathbf{p}), \cos(2^k \pi \mathbf{p}) \ldots)$，其中$k \in [0, L-1]$。在本文中，我们将L设为6。$n_s \in [0, N_s]$表示当前的训练步数，$N_s$则表示总训练步数。$w_k$是一个定义如下的权重函数：

 $$ w_{k}(n_{s})=\frac{1}{2}\big[1-\cos(\mathrm{c l a m p}(\frac{2\mathrm{n_{s}L}}{\mathrm{N_{s}}}-\mathrm{k},0,1)\cdot\pi)\big]. $$

从$n_{s}=0$开始，位置编码被逐步激活。当$n_{s}=\frac{N_{s}}{2}$时，所有的$\lambda$都会被启用。类似的由粗到精策略也应用于$\mathbf{d}$。我们的实验结果和消融研究证明，相机姿态与辐射场的同步优化能够显著提升重建质量。

4.2.3 形变场。尽管我们假设物体被牢牢抓握，但手与物体之间的相对运动仍不可避免。这种微小的相对运动会破坏多视角重建中的刚体假设，进而在重建的3D模型中产生伪影。受[Park等人，2021年]的启发，我们在模型中引入了形变场网络W来补偿这种微小相对运动。该网络W将每一帧中的3D位置$\mathbf{p}$映射到规范空间中的一个点$\mathbf{p}'$：$W : (\mathbf{p}, \mathbf{e}) \to \mathbf{p}'$，其中$\mathbf{e}$是每帧对应的时间嵌入。借助形变场，手与物体间的相对运动可以在重建过程中被建模并优化，从而让我们能够在规范空间中准确恢复物体的几何结构。

具体而言，每个采样点的运动由SE(3)中的刚性变换来表示。我们用一个简单的线性网络来表示W，该网络以p和e为输入，输出p的6维旋转和平移参数。

4.2.4 利用语义信息。到目前为止，我们能够重建物体和手的SDF。但仍有两个问题有待解决。首先，由于手通常占据较大的图像区域，均匀采样往往会使网络优先优化高质量的手部模型以最小化渲染损失，从而对物体的关注较少，导致物体重建质量较低，尤其是针对小型物体。其次，重建得到的SDF同时包含手和物体，需要后续处理才能将二者分离。我们利用语义信息来解决上述问题。

语义引导采样。由于均匀光线采样策略会导致网络对SDF中物体部分的优化不足，因此我们利用语义图来指导光线采样，使采样更集中于物体而非手部。具体而言，在训练过程中，我们逐渐减少手部区域的采样光线数量，同时增加物体区域的采样光线数量。我们从物体区域采样80%的光线，从手部和背景区域采样20%的光线。这种训练策略能够显著提高物体的采样效率和重建质量，同时保持手部网格的高质量，并避免缺乏监督的区域出现不规则的SDF值。

语义头。受 Semantic-NeRF [Zhi等人，2021]的启发，我们在网络F中添加了额外的语义头，使F能够预测3D语义标签：$[s(\mathbf{p}), l(\mathbf{p}), c(\mathbf{p}, \mathbf{d})] = F(\mathbf{p}, \mathbf{d})$，其中l表示语义对数几率。每条射线的语义对数几率$\hat{L}$可以像颜色渲染一样进行渲染，如公式(6)所示：

 $$ \hat{L}=\int_{z_{n}}^{z_{f}}\omega(z)l(\mathbf{p}(z),\mathbf{d})d z. $$

3D语义预测结果通过2D语义图进行渲染和监督。

4.2.5 训练损失。我们采用多种损失项来优化手-物体SDF模型。计算损失时，我们在每张图像上采样$N_{r}$条射线，并在每条射线上选取$N_{p}$个点。总损失函数定义如下：

 $$ {\cal L}={\cal L}_{c}+\lambda_{m}{\cal L}_{m}+\lambda_{e}{\cal L}_{e}+\lambda_{l}{\cal L}_{l}+\lambda_{d}{\cal L}_{d}. $$

$L_c$是渲染像素颜色$\hat{C}$与训练图像中采样射线的真实值C之间的颜色渲染损失：

 $$ {\cal L}_{c}=\frac{1}{N_{r}}\sum_{i}||{\cal C}_{i}-\hat{\cal C}_{i}||_{2}^{2}. $$

Eikonal项[Gropp等人，2020] $L_{e}$和掩码项$L_{m}$用于约束SDF：

 $$ {\cal L}_{e}=\frac{1}{N_{r}N_{p}}\sum_{i,j}(|\nabla s({\bf p}_{i,j})|-1)^{2}, $$

 $$ {\cal L}_{m}=\mathrm{C E}({\cal M}_{\mathrm{i}},\hat{\mathrm{O}}_{\mathrm{i}}), $$

---

其中CE表示交叉熵损失。$M_{i}$为掩码值，$\hat{O}_{i}$是沿射线方向的权重$\omega(t)$之和。我们将$\lambda_{e}$设为0.1，与NeuS的设置相同，但使用了更大的$\lambda_{m} = 5.0$以消除前景与背景之间不一致运动的影响。$L_{l}$是语义对数几率渲染损失，它利用多类交叉熵损失来优化语义分支：

 $$ {\cal L}_{l}=\mathrm{C E}({\cal L}_{i},\hat{\mathrm{L}_{i}}), $$

其中$L_{i}$表示真实的语义标签。实验中将$\lambda_{l}$设为0.1。$L_{d}$是[Tretschk等人，2021]提出的变形正则化项：

 $$ {\cal L}_{d}=\frac{1}{N_{r}N_{p}}\sum_{i,j}\rho({\bf p}_{i,j})\cdot|\mathrm{d i v}({\bf p}_{\mathrm{i},\mathrm{j}}^{\prime}-{\bf p}_{\mathrm{i},\mathrm{j}})|^{2}, $$

其中$\lambda_{d}$根据经验被设为10.0。

4.2.6 后处理。给定学习得到的神经隐式场F，通过查询F即可从显式的SDF体积中重建手和物体的3D几何结构。随后，利用每个顶点预测的3D语义标签来区分手和物体。最后，使用Poisson重建[Kazhdan等人，2006]来填补因手部遮挡而在重建的物体网格上产生的孔洞。

## 5 实验

### 5.1 实现细节

我们使用一块NVIDIA TITAN RTX GPU来运行整个重建流程。对于一段1分钟的4K视频，手部动作捕捉步骤需要15分钟，其中包括8分钟的手部2D关键点估计时间和7分钟的MANO拟合时间。之后，视频会从30fps下采样至6fps以进行分割和重建。分割网络的处理时间为6分钟。神经SDF模型的收敛则需要30小时。我们的实现基于PyTorch [Paszke等人，2019]库。

### 5.2 数据集

由于现有数据集均无法满足我们的研究需求，因此我们收集了一个新的3D物体重建数据集，名为手持物体数据集（Hand-held Object Dataset，简称HOD）。HOD数据集包含35个物体，分为“雕塑”和“日常物品”两个子集。“雕塑”子集包含5个几何结构复杂且纹理为纯白色的拟人雕塑；“日常物品”子集则由30个形状各异、外观多样的日常物品组成。所有雕塑以及9个日常物品都配有高精度的扫描网格作为评估用的真实几何模型。

### 5.3 评估

5.3.1 评估指标与基准方法。我们采用Chamfer距离（CD）作为定量评估的指标。由于重建网格与真实网格位于不同的坐标系下，我们将每个网格归一化为单位尺寸，并利用点对点迭代最近点（ICP）算法将重建网格对齐到真实网格。

我们将所提方法与最先进的多视角重建方法以及基于学习的手部-物体重建方法进行比较。我们以NeuS [Wang et al. 2021a]作为多视角重建的基准方法，我们的方法正是基于该方法构建的。原始的NeuS使用COLMAP来获取相机位姿，但在我们的实验设置中该方法无法正常工作，因此我们将手部追踪阶段估计出的相机位姿输入给NeuS。据我们所知，目前尚无基于学习的方法能够利用单目视频重建手部-物体交互场景。随后，我们将所提方法与ObMan [Hasson et al. 2019]、GF [Karunratanakul et al. 2020]以及IHOI [Ye et al. 2022]进行比较，这些方法均利用深度神经网络从单张图像中重建手部-物体交互场景。由于基于学习的方法以单张图像为输入，我们会对视频的每一帧分别进行评估，并报告平均准确率。

![Image](images/a751bf5e523b1d7c5d7b36049298af9482e74aa6d0f582000c197de0ff60c8d7.jpg)

<div style="text-align: center;">Figure 3: Qualitative results of hand-held object reconstruction. We show the joint reconstruction of the hand and the object for the top two examples, and the segmented object meshes for the bottom two examples. IHOI [Ye et al. 2022] is a learning-based single-view reconstruction method with the reference frame as input. NeuS [Wang et al. 2021a] uses the same video frames and camera poses as ours as input. The full figure with more examples and compared methods is in Appendix D.8.</div>

这是我们方法所基于的基线方法。原始的NeuS使用COLMAP来获取相机位姿，但在我们的场景中该方法无法奏效，因此我们将手部跟踪阶段估算出的相机位姿输入给NeuS。据我们所知，目前尚无基于学习的方法能够从单目视频中重建手与物体的交互关系。随后，我们将我们的方法与ObMan [Hasson等人，2019年]、GF [Karunratanakul等人，2020年]以及IHOI [Ye等人，2022年]进行比较，这些方法均利用深度神经网络从单张图像中重建手与物体的交互关系。由于基于学习的方法以单张图像为输入，我们会在视频的每一帧上对其进行评估，并报告平均准确率。

5.3.2 定量评估。我们在表1中给出了Sculptures子集和日常物体子集的定量结果。结果表明，在输入相同的手持物体捕捉视频的前提下，我们的方法在CD值上远低于ObMan、GF和IHOI，性能更优。由于基于学习的方法严重依赖已学习的物体形状先验来预测三维物体几何结构，对于训练数据集之外的物体，它们的表现并不理想。NeuS得出的结果比单视图预测方法更为合理，但由于原始NeuS无法处理不精确的位姿估计以及问题中存在的手部-物体相对运动，它仍无法重建出准确的形状。我们的方法大幅优于基准方法，这验证了所提出的三个组件的有效性。

5.3.3 定性评估。我们在图3中展示了手持物体重建的定性结果（完整图片见附录D.8）。NeuS能够生成目标物体的近似形状。

---

<div style="text-align: center;">Table 1: Quantitative results of object reconstruction. The metric is the Chamfer Distance.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>ID</td><td style='text-align: center; word-wrap: break-word;'>ObMan</td><td style='text-align: center; word-wrap: break-word;'>GF</td><td style='text-align: center; word-wrap: break-word;'>IHOI</td><td style='text-align: center; word-wrap: break-word;'>NeuS</td><td style='text-align: center; word-wrap: break-word;'>Ours</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Orange</td><td style='text-align: center; word-wrap: break-word;'>3.426</td><td style='text-align: center; word-wrap: break-word;'>158.735</td><td style='text-align: center; word-wrap: break-word;'>12.055</td><td style='text-align: center; word-wrap: break-word;'>3.963</td><td style='text-align: center; word-wrap: break-word;'>0.304</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Plastic Box</td><td style='text-align: center; word-wrap: break-word;'>1.969</td><td style='text-align: center; word-wrap: break-word;'>24.645</td><td style='text-align: center; word-wrap: break-word;'>3.866</td><td style='text-align: center; word-wrap: break-word;'>1.515</td><td style='text-align: center; word-wrap: break-word;'>0.433</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Rubber Duck</td><td style='text-align: center; word-wrap: break-word;'>3.984</td><td style='text-align: center; word-wrap: break-word;'>59.713</td><td style='text-align: center; word-wrap: break-word;'>7.676</td><td style='text-align: center; word-wrap: break-word;'>2.035</td><td style='text-align: center; word-wrap: break-word;'>0.521</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Robot</td><td style='text-align: center; word-wrap: break-word;'>2.250</td><td style='text-align: center; word-wrap: break-word;'>27.589</td><td style='text-align: center; word-wrap: break-word;'>4.703</td><td style='text-align: center; word-wrap: break-word;'>1.354</td><td style='text-align: center; word-wrap: break-word;'>0.207</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Cat</td><td style='text-align: center; word-wrap: break-word;'>8.808</td><td style='text-align: center; word-wrap: break-word;'>56.905</td><td style='text-align: center; word-wrap: break-word;'>15.334</td><td style='text-align: center; word-wrap: break-word;'>11.192</td><td style='text-align: center; word-wrap: break-word;'>0.225</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>AirPods</td><td style='text-align: center; word-wrap: break-word;'>0.721</td><td style='text-align: center; word-wrap: break-word;'>24.561</td><td style='text-align: center; word-wrap: break-word;'>6.978</td><td style='text-align: center; word-wrap: break-word;'>1.081</td><td style='text-align: center; word-wrap: break-word;'>0.083</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Bottle</td><td style='text-align: center; word-wrap: break-word;'>0.711</td><td style='text-align: center; word-wrap: break-word;'>271.218</td><td style='text-align: center; word-wrap: break-word;'>3.995</td><td style='text-align: center; word-wrap: break-word;'>0.875</td><td style='text-align: center; word-wrap: break-word;'>0.293</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Case</td><td style='text-align: center; word-wrap: break-word;'>2.438</td><td style='text-align: center; word-wrap: break-word;'>28.630</td><td style='text-align: center; word-wrap: break-word;'>7.065</td><td style='text-align: center; word-wrap: break-word;'>0.929</td><td style='text-align: center; word-wrap: break-word;'>0.242</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Pingpong</td><td style='text-align: center; word-wrap: break-word;'>8.588</td><td style='text-align: center; word-wrap: break-word;'>112.620</td><td style='text-align: center; word-wrap: break-word;'>12.759</td><td style='text-align: center; word-wrap: break-word;'>4.381</td><td style='text-align: center; word-wrap: break-word;'>0.408</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Apollo</td><td style='text-align: center; word-wrap: break-word;'>3.387</td><td style='text-align: center; word-wrap: break-word;'>45.322</td><td style='text-align: center; word-wrap: break-word;'>4.255</td><td style='text-align: center; word-wrap: break-word;'>8.724</td><td style='text-align: center; word-wrap: break-word;'>0.164</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>David</td><td style='text-align: center; word-wrap: break-word;'>1.806</td><td style='text-align: center; word-wrap: break-word;'>40.947</td><td style='text-align: center; word-wrap: break-word;'>3.652</td><td style='text-align: center; word-wrap: break-word;'>3.348</td><td style='text-align: center; word-wrap: break-word;'>0.191</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Giuliano</td><td style='text-align: center; word-wrap: break-word;'>1.448</td><td style='text-align: center; word-wrap: break-word;'>20.794</td><td style='text-align: center; word-wrap: break-word;'>4.139</td><td style='text-align: center; word-wrap: break-word;'>0.873</td><td style='text-align: center; word-wrap: break-word;'>0.094</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Marseille</td><td style='text-align: center; word-wrap: break-word;'>3.012</td><td style='text-align: center; word-wrap: break-word;'>60.904</td><td style='text-align: center; word-wrap: break-word;'>4.698</td><td style='text-align: center; word-wrap: break-word;'>1.918</td><td style='text-align: center; word-wrap: break-word;'>0.181</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Moliere</td><td style='text-align: center; word-wrap: break-word;'>1.737</td><td style='text-align: center; word-wrap: break-word;'>28.963</td><td style='text-align: center; word-wrap: break-word;'>4.054</td><td style='text-align: center; word-wrap: break-word;'>5.290</td><td style='text-align: center; word-wrap: break-word;'>0.145</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>mean</td><td style='text-align: center; word-wrap: break-word;'>3.163</td><td style='text-align: center; word-wrap: break-word;'>68.682</td><td style='text-align: center; word-wrap: break-word;'>6.802</td><td style='text-align: center; word-wrap: break-word;'>3.391</td><td style='text-align: center; word-wrap: break-word;'>0.249</td></tr></table>

5.3.4 与静态物体捕捉的比较。为了验证所提出手持物体捕捉流程的重建能力，我们在静态物体捕捉场景下，对COLMAP [Schönberger et al. 2016]和NeuS [Wang et al. 2021a]进行了额外的对比实验。具体而言，我们将物体放置在平坦桌面上，缓慢移动相机围绕物体拍摄，为每种物体额外拍摄一段1分钟的4K视频。物体下方会放置带纹理的纸张，为运动恢复结构（SfM）提供更准确的相机位姿估计所需的纹理信息。

但会产生许多尖锐的伪影。这主要是由于相机位姿不精确，且未考虑手部与物体之间的微小相对运动所致。基于学习的方法IHOI无法重建未见过的物体，也无法为给定图像生成有效的网格。相比之下，我们重建出的网格比IHOI和NeuS的保真度更高。

定性与定量结果如图4和附录表3所示。即便采用手持拍摄方式，我们的方法所得到的三维重建质量仍优于在静态拍摄设置下使用的COLMAP。不过，我们的方法无法像NeuS那样还原出丰富的细节。原因在于NeuS的输入数据包含精确的相机位姿且遮挡较少；相比之下，我们的输入视频中存在大量手与物体之间的遮挡，难以获取精确的相机位姿。尽管如此，这一对比仍表明：我们的流程能够达成接近静态物体拍摄水平的具有竞争力的重建质量，同时数据采集过程也更加用户友好。

5.3.5 鲁棒性。我们在附录D.1和D.2中展示了该方法在不同抓取姿势和不同运动速度下的鲁棒性。

### 5.4 消融实验

本文对NeuS提出了几项改进以提升重建质量。我们通过将这些改进依次添加到原始NeuS模型中，来验证它们的有效性。如

![Image](images/2665abf0bc8772de1f3befcf1e60c8baa5772813161e22d1e6e0e90bb7c3e777.jpg)

<div style="text-align: center;">Figure 4: Comparison with static object capture. Note that the inputs to COLMAP and NeuS are videos of static object capture by putting the object on a table, while our inputs are videos of handheld object capture by moving the object in front of the camera.</div>

![Image](images/8fe489907887d9ff92f9f1b00d0c08cbc87b634d5e92979e3792f8deabe574c1.jpg)

<div style="text-align: center;">Figure 5: Qualitative results of ablation study. vanilla indicates the mesh reconstructed with original NeuS, +camera indicates the camera refinement introduced in Section 4.2.2, +deformation indicates the deformation field introduced in Section 4.2.3, and +guiding indicates the semantics-guided sampling introduced in Section 4.2.4.</div>

图5所示，由于手部姿态跟踪不精确，原始NeuS会出现相机位姿错误的问题。通过同步优化相机位姿，优化后的SDF有所改善，但仍存在尖锐的伪影。加入形变场后，网络F能够捕捉手部与物体之间的相对运动，从而消除不规则的尖锐边缘。最后，语义引导采样使网络更聚焦于物体而非手部，进而能够重建出更多物体细节。定量结果请参见附录D.6。

## 6 局限性与未来工作

本文证明了无需借助任何形状先验和物体训练数据，仅利用单目视频即可重建无纹理的移动手持物体。但本研究仍存在若干局限性。首先，我们采用泊松重建作为孔洞填充的后处理手段，该方法可能不适用于大型孔洞或薄结构，未来可采用更先进的学习类形状补全方法。其次，基于深度的手持捕获技术能让用户实时查看重建结果，而我们的方法需要数小时才能完成物体重建；如何利用近期的技术[Chen et al. 2022; Müller et al. 2022]来加速我们的方法，将作为未来的研究方向。最后，我们的方法假设相机固定、抓取姿势单一且手部与物体之间的相对运动较小，拓展我们的方法以放宽这些限制将是一个值得探索的有趣方向。

---

## 致谢

作者感谢浙江大学商汤三维视觉实验室以及国家重点CAD&CG实验室开放课题项目（编号A2213）的支持。

## 参考文献

Adnane Boukhayma, Rodrigo de Bem, 和 Philip HS Torr. 2019. 基于野外图像的三维手部形状与姿态估计。收录于CVPR会议。

Angel X Chang, Thomas Funkhouser, Leonidas Guibas, Pat Hanrahan, Qixing Huang, Zimo Li, Silvio Savarese, Manolis Savva, Shuran Song, Hao Su等. 2015. ShapeNet：一个信息丰富的三维模型库。arXiv预印本arXiv:1512.03012 (2015)。

Anpei Chen, Zexiang Xu, Andreas Geiger, Jingyi Yu, 和 Hao Su. 2022. TensoRF：张量辐射场。arXiv:2203.09517 [cs.CV]

Dengsheng Chen, Jun Li, Zheng Wang, 和 Kai Xu. 2020. 用于类别级6D物体位姿与尺寸估计的规范形状空间学习。收录于CVPR会议。

陈志勤和张浩。2019年。学习用于生成形状建模的隐式场。载于CVPR。

Julian Chibane、Gerard Pons-Moll等人。2020年。用于隐式函数学习的神经无符号距离场。发表于《神经信息处理系统进展》第33卷（2020年）。

Christopher B Choy、Danfei Xu、JunYoung Gwak、Kevin Chen和Silvio Savarese。2016年。3d-r2n2：一种单视图和多视图3D物体重建的统一方法。载于ECCV。

Angela Dai、Charles Ruizhongtai Qi和Matthias Nießner。2017年。基于3D编码器-预测器CNN的形状补全与形状合成。载于CVPR。

Haoqiang Fan、Hao Su和Leonidas J Guibas。2017年。一种从单张图像进行3D物体重建的点集生成网络。载于CVPR。

Yasutaka Furukawa和Jean Ponce。2007年。精确、密集且鲁棒的多视图立体匹配。载于CVPR（2007年）。

Liuhao Ge、Zhou Ren、Yuncheng Li、Zehao Xue、Yingying Wang、Jianfei Cai和Junsong Yuan。2019年。基于单张RGB图像的3D手部形状与姿态估计。载于CVPR。

Amos Gropp、Lior Yariv、Niv Haim、Matan Atzmon和Yaron Lipman。2020年。用于形状学习的隐式几何正则化。载于ICML。

Thibault Groueix、Matthew Fisher、Vladimir G. Kim、Bryan Russell和Mathieu Aubry。2018年。AtlasNet：一种用于学习3D表面生成的纸浆法。载于CVPR。

Shreyas Hampali、Mahdi Rad、Markus Oberweger和Vincent Lepetit。2020年。HOnn otate：一种用于手部与物体姿态的3D标注方法。载于CVPR。

Shangchen Han、Beibei Liu、Randi Cabezas、Christopher D Twigg、Peizhao Zhang、Jeff Petkau、Tsz-Ho Yu、Chun-Jung Tai、Muzaffer Akbay、Zheng Wang等。2020年。MEgATrack：用于虚拟现实的单色自中心关节手追踪技术。发表于《ACM图形学交易》（TOG）第39卷第4期，87–1页。

Yana Hasson、Gül Varol、Dimitris Tzionas、Igor Kalevatykh、Michael J. Black、Ivan Laptev和Cordelia Schmid。2019年。学习手部与被操纵物体的联合重建。载于CVPR。

Eldar Insafutdinov和Alexey Dosovitskiy。2018年。基于可微点云的无监督形状与姿态学习。载于NeurIPS。

Shahram Izadi、David Kim、Otmar Hilliges、David Molyneaux、Richard Newcombe、Pushmeet Kohli、Jamie Shotton、Steve Hodges、Dustin Freeman、Andrew Davison等。2011年。KinectFusion：使用移动深度相机实现实时3D重建与交互。收录于第24届年度ACM用户界面软件与技术研讨会论文集，第559–568页。

Li Jiang、Shaoshuai Shi、Xiaojuan Qi和Jiaya Jia。2018年。Gal：用于单视图3D物体重建的几何对抗损失。载于ECCV。

Korrawe Karunratanakul、Jinlong Yang、Yan Zhang、Michael Black、Krikamol Muandet和Siyu Tang。2020年。Grasping Field：学习用于人类抓握的隐式表示。（2020年）

Michael Kazhdan、Matthew Bolitho和Hugues Hoppe。2006年。泊松曲面重建。发表于第四届欧洲图形学几何处理研讨会论文集，第7卷。

Nikos Kolotouros、Georgios Pavlakos、Michael J Black和Kostas Daniilidis。2019年。通过在循环中拟合模型来学习重建3D人体姿态与形状。载于ICCV。

Dominik Kulon、Riza Alp Guler、Iasonas Kokkinos、Michael M. Bronstein和Stefanos Zafeiriou。2020年。弱监督下的野外网格卷积手部重建。载于CVPR。

Kiriakos N Kutulakos和Steven M Seitz。2000年。基于空间雕刻的形状理论。《国际计算机视觉杂志》第38卷第3期，第199–218页。

Chen-Hsuan Lin、Wei-Chiu Ma、Antonio Torralba和Simon Lucey。2021年。BARF：神经辐射场的束调整技术。载于IEEE国际计算机视觉会议（ICCV）。

Shanchuan Lin、Andrey Ryabtsev、Soumyadip Sengupta、Brian Curless、Steve Seitz和Ira Kemelmacher-Shlizerman。2020年。实时高分辨率背景抠图技术。arXiv预印本（2020年），arXiv-2012。

William E Lorensen和Harvey E Cline。1987年。Marching Cubes：一种高分辨率的3D表面构建算法。SIGGRAPH会议（1987年）。

David G Lowe。2004年。源自尺度不变关键点的独特图像特征。IFCV会议（2004年）。

Priyanka Mandikal、KL Navaneet、Mayank Agarwal和R Venkatesh Babu。2018年。3D-LMNet：用于从单张图像中精确且多样化地重建3D点云的潜空间嵌入匹配技术。arXiv预印本arXiv:1807.07796（2018年）。

Lars Mescheder、Michael Oechsle、Michael Niemeyer、Sebastian Nowozin和Andreas Geiger。2019年。Occupancy Networks：在函数空间中学习3D重建技术。载于CVPR会议。

Ben Mildenhall、Pratul P. Srinivasan、Matthew Tancik、Jonathan T. Barron、Ravi Ramamoorthi和Ren Ng。2020年。NeRF：将场景表示为用于视图合成的神经辐射场。载于ECCV会议。

Franziska Mueller、Florian Bernard、Oleksandr Sotnychenko、Dushyant Mehta、Srinath Sridhar、Dan Casas和Christian Theobalt。2018年。用于从单目RGB图像中实现实时3D手部追踪的生成式手部模型。载于IEEE计算机视觉与模式识别会议论文集，第49–59页。

Franziska Mueller、Micah Davis、Florian Bernard、Oleksandr Sotnychenko、Mickel Verschoor、Miguel A Otaduy、Dan Casas和Christian Theobalt。2019年。利用单个深度相机实时重建两只交互手部的姿态与形状。ACM图形学交易（TOG）第38卷第4期，第1–13页。

Thomas Müller、Alex Evans、Christoph Schied和Alexander Keller。2022年。采用多分辨率哈希编码的即时神经图形原语。ACM图形学交易第41卷第4期，文章编号102（2022年7月），共15页。 <https://doi.org/10.1145/3528223.3530127>

Jeong Joon Park、Peter Florence、Julian Straub、Richard Newcombe和Steven Lovegrove。2019年。DeepSDF：学习用于形状表示的连续有符号距离函数。载于CVPR会议。

Keunhong Park、Utkarsh Sinha、Jonathan T. Barron、Sofien Bouaziz、Dan B Goldman、Steven M. Seitz和Ricardo Martin-Brualla。2021年。Nerfies：可变形神经辐射场。ICCV会议（2021年）。

Adam Paszke、Sam Gross、Francisco Massa、Adam Lerer、James Bradbury、Gregory Chanan、Trevor Killeen、Zeming Lin、Natalia Gimelshein、Luca Antiga等。2019年。PyTorch：一种命令式风格的高性能深度学习库。载于神经信息处理系统进展第32卷（2019年）。

Gernot Riegler、Ali Osman Ulusoy和Andreas Geiger。2017年。OctNet：在高分辨率下学习深度3D表示技术。载于CVPR会议。

Javier Romero、Dimitrios Tzionas和Michael J. Black。2017年。Embodied Hands：手部与身体的一体化建模与捕捉技术。SIGGRAPH Asia会议第36卷第6期（2017年11月）。

Szymon Rusinkiewicz、Olaf Hall-Holt和Marc Levoy。2002年。实时3D模型采集技术。ACM图形学交易（TOG）第21卷第3期，第438–446页。

Johannes Lutz Schönberger和Jan-Michael Frahm。2016年。重新审视运动恢复结构技术。载于CVPR会议。

Johannes Lutz Schönberger、郑恩良、Marc Pollefeys和Jan-Michael Frahm。2016年。用于非结构化多视图立体视觉的像素级视图选择。发表于ECCV。

Maxim Tatarchenko、Alexey Dosovitskiy和Thomas Brox。2017年。八叉树生成网络：用于高分辨率3D输出的高效卷积架构。发表于ICCV。

Jonathan Taylor、Lucas Bordeaux、Thomas Cashman、Bob Corish、Cem Keskin、Toby Sharp、Eduardo Soto、David Sweeney、Julien Valentin、Benjamin Luff等。2016年。通过姿态与对应点的联合连续优化实现高效且精确的交互式手部跟踪。《ACM图形学交易》（TOG）第35卷第4期，1–12页。

Henning Tjaden、Ulrich Schwanecke和Elmar Schömer。2016年。多个物体的实时单目分割与姿态跟踪。发表于ECCV。

Henning Tjaden、Ulrich Schwanecke和Elmar Schomer。2017年。利用时间一致的局部颜色直方图实现3D物体的实时单目姿态估计。发表于ICCV。

Jonathan Tompson、Murphy Stein、Yann Lecun和Ken Perlin。2014年。利用卷积网络实现人体手部的实时连续姿态恢复。《ACM图形学交易》（ToG）第33卷第5期，1–10页。

Edgar Tretschk、Ayush Tewari、Vladislav Golyanik、Michael Zollhöfer、Christoph Lassner和Christian Theobalt。2021年。非刚性神经辐射场：从单目视频中重建动态场景并合成新视角。发表于IEEE国际计算机视觉会议（ICCV）。IEEE出版。

Dimitrios Tzionas和Juergen Gall。2015年。基于手-物体交互的3D物体重建。发表于IEEE国际计算机视觉会议论文集。第729–737页。

He Wang、Srinath Sridhar、Jingwei Huang、Julien Valentin、Shuran Song和Leonidas J Guibas。2019年。用于类别级6D物体姿态与尺寸估计的标准化物体坐标空间。发表于CVPR。

Nanyang Wang、Yinda Zhang、Zhuwen Li、Yanwei Fu、Wei Liu和Yu-Gang Jiang。2018年。Pixel2mesh：从单张RGB图像生成3D网格模型。发表于ECCV。

Peng Wang、Lingjie Liu、Yuan Liu、Christian Theobalt、Taku Komura和Wenping Wang。2021a。NeuS：通过体积渲染学习神经隐式曲面以实现多视图重建。arXiv预印本arXiv:2106.10689（2021年）。

---

Weiyue Wang、Qiangui Huang、Suya You、Chao Yang和Ulrich Neumann。2017年。利用3D生成对抗网络和循环卷积网络进行形状修复。发表于ICCV。

Zirui Wang、Shangzhe Wu、Weidi Xie、Min Chen和Victor Adrian Prisacariu。2021b。NeRF--：无需已知相机参数的神经辐射场。arXiv预印本arXiv:2102.07064（2021年）。

Thibaut Weise、Bastian Leibe和Luc Van Gool。2008年。用于手持建模的精确且鲁棒的配准方法。发表于2008年IEEE计算机视觉与模式识别会议。IEEE，1–8页。

Qiangeng Xu、Weiyue Wang、Duygu Ceylan、Radomir Mech和Ulrich Neumann。2019年。DISN：用于高质量单视图3D重建的深度隐式表面网络。发表于NeurIPS。

Yao Yao、Zixin Luo、Shiwei Li、Tian Fang和Long Quan。2018年。MVSNet：用于非结构化多视图立体视觉的深度推断。欧洲计算机视觉会议（ECCV）（2018年）。

计算机视觉会议（ECCV）（2018年）。

Yufei Ye、Abhinav Gupta和Shubham Tulsiani。2022年。你手中拿的是什么？手中通用物体的3D重建。（2022年）

张浩、卜子豪、雍俊海和徐峰。2019年。InteractionFusion：手与物体交互中手部姿态及可变形物体的实时重建。《ACM图形学汇刊》（TOG）第38卷第4期，第1–11页。

张浩、周宇潇、田一飞、雍俊海和徐峰。2021年。基于单深度视图的手与物体交互实时重建。《ACM图形学汇刊》（TOG）第40卷第3期，第1–12页。

支帅锋、Tristan Laidlow、Stefan Leutenegger和Andrew Davison。2021年。利用隐式场景表示进行原位场景标注与理解。载于《国际计算机视觉会议（ICCV）论文集》。