# 从单目视频中重建手持物体 黄迪 悉尼大学 澳大利亚 孙佳明 Image Derivative Inc. 中国 季晓鹏 浙江大学 中国 何彤 上海人工智能实验室 中国 何星毅 浙江大学 中国 帅青 浙江大学 中国 欧阳万里 上海人工智能实验室 悉尼大学 澳大利亚 周晓伟 $^{*}$ 国家CAD&CG重点实验室 浙江大学 中国 ![Image](images/f171531343cca9dd397f78ba14a2c7c137eca2defca2ffc7cd866bf136f43604.jpg)
Figure 1: Hand-held object reconstruction. We propose a novel approach that reconstructs a moving hand-held object from a video captured by a static RGB camera, which is a common real-life scenario. The proposed approach does not require any prior knowledge about the object and thus can be widely applicable. The data capture process (left) and reconstructed 3D meshes (right) are visualized.
## 摘要 本文提出了一种从单目视频中重建手持物体的方法。与许多近期通过训练好的网络直接预测物体几何结构的方法不同，该方法无需依赖任何关于物体的先验知识，且能够恢复出更精确、更细节的物体几何形状。其核心思路是：手部运动天然提供了物体的多个视角，而手部姿态追踪器可可靠地估计出这种运动。随后，通过求解多视图重建问题即可恢复物体几何结构。我们设计了基于隐式神经表示的方法来解决该重建问题，并应对手部姿态估计不精确、手与物体间的相对运动以及小物体几何优化不足等问题。我们还提供了一个新采集的带有3D真值的数据集来验证所提出的方法。该数据集和代码将在发布。 ## CCS概念 • 计算方法 → 重建。 ## 关键词 物体重建，手与物体联合重建 ## ACM参考格式 黄迪、季晓鹏、何星毅、孙佳明、何彤、帅青、欧阳万里、周晓伟。2022年。从单目视频中重建手持物体。收录于SIGGRAPH Asia 2022会议论文集（SA '22会议论文集），2022年12月6日至9日，韩国大邱。ACM，美国纽约，共9页。 --- ## 1 引言 从2D图像重建3D物体对增强现实、3D打印和机器人操控等诸多应用而言至关重要。现有方法[Izadi等人，2011年；Schönberger等人，2016年]主要聚焦于利用RGB相机或深度传感器围绕静态物体旋转来采集数据的场景。本研究探讨的是另一种场景：物体由一只手部以固定的抓握姿势握住，置于静态RGB相机前，如图1所示。这种场景不仅在日常场景中十分常见（例如视频会议），而且有望提供一种更便捷的物体采集流程，无需围绕物体移动。 手持物体的拍摄会带来以下挑战，使得现有的重建方法无法适用。首先，基于视频的3D重建需要解决物体与相机之间的相对运动问题。现有系统通常依赖运动恢复结构（SfM）算法[Schönberger和Frahm 2016]。然而，SfM假设场景是刚性的，而在我们的场景中，物体是独立于背景运动的。另一种替代方案是追踪物体的6自由度位姿。但传统的物体位姿估计方法要么需要物体的CAD模型[Tjaden等人 2016, 2017]，要么依赖丰富的纹理来实现可靠的特征追踪[Lowe 2004]，这两点在我们的场景中都无法满足。近期的研究[Chen等人 2020；Wang等人 2019]采用基于学习的方法进行物体位姿估计，但需要在同一物体类别上进行训练。其次，即便已知物体的运动信息，从RGB图像中对无纹理物体进行密集重建仍然很困难，尤其是在没有物体掩码的情况下。此外，物体还会被手部部分遮挡，这使得物体位姿追踪和重建更加棘手。为解决这些挑战，一些近期研究采用基于学习的方法，通过学习物体形状先验，从而能够利用神经网络从单视图中估计物体形状[Choy等人 2016；Fan等人 2017；Hasson等人 2019；Karunratanakul等人 2020]。尽管这些研究取得了令人鼓舞的结果，但所学的单视图重建网络很难泛化到新的物体类别。 在本文中，我们提出了一种新颖的框架，无需预先了解物体信息，即可从单目视频中重建手持运动物体。其核心思路在于：手与物体之间的物理约束为物体重建提供了重要的运动线索——虽然物体的3D运动难以追踪，但我们能够基于基于学习的手部位姿估计器，通过追踪手部运动来推断物体的运动。在密集几何重建方面，我们并未采用无法处理无纹理物体的传统多视图立体算法，而是利用基于神经表示的方法的最新进展[Mildenhall等人 2020；Wang等人 2021a]，这类方法通过可微渲染直接优化由隐式函数表示的3D场景几何与外观。然而，直接采用这种表示方式会导致重建质量较差。我们发现有三个主要问题会降低重建质量：1）手部位姿不精确；2）手与物体之间的相对运动；3）由于物体尺寸相对于手部较小，导致物体几何的优化效率低下。针对这些挑战，我们提出了三种解决方案。首先，我们同时优化神经场景表示以及手与相机之间的相对位姿。其次，我们为神经场景表示配备一个可学习的变形场，用以建模手与物体之间的相对运动。第三，我们利用2D物体掩码，在训练期间自适应地在物体上采样更多光线，从而使网络更专注于物体而非手部。需要注意的是，通过额外获取一张背景图像，便可利用背景减除和手部分割技术获得物体掩码，而无需事先知道物体类别。 为了验证所提出的方法，我们收集了一个全新的手持物体数据集，其中包含35个物体的4K视频，其中14个物体配有通过商用3D扫描仪获取的真实网格数据。该数据集涵盖了各种类型的日常物体。实验表明，我们的方法能够准确重建物体和手部，且性能优于几种基线方法。 ## 2 相关工作 多视角三维重建。传统的多视角三维重建方法[Furukawa和Ponce 2007；Kutulakos和Seitz 2000；Yao等人2018]遵循两阶段流程：首先通过SfM估计相机参数，然后利用多视角立体视觉（MVS）从校准后的图像中重建场景。这类方法中具有代表性的系统是COLMAP[Schönberger和Frahm 2016；Schönberger等人2016]，它先估算多视角深度图，再将深度数据融合成三维模型。近期出现了一种通过利用体积渲染来恢复隐式场景表示以解决多视角三维重建问题的趋势。NeRF[Mildenhall等人2020]提出将场景表示为密度与颜色的辐射场。NeuS[Wang等人2021a]通过用有符号距离场（SDF）替换密度辐射场，改进了NeRF的表示方法，从而获得了更好的重建质量。这些方法仍然需要借助SfM来获取相机位姿，而一些较新的研究[Lin等人2021；Wang等人2021b]旨在同时优化辐射场和相机位姿，从而省去SfM阶段。不过，如果没有合适的相机位姿初始化，它们很容易陷入局部最优解[Wang等人2021b]。上述现有的多视角三维重建方法通常都依赖SfM来为每一帧估计相机参数。遗憾的是，在我们的研究场景中——即从单目RGB视频中重建手持运动物体——SfM无法发挥作用。首先，标准SfM假设场景是刚性的，而在我们的场景中，物体会独立于背景运动；其次，手部和物体往往纹理较少，导致标准SfM无法正常工作。 单视角三维重建。另一类研究旨在通过学习物体形状先验，从单视角输入重建三维物体。根据表示类型的不同，单视角三维重建方法可分为基于体素的方法[Choy等人2016；Dai等人2017；Riegler等人2017；Tatarchenko等人2017；Wang等人2017]、基于点的方法[Fan等人2017；Insafutdinov和Dosovitskiy 2018；Jiang等人2018；Mandikal等人2018]以及基于网格的方法[Groueix等人2018；Wang等人2018]。体素适合CNN处理，但分辨率有限；点云和网格虽然表示紧凑，却难以由神经网络生成。为了克服上述三维表示的局限性，近期的研究提出了…… --- ![Image](images/a90d9f2d28a4bfc8f78278ab19eed81548431f86fb9aab174e3c47157396dc21.jpg)
Figure 2: The pipeline of our approach, which consists of two stages. Hand tracking: by minimizing the reprojection error of hand keypoints detected by a learned detector, the 3D hand pose and the camera motion relative to it are recovered. Dense reconstruction: an implicit neural representation-based method is employed to reconstruct the SDF and color fields of the hand and object. Three additional modules are proposed: the pose adjustment to compensate for imprecise hand pose tracking, the deformation field to model the relative motion between the hand and object, and the semantics-guided sampling to improve object reconstruction quality.
利用隐式神经表示[Chen和Zhang 2019；Chibane等人2020；Mescheder等人2019；Park等人2019；Xu等人2019]。在这些方法中，三维场景的几何结构与外观被表示为空间位置的连续函数，这些函数由训练好的神经网络来近似。上述所有单视角三维重建方法都需要从大量训练数据中学习强大的物体形状先验。由于缺乏包含真实图像及对应三维模型的大规模三维物体数据集，以往的方法通常在ShapeNet[Chang等人2015]等合成数据集上训练，因此其泛化能力有限，尤其是当测试图像中的物体类别此前未曾出现过时。此外，单视角重建的质量本质上不如多视角方法。 手部追踪。手部追踪是计算机视觉领域的一个热门研究方向。早期的研究主要利用深度传感器来追踪手部运动。[Tompson等人，2014年]采用深度卷积网络提取特征，再通过逆向运动学算法来获取精确的手部姿态。[Taylor等人，2016年]提出了一种用于实时增强现实应用的手部追踪系统。该系统采用平滑的手部模型和非线性优化技术，实现了出色的手部追踪性能。[Mueller等人，2019年]提出了一种新型模型，能够实时追踪两只相互交互的手。[Hampali等人，2020年]利用一台或多台RGB-D相机以及可微渲染技术，同时估计手部姿态和物体的6D姿态。近年来，基于RGB输入的手部追踪受到了更多关注。[Han等人，2020年；Mueller等人，2018年]将手部追踪问题分为两个阶段：先估计3D关键点位置，再通过骨骼拟合过程得到最终的追踪结果。其他研究[如Boukhayma等人，2019年；Ge等人，2019年；Kulon等人，2020年]则通过直接估计参数化手部模型（例如MANO模型[Romero等人，2017年]）的姿态和形状参数来实现手部追踪。 手持物体捕捉。由于手部经常与物体发生交互，因此重建手中的物体对于手持式增强现实/虚拟现实应用而言至关重要。早期的手持扫描技术以深度图像为输入。[Rusinkiewicz等人，2002年]提出了一种手持3D模型获取系统，用户可操纵物体并实时查看扫描网格。该系统先捕获局部表面片段，再将其对齐并整合为完整的3D网格。后续研究[Weise等人，2008年]对该系统进行了改进，加入了高效的配准失败检测机制以及三种更优的配准方法。由于该系统严重依赖物体纹理，对于无纹理的物体往往无法有效处理，因此[Tzionas和Gall，2015年]提出利用手部接触点作为额外的配准能量。[Zhang等人，2019年]提出了一种新颖的流程，利用两台RGBD相机同时重建手部姿态和物体形状；后来[Zhang等人，2021年]将其简化为仅用一台RGBD相机即可实现。近期的研究重点是从单张RGB图像中同时重建手部和物体。[Hasson等人，2019年]采用两个独立的分支来同时重建手部和物体：一个分支估计MANO参数，另一个分支则在归一化坐标空间中重建物体形状。[Karunratanakul等人，2020年；Ye等人，2022年]利用隐式表示来恢复物体形状。不过，所有基于学习的方法都局限于训练集中包含的少数已知物体类别。相比之下，我们的方法仅需RGB输入，无需依赖任何预训练的物体模型即可恢复高保真的物体网格。 ## 3 数据采集与预处理 ### 3.1 数据采集 我们的系统仅使用普通的单目RGB相机作为采集设备（例如iPhone或iPad）。我们首先用相机拍摄背景场景的快照，以便后续生成前景掩码。接着，我们采集一段用于手部-物体重建的抓取视频。在数据采集过程中，用户只需在相机前抓取并旋转物体即可。 --- 采集过程中相机保持固定，物体被手部牢牢握住，这意味着手部与物体之间的相对运动较小。每段视频包含约1800帧，帧率为30 fps，分辨率为4K（2160 × 3840）。 ### 3.2 手部-物体分割 我们的方法需要手-物体分割图来帮助分离手和物体。我们设计了一个两步框架来生成2D语义图。首先，我们利用背景抠图技术[Lin et al. 2020]提取前景掩码，其中包含了手和物体。其次，我们利用手部分割网络从前景掩码中分割出手部。值得注意的是，我们收集了一个新的以自我为中心的视角下的手部分割数据集来训练该网络。整个分割过程不依赖任何物体的先验信息，能够广泛适用于各种类型的物体。 ## 4 方法 本节介绍了从单目RGB视频中重建手持物体的所提出的方法，该方法无需任何关于物体的先验信息。所提出的方法包含两个主要阶段：手部跟踪（第4.1节）和密集重建（第4.2节）。图2展示了我们方法的概览。 ### 4.1 手部跟踪 我们的手部跟踪方法基于广泛使用的参数化手部模型MANO [Romero et al. 2017]。手部网格由两组参数定义：姿态$(\theta)$和形状$(\beta)$。姿态参数会影响除腕关节外的各关节角度，而形状参数则控制个体特有的形状变形。$R \in \text{SO}(3)$和$T \in \mathbb{R}^3$分别表示手与标准MANO空间之间的相对旋转和平移，它们也反映了手与相机之间的相对运动。$R, T, \theta$和$\beta$采用与MANO相同的参数化方式。本文中将优化后的手部模型记为$M = \{\theta, \beta, R, T\}$。MANO模型的配对关节位置可表示为$J(M)$。 给定单目摄像头拍摄的一组RGB图像 $\mathcal{I}$，手部跟踪的目标是确定手部模型参数 $\mathcal{M} = \{M_t\}_{t=1}^{N_T}$ 以匹配图像观测结果，其中 $N_T$ 表示帧数。每一帧 $M_t$ 包含 $\boldsymbol{\theta}_t$、$\boldsymbol{\beta}_t$、$R_t$ 和 $T_t$。一些先前的研究[Han等人，2020年；Mueller等人，2018年、2019年；Taylor等人，2016年]采用了类似的公式化方法，但通常逐帧优化手部参数 $M_t$，且仅考虑短期时间约束。而在我们的场景中手部姿态变化并不显著，因此我们提出一次性优化整个序列的手部参数 $\mathcal{M}$，并在整个视频中共享这些手部参数：$\boldsymbol{\theta}_1 = \boldsymbol{\theta}_2 = \cdots = \boldsymbol{\theta}_t$。$\boldsymbol{\beta}_1 = \boldsymbol{\beta}_2 = \cdots = \boldsymbol{\beta}_t$。共享手部参数不仅能减少优化参数的数量，还能确保整个视频中的姿态一致性，从而使手部模型的拟合过程更快且对遮挡更具鲁棒性（详见附录C）。具体而言，我们最小化下述能量函数以优化手部参数： $$ \mathcal{M}=\operatorname*{m i n}_{\mathcal{M}}(E_{2D}+\omega_{1}E_{t}+\omega_{2}E_{r e g}). $$ 误差项$E_{2D}$用于评估恢复出的手部模型与输入视频之间的一致性： $$ E_{2D}=\sum_{t}||\pi(J(M_{t}))-J_{t}||_{2}^{2}, $$ 其中$\mathcal{J} = \{J_t\}_{t=1}^{N_T}$为所有帧中检测到的2D关节点，$\pi$是投影算子，它利用由图像宽高初始化的相机内参矩阵K将3D手部关键点投影到图像平面。$M_t$是第t个手部模型的参数。$J(M_t)$是第t个手部模型的3D关键点。 $E_{t}$是一项用于强制时间平滑性的项，而$E_{reg}$则是避免手部形态异常的正则化项： $$ E_{t}=\sum_{t}||R_{t}-R_{t-1}||+||T_{t}-T_{t-1}||, $$ $$ E_{r e g}=\sum_{t}||\mathbf{\theta}_{t}||_{2}^{2}+||\mathbf{\beta}_{t}||_{2}^{2}. $$ 在所有实验中，我们将方程(1)中的$\omega_1$和$\omega_2$分别设为1e-4和5e-4。 直接将手部模型拟合到二维关键点观测上是一个高度非线性的过程，且对初始值十分敏感。与SPIN [Kolotouros et al. 2019]类似，我们通过用神经网络为每一帧初始化手部模型参数来改善拟合的收敛性。具体来说，我们训练一个MANO估计网络来提供初始值，然后采用多阶段方式优化手部参数。首先，我们固定$\theta_t$和$\beta_t$，仅用$R_t$优化$T_t$和$E_{2D}$。接着，我们利用公式(1)中的所有能量函数优化$\mathcal{M}$。在优化过程中，我们使用LBFGS作为优化器。为了在心视视角以及手与物体交互的情况下更精确地检测二维关键点，我们在混合数据集上训练了一个二维关键点检测网络（详见附录B.1）。 完成手部跟踪后，我们便能借助估计出的$\{R_t, T_t\}$和K，将视频帧转换为以手/物体为中心坐标系下的校准后的多视图图像。 ### 4.2 密集重建 对于密集重建，我们选择有符号距离函数（SDF）作为隐式表面表示。SDF表示能够呈现高质量的物体表面，通过Marching Cubes算法 [Lorensen and Cline 1987]可轻松从中提取网格。为了恢复SDF，我们采用了近期提出的可微SDF渲染技术 [Wang et al. 2021a]，该技术将SDF转换为辐射场，通过体积渲染生成图像，再将渲染图像与输入图像对比以优化SDF。 4.2.1 表面表示。我们遵循[Wang et al. 2021a]的方法，将要重建的3D几何与外观表示为： $$ [s(\mathbf{p}),c(\mathbf{p},\mathbf{d})]=F(\mathbf{p},\mathbf{d}), $$ 其中F是一个MLP网络。F以3D位置$\mathbf{p}$和观察方向$\mathbf{d}$作为输入，预测RGB颜色$c(\mathbf{p},\mathbf{d})$和SDF值$s(\mathbf{p})$。为了捕捉高频信号，我们对$\mathbf{p}$和$\mathbf{d}$应用位置编码函数。 在渲染方面，对于每个像素，我们沿穿过该像素的相机光线采样一组点，记为$\{\mathbf{p}(z) | \mathbf{p}(z) = \mathbf{o} + z\mathbf{d}, z \in [z_n, z_f]\}$，其中$\mathbf{o}$是相机原点。 --- d是每个图像像素的观察方向，$z_n$和$z_f$分别表示光线的近界和远界。注意，$\mathbf{o}$以及每个像素对应的$\mathbf{d}$可由手部参数$\{R_t, T_t\}$和K计算得出。随后，像素的颜色可表示为 $$ \hat{C}=\int_{z_{n}}^{z_{f}}\omega(z)c(\mathbf{p}(z),\mathbf{d})d z, $$ 其中$\omega(z)$是用于累加颜色的权重函数。$\omega(z)$是$T(z)$和$\rho(z)$的乘积。$T(z)$衡量从$z_n$到z处累积的总透射率，$\rho(z)$是表示占据概率的密度函数。我们利用3D手部关键点$J(M)$自动确定$z_n$和$z_f$，而以往的方法需要繁琐地手动设置和调整这些参数。遵循NeuS [Wang et al. 2021a]的做法，我们使用无偏且能感知遮挡的函数$\omega(z)$将SDF值$s(\mathbf{p}(z))$转换为$T(z)$和$\rho(z)$： $$ T(z)=\exp(-\int_{z_{n}}^{z_{f}}\rho(z)d z), $$ $$ \rho(z)=\max\left(\frac{-\frac{d\Phi_{h}}{d z}(s(\mathbf{p}(z)))}{\Phi_{h}(s(\mathbf{p}(z)))},0\right), $$ 其中$\Phi_{h}(x) = (1 + e^{-hx})^{-1}$是Sigmoid函数，$h^{-1}$是在优化过程中可训练的参数。实际应用中，上述公式会通过数值积分进行近似计算。 4.2.2 相机姿态优化。由于手与物体之间存在严重遮挡，基于手部追踪生成的相机姿态（相对于物体而言）往往不够精确且存在噪声，这直接降低了重建质量。为缓解这一问题，我们提出同时优化SDF与相机姿态。将相机姿态视为一组可优化的参数，在网络训练过程中逐步对其进行精细化处理，以降低渲染损失。 在同步优化过程中，我们采用由粗到精的策略来实现更精确的相机姿态优化，这一做法参考了[Lin等人，2021年；Park等人，2021年]的研究。具体而言，我们将$\mathbf{p}$的位置编码权重设为$\lambda(\mathbf{p}) = (\mathbf{p}, \ldots, w_k(n_s) \cdot \sin(2^k \pi \mathbf{p}), \cos(2^k \pi \mathbf{p}) \ldots)$，其中$k \in [0, L-1]$。在本文中，我们将L设为6。$n_s \in [0, N_s]$表示当前的训练步数，而$N_s$则表示总训练步数。$w_k$是一个定义如下的权重函数： $$ w_{k}(n_{s})=\frac{1}{2}\big[1-\cos(\mathrm{c l a m p}(\frac{2\mathrm{n_{s}L}}{\mathrm{N_{s}}}-\mathrm{k},0,1)\cdot\pi)\big]. $$ 从$n_{s}=0$开始，位置编码被逐步激活。当$n_{s}=\frac{N_{s}}{2}$时，所有的$\lambda$都会被启用。类似的由粗到精策略也应用于$\mathbf{d}$。我们的实验结果及消融实验表明，相机姿态与辐射场的同步优化能够显著提升重建质量。 4.2.3 形变场。尽管我们假设物体被牢牢抓握，但手与物体之间的相对运动仍不可避免。这种微小的相对运动会破坏多视角重建中的刚体假设，进而在重建的三维模型中产生伪影。受[Park等人，2021年]研究的启发，我们在模型中引入了形变场网络W来补偿这种微小的相对运动。该网络W将每一帧中的三维位置$\mathbf{p}$映射到规范空间中的一个点$\mathbf{p}'$：$W : (\mathbf{p}, \mathbf{e}) \to \mathbf{p}'$，其中$\mathbf{e}$为每帧对应的时间嵌入。借助形变场，手与物体间的相对运动可以在重建过程中被建模并优化，从而让我们能够在规范空间中准确恢复物体的几何形状。 具体而言，每个采样点的运动由SE(3)中的刚体变换来表示。我们用一个简单的线性网络来表示W，该网络以p和e为输入，输出p的6维旋转和平移参数。 4.2.4 利用语义信息。至此，我们已经能够重建物体与手部的SDF。但仍存在两个问题：首先，由于手部往往占据图像的大部分区域，均匀采样会导致网络优先优化手部以获得较低的渲染损失，从而对物体的关注不足，导致物体重建质量较低，尤其是针对小型物体而言；其次，重建得到的SDF中同时包含手部与物体，需要后续处理才能将二者分离。我们利用语义信息来解决上述问题。 语义引导采样。由于均匀光线采样策略会使网络对SDF中物体部分的优化程度降低，因此我们利用语义图来指导光线采样，使采样更集中于物体而非手部。具体而言，在训练过程中，我们逐渐减少手部区域的采样光线数量，增加物体区域的采样光线数量。我们让80%的光线从物体区域采样，20%从手部及背景区域采样。这种训练策略能够显著提高物体的采样效率与重建质量，同时保持手部网格的高质量，并避免缺乏监督的区域出现不规则的SDF值。 语义头。受 Semantic-NeRF [Zhi等人，2021]的启发，我们在网络F中添加了额外的语义头，使F能够预测3D语义标签：$[s(\mathbf{p}), l(\mathbf{p}), c(\mathbf{p}, \mathbf{d})] = F(\mathbf{p}, \mathbf{d})$，其中l表示语义对数几率。每条射线的语义对数几率$\hat{L}$可以像颜色渲染一样进行渲染，如公式(6)所示： $$ \hat{L}=\int_{z_{n}}^{z_{f}}\omega(z)l(\mathbf{p}(z),\mathbf{d})d z. $$ 3D语义预测结果通过2D语义图进行渲染和监督。 4.2.5 训练损失。我们采用多种损失项来优化手-物体SDF。计算损失时，我们在每张图像上采样$N_{r}$条射线，并在每条射线上采样$N_{p}$个点。总损失函数定义如下： $$ {\cal L}={\cal L}_{c}+\lambda_{m}{\cal L}_{m}+\lambda_{e}{\cal L}_{e}+\lambda_{l}{\cal L}_{l}+\lambda_{d}{\cal L}_{d}. $$ $L_c$是渲染像素颜色$\hat{C}$与训练图像中采样射线的真实值C之间的颜色渲染损失： $$ {\cal L}_{c}=\frac{1}{N_{r}}\sum_{i}||{\cal C}_{i}-\hat{\cal C}_{i}||_{2}^{2}. $$ Eikonal项[Gropp等人，2020] $L_{e}$和掩码项$L_{m}$用于约束SDF： $$ {\cal L}_{e}=\frac{1}{N_{r}N_{p}}\sum_{i,j}(|\nabla s({\bf p}_{i,j})|-1)^{2}, $$ $$ {\cal L}_{m}=\mathrm{C E}({\cal M}_{\mathrm{i}},\hat{\mathrm{O}}_{\mathrm{i}}), $$ --- 其中CE表示交叉熵损失。$M_{i}$是掩码值，$\hat{O}_{i}$是沿射线的权重$\omega(t)$之和。我们将$\lambda_{e}$设为0.1，与NeuS的设置相同，但使用更大的$\lambda_{m} = 5.0$以消除前景和背景之间不一致运动的影响。$L_{l}$是语义对数几率渲染损失，它利用多类交叉熵损失来优化语义分支： $$ {\cal L}_{l}=\mathrm{C E}({\cal L}_{i},\hat{\mathrm{L}_{i}}), $$ 其中$L_{i}$表示真实的语义标签。实验中将$\lambda_{l}$设为0.1。$L_{d}$是[Tretschk等人，2021]提出的形变正则化项： $$ {\cal L}_{d}=\frac{1}{N_{r}N_{p}}\sum_{i,j}\rho({\bf p}_{i,j})\cdot|\mathrm{d i v}({\bf p}_{\mathrm{i},\mathrm{j}}^{\prime}-{\bf p}_{\mathrm{i},\mathrm{j}})|^{2}, $$ 其中$\lambda_{d}$经实验设定为10.0。 4.2.6 后处理。给定学习得到的神经隐式场F，通过查询F即可从显式的SDF体数据中重建出手和物体的3D几何结构。然后，利用每个顶点预测的3D语义标签来区分手和物体。最后，使用Poisson重建[Kazhdan等人，2006]来填补因手部遮挡而在重建的物体网格上产生的孔洞。 ## 5 实验 ### 5.1 实现细节 我们使用单块NVIDIA TITAN RTX GPU来运行整个重建流程。对于一段1分钟的4K视频，手部动作捕捉步骤需要15分钟，其中包括8分钟的手部2D关键点估计时间和7分钟的MANO拟合时间。随后，视频会从30fps下采样至6fps以进行分割和重建。分割网络的处理时间为6分钟。神经SDF重建则需要30小时才能收敛。我们的实现基于PyTorch [Paszke等人，2019]库。 ### 5.2 数据集 由于现有数据集均无法满足我们的研究需求，因此我们收集了一个新的3D物体重建数据集，名为手持物体数据集（Hand-held Object Dataset，简称HOD）。HOD数据集包含35个物体，分为“雕塑”和“日常物品”两个子集。“雕塑”子集包含5个几何结构复杂且纹理为纯白色的雕塑；“日常物品”子集则由30个形状各异、外观多样的日常物品组成。所有雕塑以及9种日常物品都配有高保真扫描网格作为评估用的真实几何数据。 ### 5.3 评估 5.3.1 评估指标与基准方法。我们采用倒角距离（Chamfer Distance, CD）作为定量评估的指标。由于重建网格与真实网格位于不同的坐标系下，我们将每个网格归一化为单位尺寸，并利用点对点迭代最近点（Iterative Closest Point, ICP）算法将重建网格对齐到真实网格上。 我们将所提出的方法与最先进的多视角重建方法以及基于学习的手部-物体重建方法进行比较。我们以NeuS [Wang et al. 2021a]作为多视角重建的基准方法，我们的方法正是基于该方法构建的。原始的NeuS使用COLMAP来获取相机位姿，但这在我们的实验环境中无法运行，因此我们将手部追踪阶段估计出的相机位姿输入给NeuS。据我们所知，目前还没有基于学习的方法能够利用单目视频重建手部-物体交互场景。 ![Image](images/a751bf5e523b1d7c5d7b36049298af9482e74aa6d0f582000c197de0ff60c8d7.jpg)
Figure 3: Qualitative results of hand-held object reconstruction. We show the joint reconstruction of the hand and the object for the top two examples, and the segmented object meshes for the bottom two examples. IHOI [Ye et al. 2022] is a learning-based single-view reconstruction method with the reference frame as input. NeuS [Wang et al. 2021a] uses the same video frames and camera poses as ours as input. The full figure with more examples and compared methods is in Appendix D.8.
接着，我们将所提方法与ObMan [Hasson et al. 2019]、GF [Karunratanakul et al. 2020]以及IHOI [Ye et al. 2022]进行比较，这些方法均利用深度神经网络从单张图像中重建手部-物体交互场景。由于基于学习的方法以单张图像为输入，我们会对视频的每一帧分别进行评估，并报告平均准确率。 5.3.2 定量评估。我们在表1中给出了Sculptures子集和日常物体子集的定量结果。结果显示，使用相同的手持物体拍摄视频作为输入时，我们的方法在CD值上远低于ObMan、GF和IHOI，性能更优。由于基于学习的方法严重依赖已学习的物体形状先验来预测三维物体几何结构，它们对于训练数据集之外的物体表现不佳。NeuS得到的结果比单视图预测方法更合理，但由于原始NeuS无法处理不精确的位姿估计以及本研究中存在的手部-物体相对运动问题，它仍无法重建出准确的形状。我们的方法相比基准方法有显著提升，这验证了所提出的三个组件的有效性。 5.3.3 定性评估。我们在图3中展示了手持物体重建的定性结果（完整图片见附录D.8）。NeuS能够生成目标物体的近似形状。 ---
Table 1: Quantitative results of object reconstruction. The metric is the Chamfer Distance.
IDObManGFIHOINeuSOurs
Orange3.426158.73512.0553.9630.304
Plastic Box1.96924.6453.8661.5150.433
Rubber Duck3.98459.7137.6762.0350.521
Robot2.25027.5894.7031.3540.207
Cat8.80856.90515.33411.1920.225
AirPods0.72124.5616.9781.0810.083
Bottle0.711271.2183.9950.8750.293
Case2.43828.6307.0650.9290.242
Pingpong8.588112.62012.7594.3810.408
Apollo3.38745.3224.2558.7240.164
David1.80640.9473.6523.3480.191
Giuliano1.44820.7944.1390.8730.094
Marseille3.01260.9044.6981.9180.181
Moliere1.73728.9634.0545.2900.145
mean3.16368.6826.8023.3910.249
5.3.4 与静态物体捕捉的比较。为了验证我们所提出手持物体捕捉流程的重建能力，我们在静态物体捕捉场景下，与COLMAP [Schönberger et al. 2016]和NeuS [Wang et al. 2021a]进行了额外的对比实验。具体而言，我们将物体放置在平坦桌面上，让相机围绕物体缓慢移动，为每个物体拍摄额外的一分钟4K视频；物体下方放置带纹理的纸张，为运动恢复结构（Structure from Motion, SfM）提供更准确的相机位姿估计所需的纹理信息。 不过生成的物体形状存在很多尖锐的伪影。这主要是由于相机位姿不精确，且未考虑手部与物体之间的微小相对运动所致。基于学习的方法IHOI无法重建未见过的物体，也无法为给定图像生成有效的网格。相比之下，我们重建出的网格比IHOI和NeuS的保真度更高。 定性和定量结果如图4和附录表3所示。即便采用手持拍摄方式，我们的方法在物体重建质量上仍优于静态拍摄条件下的COLMAP。不过，我们的方法无法像NeuS那样还原出那么多精细细节。原因在于NeuS的输入数据具有精确的相机位姿且遮挡较少；相比之下，我们的输入视频中存在大量手与物体的遮挡现象，难以获取精确的相机位姿。尽管如此，这一对比仍表明：我们的流程能够达成接近静态物体拍摄水平的具有竞争力的重建质量，同时数据采集过程也更加用户友好。 5.3.5 鲁棒性。我们在附录D.1和D.2中展示了该方法在不同抓取姿势和不同运动速度下的鲁棒性。 ### 5.4 消融实验 本文对NeuS提出了几项改进以提升重建质量。我们通过将这些改进依次添加到原始NeuS模型中来验证其有效性。如所示 ![Image](images/2665abf0bc8772de1f3befcf1e60c8baa5772813161e22d1e6e0e90bb7c3e777.jpg)
Figure 4: Comparison with static object capture. Note that the inputs to COLMAP and NeuS are videos of static object capture by putting the object on a table, while our inputs are videos of handheld object capture by moving the object in front of the camera.
![Image](images/8fe489907887d9ff92f9f1b00d0c08cbc87b634d5e92979e3792f8deabe574c1.jpg)
Figure 5: Qualitative results of ablation study. vanilla indicates the mesh reconstructed with original NeuS, +camera indicates the camera refinement introduced in Section 4.2.2, +deformation indicates the deformation field introduced in Section 4.2.3, and +guiding indicates the semantics-guided sampling introduced in Section 4.2.4.
从图5可以看出，由于手部姿态跟踪不精确，原始NeuS会出现相机位姿错误的问题。通过同步优化相机位姿，优化后的SDF有所改善，但仍存在尖锐的伪影。加入变形场后，网络F能够捕捉手部与物体之间的相对运动，从而消除不规则的尖锐边缘。最后，语义引导采样使网络更专注于物体而非手部，进而能够重建出更多物体细节。定量结果请参见附录D.6。 ## 6 局限性与未来工作 本文证明了无需借助任何形状先验和物体训练数据，仅用单目视频就能重建无纹理的移动手持物体。但本研究存在一些局限性。首先，我们采用泊松重建作为孔洞填充的后处理手段，该方法可能不适用于大型孔洞或薄结构，未来可采用更复杂、基于学习的形状补全方法。其次，基于深度的手持捕获技术能让用户实时查看重建结果，而我们的方法需要数小时才能完成物体重建；利用近期的技术[Chen et al. 2022; Müller et al. 2022]来加速我们的方法将作为未来的研究方向。最后，我们的方法假设相机固定、抓取姿势单一且手部与物体之间的相对运动较小，拓展我们的方法以放宽这些限制将是一个值得探索的有趣方向。 --- ## 致谢 作者感谢浙江大学商汤三维视觉实验室以及国家CAD&CG重点实验室开放课题项目（编号A2213）的支持。 ## 参考文献 Adnane Boukhayma, Rodrigo de Bem, 和 Philip HS Torr. 2019. 基于野外图像的3D手部形状与姿态估计. 载于CVPR会议论文集。 Angel X Chang, Thomas Funkhouser, Leonidas Guibas, Pat Hanrahan, Qixing Huang, Zimo Li, Silvio Savarese, Manolis Savva, Shuran Song, Hao Su等. 2015. ShapeNet：一个信息丰富的3D模型库. arXiv预印本arXiv:1512.03012 (2015)。 Anpei Chen, Zexiang Xu, Andreas Geiger, Jingyi Yu, 和 Hao Su. 2022. TensoRF：张量辐射场. arXiv:2203.09517 [cs.CV] Dengsheng Chen, Jun Li, Zheng Wang, 和 Kai Xu. 2020. 用于类别级6D物体姿态与尺寸估计的规范形状空间学习. 载于CVPR会议论文集。 陈志勤和张浩。2019年。用于生成形状建模的隐式场学习。载于CVPR。 Julian Chibane、Gerard Pons-Moll等人。2020年。用于隐函数学习的神经无符号距离场。载于《神经信息处理系统进展》第33卷（2020年）。 Christopher B Choy、Danfei Xu、JunYoung Gwak、Kevin Chen和Silvio Savarese。2016年。3D-R2N2：单视图和多视图3D物体重建的统一方法。载于ECCV。 Angela Dai、Charles Ruizhongtai Qi和Matthias Nießner。2017年。基于3D编码器-预测器CNN的形状补全与形状合成。载于CVPR。 范浩强、苏浩和Leonidas J Guibas。2017年。从单张图像进行3D物体重建的点集生成网络。载于CVPR。 古川康孝和Jean Ponce。2007年。精确、密集且鲁棒的多视图立体匹配。载于CVPR（2007年）。 葛柳豪、任周、李云成、薛泽浩、王颖颖、蔡建飞和袁军松。2019年。基于单张RGB图像的3D手部形状和姿态估计。载于CVPR。 Amos Gropp、Lior Yariv、Niv Haim、Matan Atzmon和Yaron Lipman。2020年。用于形状学习的隐式几何正则化。载于ICML。 Thibault Groueix、Matthew Fisher、Vladimir G. Kim、Bryan Russell和Mathieu Aubry。2018年。AtlasNet：一种用于学习3D表面生成的纸浆法。载于CVPR。 Shreyas Hampali、Mahdi Rad、Markus Oberweger和Vincent Lepetit。2020年。HOnn otate：一种用于手部与物体姿态的3D标注方法。载于CVPR。 韩尚辰、刘贝贝、Randi Cabezas、Christopher D Twigg、张培昭、Jeff Petkau、Tsz-Ho Yu、蔡俊杰、Muzaffer Akbay、王铮等。2020年。MEgATrack：用于虚拟现实的单色自中心式关节手追踪技术。《ACM图形学交易》（TOG）第39卷第4期（2020年），87–1页。 Yana Hasson、Gül Varol、Dimitris Tzionas、Igor Kalevatykh、Michael J. Black、Ivan Laptev和Cordelia Schmid。2019年。手部与被操纵物体联合重建的学习。载于CVPR。 Eldar Insafutdinov和Alexey Dosovitskiy。2018年。基于可微分点云的形状与姿态无监督学习。载于NeurIPS。 Shahram Izadi、David Kim、Otmar Hilliges、David Molyneaux、Richard Newcombe、Pushmeet Kohli、Jamie Shotton、Steve Hodges、Dustin Freeman、Andrew Davison等。2011年。KinectFusion：使用移动深度相机实现实时3D重建与交互。载于第24届年度ACM用户界面软件与技术研讨会论文集，第559–568页。 蒋力、史少帅、齐晓娟和贾珈。2018年。Gal：用于单视图3D物体重建的几何对抗损失。载于ECCV。 Korrawe Karunratanakul、杨金龙、张燕、Michael Black、Krikamol Muandet和唐思宇。2020年。Grasping Field：用于学习人类抓取动作的隐式表示。（2020年） Michael Kazhdan、Matthew Bolitho和Hugues Hoppe。2006年。泊松曲面重建。载于第四届欧洲图形学几何处理研讨会论文集，第7卷。 Nikos Kolotouros、Georgios Pavlakos、Michael J Black和Kostas Daniilidis。2019年。通过在循环中拟合模型来学习3D人体姿态与形状的重建。载于ICCV。 Dominik Kulon、Riza Alp Guler、Iasonas Kokkinos、Michael M. Bronstein和Stefanos Zafeiriou。2020年。弱监督下的野外网格卷积手部重建。载于CVPR。 Kiriakos N Kutulakos和Steven M Seitz。2000年。基于空间雕刻的形状理论。《国际计算机视觉杂志》第38卷第3期，第199–218页。 Chen-Hsuan Lin、Wei-Chiu Ma、Antonio Torralba和Simon Lucey。2021年。BARF：神经辐射场的束调整。载于IEEE国际计算机视觉会议（ICCV）。 Shanchuan Lin、Andrey Ryabtsev、Soumyadip Sengupta、Brian Curless、Steve Seitz和Ira Kemelmacher-Shlizerman。2020年。实时高分辨率背景抠图。arXiv预印本（2020年），arXiv-2012。 William E Lorensen和Harvey E Cline。1987年。Marching Cubes：一种高分辨率的3D表面构建算法。SIGGRAPH会议（1987年）。 David G Lowe。2004年。源自尺度不变关键点的独特图像特征。IFCV会议（2004年）。 Priyanka Mandikal、KL Navaneet、Mayank Agarwal和R Venkatesh Babu。2018年。3D-LMNet：用于从单张图像中精确且多样化地重建3D点云的潜在嵌入匹配方法。arXiv预印本arXiv:1807.07796（2018年）。 Lars Mescheder、Michael Oechsle、Michael Niemeyer、Sebastian Nowozin和Andreas Geiger。2019年。Occupancy Networks：在函数空间中学习3D重建。载于CVPR会议。 Ben Mildenhall、Pratul P. Srinivasan、Matthew Tancik、Jonathan T. Barron、Ravi Ramamoorthi和Ren Ng。2020年。NeRF：将场景表示为用于视图合成的神经辐射场。载于ECCV会议。 Franziska Mueller、Florian Bernard、Oleksandr Sotnychenko、Dushyant Mehta、Srinath Sridhar、Dan Casas和Christian Theobalt。2018年。为基于单目RGB图像的实时3D手部追踪生成手部模型。载于IEEE计算机视觉与模式识别会议论文集，第49–59页。 Franziska Mueller、Micah Davis、Florian Bernard、Oleksandr Sotnychenko、Mickel Verschoor、Miguel A Otaduy、Dan Casas和Christian Theobalt。2019年。利用单个深度相机实时重建两只交互手部的姿态与形状。ACM图形学交易（TOG）第38卷第4期，第1–13页。 Thomas Müller、Alex Evans、Christoph Schied和Alexander Keller。2022年。采用多分辨率哈希编码的即时神经图形原语。ACM图形学交易第41卷第4期，文章编号102（2022年7月），共15页。 Jeong Joon Park、Peter Florence、Julian Straub、Richard Newcombe和Steven Lovegrove。2019年。DeepSDF：学习用于形状表示的连续有符号距离函数。载于CVPR会议。 Keunhong Park、Utkarsh Sinha、Jonathan T. Barron、Sofien Bouaziz、Dan B Goldman、Steven M. Seitz和Ricardo Martin-Brualla。2021年。Nerfies：可变形神经辐射场。ICCV会议（2021年）。 Adam Paszke、Sam Gross、Francisco Massa、Adam Lerer、James Bradbury、Gregory Chanan、Trevor Killeen、Zeming Lin、Natalia Gimelshein、Luca Antiga等。2019年。PyTorch：一种命令式风格的高性能深度学习库。神经信息处理系统进展第32卷（2019年）。 Gernot Riegler、Ali Osman Ulusoy和Andreas Geiger。2017年。OctNet：在高分辨率下学习深度3D表示。载于CVPR会议。 Javier Romero、Dimitrios Tzionas和Michael J. Black。2017年。Embodied Hands：共同建模并捕捉手部与身体。SIGGRAPH Asia会议第36卷第6期（2017年11月）。 Szymon Rusinkiewicz、Olaf Hall-Holt和Marc Levoy。2002年。实时3D模型采集。ACM图形学交易（TOG）第21卷第3期，第438–446页。 Johannes Lutz Schönberger和Jan-Michael Frahm。2016年。重新审视运动恢复结构技术。载于CVPR会议。 Johannes Lutz Schönberger、郑恩良、Marc Pollefeys和Jan-Michael Frahm。2016年。用于非结构化多视图立体视觉的像素级视图选择。发表于ECCV。 Maxim Tatarchenko、Alexey Dosovitskiy和Thomas Brox。2017年。八叉树生成网络：用于高分辨率3D输出的高效卷积架构。发表于ICCV。 Jonathan Taylor、Lucas Bordeaux、Thomas Cashman、Bob Corish、Cem Keskin、Toby Sharp、Eduardo Soto、David Sweeney、Julien Valentin、Benjamin Luff等。2016年。通过姿态与对应点的联合连续优化，实现高效且精确的交互式手部跟踪。《ACM图形学交易》（TOG）第35卷第4期，1–12页。 Henning Tjaden、Ulrich Schwanecke和Elmar Schömer。2016年。多个物体的实时单目分割与姿态跟踪。发表于ECCV。 Henning Tjaden、Ulrich Schwanecke和Elmar Schomer。2017年。利用时间一致的局部颜色直方图实现3D物体的实时单目姿态估计。发表于ICCV。 Jonathan Tompson、Murphy Stein、Yann Lecun和Ken Perlin。2014年。利用卷积网络实现人体手部的实时连续姿态恢复。《ACM图形学交易》（ToG）第33卷第5期，1–10页。 Edgar Tretschk、Ayush Tewari、Vladislav Golyanik、Michael Zollhöfer、Christoph Lassner和Christian Theobalt。2021年。非刚性神经辐射场：从单目视频中重建动态场景并合成新视角。发表于IEEE国际计算机视觉会议（ICCV）。IEEE出版。 Dimitrios Tzionas和Juergen Gall。2015年。基于手-物体交互的3D物体重建。发表于IEEE国际计算机视觉会议论文集。第729–737页。 王赫、Srinath Sridhar、黄静伟、Julien Valentin、宋舒然和Leonidas J Guibas。2019年。用于类别级6D物体姿态与尺寸估计的标准化物体坐标空间。发表于CVPR。 王南阳、张印达、李竹文、付彦伟、刘伟和蒋玉刚。2018年。Pixel2mesh：从单张RGB图像生成3D网格模型。发表于ECCV。 王鹏、刘凌杰、刘远、Christian Theobalt、Taku Komura和汪卫平。2021a。NeuS：通过体积渲染学习神经隐式曲面以实现多视图重建。arXiv预印本arXiv:2106.10689（2021年）。 --- 王伟岳、黄千贵、尤素雅、杨超和Ulrich Neumann。2017年。利用3D生成对抗网络和循环卷积网络进行形状修复。发表于ICCV。 王子睿、吴尚哲、谢维迪、陈敏和Victor Adrian Prisacariu。2021b。NeRF--：无需已知相机参数的神经辐射场。arXiv预印本arXiv:2102.07064（2021年）。 Thibaut Weise、Bastian Leibe和Luc Van Gool。2008年。用于手持建模的精确且鲁棒的配准技术。发表于2008年IEEE计算机视觉与模式识别会议。IEEE，第1–8页。 徐强恩、王伟岳、Ceylan Duygu、Radomir Mech和Ulrich Neumann。2019年。DISN：用于高质量单视图3D重建的深度隐式表面网络。发表于NeurIPS。 姚瑶、罗子欣、李世伟、方天和权龙。2018年。MVSNet：用于非结构化多视图立体视觉的深度推断。欧洲计算机视觉会议（ECCV）（2018年）。 视觉会议（ECCV）（2018年）。 叶宇飞、Abhinav Gupta和Shubham Tulsiani。2022年。你手中拿的是什么？手中通用物体的3D重建。（2022年）。 张浩、柏子豪、雍俊海和徐峰。2019年。InteractionFusion：手部与物体交互中手部姿态及可变形物体的实时重建。《ACM图形学汇刊》（TOG）第38卷第4期，第1–11页。 张浩、周宇潇、田一飞、雍俊海和徐峰。2021年。基于单深度视图的手部与物体交互实时重建。《ACM图形学汇刊》（TOG）第40卷第3期，第1–12页。 支帅锋、特里斯坦·莱德洛、斯特凡·洛伊特内格和安德鲁·戴维森。2021年。利用隐式场景表示进行原位场景标注与理解。载于《国际计算机视觉会议（ICCV）论文集》。