# LiveHand：实时且照片级逼真的神经手部渲染 Akshay Mundra$^{1,2}$、Mallikarjun B R$^{1}$、Jiayi Wang$^{1}$、马克·哈伯曼 $^{1}$、克里斯蒂安·特奥博尔特 $^{1,2}$、穆罕默德·埃尔加里布 $^{1}$ $^{1}$ 马克斯·普朗克信息学研究所 $^{2}$ 萨尔大学、{mbr,jwang,mhaberma,theobalt,elgharib}@mpi-inf.mpg.de ![Image](images/8379690bfc77927c76c9d4741626dbcbff679f6e4a5b6a0f6a48f70148a3073f.jpg) (a) 姿态变化 (c) 实时演示

Figure 1: We present LiveHand, the first neural implicit approach for rendering articulated hands in real-time. (a) Our method captures pose-dependent effects such as hand shadows, popping veins, and skin wrinkles. (b) We can use the hand-pose obtained from an input sequence to re-enact different identities. (c) Our method is designed to optimize rendering speed and quality – we show a live demo where we track the 3D hand-pose and render a photo-realistic hand avatar, all in real-time.

## 摘要人类的手是我们与外界互动的主要媒介，因此对手部的数字化是一个重要课题。虽然已有不少研究致力于建模手部几何结构，但鲜有研究关注如何捕捉照片级逼真的外观。此外，在扩展现实和游戏应用中，实时渲染至关重要。我们提出了首个能够实时进行照片级逼真手部渲染的神经隐式方法。这是一个极具挑战性的问题，因为手部具有复杂的纹理，且会因姿态变化产生显著的形变效应。不过我们证明，通过精心设计的方法可以实现这一目标。该方法包括在低分辨率神经辐射场渲染结果上训练模型，同时结合3D一致的超分辨率模块、网格引导采样以及空间规范化技术。我们还展示了在图像空间应用感知损失的创新用法，这对精准学习细节至关重要。我们也展示了实时演示成果：我们首次实现了实时照片级逼真手部渲染，同时还能模拟与姿态和视角相关的外观效果。我们通过消融实验验证了所有设计选择，证明它们确实能优化渲染速度和质量。视频结果和代码可从获取。 ### 1. 引言随着VR/AR技术的日益普及，为这些数字内容提供自然的交互界面变得至关重要。毫无疑问，在3D环境中，手是用户最直观的交互方式。因此，将用户的手数字化，以便在虚拟世界中渲染出个性化、可控且照片级逼真的手部模型，是至关重要的。实现这一目标颇具挑战性，因为手部的外观会随着姿态和观察角度的不同而发生变化。此外，确保此类系统的实时性能，对于实现远程呈现、远程操控和计算机辅助设计等应用而言至关重要。虽然利用传统计算机图形技术在一定程度上可以创建照片级逼真的手部模型，但这通常需要经验丰富的艺术家投入大量人力。因此，近期的研究开始探索是否可以直接从2D图像中推导出手部模型。目前大多数现有方法都会使用某种数据驱动的显式模型，将手部几何结构和外观约束在低维空间中。 --- 为了便于处理且对遮挡情况具有更强的鲁棒性 [^35] [^32] [^24] [^16] [^17]。随后将重建问题转化为在该空间中搜索最佳匹配参数。尽管这些方法能快速给出合理的结果，但重建结果仍受限于用于创建模型的已注册手部网格数据所覆盖的空间，因此限制了视觉质量和个性化程度。最近，神经隐式表示[^23]在静态场景的新视角合成方面取得了令人瞩目的成果。一些研究将这类方法扩展到静态场景之外，以实现对人体等关节物体的逼真渲染[^38] [^30] [^26] [^18] [^28] [^42] [^10] [^9]。尽管成果显著，但将其应用于手部的研究却寥寥无几。与人体不同，手部运动存在更严重的自遮挡和自接触现象，这阻碍了在不同关节状态下保持一致的场景表示的学习。其中值得关注的一项工作是LISA[^6]，它提出了一种创建神经手部化身的方法。虽然该方法显示出良好的效果，但它不支持推理时的实时渲染，且生成的结果缺乏高频细节。在本文中，我们提出了首个用于创建逼真神经手部化身的方法，该方法能够实时渲染，且仅需利用关节手的分段多视角视频及相应的手部姿态标注进行训练（见图1）。为此，我们引入了一种混合手部模型表示：以MANO手部模型作为粗略代理，其周围环绕着神经辐射场。我们的思路是通过将全局坐标规范化为纹理立方体，从而限定可学习体积的范围，以此简化学习问题。这些规范化后的坐标可被输入到基于坐标的浅层MLP中，以回归场景颜色和密度。这种表述方式还能利用粗糙的网格代理来更高效地对场景的低分辨率NeRF表示进行采样；我们证明，当这种方法与专为高效上采样而精心设计的基于CNN的超分辨率模块结合时，就能实现实时渲染。此外，我们发现这种高效的表示方式不仅允许每次迭代使用少量光线样本进行训练，还能利用整幅图像进行训练。因此，我们首次能够在训练期间利用整幅图像的感知损失来监督隐式场景表示。实验再次表明，相比基于小块进行感知监督的基线方法，这种方式能显著提升结果质量。这些设计选择共同使我们能够实时渲染出细节丰富、足以捕捉姿势和视角相关外观变化的逼真手部图像。总之，我们的贡献如下： - 我们提出了LiveHand，这是首个实现实时逼真神经手部渲染的方法。

Methods	Real-time	Photo-real	Pose-dep. app.	View-dep. app.
HTML [^32]	✓	✗	✗	✗
NIMBLE [^17]	✓	✓	✗	✗
LISA [^6]	✗	✗	✓	✗
Ours	✓	✓	✓	✓

Table 1: Conceptual comparison of our method with other hand-modeling approaches.

- 我们通过精心设计的一系列方案实现了实时性能，具体包括网格引导的3D采样策略、低分辨率神经辐射场以及3D一致的超分辨率模块。 - 借助这些计算效率极高的设计选择，我们首次证明可以利用整幅图像的感知损失有效监督隐式表示，且其效果优于常用的基于小块的损失函数。我们的结果表明，在视觉质量和运行性能方面，我们明显优于现有技术水平。此外，我们还展示了该方法的实时演示，有力地证明了其在日常生活场景中的直接应用潜力。 ### 2. 相关工作几何建模。参数化三维可变形模型将低维控制变量映射到可变形的网格上，从而能够轻松高效地控制生成的几何形状 [^15] [^27] [^35] [^1]。与我们研究相关的是MANO模型 [^35]，它利用高分辨率三维扫描数据来学习参数化手部模型，将网格表示为手部形状和姿态的函数。隐式几何建模则使用神经网络将几何形状编码为等值面。由于所学习的表示与分辨率无关，理论上在推理时可用于获取任意高分辨率的网格。imGHUM模型 [^1] 构建了一个包含精细身体、面部和手部几何结构的参数化全身模型。GraspingField模型 [^14] 学习了手与物体交互的有符号距离函数（SDF），并将MANO模型拟合到该SDF上以得出最终的姿态估计结果。然而，现有研究中没有一项 [^35] [^16] [^24] [^14] [^13] 涉及手部纹理的建模。相比之下，我们的目标是在实时条件下模拟逼真的手部外观。几何与外观建模。一些方法通过为参数化网格补充纹理贴图来对其进行扩展。HTML模型 [^32] 通过对51名受试者的纹理贴图应用主成分分析（PCA）来构建低维手部外观模型。NIMBLE模型 [^17] 利用MRI数据基于骨骼和肌肉学习参数化网格模型，并通过光线舞台拍摄来获取外观贴图（包括反照图、法线贴图， --- 以及高光贴图）。通过对外观贴图的各种组成部分进行PCA处理，即可得到相应的外观模型。由于HTML和NIMBLE均采用线性模型将外观变化压缩到低维空间，因此其表达能力受到严重限制。例如，它们无法呈现静脉和彩色指甲等具有个人特性的细节。与我们的方法最为接近的是LISA模型 [^6]，它利用神经隐式场来建模手部形状和外观。底层的多层感知机受姿态和外观参数的约束，从而在推理时能够实现姿态和外观的变化。不过，该模型的重建结果缺乏高频细节，且渲染一张分辨率为$1024 \times 667$像素的图像需要约一分钟时间。而我们的重点是在针对特定个人的场景下创建数字手部虚拟形象，并能实时呈现逼真的效果。有关现有手部建模方法的概念性对比，请参阅表1。其他可动画化物体。相关文献中已有针对其他可动画化物体的建模研究，例如人脸 [^20] [^4] [^44] [^8] [^7] [^22]、人体 [^10] [^41] [^3] [^18] [^42] [^30] [^38] 以及动物 [^21]。与人脸相关的建模方法无法处理大幅度的形变 [^20] [^4] [^7] [^22]，且/或无法实时运行 [^8] [^44] [^7]；而 [^21] 这类方法并未对姿态依赖的外观效果进行建模。为了处理人体中出现的更为复杂的关节运动，目前已提出两类针对人体的建模方法。基于显式网格的方法 [^41] [^10] [^2] 依赖于从静态场景中获取的模板网格，随后通过检索方式 [^41] 或在网格空间中利用卷积神经网络直接回归纹理图 [^10] [^2] 来学习外观特征。然而，由于这类方法严重依赖模板网格，一旦变形的模板网格与表面的真实形变不匹配，所学习到的外观就会变得模糊。相比之下，神经隐式模型能够以更高的分辨率学习更精细的形变。例如，它已被用于建模着衣人体的几何结构与外观 [^38] [^30] [^26] [^18] [^28] [^42] [^9] [^11] [^29] [^12]。不过，这类方法无法实时运行。一些高效的方法 [^31] [^33] 将渲染任务表述为图像翻译任务，但在参数化模型拟合方面存在误差。另一类隐式人体建模方法 [^34] [^39] [^36] 在测试时需要使用多台摄像头拍摄的RGB图像，因此无法对任意姿态进行控制。将人体建模方法拓展到人手并非易事，因为手部具有更强的关节活动能力，进而会导致严重的自遮挡及其他姿态依赖的效果。我们提出的方法通过结合基于网格的建模与神经隐式建模的元素，来创建能够实时运行的精细模型。 ### 3. 方法论给定从N个视角拍摄的P帧多视图图像$\{\mathbf{G}_j^p | j = 1 \ldots N, p = 1 \ldots P\}$以及对应的粗略参数化手部网格$\{\mathcal{M}(\psi^p) | p = 1 \ldots P\}$，我们的方法能够创建出照片级真实感的手部模型，该模型可精确模拟手部姿态和视点相关的外观效果，且能实现实时渲染。图2展示了我们方法的概览。给定手部参数$\psi$后，我们可以根据某点投影到姿态网格上的位置，将场景中的每个点进行规范化处理$\mathcal{M}(\psi)$。投影之后，3D坐标会依据对应的纹理坐标重新参数化。随后训练一个多层感知机（MLP）$H_\alpha$，使其能在关节参数的约束下，将重新参数化的坐标映射到辐射场中。对于给定的相机外参和内参，我们利用体积渲染技术生成低分辨率图像和图像对齐的特征图，再通过超分辨率网络$S_\phi$对它们进行上采样，从而得到最终的渲染结果。在本节中，我们首先在第3.1节描述构建神经手部表示所需的手部模型，第3.2节介绍场景表示，第3.3节阐述其高效的2D渲染方式。最后，在第3.4节说明如何有效训练我们的神经手部模型。 #### 3.1. MANO模型我们利用MANO[^35]模型来参数化近似的手部几何形状。MANO利用其线性混合蒙皮（LBS）权重W以及标准手部网格$\psi$，将模型参数$\mathcal{M}$映射为姿态网格$\overline{\mathcal{M}}$。 $$ \mathcal{M}(\psi)=M A N O(\overline{\mathcal{M}},\psi,W) $$ $\psi : \{\theta, \beta, t, R\} \in \mathbb{R}^{61}$包含关节参数$\theta \in \mathbb{R}^{45}$、形状参数$\beta \in \mathbb{R}^{10}$，以及全局平移量$t \in \mathbb{R}^{3}$和以轴角形式表示的旋转量$R \in \mathbb{R}^{3}$。更多细节请参阅[^35]。为方便起见，我们在此也将手部姿态定义为$\xi : \{\theta, R\} \in \mathbb{R}^{48}$。$\xi$仅编码手部的关节活动和朝向信息，因此与全局3D空间中的身份和位置无关。 #### 3.2. 隐式手部表示受最先进的隐式新视角合成方法NeRF[^23]的启发，我们采用视点相关的隐式表示来建模手部虚拟形象。由于NeRF只能捕捉静态场景，我们必须扩展辐射场以纳入形变信息。在本节中，我们将系统地阐述选择该表示的原因并对其进行描述。简单条件化。定义手部辐射场$H_{\alpha}$的一种方式是对其进行如下简单条件化： $$ H_{\alpha}:(x,d,\xi)\to(\mathbf{c},\sigma) $$ --- ![Image](images/f065c72fe08567a41aea4ff8184dd25b9ce961c2a958febf16053113b2e72a80.jpg)

Figure 2: Overview of our approach. Given a hand pose and camera view, our method renders a photorealistic image of the hand in real-time. To this end, we employ an efficient MANO mesh-guided sampling and canonicalization strategy. The hand appearance is captured by an MLP that maps points from the canonicalized texture space to radiance values. We then leverage volume rendering to obtain a low-resolution image-aligned feature tensor where the first three channels contain the RGB image of the hand. Finally, a super-resolution module up-samples the tensor to obtain the final full-resolution image. Since our method achieves a fast inference speed, we can supervise it with a perceptual loss on the full image resolution.

其中x表示3D点，d为观察方向，$\xi$为手部姿态，c为颜色，$\sigma$为密度。可训练的辐射场$H_{\alpha}$由带有参数$\alpha$的MLP参数化。然而，如第4节所示，这种方式对新测试手部姿态的泛化能力较差。这是因为手部表面的任意一点会根据手部姿态映射到完全不同的世界坐标中。逐骨规范化。文献[^6]中解决此问题的一种方法是根据手部姿态对场景进行规范化处理。具体来说，将世界空间中的点转换到从骨骼姿态估计得到的各骨骼局部坐标系中。在局部坐标系中分别学习隐式场，再按如下方式组合这些隐式场： $$ \sigma=\sum_{k=1}^{n_{b}}w_{k}\sigma_{k},\mathbf{c}=\sum_{k=1}^{n_{b}}w_{k}\mathbf{c}_{k} $$ 其中，w类似于LBS权重。我们在第4节中评估了这种规范化方法。这种逐骨骼的规范化需要为每个3D点推断多个MLP，因此无论是训练还是推理过程都会变慢。基于网格的规范化。为了获得更高效的表示方式，我们借鉴了基于网格的纹理映射技术：该技术将网格表面上的每个点与一个2D纹理坐标$(u, v) \in [0, 1] \times [0, 1]$关联起来，通过该坐标即可从纹理图像中获取对应的颜色值。我们将这种表面表示方法扩展到3D体积中，引入有符号距离h以支持体积渲染，同时弥补基于MANO的几何近似所带来的粗糙性问题。具体来说，对于3D空间中的给定点x，我们首先找到它在给定MANO表面上的投影。通过对应网格三角形顶点的$(u, v)$坐标进行重心插值，就能估算出该投影点的$(u, v)$坐标。采样点到其在网格上投影的有符号距离h，可用于区分垂直于网格表面的点[^18]。借助这种规范化方法，我们可以将辐射场映射表示为： $$ H_{\alpha}:(u,v,h,d)\to(\mathbf{c},\sigma) $$ 这使我们能够将世界坐标规范化为一种与手部表面保持一致的表述形式，且该表述不受手部姿态的影响$\xi$，从而防止输入空间中学习到的特征出现分散现象。在实际应用中，我们对公式4中的所有输入应用位置编码$^{[23]}$。这种规范化的uvh空间不包含任何姿态信息。由于手部表面上的同一点在不同手部姿态下可能呈现不同的外观，我们还会在规范化之后，将手部姿态$\xi$显式地作为条件输入到模型中。由此便得到了修改后的表述： $$ H_{\alpha}:(u,v,h,d,\xi)\to(\mathbf{c},\sigma) $$ 需要注意的是，尽管我们依靠粗糙的手部网格来进行规范化，但隐式表示$H_{\alpha}$能够学习到仅靠MANO网格难以建模的精细细节。我们在第4节中会展示这一点：我们的方法性能显著优于那种仅用真实图像对粗糙的MANO网格进行简单纹理映射的基线方法。 #### 3.3. 高效渲染由于 $H_{\alpha}$ 是以多层感知机为参数的，因此可以查询它来回归三维空间中每个点的密度 $\sigma$ 和颜色 c。对于一条起点为 $\mathbf{o}$、方向为 $\mathbf{d}$ 的光线，可以借助 NeRF [^23] 中提出的体积分方法，来获取该光线 $\mathbf{C}$ 的积分颜色 $\mathbf{r}(t) = \mathbf{o} + t\mathbf{d}$： --- $$ \begin{aligned}\mathbf{C}(\mathbf{r})&=\int_{t_{n}}^{t_{f}}T(t)\sigma(\mathbf{r}(t))\mathbf{c}(\mathbf{r}(t))dt\\\text{where}\quad&T(t)=\exp(-\int_{t_{n}}^{t}\sigma(\mathbf{r}(s))ds),\end{aligned} $$ 其中$t_{n}$和$t_{f}$分别为近界和远界。该积分可以通过在这两个边界内进行的分层采样来近似计算。不过，这种策略会在不含有效特征的区域浪费采样点。NeRF中引入了分层采样机制[^23]来解决这一效率问题，但该机制需要使用两个MLP分别编码场景的粗略和精细部分，并且要对场景进行两次采样。基于网格的采样。为了加快渲染速度，我们利用粗糙的MANO几何结构，高效地在近似手部表面周围采样点。具体而言，为了定义每条光线的边界，我们利用粗糙网格的深度渲染结果来约束采样点，使其位于近似表面附近[^9]。这样就无需采用分层采样所需的两遍处理流程。超分辨率技术。尽管这种高效的采样策略能够提升运行时间，但仍无法达到实时渲染速度。我们提出了一种超分辨率网络[^5] $S_{\phi}$，它能够以三维一致的方式对渲染结果进行超分辨率处理。为此，我们首先修改$H_{\alpha}$，使其额外预测一个包含29个通道的f，该向量将场景特征与颜色信息结合以捕捉更多细节。我们通过扩展公式4来实现这一点： $$ H_{\alpha}:(u,v,h,d,\xi)\to(\mathbf{c},\mathbf{f},\sigma) $$ 接着我们按照公式6中的方法执行体积积分，从而为每个视点j和手部姿态p获得低分辨率的颜色$L_{j}^{p}$与特征$F_{j}^{p}$渲染结果。这些低分辨率编码会被送入超分辨率模块中。 $$ S_{\phi}:(L,F)\to I $$ 该模块用于恢复出能保留细节的高分辨率图像$I_j^p$。为确保效率，我们使用基于CNN的网络来参数化$S_\phi$，其可训练参数为$\phi$。 #### 3.4. 训练如前一节所述，我们需要利用多视角图像序列来学习MLP$H_{\alpha}$以及超分辨率模块$S_{\phi}$的参数。颜色校准。由于多视角图像通常没有经过跨视图的颜色校正，因此我们参照Neural Volumes[^19]中的做法，通过学习每个摄像头对应的增益与偏置参数$g_j$和$b_j$来弥补这一缺陷。目标函数。我们采用以下损失函数，以监督方式训练模块$H_\alpha$和$S_\phi$的参数。 $$ \mathcal{L}=\mathcal{L}_{r e c}+\mathcal{L}_{p e r c} $$ 我们利用梯度下降法，计算真实目标图像$\mathbf{G}_j^p$与渲染图像$I_j^p$之间的误差。其中$\mathcal{L}_{rec}$为L2重建损失，其表达式如下： $$ \mathcal{L}_{r e c}=||G_{j}^{p}-I_{j}^{p}(\alpha,\phi)||_{2} $$ 为了捕捉图像中的感知差异，我们按照$\mathcal{L}_{perc}$中的建议应用[^43]。 $$ \mathcal{L}_{p e r c}=||f(G_{j}^{p})-f(I_{j}^{p}(\alpha,\phi))||_{2} $$ 其中$f(\cdot)$是预训练的VGG网络中conv1至conv5层的激活值[^37]。得益于我们高效的设计，我们能够对整个图像应用感知损失，而非传统方法中仅对较小图像块应用该损失[^40]。后续我们会证明，感知损失在恢复高频细节方面发挥着关键作用，而且我们的基于整图的方法相比基于图像块的策略能显著提升照片级真实感（详见表4、图7及补充视频）。我们将上述损失函数同时应用于低分辨率的体积渲染图像和高分辨率的超分辨率图像。 ### 4. 实验我们的实验采用了InterHand2.6M基准测试集的公开版本。该数据集包含了不同用户以5帧/秒的速率拍摄的多种动作的多视角序列，分辨率达到$512 \times 334$像素。为了测试我们的方法，我们从“train/capture0”、“train/capture5”、“test/capture0”和“test/capture1”子集中选择四位用户的右手序列。我们将每次拍摄的最后50帧用于评估，其余帧则用于训练。我们证明了所提出模型的各项优势能够协同发挥作用，从而实现了首个实时照片级真实感手部重演演示。该演示的细节及结果将在第4.1节中介绍。此外，我们在第4.2节和第4.3节针对既定基准测试对我们的方法进行了定量与定性评估。在数值评估中，我们使用了PSNR、LPIPS和FID指标。按照[^43]中的惯例，LPIPS得分是基于AlexNet骨干网络计算得出的。关于渲染速度，我们记录了在NVIDIA GeForce RTX 3090上以训练分辨率（即$512 \times 334$像素）渲染单张图像所需的时间，并以帧每秒（FPS）为单位进行汇报。在超分辨率实验中，体素积分生成的渲染图像分辨率为$256 \times 167$像素，随后会被超分辨率处理为$512 \times 334$像素。更多实现细节与结果可参见补充材料。 --- #### 4.1. 应用：实时手部重演我们专门为实时手部重演应用精心设计了该方法。在训练出用于创建用户手部虚拟形象的神经隐式表征$H_{\alpha}$以及超分辨率模块$S_{\phi}$之后，便可利用新的动作来驱动该手部的活动。图3展示了将参考用户（“Reference”）的手部动作迁移到4个已学习身份上的过程。值得注意的是，即便训练过程中未出现这些驱动姿势，我们的方法也能在不同身份间实现良好的泛化。可以看到，每个身份的虚拟形象都捕捉到了高频皮肤纹理以及依赖手部姿态的光照信息，这正是我们渲染结果具有照片级真实感的原因。为了证明该方法可在实际应用中发挥作用，我们还制作了一个实时演示。该应用包含两个部分：一是估算MANO网格姿态的手部追踪器；二是基于InterHand2.6M数据集、采用我们的方法训练出的手部虚拟形象。我们使用[^45]来估算姿态，并将其输入我们的方法进行渲染。姿态估算耗时10毫秒，而手部虚拟形象的渲染平均耗时20毫秒，因此系统的有效运行速度达到了33 FPS。图4展示了该演示的定性结果。请注意，由实时单目RGB视频流捕获的新姿态所驱动的渲染手部虚拟形象，其高频细节十分逼真。我们建议读者查看补充视频以了解演示情况，同时也可观看带有视角相关效果的3D一致性渲染序列。 #### 4.2. 与现有技术的比较文献中存在的另一种神经隐式手部模型是LISA [^6]。由于他们的方法是在Interhand2.6M数据集的未公开高分辨率版本上进行训练和评估的，且代码并未公开，因此为了实现公平比较，我们重新实现了他们的方法。作为额外的基线，我们采用了人体建模方法A-NeRF [^38]，并对其进行调整以适用于手部建模。考虑到SMPLpix [^31]具备实时性能，我们也将其纳入比较范围。我们通过将条件输入从SMPL替换为MANO渲染结果，使其能应用于手部建模。由于我们的方法需要利用粗糙的手部网格来进行规范化处理，因此我们还对比了一种基线显式方法——该方法利用预先估算的纹理贴图对该网格进行重新纹理化处理（“网格包裹”）。具体做法是先从平展手部姿态中提取纹理，再将其包裹到目标姿态上。如表2所示，我们的方法在性能上优于其他神经隐式基线模型，同时还能实现实时渲染。这些指标上的提升也转化为测试集上感知质量的显著改善，这一点可以在图5中看到。我们推测这是由于我们改进的规范化策略以及对感知损失的使用所致。A-NeRF和LISA采用的部件级规范化方式与公式3中描述的一致。然而，学习如何组合各部件的输出并非易事，这可能会导致……

	PSNR $\uparrow$	LPIPS( x1000) $\downarrow$	FID $\downarrow$	FPS $\uparrow$
Mesh wrapping	28.28	49.44	298.28	82.33
SMPLpix [^31]	32.37	26.57	202.99	58.82
A-NeRF $^{{*}}$ [^38]	28.07	94.41	318.61	0.83
LISA $^{{*}}$ [^6]	29.36	78.46	255.43	3.70
Ours	32.04	25.73	197.39	45.45

Table 2: Comparison on InterHand2.6M [^25]. * indicates we use our implementation of the approach.

	PSNR $\uparrow$	LPIPS(x1000) $\downarrow$	FID $\downarrow$	#parameters $\downarrow$	FPS $\uparrow$
xyz	29.31	42.50	247.77	0.95M	43.03
per-bone xyz	32.51	23.82	198.95	1.14M	27.04
uvh w.o. pose cond.	30.33	32.36	204.24	0.40M	45.73
Ours (uvh w. pose cond.)	32.04	25.73	197.39	0.41M	45.45

Table 3: Ablation on various canonicalization strategies. Our approach optimizes for both quality and speed.

在复杂姿态情况下产生的歧义问题也得到了缓解。此外，正如我们在4.3节中展示的那样，引入感知损失后，模型能够捕捉到的细节水平相比A-NeRF和LISA所使用的简单逐像素损失有了大幅提升。 SMPLpix在定量指标上虽与我们的方法相近，但无法捕捉到细节，如图5所示。这是因为与我们的方法不同，SMPLpix无法考虑个人特有的几何变化，它严格依赖于粗糙的MANO几何结构。我们的方法在定量和定性评估中都显著优于网格包裹基线模型。需要注意的是，现代图形管线根据其实现方式，能够实现更高的网格渲染帧率，而我们仅对自己的方法进行了基准测试。但即便如此，这种简单的渲染方式也绝无法达到我们的方法所能实现的复杂外观效果和照片级真实感。这表明我们的模型能够在仅依靠粗糙几何初始化的基础上进一步学习改进。我们在补充文档中展示了使用合成数据集进行的额外对比结果。 #### 4.3. 消融实验我们的设计选择对于优化渲染质量和处理速度至关重要。为了评估它们的重要性，我们对各个组件进行了消融研究。首先，我们在表3中报告了不同规范化策略对指标的影响，并在图6中展示了其对视觉质量的影响。我们发现，简单的姿态条件化（“xyz”）在所有指标上的表现最差，生成的结果模糊且难以辨认。虽然逐骨骼规范化（“per-bone xyz”）能生成高质量的渲染结果，但我们的方案速度是其1.7倍，因为它无需评估多个MLP。最后，实验表明，若没有姿态条件化（“uvh w.o. pose cond.”），我们方法的性能会下降，因为姿态条件化对于捕捉与姿态相关的效果至关重要。 --- ![Image](images/f0d9cebe60f1c7c36e7762e66d2dca77f612e92ab1740090cd15ab2395a647ec.jpg)

Figure 3: Hand Reenactment. Our method can transfer the pose of a reference actor (Reference) to new identities (Identity 1-4). Note that our model captures pose-dependent changes, which is especially apparent for veins and in the knuckle region. It also captures view-dependent shading and self-shadowing effects.

![Image](images/db63469272db089f1aeba33bc1f2d3f2b3762815f0a442de5f958e8dccfccef4.jpg)

(a) Driving input

![Image](images/1b21bb81317042adf485b5737667f27ee8665db762b17b159bc5f09cc24f9106.jpg)

(b) Estimated pose

![Image](images/de60cfa6ad289fbabd13c378ba4bf3b095c0d8494c39c09b30e05528bd270e8c.jpg)

Figure 4: Demo Visualization. The real-time demo takes in a monocular RGB input (left) to estimate the MANO parameters (center). The MANO pose is then transferred to the target identity using our method (right).

		PSNR $\uparrow$	LPIPS(x1000) $\downarrow$	FID $\downarrow$	FPS $\uparrow$
w.o. mesh-guided samp.		31.25	25.95	202.40	9.07
w.o. SR	w.o. $\mathcal{L}_{perc}$	32.69	38.45	226.78	19.64
	patch $\mathcal{L}_{perc}$	30.52	31.13	197.70	19.52
	full $\mathcal{L}_{perc}$	31.61	26.63	197.35	19.37
Ours (full $\mathcal{L}_{perc}$)		32.04	25.73	197.39	45.45

Table 4: Ablation study on model components. All design choices consistently improve the accuracy and runtime.

这类效果包括自阴影和皮肤皱纹，这一点可以在图6中看到。我们通过采用分层采样方式（即“无网格引导采样”）来评估网格引导采样的影响。虽然这种方式能产生类似的渲染质量，但如表4所示，我们的方法速度要快5倍。我们还通过训练模型直接渲染全分辨率图像来评估超分辨率模块的影响（即“无SR”）。在该实验中，我们研究了三种不同设置：完全移除$\mathcal{L}_{perc}$（“无$\mathcal{L}_{perc}\{{{\prime}\}})$”；我们采用常用的补丁感知损失[^40]，即用大小为$64 \times 64$像素的随机裁剪区域来计算感知损失，对应“补丁$\mathcal{L}_{perc}${}”）；最后，我们对整幅图像使用感知损失（“完整$\mathcal{L}_{perc}${}”）。表4显示，无论哪种变体，SR模块都能使我们的方法速度提升2.4倍。尽管“无$\mathcal{L}_{perc}$”的方法取得了最高的PSNR值，但加入任何形式的$\mathcal{L}_{perc}$都能显著提升细节丰富度（见图7）。这种真实感的提升在表4中体现为更低的LPIPS和FID值，这些指标更能反映人类的偏好。此外，我们展示了通过高效公式实现的在整幅图像上应用感知损失的新方法（“完整$\mathcal{L}_{perc}${}”），该方法在定量和定性上均显著提升了渲染质量。最终，我们的完整方法（“ ours”）在渲染质量上达到更优或可比的水平，同时速度也明显更快。总体而言，显然我们的设计选择优化了渲染质量和速度，从而首次实现了文献中实时照片级的人手渲染。此外，在补充材料中，我们利用合成数据证明了该方法对MANO拟合误差的鲁棒性。我们还介绍了另一种应用： --- ![Image](images/60663d421532670e853d250addaea977af2c556c00f26a2f17397a0ad38b615e.jpg)

Figure 5: Comparison to SoTA on unseen hand poses. A-NeRF and Mesh wrapping produce artifacts while SMPLpix and LISA do not capture high-frequency details. Our method outperforms these approaches and captures high-frequency details.

![Image](images/eccff4f03b1b5d756770e9075cbb2c1cdc7cf07e0cf697192e37095737ebd84f.jpg)

Figure 6: Canonicalization Ablation. Global xyz coordinates with naive conditioning fails to generalize to novel poses. Our proposed uvh canonicalization achieves similar visual results to per-bone xyz canonicalization while being much faster. Note that hand pose conditioning is vital for capturing pose-dependent effects such as self-shadowing (see red and green regions).

--- ![Image](images/cf1853cf0602e90be8516a4e956a62b3f720b6b17f04859916a943802e2c5a18.jpg)

Figure 7: Model Ablation. Left to right: without the mesh-guided sampling, the visual quality is good but the inference is slow (see Tab. 4); without any perceptual loss, the reconstructions lack details; with patch-based perceptual loss, subtle artifacts appear in the details (as highlighted in red); with full-image perceptual loss, these details are captured correctly (as highlighted in yellow); finally, by using a super-resolution module, the rendering speed is further improved without compromising the details (as highlighted in green).

即在推理阶段即可编辑手部几何形状，无需对模型进行额外训练。 ### 5. 讨论 #### 5.1. 局限性与未来工作虽然我们的工作是人手全数字化的重要里程碑，但未来仍有多个研究方向。由于我们的方法依赖于MANO网格，未来的工作可以着眼于提升此类网格的质量，包括优化其几何结构，或许可以采用端到端的方式实现。另一个更具战略性的方向是学习一个具有照片级真实感、可泛化的隐式3D可变形人手模型，这将让我们能够全面获取手部的语义信息。虽然我们的方法能够模拟依赖手姿的光照效果，但无法模拟除训练集拍摄场景之外的任意随机光照条件下的阴影。我们将这一建模工作留待未来研究。我们希望我们的工作能推动针对人手照片级渲染这一重要问题的研究。 #### 5.2. 社会影响除了广泛的应用前景外，人体建模也带来了颇具挑战性的社会问题。个人的数字虚拟形象有可能被恶意使用者滥用。尽管检测真实图像与伪造图像并非不可能，但更具战略性的做法是给生成模型添加水印，这样就能将生成的图像始终追溯到其生成的模型。这是当前的研究热点，我们希望学界能在人体建模工作中采纳这一做法。 ### 6. 结论我们提出了首个能够以实时、照片级真实感渲染人手图像的神经隐式方法。该方法经过精心设计，旨在优化渲染质量和速度。其核心是一个低分辨率的NeRF渲染模块以及一个能生成三维一致结果的超分辨率模块。研究表明，在整幅图像空间应用感知损失对于生成精细细节至关重要。我们还利用MANO手部网格来指导三维空间中的点采样过程，从而进一步提升渲染速度。实验结果表明，我们的方法能够生成多种多样的手部姿态、高频纹理细节以及随姿态变化的效果。与相关方法相比，我们的方法明显优于基线模型。此外，我们还能在保持纹理不变的情况下编辑手部几何形状。未来的工作可以探索学习一种通用的、可生成照片级真实感的人手隐式三维形变模型。 ## 致谢我们感谢Ashwath Shetty、Yiming Wang、Oleksandr Sotnychenko和Basavaraj Sunagad的帮助。同时感谢MPII IST部门的技术支持，以及Jaakko Lehtinen的有益讨论。本研究得到了ERC Consolidator Grant 4DRepLy（项目编号770784）的资助。 --- ## 参考文献 [^1]: Thiemo Alldieck, Hongyi Xu, and Cristian Sminchisescu. Imghum: Implicit generative models of 3d human shape and articulated pose. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 5461–5470, 2021. 2 [^2]: Timur Bagautdinov, Chenglei Wu, Tomas Simon, Fabián Prada, Takaaki Shiratori, Shih-En Wei, Weipeng Xu, Yaser Sheikh, and Jason Saragih. Driving-signal aware full-body avatars. ACM Trans. Graph., 40(4), jul 2021. 3 [^3]: Bharat Lal Bhatnagar, Cristian Sminchisescu, Christian Theobalt, and Gerard Pons-Moll. Combining implicit function learning and parametric models for 3d human reconstruction. In European Conference on Computer Vision (ECCV). Springer, August 2020. 3 [^4]: Chen Cao, Tomas Simon, Jin Kyu Kim, Gabe Schwartz, Michael Zollhoefer, Shun-Suke Saito, Stephen Lombardi, Shih-En Wei, Danielle Belko, Shoou-I Yu, Yaser Sheikh, and Jason Saragih. Authentic volumetric avatars from a phone scan. ACM Trans. Graph., 41(4), jul 2022. 3 [^5]: Eric R. Chan, Connor Z. Lin, Matthew A. Chan, Koki Nagano, Boxiao Pan, Shalini De Mello, Orazio Gallo, Leonidas Guibas, Jonathan Tremblay, Sameh Khamis, Tero Karras, and Gordon Wetzstein. Efficient geometry-aware 3D generative adversarial networks. In CVPR, 2022. 5 [^6]: Enric Corona, Tomas Hodan, Minh Vo, Francesc Moreno-Noguer, Chris Sweeney, Richard Newcombe, and Lingni Ma. Lisa: Learning implicit shape and appearance of hands. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 20533–20543, 2022. 2, 3, 4, 6 [^7]: Xuan Gao, Chenglai Zhong, Jun Xiang, Yang Hong, Yudong Guo, and Juyong Zhang. Reconstructing personalized semantic facial nerf models from monocular video. ACM Transactions on Graphics (Proceedings of SIGGRAPH Asia), 41(6), 2022. 3 [^8]: Philip-William Grassal, Malte Prinzler, Titus Leistner, Carsten Rother, Matthias Nießner, and Justus Thies. Neural head avatars from monocular rgb videos. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 18653–18664, 2022. 3 [^9]: Marc Habermann, Lingjie Liu, Weipeng Xu, Gerard Pons-Moll, Michael Zollhoefer, and Christian Theobalt. Hdhumans: A hybrid approach for high-fidelity digital humans. In SCA '23: SIGGRAPH/Eurographics Symposium on Computer Animation, 2023. 2, 3, 5 [^10]: Marc Habermann, Lingjie Liu, Weipeng Xu, Michael Zollhoefer, Gerard Pons-Moll, and Christian Theobalt. Real-time deep dynamic characters. ACM Transactions on Graphics, 40(4), Aug 2021. 2, 3 [^11]: Tao Hu, Tao Yu, Zerong Zheng, He Zhang, Yebin Liu, and Matthias Zwicker. Hvtr: Hybrid volumetric-textural rendering for human avatars. arXiv preprint arXiv:2112.10203, 2021. 3 [^12]: Boyi Jiang, Yang Hong, Hujun Bao, and Juyong Zhang. Self-frecon: Self reconstruction your digital avatar from monocu- 相关视频发表于2022年IEEE/CVF计算机视觉与模式识别会议（CVPR）。3 [^13]: Korrawe Karunratanakul, Adrian Spurr, Zicong Fan, Otmar Hilliges, and Siyu Tang. A skeleton-driven neural occupancy representation for articulated hands. In International Conference on 3D Vision (3DV), 2021. 2 [^14]: Korrawe Karunratanakul, Jinlong Yang, Yan Zhang, Michael Black, Krikamol Muandet, and Siyu Tang. Grasping field: Learning implicit representations for human grasps. In 2020 International Conference on 3D Vision (3DV 2020), pages 333–344, Piscataway, NJ, Nov. 2020. IEEE. 2 [^15]: Tianye Li, Timo Bolkart, Michael. J. Black, Hao Li, and Javier Romero. Learning a model of facial shape and expression from 4D scans. ACM Transactions on Graphics, (Proc. SIGGRAPH Asia), 36(6):194:1–194:17, 2017. 2 [^16]: Yuwei Li, Minye Wu, Yuyao Zhang, Lan Xu, and Jingyi Yu. Piano: A parametric hand bone model from magnetic resonance imaging. In Proceedings of the Thirtieth International Joint Conference on Artificial Intelligence, IJCAI-21, pages 816–822, 8 2021. 2 [^17]: Yuwei Li, Longwen Zhang, Zesong Qiu, Yingwenqi Jiang, Nianyi Li, Yuexin Ma, Yuyao Zhang, Lan Xu, and Jingyi Yu. Nimble: a non-rigid hand model with bones and muscles. ACM Transactions on Graphics (TOG), 41(4):1–16, 2022. 2 [^18]: Lingjie Liu, Marc Habermann, Viktor Rudnev, Kripasindhu Sarkar, Jiatao Gu, and Christian Theobalt. Neural actor: Neural free-view synthesis of human actors with pose control. ACM Trans. Graph. (ACM SIGGRAPH Asia), 2021. 2, 3, 4 [^19]: Stephen Lombardi, Tomas Simon, Jason Saragih, Gabriel Schwartz, Andreas Lehmann, and Yaser Sheikh. Neural volumes: Learning dynamic renderable volumes from images. ACM Trans. Graph., 38(4):65:1–65:14, July 2019. 5 [^20]: Stephen Lombardi, Tomas Simon, Gabriel Schwartz, Michael Zollhoefer, Yaser Sheikh, and Jason Saragih. Mixture of volumetric primitives for efficient neural rendering. ACM Trans. Graph., 40(4), jul 2021. 3 [^21]: Haimin Luo, Teng Xu, Yuheng Jiang, Chenglin Zhou, Qiwei Qiu, Yingliang Zhang, Wei Yang, Lan Xu, and Jingyi Yu. Artemis: Articulated neural pets with appearance and motion synthesis. ACM Trans. Graph., 41(4), jul 2022. 3 [^22]: S. Ma, T. Simon, J. Saragih, D. Wang, Y. Li, F. La Torre, and Y. Sheikh. Pixel codec avatars. In 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 64–73, jun 2021. 3 [^23]: Ben Mildenhall, Pratul P. Srinivasan, Matthew Tancik, Jonathan T. Barron, Ravi Ramamoorthi, and Ren Ng. Nerf: Representing scenes as neural radiance fields for view synthesis. In ECCV, 2020. 2, 3, 4, 5 [^24]: Gyeongsik Moon, Takaaki Shiratori, and Kyoung Mu Lee. Deephandmesh: A weakly-supervised deep encoder-decoder framework for high-fidelity hand mesh modeling. In European Conference on Computer Vision, pages 440–455. Springer, 2020. 2 ## [^25]: Gyeongsik Moon, Shoou-I Yu, He Wen, Takaaki Shiratori, and Kyoung Mu Lee. Interhand2.6m: A dataset and baseline for 3d interacting hand pose estimation from a single rgb im- --- 相关文章发表于2020年欧洲计算机视觉会议（ECCV）。6 [^26]: Atsuhiro Noguchi, Xiao Sun, Stephen Lin, and Tatsuya Harada. Neural articulated radiance field. In International Conference on Computer Vision, 2021. 2, 3 [^27]: Georgios Pavlakos, Vasileios Choutas, Nima Ghorbani, Timo Bolkart, Ahmed A. A. Osman, Dimitrios Tzionas, and Michael J. Black. Expressive body capture: 3D hands, face, and body from a single image. In Proceedings IEEE Conf. on Computer Vision and Pattern Recognition (CVPR), pages 10975–10985, 2019. 2 [^28]: Sida Peng, Junting Dong, Qianqian Wang, Shangzhan Zhang, Qing Shuai, Xiaowei Zhou, and Hujun Bao. Animatable neural radiance fields for modeling dynamic human bodies. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 14314–14323, 2021. 2, 3 [^29]: Sida Peng, Shangzhan Zhang, Zhen Xu, Chen Geng, Boyi Jiang, Hujun Bao, and Xiaowei Zhou. Animatable neural implicit surfaces for creating avatars from videos. arXiv preprint arXiv:2203.08133, 2022. 3 [^30]: Sida Peng, Yuanqing Zhang, Yinghao Xu, Qianqian Wang, Qing Shuai, Hujun Bao, and Xiaowei Zhou. Neural body: Implicit neural representations with structured latent codes for novel view synthesis of dynamic humans. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 9054–9063, 2021. 2, 3 [^31]: Sergey Prokudin, Michael J Black, and Javier Romero. Smplpix: Neural avatars from 3d human models. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, pages 1810–1819, 2021. 3, 6 [^32]: Neng Qian, Jiayi Wang, Franziska Mueller, Florian Bernard, Vladislav Golyanik, and Christian Theobalt. HTML: A parametric hand texture model for 3D hand reconstruction and personalization. In European Conference on Computer Vision, (ECCV), pages 54–71. Springer, 2020. 2 [^33]: Amit Raj, Julian Tanke, James Hays, Minh Vo, Carsten Stoll, and Christoph Lassner. Anr: Articulated neural rendering for virtual avatars. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 3722–3731, June 2021. 3 [^34]: Edoardo Remelli, Timur Bagautdinov, Shunsuke Saito, Chenglei Wu, Tomas Simon, Shih-En Wei, Kaiwen Guo, Zhe Cao, Fabian Prada, Jason Saragih, and Yaser Sheikh. Drivable volumetric avatars using texel-aligned features. In ACM SIGGRAPH 2022 Conference Proceedings, SIGGRAPH '22, New York, NY, USA, 2022. Association for Computing Machinery. 3 [^35]: Javier Romero, Dimitrios Tzionas, and Michael J. Black. Embodied hands: Modeling and capturing hands and bodies together. ACM Transactions on Graphics, (Proc. SIGGRAPH Asia), 36(6):245:1–245:17, Nov. 2017. 2, 3 [^36]: Ruizhi Shao, Liliang Chen, Zerong Zheng, Hongwen Zhang, Yuxiang Zhang, Han Huang, Yandong Guo, and Yebin Liu. Floren：利用稀疏RGB相机通过外观流实现实时高质量人体动作渲染。该文发表于2022年SIGGRAPH Asia会议论文集。3 [^37]: Karen Simonyan and Andrew Zisserman. Very deep convolutional networks for large-scale image recognition. arXiv preprint arXiv:1409.1556, 2014. 5 [^38]: Shih-Yang Su, Frank Yu, Michael Zollhöfer, and Helge Rhodin. A-nerf: Articulated neural radiance fields for learning human shape, appearance, and pose. Advances in Neural Information Processing Systems, 34:12278–12291, 2021. 2, 3, 6 [^39]: Xin Suo, Yuheng Jiang, Pei Lin, Yingliang Zhang, Minye Wu, Kaiwen Guo, and Lan Xu. Neuralhumanfv: Real-time neural volumetric human performance rendering using RGB cameras. In 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 6222–6233, 2021. 3 [^40]: Chung-Yi Weng, Brian Curless, Pratul P. Srinivasan, Jonathan T. Barron, and Ira Kemelmacher-Shlizerman. HumanNeRF: Free-viewpoint rendering of moving people from monocular video. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 16210–16220, June 2022. 5, 7 [^41]: Feng Xu, Yebin Liu, Carsten Stoll, James Tompkin, Gaurav Bharaj, Qionghai Dai, Hans-Peter Seidel, Jan Kautz, and Christian Theobalt. Video-based characters – creating new human performances from a multi-view video database. ACM Transactions on Graphics, 30:32, 07 2011. 3 [^42]: Gengshan Yang, Minh Vo, Natalia Neverova, Deva Ramanan, Andrea Vedaldi, and Hanbyul Joo. Banmo: Building animatable 3d neural models from many casual videos. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 2863–2873, 2022. 2, 3 [^43]: Richard Zhang, Phillip Isola, Alexei A. Efros, Eli Shechtman, and Oliver Wang. The unreasonable effectiveness of deep features as a perceptual metric. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 2018. 5 [^44]: Yufeng Zheng, Victoria Fernández Abrevaya, Marcel C. Bühler, Xu Chen, Michael J. Black, and Otmar Hilliges. I M avatar: Implicit morphable head avatars from videos. In IEEE/CVF Conf. on Computer Vision and Pattern Recognition (CVPR), pages 13545–13555, June 2022. 3 [^45]: Yuxiao Zhou, Marc Habermann, Weipeng Xu, Ikhsanul Habibie, Christian Theobalt, and Feng Xu. Monocular real-time hand shape and motion capture using multi-modal data. In IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), June 2020. 6