# SRHand：基于视角/姿态感知的神经图像表示与显式3D网格的手部图像与3D形状超分辨率重建

金敏宰 金泰均

韩国科学技术院计算机学院

{minjekim, kimtaekyun}@kaist.ac.kr

## 摘要

重建精细的手部虚拟形象在各类应用中发挥着至关重要的作用。尽管以往的研究侧重于捕捉高保真的手部几何结构，但它们严重依赖高分辨率的多视角图像输入，且难以在低分辨率图像上实现泛化。虽然已有多视角图像超分辨率方法被提出以强制保证3D视图的一致性，但这类方法仅适用于分辨率固定的静态物体/场景，无法应用于具有复杂形变特性的手部。在本文中，我们提出了SRHand（手部超分辨率方法），该方法能够从低分辨率图像中重建出精细的3D几何结构以及带纹理的手部图像。SRHand充分利用了隐式图像表示与显式手部网格的优势：具体而言，我们引入了几何感知型隐式图像函数（GIIF），该函数通过对粗糙的输入图像进行上采样来学习精细的手部先验知识。通过联合优化隐式图像函数与显式3D手部形状，我们的方法能够保持上采样后手部图像的多视角与姿态一致性，进而实现包含皱纹、指甲等细节的精细3D重建。在使用InterHand2.6M和Goliath数据集进行的实验中，无论是在定量还是定性评估中，我们的方法都显著优于适配手部数据集的最先进图像上采样方法以及3D手部重建方法。项目页面：<https://yunminjin2.github.io/projects/srhand>。

![Image](images/6de2612a61d716a9a4e52af844d71f674ce281d24e3521dfcd0b0b648f47bc54.jpg)

![Image](images/15a82a7e0f9ff5cc02730f5957ac536ae57b56655724132c6fb1b1f49e2ab40d.jpg)

<div style="text-align: center;">Figure 1: From low-resolution multi-view RGB images, SRHand reconstructs highly detailed animatable hand avatars by super-resolving both images and 3D geometry.</div>

## 1 引言

在虚拟现实（VR）和增强现实（AR）环境中，人类虚拟形象对于沉浸式人机交互而言起着至关重要的作用。为了提供逼真的用户体验，必须以高保真度重建人体的完整形态，包括几何结构与外观[^1] [^14] [^22]。其中，

---

手部因其精细的几何结构、频繁的遮挡现象以及复杂的关节活动特性而极具挑战性。在典型的全身捕捉系统中，手部仅占捕获图像的不到1.5%，因此从低分辨率（LR）区域重建高保真的手部图像是一项极具难度的任务，如图1所示。在多视角场景下，由于人体姿态和摄像机位置的不同，捕获到的手部区域分辨率也会随之变化，这使得重建问题变得更加棘手。

尽管已有诸多针对手部领域的研究[^10] [^39] [^28] [^27]，但打造表现力丰富的手部虚拟形象仍是实现逼真人体呈现的重要任务。S2Hand [^7]和AMVUR [^18]是基于MANO模型进行重建的，但由于其手部网格分辨率较低，会导致纹理模糊。为解决这一问题，人们通过提高网格顶点分辨率来获得更清晰的纹理和更精确的几何结构。MANO-HD [^5]、HARP [^20]、UHM [^39]以及XHand [^10]通过表面细分技术改进了手部模型，从而能够捕捉到精细的几何细节。然而，这些方法严重依赖于来自不同视角的高分辨率输入图像。如图1所示，低分辨率图像会导致3D重建过程中大量细节丢失。

据我们所知，提高手部图像的低分辨率并未成为主流研究方向。相比之下，通用图像的超分辨率（SR）已被广泛研究[^49] [^48] [^11] [^23]，其目标是从低分辨率输入中恢复高频细节。然而，当这些方法应用于单张图像时，会产生幻觉纹理和多视角不一致的问题，而这些方法原本是为多视角3D重建设计的。已有一些研究[^26] [^47] [^57] [^55] [^9]尝试利用NeRF[^36]和GS[^21]从低分辨率多视角图像中进行超分辨率处理，以强制保证3D视角一致性，但这类方法仅适用于静态物体，且超分辨率缩放比例固定，无法顾及3D形状，更无法应用于手部这类动态关节目标。帧与帧之间手部姿态的变化使得这一问题更加棘手。

为解决这些局限，我们提出了SRHand——一种全新的框架，能够从分辨率受限的多视角/多姿态图像中，对2D图像和3D形状中的手部虚拟形象进行超分辨率重建。我们将图像超分辨率模块与3D手部重建模块紧密集成，以实现高保真的虚拟形象建模。考虑到采集到的手部区域分辨率存在差异，我们提出了几何感知隐式图像函数（GIIF），它能在以表面法线为条件的前提下，将手部图像超分辨率重建到任意尺度。借助基于显式网格重建的几何结构化表示，我们对超分辨率模块进行优化，确保其在不同视角和姿态的图像中保持一致。这种联合建模方式消除了模糊、轮廓过度膨胀以及闪烁等伪影，同时能在不同姿态和视角下保持准确的3D结构。我们在真实数据集上对SRHand进行了验证，结果表明，与适配手部图像的现有超分辨率方法以及3D手部重建基线相比，SRHand在外观和几何质量上均有显著提升。该框架即便输入低分辨率图像，也能重建出带有皱纹、指甲以及细微形状变化的手部虚拟形象，这对于逼真的交互式VR/AR应用而言至关重要。

综上所述，我们的主要贡献如下：

- 我们提出了SRHand，这是一种全新的框架，通过整合隐式图像表示与来自低分辨率图像的显式3D网格，实现对2D图像和3D形状的超分辨率重建。

- 我们提出了几何感知隐式图像函数（GIIF），该函数以模板模型的法线图为条件来约束隐式神经表示，同时利用对抗学习来提升纹理保真度。

- 我们对手部超分辨率模块与3D重建过程进行联合微调，以强制保证多视角/多姿态下的一致性。

## 2 相关工作

3D虚拟形象重建。人类虚拟形象的重建已通过多种表示方法得到了广泛研究，包括神经辐射场（NeRF）[^36] [^17] [^53] [^5]、高斯泼溅（GS）[^25] [^16] [^38] [^44]等隐式场，以及显式网格[^56] [^50] [^52] [^18] [^24] [^39] [^8]。虽然NeRF和GS方法在生成照片级真实感渲染方面表现优异，但它们通常需要密集的视角数据，且难以准确表征几何结构。相比之下，基于网格的方法能显式表示几何结构，但要实现最佳表示效果，高度依赖3D分辨率。

以往的研究通过显式的基于网格的方法，实现了表现力丰富的手部[^3] [^20] [^24] [^39] [^8] [^10]虚拟形象。具体而言，已有多项研究[^20] [^24] [^39] [^8] [^43] [^3]提出利用UV纹理贴图渲染来呈现手部外观。UV纹理渲染即便在顶点分辨率较低的情况下也能提供更高的纹理细节。

---

I2UV-HandNet [^3]专注于从单张图像中重建高分辨率的无纹理UV贴图手部网格。然而，这些方法在呈现精细的3D几何细节方面仍有不足。相比之下，基于顶点颜色的表示方法已在[^7] [^18] [^10]中被研究过。由于受固定分辨率的限制，S2Hand [^7]和AMVUR [^18]会因手部网格（仅778个顶点）分辨率低而产生模糊纹理。学界已探索了多种手部网格上采样方法：OHTA [^62]利用来自HandAvatar [^5]的MANO-HD模型（12,337个顶点），URHand [^8]则依赖UHM [^39]中提出的网格模型（15,930个顶点）。继XHand [^10]之后，我们的网格表示包含超过49,000个顶点和98,000个面，能够捕捉精细的几何细节。通过这种方式，我们的网格表示在性能上缩小了与基于UV的纹理渲染方法之间的差距，同时在几何细节呈现方面更胜一筹。不过，XHand在捕捉手部网格上的精细几何形状方面仍有所欠缺，因为它没有区分视觉外观是由纹理颜色还是几何形状导致的。我们的网格表示通过学习几何外观和纹理颜色外观，能更好地建模更细微的细节。上述所有方法都对输入图像分辨率极为敏感：低分辨率图像会导致纹理保真度下降、精细几何细节丢失，进而限制整体性能。

图像超分辨率技术。通用图像超分辨率技术已被广泛研究。由于超分辨率属于生成式方法，低分辨率图像可生成多种可能的超分辨率结果。尽管已有诸多相关研究[^49] [^48] [^11] [^23] [^2]，但我们采用了隐式神经表示方法，因为这类方法能自适应3D表面，且可根据需要控制图像分辨率，同时生成合理的结果。局部隐式图像函数（LIIF）[^6]是二维空间中最具代表性的成果，它提出在连续空间中表示图像，从而能生成任意分辨率的图像。这种方法在放大到任意倍数（如×4、×12.8）时无需重新训练，为各类超分辨率任务提供了统一的解决方案。在隐式图像函数的基础上，LIIF-GAN [^19]引入了对抗学习机制，以生成更锐利的纹理和更逼真的细节。我们利用源自MANO [^45]模板的法线贴图来提升手部神经表示的保真度，同时通过对抗学习保留逼真的纹理和精细细节。

多视角超分辨率与3D一致性。以往的研究[^31] [^33] [^34] [^55] [^32] [^54] [^58] [^4] [^46]提出利用基于去噪扩散模型的2D图像先验[^15]，从单视角或多视角图像中重建3D物体。尤其是在[^55] [^58] [^32]这类多视角一致性问题中，会借助从3D空间获得的置信度来解决。近期的研究[^26] [^55] [^57] [^9]尝试将图像超分辨率技术与NeRF结合，以实现3D视角一致性。DiSR-NeRF[^26]利用预训练的扩散模型来重建低分辨率NeRF（LR NeRF）优化过程中缺失的细节。DiSR-NeRF依赖于提示词引导，否则重建出的细节会与真实情况偏离。Yoon等人[^55]通过聚合来自超分辨率模块、NeRF表示以及NeRF的不确定性估计的特征来优化超分辨率图像。尽管该方法效果显著，但它依赖多个预训练组件，这限制了其适应性。SuperNeRF[^57]通过搜索ESRGAN[^49]的潜在空间来获取与LR NeRF一致性高的高频细节，从而实现视角一致性。然而，在LR域中强制实现多视角一致性并不能保证所获得的高频细节在不同视角下保持一致。SRGS[^9]采用高斯泼溅（GS）[^21]方法，该方法在渲染静态场景时效果显著。不过，众所周知GS在静态场景中拟合效果较好，可能会丢失几何细节。

上述研究试图在静态场景的超分辨率图像之间保持多视角一致性。但这些方法均未有效解决动态、可变形物体的一致性保持问题，即姿态与视角一致性问题。它们主要用于渲染新视角图像，无法充分利用3D形状信息。此外，为重建可动画化虚拟形象所需的图像数量大幅增加，从而带来了更高的计算成本和复杂性。我们的方法通过微调超分辨率模块，在增强图像和3D形状中细微细节保真度的同时，强制实现多视角与姿态一致性，从而使该方法适用于动态手部虚拟形象。

## 3 方法

我们提出了SRHand，一种用于重建2D和3D表示下的精细手部虚拟形象的方法。图2展示了SRHand的整体框架。第3.1节将介绍作为

---

![Image](images/3acbcaf37902d2efddace805091bca3189b66400039dffb3a92f808aaa29f9ea.jpg)

<div style="text-align: center;">Figure 2: (a) Given LR images, we reconstruct high-resolution images using GIIF. Using these images, we reconstruct detailed 3D shapes while jointly optimizing the GIIF through adaptive fine-tuning from 3D shapes. (b) shows the architecture of GIIF. (c) represents the adaptive fine-tuning process.</div>

几何感知隐式图像函数的超分辨率模块，第3.2节描述显式手部表示的学习过程，第3.3节则详细说明通过自适应微调超分辨率模块来实现3D形状学习的具体内容。

### 3.1 学习隐式图像函数

 preliminaries. 隐式图像函数将图像解释为基于坐标的神经网络函数，从而实现与分辨率无关的推理[^6]。该函数利用像素坐标x和单元格形状特征c对编码特征进行采样，以确定整体形状单元格的查询位置。隐式函数的公式如下：

 $$ LIIF(I_{lr})=f_{\theta}(z,[x,c]),where z=E_{\varphi}(I_{lr}) $$

其中$E_{\varphi}$代表以$\varphi$为参数的低分辨率图像编码器，$c = [c_h, c_w]$包含两个值，分别指定了查询像素的高度和宽度。

几何感知隐式图像函数。如图2左下角所示，针对手部图像超分辨率问题，我们提出了一种几何感知隐式图像函数（GIIF）。该函数利用表面法向引导，通过连续图像表示来恢复高频纹理细节。受SuperNeRF-GAN [^61]的启发——该模型通过整合几何先验来增强超分辨率效果——GIIF采用了源自MANO [^45]模板手模型的法向图。这些法向图为手部关节运动提供了结构先验，从而能够稳健地重建精细的几何细节。随后，将法向嵌入特征与低分辨率图像特征进行拼接，这些特征通过以$\theta$为参数的线性层进行表示，并与像素坐标一起被查询。

给定一张低分辨率手部图像$I_{lr}$，GIIF G利用残差密集网络（RDN）编码器$\mathcal{E}_{\varphi}$（由$\varphi$参数化）[^60]来提取分层特征。与此同时，从MANO [^45]中提取的法向图N会通过堆叠式沙漏编码器$\mathcal{E}_{\psi}$（由$\psi$参数化）[^42]进行编码，这种编码器在多尺度特征提取方面效果显著。融合特征$\mathbf{f}_{fused}$是通过以下方式获得的：

 $$ \mathbf{f}_{f u s e d}=\mathcal{E}_{\varphi}(I_{l r}).\oplus\mathcal{E}_{\psi}(N) $$

其中$\oplus$表示通道级拼接。参照LIIF [^6]的做法，连续坐标查询x通过线性层$\mathcal{F}_\theta$映射为RGB值（由$\theta$参数化）：

 $$ I_{s r}=G\big(I_{l r},N\big)=\mathcal{F}_{\theta}\left(\mathbf{f}_{f u s e d},[x,c]\right) $$

为了提升照片级真实感和细节清晰度，我们采用了对抗性训练损失$\mathcal{L}_{GAN}$以及判别器D。GIIF的训练损失函数如下：

 $$ \mathcal{L}_{t o t a l}=\lambda_{1}\mathcal{L}_{1}+\lambda_{L P I P S}\mathcal{L}_{L P I P S}+\lambda_{G A N}\mathcal{L}_{G A N} $$

---

### 3.2 学习精细的显式形状

前期工作。XHand [^10]已能根据二维高分辨率图像重建富有表现力的手部虚拟形象。XHand将MANO [^45]网格（$\mathcal{M}$）细分3次，记为$\mathcal{M}'$，从而提高了网格的分辨率。这种方法使得显式形状能够捕捉更精细的几何形状。借助细分后的手部网格，XHand优化线性混合蒙皮（LBS）权重W和偏移量D，以计算顶点位移，并从给定的输入手部关节J出发，通过特征嵌入模块$\rho$得到反照率颜色$\Phi_{\{W,D,\rho\}}$。XHand的公式表达如下：

 $$ \hat{I}_{\pi^{i}}=R(\pi^{i}|\mathcal{M},J)=\Phi_{\rho}(J)\cdot S H(Y,\mathcal{N}^{\prime}),\mathrm{w h e r e}\;\mathcal{M}=\Omega(\bar{\mathcal{M}}^{\prime}+\Phi_{D}(J),\Phi_{W}(J),\theta,\beta) $$

其中$\theta$和$\beta$分别表示模板网格$\Omega$的姿态参数和形状参数。$\pi^{i}$是第i个视角的相机参数，$\rho$表示反照率，SH表示以Y为系数的球面谐波函数，而$\mathcal{N}^{\prime}$则是从姿态网格$\mathcal{M}$渲染出的法向。

增强显式形状上的几何细节。我们采用高分辨率网格表示，以实现对手部表面的精细几何建模。我们的偏移特征嵌入模块$\Phi_{\rho}$会结合预测的颜色，从而将几何变形与纹理驱动的外观分离开来。为此，我们在训练损失函数中加入了平均纹理损失函数。获取平均纹理可以消除由纹理颜色引起的外观影响，从而促使模型学习几何外观。我们的三维表示公式如下：

 $$ \mathcal{M}_{f i n e}=\Omega(\bar{\mathcal{M}}^{\prime}+\Phi_{D}(J,\Phi_{\rho}(J)),\Phi_{W}(J),\theta,\beta) $$

### 3.3 整体流程

如图2所示，我们首先训练GIF模型，使其通过多样化的手部样本学习手部的隐式图像先验。训练完成后，GIF能从细节较少的图像中生成细节丰富的图像。然而，与以往的研究类似[^54] [^57] [^55] [^26]，GIF本身无法保证三维一致性。为了保留三维一致性，我们提出用三维重建模型对超分辨率模型进行微调。

自适应微调。Guo等人[^12]从数学角度分析了利用引导式自生成图像对生成式扩散模型进行微调以实现全局最优解的过程。我们采用由GIIF自身生成的图像训练得到的三维形状，对GIIF进行自适应微调。由于三维重建模型继承了多视角/姿态多样性下的一致性，因此可以通过迭代微调来进一步优化。

```pseudo
// Algorithm 1: Psuedocode of SRHand fine-tuning.

Require: Dataset of $I_{lr}$, J and N, pre-trained GIIF $G_{\psi,\varphi,\theta}$ and discriminator D, 3D reconstruction networks $\Phi$ involving subdivided template mesh $\mathcal{M}'$, T total epochs, $T_{fine}$ total fine-tuning epochs, $t_{fine}$ interval steps for fine-tuning

Ensure: Personalized $\Phi_{W,D,\rho}$ and G

1: $I_{sr}^{0} \leftarrow G(I_{lr}, N)$ $\triangleright$ Initially upscale $I_{lr}$ images
2: for $t = 0$ to $T - 1$ do
3: $\{\hat{I}^{t}, \mathcal{M}_{fine}^{t}\} \leftarrow \Phi_{W,D,\rho}(J)$
4: Compute $\mathcal{L}_{3D}(\hat{I}^{t}, \mathcal{M}_{fine}^{t}, I_{sr}^{t})$ (Eq. 7)
5: Gradient step to update $\Phi_{W,D,\rho}$
6: if $t \bmod t_{fine} = 0$ then $\triangleright$ Fine-tuning stage
7: for $i = 0$ to $T_{fine} - 1$ do
8: $I_{sr}^{i} \leftarrow L(I_{lr})$
9: Compute $\mathcal{L}_{aft}(I_{sr}^{i}, I_{sr}^{0}, \hat{I}^{t}, \mathcal{M}_{fine}^{t})$ (Eq. 10)
10: Gradient step to update $L_{\theta}$
11: end for
12: $I_{sr}^{t+1} \leftarrow L(I_{lr})$ $\triangleright$ Update the SR image
13: else
14: $I_{sr}^{t+1} \leftarrow I_{sr}^{t}$ $\triangleright$ If not, maintain $I_{sr}^{t}$
15: end if
16: end for

```

GIIF会将自身分布调整到保持一致性的空间。我们在算法1中展示了SRHand微调的伪代码，损失函数在3.4.2节中进行了介绍。

### 3.4 训练目标

#### 3.4.1 三维几何损失

用于学习三维几何的损失函数包括光度损失$\mathcal{L}_{rgb}$，它通过逆渲染来最小化渲染误差；以及用于手部几何的回归损失$\mathcal{L}_{reg}$。$\mathcal{L}_{rgb}$由渲染图像$\hat{I}$与超分辨率图像$I_{sr}$之间的L1损失和感知损失组成。$\mathcal{L}_{reg}$则包含基于局部区域的拉普拉斯平滑项。

---

平滑项$\mathcal{L}_{pLap}$和边缘回归损失$\mathcal{L}_{edge}$在[^10]中被使用。$\mathcal{L}_{pLap}$是对反照率$\sum_{i}\phi_{pLap}\mathbf{A}$和位移D同时应用的$\rho$，其中$\phi_{lap}$是部件级权重，$\mathbf{A}$是拉普拉斯矩阵。$\mathcal{L}_{edge}$是$\sum_{i,j}\|\hat{e}_{ij}-e_{ij}\|_{2}^{2}$，这里$e_{ij}$是指细化网格$V_{i}$中相邻顶点$V_{j}$与$\mathcal{M}_{fine}$之间的欧几里得长度，而$\hat{e}_{ij}$则是初始细分网格$\bar{\mathcal{M}}$中对应的边长。

平均纹理损失与总损失。为了增强几何外观的细节，我们采用平均纹理损失函数$\mathcal{L}_{mt}$，利用感知损失来捕捉细微细节。$\mathcal{L}_{3D}$的定义如下：

 $$ \mathcal{L}_{3D}=\mathcal{L}_{r g b}+\mathcal{L}_{r e g}+\lambda_{m t}\underbrace{\mathcal{L}_{L P I P S}(R(\pi|\bar{\Phi}_{\rho}^{t}),I_{s r}^{t})}_{\mathcal{L}_{m t}} $$

其中$\bar{\Phi}_{\rho}^{t}$表示反照率颜色的平均纹理。

#### 3.4.2 自适应微调损失

我们的自适应微调损失函数由三部分组成：一致性损失$\mathcal{L}_{cons}$、频率保持损失$\mathcal{L}_{wave}$以及判别器损失$\mathcal{L}_{disc}$。

一致性损失。一致性损失旨在最小化多视角和多姿态图像$Q \in \mathbb{R}^{N \times 3}$中顶点查询$I_{sr}$的变化。我们首先计算序列t下各多视角图像中给定查询的均值$\mu_t$和方差$\rho_t$。计算出所有Q的$\mu_t, \rho_t$后，我们便得到了不确定性图$U^t(Q)$。姿态一致性体现为$\mu_t$与前一步结果$\mu_{t-1}$的差值，而多视角一致性则由$\rho_t$的方差来表示。以$U^t(Q)$作为$(\mu_t - \mu_{t-1}) + \rho_v$，我们将一致性损失$\mathcal{L}_{cons}$定义为：

 $$ \mathcal{L}_{c o n s}=\mathcal{L}_{1}(\left(R(\mathcal{M}_{f i n e})\cdot U^{t}(Q),I_{s r}\cdot U^{t}(Q)\right) $$

频率保持损失。应用$\mathcal{L}_{cons}$会导致平均纹理值丢失高频细节。为了保留全部高频细节，我们采用$\mathcal{L}_{wave}$，其定义如下：

 $$ \mathcal{L}_{w a v e}=\mathcal{L}_{1}(\tilde{\phi}(I_{s r}^{t}),\tilde{\phi}(I_{s r}^{0})))+\mathcal{L}_{1}(\sum\widehat{\phi}(I_{s r}^{t}),\sum\widehat{\phi}(I_{s r}^{0})) $$

其中，$\tilde{\phi}$ 和 $\hat{\phi}$ 表示采用低通滤波器和高通滤波器的离散小波变换函数。

判别器与总损失。为了提升光度真实性，我们提出使用经GIIF训练的判别器D。我们将判别器损失$\mathcal{L}_{disc}$纳入自适应微调总损失函数$\mathcal{L}_{aft}$中，具体表述如下：

 $$ \mathcal{L}_{a f t}=\mathcal{L}_{c o n s}+\mathcal{L}_{w a v e}+\mathcal{L}_{d i s c}\mathrm{~w h e r e~}\mathcal{L}_{d i s c}=l o g(1-D(I_{s r}^{t})) $$

## 4 实验

### 4.1 数据集与实验设置

InterHand2.6M [^40]。我们的超分辨率与3D重建实验主要使用InterHand2.6M [^40]数据集。该数据集包含了单手及不同身份的双手在多种视角下的图像。

<div style="text-align: center;">Table 1: Quantitative comparisons between compared methods using InterHand2.6M [^40] and Goliath [^35] dataset. PSNR / LPIPS (SR) shows the PSNR and LPIPS performance of the super-resolution modules. Mark "Incon." stands for inconsistency and "ftd." stands for the fine-tuned model. The top three results are highlighted in red, orange, and yellow, respectively.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td rowspan="2">SR Module</td><td rowspan="2">3D Recon. Methods</td><td colspan="5">InterHand2.6M [^40]</td><td colspan="5">Goliath [^35]</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>PSNR / LPIPS (SR)</td><td style='text-align: center; word-wrap: break-word;'>PSNR</td><td style='text-align: center; word-wrap: break-word;'>LPIPS</td><td style='text-align: center; word-wrap: break-word;'>P2P (mm)</td><td style='text-align: center; word-wrap: break-word;'>Incon.</td><td style='text-align: center; word-wrap: break-word;'>PSNR / LPIPS (SR)</td><td style='text-align: center; word-wrap: break-word;'>PSNR</td><td style='text-align: center; word-wrap: break-word;'>LPIPS</td><td style='text-align: center; word-wrap: break-word;'>P2P (mm)</td><td style='text-align: center; word-wrap: break-word;'>Incon.</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Bicubic</td><td style='text-align: center; word-wrap: break-word;'>Ours</td><td style='text-align: center; word-wrap: break-word;'>22.23 / 0.2645</td><td style='text-align: center; word-wrap: break-word;'>26.44</td><td style='text-align: center; word-wrap: break-word;'>0.0895</td><td style='text-align: center; word-wrap: break-word;'>4.01</td><td style='text-align: center; word-wrap: break-word;'>0.0131</td><td style='text-align: center; word-wrap: break-word;'>19.17 / 0.3244</td><td style='text-align: center; word-wrap: break-word;'>22.52</td><td style='text-align: center; word-wrap: break-word;'>0.1377</td><td style='text-align: center; word-wrap: break-word;'>5.80</td><td style='text-align: center; word-wrap: break-word;'>0.0128</td></tr><tr><td rowspan="2">LIIF [^6]</td><td rowspan="2">XHand [^10] Ours</td><td rowspan="2">27.47 / 0.1063</td><td style='text-align: center; word-wrap: break-word;'>27.36</td><td style='text-align: center; word-wrap: break-word;'>0.0691</td><td style='text-align: center; word-wrap: break-word;'>4.32</td><td style='text-align: center; word-wrap: break-word;'>0.0151</td><td rowspan="2">24.87 / 0.1459</td><td style='text-align: center; word-wrap: break-word;'>23.64</td><td style='text-align: center; word-wrap: break-word;'>0.0984</td><td style='text-align: center; word-wrap: break-word;'>3.34</td><td style='text-align: center; word-wrap: break-word;'>0.0146</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>27.11</td><td style='text-align: center; word-wrap: break-word;'>0.0755</td><td style='text-align: center; word-wrap: break-word;'>3.39</td><td style='text-align: center; word-wrap: break-word;'>0.0151</td><td style='text-align: center; word-wrap: break-word;'>22.87</td><td style='text-align: center; word-wrap: break-word;'>0.1123</td><td style='text-align: center; word-wrap: break-word;'>4.12</td><td style='text-align: center; word-wrap: break-word;'>0.0140</td></tr><tr><td rowspan="3">GIF (w/o ftd.)</td><td style='text-align: center; word-wrap: break-word;'>UHM [^39]</td><td rowspan="3">29.96 / 0.0305</td><td style='text-align: center; word-wrap: break-word;'>22.33</td><td style='text-align: center; word-wrap: break-word;'>0.1522</td><td style='text-align: center; word-wrap: break-word;'>72.55</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>23.85</td><td style='text-align: center; word-wrap: break-word;'>0.1319</td><td style='text-align: center; word-wrap: break-word;'>24.29</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td rowspan="2">XHand Ours</td><td style='text-align: center; word-wrap: break-word;'>27.71</td><td style='text-align: center; word-wrap: break-word;'>0.0507</td><td style='text-align: center; word-wrap: break-word;'>3.43</td><td style='text-align: center; word-wrap: break-word;'>0.0067</td><td rowspan="2">27.91 / 0.0497</td><td style='text-align: center; word-wrap: break-word;'>22.76</td><td style='text-align: center; word-wrap: break-word;'>0.1118</td><td style='text-align: center; word-wrap: break-word;'>3.70</td><td style='text-align: center; word-wrap: break-word;'>0.0084</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>29.17</td><td style='text-align: center; word-wrap: break-word;'>0.0404</td><td style='text-align: center; word-wrap: break-word;'>3.09</td><td style='text-align: center; word-wrap: break-word;'>0.0058</td><td style='text-align: center; word-wrap: break-word;'>23.50</td><td style='text-align: center; word-wrap: break-word;'>0.0783</td><td style='text-align: center; word-wrap: break-word;'>3.49</td><td style='text-align: center; word-wrap: break-word;'>0.0070</td></tr><tr><td rowspan="2">GIF (w/ ftd.)</td><td rowspan="2">XHand Ours</td><td style='text-align: center; word-wrap: break-word;'>30.03 / 0.0303</td><td style='text-align: center; word-wrap: break-word;'>28.75</td><td style='text-align: center; word-wrap: break-word;'>0.0443</td><td style='text-align: center; word-wrap: break-word;'>3.45</td><td style='text-align: center; word-wrap: break-word;'>0.0052</td><td style='text-align: center; word-wrap: break-word;'>28.07 / 0.0495</td><td style='text-align: center; word-wrap: break-word;'>21.95</td><td style='text-align: center; word-wrap: break-word;'>0.1139</td><td style='text-align: center; word-wrap: break-word;'>3.60</td><td style='text-align: center; word-wrap: break-word;'>0.0082</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>30.06 / 0.0302</td><td style='text-align: center; word-wrap: break-word;'>29.88</td><td style='text-align: center; word-wrap: break-word;'>0.0362</td><td style='text-align: center; word-wrap: break-word;'>2.16</td><td style='text-align: center; word-wrap: break-word;'>0.0050</td><td style='text-align: center; word-wrap: break-word;'>28.09 / 0.0495</td><td style='text-align: center; word-wrap: break-word;'>24.31</td><td style='text-align: center; word-wrap: break-word;'>0.0813</td><td style='text-align: center; word-wrap: break-word;'>3.50</td><td style='text-align: center; word-wrap: break-word;'>0.0069</td></tr></table>

---

![Image](images/03717367ede238da355127235f4f1427e1be6dc9c5a561a1708725018d2600ba.jpg)

<div style="text-align: center;">Figure 3: Qualitative results of 3D reconstructions. Given low-resolution (low-detailed) images, SRHand reconstructs high-resolution personalized hand meshes.</div>

在超分辨率实验中，我们根据采集对象划分训练集与验证集，以确保“训练”子集中的模型具备跨对象的鲁棒性。在3D重建实验中，我们遵循先前研究的方法，使用“测试”子集中的Capture0和Capture1数据 [^5] [^41] [^13] [^10]。我们使用20个视角、20帧图像来重建3D手部模型，并用剩余帧进行评估。

Goliath [^35]。Goliath [^35]数据集的实验设置与InterHand2.6M [^40]类似，不过它提供的是扫描网格与高分辨率图像。但由于该数据集仅包含4个对象，不足以用于训练超分辨率模块，因此我们采用了在InterHand2.6M上训练好的超分辨率模块。关于Goliath数据集预处理的更多细节详见补充材料。

评价指标。为了定量比较不同外观模型，我们采用了一组常用于评估渲染图像保真度与质量的指标。主要使用的评价指标包括学习感知图像块相似度（LPIPS）[^59]、结构相似性指标（SSIM）[^51]以及峰值信噪比（PSNR）。我们还计算了重建网格与真实网格之间的点对点（P2P）误差。由于InterHand2.6M [^40]未提供扫描网格，我们利用来自50个视角的50帧高分辨率真实图像训练了XHand [^10]。所得到的网格被用作P2P评估的伪真实值。

### 4.2 对比方法

我们分三个部分开展实验，以验证所提框架的有效性：(1) 基于超分辨率图像的3D重建；(2) 考虑3D一致性的超分辨率；(3) 手部图像超分辨率。

基于超分辨率图像的3D重建。我们的方法利用3D外观信息来进行3D表示及超分辨率模块的微调。如表1所示，我们评估了不同替代方法下的3D重建性能以及微调后的超分辨率模型，其中包括UHM [^39]。对于InterHand2.6M [^40]和Goliath [^35]数据集，3D重建结果通过PSNR、用于评估视觉外观的LPIPS以及用于衡量几何形状的点对点（P2P）距离来呈现。重建顶点间的差异则通过聚合变化量来量化。

图3和表1展示了在InterHand2.6M [^40]与Goliath [^35]数据集上的实验结果。我们的手部网格相比其他对比方法能更好地还原手部形状。具体而言，UHM [^39]无法准确呈现手部形状与纹理，会丢失细节并引入背景伪影。简单地将GIIF与XHand [^10]结合使用，会因超分辨率图像中手部形状与细节的不一致性而导致形状过度膨胀。此外，实验结果还表明，对超分辨率模块进行微调后，其三维重建性能较初始状态有所提升。这种改进凸显了自适应微调在确保一致性以实现更精确的三维重建方面的有效性，同时还能提升光度质量，这一点可从PSNR/LPIPS（SR）指标中看出。总之，SRHand取得了最佳的整体性能，优于所有测试配置。

---

<div style="text-align: center;">Table 2: Quantitative comparisons among 3D consistency considered SR methods. (×) denotes an upscaling factor. Bold and underline denote top two scores.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Upscale factor</td><td style='text-align: center; word-wrap: break-word;'>Methods</td><td style='text-align: center; word-wrap: break-word;'>PSNR</td><td style='text-align: center; word-wrap: break-word;'>LPIPS</td><td style='text-align: center; word-wrap: break-word;'>SSIM</td></tr><tr><td rowspan="4">$\times 4$</td><td style='text-align: center; word-wrap: break-word;'>NeRF-SR [^47]</td><td style='text-align: center; word-wrap: break-word;'>28.83</td><td style='text-align: center; word-wrap: break-word;'>0.1410</td><td style='text-align: center; word-wrap: break-word;'>0.8638</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>DiSR-NeRF [^26]</td><td style='text-align: center; word-wrap: break-word;'>28.82</td><td style='text-align: center; word-wrap: break-word;'>0.1303</td><td style='text-align: center; word-wrap: break-word;'>0.8736</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>SRGS [^9]</td><td style='text-align: center; word-wrap: break-word;'>32.74</td><td style='text-align: center; word-wrap: break-word;'>0.0731</td><td style='text-align: center; word-wrap: break-word;'>0.9335</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>SRHand</td><td style='text-align: center; word-wrap: break-word;'>29.06</td><td style='text-align: center; word-wrap: break-word;'>0.0475</td><td style='text-align: center; word-wrap: break-word;'>0.9016</td></tr><tr><td rowspan="2">$\times 8$</td><td style='text-align: center; word-wrap: break-word;'>SRGS</td><td style='text-align: center; word-wrap: break-word;'>29.22</td><td style='text-align: center; word-wrap: break-word;'>0.1520</td><td style='text-align: center; word-wrap: break-word;'>0.8739</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>SRHand</td><td style='text-align: center; word-wrap: break-word;'>28.86</td><td style='text-align: center; word-wrap: break-word;'>0.0487</td><td style='text-align: center; word-wrap: break-word;'>0.9007</td></tr><tr><td rowspan="2">$\times 16$</td><td style='text-align: center; word-wrap: break-word;'>SRGS</td><td style='text-align: center; word-wrap: break-word;'>27.18</td><td style='text-align: center; word-wrap: break-word;'>0.3872</td><td style='text-align: center; word-wrap: break-word;'>0.7899</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>SRHand</td><td style='text-align: center; word-wrap: break-word;'>27.52</td><td style='text-align: center; word-wrap: break-word;'>0.0566</td><td style='text-align: center; word-wrap: break-word;'>0.8858</td></tr></table>

![Image](images/0eb818d7087dd756f3203a0dc3b9827a258e611c6d1e4a32781c1929db64c09d.jpg)

<div style="text-align: center;">Figure 4: Qualitative results. Red circles show background artifacts in GT data. All baselines are compared with upscaling factor 4.</div>

考虑三维一致性的超分辨率技术。我们将SRHand与NeRF-SR [^47]、DiSR-NeRF [^26]以及SRGS [^9]在考虑三维一致性的超分辨率任务上进行比较。以往的研究局限于静态物体的重建而非人体化身，因此为了公平比较，我们仅采用单一姿态下作为静态场景的多视角图像来训练我们的方法。此外，以往的研究也局限于$\times$ 4倍缩放，而我们则给出了$\times$ 4倍及$\times$ 16倍的缩放结果。由于源代码不可获取且缺乏实现细节，SuperNeRF [^57]与Yoon等人[^55]的方法未被纳入比较范围。不过需要注意的是，如[^26]中所报道的，DiSR-NeRF的性能优于SuperNeRF。

![Image](images/d6f6a50d2808185259136c66c992e2dbd739b27b091e3a33db70c0b9d3abf8f3.jpg)

<div style="text-align: center;">Figure 5: Qualitative comparisons among SR modules. Original IDM results are in the supplementary.</div>

---

<div style="text-align: center;">Table 3: Quantitative comparisons of SR modules on InterHand2.6M [^40].</div>

<div style="text-align: center;">(a) Experiments are performed with  $\times$16 upscaling. (b) Results in (PSNR / LPIPS) of continuous scale (* denotes the model has been modified with normal trained on  $\times$16 factor. GIIF achieves best performance in all scaling factors.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td colspan="2">Methods</td><td style='text-align: center; word-wrap: break-word;'>PSNR $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>LPIPS $\downarrow$</td></tr><tr><td colspan="2">Real-ESRGAN [^48]</td><td style='text-align: center; word-wrap: break-word;'>22.39</td><td style='text-align: center; word-wrap: break-word;'>0.2287</td></tr><tr><td colspan="2">SwinIR [^30]</td><td style='text-align: center; word-wrap: break-word;'>25.51</td><td style='text-align: center; word-wrap: break-word;'>0.1552</td></tr><tr><td colspan="2">LIIF [^6]</td><td style='text-align: center; word-wrap: break-word;'>25.76</td><td style='text-align: center; word-wrap: break-word;'>0.1848</td></tr><tr><td colspan="2">IDM [^11]</td><td style='text-align: center; word-wrap: break-word;'>14.58</td><td style='text-align: center; word-wrap: break-word;'>0.3603</td></tr><tr><td rowspan="3">Geometric-aware</td><td style='text-align: center; word-wrap: break-word;'>LIIF $^{*}$</td><td style='text-align: center; word-wrap: break-word;'>29.85</td><td style='text-align: center; word-wrap: break-word;'>0.0996</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>IDM $^{*}$</td><td style='text-align: center; word-wrap: break-word;'>21.49</td><td style='text-align: center; word-wrap: break-word;'>0.0970</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>GIIF</td><td style='text-align: center; word-wrap: break-word;'>31.60</td><td style='text-align: center; word-wrap: break-word;'>0.0637</td></tr></table>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td rowspan="2">Methods</td><td colspan="3">Upscaling factor</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>$\times 8$</td><td style='text-align: center; word-wrap: break-word;'>$\times 21.3$</td><td style='text-align: center; word-wrap: break-word;'>$\times 32$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>LIIF [^6]</td><td style='text-align: center; word-wrap: break-word;'>28.62/0.1319</td><td style='text-align: center; word-wrap: break-word;'>23.91/0.2071</td><td style='text-align: center; word-wrap: break-word;'>21.46/0.2693</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>IDM [^11]</td><td style='text-align: center; word-wrap: break-word;'>25.46/0.1215</td><td style='text-align: center; word-wrap: break-word;'>21.28/0.1796</td><td style='text-align: center; word-wrap: break-word;'>19.02/0.2426</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>LIIF $^{{*}}$</td><td style='text-align: center; word-wrap: break-word;'>30.20/0.0812</td><td style='text-align: center; word-wrap: break-word;'>29.17/0.0855</td><td style='text-align: center; word-wrap: break-word;'>28.55/0.0885</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>IDM $^{{*}}$</td><td style='text-align: center; word-wrap: break-word;'>22.68/0.0696</td><td style='text-align: center; word-wrap: break-word;'>22.71/0.0780</td><td style='text-align: center; word-wrap: break-word;'>22.87/0.0878</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>GIIF</td><td style='text-align: center; word-wrap: break-word;'>32.70/0.0533</td><td style='text-align: center; word-wrap: break-word;'>31.53/0.0606</td><td style='text-align: center; word-wrap: break-word;'>30.01/0.0640</td></tr></table>

表2展示了在40张视角图像上训练的NeRF-SR [^47]、DiSR-NeRF [^26]以及SRGS [^9]的定量对比结果。SRHand支持任意尺度的超分辨率处理，即便在16倍缩放因子下也优于以往的方法。图4展示了定性结果，可见与以往方法相比，我们的方法能捕捉到更精细的手部特征。NeRF-SR与DiSR-NeRF仍存在模糊问题，且看起来过于合成。考虑到真实数据及以往研究中的手部图像常包含背景色，我们的方法消除了这些伪影。尽管与真实数据存在差异，我们的方法仍取得了更优的性能。

手部图像超分辨率。我们将GIIF与现有的图像超分辨率模型[^48]、[^30]、[^6]、[^11]进行比较。我们对所有基线模型进行了针对手部图像数据集的重新训练，并将LIIF [^6]扩展为几何感知型LIIF（记为LIIF*），将IDM [^11]扩展为几何感知型IDM（记为IDM*），以保证比较的公平性。表3a展示了定量对比结果，图5则展示了定性结果。GIIF取得了显著更好的效果，生成的手部图像更逼真且细节丰富。对比LIIF与LIIF*以及IDM与IDM*可知，法向条件设定大幅提升了渲染质量，能够实现基于局部特征的生成。此外，判别器还能优化光度细节与真实感。表3b显示，我们的方法在任意缩放因子下均取得了最高性能，在分布内与分布外尺度上均表现出良好的鲁棒性。

<div style="text-align: center;">Table 4: Ablation study of geometric enhancements and adaptive fine-tuning loss functions.</div>

<div style="text-align: center;">(a) Ablation study on 3D hand reconstruction methods using two identities.  (b) Ablation study on the adaptive fine-tuning loss functions.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'>PSNR</td><td style='text-align: center; word-wrap: break-word;'>LPIPS</td><td style='text-align: center; word-wrap: break-word;'>SSIM</td></tr><tr><td rowspan="2">Identity 1</td><td style='text-align: center; word-wrap: break-word;'>XHand [^10]</td><td style='text-align: center; word-wrap: break-word;'>27.77</td><td style='text-align: center; word-wrap: break-word;'>0.0423</td><td style='text-align: center; word-wrap: break-word;'>0.8977</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ours</td><td style='text-align: center; word-wrap: break-word;'>28.92</td><td style='text-align: center; word-wrap: break-word;'>0.0353</td><td style='text-align: center; word-wrap: break-word;'>0.9089</td></tr><tr><td rowspan="2">Identity 2</td><td style='text-align: center; word-wrap: break-word;'>XHand</td><td style='text-align: center; word-wrap: break-word;'>28.72</td><td style='text-align: center; word-wrap: break-word;'>0.0338</td><td style='text-align: center; word-wrap: break-word;'>0.9125</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ours</td><td style='text-align: center; word-wrap: break-word;'>29.42</td><td style='text-align: center; word-wrap: break-word;'>0.0303</td><td style='text-align: center; word-wrap: break-word;'>0.9189</td></tr></table>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>$L_{cons}$</td><td style='text-align: center; word-wrap: break-word;'>$L_{wave}$</td><td style='text-align: center; word-wrap: break-word;'>$L_{disc}$</td><td style='text-align: center; word-wrap: break-word;'>PSNR (SR)</td><td style='text-align: center; word-wrap: break-word;'>PSNR</td><td style='text-align: center; word-wrap: break-word;'>LPIPS</td><td style='text-align: center; word-wrap: break-word;'>P2P (mm)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'>29.96</td><td style='text-align: center; word-wrap: break-word;'>29.17</td><td style='text-align: center; word-wrap: break-word;'>0.0404</td><td style='text-align: center; word-wrap: break-word;'>3.09</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'>23.94</td><td style='text-align: center; word-wrap: break-word;'>23.39</td><td style='text-align: center; word-wrap: break-word;'>0.0864</td><td style='text-align: center; word-wrap: break-word;'>3.72</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'>29.93</td><td style='text-align: center; word-wrap: break-word;'>28.97</td><td style='text-align: center; word-wrap: break-word;'>0.0410</td><td style='text-align: center; word-wrap: break-word;'>2.41</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>30.06</td><td style='text-align: center; word-wrap: break-word;'>29.88</td><td style='text-align: center; word-wrap: break-word;'>0.0362</td><td style='text-align: center; word-wrap: break-word;'>2.16</td></tr></table>

### 4.3 消融实验

几何增强。我们进行了消融研究，将改进后的网格表示与基线XHand模型进行比较[^10]。如表4a和图6c所示，我们的表示方法能更好地捕捉细节，同时在不同身份下所有指标的表现均更优。

自适应微调损失的有效性。我们展示了关于自适应微调损失的消融研究结果。表4b和图6a表明，应用自适应微调后，网格距离误差和纹理不一致性均有所降低。

• 一致性损失。我们评估了微调过程中不同损失项的影响，结果如图6b和表4b所示。应用一致性损失（$L_{cons}$）会导致性能下降，最终使手部整体纹理趋于平均值。不过从图6可以看出，一致性仍得以良好保持，呈现出平均纹理的效果。

---

<div style="text-align: center;">Table 5: Quantitative results of showing the effectiveness of GT parameters.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'>MPJPE (mm)</td><td colspan="2">Super-Resolution</td><td colspan="2">3D Reconstruction</td></tr><tr><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'>PSNR</td><td style='text-align: center; word-wrap: break-word;'>LPIPS</td><td style='text-align: center; word-wrap: break-word;'>PSNR</td><td style='text-align: center; word-wrap: break-word;'>LPIPS</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Non-using GT Param.</td><td style='text-align: center; word-wrap: break-word;'>9.54</td><td style='text-align: center; word-wrap: break-word;'>30.11</td><td style='text-align: center; word-wrap: break-word;'>0.0306</td><td style='text-align: center; word-wrap: break-word;'>27.18</td><td style='text-align: center; word-wrap: break-word;'>0.0635</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Using GT Param.</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>30.06</td><td style='text-align: center; word-wrap: break-word;'>0.0302</td><td style='text-align: center; word-wrap: break-word;'>29.88</td><td style='text-align: center; word-wrap: break-word;'>0.0362</td></tr></table>

• 频率保持损失。小波损失（$L_{wave}$）在上采样和重建过程中对保留多尺度细节起着关键作用。如表4b和图6b所示，将其与一致性损失一同使用时，能通过保留高频成分显著提升视觉质量。这表明频率保持损失在维持结构细节和精细纹理方面效果显著。

• 判别器损失。加入判别器损失（$L_{disc}$）能通过促进光度一致性和真实感来进一步优化输出结果。当它与$L_{cons}$及$L_{wave}$结合使用时，$L_{disc}$能同时提升定量和定性指标。如表4b和图6b所示，这种对抗性组件有助于生成更逼真的纹理。

不使用GT参数。尽管在3D手部及人体虚拟形象重建中，使用真实值（GT）模板参数是广泛采用的策略[^5] [^20] [^29] [^10] [^62] [^37]，且我们的方法也遵循这一策略，但我们额外提供了向GT参数中添加噪声后的实验结果。表5显示，MANO参数误差对超分辨率性能并无显著影响，但会影响3D手部重建的质量。

## 5 结论

本文提出的SRHand将视角/姿态感知的隐式神经表示与显式3D网格重建相结合，用于高保真手部虚拟形象建模。我们的方法利用几何感知的隐式图像函数（GIIF）来对任意尺度的低细节手部图像进行超分辨率处理，同时通过联合微调超分辨率模块和3D重建模块来维持3D视角/姿态的一致性。

![Image](images/0a08bcdc12d9dc5b631bb7c8b957b190bff9a52e5c2a49608f8b2327286f59be.jpg)

<div style="text-align: center;">Figure 6: Visualization of ablations studies: (a) Inconsistencies and mesh distance error. Mark "aft." stands for adaptive fine-tuning. (b)  $\mathcal{L}_{aft}$ loss function. To better highlight the difference, we adjust brightness and contrast. (c) Enhancing geometric details.</div>

基于InterHand2.6M[^40]和Goliath[^35]数据集的大量定量和定性实验结果表明，我们的方法能有效捕捉2D图像和3D手部形状中的细节，且性能优于基线方法。我们预计该方法可应用于更广泛的虚拟形象创作领域，为用户在虚拟环境中提供逼真的体验，并实现精准的3D人体重建。

## 6 致谢

本研究得到了NST基金（CRC 21011，MSIT）、IITP基金（RS-2023-00228996、RS-2024-00459749、RS-2025-25443318、RS-2025-25441313，MSIT）以及KOCCA基金（RS-2024-00442308，MCST）的支持。

---

## 参考文献

[^1]: Doosti Bardia, Naha Shujon, Mirbagheri Majid, and Crandall David. Hope-net: A graph-based model for hand-object pose estimation. In CVPR, 2020.

[^2]: Junyang chen, Jinshan Pan, and Jiangxin Dong. Faithdiff: Unleashing diffusion priors for faithful image super-resolution. In CVPR, 2025.

[^3]: Ping Chen, Yujin Chen, Dong Yang, Wu Fangyin, Qin Li, Qingpei Xia, and Yong Tan. I2uv-handnet: Image-to-uv prediction network for accurate and high-fidelity 3d hand mesh modeling. In ICCV, 2021.

[^4]: Ruiyang Chen, Mohan Yin, and Jiawei Shen. Recon3d: High quality 3d reconstruction from a single image using generated back-view explicit priors. In CVPR, 2024.

[^5]: Xingyu Chen, Baoyuan Wang, and Heung-Yeung Shum. Hand avatar: Free-pose hand animation and rendering from monocular video. In CVPR, 2023.

[^6]: Yinbo Chen, Sifei Liu, and Xiaolong Wang. Learning continuous image representation with local implicit image function. In CVPR, 2021.

[^7]: Yujin Chen, Zhigang Tu, Di Kang, Linchao Bao, Ying Zhang, Xuefei Zhe, Ruizhi Chen, and Junsong Yuan. Model-based 3d hand reconstruction via self-supervised learning. In CVPR, 2021.

[^8]: Zhaoxi Chen, Gyeongsik Moon, Kaiwen Guo, Chen Cao, Stanislav Pidhorskyi, Tomas Simon, Rohan Joshi, Yuan Dong, Yichen Xu, Bernardo Pires, He Wen, Lucas Evans, Bo Peng, Julia Buffaloini, Autumn Trimble, Kevyn McPhail, Melissa Schoeller, Shoou-I Yu, Javier Romero, Michael Zollhöfer, Yaser Sheikh, Ziwei Liu, and Shunsuke Saito. URhand: Universal relightable hands. In CVPR, 2024.

[^9]: Xiang Feng, Yongbo He, Yan Yang, Yubo Wang, Yifei Chen, Zhan Wang, Zhenzhong Kuang, Feiwei Qin, and Jiajun Ding. Srs: Super-resolution 3d gaussian splatting. In arXiv preprint arXiv:2404.10318, 2024.

[^10]: Qijun Gan, Zijie Zhou, and Jianke Zhu. Xhand: Real-time expressive hand avatar. arXiv:2407.21002, 2024.

[^11]: Sicheng Gao, Xuhui Liu, Bohan Zeng, Sheng Xu, Yanjing Li, Xiaoyan Luo, Jianzhuang Liu, Xiantong Zhen, and Baochang Zhang. Implicit diffusion models for continuous super-resolution. In CVPR, 2023.

[^12]: Yingqing Guo, Hui Yuan, Yukang Yang, Minshuo Chen, and Mengdi Wang. Gradient guidance for diffusion models: An optimization perspective. In NIPS, 2024.

[^13]: Zhiyang Guo, Wengang Zhou, Min Wang, Li Li, and Houqiang Li. Handnerf: Neural radiance fields for animatable interacting hands. In CVPR, 2023.

[^14]: Yana Hasson, Bugra Tekin, Federica Bogo, Ivan Laptev, Marc Pollefeys, and Cordelia Schmid. Leveraging photometric consistency over time for sparsely supervised hand-object reconstruction.. In CVPR, 2020.

[^15]: Jonathan Ho, Ajay Jain, and Pieter Abbeel. Denoising diffusion probabilistic models. In NIPS, 2020.

[^16]: Liangxiao Hu, Hongwen Zhang, Yuxiang Zhang, Boyao Zhou, Boning Liu, Shengping Zhang, and Liqiang Nie. Photorealistic head avatars with rigged 3d gaussians. In CVPR, 2024.

[^17]: Tao Hu, Tao Yu, Zerong Zheng, He Zhang, Yebin Liu, and Matthias Zwicker. Hvtr: Hybrid volumetric-textural rendering for human avatars. In 3DV, 2022.

[^18]: Zheheng Jiang, Hossein Rahmani, Sue Black, and Bryan M Williams. A probabilistic attention model with occlusion-aware texture regression for 3d hand reconstruction from a single rgb image. In CVPR, 2023.

[^19]: Jun Seok Kang and Sang Chul Ahn. Liif-gan: Learning representation with local implicit image function and gan for realistic images on a continuous scale. In BMVC, 2022.

[^20]: Korrawe Karunratanakul, Sergey Prokudin, Otmar Hilliges, and Siyu Tang. Harp: Personalized hand reconstruction from a monocular гб video. In CVPR, 2023.

## [^21]: Bernhard Kerbl, Georgios Kopanas, Thomas Leimkhler, and George Drettakis. 3d gaussian splatting for real-time radiance field rendering. In SIGGRAPH, 2023

---

[^22]: Donghwan Kim and Tae-Kyun Kim. Multi-hypotheses conditioned point cloud diffusion for 3d human reconstruction from occluded image. In NIPS, 2024.

[^23]: Jinseok Kim and Tae-Kyun Kim. Arbitrary-scale image generation and upsampling using latent diffusion model and implicit neural decoder. In CVPR, 2024.

[^24]: Minje Kim and Tae-Kyun Kim. Bitt: Bi-directional texture reconstruction of interacting two hands from a single image. In CVPR, 2024.

[^25]: Muhammed Kocabas, Jen-Hao Rick Chang, James Gabriel, Oncel Tuzel, and Anurag Ranjan. Hugs: Human gaussian splatting. In CVPR, 2024.

[^26]: Jie Long Lee, Chen Li, and Gim Hee Lee. Disr-nerf: Diffusion-guided view-consistent super-resolution nerf. In CVPR, 2024.

[^27]: Jihyun Lee, Junbong Jang, Donghwan Kim, Minhyuk Sung, and Tae-Kyun Kim. Fourierhandflow: Neural 4d hand representation using fourier query flow. In NIPS, 2023.

[^28]: Jihyun Lee, Shunsuke Saito, Giljoo Nam, Minhyuk Sung, and Tae-Kyun Kim. Interhandgen: Two-hand interaction generation via cascaded reverse diffusion. In CVPR, 2024.

[^29]: Jihyun Lee, Minhyuk Sung, Honggyu Choi, and Tae-Kyun Kim. Im2hands: Learning attentive implicit representation of interacting two-hand shapes. In CVPR, 2023.

[^30]: Jingyun Liang, Jiezhang Cao, Guolei Sun, Kai Zhang, Luc Van Gool, and Radu Timofte. Swinir: Image restoration using swin transformer. In CVPR, 2021.

[^31]: Ruoshi Liu, Rundi Wu, Basile Van Hoorick, Pavel Tokmakov, Sergey Zakharov, and Carl Vondrick. Zero-1-to-3: Zero-shot one image to 3d object. In ICCV, 2023.

[^32]: Xi Liu, Chaoyi Zhou, and Siyu Huang. 3dgs-enhancer: Enhancing unbounded 3d gaussian splatting with view-consistent 2d diffusion priors. In NIPS), 2024.

[^33]: Yuan Liu, Cheng Lin, Zijiao Zeng, Xiaoxiao Long, Lingjie Liu, Taku Komura, and Wenping Wang. Syncdreamer: Generating multiview-consistent images from a single-view image. In ICLR, 2024.

[^34]: Xiaoxiao Long, Yuan-Chen Guo, Cheng Lin, Yuan Liu, Zhiyang Dou, Lingjie Liu, Yuexin Ma, Song-Hai Zhang, Marc Habermann, Christian Theobalt, et al. Wonder3d: Single image to 3d using cross-domain diffusion. In CVPR, 2024.

[^35]: Julieta Martinez, Emily Kim, Javier Romero, Timur Bagautdinov, Shunsuke Saito, Shoou-I Yu, Stuart Anderson, Michael Zollhöfer, Te-Li Wang, Shaojie Bai, Chenghui Li, Shih-En Wei, Rohan Joshi, Wyatt Borsos, Tomas Simon, Jason Saragih, Paul Theodosis, Alexander Greene, Anjani Josyula, Silvio Mano Maeta, Andrew I. Jewett, Simon Venshtain, Christopher Heilman, Yueh-Tung Chen, Sidi Fu, Mohamed Ezzeldin A. Elshaer, Tingfang Du, Longhua Wu, Shen-Chi Chen, Kai Kang, Michael Wu, Youssef Emad, Steven Longay, Ashley Brewer, Hitesh Shah, James Booth, Taylor Koska, Kayla Haidle, Matt Andromalos, Joanna Hsu, Thomas Dauer, Peter Selednik, Tim Godisart, Scott Ardisson, Matthew Cipperly, Ben Humberston, Lon Farr, Bob Hansen, Peihong Guo, Dave Braun, Steven Krenn, He Wen, Lucas Evans, Natalia Fadeeva, Matthew Stewart, Gabriel Schwartz, Divam Gupta, Gyeongsik Moon, Kaiwen Guo, Yuan Dong, Yichen Xu, Takaaki Shiratori, Fabian Prada, Bernardo R. Pires, Bo Peng, Julia Buffalo, Autumn Trimble, Kevyn McPhail, Melissa Schoeller, and Yaser Sheikh. Codec avatar studio: Paired human captures for complete, driveable, and generalizable avatars. In NeurIPS Track on Datasets and Benchmarks, 2024.

[^36]: Ben Mildenhall, Pratul P. Srinivasan, Matthew Tancik, Jonathan T. Barron, Ravi Ramamoorthi, and Ren Ng. Nerf: Representing scenes as neural radiance fields for view synthesis. In ECCV, 2020.

[^37]: Gyeongsik Monn, Takaaki Shiratori, and Saito Shunsuke. Expressive whole-body 3d gaussian avatar. In ECCV, 2024.

[^38]: Gyeongsik Moon, Takaaki Shiratori, and Shunsuke Saito. Expressive whole-body 3D gaussian avatar. In ECCV, 2024.

[^39]: Gyeongsik Moon, Weipeng Xu, Rohan Joshi, Chenglei Wu, and Takaaki Shiratori. Authentic hand avatar from a phone scan via universal hand model. In CVPR, 2024.

## [^40]: Gyeongsik Moon, Shoou-I Yu, He Wen, Takaaki Shiratori, and Kyoung Mu Lee. Interhand2.6m: A dataset and baseline for 3d interacting hand pose estimation from a single rgb image. In ECCV, 2020

---

[^41]: Akshay Mundra, Mallikarjun B R, Jiayi Wang, Marc Habermann, Christian Theobalt, and Mohamed Elgharib. Livehand: Real-time and photorealistic neural hand rendering. In ICCV, October 2023.

[^42]: Alejandro Newell, Kaiyu Yang, and Jia Deng. Stacked hourglass networks for human pose estimation. In ECCV, 2016.

[^43]: Neng Qian, Jiayi Wang, Franziska Mueller, Florian Bernard, Vladislav Golyanik, and Christian Theobalt. HTML: A Parametric Hand Texture Model for 3D Hand Reconstruction and Personalization. In ECCV, 2020.

[^44]: Shenhan Qian, Tobias Kirschstein, Liam Schoneveld, Davide Davoli, Simon Giebenhain, and Matthias Nießner. Gaussianavatars: Photorealistic head avatars with rigged 3d gaussians. In CVPR, 2024.

[^45]: Javier Romero, Dimitrios Tzionas, and Michael J. Black. Embodied hands: Modeling and capturing hands and bodies together. ACM TOG, 2017.

[^46]: Jiaxiang Tang, Zhaoxi Chen, Xiaokang Chen, Tengfei Wang, Gang Zeng, and Ziwei Liu. Lgm: Large multi-view gaussian model for high-resolution 3d content creation. In ECCV, 2024.

[^47]: Chen Wang, Xian Wu, Yuan-Chen Guo, Song-Hai Zhang, Yu-Wing Tai, and Shi-Min Hu. Nerf-sr: High-quality neural radiance fields using supersampling. In ACM, 2022.

[^48]: Xintao Wang, Liangbin Xie, Chao Dong, and Ying Shan. Real-esrgan: Training real-world blind super-resolution with pure synthetic data. In ICCVW, 2021.

[^49]: Xintao Wang, Ke Yu, Shixiang Wu, Jinjin Gu, Yihao Liu, Chao Dong, Yu Qiao, and Chen Change Loy. Ersgan: Enhanced super-resolution generative adversarial networks. In ECCVW, 2018.

[^50]: Yanjun Wang, Qingping Sun, Wenjia Wang, Jun Ling, Zhongang Cai, Rong Xie, and Li Song. Learning dense uv completion for human mesh recovery. In CoRR, 2023.

[^51]: Zhou Wang, Alan C Bovik, Hamid R Sheikh, and Eero P Simoncelli. Image quality assessment: from error visibility to structural similarity. In IEEE TIP, 2004.

[^52]: Yuliang Xiu, Jinlong Yang, Xu Cao, Dimitrios Tzionas, and Michael J. Black. Econ: Explicit clothed humans optimized via normal integration. In CVPR, 2023.

[^53]: Yuliang Xiu, Jinlong Yang, Dimitrios Tzionas, and Michael J. Black. ICON: Implicit Clothed humans Obtained from Normals. In CVPR, 2022.

[^54]: Yuxuan Xue, Xianghui Xie, Riccardo Marin, and Gerard Pons-Moll. Human 3diffusion: Realistic avatar creation via explicit 3d consistent diffusion models. In NIPS, 2024.

[^55]: Youngho Yoon and Kuk-Jin Yoon. Cross-guided optimization of radiance fields with multi-view image super-resolution for high-resolution novel view synthesis. In CVPR, 2023.

[^56]: Gangjian Zhand, Nanjie Yao, Shunsi Zhang, Hanfeng Zhao, Guoliang Pang, Jian Shu, and Hao Wang. Multigo: Towards multi-level geometry learning for monocular 3d textured human reconstruction. In CVPR, 2025.

[^57]: Guangyun Zhang, Chaozhong Xue, and Rongting Zhang. Supernerf: High-precision 3-d reconstruction for large-scale scenes. IEEE Transactions on Geoscience and Remote Sensing, 2024.

[^58]: Hongkun Zhang, Zherong Pan, Congyi Zhang, Lifeng Zhu, and Xifeng Gao. Texpainter: Generative mesh texturing with multi-view consistency. In SIGGRAPH, 2024.

[^59]: Richard Zhang, Phillip Isola, Alexei A Efros, Eli Shechtman, and Oliver Wang. The unreasonable effectiveness of deep features as a perceptual metric. In CVPR, 2018.

[^60]: Yulun Zhang, Yapeng Tian, Yu Kong, Bineng Zhong, and Yun Fu. Residual dense network for image super-resolution. In CVPR, 2018.

[^61]: Peng Zheng, Linzhi Huang, Yizhou Yu, Yi Chang, Yilin Wang, and Rui Ma. Supernerf-gan: A universal 3d-consistent super-resolution framework for efficient and enhanced 3d-aware image synthesis. arXiv.2501.06770, 2025.

[^62]: Xiaozheng Zheng, Chao Wen, Su Zhuo, Zeran Xu, Zhaohu Li, Yang Zhao, and Zhou Xue. Ohta: One-shot hand avatar via data-driven implicit priors. In CVPR, 2024.