Figure 1. Taking a single image input, our method renders the personalized texture of two hands at novel views, poses, and light conditions.
## 摘要
为在AR/VR平台上为用户提供逼真的体验，创建个性化的手部虚拟形象至关重要。虽然以往的大多数研究侧重于3D手部形状的重建，但近期也有一些工作致力于在形状基础上重建手部纹理。然而，这些方法往往只能捕捉手部可见侧的像素，需要以视频中的多视角手部图像或多张图片作为输入。在本文中，我们提出了一种新方法BiTT（双手交互的双向纹理重建），这是首个端到端可训练的方法，仅需单张RGB图像即可实现无需特定姿态的、可重新光照的双手交互纹理重建，该方法包含三个创新组件：1）利用左右手的纹理对称性实现双向（左↔右）纹理重建；2）运用手部纹理参数化模型恢复手部纹理；3）采用从粗到精的流水线流程来重建个性化双手交互纹理。BiTT首先从输入图像中估计场景光照条件和反照率图像，随后通过纹理参数化模型和双向纹理重建器重构双手的纹理。在使用InterHand2.6M和RGB2Hands数据集进行的实验中，我们的方法在定量和定性评估上均显著优于现有的最先进手部纹理重建方法。
代码可在 获取。
### 1. 引言
3D人体重建已在多个领域得到研究。随着人机交互、虚拟现实（VR）和增强现实（AR）应用的日益普及，多年来针对全身、面部和手部等人体部位的重建研究一直备受关注。尤其是手部姿态估计、形状和纹理重建，对于AR/VR界面而言是至关重要的任务。由于手部姿态和形状的多样性极高，3D手部重建仍是一项具有挑战性的任务。以往的研究 [^3] [^4] [^9] [^14] [^23] [^45] 主要聚焦于单只手的3D姿态和形状估计。近期，单只手重建已拓展至双手交互场景 [^18] [^19] [^21] [^49] 以及手与物体交互场景 [^2] [^8] [^15] [^16] [^46]。
目前，关于物体和人体的外观学习仍是实现逼真重建的研究热点。NeRF [^27] 通过基于体积渲染的神经辐射场来表示物体或场景。与手部相比，穿衣人体外观重建 [^1] [^12] [^22] [^30] [^44] 以及面部外观重建 [^20] [^25] [^32] [^38] [^48] 受到了更为深入的研究。在手部外观学习方面，LISA [^7] 利用辐射场从多视角图像中学习手部的形状和颜色外观。
---
在最新的研究中 [^5] [^7] [^10] [^17] [^29]，为了重建手部外观，研究人员以多视角图像或单目视频为输入，来学习主要是单个手部的纹理 [^5] [^7] [^10] [^17] [^29]。HandAvatar [^5] 和 HARP [^17] 通过估算单个手部的反照率，来渲染可重新打光的手部外观。
从单张图像进行3D重建也是另一项极具挑战性的任务。为了实现完整的3D重建，需要根据单张图像来估算物体的不可见侧面。自监督3D网格重建（SMR）[^11] 能够以自监督的方式从单张图像中估算出带纹理的3D网格。Wu等人 [^43] 将花瓶类物品重建为带有环境光照、反光材质和纹理反照率的3D网格。其他研究 [^9] [^14] [^23] [^45] 也专注于构建对称物体或单一类型的物体。然而，人手具有非对称特征，比如手掌和手背。在已知手部一侧信息的情况下，需要估算手部的另一侧纹理，才能完成完整的人手重建。S2Hand [^6] 和 AMVUR [^13] 提出了一种从单张图像重建单个手部外观和几何结构的方法。不过，它们生成的外观纹理较为模糊，无法呈现细节纹理。
Identity 1 Identity 2 Identity 3 Identity 4 Identity 5
Figure 2. Symmetrical hand textures of different identities are shown, taken from pairs of diametrical camera views of InterHand2.6M [^28].
在本文中，我们提出了一种新颖的方法：通过从单张图像双向重建双手纹理，利用双手的纹理对称性（见图2）。我们的方法仅需针对每个场景使用一张单张图像进行训练，利用双手的可见纹理信息以及手部纹理参数化模型来重建逼真的手部外观。给定输入图像和手部网格后，我们的方法会预测光照和反照率图像（详见第3.1节）。在粗略阶段，我们的模型利用HTML [^34] 即手部纹理参数化模型，结合估算出的向量生成完整的手部纹理。借助估算出的反照率图像和粗略阶段的纹理图，双向纹理重建器（BTR）能够利用左手和右手的特征图，生成双手纹理的UV贴图。所提出的BiTT方法可以在完全可控的光照条件、姿态和相机视角下渲染双手。我们使用InterHand2.6M [^28] 和RGB2Hands [^40] 数据集对该方法进行了评估，结果显示其生成的外观保真度高于现有最先进的方法。我们展示了定性结果，其中渲染的图像能够真实还原个性化的手部纹理（如皱纹、血管、指甲）。图1表明，我们的方法能够控制光照条件、相机视角和手部姿态。据我们所知，这是首个能从给定的单张图像输入中重建带纹理的双手的方法。
总而言之，我们的主要贡献如下：1）我们提出了一种新颖的框架BiTT，这是首个能从单张图像中渲染两只交互手的方法。2）我们提出了双向纹理重建技术，利用左右手的纹理对称性。3）我们提出了一种利用纹理参数化模型来恢复不可见纹理的方法。4）我们证明了该框架能够端到端训练，生成具有可控姿态、视角和光照条件的逼真双手虚拟形象。
### 2. 相关工作
在手的外观建模方面，NIMBLE [^24] 能够从高分辨率手部纹理中学习反照率、镜面反射和高光法线贴图的分解。S2HAND [^6] 能够同时估计相机姿态、彩色网格和光照条件，但其渲染质量无法呈现细致（或个性化）的手部外观。AMVUR [^13] 利用基于注意力的网格顶点和遮挡感知纹理回归模型来重建手部，但由于其分辨率较低，基于顶点的纹理重建无法适配真实手部纹理的重建需求。此外，由于该方法未考虑几何错位噪声，重建出的手部纹理会包含背景色。LISA [^7] 虽然学习了带有隐式形状表示的隐式颜色场，但即便输入多视角数据，仍缺乏细致的手部纹理。
基于神经辐射场的表示方法。近年来，基于神经辐射场的手部表示方法得到了广泛研究。HandAvatar [^5] 通过占用场改善了手部外观，并预测了自遮挡阴影，但为新手部实例训练需要大量的数据和时间。HandNeRF [^10] 和 Livehand [^29] 利用神经辐射场中的体积渲染技术，从多视角图像序列中提取手部纹理以完成手部重建。要使用HandAvatar、HandNeRF和LiveHand等基于NeRF的方法开发特定个体的形状和外观，通常需要固定光照条件下的大量图像，每个序列甚至需要数千张图像用于训练。由于这些方法被集成在隐式空间中，为了进一步应用还需额外的步骤来提取网格。它们在控制光照方面也存在困难，包括渲染阴影和编辑纹理。
---
Figure 3. The architecture of BiTT. Our method consists of three steps: (1) scene estimation, (2) coarse stage, and (3) fine stage estimation. The scene estimation understands the scene by predicting the albedo image and lighting conditions with a given input image. Full detailed textures of both hands are reconstructed from the single image input. The hand texture parametric model is adopted in the coarse stage, then the bi-directional texture reconstruction refines the personalized hand textures by the texture symmetry of left-right-hands. Finally, we render both hands with Phong Illumination $^{[33]}$.
基于UV纹理贴图的表示方法。与基于隐式函数的方法不同，HARP [^17] 通过带UV纹理贴图的网格渲染来重建单只手。HARP利用UV纹理贴图、法线贴图和自遮挡阴影来重建个性化的单只手，能够渲染出包含纹身和配饰等超出分布范围外观的细致手部纹理。不过，HARP方法将纹理颜色假定为特定值，因此纹理的遮挡部分往往会呈现固定值，从而缺失了细致的纹理细节。
将BiTT的定位与相关研究进行对比。据我们所知，基于UV贴图的双手纹理渲染尚未被探索过。在隐式空间中，HandNeRF [^10] 能够从多视角图像序列中重建两只手。从单张图像重建相互交互的双手是一项极具挑战性的任务，因为我们需要将二维图像转化为精确的三维手部表示。此外，与单只手相比，两只手发生遮挡的概率更高，因此恢复被遮挡区域的纹理也是一大难题。虽然使用多视角或视频序列作为输入有助于重建相互交互的双手，但采用单张图像输入则面临更大的挑战。不过，两只手所携带的信息比单只手更丰富，这使我们能够仅凭单张图像就逼真地重建出两只手。在本研究中，我们提出了一种新方法，该方法利用双手对称的纹理信息，并将手部纹理参数化模型作为先验知识。实验表明，仅需单张图像就足以重建出逼真的双手虚拟形象，这一成果超越了以往的研究 [^5] [^10] [^17] [^29]。
### 3. 方法
我们提出了一种基于单张图像重建相互交互的双手纹理的模型。图3展示了BiTT的架构。给定一张包含相互交互的双手的单RGB图像I，我们便能为该双手虚拟形象重建出逼真的个性化纹理。BiTT包含三个步骤：场景估计、基于参数化模型的粗略阶段，以及由双向纹理重建器构成的精细阶段。
为了从单张图像中重建出两只手的完整纹理，我们的方法依赖于利用左手和右手之间的对称性。尽管假设左右手纹理之间的差异并不显著（例如见图2），但利用这种对称数据来重建甚至被遮挡的手部的细节纹理仍具有很大价值。对于两只手上不可见的像素，我们会采用纹理参数化模型，并进一步细化其估计结果。
---
#### 3.1. 场景估计
场景估计涉及对输入图像中手部的光照和反照率等环境信息的估算。为了估算环境信息，我们的光照网络L会计算出光照参数l，该参数包含环境光颜色、漫反射、镜面反射及方向等信息。此外，我们的反照率网络A还能预测出反照率图像，该图像利用朗伯表面模型来表示物体的表面反射特性。关于光照网络和反照率网络的详细信息可参见补充材料。
#### 3.2. 粗略阶段
由于二维图像缺乏重建三维物体所需的信息，非对称物体的纹理重建 [^1] [^6] [^26] [^31] [^37] [^39] [^44] 往往会出现纹理模糊的问题。一些重要研究 [^5] [^7] [^17] [^27] [^29] 通过采用多视角图像或单目视频作为输入来解决信息不足的问题。我们并未选择增加输入信息量，而是通过参数化模型来增强数据。粗略阶段以手部纹理参数化模型（HTML）[^34] 为基础，该模型通过PCA算法对手部纹理进行编码，从而能够仅凭单张图像就生成完整的手部纹理。
关于HTML的背景知识[^34]。HTML是一种手部纹理参数化模型，能够根据给定的向量生成完整的纹理UV贴图。HTML对51只手进行扫描，并利用MANO [^36]模型拟合将它们对齐到标准空间中。完成MANO拟合后，再通过手动定义的UV坐标来进行纹理映射。最后，通过对向量$\tau_i \in \mathbb{R}^{618990}$以及2D纹理贴图集合进行PCA分析，得到参数化模型T；其中纹理贴图中共有206,330个像素，RGB通道总数为618,990。给定协方差矩阵$C \in \mathbb{R}^{618990 \times 618990} = \frac{1}{n-1} \sum_{i=1}^n (\tau_i - \bar{\tau}) (\tau_i - \bar{\tau})^\top$，其中$\bar{\tau} = \frac{1}{n} \sum_{i=1}^n \tau_i$，通过奇异值分解$\Phi \in \mathbb{R}^{618990 \times 101}$可得到主成分$C = \Phi \Sigma \Phi^\top$，此处$\Sigma \in \mathbb{R}^{101 \times 101}$为对角矩阵。借助主成分$\Phi$，我们就能针对给定的参数向量$T(\alpha) \in \mathbb{R}^{618990}$得到完整的纹理特征值$\alpha \in \mathbb{R}^{101}$，该过程涉及$T(\alpha) = \bar{\tau} + \Phi \alpha$。有关HTML的更多细节，请参阅[^34]。
粗略阶段的手部纹理参数化模型。图3中的HTML [^34]网络H是一个编码器，用于从输入图像I中估计手部参数向量。给定左手参数向量$h_{l}$和右手参数向量$h_{r}$，我们便能获得完整的纹理特征值$T(h_{l}), T(h_{r})$。其形式化定义如下：
$$ T(h_{i})=\bar{\tau}+\varPhi h_{i},\mathrm{w h e r e}h_{l},h_{r}=H(I),i=l,r $$
$$ \hat{I}_{c o a r s e}=\{R(T(h_{i}),m_{i},p,l)\}_{i=l,r} $$
I表示输入图像，R是基于Phong模型的可微渲染器[^33]，$\hat{I}_{coarse}$则是粗略阶段重构出的图像。借助纹理向量$T(h_i)$和网格$m_i$，R能在相机视角p和光照条件l下，在2D空间内渲染出带有纹理的两只手网格。
#### 3.3. 精细阶段
Figure 4. Detailed architecture of the decoding layer in the bi-directional texture reconstruction.
为了渲染出更逼真且个性化的纹理，我们利用左右手的对称特征，而非独立使用各手的特征。我们提出了一种新颖的双向纹理重建器（BTR），以高效利用双手的对称纹理特征。BTR从反照率图像$A(I)$中的可见像素重建完整纹理。由于我们已知UV纹理贴图与图像像素之间的映射关系，以及UV纹理贴图与纹理向量之间的映射关系，因此可以通过展开手部纹理来创建可见的UV纹理贴图和纹理向量。对于从反照率图像$A(I)$中展开得到的每只手的可见纹理向量，分别记为$u_l$、$u_r$，以及每只手的可见遮罩纹理向量$v_l$、$v_r$，我们合成的纹理向量$t_l$、$t_r$定义如下：
$$ t_{i}=T(h_{i})(1-v_{i})+u_{i},\mathrm{w h e r e}i=l,r $$
随后，BiTT通过BTR生成完整的双手纹理。
此外，借助可见的反照率纹理$u_l, u_r$，我们渲染出$\hat{I}_{albedo}$，并将其与估计的光照l一同用于损失函数计算：
$$ \hat{I}_{a l b e d o}=\{R(u_{i},m_{i},p,l)\}_{i=l,r} $$
双向纹理重建。给定合成后的纹理向量$t_{l}, t_{r}$，双向纹理重建器（BTR）会对每个纹理向量进行编码，记为$e_{l}, e_{r}$。对每个手部纹理向量编码完成后，BTR中的解码器会解码嵌入的特征，借助跳跃连接来创建完整的纹理向量。图4详细描述了这一过程。
---
BTR解码器的描述。在每个双向解码块中，同一只手的嵌入特征会通过跳跃连接进行拼接。我们还会以双向方式拼接另一只手的纹理嵌入特征，以便利用两只手之间的对称信息。随后，我们从第i层的拼接特征中得到解码后的变量，记为$\hat{f}^{i}$。解码后的特征$\hat{f}_{l}^{i}$和$\hat{f}_{r}^{i}$分别表示第i层的左手和右手特征，其定义如下：
$$ \dot{f}_{l}^{i}=\sigma(\mathcal{N}([e_{l}^{i},\dot{f}_{l}^{i-1},\dot{f}_{r}^{i-1}])) $$
$$ \dot{f}_{r}^{i}=\sigma(\mathcal{N}([e_{r}^{i},\dot{f}_{r}^{i-1},\dot{f}_{l}^{i-1}])) $$
其中$\sigma$表示ReLU激活函数，$\mathcal{N}$是卷积神经网络（CNN），[]则表示通道拼接运算符。
解码完成后，我们就能得到每只手的完整纹理向量$\hat{t}_l, \hat{t}_r \in \mathbb{R}^{3 \times 206330}$。因此，我们的网络模型可表示为：
$$ \hat{I}=B i T T(I)=\left\{R(\hat{t}_{i},m_{i},p,l)\right\}_{i=l,r} $$
其中$\hat{I}$就是重建后双手的最终渲染图像。
#### 3.4. 损失函数
我们用于训练模型的损失函数如下。
重建损失。由于我们的方法旨在还原输入图像的真实外观，因此我们引入了重建损失$\mathcal{L}_{rec}$来衡量输入图像I与三张不同渲染图像之间的相似度：精细阶段的渲染图像$(\hat{I})$、粗糙阶段的渲染图像$(\hat{I}_{coarse})$，以及带有可见纹理的反照图渲染图像$(\hat{I}_{albedo})$。重建损失$\mathcal{L}_{rec}$的定义如下：
$$ \begin{aligned}\mathcal{L}_{rec}=\lambda_{rec}\|(\boldsymbol{I}-\hat{\boldsymbol{I}})\|_{1}+&\lambda_{rec}^{coarse}\|\boldsymbol{I}-\hat{\boldsymbol{I}}_{coarse}\|_{1}\\&+\lambda_{rec}^{albedo}\|\boldsymbol{I}-\hat{\boldsymbol{I}}_{albedo}\|_{1}\end{aligned} $$
不可见像素上的重建损失。仅靠可见信息不足以准确重建完整的手部纹理。即便考虑到对称性，也仍无法覆盖整个手部纹理。因此，对于两只手中均未观察到的像素，我们利用粗糙阶段得到的完整纹理。我们通过不可见区域掩码来衡量粗糙阶段估计的手部纹理与精细阶段估计的手部纹理之间的L1损失。$\mathcal{L}_{nv}$的定义如下：
$$ \mathcal{L}_{n v}=\sum_{i=l,r}\|((T(h_{i})-\hat{t}_{i})(1-v_{i})\|_{1} $$
其中$T(h_{i})$是粗糙阶段重建的手部纹理，$\hat{t}_{i}$是每只手在精细阶段重建的手部纹理。手部纹理的可见掩码记为$v_{i}$，而$1 - v_{i}$则代表纹理的不可见掩码。这些纹理会与可见及对称纹理重建损失、一致性损失一同被优化。
反照图一致性损失。反照图应独立于光照条件获得。为了获取准确的反照图，我们对不同光照条件$\hat{I}_{coarse,\hat{l}_{i}}$下单独渲染的图像$\hat{l}_{i}$进行处理，再通过反照图网络A得到反照图。我们新定义的反照图损失函数$\mathcal{L}_{alb}$用于计算不同光照下反照图之间的L1损失。因此，反照图损失项$\mathcal{L}_{alb}$的定义如下：
$$ \mathcal{L}_{a l b}=\sum_{i=1}^{n}\sum_{j=i+1}^{n}[\|A(\hat{I}_{c o a r s e,\hat{l}_{i}})-A(\hat{I}_{c o a r s e,\hat{l}_{j}})\|_{1}]. $$
在实验中，我们总共使用了三种不同的光源：重建光、不同方向的光以及不同颜色的光，以确保反照图网络A在不同光照条件下仍能稳定估计出反照图。
对称性损失。为了学习两只手的对称特征，我们引入了对称性损失项$\mathcal{L}_{sym}$，即左右手之间的L1损失。$\mathcal{L}_{sym}$的定义如下：
$$ \mathcal{L}_{s y m}=\lambda_{s y m}\|(\hat{t}_{l}-\hat{t}_{r})\|_{1} $$
总损失。综上所述，我们的损失函数定义如下：
$$ \mathcal{L}=\mathcal{L}_{r e c}+\lambda_{n v}\mathcal{L}_{n v}+\lambda_{a l b}\mathcal{L}_{a l b}+\lambda_{s y m}\mathcal{L}_{s y m} $$
其中，$\lambda_{rec}^{coarse} = 0.8$、$\lambda_{rec}^{albedo} = 0.4$、$\lambda_{nv} = 0.2$、$\lambda_{alb} = 0.2$、$\lambda_{sym} = 0.3$ 用于训练我们的模型，且在所有实验中均保持不变。
### 4. 实验
#### 4.1. 实验设置
我们的训练框架采用类似NeRF [^27] 的逐场景训练方式。给定场景的多张图像后，模型便能学习生成该场景的新视角。研究人员已尝试减少所需图像的数量，例如PixelNeRF [^47] 仅需一张或几张图像即可训练NeRF。此外，HARP [^17]、HandAvatar [^5]、HandNeRF [^10] 等方法 [^7] [^29] 均采用逐场景训练方式，需要数十张同一手部（场景）的多帧图像。而我们的方法利用纹理对称性和参数化纹理模型，仅需单张图像即可完成训练。
---
Table 1. Quantitative comparisons of BiTT, S2Hand [^6], HTML [^34] and HARP [^17]. Training data are from Interhand2.6M [^28] including all identities. For evaluations, novel poses and viewpoints are randomly selected from the same hand identity. In the case when not using GT mesh, we used IntagHand [^21] for obtaining meshes.
(a) Using GT mesh in all methods.
| Evaluation | Method | L1 $\downarrow$ | LPIPS $\downarrow$ | PSNR $\uparrow$ | MS-SSIM $\uparrow$ |
| Appearance Reconstruction | S2Hand [^6] | 0.0206 | 0.1340 | 26.39 | 0.8570 |
| HTML [^34] | 0.0256 | 0.1292 | 24.72 | 0.8152 |
| HARP [^17] | 0.0157 | 0.0696 | 28.11 | 0.9061 |
| BiTT(ours) | 0.0101 | 0.1019 | 30.41 | 0.9349 |
| Novel Poses | S2Hand | 0.0221 | 0.1343 | 25.70 | 0.8507 |
| HTML | 0.0255 | 0.1291 | 24.49 | 0.8153 |
| HARP | 0.0239 | 0.1266 | 25.79 | 0.8546 |
| BiTT(ours) | 0.0209 | 0.1261 | 26.54 | 0.8564 |
| Different Views | S2Hand | 0.0217 | 0.1320 | 25.73 | 0.8484 |
| HTML | 0.0254 | 0.1282 | 24.42 | 0.8133 |
| HARP | 0.0234 | 0.1189 | 25.97 | 0.8346 |
| BiTT(ours) | 0.0204 | 0.1092 | 27.79 | 0.8843 |
(b) Without using GT mesh in all methods.
| Evaluation | Method | L1 $\downarrow$ | LPIPS $\downarrow$ | PSNR $\uparrow$ | MS-SSIM $\uparrow$ |
| Appearance Reconstruction | S2Hand [^6] | 0.0264 | 0.1214 | 25.72 | 0.8897 |
| HTML [^34] | 0.0268 | 0.1207 | 24.48 | 0.8545 |
| HARP [^17] | 0.0237 | 0.1047 | 25.17 | 0.8697 |
| BiTT(ours) | 0.0131 | 0.1044 | 28.40 | 0.9093 |
| Novel Poses | S2Hand | 0.0280 | 0.1525 | 23.06 | 0.8092 |
| HTML | 0.0310 | 0.1299 | 23.46 | 0.8281 |
| HARP | 0.0256 | 0.1410 | 24.32 | 0.8419 |
| BiTT(ours) | 0.0223 | 0.1228 | 25.12 | 0.8423 |
| Different Views | S2Hand | 0.0244 | 0.1512 | 24.22 | 0.8335 |
| HTML | 0.0291 | 0.1297 | 24.22 | 0.8375 |
| HARP | 0.0251 | 0.1367 | 24.49 | 0.8507 |
| BiTT(ours) | 0.0210 | 0.1273 | 26.34 | 0.8674 |
Table 2. Quantitative comparisons between compared methods in RGB2Hands [^40] dataset. All training and testing images are randomly selected. As RGB2Hands has no ground truth mesh, we used IntagHand [^21] as an off-the-shelf model for two hand mesh reconstruction.
| Evaluation | Method | L1 $\downarrow$ | LPIPS $\downarrow$ | PSNR $\uparrow$ | SSIM $\uparrow$ | MS-SSIM $\uparrow$ |
| Appearance Reconstruction | S2Hand [^6] | 0.0179 | 0.0601 | 25.72 | 0.9459 | 0.9286 |
| HTML [^34] | 0.0203 | 0.0923 | 24.42 | 0.8927 | 0.9075 |
| HARP [^17] | 0.0155 | 0.0433 | 25.63 | 0.9309 | 0.9344 |
| BiTT(ours) | 0.0148 | 0.0683 | 26.02 | 0.9501 | 0.9323 |
| Novel Poses | S2Hand | 0.0222 | 0.0778 | 24.22 | 0.9326 | 0.8991 |
| HTML | 0.0233 | 0.0961 | 23.25 | 0.8829 | 0.8900 |
| HARP | 0.0208 | 0.0758 | 23.88 | 0.9043 | 0.9042 |
| BiTT(ours) | 0.0196 | 0.0774 | 24.54 | 0.9352 | 0.9046 |
我们的模型采用端到端方式进行训练。针对每个场景，训练过程包含700个迭代周期，学习率每200步减半，初始学习率为0.001。每个场景的训练过程可在7分钟内完成。
数据集。我们主要使用InterHand2.6M [^28] 数据集进行定量和定性评估，该数据集包含两只交互的手部图像。由于HARP [^17] 及基于NeRF的方法 [^5] [^10] [^29] 每个场景需要数百张图像用于训练，因此只能选取少数场景开展实验。得益于仅需单张图像的要求，我们的实验共使用了该数据集中的378个场景（图像），涵盖了全部26种手部身份。训练完成后，我们针对同一身份的不同姿势和不同视角对模型性能进行了评估。具体而言，每个场景评估了8种不同姿势和8个不同视角，共计产生6,048张测试图像。
我们还使用RGB2Hands [^40] 数据集对模型进行了评估。不过由于RGB2Hands数据集不提供多视角图像，我们采用不同姿势的图像进行评估。在RGB2Hands数据集的300个场景中，我们训练了该方法，并针对每个场景的40种不同姿势图像进行评估，总计产生12,000张测试图像。
针对每个数据集，我们在表3中列出了每只手部纹理中可见、不可见以及可使用的对称纹理像素的比例。利用对称信息，我们能够获取每只手高达60%的纹理；否则，从输入图像中能获得的完整纹理仅约35%。这表明利用双手之间的对称信息来从单张图像重建两只手的纹理是合理的。
评价指标。为了对不同外观模型进行定量比较，我们采用了一组常用于评估渲染图像保真度和质量的评价指标。具体包括L1、学习感知图像块相似度（LPIPS）[^50]、结构相似性指标（SSIM）[^41]、多尺度结构相似性指标（MS-SSIM）[^42] 以及峰值信噪比（PSNR）。
对比方法。我们将我们的方法与S2Hand [^6] 进行对比，后者通过逐顶点纹理渲染来重建单只手。HARP [^17] 和HTML [^34] 则是
---
Table 3. Pixel ratio comparison between left-hand, right-hand visible texture, usable symmetric texture, and invisible texture in our experiment dataset. Colors refer to the Fig. 5 mask label.
| Dataset | InterHand2.6M [^28] | RGB2Hands [^40] |
| Left-hand visible texture | 35.40% | 39.72% |
| Right-hand visible texture | 36.44% | 39.06% |
| Usable symmetric texture | 24.29% | 10.21% |
| Invisible texture | 19.89% | 24.95% |
Figure 5. This figure shows the visible, invisible, usable symmetric texture mask on the UV texture map from an image.
我们采用基于UV贴图渲染的方法来重建单只手，并对比了这些方法在外观质量上的表现。为了进行比较，我们将S2Hand、HTML和HARP算法扩展为可处理两只手的情况。基于隐式函数的方法[^5] [^7] [^10] [^29]并未纳入本次比较范围，因为这类方法难以直接扩展到两只手的情形，且训练时每个场景至少需要数百张图像。为了验证模型在几何对齐误差下的鲁棒性，我们给出了两张结果表：表1a中所有对比方法均使用真实网格作为输入，表1b中则不使用真实网格。在无法获取真实网格的情况下（如RGB2Hands数据集），我们会采用现成的IntagHand方法[^21]来初始化手部网格。
#### 4.2. 纹理重建效果评估
与现有方法的对比。我们在图6中展示了定性结果，在表1和表2中给出了定量对比数据。结果表明，BiTT的性能显著优于其他基线方法，尤其是在重建手部不可见部分方面。HTML [^34]和S2Hand [^6]无法呈现血管、皱纹和毛发等细节特征，而BiTT能够利用对称信息捕捉到这些个性化的细节特征。HARP [^17]在可见侧的外观表现较好（参考表1和表2），但缺乏重建不可见侧的能力，这些区域仅会显示均匀的颜色。值得注意的是，BiTT对几何对齐误差具有很好的鲁棒性，能保持较高的重建精度。
Figure 6. Qualitative results of HTML [^34], S2Hand [^6], HARP [^17], and BiTT rendered on novel-pose and viewpoint. The last two rows pertain to the RGB2Hands [^40] dataset, while the remaining rows are from the InterHand2.6M [^28] dataset.
即便不使用真实网格，该模型也因具备参数化模型的优势而表现出良好的性能。在RGB2Hands数据集上，表2所示的性能提升幅度要小于在InterHand2.6M数据集上的表现[^28]。这是因为RGB2Hands数据集中可用的对称纹理占比更低，如表3所示。BiTT的更多结果展示在图7中。
由于HandNeRF论文中未给出详细的实验描述，且相关模型与代码也未公开，我们根据其论文报道的结果对HandNeRF [^10]进行了定性对比。如图8所示，尽管我们的模型仅用单张图像训练，却能与HandNeRF相媲美地捕捉到双手的真实纹理。需要注意的是，HandNeRF是基于10个视角下的数百张图像训练的。此外，如图1和图7所示，BiTT还能在不同光照条件下进行渲染。
#### 4.3. 消融实验
对称信息与反照率一致性损失。我们对重建手部纹理过程中对称信息的使用进行了消融研究。我们替换了
---
Figure 7. Using only a single image input, our method reconstructs realistic detailed textures for both hands. We present some results having different poses, viewpoints with corresponding ground truth images, and relighted images.
Table 4. Effects of coarse stage estimation, use of symmetric texture information (Sym. Tex.), and albedo consistency loss. Results are the mean value evaluated on novel poses and viewpoints.
| Coarse Stage | Sym. Tex. | $\mathcal{L}_{alb}$ | LPIPS $\downarrow$ | PSNR $\uparrow$ | SSIM $\uparrow$ |
| ✓ | | | 0.1329 | 25.36 | 0.8940 |
| ✓ | ✓ | | 0.1230 | 26.21 | 0.9163 |
| ✓ | ✓ | ✓ | 0.1176 | 27.16 | 0.9199 |
BTR中的双向连接为单向连接，且省略了$\mathcal{L}_{sym}$。如表4所示，不使用对称信息会显著降低重建物体不可见侧面外观的性能。
我们还针对反照率一致性损失开展了消融实验。表4表明，反照率一致性损失能通过更精确地估计反照率图像来提升模型的整体性能。
### 5. 结论
在这项工作中，我们提出了一种从单张图像重建双手纹理的新方法，称为BiTT。首先，我们提出了双向纹理重建器，用于交互式地生成双手的完整纹理。其次，我们介绍了利用纹理参数模型来恢复纹理的方法。实验结果表明，我们的方法在定性方面优于现有方法。
Figure 8. Qualitative results of HandNeRF [^10] and BiTT.
在定量方面同样表现优异。我们相信，通过精准呈现用户个性化的手部模型，我们的工作能够在AR/VR应用中为用户带来逼真的体验。
局限性与未来工作。一个局限性在于：尽管BiTT通过纹理参数模型对几何错位具有鲁棒性，但仍然存在一些严重错位的网格会导致明显噪声的情况。未来的工作可以涉及采用能够通过精细纹理重建来优化3D网格的学习方法。另一项未来工作是将我们的系统扩展为能够利用生成网络检测并整合手部不可见侧的纹身或配饰 $^{[35]}$，从而进一步提升真实感。
致谢。这项工作部分得到了NST基金（CRC 21011，MSIT）、KOCCA基金（R2022020028，MCST）以及IITP基金（RS-2023-00228996，MSIT）的支持。
---
## 参考文献
[^1]: Thiemo Alldieck, Mihai Zanfir, and Cristian Sminchisescu. Photorealistic monocular 3d reconstruction of humans wearing clothing. In CVPR, 2022. 1,4
[^2]: Anil Armagan, Guillermo Garcia-Hernando, Seungryul Baek, Shreyas Hampali, Mahdi Rad, Zhaohui Zhang, Shipeng Xie, MingXiu Chen, Boshen Zhang, Fu Xiong, Yang Xiao, Zhiguo Cao, Junsong Yuan, Pengfei Ren, Weiting Huang, Haifeng Sun, Marek Hrz, Jakub Kanis, Zdeněk Krôoul, Qingfu Wan, Shile Li, Linlin Yang, Dongheui Lee, Angela Yao, Weiguo Zhou, Sijia Mei, Yunhui Liu, Adrian Spurr, Umar Iqbal, Pavlo Molchanov, Philippe Weinzaepfel, Romain Brégier, Grégory Rogez, Vincent Lepetit, and Tae-Kyun Kim. Measuring generalisation to unseen viewpoints, articulations, shapes and objects for 3d hand pose estimation under hand-object interaction. In ECCV, 2020. 1
[^3]: Seungryul Baek, Kwang In Kim, and Tae-Kyun Kim. Pushing the envelope for rgb-based dense 3d hand pose estimation via neural rendering. In CVPR, 2019. 1
[^4]: Seungryul Baek, Kwang In Kim, and Tae-Kyun Kim. Weakly-supervised domain adaptation via gan and mesh model for estimating 3d hand poses interacting objects. In CVPR, 2020. 1
[^5]: Xingyu Chen, Baoyuan Wang, and Heung-Yeung Shum. Hand avatar: Free-pose hand animation and rendering from monocular video. In CVPR, 2023. 2, 3, 4, 5, 6, 7
[^6]: Yujin Chen, Zhigang Tu, Di Kang, Linchao Bao, Ying Zhang, Xuefei Zhe, Ruizhi Chen, and Junsong Yuan. Model-based 3d hand reconstruction via self-supervised learning. In CVPR, 2021. 2, 4, 6, 7
[^7]: Enric Corona, Tomas Hodan, Minh Vo, Francesc Moreno-Noguer, Chris Sweeney, Richard Newcombe, and Lingni Ma. Lisa: Learning implicit shape and appearance of hands. In CVPR, 2022. 1, 2, 4, 5, 7
[^8]: Guillermo Garcia-Hernando, Shanxin Yuan, Seungryul Baek, and Tae-Kyun Kim. First-person hand action benchmark with rgb-d videos and 3d hand pose annotations. In CVPR, 2018. 1
[^9]: Shubham Goel, Angjoo Kanazawa, and Jitendra Malik. Shape and viewpoints without keypoints. In ECCV, 2020. 1,2
[^10]: Zhiyang Guo, Wengang Zhou, Min Wang, Li Li, and Houqiang Li. Handnerf: Neural radiance fields for animatable interacting hands. In CVPR, 2023. 2, 3, 5, 6, 7, 8
[^11]: Tao Hu, Liwei Wang, Xiaogang Xu, Shu Liu, and Jiaya Jia. Self-supervised 3d mesh reconstruction from single images. In CVPR, 2021. 2
[^12]: Tao Hu, Tao Yu, Zerong Zheng, He Zhang, Yebin Liu, and Matthias Zwicker. Hvtr: Hybrid volumetric-textural rendering for human avatars. In 3DV, 2022. 1
[^13]: Zheheng Jiang, Hossein Rahmani, Sue Black, and Bryan M Williams. A probabilistic attention model with occlusion-aware texture regression for 3d hand reconstruction from a single rgb image. In CVPR, 2023. 2
[^14]: Angjoo Kanazawa, Shubham Tulsiani, Alexei A. Efros, and Jitendra Malik. Learning category-specific mesh reconstruction from image collections. In ECCV, 2018. 1, 2
[^15]: Korrawe Karunratanakul, Jinlong Yang, Yan Zhang, Michael Black, Krikamol Muandet, and Tang. Siyu. Grasping field: Learning implicit representations for human grasps. In 3DV, 2020. 1
[^16]: Korrawe Karunratanakul, Adrian Spurr, Zicong Fan, Otmar Hilliges, and Siyu Tang. A skeleton-driven neural occupancy representation for articulated hands. In 3DV, 2021. 1
[^17]: Korrawe Karunratanakul, Sergey Prokudin, Otmar Hilliges, and Siyu Tang. Harp: Personalized hand reconstruction from a monocular rgb video. In CVPR, 2023. 2, 3, 4, 5, 6, 7
[^18]: Jihyun Lee, Junbong Jang, Donghwan Kim, Minhyuk Sung, and Tae-Kyun Kim. Fourierhandflow: Neural 4d hand representation using fourier query flow. In NIPS, 2023. 1
[^19]: Jihyun Lee, Minhyuk Sung, Honggyu Choi, and Tae-Kyun Kim. Im2hands: Learning attentive implicit representation of interacting two-hand shapes. In CVPR, 2023. 1
[^20]: Biwen Lei, Jianqiang Ren, Mengyang Feng, Miaomiao Cui, and Xuansong Xie. A hierarchical representation network for accurate and detailed face reconstruction from in-the-wild images. In CVPR, 2023. 1
[^21]: Mengcheng Li, Liang An, Hongwen Zhang, Lianpeng Wu, Feng Chen, Tao Yu, and Yebin Liu. Interacting attention graph for single image two-hand reconstruction. In CVPR, 2022. 1,6,7
[^22]: Ruilong Li, Julian Tanke, Minh Vo, Michael Zollhofer, Jurgen Gall, Angjoo Kanazawa, and Christoph Lassner. Tava: Template-free animatable volumetric actors. In ECCV, 2022.
[^23]: Xueting Li, Sifei Liu, Kihwan Kim, Shalini De Mello, Varun Jampani, Ming-Hsuan Yang, and Jan Kautz. Self-supervised single-view 3d reconstruction via semantic consistency. In ECCV, 2020. 1, 2
[^24]: Yuwei Li, Longwen Zhang, Zesong Qiu, Yingwenqi Jiang, Nianyi Li, Yuexin Ma, Yuyao Zhang, Lan Xu, and Jingyi Yu. Nimble: A non-rigid hand model with bones and muscles. ACM TOG, 2022. 2
[^25]: Zhiyuan Ma, Xiangyu Zhu, Guojun Qi, Zhen Lei, and Lei Zhang. Otvatar: One-shot talking face avatar with controllable tri-plane rendering. In CVPR, 2023. 1
[^26]: Luke Melas-Kyriazi, Christian Rupprecht, Iro Laina, and Andrea Vedaldi. Realfusion: 360 reconstruction of any object from a single image. In CVPR, 2023. 4
[^27]: Ben Mildenhall, Pratul P. Srinivasan, Matthew Tancik, Jonathan T. Barron, Ravi Ramamoorthi, and Ren Ng. Nerf: Representing scenes as neural radiance fields for view synthesis. In ECCV, 2020. 1,4,5
[^28]: Gyeongsik Moon, Shoou-I Yu, He Wen, Takaaki Shiratori, and Kyoung Mu Lee. Interhand2.6m: A dataset and baseline for 3d interacting hand pose estimation from a single rgb image. In ECCV, 2020. 2, 6, 7
[^29]: Akshay Mundra, Mallikarjun B R, Jiayi Wang, Marc Habermann, Christian Theobalt, and Mohamed Elgharib. Livehand: Real-time and photorealistic neural hand rendering. In ICCV, 2023. 2, 3, 4, 5, 6, 7
## [^30]: Atsuhiro Noguchi, Xiao Sun, Stephen Lin, and Tatsuya Harada. Neural articulated radiance field. In ICCV, 2021
---
[^31]: Michael Oechsle, Lars Mescheder, Michael Niemeyer, Thilo Strauss, and Andreas Geiger. Texture fields: Learning texture representations in function space. In ICCV, 2019. 4
[^32]: Keunhong Park, Utkarsh Sinha, Jonathan T. Barron, Sofien Bouaziz, Dan B Goldman, Steven M. Seitz, and Ricardo Martin-Brualla. Nerfies: Deformable neural radiance fields. In ICCV, 2021. 1
[^33]: Bui Tuong Phong. Illumination for Computer Generated Pictures. Association for Computing Machinery, 1998. 3, 4
[^34]: Neng Qian, Jiayi Wang, Franziska Mueller, Florian Bernard, Vladislav Golyanik, and Christian Theobalt. HTML: A Parametric Hand Texture Model for 3D Hand Reconstruction and Personalization. In ECCV, 2020. 2, 4, 6, 7
[^35]: Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, and Björn Ommer. High-resolution image synthesis with latent diffusion models. arXiv:2112.10752, 2021.
[^36]: Javier Romero, Dimitrios Tzionas, and Michael J. Black. Embodied hands: Modeling and capturing hands and bodies together. ACM TOG, 2017. 4
[^37]: Shunsuke Saito, Zeng Huang, Ryota Natsume, Shigeo Morishima, Angjoo Kanazawa, and Hao Li. Pifu: Pixel-aligned implicit function for high-resolution clothed human digitization. In ICCV, 2019. 4
[^38]: Soumyadip Sengupta, Angjoo Kanazawa, Carlos D. Castillo, and David W. Jacobs. Sfsnet: Learning shape, reflectance and illuminance of faces in the wild. In CVPR, 2018. 1
[^39]: Qiuhong Shen, Xingyi Yang, and Xinchao Wang. Anything-3d: Towards single-view anything reconstruction in the wild. arXiv:2304.10261, 2023. 4
[^40]: Jiayi Wang, Franziska Mueller, Florian Bernard, Suzanne Sorli, Oleksandr Sotnychenko, Neng Qian, Miguel A. Otaduy, Dan Casas, and Christian Theobalt. Rgb2hands: Real-time tracking of 3d hand interactions from monocular rgb video. ACM TOG, 2020. 2, 6, 7
[^41]: Zhou Wang, Alan C Bovik, Hamid R Sheikh, and Eero P Simoncelli. Image quality assessment: from error visibility to structural similarity. In IEEE TIP, 2004. 6
[^42]: Zhou Wang, Eero P Simoncelli, and Alan C Bovic. Image quality assessment: from error visibility to structural similarity. IEEE Transactions on Image Processing, 13(4):600–612, 2004. 6
[^43]: Shangzhe Wu, Ameesh Makadia, Jiajun Wu, Noah Snavely, Richard Tucker, and Angjoo Kanazawa. De-rendering the world's revolutionary artefacts. In CVPR, 2021. 2
[^44]: Yuliang Xiu, Jinlong Yang, Dimitrios Tzionas, and Michael J. Black. ICON: Implicit Clothed humans Obtained from Normals. In CVPR, 2022. 1, 4
[^45]: Yufei Ye, Shubham Tulsiani, and Abhinav Gupta. Shelf-supervised mesh prediction in the wild. In CVPR, 2021. 1, 2
[^46]: Yufei Ye, Abhinav Gupta, and Shubham Tulsiani. What's in your hands? 3d reconstruction of generic objects in hands. In CVPR, 2022. 1
[^47]: Alex Yu, Vickie Ye, Matthew Tancik, and Angjoo Kanazawa. pixelnerf: Neural radiance fields from one or few images. In CVPR, 2021. 5
[^48]: Chang Yu, Xiangyu Zhu, Xiaomei Zhang, Zhaoxiang Zhang, and Zhen Lei. Graphics capsule: Learning hierarchical 3d face representations from 2d images. In CVPR, 2023. 1
[^49]: Zhengdi Yu, Shaoli Huang, Fang Chen, Toby P. Breckon, and Jue Wang. Acr: Attention collaboration-based regressor for arbitrary two-hand reconstruction. In CVPR, 2023. 1
### [^50]: Richard Zhang, Phillip Isola, Alexei A Efros, Eli Shechtman, and Oliver Wang. The unreasonable effectiveness of deep features as a perceptual metric. In CVPR, 2018. 6
---
#### BiTT：基于单张图像的交互式双手双向纹理重建
补充材料
#### A. 数据集
本节详细介绍了我们在实验中使用的数据集。主要使用了InterHand2.6M [S5]，同时辅以RGB2Hands [S6]作为额外数据集。对于所有数据集，图像均被缩放至 $256 \times 256$ 像素。
InterHand2.6M [S5]。InterHand2.6M是通过采集交互式双手的多视角视频序列帧构建而成的。它配备了80台摄像机来捕捉受试者图像，这些受试者包括19名男性和7名女性，共计26名独特个体。我们选择了特定的摄像机视角以确保实验中有多样化的视角。我们使用了全部26个身份的数据，并随机选取了17个运动范围（ROM）内的姿势，用以验证模型在不同环境下的准确性。
RGB2Hands [S6]。我们展示了BiTT在RGB2Hands数据集上的实验结果。在RGB2Hands数据集中选取了4个不同的身份，随机挑选一张图像用于训练，再随机选取同一身份的另外40张不同姿势的图像。需要注意的是，RGB2Hands中的图像分辨率较低，且双手通常显示同一侧的手部（详见主论文中的表3），因此它不太适合用来展示基于纹理对称性的方法。相较于InterHand2.6M，该方法所获得的性能提升相对不那么显著。
#### B. 基准方法
S2Hand [S7]。我们扩展了原本用于单手重建的S2Hand的功能，使其能处理双手情况。我们首先将编码器的特征维度翻倍，并为每只手使用独立的纹理回归层。在利用双手的对称信息的基础上，为每只手初始化相同的平均纹理颜色。为了公平比较，我们使用了真实的手部网格和姿态数据。
HTML [S8]。我们利用无阴影版本的左右手主要成分。在粗略阶段，我们使用HTML网络来估计每只手的纹理向量。随后将该纹理向量与对应的主要成分相乘，从而生成完整的手部UV贴图。为了训练HTML网络，我们采用了逐像素的L1重建损失函数。
Figure 9. This figure shows the illustration of the albedo consistency loss.
HARP [S9]。HARP利用单目视频中的可见像素值来优化手部纹理。优化HARP时使用了包含4帧手部图像的单目视频。InterHand2.6M [S5]中光源点数超过300个，阴影发生率较低。因此，我们移除了HARP中的阴影渲染部分，仅优化输入序列帧中的像素值。
#### C. 实现细节
在本节中，我们将详细介绍具体的实现架构。我们采用PyTorch进行实现。我们的工作基于HTML [S8] UV纹理贴图模板，该UV贴图的尺寸为$1024 \times 1024$。
反照率网络。反照率网络直接采用U-Net结构 [S1]，其输入和输出均为图像。我们在编码层使用LeakyReLU [S2]激活函数，在解码层使用ReLU激活函数。在反照率网络中，编码
---
Figure 10. This figure shows the effectiveness of albedo consistency loss. In the process of reconstructing a hand from a given image and subsequently rendering it under two distinct lighting conditions, we generate three reconstructed and relit hand images. With three reconstructed/relightened hands, we estimate the albedo image for each. From the depicted images, we can find that utilizing albedo consistency loss can steadily estimate the albedo image, even when subjected to varying lighting conditions.
层的输入通道数逐步增加至64、128、256和512通道。编码层之后，解码层将特征维度分别缩减为1024、512、256和128通道。这种缩减是通过将编码后的特征与解码后的特征拼接来实现的，同时通道维度也会翻倍。每个解码层中，我们均采用最近邻模式将特征上采样2倍。
光照网络。光照网络采用一个编码器网络，输入为一幅图像。光照网络的输出记为L，是一个12维向量。该向量由不同的分量组成：$L_{color}$、$L_{diff}$、$L_{spec}$和$L_{direction}$，每个分量均为3维向量。$L_{color}$、$L_{diff}$和$L_{spec}$的值被调整在0.2到1之间。我们采用ReLU作为激活函数。
光照网络L从输入图像开始，将特征维度依次提升至32、64、128、256。最终激活函数采用Tanh函数。
HTML网络。HTML [S8]网络也采用与光照网络类似的编码器网络。HTML网络在粗略阶段用于估计双手的HTML向量。HTML网络的输出是一个$H(I) \in \mathcal{R}^{202}$向量，其中I为输入图像，H为HTML网络。在这202个维度中，前101个特征代表左手的HTML向量$h_l$，后101个特征代表右手的HTML向量$h_r$。随后将每个向量与对应的主要成分相乘，以生成完整的UV贴图。与光照网络类似，我们在每个编码层都使用ReLU激活函数。
对于输入图像，HTML网络H会对特征进行编码，将其维度提升至64、128、256、512和202。最终激活函数采用Tanh函数。
双向纹理重构器（BTR）。双向纹理重构器（BTR）基于ResNet [S3]结构。每层包含2个残差块。经过这2个连续的残差块后，特征尺寸会减半。每个残差块之后，特征维度会依次增至16、64、128和256。两只手的编码网络共享相同的参数权重。
解码部分由一个双向解码模块组成。我们共有3个解码模块，其输入特征维度分别为48、192、384和768（$3 \times$，即编码通道数）。最终我们使用sigmoid激活函数来确保纹理像素颜色介于0到1之间，从而避免渲染为2D图像时出现异常颜色。
#### D. 反照率一致性损失
反照率一致性损失旨在确保不同光照条件下渲染的图像所得到的反照率图具有一致性。图9展示了反照率一致性损失的概念示意图。在本研究中，我们重建了手部图像以及另外两张经过重新打光处理的图像。反照率网络A会估算每张图像的反照率图。在实验中，我们构建了两种不同的新光照条件：新光照1的特点是光源位于下方，其亮度为白光的一半；而新光照2在颜色上与新光照1不同，该颜色与重建后的光线颜色一致。通过应用反照率一致性损失，我们确保了这三种不同光照条件下得到的反照率图彼此保持一致。这有助于在光照发生变化时仍能准确呈现物体的反射特性。
---
其亮度为白光的一半。另一方面，新型光源2在颜色上与新型光源1存在差异，而这种颜色与重建后的光源颜色一致。通过应用反照率一致性损失，我们确保了在这三种不同光照条件下得到的反照率图彼此保持一致。这有助于在光照发生变化时，仍能准确呈现物体的反射特性。
图10展示了反照率一致性损失的有效性。结果表明，与使用该损失相比，应用反照率一致性损失能够更精确、更一致地估算反照率图像。
Figure 11. Qualitative results of BiTT on Re:InterHand [S5] dataset. We present a relightened image, and a novel pose of hands in the same lighting environment of input image. The identical novel pose images effectively show the differences of estimated lighting condition.
### E. 主观测试
我们邀请了27名用户参与主观测试，共回答72个问题，总计获得1,944份有效反馈。每个问题都会展示每种方法生成的随机图像及其对应的真实图像，用以评估图像的相似度和纹理真实感。反馈采用5级离散评分制，范围从“差”（1）到“优秀”（5）。
| Correlation value of L1 to MOS | Correlation value of PSNR to MOS | Correlation value of SSIM to MOS |
| Similarity | -0.119 | 0.177 | 0.303 |
| Realism | -0.202 | 0.151 | 0.358 |
Figure 12. The subjective test results.
与基线方法相比，我们的方法取得了最佳得分。S2Hand [S7]的得分较低，原因是顶点渲染存在纹理模糊的局限性。HTML [S8]在真实感方面表现突出，但在相似性方面有所欠缺。HARP [S9]的得分介于“一般”（3）到“良好”（4）之间，显示出其在小样本学习方面的困难。图12展示了主观测试结果，同时给出了L1、PSNR和SSIM指标的皮尔逊相关系数。
#### F. 更多定性结果
本节在图14中展示了我们重建的两只手图像的额外定性结果。即便真实网格与输入手部图像并非完全对齐，我们提出的BiTT方法仍能呈现出逼真的手部纹理。由于手部纹理参数化模型（HTML）[S8]对噪声较为敏感且无法表示背景颜色，因此当存在轻微几何错位时，BiTT渲染的图像不会在手纹理上出现背景像素颜色。从左至右，各列分别对应输入图像、重建图像、新姿态、带真实图像的新视角以及重新打光后的手部图像。
Re:InterHand [S5]数据集上的结果。Re:InterHand [S5]采用了RelightableHands [S4]方法，生成了一个包含两只交互手部在多种不同环境下重新打光处理的大型数据集。RelightableHands提出了用于创建可重新打光手部的神经渲染方法。
---
虚拟形象。这一过程需要配备多台摄像机和光源的专业捕捉工作室。需要注意的是，我们的方法仅需单张图像输入，AR/VR系统中的最终用户便能轻松生成逼真的个性化双手虚拟形象。
由于Re:InterHand已经过学习过程，生成的图像在手部细节（如皱纹、毛发和血管）方面的清晰度不如直接由摄像机拍摄的InterHand2.6M [S5]数据集。我们在图11中展示了BiTT在Re:InterHand数据集上的若干定性结果。该图表明，即便在多样化的环境设置下，BiTT也能根据输入图像准确重建可重新打光的两手虚拟形象。
Input Image
w/o Shadow
Figure 13. Visualization of the results with shadow rendering applied in BiTT method.
阴影构建的应用。我们的方法基于网格渲染，因此能轻松兼容计算机图形学中的传统概念。我们直接采用了[S9]中提出的方法来实现可微自阴影渲染。由于该方法涉及双手，因此会面临双手相互遮挡以及朝向光源的自遮挡等难题。尽管存在这些复杂性，它仍能有效捕捉由自遮挡和双手间遮挡产生的阴影效果。相关结果如图13所示。由于InterHand2.6M [S5]是在多光源环境下采集的数据，应用阴影渲染后往往与输入图像存在差异；不过在单点光源照明的场景中，它能提升渲染出的手部的真实感。
### 参考文献
[S1] Olaf Ronneberger、Philipp Fischer和Thomas Brox。U-net：用于生物医学图像分割的卷积网络。
发表于2015年MICCAI会议。1
[S2] Andrew L. Maas、Awni Y. Hannun和Andrew Y. Ng。修正线性单元能改善神经网络的声学模型。发表于2013年ICML会议。1
[S3] Kaiming He、Xiangyu Zhang、Shaoqing Ren和Jian Sun。用于图像识别的深度残差学习。发表于2016年CVPR会议。2
[S4] Shun Iwase、Shunsuke Saito、Tomas Simon、Stephen Lombardi、Timur Bagautdinov、Rohan Joshi、Fabian Prada、Takaaki Shiratori、Yaser Sheikh、Jason Saragih。可重新打光的手部：可 articulated 手部模型的高效神经重光照技术。发表于2023年CVPR会议。3
[S5] Gyeongsik Moon、Shunsuke Saito、Weipeng Xu、Rohan Joshi、Julia Buffalo、Harley Bellan、Nicholas Rosen、Jesse Richardson、Mallorie Mize、Philippe de Bree、Tomas Simon、Bo Peng、Shubham Garg、Kevyn McPhail、Takaaki Shiratori。可重新打光的三维交互手部数据集。发表于2023年NIPS会议。
[S5] Gyeongsik Moon、Shoou-I Yu、He Wen、Takaaki Shiratori和Kyoung Mu Lee。Interhand2.6m：基于单张RGB图像的三维交互手部姿态估计数据集及基准模型。发表于2020年ECCV会议 1, 4, 5
[S6] Jiayi Wang、Franziska Mueller、Florian Bernard、Suzanne Sorli、Oleksandr Sotnychenko、Neng Qian、Miguel A. Otaduy、Dan Casas和Christian Theobalt。Rgb2hands：从单目RGB视频中实时追踪三维手部交互。发表于2020年ACM TOG期刊。1
[S7] Yujin Chen、Zhigang Tu、Di Kang、Linchao Bao、Ying Zhang、Xuefei Zhe、Ruizhi Chen和Junsong Yuan。基于模型的三维手部重建技术：通过自监督学习实现。发表于2021年CVPR会议。1, 3
[S8] Neng Qian、Jiayi Wang、Franziska Mueller、Florian Bernard、Vladislav Golyanik和Christian Theobalt。HTML：一种用于三维手部重建与个性化的参数化手部纹理模型。发表于2020年ECCV会议 1, 2, 3
[S9] Korrawe Karunratanakul、Sergey Prokudin、Otmar Hilliges和Siyu Tang。Harp：基于单目RGB视频的个性化手部重建。发表于CVPR，2023年。1、3、4
---
Figure 14. More qualitative results of reconstructed hands rendered on the novel pose, novel viewpoint, and relightened image in the dataset InterHand2.6M [S5].