# HARP：基于单目RGB视频的个性化手部重建
Korrawe Karunratanakul、Sergey Prokudin、Otmar Hilliges、Siyu Tang，苏黎世联邦理工学院，瑞士
{korrawe.karunratanakul,sergey.prokudin,otmar.hilliges,siyu.tang}@inf.ethz.ch
输出结果：一个具有照片级真实感、可动画化且能实时渲染的个性化手部虚拟形象。
Figure 1. Given a short monocular video of a hand and a coarse hand pose and shape estimation for initialization, we reconstruct a photo-realistic hand avatar exhibiting faithful personalized appearance and geometry using standard explicit representations and a differentiable renderer without any neural networks. Compared to the baselines, our hand avatar demonstrates better-reconstructed geometry and appearance. The hand avatar can be used to render high-fidelity hand images in novel views and poses in real-time, which serves as a foundation for many AR/VR applications.
## 摘要
我们提出了HARP（手部重建与个性化系统），这是一种个性化手部虚拟形象创建方法。它以人类手部的短单目RGB视频为输入，重建出外观和几何结构都高度逼真的手部虚拟形象。与主流的神经隐式表示方案不同，HARP采用基于网格的参数化手部模型、顶点位移贴图、法线贴图和反照率贴图来建模手部，无需任何神经组件。这种显式表示方式使得手部虚拟形象的创建过程具备真正的可扩展性、鲁棒性和高效性，这一点已通过我们的实验得到验证。HARP可通过手持手机拍摄的短序列视频，利用梯度下降算法进行优化，并且可直接应用于具备实时渲染能力的AR/VR场景中。为实现这一功能，我们精心设计并实现了一种考虑阴影因素的可微渲染方案，该方案能够很好地应对手部运动中常见的高程度关节活动及自遮挡现象，也能适应复杂的光照条件。它还能泛化到未见过的姿势和新视角，生成照片级真实感的手部动画渲染结果。此外，学习得到的HARP表示还可用于提升复杂视角下的3D手部姿态估计精度。通过对外观重建、新视角与新姿势合成以及3D手部姿态优化进行的深入分析，验证了HARP的核心优势。它是一种专为AR/VR设计的个性化手部表示方式，具备卓越的逼真度和可扩展性。
### 1. 引言
AR/VR设备的发展正在催生一种新的现实——物理世界与数字世界相互融合。在这些环境中，人类手部是实现沉浸式交互体验的关键元素，它是人与数字世界之间的主要接口。因此，为AR和VR应用捕获、重建并动画化逼真的数字手部至关重要。若缺乏
---
这种能力，AR/VR消费产品的真实感和实用性将始终受到限制。
尽管手部虚拟形象创建研究具有重要意义，但迄今为止相关研究仍十分有限。大多数研究[^8] [^37] [^62] 侧重于在MANO等参数化手部模型基础上构建外观空间[^65]。这种外观空间虽能以紧凑的方式表示手部纹理，但在处理非标准纹理时的表现力相当有限。近期出现的LISA模型[^12]则提供了一种替代方案，它利用隐式函数来表示手部几何与纹理颜色场。不过，要在LISA中训练出新的身份模型，需要多视角采集设备，以及大量的数据和计算能力。在面部与身体虚拟形象创建领域，近期也有不少研究利用隐式函数[^19] [^42] [^43] [^77] 或基于NeRF的体渲染技术[^44] [^41] [^56] [^80]。像HumanNeRF这样的基于NeRF的方法[^80]虽然能生成令人信服的新视图合成结果，但在关节活动复杂的部位仍会出现模糊伪影，且难以轻松导出到其他应用中。
我们认为，要让AR/VR用户能够便捷地创建手部虚拟形象，所需的方法需满足以下要求：(1) 精确性：能够精准重建个性化的手部外观与几何结构；(2) 可扩展性：利用普通摄像头即可获取手部虚拟形象；(3) 鲁棒性：能够应对分布外外观以及手指与手掌间的自阴影问题；(4) 高效性：具备实时渲染能力。
为此，我们提出了HARP——一种个性化手部重建方法，它能根据手机拍摄的短时长RGB视频来创建逼真的手部虚拟形象。HARP利用参数化手部模型、显式外观描述，以及可微光栅化器与着色器，以“分析-合成”的方式重建手部虚拟形象与环境光照，且无需依赖任何神经网络组件。我们发现人类手部具有极高的灵活性，在拍摄序列中观察到的手部外观变化极为显著，这些变化主要源于关节活动与光线相互作用。学习神经表征（如隐式纹理场[^12]或基于NeRF的体渲染表征[^73]）容易过度拟合于短单目训练序列，很难很好地泛化到复杂且灵活的手部动作上。通过利用显式表征合理分离几何结构、外观与自阴影，HARP能够显著提升重建质量，在新视图和新动画中生成栩栩如生的渲染结果，即便手部进行高度复杂的动作也是如此。此外，由于采用显式表征，HARP的结果能够方便地导出到标准图形应用程序中。
总而言之，HARP的主要优势在于：(1) HARP是一种简单的个性化手部虚拟形象创建方法，仅需一段单目视频即可重建高保真外观与几何结构。HARP证明了：借助可微光栅化器和着色器构成的显式表示，就足以生成逼真的手部虚拟形象。(2) 通过HARP生成的手部虚拟形象具备可控性，且能与标准光栅化图形管线兼容，从而可在AR/VR应用中实现照片级渲染。(3) 此外，HARP还可用于改善在复杂视角下的3D手部姿态估计效果。我们在外观重建、新视角与姿态合成以及3D手部姿态优化等任务上开展了大量实验。与现有方法相比，HARP的精度更高、鲁棒性更强且泛化能力更佳，同时具备更优的可扩展性。
### 2. 相关工作
手部模型。手部模型对于紧凑地表示手部表面并将其应用于下游任务至关重要。许多模型依赖显式的网格表面[^36] [^37] [^47] [^65] [^83]，而另一些模型则通过神经网络隐式地表示表面[^12] [^25] [^26]。广泛使用的MANO模型[^65]通过姿态向量和形状向量来表示手部，利用PCA模型和线性混合蒙皮技术生成手部网格。虽然像MANO这样的参数化模型能够处理各种手部几何形态，但其表现力受限于所学习的参数空间。另一种方法是直接存储顶点位置以拓展几何表示范围[^18] [^38] [^45] [^70]，但这种方式会阻碍模型的重新动画化处理。相反，针对手部外观建模的研究相对较少。其中值得注意的成果包括HTML[^62]——一种用于在MANO模型基础上推断UV纹理的线性外观模型；以及NIMBLE[^37]——手部骨骼模型的扩展[^36]，它能够推断表面外观，包括反照率、高光和法线贴图。尽管这些模型能生成逼真的纹理，但由于其外观空间的线性特性以及可用的外观数据有限，它们难以适配新的身份特征。在本研究中，我们为参数化模型增添了个性化几何调整功能，同时引入显式的反照率贴图和法线贴图，从而能够生成可动画处理的个性化几何结构，并获得比基于PCA的纹理更强的纹理表现力。
几何重建。要构建手部虚拟形象，首先需从输入图像中提取手部几何结构，这一课题早已受到广泛关注[^1] [^4] [^6] [^51] [^52] [^66] [^74] [^85]。为了估算手部表面，这些方法通常会利用MANO模型中的统计先验，来预测其姿态和形状参数。此类方法的一个优势在于：它能通过促使手部形状趋近于平均形状来防止几何结构塌陷[^21] [^26]。为了克服MANO形状空间的这种表现力局限，可使用卷积神经网络（CNN）直接估算顶点位置……
---
网格拓扑的表征[^10] [^18] [^31] [^32] [^45]。Lin等人[^38]用Transformer模型替换卷积操作[^76]，在各种数据集上取得了最先进的结果。另外，手部表面也可以用隐式函数来表示[^12] [^25] [^26]。借助HALO[^25]，任何关键点估计方法都能用于估算手部几何形状[3, 14, 17, 23, 48–50, 72, 75, 84, 89]。给定多视角图像中的真实手部姿态，可微分光线追踪技术也能用来优化标注结果[^27]。在本研究中，我们利用METRO[^38]的预测结果作为初始化，以优化个性化几何模型。
外观表征。目前已提出众多方法，用于从图像或视频中学习和估计有衣物遮挡的人体[^22] [^34] [^54] [^59] [^61] [^68]以及面部[^2] [^15] [^16] [^19] [^29] [^56]的外观，其中包括利用NeRF[^44]来隐式表示外观的方法[^56] [^57]。为建模人体，也可将姿态信息用作条件，以变换人体化身的光照场[^9] [^55] [^73] [^80] [^82]。然而，由于手部关节活动度极高，这些模型并不适用于手部外观建模。此外，为使这些方法能兼容传统图形应用程序，还需进行网格提取。相比之下，关于手部外观表征的研究较少[^67]。虽然LISA[^12]和HandAvatar[^7]都能同时学习隐式颜色场与隐式表面表征，但它们需要大量图像来训练特定于个体的形状与外观模型。给定一张图像，S2hand[^8]会利用MLP来估计顶点颜色、光照以及MANO参数。与此同时，Wang等人提出了SunStage[^78]，这是一种室外面部重建方法，与我们的方法有相似之处，尤其是都采用了显式网格表征与可微分渲染技术。在本研究中，我们提出了一种显式手部外观模型及优化流程，既能捕捉精细的手部纹理，又能兼顾光照与阴影效果。
### 3. 方法
概述。HARP的概述如图2所示。给定一段包含N帧的短单目RGB手部视频，我们便能重建出具有个性化形状与纹理的逼真手部化身。具体而言，我们的方法会输出一个三角形网格M，其中包含顶点V和面片F，以及其UV纹理——该纹理被分解为反照率贴图和法线贴图。我们通过分析-合成法来优化个性化手部网格M、反照率贴图和法线贴图，具体做法是将输入图像与利用可微分渲染框架渲染出的重建模型M的图像进行对比。
我们的方法侧重于效率、鲁棒性和可扩展性，同时能保持高质量的手部外观。基于这一理念，我们采用了以下技术：(1) 显式表示（网格、法线贴图和反照率贴图），这些可以轻松导出到任何图形应用程序；(2) 直接优化显式外观，无需依赖预定义的外观空间，因此既不需要预训练，也不需要大量训练图像；(3) 显式且高效的光栅化和着色过程，能够在渲染质量和计算成本之间取得良好平衡。
#### 3.1. 手部表示
模板模型。我们的手部模板模型基于MANO [^65] 模型构建，我们将其网格分辨率提升至更高水平，并允许表面顶点相对于模板发生形变。具体来说，我们对MANO模板进行线性细分，将顶点数量从778个增加到3093个，从而让模板能够捕捉更多表面细节。该细分过程是可微分的，因此能够将梯度反向传播至MANO姿态参数 $\gamma$ 和形状参数 $\beta$。此外，MANO手部模型在腕部处被截断，这与实际情况不符——现实中手部与手臂相连，且前景掩码也不会将腕部单独分离出来。因此，我们以SMPLX [^58] 为基础构建了另一个模板，将手臂在肘部处截断，以便根据可用的掩码进行手部与手臂的拟合。它们与系统其余部分的交互方式保持不变。
几何细化。为了利用更高的网格分辨率来呈现更精细的几何细节，我们允许每个已定位的顶点沿顶点法线方向根据个性化的顶点位移D发生额外形变。不含手臂的已定位手部顶点坐标可通过以下公式获得：
$$ V=\mathcal{S}(\mathcal{M}(\gamma,\beta))+D, $$
$$ \mathcal{S}:\mathbb{R}^{778\times3}\to\mathbb{R}^{3093\times3}, $$
其中 $\mathcal{M}$ 是MANO函数，它以姿态 $\gamma$ 和形状 $\beta$ 为输入，输出已定位的网格顶点坐标；S为网格细分函数。顶点位移向量D具有个体特异性，我们通过与其他参数一同优化来获取它。
纹理。我们将手部皮肤建模为具有反照率贴图a的朗伯表面，该贴图针对每个受试者在UV空间中定义。此外，为了在不对网格进行上采样的情况下添加高频细节，我们利用UV空间的法线贴图，在计算3D表面点x处的光照时，可将其与表面法线 $\hat{N}$ 结合使用。
#### 3.2. 考虑阴影的可微渲染
可微渲染有多种方案，比如可微路径追踪器 [^53]、可微光栅化器 [^40]、神经渲染器 [^28]，或是近期开发的基于NeRF的体积渲染 [^44]。路径追踪器以其逼真的渲染效果和材质属性的显式分解能力而著称。
---
Figure 2. Method Overview. Given a short monocular RGB video of a hand, our hand avatar creation method includes two steps: (1) coarse hand pose and shape estimation for initialization; (2) an optimization framework to reconstruct the personalized hand geometry and appearance. The hand geometry is first rasterized and combined with a normal map. Then, the shader combines the albedo, geometry, and lighting to render the personalized hand. The optimization solves the hand and scene parameters using only the input images.
不过，它的计算成本很高，且尚未被证明能适用于高度关节化的物体 [^20] [^53]。基于NeRF的方法 [^73] [^80] [^87] 以及基于隐式纹理的方法 [^12] 往往计算开销较大；由于它们利用多层感知机来近似光线与关节化部位的相互作用，因此渲染结果可能会模糊，且自阴影会被嵌入纹理表示中。
在这项工作中，我们证明了要从一段短视频序列中创建逼真的手部虚拟形象，并不需要依赖神经隐式表示，比如神经体积渲染。标准的显式几何与外观表示，配合精心实现的可微渲染方案，便能在质量、速度以及与其他图形应用程序的兼容性之间取得良好平衡。
为了在相机视图中渲染手部，我们首先利用可微光栅化器 [^63] 来确定从相机视角可见的表面。随后我们使用不含镜面反射分量的Phong模型 [^60] 来计算表面点x处的光照，也就是颜色：
$$ \begin{array}{r l}{I_{x}}&{=k_{a}i_{a}+\displaystyle\sum_{m\in\mathrm{l i g h t s}}k_{d}i_{m,d}(\hat{L}_{m}\cdot\hat{N})}\end{array} $$
其中 $k_a$ 是环境反射常数，$k_d$ 是漫反射常数，$i_a$ 和 $i_{m,d}$ 是照射到漫反射表面的光源强度，$\hat{N}$ 是点x处的法线，$\hat{L}_m$ 是从表面点指向各光源的光线。我们发现，仅使用一个主要光源（$|m|=1$）就能在计算成本与渲染质量之间取得良好平衡；这一结论的前提是：室内场景中的硬阴影通常由最近的光源产生，室外场景则由太阳产生。
自阴影现象。值得注意的是，Phong模型并未考虑自阴影现象，而这种现象常出现在手指给其他手指及手掌投射阴影时。为了应对这种情况，我们在漫反射分量中加入了关于光线m在点x处的可见性项 $V(x, m)$，使其变为 $k_d(\tilde{L}_m \cdot \tilde{N})V(x, m)i_{m,d}$。我们通过两步光栅化网格来计算可见性V。我们将计算机图形学中的经典阴影映射思想 [^81] 整合到了我们的可微流程中。
具体计算步骤如算法1所示。z缓冲区 $Z_{m}$ 是从相机视角看到的深度图像 $cam_{m}$。如果光源位置距离手部超过1米，我们会将其投影到1米距离处。我们使用Sigmoid函数来确保梯度平滑，其中偏差项b=0.005，缩放系数s=1000。为了生成更柔和的阴影，我们使用了百分比更接近过滤技术 [^64]，即对附近点的可见性值取平均值。这些可见性值随后被用于将自阴影效果整合到流程中。需要注意的是，我们的自阴影实现在几何与外观方面都是可微的。该实现与pyTorch3D [^63] 包兼容，并将公开发布。
```pseudo
// Algorithm 1: Visibility $V(x, m)$ from light m
1: Place virtual camera $cam_{m}$ at light m pointing at hand
2: Compute z-buffer $Z_{m}(\cdot)$ from $cam_{m}$
3: Get 3D points $\{X_{hit}\}$ seen from the actual camera
4: for $x \in X_{hit}$ do
5: transform x to $cam_{m}$ coordinate
```
```text
$x^{m} = T_{m}(x)$
```
6: 获取 $x^{m}$ 的二维像素坐标
$x^{2d} = \pi(x^{m})$
7: 计算到光源的距离
$d_{m \to x} = ||x - m||$
8: $V(x, m) = \text{Sigmoid}(s(Z_{m}(x^{2d}) - d_{m \to x} + b))$
9: 结束循环
---
#### 3.3. 优化
为了获取描述个性化手部的参数，我们利用短RGB视频对参数进行优化。优化目标是最小化输入图像与通过所提出的可微渲染流程渲染出的手部图像之间的差异。对于每个受试者，我们优化的目标是一个由几何对齐项 $E_{geo}$ 和外观项 $E_{app}$ 组成的联合目标：
$$ \begin{array}{r l}{E}&{{}=E_{g e o}+E_{a p p},}\end{array} $$
其中 $E_{geo}$ 侧重于网格配置，$E_{app}$ 则确保渲染结果的外观与输入图像一致。
几何优化目标。在几何方面，目标是使渲染出的轮廓与手部掩码相匹配，同时满足三维网格约束。几何优化目标独立于外观定义如下：
$$ \begin{array}{r l}{E_{g e o}}&{{}=w_{s i l}\cdot E_{s i l}+E_{r e g},}\end{array} $$
其中 $E_{sil}$ 表示轮廓差异项，$E_{reg}$ 表示网格正则化项，w 为各项权重。
轮廓差异项是指手部掩膜与渲染后的轮廓之间的 $l_{1}$-差异 $S_{render}$：
$$ E_{{s i l}}=|S_{{i n}}-S_{{r e n d e r}}|, $$
其中 $S_{in} \in \{0,1\}^{H \times W}$ 是输入的双值手部掩码，可通过现成的分割工具 [^24] 获得。
为防止优化后的网格发生塌陷，我们采用了以下组合式三维网格正则化方法：
$$ \begin{array}{r l}{E_{r e g}}&{{}=E_{i n i t}+E_{v e r t s}+E_{l a p}+E_{n o r m}+E_{a r a p},}\end{array} $$
其中每一项都配有对应的权重。
项 $E_{init}$ 用于惩罚关键点偏离初始姿态的程度，偏差量用 $l_1$ 距离衡量。顶点偏移正则化项 $E_{verts}$ 通过 $l_2$ 范数来控制顶点与MANO网格之间的偏差，使其尽可能小：$E_{verts} = \|D\|^2$。
网格顶点 V 通过拉普拉斯网格正则化器 [^13] $E_{lap}$ 以及定义在姿态网格上的法向一致性正则化器 $E_{norm}$ 进行正则化。
项 $E_{arap}$ 即为“尽可能刚性”项 [^71]，它能使三维网格更具刚性，并将长度变化分散到多条边上。边长差异是相对于MANO模板定义的：
$$ \begin{array}{r l}{E_{a r a p}}&{=\sum_{v}^{V}\sum_{u\in\mathcal{N}(v)}\|\|v_{t}-u_{t}\|-\|v^{*}-u^{*}\|\|^{2},}\end{array} $$
其中 $\mathcal{N}(v)$ 是顶点 v 的相邻顶点，$v_t$ 是帧 t 中的顶点，$v^*$ 则是MANO模板中的顶点。
外观优化目标。外观项 $E_{app}$ 用于衡量输入图像与渲染图像之间的相似度。需要注意的是，由于纹理是映射到三角网格上进行渲染的，因此外观项也会受到几何变化的影响。我们将外观项 $E_{app}$ 定义为：
$$ \begin{array}{r l}{E_{a p p}}&{{}=w_{p h o t o}\cdot E_{p h o t o}+w_{v g g}\cdot E_{v g g}+E_{a p p\_{r} e g}}\end{array} $$
其中 $E_{photo}$ 是输入图像与预测图像之间逐像素的 $l_1$ 颜色差异，$E_{vgg}$ 是VGG损失 [^33]，它通过比较利用VGG模型 [^69] 提取的特征来捕捉两幅图像之间的感知差异，而 $E_{app\_reg}$ 则是正则化项，用于保证反照率和法向图在局部范围内平滑 [^87]（详情见附录）。
初始化。在优化过程中，我们使用手部姿态估计器METRO [^38] 输出的逐帧预测结果来初始化手部参数。由于METRO直接预测网格坐标，并未使用MANO的姿态和形状空间，因此我们通过最小化预测结果与MANO网格对应顶点之间的 $\gamma$ 距离，来获得等效的MANO姿态参数 $\beta$ 和形状参数 $l_2$。
优化过程。概括来说，我们优化的参数包括：手部几何参数：(1) $\beta$，即全局MANO形状参数；(2) D，即逐顶点位移；(3) $\gamma$，即逐帧MANO姿态参数，其中包括(4)逐帧平移量；全局外观参数：(5) a，即UV空间的反照率；(6) UV空间的法向图；光照参数：(7) $x_{lights}$，即光源位置；(8) k，即全局反射常数。图2展示了我们的优化流程概览，更多细节见附录。
### 4. 实验
数据集。关于手部姿态估计和几何重建的数据集已有大量相关研究[^5] [^49] [^88]，但针对手部外观重建的研究较少。对于我们的个性化手部虚拟形象重建任务而言，目前还没有在实验室外环境中使用普通单目设备采集的合适数据集。因此，除了在现有的InterHand2.6M [^49]数据集上进行评估外，我们还为手部虚拟形象创建自行制作了数据集，包括手部外观数据集和合成数据集（图3）。
手部外观数据集。为了模拟AR/VR应用终端用户通常所处的约束较少的采集环境，我们所有的视频都是通过在普通办公照明条件下将手机摄像头对准右手来拍摄的（见图1）。我们的手部外观数据集包含三个部分：（1）多受试者单视角手部序列。这些采集数据涉及四名受试者，其中三名男性受试者和一名女性受试者，动作范围从手部翻转到手指间的复杂交互。每名受试者共有750帧训练数据和600帧测试数据。（2）分布外手部外观。我们额外采集了两名有纹身的受试者的数据，用于测试分布外外观情况，每组数据包含
---
Figure 3. Sample images. (left) Each subject in the hand appearance dataset. (right) The synthetic dataset. The hand segmentation is obtained using an off-the-shelf segmentation tool [^24].
否则设置与第一部分相同。（3）光照与阴影变化。我们从前一部分选取一名受试者，在单一主光源的不同照射方向下采集6组简单手部动作序列，这一部分的阴影效果非常明显。对于所有部分，我们都确保能看到手部的两侧；不过通常会被遮挡的部分，比如手指间隙，仍有可能不可见。我们使用在线分割工具[^24]获取每帧的二值手部掩码，该工具将手部和可见的手臂部分视为前景。
合成数据集。由于真实数据集的3D标注往往存在拟合误差（InterHand2.6M数据集的误差报告为2-3毫米[^49]），我们选择使用具有完美真值的合成数据集来评估手部姿态估计任务。我们使用Blender中的光线追踪引擎Cycles [^11]渲染两名受试者的图像，每人各有两个序列。关于数据集的更多细节可在附录中查看。
InterHand2.6M数据集[^49]：该数据是在光照可控的采集穹顶内采集的，其约束条件比我们追求的随意拍摄视频场景更为严格。前景掩码是通过RVM [^39]获取的，有时会有噪声。我们从测试集中选取了一个长度为500帧的单视角序列用于外观评估，该序列中大部分表面可见。
基准方法。我们在表1中总结了基于RGB图像创建手部虚拟形象的现有基准方法概况。与这些基准方法相比，我们的主要优势在于：（i）由于依赖显式的UV贴图和法线贴图，我们的输出可直接兼容标准图形管线；（ii）我们能够表示非标准的手部纹理，而这类纹理往往无法被依赖PCA空间来表示外观的模型很好地捕捉（见4.1节）；（iii）由于参数数量更少，HARP在优化时间和内存占用方面比基于MLP的方法更高效。
对于属于手部模型变体的方法，即S2Hand [^8]、HTML [^62]和NIMBLE [^37]，其外观往往由回归器预测，而预测结果可能并不准确。不过，这类模型也允许在测试时进行优化，以便根据输入图像来细化外观。为了公平比较，我们在测试时对所有这些基线模型中的手部外观进行了优化。
| Appearance Rep. | Out-of-dist. | Compatibility |
| w/ shared appearance space |
| S2Hand [^8] | vertex color | ✗ | ✓ |
| HTML [^62] | UV map | ✗ | ✓ |
| NIMBLE [^37] | UV+spec+normal | ✗ | ✓ |
| w/o shared appearance space |
| LISA [^12] | 3D Implicit | ✓ | ✓ $^{1}$ |
| NHA $^{{*}}$ [^19] | 2D Implicit | ✓ | ✗ $^{2}$ |
| HARP | UV + normal | ✓ | ✓ |
Table 1. Overview of hand appearance models. Appearance Rep indicates the method used to represent texture information in the model. Out-of-dist refers to its ability to represent arbitrary non-standard hand appearance, including hands with scars or tattoos. Compatibility indicates if the method could export the 3D model with appearance for use in other applications. *For Neural Head Avatar (NHA), we adapt the official code to hand domain. To make it compatible with other methods, we dropped the face-specific components from the model, including face landmarks, segmentation, and normals. Can be extracted as a mesh by Marching Cubes. Geometry is compatible but colors cannot be extracted.
我们在附录中详细说明了如何将每项工作适配于手部虚拟形象创建。对于那些需要姿态和形状初始化的方法——除S2Hand外——我们采用METRO [^38]将手部模型与顶点预测结果进行拟合。由于LISA [^12]没有发布可供我们比较的代码、模型或结果，因此省略了与其的比较。不过，我们在InterHand2.6M上的结果（图6）显示出比[^12]呈现的效果更优的视觉外观。
评估指标。在外观评估方面，我们报告了关注渲染图像质量的指标，包括像素级L1误差、轮廓交并比（IoU）、学习感知图像块相似度（LPIPS）[^86]以及多尺度结构相似性指标（MS-SSIM）[^79]。带有白色背景的渲染图像会与掩码后的输入图像进行比较。需要注意的是，由于MANO和NIMBLE模型会缺失手腕部分的外观，导致生成的手部几何形态不同，因此像素级L1误差、LPIPS和交并比评估结果无法在不同方法间直接比较。所以这些指标应仅作为参考，而非直接对比依据。在姿态评估方面，我们报告了与MANO真实值相比的Procrustes对齐顶点误差（PA-MPVPE），单位为毫米。
#### 4.1. 手部外观重建
为了展示HARP的真实感和鲁棒性，我们首先评估其从RGB序列中重建并重新渲染手部外观的能力。我们使用了外观数据集的前半部分，该部分反映了手部相关应用更为常见的环境，例如用于AR/VR的个性化手部重建与渲染。图4展示了定性的纹理和几何效果，表2则给出了所有受试者的平均定量评估结果。相关结果
---
| IoU $\uparrow$ | L1 $\downarrow$ | LPIPS $\downarrow$ | MS-SSIM $\uparrow$ |
| METRO [^38] | 0.651 | - | - | - |
| S2Hand [^8] | 0.430 | 0.058 | 0.270 | 0.595 |
| HTML [^62] | 0.778 | 0.033 | 0.136 | 0.791 |
| NHA [^19] | 0.860 | 0.025 | 0.114 | 0.878 |
| NIMBLE [^37] | 0.641 | 0.048 | 0.204 | 0.691 |
| HARP | 0.929 | 0.018 | 0.071 | 0.902 |
Table 2. Quantitative evaluation of the appearance reconstruction task on the train split of our captured sequences.
| IoU $\uparrow$ | L1 $\downarrow$ | LPIPS $\downarrow$ | MS-SSIM $\uparrow$ |
| METRO [^38] | 0.561 | - | - | - |
| HTML [^62] | 0.571 | 0.091 | 0.203 | 0.822 |
| NHA [^19] | 0.651 | 0.084 | 0.229 | 0.819 |
| NIMBLE [^37] | 0.621 | 0.083 | 0.229 | 0.775 |
| HARP | 0.779 | 0.051 | 0.173 | 0.876 |
Table 3. Appearance reconstruction results on InterHand2.6M.
Figure 4. Qualitative comparison to the baselines on our captured sequences. Zoom in for details.
表明HARP能够比基线模型更精细地忠实重建手部外观。此外，表3展示了HARP在InterHand2.6M序列上的外观评估表现，图6则展示了其在各种数据集上的虚拟形象重建效果，从而体现了HARP的鲁棒性。
分布外手部外观。为了证明我们的方法在捕捉分布外外观方面的优势，我们使用相同的优化流程和目标，将优化结果与基于PCA的HTML和NIMBLE以及基于MLP的NHA在带纹身的手部视频上的结果进行对比。结果如表4所示。由于不受PCA空间的限制，我们能够合理地捕捉此类分布外外观。同时，由于纹身不在HTML和NIMBLE模型的训练集中，这两种模型完全忽略了纹身部分。图5中的定性结果证明了我们的系统在捕捉非标准外观方面的鲁棒性。
| L1 $\downarrow$ | LPIPS $\downarrow$ | MS-SSIM $\uparrow$ |
| HTML [^62] | 0.018 | 0.121 | 0.836 |
| NHA [^19] | 0.017 | 0.131 | 0.891 |
| NIMBLE [^37] | 0.029 | 0.178 | 0.736 |
| HARP | 0.012 | 0.080 | 0.897 |
Table 4. Evaluation on out-of-distribution appearance.
Input
Ours
NHA
NIMBLE
HTML
Figure 5. Qualitative comparison between our method and baselines on hands with out-of-distribution appearance.
| L1 $\downarrow$ | LPIPS $\downarrow$ | MS-SSIM $\uparrow$ |
| HARP w/o shadow | 0.0129 | 0.054 | 0.940 |
| HARP w/ shadow | 0.0123 | 0.051 | 0.943 |
Table 5. Comparison between HARP with and without self-shadow modeling on the shadow portion of our captured dataset. Qualitative comparison in the Appendix.
请注意，我们仅以纹身为例进行演示，此类外观偏差也可能表现为疤痕或指甲着色（详见附录）。
可微自阴影建模。由于手部运动高度灵活且动作复杂，手指与手掌之间的自阴影现象几乎不可避免。然而，现有方法均无法准确捕捉和建模这种自阴影现象。为了验证我们提出的阴影感知型可微着色器的有效性，我们比较了有无阴影建模情况下的外观重建质量。定量比较结果见表5。若未正确建模阴影，每个像素处的优化颜色会取该像素处于阴影中与非阴影时的颜色平均值，从而导致纹理中出现暗斑。
#### 4.2. 基于外观建模的手部姿态重建
利用HARP从视频中获取逼真的手部外观后，我们验证了在已知外观信息的前提下，借助可微渲染技术能否提升同一身份对象的RGB手部姿态估计精度。直观而言，借助可微渲染技术，优化过程应能够仅利用手部掩码来细化姿态，从而改善初始预测结果。但我们发现，这类掩码的有效性会因姿态和视角的不同而有所差异（详见附录）。在此类情况下，了解手部外观信息可补充掩码的作用，引导优化过程趋向正确的姿态。
据我们所知，我们是首个定性
---
Figure 6. Results on various datasets (our Synthetic, InterHand2.6M [^49], and HanCo [^88]). HARP is very robust, it can obtain faithful hand avatars on different datasets that have a large variety of capture setups, lighting and image conditions, and textures.
| Dataset | METRO | HARP-sil | HARP-full | HARP-known |
| Synthetic | 6.12 | 6.16 | 6.04 | 5.65 |
Table 6. Pose error on synthetic sequences (PA-MPVPE in mm).
及定量证明这种手部姿态估计改进效果的研究团队。我们认为实现这种改进的关键在于渲染流程的设计，比如着色和可见性检测环节。不过在本研究之前，这类话题并未在手部的相关研究中受到太多关注，尤其是在姿态估计领域。我们在附录中分析了能够实现这种改进的具体场景。
在表6中，我们比较了METRO [^38]、仅使用轮廓损失的HARP（HARP-sil）、普通HARP模型（HARP-full），以及优化过程中固定已知外观参数的HARP（HARP-known）这几种方法下的手部姿态误差。其中已知的面部外观参数是通过对同一身份对象的简单视频运行HARP得到的。结果表明，HARP能够利用外观的可微渲染特性来优化姿态。当事先已知外观参数时（HARP-known），优化效果会更好，因为这样就能避免优化过程中纹理中出现的阴影和光照效应。
#### 4.3. 新视角与姿态合成
利用HARP获取的显式几何信息，还能在不同姿态和视角下实现一致的3D几何与外观渲染。我们通过将已知外观渲染到新视角和新姿态下的手上，来评估这一功能，测试数据来自我们的数据集。为了匹配测试序列中的姿态，我们仅针对手部掩码优化姿态参数$\gamma$（详见第3.1节），同时固定其他所有组件。表7中的定量结果显示，HARP能够在新视角和新姿态下生成一致的外观。
| IoU $\uparrow$ | L1 $\downarrow$ | LPIPS $\downarrow$ | MS-SSIM $\uparrow$ |
| METRO [^38] | 0.651 | - | - | - |
| S2Hand [^8] | 0.448 | 0.059 | 0.271 | 0.598 |
| HTML [^62] | 0.754 | 0.040 | 0.144 | 0.771 |
| NHA [^19] | 0.826 | 0.034 | 0.134 | 0.850 |
| NIMBLE [^37] | 0.752 | 0.038 | 0.157 | 0.789 |
| HARP | 0.870 | 0.029 | 0.105 | 0.831 |
Table 7. Appearance synthesis evaluation on the test sequences.
### 5. 结论与局限性
总之，我们提出了HARP——一种从单目RGB序列中重建个性化手部几何与外观的方法。该方法以参数化手部模型作为几何基础，将表面精细化为个性化的手部形状。纹理被分解为反照率图和法线图。所得到的手部模型在渲染新视角和新姿势时表现出色，无论在定性还是定量评估中都优于现有基准方法。此外，HARP具有高效、可扩展的特点，且能与传统渲染管线兼容。它为在AR/VR应用中实现个性化手部的真实体验奠定了基础。
局限性：由于我们的系统仅假设单一光源和环境光，且不考虑镜面反射效应，因此其在其他光照条件下复制外观的能力可能仍有限。纳入环境贴图、模拟光线反射，以及提高渲染纹理的分辨率，都是未来实现更逼真渲染的有趣研究方向。
致谢：我们衷心感谢Shaofei Wang和Marko Mihajlovic的讨论，以及Malte Prinzler在Neural Head Avatar基准测试中的帮助。本研究得到了SNF基金200021 204840和苏黎世联邦理工学院博士后奖学金的支持。
---
## 参考文献
[^1]: L. Ballan, A. Taneja, J. Gall, L. van Gool, and M. Pollefeys. Motion capture of hands in action using discriminative salient points. In European Conference on Computer Vision (ECCV), volume 7577 of LNCS, pages 640–653. Springer, 2012. 2
[^2]: Marcel C. Buehler, Abhimitra Meka, Gengyan Li, Thabo Beeler, and Otmar Hilliges. Varitex: Variational neural face textures. In Proceedings of the IEEE/CVF International Conference on Computer Vision, 2021. 3
[^3]: Yujun Cai, Liuhao Ge, Jianfei Cai, and Junsong Yuan. Weakly-supervised 3d hand pose estimation from monocular rgb images. In Proceedings of the European Conference on Computer Vision (ECCV), pages 666–682, 2018. 3
[^4]: Zhe Cao, Ilija Radosavovic, Angjoo Kanazawa, and Jitendra Malik. Reconstructing hand-object interactions in the wild. ICCV, 2021. 2
[^5]: Yu-Wei Chao, Wei Yang, Yu Xiang, Pavlo Molchanov, Ankur Handa, Jonathan Tremblay, Yashraj S. Narang, Karl Van Wyk, Umar Iqbal, Stan Birchfield, Jan Kautz, and Dieter Fox. DexYCB: A benchmark for capturing hand grasping of objects. In IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2021.
[^6]: Ping Chen, Yujin Chen, Dong Yang, Fangyin Wu, Qin Li, Qingpei Xia, and Yong Tan. I2uv-handnet: Image-to-uv prediction network for accurate and high-fidelity 3d hand mesh modeling. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 12929–12938, 2021. 2
[^7]: Xingyu Chen, Baoyuan Wang, and Heung-Yeung Shum. Hand avatar: Free-pose hand animation and rendering from monocular video. arXiv:2211.12782, 2022. 3
[^8]: Yujin Chen, Zhigang Tu, Di Kang, Linchao Bao, Ying Zhang, Xuefei Zhe, Ruizhi Chen, and Junsong Yuan. Model-based 3d hand reconstruction via self-supervised learning. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 10451–10460, 2021. 2, 3, 6, 7, 8
[^9]: Zhaoxi Chen and Ziwei Liu. Relighting4d: Neural re-lightable human from videos. In ECCV, 2022. 3
[^10]: Hongsuk Choi, Gyeongsik Moon, and Kyoung Mu Lee. Pose2mesh: Graph convolutional network for 3d human pose and mesh recovery from a 2d human pose. In European Conference on Computer Vision (ECCV), 2020. 3
[^11]: Blender Online Community. Blender - a 3D modelling and rendering package. Blender Foundation, Stichting Blender Foundation, Amsterdam, 2018. 6, 1
[^12]: Enric Corona, Tomas Hodan, Minh Vo, Francesc Moreno-Noguer, Chris Sweeney, Richard Newcombe, and Lingni Ma. Lisa: Learning implicit shape and appearance of hands. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 20533–20543, 2022. 2, 3, 4, 6
[^13]: Mathieu Desbrun, Mark Meyer, Peter Schröder, and Alan H Barr. Implicit fairing of irregular meshes using diffusion and curvature flow. In Proceedings of the 26th annual con-
计算机图形学与交互技术会议论文集，第317–324页，1999年。5
[^14]: Bardia Doosti, Shujon Naha, Majid Mirbagheri, and David J Crandall. Hope-net: A graph-based model for hand-object pose estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 6608–6617, 2020. 3
[^15]: Yao Feng, Haiwen Feng, Michael J. Black, and Timo Bolkart. Learning an animatable detailed 3D face model from in-the-wild images. ACM Transactions on Graphics, (Proc. SIGGRAPH), 40(8), 2021. 3
[^16]: Guy Gafni, Justus Thies, Michael Zollhofer, and Matthias Nießner. Dynamic neural radiance fields for monocular 4d facial avatar reconstruction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 8649–8658, 2021. 3
[^17]: Guillermo Garcia-Hernando, Shanxin Yuan, Seungryul Baek, and Tae-Kyun Kim. First-person hand action benchmark with rgb-d videos and 3d hand pose annotations. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 409–419, 2018. 3
[^18]: Liuhao Ge, Zhou Ren, Yuncheng Li, Zehao Xue, Yingying Wang, Jianfei Cai, and Junsong Yuan. 3d hand shape and pose estimation from a single rgb image. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 10833–10842, 2019. 2, 3
[^19]: Philip-William Grassal, Malte Prinzler, Titus Leistner, Carsten Rother, Matthias Nießner, and Justus Thies. Neural head avatars from monocular rgb videos. arXiv preprint arXiv:2112.01554, 2021. 2, 3, 6, 7, 8
[^20]: Jon Hasselgren, Nikolai Hofmann, and Jacob Munkberg. Shape, Light, and Material Decomposition from Images using Monte Carlo Rendering and Denoising. arXiv:2206.03380, 2022. 4
[^21]: Yana Hasson, Gül Varol, Dimitrios Tzionas, Igor Kalevatykh, Michael J. Black, Ivan Laptev, and Cordelia Schmid. Learning joint reconstruction of hands and manipulated objects. In Proceedings IEEE Conf. on Computer Vision and Pattern Recognition (CVPR), June 2019. 2
[^22]: Tao Hu, Tao Yu, Zerong Zheng, He Zhang, Yebin Liu, and Matthias Zwicker. Hvtr: Hybrid volumetric-textural rendering for human avatars. In 2022 International Conference on 3D Vision (3DV), 2022. 3
[^23]: Umar Iqbal, Pavlo Molchanov, Thomas Breuel Juergen Gall, and Jan Kautz. Hand pose estimation via latent 2.5 d heatmap regression. In Proceedings of the European Conference on Computer Vision (ECCV), pages 118–134, 2018. 3
[^24]: Kaleido AI GmbH. Unscreen. February 2021. 5, 6, 1
[^25]: Korrawe Karunratanakul, Adrian Spurr, Zicong Fan, Otmar Hilliges, and Siyu Tang. A skeleton-driven neural occupancy representation for articulated hands. In International Conference on 3D Vision (3DV), 2021. 2, 3
## [^26]: Korrawe Karunratanakul, Jinlong Yang, Yan Zhang, Michael J. Black, Krikamol Muandet, and Siyu Tang. Grasping field: Learning implicit representations for human grasps. In 2020 International Conference on 3D Vision (3DV), pages 333–344. IEEE, 2020. 2, 3
---
[^27]: Giorgos Karvounas, Nikolaos Kyriazis, Iason Oikonomidis, Aggeliki Tsoli, and Antonis A Argyros. Multi-view image-based hand geometry refinement using differentiable monte carlo ray tracing. BMVC, 2021. 3
[^28]: Hiroharu Kato, Yoshitaka Ushiku, and Tatsuya Harada. Neural 3d mesh renderer. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 3907–3916, 2018. 3
[^29]: Hyeongwoo Kim, Pablo Garrido, Ayush Tewari, Weipeng Xu, Justus Thies, Matthias Niessner, Patrick Pérez, Christian Richardt, Michael Zollhöfer, and Christian Theobalt. Deep video portraits. ACM Transactions on Graphics (TOG), 37(4):1–14, 2018. 3
[^30]: Diederik P Kingma and Jimmy Ba. Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980, 2014. 3
[^31]: Nikos Kolotouros, Georgios Pavlakos, and Kostas Daniilidis. Convolutional mesh regression for single-image human shape reconstruction. In CVPR, 2019. 3
[^32]: Dominik Kulon, Riza Alp Guler, Iasonas Kokkinos, Michael M. Bronstein, and Stefanos Zafeiriou. Weakly-supervised mesh-convolutional hand reconstruction in the wild. In The IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), June 2020. 3
[^33]: Christian Ledig, Lucas Theis, Ferenc Huszár, Jose Caballero, Andrew Cunningham, Alejandro Acosta, Andrew Aitken, Alykhan Tejani, Johannes Totz, Zehan Wang, et al. Photorealistic single image super-resolution using a generative adversarial network. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 4681–4690, 2017. 5
[^34]: Ruilong Li, Julian Tanke, Minh Vo, Michael Zollhofer, Jurgen Gall, Angjoo Kanazawa, and Christoph Lassner. Tava: Template-free animatable volumetric actors. 2022. 3
[^35]: Tianye Li, Timo Bolkart, Michael. J. Black, Hao Li, and Javier Romero. Learning a model of facial shape and expression from 4D scans. ACM Transactions on Graphics, (Proc. SIGGRAPH Asia), 36(6), 2017. 2
[^36]: Yuwei Li, Minye Wu, Yuyao Zhang, Lan Xu, and Jingyi Yu. Piano: A parametric hand bone model from magnetic resonance imaging. In Proceedings of the Thirtieth International Joint Conference on Artificial Intelligence, IJCAI-21, pages 816–822. International Joint Conferences on Artificial Intelligence Organization, 8 2021. 2
[^37]: Yuwei Li, Longwen Zhang, Zesong Qiu, Yingwenqi Jiang, Yuyao Zhang, Nianyi Li, Yuexin Ma, Lan Xu, and Jingyi Yu. Nimble: A non-rigid hand model with bones and muscles. arXiv preprint arXiv:2202.04533, 2022. 2, 6, 7, 8, 1
[^38]: Kevin Lin, Lijuan Wang, and Zicheng Liu. End-to-end human pose and mesh reconstruction with transformers. In CVPR, 2021. 2, 3, 5, 6, 7, 8
[^39]: Shanchuan Lin, Linjie Yang, Imran Saleemi, and Soumyadip Sengupta. Robust high-resolution video matting with temporal guidance, 2021. 6, 1
[^40]: Shichen Liu, Tianye Li, Weikai Chen, and Hao Li. Soft rasterizer: A differentiable renderer for image-based 3d reasoning. The IEEE International Conference on Computer Vision (ICCV), Oct 2019. 3,7
[^41]: Marko Mihajlovic, Aayush Bansal, Michael Zollhoefer, Siyu Tang, and Shunsuke Saito. KeypointNeRF: Generalizing image-based volumetric avatars using relative spatial encoding of keypoints. In European conference on computer vision, 2022. 2
[^42]: Marko Mihajlovic, Shunsuke Saito, Aayush Bansal, Michael Zollhoefer, and Siyu Tang. COAP: Compositional articulated occupancy of people. In Proceedings IEEE Conf. on Computer Vision and Pattern Recognition (CVPR), June 2022. 2
[^43]: Marko Mihajlovic, Yan Zhang, Michael J Black, and Siyu Tang. LEAP: Learning articulated occupancy of people. In Proceedings IEEE Conf. on Computer Vision and Pattern Recognition (CVPR), June 2021. 2
[^44]: Ben Mildenhall, Pratul P. Srinivasan, Matthew Tancik, Jonathan T. Barron, Ravi Ramamoorthi, and Ren Ng. Nerf: Representing scenes as neural radiance fields for view synthesis. In ECCV, 2020. 2, 3
[^45]: Gyeongsik Moon and Kyoung Mu Lee. I2l-meshnet: Image-to-lixel prediction network for accurate 3d human pose and mesh estimation from a single rgb image. In Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part VII 16, pages 752–768. Springer, 2020. 2, 3
[^46]: Gyeongsik Moon and Kyoung Mu Lee. Neuralannot: Neural annotator for in-the-wild expressive 3d human pose and mesh training sets. arXiv preprint arXiv:2011.11232, 2020.
tratori和Kyoung Mu Lee。
深度编码器-解码器
在Euro中
[^48]: Gyeongsik Moon, Ju Yong Chang, and Kyoung Mu Lee. V2v-posenet: Voxel-to-voxel prediction network for accurate 3d hand and human pose estimation from a single depth map. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 5079–5088, 2018. 3
[^49]: Gyeongsik Moon, Shoou-I Yu, He Wen, Takaaki Shiratori, and Kyoung Mu Lee. Interhand2.6m: A dataset and baseline for 3d interacting hand pose estimation from a single rgb image. In European Conference on Computer Vision (ECCV), 2020. 3, 5, 6, 8, 1, 7
[^50]: Franziska Mueller, Florian Bernard, Oleksandr Sotnychenko, Dushyant Mehta, Srinath Sridhar, Dan Casas, and Christian Theobalt. Generated hands for real-time 3d hand tracking from monocular rgb. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 49–59, 2018. 3
[^51]: Franziska Mueller, Micah Davis, Florian Bernard, Oleksandr Sotnychenko, Mickeal Verschoor, Miguel A. Otaduy, Dan Casas, and Christian Theobalt. Real-time Pose and Shape Reconstruction of Two Interacting Hands With a Single Depth Camera. ACM Transactions on Graphics (TOG), 38(4), 2019. 2
### [^52]: Evonne Ng, Shiry Ginosar, Trevor Darrell, and Hanbyul Joo. Body2hands: Learning to infer 3d hands from conversational gesture body dynamics. Proceedings of the IEEE/CVF Con-
---
计算机视觉与模式识别会议论文集，第11865–11874页，2021年。2
[^53]: Merlin Nimier-David, Delio Vicini, Tizian Zeltner, and Wenzel Jakob. Mitsuba 2: A retargetable forward and inverse renderer. Transactions on Graphics (Proceedings of SIGGRAPH Asia), 38(6), Dec. 2019. 3, 4
[^54]: Atsuhiro Noguchi, Xiao Sun, Stephen Lin, and Tatsuya Harada. Neural articulated radiance field. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 5762–5772, 2021. 3
[^55]: Atsuhiro Noguchi, Xiao Sun, Stephen Lin, and Tatsuya Harada. Neural articulated radiance field. In International Conference on Computer Vision, 2021. 3
[^56]: Keunhong Park, Utkarsh Sinha, Jonathan T. Barron, Sofien Bouaziz, Dan B Goldman, Steven M. Seitz, and Ricardo Martin-Brualla. Nerfies: Deformable neural radiance fields. ICCV, 2021. 2,3
[^57]: Keunhong Park, Utkarsh Sinha, Peter Hedman, Jonathan T. Barron, Sofien Bouaziz, Dan B Goldman, Ricardo Martin-Brualla, and Steven M. Seitz. Hypernerf: A higher-dimensional representation for topologically varying neural radiance fields. ACM Trans. Graph., 40(6), dec 2021. 3
[^58]: Georgios Pavlakos, Vasileios Choutas, Nima Ghorbani, Timo Bolkart, Ahmed A. A. Osman, Dimitrios Tzionas, and Michael J. Black. Expressive body capture: 3d hands, face, and body from a single image. In Proceedings IEEE Conf. on Computer Vision and Pattern Recognition (CVPR), 2019. 3,2
[^59]: Sida Peng, Yuanqing Zhang, Yinghao Xu, Qianqian Wang, Qing Shuai, Hujun Bao, and Xiaowei Zhou. Neural body: Implicit neural representations with structured latent codes for novel view synthesis of dynamic humans. In CVPR, 2021. 3
[^60]: Bui Tuong Phong. Illumination for computer generated pictures. Communications of the ACM, 18(6):311–317, 1975. 4
[^61]: Sergey Prokudin, Michael J Black, and Javier Romero. Smplpix: Neural avatars from 3d human models. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, pages 1810–1819, 2021. 3
[^62]: Neng Qian, Jiayi Wang, Franziska Mueller, Florian Bernard, Vladislav Golyanik, and Christian Theobalt. HTML: A Parametric Hand Texture Model for 3D Hand Reconstruction and Personalization. In Proceedings of the European Conference on Computer Vision (ECCV). Springer, 2020. 2, 6, 7, 8
[^63]: Nikhila Ravi, Jeremy Reizenstein, David Novotny, Taylor Gordon, Wan-Yen Lo, Justin Johnson, and Georgia Gkioxari. Accelerating 3d deep learning with pytorch3d. arXiv:2007.08501, 2020. 4, 7
[^64]: William T Reeves, David H Salesin, and Robert L Cook. Rendering antialiased shadows with depth maps. In Proceedings of the 14th annual conference on Computer graphics and interactive techniques, pages 283–291, 1987. 4
[^65]: Javier Romero, Dimitrios Tzionas, and Michael J. Black. Embodied hands: Modeling and capturing hands and bodies together. ACM Transactions on Graphics, (Proc. SIGGRAPH Asia), 36(6), 2017. 2, 3
[^66]: Viktor Rudnev, Vladislav Golyanik, Jiayi Wang, Hans-Peter Seidel, Franziska Mueller, Mohamed Elgharib, and Christian Theobalt. Evenhands: Real-time neural 3d hand pose estimation from an event stream. In International Conference on Computer Vision (ICCV), 2021. 2
[^67]: Michael Seeber, Roi Poranne, Marc Polleyfeys, and Martin R Oswald. Realistichands: A hybrid model for 3D hand reconstruction. In 2021 International Conference on 3D Vision (3DV), pages 22–31. IEEE, 2021. 3
[^68]: Aliaksandr Siarohin, Stéphane Lathuière, Sergey Tulyakov, Elisa Ricci, and Nicu Sebe. First order motion model for image animation. In Conference on Neural Information Processing Systems (NeurIPS), December 2019. 3
[^69]: Karen Simonyan and Andrew Zisserman. Very deep convolutional networks for large-scale image recognition. arXiv preprint arXiv:1409.1556, 2014. 5
[^70]: B. Smith, Chenglei Wu, He Wen, Patrick Peluse, Yaser Sheikh, J. Hodgins, and Takaaki Shiratori. Constraining dense hand surface tracking with elasticity. ACM Transactions on Graphics (TOG), 39:1–14, 2020. 2
[^71]: Olga Sorkine and Marc Alexa. As-rigid-as-possible surface modeling. In Proceedings of EUROGRAPHICS/ACM SIGGRAPH Symposium on Geometry Processing, pages 109–116, 2007. 5
[^72]: Adrian Spurr, Umar Iqbal, Pavlo Molchanov, Otmar Hilliges, and Jan Kautz. Weakly supervised 3d hand pose estimation via biomechanical constraints. In European Conference on Computer Vision (ECCV), 2020. 3
[^73]: Shih-Yang Su, Frank Yu, Michael Zollhoefer, and Helge Rhodin. A-nerf: Surface-free human 3d pose refinement via neural rendering. arXiv preprint arXiv:2102.06199, 2021. 2, 3, 4
[^74]: Xiao Tang, Tianyu Wang, and Chi-Wing Fu. Towards accurate alignment in real-time 3d hand-mesh reconstruction. In International Conference on Computer Vision (ICCV), pages 11698–11707, 2021. 2
[^75]: Bugra Tekin, Federica Bogo, and Marc Pollefeys. H+o: Unified egocentric recognition of 3d hand-object poses and interactions. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 4511–4520, 2019. 3
[^76]: Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. Advances in neural information processing systems, 30, 2017. 3
[^77]: Shaofei Wang, Marko Mihajlovic, Qianli Ma, Andreas Geiger, and Siyu Tang. Metaavatar: Learning animatable clothed human models from few depth images. In Advances in Neural Information Processing Systems, 2021. 2
[^78]: Yifan Wang, Aleksander Holynski, Xiuming Zhang, and Xuaner Cecilia Zhang. Sunstage: Portrait reconstruction and relighting using the sun as a light stage. arXiv preprint arXiv:2204.03648, 2022. 3
#### [^79]: Zhou Wang, Eero P Simoncelli, and Alan C Bovik. Multiscale structural similarity for image quality assessment. In The Thirty-Seventh Asilomar Conference on Signals, Systems & Computers, 2003, volume 2, pages 1398–1402. Ieee, 2003. 6
---
[^80]: Chung-Yi Weng, Brian Curless, Pratul P. Srinivasan, Jonathan T. Barron, and Ira Kemelmacher-Shlizerman. HumanNeRF: Free-viewpoint rendering of moving people from monocular video. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 16210–16220, June 2022. 2, 3, 4
[^81]: Lance Williams. Casting curved shadows on curved surfaces. In Proceedings of the 5th Annual Conference on Computer Graphics and Interactive Techniques, SIGGRAPH '78, page 270–274, New York, NY, USA, 1978. Association for Computing Machinery. 4
[^82]: Hongyi Xu, Thiemo Alldieck, and Cristian Sminchisescu. H-nerf: Neural radiance fields for rendering and temporal reconstruction of humans in motion. Advances in Neural Information Processing Systems, 34, 2021. 3
[^83]: Hongyi Xu, Eduard Gabriel Bazavan, Andrei Zanfir, William T Freeman, Rahul Sukthankar, and Cristian Sminchisescu. Ghum & ghuml: Generative 3d human shape and articulated pose models. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 6184–6193, 2020. 2
[^84]: Linlin Yang and Angela Yao. Disentangling latent hands for image synthesis and pose estimation. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 9877–9886, 2019. 3
[^85]: Hao Zhang, Yuxiao Zhou, Yifei Tian, Jun-Hai Yong, and Feng Xu. Single depth view based real-time reconstruction of hand-object interactions. ACM Transactions on Graphics (TOG), 40(3):1–12, 2021. 2
[^86]: Richard Zhang, Phillip Isola, Alexei A Efros, Eli Shechtman, and Oliver Wang. The unreasonable effectiveness of deep features as a perceptual metric. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 586–595, 2018. 6
[^87]: Xiuming Zhang, Pratul P Srinivasan, Boyang Deng, Paul Debevec, William T Freeman, and Jonathan T Barron. Ner-factor: Neural factorization of shape and reflectance under an unknown illumination. ACM Transactions on Graphics (TOG), 40(6):1–18, 2021. 4, 5
[^88]: Christian Zimmermann, Max Argus, and Thomas Brox. Contrastive representation learning for hand shape estimation. In arxive, 2021. 5, 8, 1, 2
#### [^89]: Christian Zimmermann and Thomas Brox. Learning to estimate 3d hand pose from single rgb images. In Proceedings of the IEEE international conference on computer vision, pages 4903–4911, 2017. 3
---
##### HARP：基于单目RGB视频的个性化手部重建__附录__
##### A. 数据集
在本节中，我们将详细介绍实验中使用的各个数据集。我们重申，我们的目标是提出一种可扩展且稳健的系统，能够利用普通硬件（如智能手机）拍摄的短视频序列来创建逼真的手部虚拟形象。这种设置有助于该方法在下游应用中的实用性，例如为AR/VR设备的终端用户创建个性化手部虚拟形象。遗憾的是，目前尚无针对此场景设计和采集的数据集。因此，我们在具有常见照明条件（如天花板上的灯泡）的房间内，用智能手机采集了手部外观数据集。
为了证明HARP对不同采集设置的鲁棒性，我们还在InterHand2.6M [^49]和HanCo [^88]数据集的序列上测试了HARP。为了弥补评估姿态优化结果时缺乏精确基准数据的不足，我们利用光线追踪引擎创建了合成数据集。各数据集的详情如下：
手部外观数据集。如主论文所述，该数据集被分为三个部分。所有序列均是在不同条件下使用手持智能手机摄像头采集的。前景掩码（包括手和手臂）是通过现成的分割工具Unscreen生成的[^24]。这些图像会被调整为448×448像素大小，除非另有说明，否则这是我们所有实验中使用的默认尺寸。
InterHand2.6M数据集[^49]。我们展示了HARP利用现有数据集中的序列从InterHand2.6M数据集创建虚拟形象的能力。该数据集中的序列是在带有多视角摄像机架且光照均匀的条件下采集的。由于该数据集不包含分割掩码，我们采用RVM来获取前景-背景掩码[^39]。我们发现拍摄室内的灯泡眩光常常干扰分割过程，有时还会被归类为前景。需要注意的是，这类瑕疵很难去除，可能会降低优化后的外观质量。为避免此类瑕疵，我们选用了Capture0/ROM03_RT_No_Occlusion中cam400266的30帧/秒测试集里的500帧图像（第500帧至第999帧）。这些图像会被裁剪为334×334像素，且手部顶点的中心与图像中心对齐。
合成数据集。为了评估姿态优化结果，我们创建了带有完美真实姿态标注的合成数据集。这些图像是使用Blender中的光线追踪引擎Cycles渲染而成的[^11]。我们利用NIMBLE模型来获取手部网格和外观[^37]。为确保外观在大小和肤色上的多样性，我们手动挑选了从NIMBLE中采样的外观。由于依赖NIMBLE，生成的手部在腕部处被截断，图像中看不到手臂。渲染时，我们采用了与NIMBLE演示中相同的Blender设置。所有生成的序列中的手部动作均相同，各序列之间的主要差异在于视角、手部形状和手部外观。对于每个身份，我们生成两种动作：一种是手部翻转动作，另一种是手指运动动作。每种动作时长均为5秒，帧率为30帧/秒。图A.1展示了我们合成数据集中的图像。
HanCo数据集[^88]。我们在主论文的图6中展示了以下序列的结果：0（cam7）、2（cam1）、10（cam4）和27（cam4）。这些序列中双手均可见。提供的前景-背景掩码被用作优化的输入。不过需要注意的是，由于图像分辨率仅为224×224像素且光照环境不真实，该数据集并不适合用于创建虚拟形象，仅能作为参考。示例图像展示在图A.2中。
Subject 1
Subject 2
Figure A.1. Synthetic dataset. Each image shows the first frame and the middle frame from each sequence.
---
Figure A.2. Sample images and masks from the HanCo [^88] dataset. The dataset is not suitable for avatar creation because of the low resolution and unrealistic light stage.
##### B. 基线方法
为确保HARP与基线方法之间的公平比较，所有基线方法均在测试时进行优化，在可能的情况下保证迭代轮数相当。我们使用各基线方法官方发布的代码。由于部分基线方法并非专为通过优化来创建手部虚拟形象而设计，我们需要对其进行调整和修改，下文将针对每个基线方法分别说明。对于HTML[^62]和NIMBLE[^37]，我们采用与HARP相同的优化流程，仅用它们的模型替换相应部分。所有方法均采用相同的图像和姿态初始化数据作为输入。
HTML [^62]。我们用HTML模型生成的纹理来替换HARP的UV纹理和法线贴图。我们优化的是HTML纹理向量，而非HARP纹理。由于HTML纹理是定义在MANO [^65]手部网格表面的，因此我们采用MANO模板而非HARP模板。此外，我们允许沿法线方向的顶点位移，这一处理方式与HARP中的做法一致。优化过程中使用了相同的优化器和损失项。
NIMBLE [^37]。由于NIMBLE模型同时提供了形状空间和外观空间，我们便用NIMBLE来替换HARP的手部几何结构与外观。在优化过程中，NIMBLE的姿态、形状和外观参数会被更新。优化时同样应用相同的优化器和损失项。初始化阶段，我们按照第C.2节所述的方法，将NIMBLE拟合到METRO的预测结果上，而非使用我们的模板。
S2Hand [^8]。我们对原本用于从输入图像预测外观的S2Hand代码进行了修改，以便能够运用HARP中所用的光度损失进行优化。由于S2Hand模型需要真实的相机参数才能将预测的网格投影到图像帧上，因此在评估阶段，我们通过最小化相对于输入图像的光度损失来优化相机参数。这种优化是逐帧独立进行的，以获得最佳匹配效果。我们承认，由于S2Hand的姿态估计精度较低，优化后的纹理质量可能会受到影响。不过，由于S2Hand模型需要真实的相机内参才能进行图像投影，而METRO针对固定内参集来估计相机外参，因此我们无法用粗略的初始值来优化S2Hand。
Neural Head Avatar [^19]。由于该方法专为重建人类头部虚拟形象而设计，我们对其做了多项修改以适配手部虚拟形象创建任务。具体而言，我们去掉了对模型中人脸分割、特征点以及预测法线的依赖。在分割方面，仅区分前景和背景，这与其他基线方法中的设定一致；特征点位置则被替换为手部关键点位置；模型中的预测法线输入也被舍弃。在实现层面，我们用固定的身份信息替代了缺失的输入。在几何结构方面，我们用带有手臂的手部模板替换了FLAME [^35]模型（详见第C.1节）。我们遵循官方代码和说明来完成训练及结果评估。
##### C. 实现细节
#### C.1. 手部模板
为了创建手部虚拟形象，我们发现MANO [^65]模型在手腕处的截断问题会对外观创建过程造成干扰，且这一情况并不符合手部始终连接在手臂上的现实。因此，我们实现了一种带手臂的手部模型：该模型源自SMPLX [^58]，我们将其网格在肘部处截断，把根关节移至右手腕，并对网格进行一次线性细分。最终，我们的手部模型有两种模式：仅手部模式和带手臂模式，可根据可用的掩码灵活切换。各模板网格的对比结果如图C.1所示。
---
Figure C.1. Template Meshes.
## C.2. 初始化
网格初始化。正如主论文中所讨论的，在开始优化过程之前，需要先初始化手部姿态和形状。因此，我们采用了姿态估计器METRO [^38]，它能在固定内参的情况下估算相机平移量。我们会取同一序列中所有帧的相机平移量平均值，并在整个优化过程中将其固定。不过由于METRO模型直接预测网格顶点位置，所得到的网格无法用于动画制作。为此，我们通过优化姿态参数$\gamma$和形状参数$\beta$，将手部模板与METRO的预测结果进行拟合，具体使用的能量项为E：
$$ E=\sum_{v}^{V}\left\|v_{t}-v_{p}\right\|^{2} $$
$$ where V_{t}=\mathcal{M}(\gamma,\beta) $$
其中V代表模板中的MANO顶点集合，$v_{p}$则是METRO预测得到的顶点位置。需要注意的是，这种优化之所以可行，是因为METRO的预测结果与MANO模型共享同一个模板网格。为了避免拟合过程中出现局部极小值，如果METRO顶点与优化后顶点之间的平均距离超过1厘米，我们就会重新运行优化过程。
### C.3. 优化
在初始化完成后，我们首先仅使用几何项$E_{geo}$来重建手部表面。随后，再加入$E_{app}$，对几何和外观同时进行优化。一旦在联合优化中几何结构稳定下来，我们就冻结几何优化步骤，仅用$E_{app}$继续细化外观。具体来说，为了获得个性化的手部姿态、形状和外观，我们采用如下的多阶段优化方案：(1) 几何优化，(2) 几何与外观联合优化，(3) 仅外观优化。对于[^30]和$E_{geo}$的优化，我们都使用Adam优化器$E_{app}$。总体而言，在单块Nvidia 3090 GPU上，优化过程平均耗时80分钟。
几何优化。给定掩码图像后，我们首先针对几何目标$\gamma$优化姿态$\beta$、形状$E_{geo}$、顶点位移D、平移量和旋转量。在此阶段，仅使用几何能量项$E_{geo}$作为损失函数。优化的学习率设为$1e^{-3}$，共迭代100个周期。
联合优化。在完成粗略的几何对齐后，我们开始针对外观目标$E_{app}$进行外观优化。在此阶段，几何目标$E_{geo}$和外观目标$E_{app}$会一起被优化50个周期，从而利用输入图像中的外观信息修正几何偏差。外观优化器的学习率设为$1e^{-2}$。
---
外观优化。最后，我们仅使用外观目标$E_{app}$再优化50个周期来细化外观。这一步旨在还原那些在几何结构仍在变化时难以优化的精细纹理细节。
外观正则化项。为了对UV纹理和法线图的重建进行正则化，我们在UV空间中定义了外观正则化项。设$\mathcal{T}$为反照率图，$\mathcal{G}$为法线图，I为UV空间中的一个像素：
$$ E_{{a p p\_{r} e g}}=E_{t\_{r} e g}+E_{n\_{r} e g}, $$
$$ E_{t\_{r} e g}=\sum_{I}\frac{1}{3}\left\|\mathcal{T}(I)-\mathcal{T}(I+\epsilon_{1})\right\|_{1}, $$
$$ E_{n\_{r} e g}=\sum_{I}\frac{1}{3}(\|\mathcal{G}(I)-\mathcal{G}(I+\epsilon_{2})\|_{1}+\|\mathcal{G}(I)-u_{z}\|_{2}^{2}), $$
其中$\epsilon_{1},\epsilon_{2}$是从标准差为2的高斯分布中采样的随机像素空间位移，$u_{z}$是指向z方向的单位向量。这两项确保了UV空间的平滑过渡，而$E_{n\_reg}$则促使法线与表面法线保持一致。
损失。各项能量项的权重如表C.1所定义：
| $E_{sil}$ | 7.0 |
| $E_{init}$ | 10.0 |
| $E_{verts}$ | 2.0 |
| $E_{lap}$ | 4.0 |
| $E_{norm}$ | 0.1 |
| $E_{arap}$ | 0.2 |
| $E_{photo}$ | 1.0 |
| $E_{vgg}$ | 1.0 |
| $E_{t_reg}$ | 2.0 |
| $E_{n_reg}$ | 0.5 |
Table C.1. Weights for each energy term.
#### C.4. 光照贡献
由于我们假设手部表面基本不反光，因此在光照模型中忽略了镜面反射贡献。在我们的方法中，每个表面点的颜色仅受环境光贡献和漫反射贡献的影响：环境光贡献决定了各点的亮度，与位置无关；漫反射贡献则根据表面法线与光线方向的夹角来确定亮度。漫反射光照还会受到可见度项V的影响，该项用于描述光源方向上的直接遮挡情况。较高的环境光贡献会使阴影更不明显，亮度也更均匀。图C.2展示了我们流程中各个组成部分的分解情况。图C.3则显示了考虑与不考虑可见度项V时，优化后得到的反照率之间的差异。
在实验中，当我们使用手部外观数据集的第一部分（该部分不存在明显阴影且只有单一主要光源）将我们的方法与基线方法进行比较时，我们依据经验关闭了HARP模型中的自阴影项。在其他实验中，自阴影项会被启用，且环境光与漫反射贡献之间的比例会与其他参数一同优化，具体细节如主论文所述。
##### D. 消融实验
在本节中，我们将探讨我们方法中各项能量项的重要性和作用。
外观方面。我们发现，若缺少感知项$E_{VGG}$，生成的纹理会过于平滑，因为映射到手部表面不同点的像素颜色会被平均化。而若缺少光度L1项$E_{photo}$，结果中可能含有噪声伪影。定性比较结果见表D.1。
几何方面。图D.1展示了省略特定形状正则化项后的优化结果的定性比较。“尽可能保持刚性”项$E_{arap}$能够防止网格在贴合轮廓时发生尖锐边缘。
---
参考文献
HARP
环境光
漫反射
阴影
Figure C.2. Decomposition of color contributions in our rendering pipeline.
参考文献
阴影
不含阴影
参考文献
阴影
不含阴影
Figure C.3. Comparison between optimization without and with self-shadowing effect. Without considering self-shadow, the input images cannot be faithfully reconstructed by the renderer.
| L1 $\downarrow$ | LPIPS $\downarrow$ | MS-SSIM $\uparrow$ |
| w/o $E_{photo}$ | 0.0171 | 0.0693 | 0.906 |
| w/o $E_{VGG}$ | 0.0164 | 0.0842 | 0.914 |
| HARP | 0.0168 | 0.0712 | 0.908 |
Table D.1. Ablation study on the appearance losses.
Figure D.1. Qualitative comparison between optimization results using different geometry regularization terms.
顶点位移项$E_{verts}$可确保网格偏离底层参数化模型形状空间的程度最小，从而使参数化模型生成的混合形状在网格重新造型时仍能发挥作用。其他项，包括法向一致性正则化项$E_{norm}$和拉普拉斯正则化项$E_{lap}$，则能使表面更平滑、更少凹凸。我们注意到，在渲染图像评估中，各项的效果不太明显，因为优化过程可通过纹理变化来抵消几何变化。不过，为确保网格在任何后续应用中都能保持完整性，这些正则化项是必不可少的。
---
##### 参考视图1 视图2 参考视图1 视图2
Figure E.1. Qualitative results of out-of-distribution hands with different lighting conditions. Our method can accurately capture diverse appearances. The first two rows are captured in different lighting conditions with a different number of ceiling lights. The last three rows are synthetic data rendered with three light sources and ambient light. Please zoom in for details.
##### E. 讨论
#### E.1. 补充结果
我们在图E.1中展示了更多结果，这些结果证明了我们的方法能够在不同肤色上准确捕捉纹身、指甲颜色和疤痕等多样化图案。
##### E.2. 与姿态相关的表面形变
由于我们的模型是基于MANO构建的，因此它会采用MANO姿态混合形状来建模与姿态相关的表面形变。我们设计的位移图旨在捕捉MANO无法表示的精细、个性化的手部形状。我们发现，若将位移图的条件设定为特定姿态，会导致同一表面形变由两组不同的参数来控制，这会给优化过程带来困难。
##### E.3. 失效案例
在本节中，我们将讨论系统出现的明显失效案例。相关示例展示在图E.2中。首先，HARP主要利用单目视图中的轮廓来引导个性化几何形状的生成。因此，图像和掩码必须提供充足的形状相关信息。当数据不足时，手部网格可能会为了满足掩码要求而发生意外形变。我们在图E.2(a)中展示了这一失效案例：由于侧视图图像不足，部分顶点会垂直于手掌方向延伸。需要注意的是，优化过程总能通过调整纹理来补偿这种凹凸不平的几何形状，从而复现输入图像。针对这一问题的潜在解决方案是……
---
参考文献
HARP
(a)
法线
参考文献
HARP姿态
轮廓叠加
(b)
Figure E.2. Failure cases and limitations. (a) With limited pixel information, the geometry could deform in an undesirable way as it uses mainly the silhouette for supervision. (b) HARP pose optimization is sensitive to initialization and could stuck in local minima when the initialization and foreground mask do not align. In this case, a large immediate increase in silhouette loss will prevent the optimizer from leaving the minima.
根据视频中手部的特征来调整几何正则化项。其次，由于我们的方法依赖于手部姿态估计器和前景掩码的初始化结果，最终的姿态和外观质量会受到姿态估计器及分割工具性能的影响。在某些情况下，由于初始化问题，姿态可能会陷入局部最小值（见图E.2(b)）。
##### E.4. 通过外观优化实现姿态精细化
在主论文中，我们展示了通过HARP优化手部姿态参数，能够使估计出的手部姿态更贴合图像，进而略微降低Procrustes对齐后的手部姿态误差。我们的直觉是：如果能提前获知手部的外观信息，就应该能够利用像素颜色优化来得到更精确的姿态。我们比较了以下四种情况的结果：（1）初始估计结果；（2）仅包含几何项的HARP $E_{geo}$（HARP-sil）；（3）常规HARP（HARP-full）；以及（4）已知外观条件下的HARP（HARP-known）。
情况（2）属于常见的任务，通常与可微渲染器 [^40] [^63] 相关联，即利用轮廓来优化物体姿态。然而我们观察到，对于手部这类高度关节化的物体而言，仅靠轮廓可能不足以得到正确的姿态。我们在图E.3中可视化了此类场景。
情况（3）仅利用了优化后视频内的外观一致性。由于姿态和外观是同时优化的，因此可能会出现与错误姿态对应的颜色。
案例（4）利用了通过相对简单的手部动作获取的外观信息。除手部姿态外，所有手部参数均作为初始值给出。这些参数（包括外观信息）是通过在另一序列上运行HARP获得的。在优化过程中，这些给定的参数会被固定，仅有手部姿态会被更新。所有的损失项与普通HARP模型相同。
我们证明了：如果在优化过程中利用外观一致性，这种姿态细化是可行的（案例3和案例4均属于此类）。我们承认，与InterHand2.6M等近期发布的手部姿态数据集相比，我们的合成数据集规模较小 [^49]。但由于缺乏带有精确3D标注的真实数据，我们只能在我们拥有完全精确真实数据的合成数据集上进行实验。InterHand2.6M数据集 [^49] 所提供的手部动作与我们目标应用场景最为接近，该数据集报告的MANO模型真实值拟合误差约为5毫米 [^46]。另一方面，在我们选定的序列中，METRO [^38] 模型预测的Procrustes对齐后MANO顶点误差为6毫米。由于1毫米以下的量化改进在统计上毫无意义——其数值比所谓的真实值误差小一个数量级——因此我们出于类似原因，并未报告在该数据集及其他现有数据集上的姿态细化结果。
未来工作。我们设想该应用场景的理想情形是：用户开始使用AR/VR设备时，先做一个手部翻转动作来获取手部外观信息；借助该外观信息，即可提升姿态估计的精度。不过实际上，优化速度仍会阻碍实时姿态细化的实现。因此，提升优化速度与降低姿态估计误差将是未来值得探索的方向。
---
图像
掩码
图像
掩码
Figure E.3. Example cases where the hand mask is not informative enough for determining the hand pose.