Figure 1. Demonstration of HandAvatar. (a) Personalized hand rendering. From left to right: hand mesh, compositional occupancy, albedo, illumination, shaded appearance, and ground truth; (b) three groups of texture editing in terms of lighting, albedo, and shadow (by altering the self-occlusion effect of thumb); (c) free-pose hand animation and rendering.
## 摘要
我们提出了HandAvatar，这是一种用于手部动画与渲染的新型表示方法，能够生成平滑连贯的几何结构以及考虑自遮挡情况的纹理。具体而言，我们首先开发了MANO-HD模型作为高分辨率的网格拓扑，用于拟合个性化的手部形状。接着，我们将手部几何分解为每个骨骼对应的刚性部分，再重新组合成对的几何编码，从而得到跨部件一致的占据场。在纹理建模方面，我们提出了一种考虑自遮挡情况的着色场（SelF）。在SelF中，我们在MANO-HD表面布置可驱动的锚点，用于记录各种手部姿态下的反照率信息。此外，我们设计了有向软占据来描述光线与表面的关系，利用该关系生成光照场，从而实现与姿态无关的反照率和与姿态相关的光照的解耦。我们的HandAvatar基于单目视频数据训练而成，既能实现自由姿态的手部动画与渲染，又能保证出色的外观保真度。我们还证明了
HandAvatar为手部外观编辑提供了可行路径。项目网站：。
### 1. 引言
多年来，人类虚拟形象[^5] [^16] [^20] [^21] [^28] [^75]一直是研究热点。然而，专门针对手部虚拟形象的研究却十分有限[^9]。由于手部与人类其他部位（即面部、头部和身体）之间存在明显的特性差异（例如严重的自遮挡和接触现象），因此有必要探索专门用于表示手部几何与纹理的定制化表示方法。
传统流程通常采用纹理贴图和彩色网格来建模手部外观[^7] [^11] [^12] [^25] [^44]，但要制作精细的个性化手部网格和纹理贴图，通常需要昂贵的扫描数据[^55]以及专业的美术知识。近年来，神经渲染技术受到了越来越多的关注，其中神经辐射场（NeRF）[^33]已被用于通过预测任意姿态下的几何与纹理属性来表示人体。
---
3D点查询结果为[9, 10, 21, 26, 38, 40, 41, 49, 52, 59, 63–65, 70, 73, 76]。与传统的网格-纹理管线相比，NeRF在训练数据收集方面成本更低，且渲染保真度更高。尽管人体和面部建模已取得巨大成功，但基于神经渲染的手部表示[^9]仍鲜有研究。手部关节活动度极高，复杂的手部运动给神经渲染带来了诸多难题。首先，手部几何形状的变形难以建模。在处理大规模且复杂的手部变形（如自接触现象）时，以往基于蒙皮的方法很难为任意查询点找到精确的蒙皮权重[^3] [^6] [^19] [^20] [^32] [^36] [^40] [^48] [^63] [^75]；而基于部件感知的方法通常存在跨部件不一致的问题[^18] [^22] [^31] [^61]。其次，由于手部结构高度复杂，手部纹理也难以建模。例如，手部的关节运动会导致严重的自遮挡现象，进而使不同手部姿态下的光照和阴影模式出现明显差异。光照对于逼真渲染至关重要，但目前尚未有相关研究能够估算由关节运动引起的自遮挡所产生的光照。
鉴于上述挑战，我们提出了用于可动画化逼真手部渲染的HandAvatar模型。考虑到几何与纹理建模中的不同难点，我们借鉴逆向图形学的思路[^77]，将手部几何、反照率和光照分离开来。首先，我们采用显式网格来描述手部形状。然而，常用的手部网格模型MANO[^45]仅提供包含778个顶点的粗糙网格，其形状拟合能力有限。因此，我们设计了MANO的超分辨率版本——MANO-HD，它拥有12,337个顶点和24,608个面，能够通过逐顶点位移来拟合个性化手部形状。此外，大量已有的标注了MANO数据的资料也能被MANO-HD无缝适配。为了将基于网格的手部形状引入体积渲染管线[^33]，我们提出了局部对占用场（PairOF）：其中每两个部件级的几何编码会根据物理连接关系重新组合，从而形成跨部件一致的场。至于手部纹理，我们提出了一种考虑自遮挡现象的着色场（SelF）。SelF由反照率场和光照场组成。反照率场利用均匀分布在MANO-HD表面的锚点，每个锚点都存储有位置与反照率编码，用以建模小范围的手部区域；光照场则用于应对关节运动引起的自遮挡现象，其中设计了定向软占用机制来估算光照和阴影模式。
MANO-HD和PairOF通过MANO参数标注进行预训练，随后它们会与Self一起在单目视频数据上执行端到端训练。最终，以手部姿态作为输入，我们的HandAvatar就能实现手部动画与渲染。我们在InterHand2.6M数据集[^35]上评估了该方法，结果显示其在自由姿态手部动画中能生成高保真的几何与纹理效果。我们还展示了在HandAvatar中编辑手部外观的便捷性，如图1所示。因此，我们的主要贡献总结如下：
- 我们提出了HandAvatar框架，这是首个能够实现考虑自遮挡光照的神经手部渲染方法。
- 我们开发了MANO-HD以及局部对占用场，它们能够拟合带有个性化细节的手部几何形状。
- 我们提出了一种自遮挡感知的着色场，能够渲染出具有逼真阴影图案的手部纹理。
- 我们的框架是为自由姿态下的真实感手部虚拟形象而端到端开发的。大量实验表明，我们的方法在性能上大幅优于现有技术。
### 2. 相关工作
参数化人体模型[^24] [^29] [^39] [^45] 经过多年发展，能够根据姿态和形状参数推导出网格。具体而言，作为常用的手部模型，MANO[^45]可生成包含778个顶点和1,538个面的手部网格。这种网格模板过于粗糙，因此其表征能力受到极大限制。Gyeongsik等人[^34]提出的DeepHandMesh能够生成密集且高保真的手部网格，但由于训练时需要多视角深度数据，其泛化能力受限。相比之下，我们的MANO-HD是一种通用高分辨率手部网格模型，因此所有现有的标注有MANO的数据都能通过MANO-HD无缝表示。同时，MANO-HD仅需单目RGB视频数据就能拟合个性化手部形状。
网格存在不连续且拓扑结构无法更改的缺陷。为解决这一问题，近期研究倾向于探索隐式人体几何[^2] [^23] [^32] [^47] [^68] [^74]，这类几何具有灵活性和连续性的优势。例如，GraspField[^23]利用有向距离场（SDF）来描述手与物体的接触情况。不过，与显式网格相比，隐式几何在自由姿态动画方面的表现较差，因此对隐式人体几何的关节驱动研究十分广泛。如[^3] [^36] [^40] [^63]中所报道的，姿态空间中的查询点可通过线性混合蒙皮和逆向蒙皮权重转换回规范空间。但逆向蒙皮范式无法处理自接触问题，因为一个查询点可能对应多个规范空间点。随后，人们设计了正向蒙皮变形算法，通过迭代求根方法将规范空间点转换到姿态空间[^6] [^20] [^32] [^48] [^75]，但这种迭代优化算法可能会干扰端到端网络的训练。总体而言，每根骨骼的刚性变换可构成较大的运动空间，但要为任意3D点查询优化出精确的蒙皮权重却十分困难。借助参数化模型[^29] [^45]，另一种在姿态空间和规范空间之间进行变形的思路是利用表面
---
运动 [^26] [^54] [^65]。对于某个查询点，会根据欧几里得距离找到对应的网格表面点作为参考点，然后将该查询点的形变设置为与参考点相同。Yuan等人[^69]以及Garbin等人[^13]指出，基于三角网格的参考方式不够精确，因此提出使用四面体网格。然而，四面体网格的形变难以与常见的人体先验知识相兼容[^24] [^29] [^45]，且计算速度可能较慢[^50]。无需进行运动近似，部分感知方法[^18] [^22] [^31] [^61]是通过融合各部分几何信息来实现的。NASA[^18]将人体划分为各个骨骼对应的部分，然后将查询点变形到每个部分的空间中，利用明确的刚体变换来解码各部分的占据情况。NASA能够凭借精确的查询运动来描述复杂的形变，但忽略了身体各部分之间的信息关联。为解决这一问题，COAP[^31]利用PointNet[^43]对相连的部分进行编码，但仍然存在部分连接不平滑的问题。我们摒弃逐部分建模的思路，提出了一种成对部分解码器，以生成跨部分一致的几何结构。
人体纹理。以往，手部纹理研究主要聚焦于纹理贴图和彩色网格[^7] [^11] [^12] [^25] [^44]。尽管已有许多高质量的纹理贴图被提出，但设计个性化纹理贴图通常需要昂贵的扫描数据[^55]以及艺术方面的专业知识[^11]。相比之下，LISA[^9]采用辐射场[^66]从多视角图像中学习手部外观，并引入了颜色参数以实现纹理泛化。与LISA不同，我们设计了单目方法以便于数据采集。此外，我们还关注包括反照率和光照在内的细节化个性化纹理。由于隐式形变存在上述难题，人体表面学习到的纹理可能会变得模糊[^20] [^63]。为了增强表面纹理的表达能力，我们以显式网格为引导开发了局部表示方法。NeuralBody[^41]将潜码附加到网格顶点上，通过稀疏卷积将其扩散到空间中[^15]。NeuMesh[^8]也将颜色特征置于网格顶点上，从而实现了可编辑的辐射场。此外，还设计了网格引导的局部体积[^28]和局部辐射场[^76]。我们遵循局部建模范式，在MANO-HD表面上均匀放置锚点，利用重心采样来追踪局部信息。
人体逆向渲染。大多数方法将人体外观建模为几何、反照率和光照的复杂组合[^63]。与此同时，人们对人体逆向渲染的兴趣日益浓厚，其目的在于从RGB数据中提取固有成分（即几何、材质和光照）[37,56–58,77]。例如，GAN2X[^37]设计了一种无监督框架，用于建模非朗伯材质的反照率和镜面属性，随后利用Phong着色技术渲染面部[^42]。出于类似目的，HyFRIS-Net[^77]通过逆向3DMM模型分离反照率和光照，从而显著提升面部渲染质量。S2HAND[^7]同时估计相机姿态、彩色网格和光照条件，以形成用于手部姿态估计的光度损失函数，但其渲染质量较为粗糙，缺乏细节表现。尽管人脸逆向渲染技术已成为研究热点，但这些成果无法直接应用于手部任务。与面部不同，手部具有复杂的自遮挡特性。以往的研究尚未探讨由自遮挡引起的光照和阴影问题，因此我们在手部逆向图形学领域填补了这一空白。
辐射场中的光照。现有基于NeRF的光照技术文献[^4] [^51] [^53] [^72]主要致力于估计光源条件或表面反射属性（即双向反射分布函数，BRDF）。例如，NeRV[^51]以已知光照下的多张图像为输入来预测BRDF，进而实现任意光照条件下的新视角渲染。NeLF[^53]设计了光照估计模块，随后进行面部重新光照处理。NeRF-OSR[^46]收集多视角户外图像来预测反照率图和阴影图。与现有技术不同，我们专注于在存在关节自遮挡的情况下建模光照。
### 3. 方法
图2展示了我们的HandAvatar系统的整体流程，包括MANO-HD（第3.1节）、PairOF（第3.2节）和SelF（第3.3节）。表1列出了本文中使用的符号及其定义。
#### 3.1. MANO-HD
网格细分。MANO[^45]利用形状参数$\beta$和姿态参数$\boldsymbol{\theta} \in \mathbb{R}^{B \times 3}$来变形手部网格（$B = 16$表示每根骨骼对应的部分数量）。为提高网格分辨率，我们通过在边中点处添加新顶点来对MANO模板网格进行均匀细分[^16]。这一操作使顶点数增至12,337个，面数增至24,608个（见图3）。随后，新增顶点的蒙皮权重取其相邻原始顶点的平均值。为了消除蒙皮过程中的伪影，我们对上采样后的蒙皮权重进行了优化，以提升动态表现力。详情请参阅补充材料。
形状拟合。尽管MANO-HD拥有高分辨率的模板，但其形状仍受限于$\beta$。因此，在建模个性化手部网格时，我们摒弃了$\beta$，转而使用多层感知机（MLP）来生成更精细的形状$\tilde{\mathbf{V}} = \tilde{\mathbf{V}} + \mathcal{M}_{shape}([\mathcal{P}(\tilde{\mathbf{V}}), \theta])$，其中$\tilde{\mathbf{V}}, \mathcal{P}(\cdot), [\cdot]$分别代表MANO-HD模板顶点、位置编码以及二者的拼接结果。该MLP可利用单目视频数据进行训练。
---
Figure 2. HandAvatar overview. Given hand pose, MANO-HD produces personalized mesh, while PariOF yields accordingly occupancy field. SelF estimates albedo and illumination fields under self-occlusion. Then, hand appearance is synthesized by volume rendering.
| $\theta$ | hand pose parameter | $\beta$ | hand shape parameter |
| $\mathbf{P}$ | point cloud | $\mathbf{r}$ | ray direction |
| b | index of per-bone parts | $\mathbf{n}$ | sampled point normal |
| $\mathbf{q}$ | query point position | $\mathbf{p}$ | sampled point position |
| $\mathbf{G}_{b}$ | bone transformation matrix | $\mathbf{D}_{b}$ | part geometry encoding |
| $\mathbf{E}$ | positional encoding | $\mathbf{A}$ | albedo encoding |
| u | illumination value | $\mathbf{a}$ | albedo value in RGB |
| $\alpha$ | occupancy value | $\alpha^{s}$ | soft occupancy value |
Table 1. Symbolical notations.
Figure 3. Templates of MANO (left) and MANO-HD (right).
训练过程中采用IoU损失$\mathcal{L}_{shape} = 1 - \mathrm{IoU}(\mathcal{D}(\mathcal{S}(\tilde{\mathbf{V}})), \mathbf{S}^{*})$，其中$\mathcal{D}, \mathcal{S}, \mathbf{S}^{*}$分别对应轮廓渲染结果[^27]、线性混合蒙皮以及真实轮廓。
#### 3.2. 局部配对占据场
给定查询点 $\mathbf{q} \in \mathbb{R}^3$，PairOF 会预测占据值 $\alpha_{\mathbf{q}}$，用以描述该点是否位于 $(\alpha_{\mathbf{q}} > 0.5)$ 表面之内或 $(\alpha_{\mathbf{q}} < 0.5)$ 表面之外。因此，手部表面可表示为 $\{\mathbf{q} | \alpha_{\mathbf{q}} = 0.5\}$。
部件空间编码器。遵循 NASA [^18] 的方法，我们将手部网格划分为基于骨骼的部件网格，并在部件网格面上均匀采样 $N^p$ 个点，从而得到点云 $\mathbf{P}_b = \{\mathbf{p} \in \mathbb{R}^3\}$ 和法线 $\mathbf{N}_b = \{\mathbf{n} \in \mathbb{R}^3\}$。这些点、法线以及查询点会通过 $\hat{\mathbf{P}}_b = \mathbf{G}_b^{-1}\mathbf{P}_b, \hat{\mathbf{N}}_b = \mathbf{R}_b^{-1}\mathbf{N}_b, \hat{\mathbf{q}}_b = \mathbf{G}_b^{-1}\mathbf{q}$ 被转换到部件规范空间中，其中 $\mathbf{G}$ 是骨骼变换矩阵，$\mathbf{R}$ 是 $\mathbf{G}$ 的旋转分量。按照 COAP [^31] 的做法，将 $\hat{\mathbf{P}}_b, \hat{\mathbf{N}}_b$ 输入 PointNet $\mathcal{Q}_{part}$ 以提取潜在的几何特征。最终，部件几何编码是通过拼接 PointNet 的表示与规范化后的查询点得到的，即 $\mathbf{D}_{b,q} = [\mathcal{Q}_{part}([\hat{\mathbf{P}}_b, \hat{\mathbf{N}}_b]), \hat{\mathbf{q}}_b]$。
局部配对解码器。为了探究部件间的关系，一些先前的研究会根据运动树融合各骨骼的特征，从而形成结构化表示 [^1] [^14] [^32]。我们的直觉是，局部部件形状与运动树并无关联，相反，部件之间存在紧密的联系。因此，我们将局部配对定义为物理上相连的两个部件。接着，我们基于 PointNet 提出了局部配对解码器 $Q_{pair}$，用于融合每对配对的编码并预测占据值：
$$ \alpha_{b,\mathbf{q}}=\sigma(\operatorname*{m a x}\{\mathcal{Q}_{p a i r}(\{\mathbf{D}_{b,\mathbf{q}},\mathbf{D}_{b^{\prime},\mathbf{q}}\})|b^{\prime}\in\mathbb{P}(b)\}) $$
其中 $\mathbb{P}(b)$ 用于选取与部件 b 有物理连接的局部配对部件；$\sigma$ 是 sigmoid 函数；$\alpha_{b,q}$ 是部件级的占据值。通过部件间的配对解码，部件边界会变得模糊。因此，公式 (1) 中最大值运算符的作用就是得到延伸至连接处的部件级几何体的并集。最终，全局占据值是通过融合部件级的值得到的，即 $\alpha_{q} = \max\{\alpha_{b,q}\}_{b=1}^{B}$。
预训练。借助免费的 MANO 参数标注，我们对 PairOF 进行预训练，使其作为先验模型来获取 3D 手部的先验知识。利用 MANO-HD 推断出的手部网格，我们采样包含 $N^t$ 个点的点云作为训练数据 [^31]。训练目标是最小化真实值 $\alpha^*$ 与预测的占据值之间的均方误差，即 $\mathcal{L}_{PairOF} = \frac{1}{N^t} \sum_{\mathbf{q}} (\alpha_{\mathbf{q}} - \alpha_{\mathbf{q}}^*)^2$。
#### 3.3. 自遮挡感知着色场
给定查询点 q，SelF 会预测其反照率和光照值，这些数值会通过体渲染方法进行渲染。
---
Figure 4. Illustration of self-occluded illumination along the kinematic tree of the forefinger. The deepest purple positions contribute to directed soft occupancy value.
体渲染。对于沿视图方向 $\mathbf{r}^v$ 的光线投射，我们均匀采样 $N^q$ 个查询点 $\{\mathbf{q}_i\}_{i=1}^{N^q}$，每个查询点都具有占据值 $\alpha$、反照率 $\mathbf{a}$ 以及光照值 u。我们使用体渲染方法 [^33] 来渲染神经场：
$$ \begin{array}{r}{\mathbf{X}_{\mathbf{r}^{v}}=\sum_{i=1}^{N^{q}}(\prod_{j=1}^{i-1}(1-\alpha_{\mathbf{q}_{j}}))\alpha_{\mathbf{q}_{i}}\mathbf{X}_{\mathbf{q}_{i}}.}\end{array} $$
当 X 等于 a、u 或 ua 时，我们分别能得到像素的反照率值、光照值或着色后的 RGB 颜色。
反照率场。反照率描述了材料的固有颜色，该性质不受手部姿态、光照等因素的影响。基于这种不变性，我们在MANO-HD表面固定锚点，这些锚点的测地位置相对关系不随姿态变化而改变。为此，我们在MANO-HD模板网格上均匀采样包含$\mathbf{P}$个点的点云$N^a$，并用重心坐标来表示它们。与直接使用顶点作为锚点相比[^8] [^28] [^41]，我们的重心锚点分布更均匀，能够覆盖整个手部表面。接着，我们初始化随机的反照率编码$\mathbf{A} \in \mathbb{R}^{N^a \times D^a}$，并将其附加到锚点上。给定手部姿态后，可根据变形后的顶点和固定的重心坐标重新采样，形成变形点云$\mathbf{P}$。对于查询点q，我们找到$N^n$中距离最近的$\mathbf{P}$个点，并以欧几里得距离的倒数作为权重来插值得到$\mathbf{A}$。由此，我们获得反照率编码$\mathbf{A}_q \in \mathbb{R}^{D^a}$，再将其输入多层感知机以预测反照率值$\mathbf{a}_q \in \mathbb{R}^3$，即$\mathbf{a}_q = \mathcal{M}_{albedo}(\mathbf{A}_q)$。
有向软占据。在估计自遮挡情况下的光照时，我们需要知道骨骼部分的远近关系。也就是说，当查询点q靠近多个部位时，其光照会受到自遮挡的影响。虽然占据值可以描述q与各部位之间的关系，但该值几乎是二元的，只能反映内部与外部的关系。因此，我们在Sigmoid函数中引入一个软因子$\tau$来软化占据值：
$$ \sigma^{s}(x)=\tfrac{1}{1+e^{-\tau x}},\quad0<\tau<1. $$
通过将方程(1)中的$\alpha_{b,q}^{s}$替换为$\sigma$，即可得到软占据$\sigma^{s}$。此外，我们并未针对单个查询点建模，而是设计了有向软占据来反映光线投射与关节部位之间的远近关系。对于能够到达查询点q的光线投射r，有向软占据$\alpha_{b,q,r}^{s}$被定义为光线在击中q之前在r上的最大值。为了离散化处理，我们在光线投射r上均匀采样查询点$\{\mathbf{q}_{i}\}_{i=1}^{N^{q}}$，并计算有向软占据如下：
$$ \alpha_{b,\mathbf{q},\mathbf{r}}^{s}=\max\{\alpha_{b,\mathbf{q}_{i}}^{s}|\mathbf{q}_{i}\leq\mathbf{q}\}, $$
其中，$\mathbf{q}_i \leq \mathbf{q}$用于选取光线在到达$\mathbf{q}$之前所经过的查询点。例如，$\alpha_{b_3,\mathbf{q},\mathbf{r}}^s$等于图4中最深的紫色查询点对应的$\alpha_{b_3}^s$。
光照场。众所周知，光照效果与光源分布、辐照度以及反射率密切相关。反射率属于材料属性，与自遮挡无关，并非我们的研究重点。受自遮挡影响，部分环境光射线可能会被阻挡，从而导致辐照度发生变化。因此，该问题被转化为估计外部查询点$\mathbf{q}$（$\alpha_{b,q}^{s} < 0.5$）处的辐照度，它代表了能够到达$\mathbf{q}$的能量大小。为此，我们以手部姿态$\boldsymbol{\theta}$和查询点位置作为线索。与反照率编码类似，我们将位置编码$\mathbf{E} = \mathcal{P}(\mathbf{\hat{P}})$附加到锚点上，通过插值得到$\mathbf{E}_{\mathbf{q}}$，即$\mathbf{q}$的表面校准位置。然而，对于$\boldsymbol{\theta}$和$\mathbf{E}_{\mathbf{q}}$而言，自遮挡问题相当棘手，因此我们利用有向软占据来增强对自遮挡的感知能力。
如Fig. 4所示，关节结构会阻碍部分能量到达q点。显然，沿某一射线方向的能量遮挡情况可以通过一组有向的软占用场$\{\alpha_{b,\mathbf{q},\mathbf{r}}^{s}\}_{b=1}^{B}$来体现。也就是说，如果光线在到达q点之前先经过多个部件，那么q点的光照就会受到自遮挡的影响。由于内存预算有限，我们无法考虑球面上分布的所有射线方向，因此必须减少光线投射的次数。我们的原则是：（1）所选射线应能够到达q点（即$\alpha_{b,\mathbf{q},\mathbf{r}}^{s} < 0.5$），从而能够描述所有关节部件的远近关系；（2）一个关节部件仅能影响其附近的照明，也就是查询点靠近该部件时的情况（即$\alpha_{b,\mathbf{q}}^{s} \to 0.5$）。同时，根据公式(4)我们可得$\alpha_{b,\mathbf{q},\mathbf{r}}^{s} \geq \alpha_{b,\mathbf{q}}^{s}$。因此，射线方向引起的变化很小，我们便以$\{\alpha_{b,\mathbf{q},\mathbf{r}^{v}}^{s}\}_{b=1}^{B}$作为估算q点辐照度的依据，其中$\mathbf{r}^{v}$为视线方向。无需增加额外的光线投射次数，我们就能通过利用基于视线方向的光线投射和查询来大幅降低计算成本。
最后，我们使用MLP来预测光照值，即$u_{\mathbf{q}} = \mathcal{M}_{illum}([\boldsymbol{\theta}, \mathbf{E}_{\mathbf{q}}, [\alpha_{b, \mathbf{q}, \mathbf{r}^{v}}^{s}]_{b=1}^{B}])$。
优化。SelF的训练基于重建损失函数，包括LPIPS [^71]损失以及渲染图像$l_1$与真实图像$\mathbf{C}$之间的$\mathbf{C}^*$误差，也就是$\mathcal{L}_{SelF} = \mathcal{L}_{LPIPS}(\mathbf{C}, \mathbf{C}^*) + \|\mathbf{C} - \mathbf{C}^*\|_1$。
---
| Method | #Param | Guided mesh | IoU (%) $\uparrow$ | Lap. $\downarrow$ | Cham. $\downarrow$ |
| COAP [^31] | 138K | MANO | 94.08 | 2.371 | 8.564 |
| COAP | 138K | MANO-HD | 94.01 | 2.348 | 7.694 |
| COAP $^{*}$ | 287K | MANO-HD | 95.08 | 2.339 | 7.405 |
| PairOF $\dagger$ | 256K | MANO-HD | 96.06 | 2.288 | 6.998 |
| PairOF (ours) | 237K | MANO-HD | 96.32 | 2.281 | 7.151 |
Table 2. Effects of MANO-HD and PairOF. $^{*}$: w/ wider-MLP decoder; $^{\dagger}$: w/ Transformer-based decoder.
Figure 5. Effects of MANO-HD and PariOF. (a) COAP w/MANO. (b) COAP w/MANO-HD. (c) PariOF w/MANO-HD.
### 4. 实验
#### 4.1. 实现细节与评价指标
PairOF的预训练。我们采用InterHand2.6M数据集[^35]中的所有右手标注数据进行预训练，其训练集和测试集分别包含875,530个和565,611个样本。可学习参数包括$Q_{part}$、$Q_{pair}$。我们设定$N^t = N^p = 256$，训练过程旨在最小化$\mathcal{L}_{PairOF}$。
端到端训练。利用个性化的单目视频，我们以端到端方式优化$\mathcal{M}_{shape}$、$\mathcal{Q}_{pair}$、$\mathcal{M}_{albedo}$、$\mathcal{M}_{illum}$以及A。视频数据选自InterHand2.6M数据集[^35]。目标是最小化$\mathcal{L}_{shape} + \mathcal{L}_{PairOF} + \mathcal{L}_{SelF}$。SelF中的超参数设置为$N^q = 64$、$N^a = 4096$、$N^n = 4$、$D^a = 128$、$\tau = 0.05$。渲染分辨率为$256 \times 256$。关于数据选择、预处理及更多训练细节，请参阅补充材料。
在评估占用场时，采用IoU作为指标，遵循COAP [^31] 中的度量标准。我们还利用拉普拉斯平滑（Lap.）和倒角距离（Cham.）来评估网格质量；其中倒角距离定义为从占用场中提取的顶点 [^30] 与引导网格面之间的最小距离。Lap.和Cham.的计算公式详见 $10^{-4}m$。与HumanNeRF [^63] 的做法一致，我们采用LPIPS [^71]、PSNR和SSIM [^62] 来反映图像质量。
Figure 6. Attention map for fusing part-wise geometry encodings. The rows with red indices contribute to global occupancy value.
所有评估数据均采用训练中未出现的新姿态。
#### 4.2. 几何性能评估
与现有方法对比：PairOF和COAP [^31] 采用相同的编码器但解码器不同，因此二者的对比能够揭示我们所提出的部件对级解码机制的效果。COAP的结果来自官方发布的代码，我们也在InterHand2.6M数据集上重新训练了模型。由于我们的局部对解码器规模比COAP更大，为了保持模型尺寸相当，我们增大了MLP的宽度（记为COAP*）。如表2所示，由MANO-HD引导的占用场表面更平滑（Lap.值更低）且保真度更高（Cham.值更低），这说明在引导隐式函数方面MANO-HD优于MANO。此外，PairOF能大幅提升各项指标。如图5所示，MANO-HD能够改善整体平滑度，而PairOF则彻底消除了非平滑的部件连接处，从而实现跨部件的一致性。
与基于Transformer的解码器对比：为了验证PairOF中的局部成对先验知识，我们采用Transformer [^60] 技术作为解码器，其中自注意力机制能够自适应地融合部件级几何信息，无需依赖归纳先验。如表2所示，局部成对解码器的表现与基于Transformer的解码器相当。为了揭示自注意力的效果，我们针对两种典型的手部姿态（即平展姿态和握拳姿态）深入研究了基于注意力的特征融合过程。首先，我们从占据场中提取网格顶点，每个顶点都对应相应的注意力图。接着，我们找到每个顶点处占据值最大的部件，并据此将顶点分组。每组顶点能够反映某一骨骼部件的特性，我们在图6中展示了它们的平均注意力图。由于在部件级几何融合中采用了最大值运算符，因此只有单个部件会对全局占据值产生影响。
---
Figure 7. Effects of the disentangled albedo and illumination fields in SelF. (a) Coupled albedo and illumination. (b,c) Disentangled albedo and illumination; directed soft occupancy is not involved in (b); from left to right: albedo, illumination, shaded image. (d) Ground truth.
对于部件b而言，我们应关注第b行（图6中的红色数字）。由此可见，基于注意力的融合方式与我们的局部成对设计理念一致。例如，注意力图会融合部件$b_{0}, b_{10}, b_{11}$以更新部件$b_{10}$的编码。因此，局部成对解码器的设计思路十分清晰。不过，基于Transformer的解码器效率并不高，因为其注意力图中存在垂直模式而非对角线模式。也就是说，Transformer引入了无意义的计算，尽管这些计算对全局占据值并无贡献。例如，参考图6中的“握拳姿态”和“骨骼部件12”，注意力图整合了部件$b_{0}, b_{12}$的编码（而非$b_{1}$）来预测部件$b_{1}$。其原因在于内部特性被过度强化，且在握拳姿态下属于部件$b_{12}$的顶点也具有属于部件$b_{0}$的内部特性。更多细节和部件索引请参阅补充材料。
#### 4.3. 渲染质量评估
形状拟合方面的消融研究：我们使用$\mathcal{M}_{shape}$来拟合个性化手部形状。作为对比，我们用基于$\mathcal{M}_{shape}$的形状拟合方法替换$\beta$，其中$\beta$是InterHand2.6M数据集中的标注信息。如表3所示，基于$\beta$的方法会导致较差的渲染质量，而我们的方法则带来了显著提升。因此，我们提出的MANO-HD的形状拟合能力得到了证实。
SelF方面的消融研究：参考图7(a)和(b)可知，反照率和光照场的解耦能够通过引入阴影图案来提升渲染的真实感。此外，定向软占据场还能通过基于光线的遮挡估计进一步优化光照表示。参考图7(c)可知，值得注意的是……
| Shape fit. | Illum. | Dir. occ. | LPIPS $\downarrow$ | PSNR $\uparrow$ | SSIM $\uparrow$ |
| | | 0.1268 | 26.53 | 0.8692 |
| ✓ | | | 0.1113 | 27.32 | 0.8830 |
| ✓ | ✓ | | 0.1063 | 28.02 | 0.8903 |
| ✓ | ✓ | ✓ | 0.1035 | 28.23 | 0.8941 |
Table 3. Effects of shape fitting (Shape fit.), illumination field (Illum.), and directed soft occupancy (Dir. occ.) on rendering quality. Results are from Interhand2.6M test/Capture0.
与图7(b)相比，手掌和手指上的阴影图案更加真实，且伪影更少。在表3中，光照场和定向软占用率带来了渲染指标的定量提升，这表明我们的SelF有助于实现逼真的渲染效果。
与现有技术的比较 我们将HandAvatar与之前的单目方法HumanNeRF [^63] 和SelfRecon [^20] 进行比较，这两种方法均基于官方发布的代码，并在InterHand2.6M数据集上重新训练。SelfRecon采用基于表面的渲染 [^67] 方法，其对纹理细节的表现并不理想，如图8所示。HumanNeRF和我们的方法均采用体积渲染方法 [^33] ，能够生成逼真的手部纹理。然而，受逆蒙皮变形的限制，HumanNeRF无法应对手部动画中常见的自接触现象。如图8所示，当手指相互接触时，HumanNeRF的几何形状会出现失真。相比之下，得益于我们的PairOF，HandAvatar在保持几何精度的同时，具备自由姿态动画的优势。此外，SelfRecon和HumanNeRF都使用纠缠的反照率和光照来进行颜色预测，因此很难察觉到手部的阴影，如图8的第3至8行所示。
---
| Method | test/Capture0 | test/Capture1 | val/Capture0 |
| LPIPS $\downarrow$ | PSNR $\uparrow$ | SSIM $\uparrow$ | LPIPS $\downarrow$ | PSNR $\uparrow$ | SSIM $\uparrow$ | LPIPS $\downarrow$ | PSNR $\uparrow$ | SSIM $\uparrow$ |
| SelfRecon [^20] | 0.1421 | 26.38 | 0.8786 | 0.1389 | 25.18 | 0.8758 | 0.1490 | 25.78 | 0.8687 |
| HumanNeRF [^63] | 0.1145 | 27.64 | 0.8836 | 0.1177 | 26.31 | 0.8803 | 0.1192 | 27.80 | 0.8816 |
| ours | 0.1035 | 28.23 | 0.8941 | 0.1076 | 26.56 | 0.8902 | 0.1062 | 28.04 | 0.8900 |
Table 4. Rendering quality comparison among our HandAvatar and prior arts on the InterHand2.6M dataset.
Figure 8. Visualization results of SelfRecon [^20], HumanNeRF [^63], and our HandAvatar on free-pose animation and rendering.
相反，我们的HandAvatar在建模由关节自遮挡引起的光照和阴影图案方面具有优势。这归功于我们提出的SelF所带来的反照率和光照的解耦。
Figure 9. Visualization results of LISA [^9] and our HandAvatar. The result of LISA is cropped from their original paper.
如图8中的白色箭头所示，由于我们的定向软占用率机制，我们能够针对不同的自遮挡情况呈现不同的阴影强度。为了进行定量比较，我们在三个视频序列上训练模型，如表4所示，我们在所有指标上均取得了最佳结果。
作为与本文最相关的工作，LISA [^9] 是在未公开的多视角数据上训练的，其模型和代码尚未发布。因此，我们依据其原文报告的结果来与LISA进行比较。如图9所示，LISA在利用可学习的基于蒙皮的变形来捕捉精确的手部姿态方面存在困难。除了形状与姿态重建更为精准外，我们渲染出的纹理细节也比LISA更加逼真。
除了渲染精度高之外，HandAvatar还为外观编辑提供了途径，如图1所示。
### 5. 结论
在这项工作中，我们提出了一种名为HandAvatar的新型手部表示方法，用于自由姿态动画和渲染。首先，我们将MANO扩展为具有高分辨率拓扑结构的MANO-HD，以提升手部网格的形状拟合能力。随后，我们开发了带有局部配对解码器的PairOF，它能够生成跨部位一致的占用场。此外，我们提出了SelF，这是首个用于在关节自遮挡条件下建模手部纹理的方法，可实现手部反照率和光照的解耦。大量实验表明，我们在自由姿态手部动画和渲染方面取得了优异的成果。我们相信，我们的方法为动态手部表示开辟了新途径。
局限性与未来工作 为了控制计算成本，我们使用基于视向的定向软占用率来估算辐照度。这可能会导致依赖视向的阴影图案。因此，改进光照场值得进一步探索。
---
## 参考文献
[^1]: Emre Aksan, Manuel Kaufmann, and Otmar Hilliges. Structured prediction helps 3D human motion modelling. In ICCV, 2019.
[^2]: Thiemo Alldieck, Hongyi Xu, and Cristian Sminchisescu. imGHUM: Implicit generative models of 3d human shape and articulated pose. In ICCV, 2021.
[^3]: Bharat Lal Bhatnagar, Cristian Sminchisescu, Christian Theobalt, and Gerard Pons-Moll. LoopReg: Self-supervised learning of implicit surface correspondences, pose and shape for 3d human mesh registration. In NeurIPS, 2020.
[^4]: Mark Boss, Raphael Braun, Varun Jampani, Jonathan T Barron, Ce Liu, and Hendrik Lensch. NeRD: Neural reflectance decomposition from image collections. In ICCV, 2021.
[^5]: Chen Cao, Tomas Simon, Jin Kyu Kim, Gabe Schwartz, Michael Zollhoefer, Shun-Suke Saito, Stephen Lombardi, Shih-En Wei, Danielle Belko, Shoou-I Yu, et al. Authentic volumetric avatars from a phone scan. ACM TOG, 2022.
[^6]: Xu Chen, Yufeng Zheng, Michael J Black, Otmar Hilliges, and Andreas Geiger. SNARF: Differentiable forward skin-ning for animating non-rigid neural implicit shapes. In ICCV, 2021.
[^7]: Yujin Chen, Zhigang Tu, Di Kang, Linchao Bao, Ying Zhang, Xuefei Zhe, Ruizhi Chen, and Junsong Yuan. Model-based 3D hand reconstruction via self-supervised learning. In CVPR, 2021.
[^8]: Chong Bao and Bangbang Yang, Zeng Junyi, Bao Hujun, Zhang Yinda, Cui Zhaopeng, and Zhang Guofeng. NeuMesh: Learning disentangled neural mesh-based implicit field for geometry and texture editing. In ECCV, 2022.
[^9]: Enric Corona, Tomas Hodan, Minh Vo, Francesc Moreno-Noguer, Chris Sweeney, Richard Newcombe, and Lingni Ma. LISA: Learning implicit shape and appearance of hands. In CVPR, 2022.
[^10]: Yu Deng, Jiaolong Yang, Jianfeng Xiang, and Xin Tong. GRAM: Generative radiance manifolds for 3D-aware image generation. In CVPR, 2022.
[^11]: Daiheng Gao, Yuliang Xiu, Kailin Li, Lixin Yang, Feng Wang, Peng Zhang, Bang Zhang, Cewu Lu, and Ping Tan. DART: Articulated hand model with diverse accessories and rich textures. In NeurIPS, 2022.
[^12]: Daiheng Gao, Xindi Zhang, Xingyu Chen, Andong Tan, Bang Zhang, Pan Pan, and Ping Tan. CycleHand: Increasing 3D pose estimation ability on in-the-wild monocular image through cyclic flow. In ACM MM, 2022.
[^13]: Stephan J Garbin, Marek Kowalski, Virginia Estellers, Stanislaw Szymanowicz, Shideh Rezaeifar, Jingjing Shen, Matthew Johnson, and Julien Valentin. VolTeMorph: Real-time, controllable and generalisable animation of volumetric representations. arXiv:2208.00949, 2022.
[^14]: Georgios Georgakis, Ren Li, Srikrishna Karanam, Terrence Chen, Jana Košeká, and Ziyan Wu. Hierarchical kinematic human mesh recovery. In ECCV, 2020.
[^15]: Benjamin Graham, Martin Engelcke, and Laurens Van Der Maaten. 3D semantic segmentation with submanifold sparse convolutional networks. In CVPR, 2018.
[^16]: Philip-William Grassal, Malte Prinzler, Titus Leistner, Carsten Rother, Matthias Nießner, and Justus Thies. Neural head avatars from monocular RGB videos. In CVPR, 2022.
[^17]: Yuantao Gu, Jian Jin, and Shunliang Mei. $l_{0}$ norm constraint lms algorithm for sparse system identification. IEEE Signal Processing Letters, 16(9):774–777, 2009.
[^18]: Timothy Jeruzalski, Boyang Deng, Mohammad Norouzi, John P Lewis, Geoffrey Hinton, and Andrea Tagliasacchi. NASA: Neural articulated shape approximation. In ECCV, 2020.
[^19]: Timothy Jeruzalski, David IW Levin, Alec Jacobson, Paul Lalonde, Mohammad Norouzi, and Andrea Tagliasacchi. NiLBS: Neural inverse linear blend skinning. arXiv:2004.05980, 2020.
[^20]: Boyi Jiang, Yang Hong, Hujun Bao, and Juyong Zhang. SelfRecon: Self reconstruction your digital avatar from monocular video. In CVPR, 2022.
[^21]: Wei Jiang, Kwang Moo Yi, Golnoosh Samei, Oncel Tuzel, and Anurag Ranjan. NeuMan: Neural human radiance field from a single video. arXiv:2203.12575, 2022.
[^22]: Korrawe Karunratanakul, Adrian Spurr, Zicong Fan, Otmar Hilliges, and Siyu Tang. A skeleton-driven neural occupancy representation for articulated hands. arXiv:2109.11399, 2021.
[^23]: Korrawe Karunratanakul, Jinlong Yang, Yan Zhang, Michael J Black, Krikamol Muandet, and Siyu Tang. Grasping field: Learning implicit representations for human grasps. In 3DV, 2020.
[^24]: Tianye Li, Timo Bolkart, Michael J Black, Hao Li, and Javier Romero. Learning a model of facial shape and expression from 4D scans. ACM Trans. Graph., 36(6), 2017.
[^25]: Yuwei Li, Longwen Zhang, Zesong Qiu, Yingwenqi Jiang, Nianyi Li, Yuexin Ma, Yuyao Zhang, Lan Xu, and Jingyi Yu. NIMBLE: A non-rigid hand model with bones and muscles. ACM TOG, 2022.
[^26]: Lingjie Liu, Marc Habermann, Viktor Rudnev, Kripasindhu Sarkar, Jiatao Gu, and Christian Theobalt. Neural actor: Neural free-view synthesis of human actors with pose control. ACM TOG, 2021.
[^27]: Shichen Liu, Tianye Li, Weikai Chen, and Hao Li. Soft rasterizer: A differentiable renderer for image-based 3d reasoning. In ICCV, 2019.
[^28]: Stephen Lombardi, Tomas Simon, Gabriel Schwartz, Michael Zollhoefer, Yaser Sheikh, and Jason Saragih. Mixture of volumetric primitives for efficient neural rendering. ACM TOG, 2021.
[^29]: Matthew Loper, Naureen Mahmood, Javier Romero, Gerard Pons-Moll, and Michael J Black. SMPL: A skinned multi-person linear model. ACM TOG, 2015.
[^30]: William E Lorensen and Harvey E Cline. Marching cubes: A high resolution 3d surface construction algorithm. ACM siggraph computer graphics, 21(4):163–169, 1987.
[^31]: Marko Mihajlovic, Shunsuke Saito, Aayush Bansal, Michael Zollhoefer, and Siyu Tang. COAP: Compositional articulated occupancy of people. In CVPR, 2022.
### [^32]: Marko Mihajlovic, Yan Zhang, Michael J Black, and Siyu Tang. LEAP: Learning articulated occupancy of people. In CVPR, 2021
---
[^33]: Ben Mildenhall, Pratul P Srinivasan, Matthew Tancik, Jonathan T Barron, Ravi Ramamoorthi, and Ren Ng. NeRF: Representing scenes as neural radiance fields for view synthesis. In ECCV, 2020.
[^34]: Gyeongsik Moon, Takaaki Shiratori, and Kyoung Mu Lee. DeepHandMesh: A weakly-supervised deep encoder-decoder framework for high-fidelity hand mesh modeling. In ECCV, 2020.
[^35]: Gyeongsik Moon, Shoou-I Yu, He Wen, Takaaki Shiratori, and Kyoung Mu Lee. Interhand2.6M: A dataset and baseline for 3D interacting hand pose estimation from a single RGB image. In ECCV, 2020.
[^36]: Atsuhiro Noguchi, Xiao Sun, Stephen Lin, and Tatsuya Harada. Neural articulated radiance field. In ICCV, 2021.
[^37]: Xingang Pan, Ayush Tewari, Lingjie Liu, and Christian Theobalt. GAN2X: Non-lambertian inverse rendering of image gans. In 3DV, 2022.
[^38]: Keunhong Park, Utkarsh Sinha, Jonathan T Barron, Sofien Bouaziz, Dan B Goldman, Steven M Seitz, and Ricardo Martin-Brualla. Nerfies: Deformable neural radiance fields. In ICCV, pages 5865–5874, 2021.
[^39]: Georgios Pavlakos, Vasileios Choutas, Nima Ghorbani, Timo Bolkart, Ahmed AA Osman, Dimitrios Tzionas, and Michael J Black. Expressive body capture: 3D hands, face, and body from a single image. In CVPR, pages 10975–10985, 2019.
[^40]: Sida Peng, Junting Dong, Qianqian Wang, Shangzhan Zhang, Qing Shuai, Xiaowei Zhou, and Hujun Bao. Animatable neural radiance fields for modeling dynamic human bodies. In ICCV, 2021.
[^41]: Sida Peng, Yuanqing Zhang, Yinghao Xu, Qianqian Wang, Qing Shuai, Hujun Bao, and Xiaowei Zhou. Neural body: Implicit neural representations with structured latent codes for novel view synthesis of dynamic humans. In CVPR, 2021.
[^42]: Bui Tuong Phong. Illumination for computer generated pictures. Communications of the ACM, 18(6):311–317, 1975.
[^43]: Charles R Qi, Hao Su, Kaichun Mo, and Leonidas J Guibas. PointNet: Deep learning on point sets for 3D classification and segmentation. In CVPR, 2017.
[^44]: Neng Qian, Jiayi Wang, Franziska Mueller, Florian Bernard, Vladislav Golyanik, and Christian Theobalt. HTML: A parametric hand texture model for 3D hand reconstruction and personalization. In ECCV, 2020.
[^45]: Javier Romero, Dimitrios Tzionas, and Michael J Black. Embodied hands: Modeling and capturing hands and bodies together. ACM TOG, 2017.
[^46]: Viktor Rudnev, Mohamed Elgharib, William Smith, Lingjie Liu, Vladislav Golyanik, and Christian Theobalt. NeRF for outdoor scene relighting. In ECCV, 2022.
[^47]: Shunsuke Saito, Zeng Huang, Ryota Natsume, Shigeo Morishima, Angjoo Kanazawa, and Hao Li. PIFu: Pixel-aligned implicit function for high-resolution clothed human digitization. In ICCV, 2019.
[^48]: Shunsuke Saito, Jinlong Yang, Qianli Ma, and Michael J Black. Scanimate: Weakly supervised learning of skinned clothed avatar networks. In CVPR, 2021.
[^49]: Ruizhi Shao, Hongwen Zhang, He Zhang, Mingjia Chen, Yan-Pei Cao, Tao Yu, and Yebin Liu. DoubleField: Bridging the neural surface and radiance fields for high-fidelity human reconstruction and rendering. In CVPR, 2022.
[^50]: Olga Sorkine and Marc Alexa. As-rigid-as-possible surface modeling. In Symposium on Geometry processing, 2007.
[^51]: Pratul P Srinivasan, Boyang Deng, Xiuming Zhang, Matthew Tancik, Ben Mildenhall, and Jonathan T Barron. NeRV: Neural reflectance and visibility fields for relighting and view synthesis. In CVPR, 2021.
[^52]: Shih-Yang Su, Frank Yu, Michael Zollhöfer, and Helge Rhodin. A-NeRF: Articulated neural radiance fields for learning human shape, appearance, and pose. In NeurIPS, 2021.
[^53]: Tiancheng Sun, Kai-En Lin, Sai Bi, Zexiang Xu, and Ravi Ramamoorthi. NeLF: Neural light-transport field for portrait view synthesis and relighting. In Eurographics Symposium on Rendering, 2021.
[^54]: Gusi Te, Xiu Li, Xiao Li, Jinglu Wang, Wei Hu, and Yan Lu. Neural capture of animatable 3d human from monocular video. In ECCV, 2022.
[^55]: Ten24. .
[^56]: Ayush Tewari, Florian Bernard, Pablo Garrido, Gaurav Bharaj, Mohamed Elgharib, Hans-Peter Seidel, Patrick Pérez, Michael Zollhofer, and Christian Theobalt. FML: Face model learning from videos. In CVPR, 2019.
[^57]: Ayush Tewari, Hans-Peter Seidel, Mohamed Elgharib, Christian Theobalt, et al. Learning complete 3D morphable face models from images and videos. In CVPR, 2021.
[^58]: Ayush Tewari, Michael Zollhofer, Hyeongwoo Kim, Pablo Garrido, Florian Bernard, Patrick Perez, and Christian Theobalt. MoFA: Model-based deep convolutional face autoencoder for unsupervised monocular reconstruction. In ICCV, 2017.
[^59]: Edgar Tretschk, Ayush Tewari, Vladislav Golyanik, Michael Zollhöfer, Christoph Lassner, and Christian Theobalt. Non-rigid neural radiance fields: Reconstruction and novel view synthesis of a dynamic scene from monocular video. In ICCV, 2021.
[^60]: Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. In NeurIPS, 2017.
[^61]: Shaofei Wang, Andreas Geiger, and Siyu Tang. Locally aware piecewise transformation fields for 3d human mesh registration. In CVPR, 2021.
[^62]: Zhou Wang, Alan C Bovik, Hamid R Sheikh, and Eero P Simoncelli. Image quality assessment: from error visibility to structural similarity. IEEE TIP, 2004.
[^63]: Chung-Yi Weng, Brian Curless, Pratul P Srinivasan, Jonathan T Barron, and Ira Kemelmacher-Shlizerman. HumanNeRF: Free-viewpoint rendering of moving people from monocular video. In CVPR, 2022.
[^64]: Hongyi Xu, Thiemo Alldieck, and Cristian Sminchisescu. HNeRF: Neural radiance fields for rendering and temporal reconstruction of humans in motion. NeurIPS, 2021.
### [^65]: Tianhan Xu, Yasuhiro Fujita, and Eiichi Matsumoto. Surface-aligned neural radiance fields for controllable 3D human synthesis. In CVPR, 2022
---
[^66]: Lior Yariv, Jiatao Gu, Yoni Kasten, and Yaron Lipman. Volume rendering of neural implicit surfaces. NeurIPS, 2021.
[^67]: Lior Yariv, Yoni Kasten, Dror Moran, Meirav Galun, Matan Atzmon, Basri Ronen, and Yaron Lipman. Multiview neural surface reconstruction by disentangling geometry and appearance. In NeurIPS, 2020.
[^68]: Tarun Yenamandra, Ayush Tewari, Florian Bernard, Hans-Peter Seidel, Mohamed Elgharib, Daniel Cremers, and Christian Theobalt. i3DMM: Deep implicit 3D morphable model of human heads. In CVPR, 2021.
[^69]: Yu-Jie Yuan, Yang-Tian Sun, Yu-Kun Lai, Yuewen Ma, Rongfei Jia, and Lin Gao. NeRF-Editing: geometry editing of neural radiance fields. In CVPR, 2022.
[^70]: Jiakai Zhang, Xinhang Liu, Xinyi Ye, Fuqiang Zhao, Yanshun Zhang, Minye Wu, Yingliang Zhang, Lan Xu, and Jingyi Yu. Editable free-viewpoint video using a layered neural representation. ACM TOG, 2021.
[^71]: Richard Zhang, Phillip Isola, Alexei A Efros, Eli Shechtman, and Oliver Wang. The unreasonable effectiveness of deep features as a perceptual metric. In CVPR, 2018.
[^72]: Xiuming Zhang, Pratul P Srinivasan, Boyang Deng, Paul Debevec, William T Freeman, and Jonathan T Barron. NeR-Factor: Neural factorization of shape and reflectance under an unknown illumination. ACM TOG, 2021.
[^73]: Fuqiang Zhao, Wei Yang, Jiakai Zhang, Pei Lin, Yingliang Zhang, Jingyi Yu, and Lan Xu. HumanNeRF: Efficiently generated human radiance field from sparse inputs. In CVPR, 2022.
[^74]: Mingwu Zheng, Hongyu Yang, Di Huang, and Liming Chen. Imface: A nonlinear 3D morphable face model with implicit neural representations. In CVPR, 2022.
[^75]: Yufeng Zheng, Victoria Fernández Abrevaya, Marcel C Bühler, Xu Chen, Michael J Black, and Otmar Hilliges. I M Avatar: Implicit morphable head avatars from videos. In CVPR, 2022.
[^76]: Zerong Zheng, Han Huang, Tao Yu, Hongwen Zhang, Yandong Guo, and Yebin Liu. Structured local radiance fields for human avatar modeling. In CVPR, 2022.
### [^77]: Yongjie Zhu, Chen Li, Si Li, Boxin Shi, and Yu-Wing Tai. Hybrid face reflectance, illumination, and shape from a single image. IEEE TPAMI, pages 5002–5015, 2021
---
### A. MANO-HD
MANO。MANO可以通过参数$\beta \in \mathbb{R}^{10}$和$\theta \in \mathbb{R}^{B \times 3}$来驱动（其中$B = 16$表示每个骨骼对应的部分数量），这里$\beta$是形状PCA基的系数，而$\theta$则表示以轴角形式表示的关节旋转。平均模板网格会经过变形以匹配不同的形状：
$$ \begin{aligned}&\tilde{\mathbf{V}}=\bar{\mathbf{V}}+\mathcal{B}_{s}(\boldsymbol{\beta})+\mathcal{B}_{p}(\boldsymbol{\theta})\\&\mathbf{J}=\mathcal{J}(\bar{\mathbf{V}}+\mathcal{B}_{s}(\boldsymbol{\beta})),\\ \end{aligned} $$
其中$\bar{\mathbf{V}}, \mathcal{B}_s, \mathcal{B}_p$为模板顶点以及形状/姿态混合变形数据。规范化的关节位置$\mathbf{J} \in \mathbb{R}^{B \times 3}$是通过回归器$\mathcal{J}$给出的。
接着，沿着运动链$\mathbf{G}_b \in \mathbb{R}^{4 \times 4}$计算骨骼变换矩阵$\mathcal{K}$，计算过程采用Rodriguez公式$\mathcal{R}$：
$$ \mathbf{G}_{b}(\boldsymbol{\theta},\mathbf{J})=\prod_{j\in\mathcal{K}(b)}\left[\frac{\mathcal{R}(\boldsymbol{\theta}_{j})}{\mathbf{0}}\left|\begin{matrix}\mathbf{J}_{j}\\ 1\end{matrix}\right.\right] $$
最后，利用线性混合蒙皮技术，根据蒙皮权重$\mathbf{W} \in \mathbb{R}^{V \times B}$对顶点进行姿态调整（V表示顶点数量），具体过程如下：
$$ \begin{array}{r}{\mathbf{V}_{i}=\sum_{b=1}^{B}\mathbf{W}_{b,i}\mathbf{G}_{b}(\theta,\mathbf{J})G_{k}(\mathbf{0},\mathbf{J})^{-1}\tilde{\mathbf{V}}_{i}.}\end{array} $$
MANO-HD的优化。参照[^16]的方法，我们对MANO模板网格进行细分，得到包含12,337个顶点和24,608个面的高分辨率版本。不过，关节化动态网格细分并非易事，且网格蒙皮操作很可能会在变形后的网格中产生伪影。因此，我们优化了上采样的蒙皮权重$\mathbf{W}^{HD} \in \mathbb{R}^{V^{HD} \times B}$，利用能量函数消除各种手部姿态下的动态伪影，具体如下：
$$ \begin{aligned}&\mathcal{L}_{l_{0}}=\sum_{i=1}^{B\cdot V^{H D}}\big(1-e^{-\eta\mathbf{W}_{i}^{H D}}\big)\\&\mathcal{L}_{l a p}=\frac{1}{V^{H D}}\sum_{i=1}^{V^{H D}}\sum_{j\in\mathbb{N}(i)}\frac{1}{\omega}||\mathbf{V}_{i}^{H D}-\mathbf{V}_{j}^{H D}||_{2}\\&\mathcal{L}_{s u r f}=\operatorname{C h a m}(\mathbf{V}^{H D},\mathbf{F}),\\ \end{aligned} $$
其中$\mathcal{L}_{l_0}$通过近似处理$l_0$范数约束[^17]来生成稀疏的蒙皮权重。$\mathcal{L}_{lap}$是用于保证网格平滑度的拉普拉斯项，这里$\mathbb{N}(\cdot)$代表顶点邻域，$\omega$为归一化因子。函数$\text{Cham}(\cdot, \cdot)$用于计算MANO-HD网格顶点$\mathbf{V}^{HD}$与MANO网格面$\mathbf{F}$之间的倒角距离。整体能量函数表示为$\mathcal{L}_{HD} = \lambda_{l_0} \mathcal{L}_{l_0} + \lambda_{lap} \mathcal{L}_{lap} + \lambda_{surf} \mathcal{L}_{surf}$，其中平衡项为$\lambda$。
MANO-HD的实现细节。为了进行$W^{HD}$优化，我们采用了原始的MANO数据集[^45]，该数据集包含1,554个姿态参数，用于训练和评估。我们通过随机组合和插值手指级旋转来实现数据增强。训练过程共进行3,000步，批量大小为
| Method | Lap. | Cham. | $l_{{0}}$ norm (%) |
| MANO | 23.31 | - | 16.29 |
| MANO-HD w/o $\mathbf{W}^{HD}$ opt. | 1.923 | 7.014 | 17.97 |
| MANO-HD w/o $\mathcal{L}_{{l_{{0}}}}$ | 1.576 | 7.170 | 44.15 |
| MANO-HD | 1.753 | 7.039 | 16.89 |
Table 5. Effects of the $\mathbf{W}^{HD}$ optimization (opt.)
Figure 10. Hand mesh comparison under a large deformation.
| Name | Depth | Width | Input size | Output size |
| $\mathcal{M}_{shape}$ | 4 | 128 | 84 | 3 |
| MLP in $Q_{pair}$ | 4 | 128 | 64 | 1 |
| $\mathcal{M}_{albedo}$ | 4 | 256 | 128 | 3 |
| $\mathcal{M}_{illum}$ | 4 | 256 | 85 | 1 |
Table 6. The details of MLPs.
1,024。初始学习率设为$10^{-5}$，随后按指数规律衰减。我们以$\mathcal{L}_{HD}$作为优化目标，并调整超参数以平衡多个能量项，如$\eta = 100$、$\lambda_{l_0} = 0.01$、$\lambda_{lap} = 1$、$\lambda_{surf} = 10$。
MANO-HD的效果。我们使用拉普拉斯平滑Lap.和倒角距离Cham.来衡量MANO-HD的平滑度和精确度，其定义与方程8中的$\mathcal{L}_{lap}$和$\mathcal{L}_{surf}$相同。Lap.和Cham.的结果均在$10^{-4}m$中呈现。由于MANO表面不够平滑，Lap.和Cham.无法同时得到改善。此外，我们引入$l_0$范数作为评价指标，它定义为蒙皮权重中非零元素所占的比例。
如表5所示，网格细分能够改善Lap.，但如图10中的部件连接区域所示，会在蒙皮过程中产生伪影。此外，即便$\mathbf{W}^{HD}$优化的Lap.值更低，但若没有$\mathcal{L}_{0}$的参与，也无法解决这一问题。其原因在于$\mathbf{W}^{HD}$的稀疏性较差。经过基于$\mathcal{L}_{l_{0}}$的优化后，$l_{0}$的$\mathbf{W}^{HD}$范数与MANO相当，且蒙皮性能也得到了提升（见图10）。
### B. 网络结构
运动树与局部配对。根据MANO的定义[^45]，图11展示了手部的骨骼索引与连接关系。此外，我们还展示了所定义的局部配对。
---
Figure 11. Kinematic tree and part indices of the hand. We also show local pairs along the kinematic chain of forefinger.
Figure 12. PointNet structure. "c,+" indicate concatenation and element-wise sum; "FC" denotes fully connected layer.
PointNet结构。用于部分空间编码器$Q_{part}$和局部配对解码器$Q_{pair}$的PointNet如图12所示，其中N、F分别表示点的数量和特征尺寸。对于$Q_{part}$、$N^{in} = 256$、$F^{in} = 6$、$N^{out} = 1$、$F^{out} = 64$而言；对于$Q_{pair}$，我们去掉了最后的MaxPool层，从而得到$N^{in} = 2$、$F^{in} = 64$、$N^{out} = 2$、$F^{out} = 64$。
MLP细节。参考表6，我们列出了本文中使用的MLP细节。
局部配对解码器。局部配对解码器$Q_{pair}$包含PointNet和MLP，其详细结构已在前文介绍。此外，我们展示了$Q_{pair}$如何沿食指的运动链处理几何编码，如图13(a)所示。首先，局部配对的编码被视作两个点并进行融合。
Figure 13. (a) Our proposed local-pair decoder. Multiple Point-Nets/MLPs share weights. (b) Transformer-based decoder for comparison. (c) Attention-based fusion of part-level encodings in Transformer for bone part $b_{2}$. Consistent with Fig.11, colors distinguish part-level geometry encodings. For visual conciseness, we only show the process of forefinger.
| Capture | Training set | Validation set |
| test/Capture0 | 11,757 | 194 |
| test/Capture1 | 18,474 | 232 |
| val/Capture0 | 18,340 | 184 |
Table 7. Data amount for training and validation sets.
该融合过程由PointNet完成。由于没有跨点最大池化操作，PointNet输出的形状与其输入保持一致。随后，MLP将PointNet的输出映射到占据域。因此，一个骨骼部分可能会因多个局部配对预测而拥有多个占据值，这些值会通过最大值运算符进行融合。由于PointNet的特征融合作用，部分边界会变得模糊并向连接方向延伸。因此，最大值运算符被用来生成边界扩展后的部分几何体的并集。最后，使用Sigmoid函数进行占据归一化。
基于Transformer的解码器。为了验证局部配对设计的有效性，我们开发了一种基于Transformer的学习方法。如图13(b)所示，所有部分级别的编码都被输入到Transformer编码器中，无需任何先验知识。通过4个自注意力模块，Transformer能够执行自适应特征融合。参考图13(c)，注意力图决定了重要特征的选择方式，其效果与我们采用的局部配对解码器一致。也就是说，骨骼部分$b_{1}$、$b_{2}$、$b_{3}$在注意力图中相互连接，从而演化出部分$b_{2}$的编码。
### C. 训练细节
---
Figure 14. Three groups of texture editing. (a) Reconstruction results. From left to right: albedo, illumination, and shaded image. (b) Lighting editing. (c) Albedo editing. (d) Shadow editing.
视频数据。为了进行定量评估，我们从InterHand2.6M数据集[^35]中选取了三个序列。数据量见表7，其中训练数据来自ROM04_RT_Occlusion序列，验证数据来自ROM03_RT_No_Occlusion序列。由于视频帧存在高度冗余性，验证数据是通过固定跳步间隔选取的，我们调整跳步间隔以确保能覆盖各种手部姿态和全局旋转情况。
对于每一帧，我们利用标注的检测框作为真值来裁剪手部区域。首先，将该框调整为边长为原框1.3倍的正方形框，然后裁剪手部区域并将其缩放至$256 \times 256$分辨率。
训练设置。对于PairOF预训练，学习率初始值为$5 \times 10^{-4}$，并呈指数衰减。训练过程共进行27万步，批量大小为32。
对于端到端训练，学习率初始值为$5 \times 10^{-4}$，并呈指数衰减。由于进行了预训练，$\mathcal{Q}_{pair}$的学习率被设为前者的十分之一。遵循[^63]的方法，我们采用补丁策略进行训练，补丁大小为$32 \times 32$。训练过程共进行5万步，批量大小为16。
### D. 纹理编辑
参考图14，我们的HandAvatar支持手部纹理编辑。首先，我们将光照场乘以1.5倍或0.8倍来改变光照，如图14(b)所示。接着，我们调整反照率场的平均RGB值，从而得到图14(c)中的结果。此外，我们还对图14(d)中的阴影进行了编辑。在上排图像中，通过将与拇指相关的定向软占用值设为0来生成纹理。
Figure 15. PairOF (left) vs. Transformer-based method (right)
结果是，手掌上的自遮挡阴影图案会变弱。在下排图像中，我们通过将骨骼部分的定向软占用值设为0 $b_{5}$ 和 $b_{11}$，消除了中指和无名指之间的阴影图案。阴影编辑结果也验证了定向软占用的影响。
### E. 讨论
反照率与光照的解耦。反照率与光照的解耦不需要额外的正则化。众所周知，反照率与手部姿态无关，而光照则依赖于手部姿态。在SelfF模型中，反照率场的输入与手部姿态无关，而与姿态相关的元素则被送入光照场。因此，以各种手部姿态作为训练数据，优化过程会确保光照与反照率场相互独立。此外，光照场输出的是标量，无法建模基于RGB（三通道）的反照率。
PairOF与基于Transformer的方法：PairOF的设计初衷是融合部件级的几何编码以消除……
---
解决了部件连接区域中的形状不一致问题。尽管正文表2中的数值结果相似，但我们的PairOF在特征融合方面比基于Transformer的方法更有效。也就是说，手部骨骼的连接是不可改变的，而PairOF能够利用这一先验知识，从而实现比自注意力机制更有效的特征融合。因此，如图15所示，自注意力机制无法在视觉上实现我们的设计初衷。此外，在学习效率方面我们更具优势：基于Transformer的方法收敛更慢，且对数据需求量更大。
### F. 局限性与未来工作
除了正文中提到的局限性外，HandAvatar在未来还可以从以下几个方向进一步改进。首先，完整的光照编辑值得深入研究。例如，尽管有图14(b)所示的光照编辑效果，但在光照场中编辑或添加点光源仍较为困难。其次，手部外观中镜面反射效果的表征也是另一个有趣的研究方向。要实现这一目标，需要探索具有BRDF特性的手部表面属性。第三，正文图5中展示的手部几何结构是PairOF预训练的结果。经过带纹理损失的端到端训练后，PairOF可能会生成带有几何皱纹的非光滑表面。这是由于InterHand2.6M数据集中的手部姿态标注误差导致的。结果就是，PairOF会生成脆弱的手部几何结构来弥补这一误差。