# LISA：学习手部隐式形状与外观

Enric Corona $^{1\dagger}$ Tomas Hodan $^{2}$ Minh Vo $^{2}$ Francesc Moreno-Noguer $^{1}$ Chris Sweeney $^{2}$ Richard Newcombe $^{2}$ Lingni Ma $^{2}$

$^{1}$西班牙巴塞罗那CSIC-UPC机器人学与工业信息学研究所 $^{2}$Meta公司Reality Labs

![Image](images/6c0b3d336fe9e615b2160439a6d819e384dcf54eba1b79db2444c1ad9bbcdb21.jpg)

<div style="text-align: center;">Figure 1. The LISA hand model is defined by an articulated implicit representation learned from multi-view RGB videos annotated with coarse 3D hand poses (left). The shape, color and pose parameters are disentangled in the model by design, enabling fine control of selected aspects of the model. In this figure, we animate the pose of a learned LISA model, while keeping the shape and color parameters fixed. The three rows show the shape shaded by surface normal, the appearance, and the color-coded skinning weights, respectively. The skinning weights are explicitly predicted and used to combine the per-bone predictions of the Signed Distance Field (SDF) and the surface color.</div>

## 摘要

本文提出了一种全能型的人手神经模型，名为LISA。该模型能够精准捕捉手部形状与外观，可泛化到任意人手对象，提供密集的表面对应关系，能从自然场景中的图像重建手部模型，且易于动画制作。我们通过在大量标注了粗略手部骨骼3D姿态的多视角RGB图像序列上最小化形状与外观损失来训练LISA。对于局部手部坐标系中的某个3D点，我们的模型会独立预测其颜色以及相对于每根手骨的有符号距离，随后利用预测的蒙皮权重来整合各骨骼的预测结果。形状、颜色和姿态表示在设计中就是解耦的，因此能够精细控制所选的手部参数。实验表明，LISA能够从单目或多视角序列中精准重建动态手部，其重建出的手部形状质量明显优于基线方法。项目页面：<https://www.iri.upc.edu/people/ecorona/lisa/>。

### 1. 引言

† 本工作为作者在Meta公司Reality Labs实习期间完成。

自大约200万年前拇指对掌功能出现、使人能够抓握物体以来[^25]，人类主要通过手与物理世界互动。因此，人手建模与追踪问题在计算机视觉领域自然受到了广泛关注[^43]。准确且鲁棒地解决这些问题，将能开启人机交互、假肢设计以及虚拟与增强现实等诸多领域的广泛应用。

大多数与人手建模及追踪相关的研究工作，例如[^8] [^20] [^21] [^29] [^38] [^70]，都依赖于MANO手部模型[^53]，该模型由可通过一组形状和姿态参数控制的多边形网格定义。尽管MANO模型应用广泛，但其分辨率较低且没有纹理坐标，因此难以表示表面颜色。

人体建模与追踪的相关领域同样依赖参数化网格，其中最常用的模型是SMPL[^31]，它存在与MANO模型类似的限制。近期的人体建模方法，例如[^1] [^4] [^10] [^15] [^34] [^54] [^61]，采用基于隐式表示的关节模型，比如神经辐射场[^35]或有符号距离场（SDF）[^46]。这类表示既能描述形状又能描述外观，还能捕捉比基于参数化网格的方法更精细的几何结构。不过，隐式表示应用于人手这类关节物体时的效果如何，以及它们对未见过的姿态的泛化能力如何，尚待探索。

---

与基于参数化网格的方法相比，该方法能生成更精细的几何形状。不过，隐式表示在应用于人手等关节物体时的效果如何，以及它们对未见姿态的泛化能力如何，目前尚待探索。

我们研究了用于建模人类手部的关节化隐式表示，并做出以下贡献：

1. 我们提出了LISA，这是首个能够精准捕捉手部形状与外观、可泛化到任意手部对象、提供密集表面对应关系（通过预测的蒙皮权重实现）、能从自然场景图像中重建且易于动画化的手部神经模型。

2. 我们展示了如何通过在一组标注有手部骨骼粗略3D姿态的多视角RGB图像序列上最小化形状与外观损失来训练LISA。

3. LISA中的形状、颜色和姿态表示在设计上就是解耦的，从而能够对模型的特定方面进行精细控制。

4. 我们的实验评估表明，在基于3D点云的手部重建以及基于RGB图像的手部重建任务中，LISA的表现均优于基线方法。

### 2. 相关工作

参数化网格。凭借其简单性和高效性，参数化网格在建模人体[^24] [^31] [^44] [^49]、手部[^53]、面部[^28]以及动物[^71]等关节化物体方面广受欢迎。MANO手部模型[^53]是基于大量经过精心配准的手部扫描数据训练的，它能够捕捉与形状和姿态相关的混合形状以实现手部个性化。尽管MANO模型在手部追踪和形状估计领域得到广泛应用[6, 8, 13, 20–22, 27, 29, 36, 38, 68, 70]，但由于采用传统技术求解大型优化问题，其分辨率较低。为了重建更精细的手部几何结构，研究人员在[^12] [^16] [^57]中探索了图卷积网络，在[^26]中则采用了螺旋滤波器。DeepHandMesh[^37]基于专业设计的网格模板，通过神经网络学习姿态和形状校正参数。Chen等人[^9]通过开发基于UV的表示方法对MANO模型进行了改进。GHUM[^64]则提出了一种生成式参数化网格，其中形状校正参数、骨骼和蒙皮权重均由神经网络预测。

隐式形状表示。许多研究采用神经网络来通过学习隐式函数来建模几何形状，这类函数是连续且可微的，例如有符号距离场（SDF）[^2] [^3] [^11] [^14] [^19] [^46] 或占据场[^33]。为提高学习效率，[^7] [^17] [^18] [^59] 研究了基于部件的隐式模板，用于建模与物体无关的中级形状特征。隐式表示还被扩展到关节变形领域，在LoopReg[^4]中，通过利用循环一致性来学习逆向蒙皮变换，从而进行弱监督训练；该变换可将表面点映射到SMPL人体模型[^31]。基于SMPL模型，NASA[^15]为每根骨骼训练一个OccNet[^33]，用以近似形状混合形变和姿态混合形变。PTF[^61]在NASA的基础上进一步将点云注册到SMPL模型上。类似地，imGHUM[^1]训练了四个DeepSDF网络[^46]，其预测结果会由一个额外的轻量级网络进行融合。为了消除NASA训练中对于真实SMPL模型的依赖，SNARF[^10]采用了迭代求根技术，将姿态空间中的每个查询点映射到规范空间中的对应点，从而实现可微的前向蒙皮变换。LEAP[^34]和SCANimate[^54]还通过神经网络同时建模前向和逆向蒙皮变换，并利用循环一致性来指导向规范空间的变换训练。LEAP还将该框架扩展到多受试者学习场景，即将骨骼变换映射为形状特征；而SCANimate则能构建可动画定制的穿衣虚拟形象。我们从NASA的研究中获得灵感来对手部变形进行约束，但会显式建模蒙皮权重，以便混合形状与颜色信息。

隐式外观表示。目前已提出多种从多视角图像中学习场景外观的方法。其核心思想是通过光线投射来渲染神经体积，从而建模图像形成过程[^30] [^40] [^55] [^66]。尤其是NeRF[^35]，凭借其高效的辐射场建模方式而广受青睐。后续研究表明，若通过占据场[^42]或有符号距离场[^60] [^65]来调节密度，就能改善几何建模效果。在本研究中，我们以VolSDF[^65]作为核心渲染器。针对动态场景，[^47] [^52] [^58]将NeRF与变形场学习相结合。在建模动态人体方面，Neural Body[^51]将可学习的顶点特征附加到SMPL模型上，并通过稀疏卷积扩散这些特征以实现体积渲染。A-NeRF[^56]利用SMPL骨骼变换来约束NeRF，从而学习可动画的虚拟形象。类似的思想也体现在[^50]和NARF[^41]中。H-NeRF[^63]将imGHUM与NeRF结合，以实现外观学习，并训练单独的网络来预测有符号距离场。在我们的研究中，外观和有符号距离场的预测是在每根骨骼内独立进行的，随后再根据对应的蒙皮权重进行加权处理。

解耦表示。将姿态、形状或颜色等特定属性的参数解耦是非常可取的，因为这允许独立地处理（例如估计或动画化）这些属性。受参数化网格模型的启发，Zhou等人[^69]训练了一个网格自编码器，以解耦人类和动物的形状与姿态。他们开发了一种基于交叉一致性损失的无监督学习技术。

---

![Image](images/3e1eafaa8a2427c67acef3544af9e680e924b445e55a2d6bd361ecba75c8246f.jpg)

<div style="text-align: center;">Figure 2. Training and architecture of the LISA hand model. Left: LISA is trained by minimizing shape and appearance losses from a dataset of multi-view RGB image sequences. The sequences are assumed annotated with coarse 3D poses of the hand skeleton that are refined during training. The training sequences show hands of multiple people and are used to learn disentangled representations of pose, shape and color. Middle: LISA approximates the hand by a collection of rigid parts defined by the hand bones. A 3D query point is transformed to the local coordinate systems of the bones associated with independent neural networks, which predict the signed distance to the hand surface and the color. Note that  $G_{j}$ is realized by two independent MLPs, one predicting the signed distance and one predicting the color (see Section 4.1). Right: The per-bone predictions are combined using skinning weights predicted by an additional network.</div>

DiForm [^62]采用解码器网络来在学习基于SDF的形状嵌入时解耦身份与形变。A-SDF [^39]则将形状嵌入与关节角度分离，用于建模铰接物体。NPM [^45]提出先在规范姿态的扫描数据上训练形状嵌入，再通过另一个网络在密集监督下学习形变场。i3DMM [^67]采用了与形变场类似的思路来学习人头模型。该方法能够解耦身份、发型和表情，并在密集彩色SDF监督下进行训练。在本研究中，我们提出了一种具有解耦形状、姿态和外观参数的生成式手部表示。

### 3. 背景

MANO [^53]将人手表示为姿态参数$\theta$和形状参数$\beta$的函数：

 $$ M:(\boldsymbol{\theta},\boldsymbol{\beta})\mapsto\mathbf{V}, $$

其中手部由包含$n_j = 16$个关节的骨骼绑定定义，姿态参数$\boldsymbol{\theta} \in \mathbb{R}^{n_j \times 3}$表示骨骼间相对旋转的轴角表示。$\beta$是一个10维向量，$\mathbf{V} \in \mathbb{R}^{n_v \times 3}$则是三角网格的顶点。映射M是通过线性混合蒙皮（LBS）变换对规范手型$\mathbf{V}^r$进行变形来估算的，权重为$\mathbf{W} \in \mathbb{R}^{n_b \times n_v}$，其中$n_b$表示骨骼数量。具体来说，对于规范形状上的顶点$\mathbf{v}_i^r$，LBS的变换方式如下：

 $$ \mathbf{v}_{i}=\sum_{j=1}^{n_{b}}w_{i,j}\mathbf{T}_{j}\bar{\mathbf{v}}_{i}^{r}~, $$

其中$\mathbf{T}_j \in \mathbb{R}^{3 \times 4}$是施加在骨骼j静止姿态上的刚性变换，$w_{i,j}$是$(i,j)$中的$\mathbf{W}$项，$\bar{\mathbf{v}}$表示$\mathbf{v}$的齐次坐标。LISA基于MANO对骨骼的定义，使用了相同的姿态参数$\theta$和骨骼变换。

NeRF/VolSDF。NeRF [^35]是一种用于新视角合成的先进渲染算法。该算法通过学习以下函数来建模静态场景的连续辐射场：

 $$ F:\left(\mathbf{x},\mathbf{d}\right)\mapsto\left(\mathbf{c},\sigma\right), $$

该函数将3D位置$\mathbf{x} \in \mathbb{R}^3$和穿过$\mathbf{d} \in \mathbb{R}^2$的观测方向$\mathbf{x}$映射到颜色值$\mathbf{c} \in \mathbb{R}^3$及其密度$\sigma \in \mathbb{R}$。函数F由多层感知机（MLP）网络建模，通过单个静态场景的一组密集多视角带姿态RGB图像进行训练。虽然NeRF在新视角合成方面取得了令人印象深刻的结果，但所估算的体积密度却无法有效推断精确的几何信息。近期有不少研究探讨了这一问题[^42] [^60] [^65]，并提议通过引入SDF来扩展NeRF [^46]。在本文中，我们采用了VolSDF [^65]的表述方式，它将体积密度定义为应用于SDF表示的拉普拉斯累积分布函数（CDF）。VolSDF还分别使用两个MLP来估算SDF和颜色，从而解耦几何与外观的学习。

### 4. LISA：所提出的手部模型

本节详细介绍了我们提出的手部模型，我们将其命名为LISA，即“学习隐式形状与外观模型”。

问题设定。考虑一个包含多视角RGB视频序列的数据集，且已知相机标定参数。每个序列捕捉的是同一个随机人物的手部，该手部正在进行随机运动。我们的目标是学习一个手部模型，

---

该模型能够重建手部的几何结构、形变以及外观，同时还能泛化到从测试图像中重建未见过的手部及运动。与以往的手部建模工作不同，那些工作通常需要大量高质量的3D手部扫描数据，而我们采用的设定降低了对数据收集的要求，却给算法带来了更大挑战。受传统手部建模方法的启发，我们假设手部与运动骨架相关联，其中的粗略3D姿态是通过用最先进的手部跟踪算法对训练序列进行预处理得到的。使用运动骨架的动机在于利用关节运动来约束手部形变，并为所得到的模型实现动画效果。为了让深度网络专注于手部区域，我们进一步简化了输入，假设前景掩码是已知的。

#### 4.1. 模型定义

我们的目标是学习从参数化运动骨架到完整手部形状与外观模型的映射函数。在本研究中，我们选择以MANO参数化运动骨架，并将学习过程表述为：

 $$ M^{+}:(\theta,\beta^{+},\gamma)\mapsto\psi, $$

该函数将姿态参数$\theta$、形状参数$\beta^{+}$以及颜色参数$\gamma$映射为一个隐式表示$\psi$。此处我们用上标$+$表明该形状参数与MANO中的形状参数有所不同。隐式表示$\psi$是关于几何与外观的连续函数。类似于辐射场的定义，其表述为：

 $$ \psi:(\mathbf{x},\mathbf{d})\mapsto(s,\mathbf{c})\,, $$

该函数针对查询的3D点x和视线方向d，返回SDF值$s \in \mathbb{R}$以及颜色值c。利用这种隐式表示，所学得的模型不会受限于分辨率固定的模板网格，因此能更高效地编码复杂的形变。手部表面由s的0水平集表示，通过均匀采样3D空间并应用Marching Cubes算法$\mathbf{V}$，即可提取出3D网格[^32]。将公式(4)和公式(5)结合起来，为了简化表述省略视线方向，便得到了我们想要学习的映射关系：

 $$ G:(\mathbf{x},\boldsymbol{\theta},\boldsymbol{\beta}^{+},\boldsymbol{\gamma})\mapsto(s,\mathbf{c})\,. $$

在本节的剩余部分，我们将解释如何通过网络训练来建模公式(6)。

基于骨骼的独立预测与蒙皮技术。遵循[^15] [^48]的方法，我们通过一组刚性部件来近似整个手部形状，在本研究中这些刚性部件由$n_b$根骨骼定义。具体而言，网络G被拆分为$n_b$个用于预测有符号距离的MLP，即$\{G_j^s\}_{j=1}^n$，以及$n_b$个用于预测颜色的MLP，即$\{G_j^c\}_{j=1}^n$，每个MLP针对一根骨骼进行独立预测。由于输入图像对应的是处于特定姿态下的手部，因此点x会首先利用骨骼的运动学变换进行去姿态处理（即转换到手部静止姿态下的坐标空间），即$\{\mathbf{T}_j\}_{j=1}^n$：$\mathbf{x}_j = \mathbf{R}_j^{-1}(\mathbf{x} - \mathbf{t}_j)$，其中$\mathbf{R}_j$和$\mathbf{t}_j$分别是变换$\mathbf{T}_j$的旋转和平移分量。按照这种设定，我们为每个查询点$\{s_j, \mathbf{c}_j\}_{j=1}^n$收集一组独立的SDF预测值和颜色预测值，具体如下：

 $$ G_{j}^{s}:({\mathbf{x}}_{j},\boldsymbol{\theta},\boldsymbol{\beta}^{+},\boldsymbol{\gamma})\mapsto s_{j}\:, $$

 $$ G_{j}^{c}:(\mathbf{x}_{j},\boldsymbol{\theta},\boldsymbol{\beta}^{+},\boldsymbol{\gamma})\mapsto\mathbf{c}_{j}\;. $$

为了将逐骨骼的输出合并为单一的 SDF 和颜色相加，我们引入一个额外的 MLP 来学习权重。该权重 MLP 以 $n_b$ unposed $\mathbf{x}_j$ 与每个 MLP 预测得到的 SDF $s_j$ 的拼接作为输入，输出权重向量 $\mathbf{w} = [w_1, \ldots, w_{n_b}]$。softmax 层用于约束 $\mathbf{w}$ 的取值，使其类似于概率，即 $w_i \geq 0$、$\forall i$ 和 $\sum_i w_i = 1$。查询点的最终输出随后由下式计算：

 $$ s=\sum_{j=1}^{n_{b}}w_{j} s_{j},\mathbf{c}=\sum_{j=1}^{n_{b}}w_{j}\mathbf{c}_{j}. $$

需要注意的是，权重向量w类似于传统基于LBS的模型中使用的蒙皮权重。NASA [^15]和NARF [^41]也探索了类似的设计。不同之处在于，NASA选择的是由预测占用率最大值所确定的一个MLP输出；而NARF虽然提出用MLP学习权重，但仅使用规范化后的点来训练该模块。在我们的设计中，网络同时接收规范化后的点和每个骨骼对应的SDF。SDF在学习蒙皮权重过程中起到了重要的指导作用。更重要的是，梯度现在可以通过权重反向传播，从而训练每个骨骼对应的MLP。这意味着MLP能够利用w来避免为距离较远的点学习SDF。实验表明，这种设计显著提升了几何建模效果。

模型渲染。如同[^65]中所述，渲染前我们需要先从预测的有符号距离场中获取体密度。我们通过预测的有符号距离间接推导它：

 $$ \sigma(\mathbf{x})=\alpha\Psi_{\beta}(-s)~, $$

其中，s表示$\mathbf{x}$的有符号距离，$\Psi_{\beta}(\cdot)$是拉普拉斯分布的累积分布函数，而$\alpha$和$\beta$是两个可学习的参数（更多细节见[^65]）。

特定图像像素的颜色是通过体积渲染积分来估算的，即沿其对应的相机光线d累加颜色和体密度。具体而言，像素$\hat{c}_k$的颜色是通过对相机光线$t_n$上位于近界$t_f$和远界$\mathbf{r}(t) = \mathbf{o} + t\mathbf{d}$之间的区域进行离散积分来近似得到的，该光线的起点为$\mathbf{o}$：

 $$ \mathbf{c}_{k}=\int_{t_{n}}^{t_{f}}T(t)\sigma(r(t))\mathbf{c}(\mathbf{r}(t),)d t, $$

---

其中：

 $$ T(t)=\exp\left(-\int_{t_{n}}^{t}\sigma(\mathbf{r}(s))d s\right). $$

#### 4.2. 训练

如图2所示，LISA需要学习的参数包括：(1)用于预测$n_b$个骨骼的有符号距离和颜色的MLP；(2)用于估计蒙皮权重的MLP；(3)用于控制生成过程的形状$\beta^+$和颜色$\gamma$隐码。需要注意的是，姿态$\theta$并非通过学习获得，而是在训练期间视为已知量。接下来我们将介绍如何利用InterHand2.6M数据集[^38]中的多视角图像序列来学习这些参数。

形状、颜色和姿态的解耦。LISA旨在完全解耦姿态、形状和颜色的表征。形状$\beta^+$和颜色$\gamma$参数均为完全可学习的隐向量。由于它们都具有用户特异性，因此我们对同一个人的所有图像赋予相同的隐码。这两种参数均表示为128维向量，初始化自均值为零、协方差为球形的多元高斯分布，并在训练过程中按照[^46]中的自动解码器框架进行优化。

姿态参数$\theta$由MANO的48维表示来定义。在InterHand2.6M数据集上训练时，我们在最初的10%训练步骤中保持给定的真实姿态参数不变，随后才开始优化这些参数，以修正真实标注中的误差。

颜色校准。为了适应训练图像强度的细微差异，我们参考Neural Volumes的方法[^30]，引入了针对每个摄像头和每个通道的增益g与偏置b，这些参数会在训练时对渲染图像进行应用。在推理阶段，我们使用这些校准参数的平均值。

损失函数。为了学习LISA，我们最小化一组损失函数的组合，旨在确保手部颜色的准确表示，同时对学习到的几何形状进行适当的正则化。具体来说，我们通过随机采样一批观测方向$\mathbf{d}_k$，并通过体积渲染估算对应的像素颜色来优化网络。设$\mathbf{c}_k$为估算的像素颜色，$\hat{\mathbf{c}}_k$为真实值。我们考虑的第一种损失函数为：

 $$ \mathcal{L}_{\mathrm{c o l}}=\|\mathbf{c}_{k}-\hat{\mathbf{c}}_{k}\|_{1}, $$

其中$\|\cdot\|_j$表示j范数。我们还通过Eikonal损失$G(\cdot)$对[^19]的SDF进行正则化，以确保它近似于有符号距离函数：

 $$ \mathcal{L}_{\mathrm{E i k}}=\sum_{\mathbf{x}\in\Omega}(\|\nabla_{\mathbf{x}}G(\mathbf{x})\|_{2}-1)^{2}, $$

这里$\Omega$是一组既在表面上采样又从整个场景中均匀采样的点。为了防止仅依赖一根或几根骨骼的区域出现局部最小值，我们使用伪真实姿态和形状参数来获取近似的3D网格及其对应的蒙皮权重$\hat{w}$，以此对预测的蒙皮权重w进行监督：

 $$ \mathcal{L}_{\mathrm{w}}=\|\mathbf{w}-\hat{\mathbf{w}}\|_{1}\;. $$

最后，我们还对潜向量$\boldsymbol{\beta}^{+}$和$\boldsymbol{\gamma}$进行正则化：

 $$ \mathcal{L}_{\mathrm{r e g}}=\|\beta^{+}\|_{2}+\|\gamma\|_{2}. $$

完整的损失函数是上述四种损失项的线性组合（超参数分别为$\lambda_{\text{col}}$、$\lambda_{\text{Eik}}$、$\lambda_{\text{w}}$和$\lambda_{\text{reg}}$）：

 $$ \mathcal{L}=\lambda_{\mathrm{c o l}}\mathcal{L}_{\mathrm{c o l}}+\lambda_{\mathrm{E i k}}\mathcal{L}_{\mathrm{E i k}}+\lambda_{\mathrm{w}}\mathcal{L}_{\mathrm{w}}+\lambda_{\mathrm{r e g}}\mathcal{L}_{\mathrm{r e g}}. $$

学习人手SDF的先验。在最小化公式(17)时，我们面临两个主要挑战。首先，由于我们只根据图像进行监督，形状和纹理参数的同步优化可能会导致局部最小值，这些最小值虽然能生成良好的渲染结果，但几何形状却是错误的。其次，我们用于训练的InterHand2.6M数据集[^38]包含大量图像（$\sim$13万张），但这些图像仅对应27名不同的用户，这会影响模型的泛化能力。

为了解决这些问题，我们利用3DH数据集[^62]构建形状先验，该数据集包含来自183名不同用户的$\sim$1.3万组带姿态的3D手部扫描数据。这些扫描数据用于预训练$G(\cdot)$中的几何MLP，我们将其记为$G_{\beta+}(\cdot)$，它们负责预测有符号距离s：

 $$ G_{\beta^{+}}:(\mathbf{x},\boldsymbol{\theta},\boldsymbol{\beta}^{+})\mapsto s~. $$

我们用两种额外的损失函数对$G_{\beta+}$进行预训练。首先，假设$\mathbf{x}_{\text{surf}}$是3D扫描中的一个点，我们强制要求$G_{\beta+}$在该点预测出的距离为0：

 $$ \mathcal{L}_{\mathrm{s u r f}}=\|G_{\beta^{+}}(\mathbf{x}_{\mathrm{s u r f}},\boldsymbol{\theta},\beta^{+})\|_{1}. $$

我们还用真实法线$N(\mathbf{x}_{\text{surf}})$在$\mathbf{x}_{\text{surf}}$处对有符号距离的梯度进行监督：

 $$ \begin{array}{r}{\mathcal{L}_{\mathrm{N}}=\|\nabla_{\mathbf{x_{s u r f}}}G(\mathbf{x_{s u r f}})-N(\mathbf{x_{s u r f}})\|_{1},}\end{array} $$

其中$N(x)$是x处的3D法线方向。

由于有这两处损失，再加上损失项 $\mathcal{L}_{\mathrm{Eik}}$、$\mathcal{L}_{\mathrm{w}}$ 以及正则化项 $\|\boldsymbol{\beta}^{+}\|_2$，我们得出了一个关于 $\boldsymbol{\beta}^+$ 的先验知识，该先验知识用于初始化公式 (17) 中模型的完整优化过程。正如我们在实验部分所展示的，这一先验知识能够显著提升 LISA 的性能。

#### 4.3. 推理

在实验部分，我们将训练好的模型应用于基于点云的 3D 重建以及基于图像的 3D 重建任务。这两种应用都涉及一种优化方案，我们将在下文中对其进行描述。

---

基于点云的重建。设 $\mathcal{P} = \{\mathbf{x}_i\}_{i=1}^n$ 为一个包含 n 个 3D 点的点云。为了使训练好的模型适配这些数据，我们采用了与学习先验时非常相似的流程。具体来说，我们最小化如下目标函数：

 $$ \mathcal{L}(\boldsymbol{\theta},\boldsymbol{\beta}^{+})=\sum_{\mathbf{x}\in\mathcal{P}}\|G_{\boldsymbol{\beta}^{+}}(\mathbf{x},\boldsymbol{\theta},\boldsymbol{\beta}^{+})\|_{1}+\|\boldsymbol{\beta}^{+}\|_{2}. $$

基于单目或多视角图像的重建。给定输入图像 $\mathcal{I}$，我们假设已经获得了粗略的前景掩码，并且已知 $n_j$ 个手部关节的 2D 位置，记为 $\hat{\mathbf{J}}^{2\mathrm{D}}$。这些位置可以通过 OpenPose [^5] 等工具检测得到。为了使 LISA 适配这些数据，我们最小化如下目标函数：

 $$ \mathcal{L}(\pmb{\theta},\beta^{+})=\sum_{\mathbf{d}\in\mathcal{I}}\mathcal{L}_{\mathrm{c o l}}(\mathbf{d})+\mathcal{L}_{\mathrm{r e g}}+\mathcal{L}_{\mathrm{j o i n t s}}\mathrm{,} $$

其中前两项对应公式 (13) 中的颜色损失（扩展至与输入图像像素相交的所有观测方向），后两项则是公式 (16) 中的形状和姿态正则化损失。最后一项是基于关节的数据项，用于惩罚估计出的 2D 关节与根据估计的姿态参数 $J^{3D}$ 计算得到的 3D 关节 $\theta$ 之间的 2D 距离：

 $$ \mathcal{L}_{\mathrm{j o i n t s}}=\|\hat{\mathbf{J}}^{\mathrm{2D}}-\pi(\mathbf{J}^{\mathrm{3D}})\|_{1}\;, $$

其中 $\pi(\cdot)$ 表示 3D 到 2D 的投影过程。在多视角重建的情况下，我们还会使用外部相机参数。

### 5. 实验

在本节中，我们评估了 LISA 在基于点云的手部重建和基于 RGB 图像的手部重建任务上的表现，结果表明它显著优于现有最优方法。

#### 5.1. 数据集与基线模型

数据集。我们在 InterHand2.6M 数据集的一个未公开版本 [^38] 上训练 LISA，该数据集包含 27 名用户的多视角手部序列。总计有 5804 帧多视角图像和 131k 张分辨率为 $1024 \times 667$ 像素的图像。每帧平均包含 $\sim$22 个视角，其中两个视角未用于训练，留作验证之用。该数据集还提供了 3D 关节的伪真实值，我们使用数据集作者提供的 Mask R-CNN 模型 [^23] 生成的手部掩码来去除所有图像中的背景。几何先验是在 3DH 数据集 [^62] 上学习的，该数据集包含 183 名用户的 3D 扫描序列（我们采用作者提出的 150/33 用户划分的训练/测试集）。为了评估基于点云的手部重建效果，我们使用了 MANO 数据集 [^53] 的测试集，该测试集包含 50 个来自

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td colspan="3">Reconstruction to scan</td><td colspan="2">Scan to reconstruction</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Method</td><td style='text-align: center; word-wrap: break-word;'>V2V [mm]</td><td style='text-align: center; word-wrap: break-word;'>V2S [mm]</td><td style='text-align: center; word-wrap: break-word;'>V2V [mm]</td><td style='text-align: center; word-wrap: break-word;'>V2S [mm]</td></tr><tr><td colspan="5">3DH dataset [^62]:</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>MANO [^53]</td><td style='text-align: center; word-wrap: break-word;'>3.27</td><td style='text-align: center; word-wrap: break-word;'>2.11</td><td style='text-align: center; word-wrap: break-word;'>3.44</td><td style='text-align: center; word-wrap: break-word;'>3.23</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>VolSDF [^46]</td><td style='text-align: center; word-wrap: break-word;'>3.69</td><td style='text-align: center; word-wrap: break-word;'>1.26</td><td style='text-align: center; word-wrap: break-word;'>5.33</td><td style='text-align: center; word-wrap: break-word;'>5.23</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>NASA [^15]</td><td style='text-align: center; word-wrap: break-word;'>3.05</td><td style='text-align: center; word-wrap: break-word;'>1.14</td><td style='text-align: center; word-wrap: break-word;'>3.69</td><td style='text-align: center; word-wrap: break-word;'>3.66</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>NARF [^41]</td><td style='text-align: center; word-wrap: break-word;'>4.69</td><td style='text-align: center; word-wrap: break-word;'>2.19</td><td style='text-align: center; word-wrap: break-word;'>2.05</td><td style='text-align: center; word-wrap: break-word;'>2.01</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>LISA-im</td><td style='text-align: center; word-wrap: break-word;'>2.93</td><td style='text-align: center; word-wrap: break-word;'>0.93</td><td style='text-align: center; word-wrap: break-word;'>1.90</td><td style='text-align: center; word-wrap: break-word;'>1.87</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>LISA-geom</td><td style='text-align: center; word-wrap: break-word;'>0.83</td><td style='text-align: center; word-wrap: break-word;'>0.43</td><td style='text-align: center; word-wrap: break-word;'>0.63</td><td style='text-align: center; word-wrap: break-word;'>0.54</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>LISA-full</td><td style='text-align: center; word-wrap: break-word;'>1.93</td><td style='text-align: center; word-wrap: break-word;'>0.63</td><td style='text-align: center; word-wrap: break-word;'>1.50</td><td style='text-align: center; word-wrap: break-word;'>1.43</td></tr><tr><td colspan="5">MANO dataset [^53]:</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>MANO [^53]</td><td style='text-align: center; word-wrap: break-word;'>3.14</td><td style='text-align: center; word-wrap: break-word;'>2.92</td><td style='text-align: center; word-wrap: break-word;'>3.90</td><td style='text-align: center; word-wrap: break-word;'>1.57</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>VolSDF [^46]</td><td style='text-align: center; word-wrap: break-word;'>3.69</td><td style='text-align: center; word-wrap: break-word;'>2.22</td><td style='text-align: center; word-wrap: break-word;'>2.37</td><td style='text-align: center; word-wrap: break-word;'>2.23</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>NASA [^15]</td><td style='text-align: center; word-wrap: break-word;'>5.31</td><td style='text-align: center; word-wrap: break-word;'>3.80</td><td style='text-align: center; word-wrap: break-word;'>2.57</td><td style='text-align: center; word-wrap: break-word;'>2.33</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>NARF [^41]</td><td style='text-align: center; word-wrap: break-word;'>4.02</td><td style='text-align: center; word-wrap: break-word;'>2.69</td><td style='text-align: center; word-wrap: break-word;'>2.11</td><td style='text-align: center; word-wrap: break-word;'>2.06</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>LISA-im</td><td style='text-align: center; word-wrap: break-word;'>3.09</td><td style='text-align: center; word-wrap: break-word;'>1.96</td><td style='text-align: center; word-wrap: break-word;'>1.19</td><td style='text-align: center; word-wrap: break-word;'>1.13</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>LISA-geom</td><td style='text-align: center; word-wrap: break-word;'>0.36</td><td style='text-align: center; word-wrap: break-word;'>0.16</td><td style='text-align: center; word-wrap: break-word;'>0.81</td><td style='text-align: center; word-wrap: break-word;'>0.26</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>LISA-full</td><td style='text-align: center; word-wrap: break-word;'>1.45</td><td style='text-align: center; word-wrap: break-word;'>0.64</td><td style='text-align: center; word-wrap: break-word;'>0.64</td><td style='text-align: center; word-wrap: break-word;'>0.58</td></tr></table>

<div style="text-align: center;">Table 1. Shape reconstruction from point clouds. The 3D shape reconstructions are evaluated by the vertex-to-vertex and vertex-to-surface distances (in mm). LISA-im is consistently superior among methods trained on images only. Using the geometric prior (LISA-geom, LISA-full) yields a significant boost in performance.</div>

单个用户的 3D 扫描数据，以及 3DH 数据集的测试集，该测试集包含 33 名用户的扫描数据。对于基于图像的手部重建，我们使用了 DeepHandMesh 数据集 [^37]，该数据集标注了真实的 3D 手部扫描数据。

我们评估了多种手部模型。由于LISA是首个能够同时表示手部几何形状和纹理的神经网络模型，因此目前尚无可直接比较的已发表方法。为了设定基准，我们重新实现了几种源自人体建模领域、基于关节隐式表示的最新方法。我们将NASA [^15] 和NARF [^41] 适配到我们的实验设置中：把它们的几何表示方式改为有符号距离场，为NASA添加位置编码，并复制其几何MLP以同时预测颜色。我们在InterHand2.6M数据集 [^38] 上训练这些方法，并对蒙皮权重进行监督学习。我们未能扩展SNARF [^10]，因为它在前向传播过程中依赖中间的非可微优化步骤，这阻碍了针对输入点计算输出梯度的操作，而该梯度正是应用Eikonal损失所必需的。我们还将该模型与原始的MANO模型，以及我们实现的由姿态、形状和颜色向量参数化的VoISDF进行了比较，不过后者并未考虑逐骨推理机制。此外，我们对所提出模型的以下版本进行了消融实验：利用图像和几何先验训练的完整模型（LISA-full）、仅利用图像训练的版本（LISA-im），以及仅利用几何先验训练的版本（LISA-geom）。

---

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'></td><td colspan="3">1 view</td><td colspan="3">2 views</td><td colspan="3">4 views</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Method</td><td style='text-align: center; word-wrap: break-word;'>V2V</td><td style='text-align: center; word-wrap: break-word;'>V2S</td><td style='text-align: center; word-wrap: break-word;'>PSNR</td><td style='text-align: center; word-wrap: break-word;'>V2V</td><td style='text-align: center; word-wrap: break-word;'>V2S</td><td style='text-align: center; word-wrap: break-word;'>PSNR</td><td style='text-align: center; word-wrap: break-word;'>V2V</td><td style='text-align: center; word-wrap: break-word;'>V2S</td><td style='text-align: center; word-wrap: break-word;'>PSNR</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>MANO [^53]</td><td style='text-align: center; word-wrap: break-word;'>13.81</td><td style='text-align: center; word-wrap: break-word;'>8.93</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>DHM [^37]</td><td style='text-align: center; word-wrap: break-word;'>9.86</td><td style='text-align: center; word-wrap: break-word;'>6.55</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>VolSDF [^65]</td><td style='text-align: center; word-wrap: break-word;'>7.15</td><td style='text-align: center; word-wrap: break-word;'>7.06</td><td style='text-align: center; word-wrap: break-word;'>23.19</td><td style='text-align: center; word-wrap: break-word;'>7.15</td><td style='text-align: center; word-wrap: break-word;'>7.10</td><td style='text-align: center; word-wrap: break-word;'>22.63</td><td style='text-align: center; word-wrap: break-word;'>7.27</td><td style='text-align: center; word-wrap: break-word;'>7.18</td><td style='text-align: center; word-wrap: break-word;'>25.05</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>NASA [^15]</td><td style='text-align: center; word-wrap: break-word;'>5.89</td><td style='text-align: center; word-wrap: break-word;'>5.79</td><td style='text-align: center; word-wrap: break-word;'>25.20</td><td style='text-align: center; word-wrap: break-word;'>5.11</td><td style='text-align: center; word-wrap: break-word;'>4.99</td><td style='text-align: center; word-wrap: break-word;'>25.17</td><td style='text-align: center; word-wrap: break-word;'>5.04</td><td style='text-align: center; word-wrap: break-word;'>4.91</td><td style='text-align: center; word-wrap: break-word;'>25.18</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>NARF [^41]</td><td style='text-align: center; word-wrap: break-word;'>7.44</td><td style='text-align: center; word-wrap: break-word;'>7.35</td><td style='text-align: center; word-wrap: break-word;'>24.11</td><td style='text-align: center; word-wrap: break-word;'>7.45</td><td style='text-align: center; word-wrap: break-word;'>7.36</td><td style='text-align: center; word-wrap: break-word;'>28.48</td><td style='text-align: center; word-wrap: break-word;'>7.93</td><td style='text-align: center; word-wrap: break-word;'>7.85</td><td style='text-align: center; word-wrap: break-word;'>29.89</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>LISA-im</td><td style='text-align: center; word-wrap: break-word;'>5.48</td><td style='text-align: center; word-wrap: break-word;'>5.36</td><td style='text-align: center; word-wrap: break-word;'>25.04</td><td style='text-align: center; word-wrap: break-word;'>3.86</td><td style='text-align: center; word-wrap: break-word;'>3.72</td><td style='text-align: center; word-wrap: break-word;'>29.84</td><td style='text-align: center; word-wrap: break-word;'>3.62</td><td style='text-align: center; word-wrap: break-word;'>3.47</td><td style='text-align: center; word-wrap: break-word;'>30.21</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>LISA-full</td><td style='text-align: center; word-wrap: break-word;'>3.84</td><td style='text-align: center; word-wrap: break-word;'>3.68</td><td style='text-align: center; word-wrap: break-word;'>25.43</td><td style='text-align: center; word-wrap: break-word;'>3.70</td><td style='text-align: center; word-wrap: break-word;'>3.56</td><td style='text-align: center; word-wrap: break-word;'>29.40</td><td style='text-align: center; word-wrap: break-word;'>3.53</td><td style='text-align: center; word-wrap: break-word;'>3.38</td><td style='text-align: center; word-wrap: break-word;'>29.69</td></tr></table>

<div style="text-align: center;">Table 2. Shape and color reconstruction of DHM [^37] images. The 3D shape reconstructions are evaluated by the vertex-to-vertex and vertex-to-surface distances (in mm) and color renderings of the hand models in novel views are evaluated by the PSNR metric [^35]. Scores for MANO and DeepHandMesh (DHM) were taken from [^37]. We also report metrics for 1, 2 or 4 views, out of the 5 available images in [^37]. In the same conditions, LISA-im outperforms all other methods trained on images only. When trained also with the geometry prior (LISA-full), it achieves an additional boost that is most noticeable in the single-view setup.</div>

#### 5.2. 基于点云的形状重建

表1总结了在3DH和MANO数据集上基于点云的手部重建结果。作为评估指标，我们报告了顶点到顶点（V2V）和顶点到表面（V2S）的距离（单位为毫米）。我们从两个方向计算这些指标，即从重建结果到扫描数据，以及反向计算。为了公平比较，所有基于隐式表示的方法的重建结果均采用相同的Marching Cubes分辨率（256×256×256）生成。由于MANO模型使用的网格仅有778个顶点，我们将其重建表面细分为 $\sim$100k 个顶点。

结果表明，当仅使用图像进行训练时，LISA-im的性能始终优于其他方法。加入几何先验后（LISA-full），性能会有显著提升。当模型仅利用几何先验训练时（LISA-geom），其误差甚至比同时利用几何先验和图像训练的结果（LISA-full）还要低。这是因为我们在训练图像中对手部区域进行了分割，导致LISA-full和LISA-im学会了在手腕处闭合表面。这种额外的虚假表面会增大测量得到的误差。

图3展示了重建结果的示例。除了LISA-full和参数化的MANO模型外，大多数隐式模型都存在明显的伪影。

#### 5.3. 基于图像的形状和颜色重建

表2评估了在DeepHandMesh数据集 [^37] 上，各手部模型从单视图和多视图进行3D重建的任务表现。在仅基于图像训练的方法中，LISA-im在3D形状重建方面始终表现更优，而当引入几何先验后（LISA-full），其性能还会进一步提升。

![Image](images/f469db116d6dd59650f9fcec97b6936d3c542c74ab88c8b6aca3dbf20f395b2e.jpg)

<div style="text-align: center;">Figure 3. Shape reconstruction from MANO points clouds [^53]. VolSDF, NASA, NARF and LISA-im are trained only on InterHand2.6M [^38] and tested on MANO. Implicit models without skinning-based regularization (VolSDF, NASA, NARF) often generate connected regions. LISA-full pre-learns the geometry from 3DH [^62] and achieves smoother reconstructions.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'></td><td colspan="3">1 view</td><td colspan="3">2 views</td><td colspan="3">4 views</td></tr><tr><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'>PSNR $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>SSIM $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>LPIPS $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>PSNR $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>SSIM $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>LPIPS $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>PSNR $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>SSIM $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>LPIPS $\downarrow$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>VolSDF</td><td style='text-align: center; word-wrap: break-word;'>23.01</td><td style='text-align: center; word-wrap: break-word;'>0.92</td><td style='text-align: center; word-wrap: break-word;'>0.12</td><td style='text-align: center; word-wrap: break-word;'>23.36</td><td style='text-align: center; word-wrap: break-word;'>0.87</td><td style='text-align: center; word-wrap: break-word;'>0.11</td><td style='text-align: center; word-wrap: break-word;'>23.89</td><td style='text-align: center; word-wrap: break-word;'>0.93</td><td style='text-align: center; word-wrap: break-word;'>0.11</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>NASA</td><td style='text-align: center; word-wrap: break-word;'>26.90</td><td style='text-align: center; word-wrap: break-word;'>0.95</td><td style='text-align: center; word-wrap: break-word;'>0.07</td><td style='text-align: center; word-wrap: break-word;'>28.16</td><td style='text-align: center; word-wrap: break-word;'>0.96</td><td style='text-align: center; word-wrap: break-word;'>0.06</td><td style='text-align: center; word-wrap: break-word;'>28.44</td><td style='text-align: center; word-wrap: break-word;'>0.96</td><td style='text-align: center; word-wrap: break-word;'>0.06</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>NARF</td><td style='text-align: center; word-wrap: break-word;'>28.42</td><td style='text-align: center; word-wrap: break-word;'>0.95</td><td style='text-align: center; word-wrap: break-word;'>0.09</td><td style='text-align: center; word-wrap: break-word;'>28.49</td><td style='text-align: center; word-wrap: break-word;'>0.96</td><td style='text-align: center; word-wrap: break-word;'>0.72</td><td style='text-align: center; word-wrap: break-word;'>28.59</td><td style='text-align: center; word-wrap: break-word;'>0.96</td><td style='text-align: center; word-wrap: break-word;'>0.08</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>LISA-im</td><td style='text-align: center; word-wrap: break-word;'>27.45</td><td style='text-align: center; word-wrap: break-word;'>0.95</td><td style='text-align: center; word-wrap: break-word;'>0.08</td><td style='text-align: center; word-wrap: break-word;'>28.40</td><td style='text-align: center; word-wrap: break-word;'>0.95</td><td style='text-align: center; word-wrap: break-word;'>0.07</td><td style='text-align: center; word-wrap: break-word;'>28.27</td><td style='text-align: center; word-wrap: break-word;'>0.95</td><td style='text-align: center; word-wrap: break-word;'>0.07</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>LISA-full</td><td style='text-align: center; word-wrap: break-word;'>27.07</td><td style='text-align: center; word-wrap: break-word;'>0.95</td><td style='text-align: center; word-wrap: break-word;'>0.06</td><td style='text-align: center; word-wrap: break-word;'>27.69</td><td style='text-align: center; word-wrap: break-word;'>0.96</td><td style='text-align: center; word-wrap: break-word;'>0.06</td><td style='text-align: center; word-wrap: break-word;'>28.27</td><td style='text-align: center; word-wrap: break-word;'>0.96</td><td style='text-align: center; word-wrap: break-word;'>0.05</td></tr></table>

<div style="text-align: center;">Table 3. Color reconstruct. from InterHand2.6M images [^38]. All models achieve comparable performance in terms of PSNR and SSIM (measuring the pixel error; higher is better) and LPIPS (measuring the overall perceptual similarity; lower is better) [^35].</div>

表2通过PSNR指标 [^37] 评估了从DeepHandMesh图像 [^35] 进行的颜色重建效果，该指标是在新视角下对手部模型渲染后计算得出的。在此指标上，LISA-im略占优势，不过当仅使用单张图像进行重建时情况除外。

---

![Image](images/15942fd898f8a2806e98fecc2ce3353e04c6acddc530dcbf16f140cc624a9f3c.jpg)

<div style="text-align: center;">Figure 4. Reconstructions from InterHand2.6M [^38] images produced by LISA-full. The top row shows the ground truth RGB images. We only use the first RGB for monocular reconstruction, while the other two images serve as the ground truth for novel view rendering. The other three rows show the color reconstruction, the shape reconstruction, and the predicted skinning weights, respectively.</div>

<div style="text-align: center;">Figure 5. In-the-wild reconstructions produced by LISA-full. For each example, we show from left to right: (a) the input RGB image, (b) the reconstructed shape rendered to the input image, (c) the reconstructed shape in a reference view, (d) the reconstructed color.</div>

其中，LISA-im的性能与NASA相当。表3中通过PSNR、SSIM和LPIPS [^38]指标评估了从InterHand2.6M图像进行颜色重建的效果[^35]。在这种情况下，所有方法在渲染质量方面都相当接近，我们推测这可能是由于训练时所用的手部掩码存在噪声所致。

定性结果如图4所示。此外，我们在图5中展示了LISA能够从自然图像中重建手部模型，即便手部被物体部分遮挡也是如此。更多定性结果请参阅补充材料。

#### 5.4. 推理速度

为了从单个或多个视角重建LISA手部模型，我们首先对姿态参数进行1000次迭代优化，随后再对形状、姿态和颜色参数进行额外的5000次迭代联合优化。这一过程大约需要5分钟。优化完成后，我们以$128^3$分辨率重建网格，耗时约5秒；而渲染新视角则大约需要1分钟。这些测试是在单张$1024 \times 667$像素的图像上，借助一块Nvidia Tesla P100 GPU完成的。NASA和NARF模型的推理速度与之相近，因为它们同样会进行逐骨骼预测。由于VolSDF仅使用单个MLP，其速度比它们快$\sim$倍。

### 6. 结论

我们提出了LISA——一种新型的带纹理手部神经表示模型，它是通过将体积渲染方法与手部几何先验相结合而得到的。该模型首次实现了对姿态、形状和颜色域的全面且独立的控制。我们在两个具有挑战性的任务中验证了LISA的实用性：基于点云的手部重建以及基于图像的手部重建。在这两项应用中，我们都获得了精度极高的3D形状重建结果，在点云拟合方面的误差小于1毫米，且性能远超所评估的基准模型。这种精度水平是MANO[^53]等低分辨率参数化网格，或是DeepHandMesh[^37]这类针对单人的模型所无法达到的。未来的研究方向包括探索用于跟踪应用的时间一致性、消除推理时对手部骨骼的粗略2D/3D姿态及前景掩码的需求、提升运行效率，以及在保持泛化能力的同时增强高频纹理细节的表现力。

致谢：本研究部分得到了西班牙政府通过MoHuCo项目（PID2020-120049RB-I00）的支持。

---

## 参考文献

[^1]: Thiemo Alldieck, Hongyi Xu, and Cristian Sminchisescu. imGHUM: Implicit generative models of 3d human shape and articulated pose. In Proceedings of the International Conference on Computer Vision (ICCV), 2021. 1, 2

[^2]: Matan Atzmon and Yaron Lipman. SAL: Sign agnostic learning of shapes from raw data. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2020. 2

[^3]: Matan Atzmon and Yaron Lipman. SALD: Sign agnostic learning with derivatives. In Proceedings of the International Conference on Learning Representations (ICLR), 2021. 2

[^4]: Bharat Lal Bhatnagar, Cristian Sminchisescu, Christian Theobalt, and Gerard Pons-Moll. Loopreg: Self-supervised learning of implicit surface correspondences, pose and shape for 3d human mesh registration. In Neural Information Processing Systems (NeurIPS), December 2020. 1, 2

[^5]: Zhe Cao, Gines Hidalgo, Tomas Simon, Shih-En Wei, and Yaser Sheikh. Openpose: realtime multi-person 2d pose estimation using part affinity fields. PAMI, 43(1):172–186, 2019. 6

[^6]: Zhe Cao, Ilija Radosavovic, Angjoo Kanazawa, and Jitendra Malik. Reconstructing hand-object interactions in the wild. In Proceedings of the International Conference on Computer Vision (ICCV), pages 12417–12426, October 2021. 2

[^7]: Rohan Chabra, Jan E. Lenssen, Eddy Ilg, Tanner Schmidt, Julian Straub, Steven Lovegrove, and Richard Newcombe. Deep local shapes: Learning local sdf priors for detailed 3d reconstruction. In Proceedings of the European Conference on Computer Vision (ECCV), pages 608–625, 2020. 2

[^8]: Yu-Wei Chao, Wei Yang, Yu Xiang, Pavlo Molchanov, Ankur Handa, Jonathan Tremblay, Yashraj S Narang, Karl Van Wyk, Umar Iqbal, Stan Birchfield, et al. DexYCB: A benchmark for capturing hand grasping of objects. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 9044–9053, 2021. 1,2

[^9]: Ping Chen, Yujin Chen, Dong Yang, Fangyin Wu, Qin Li, Qingpei Xia, and Yong Tan. I2uv-handnet: Image-to-uv prediction network for accurate and high-fidelity 3d hand mesh modeling. In Proceedings of the International Conference on Computer Vision (ICCV), pages 12929–12938, October 2021. 2

[^10]: Xu Chen, Yufeng Zheng, Michael J Black, Otmar Hilliges, and Andreas Geiger. SNARF: Differentiable forward skin-ning for animating non-rigid neural implicit shapes. In Proceedings of the International Conference on Computer Vision (ICCV), 2021. 1, 2, 6

[^11]: Zhiqin Chen and Hao Zhang. Learning implicit fields for generative shape modeling. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 5932–5941, 2019. 2

[^12]: Hongsuk Choi, Gyeongsik Moon, and Kyoung Mu Lee. Pose2Mesh: Graph convolutional network for 3d human pose and mesh recovery from a 2d human pose. In Proceedings of the European Conference on Computer Vision (ECCV), 2020. 2

[^13]: Enric Corona, Albert Pumarola, Guillem Alenya, Francesc Moreno-Noguer, and Grégory Rogez. Ganhand: Predicting human grasp affordances in multi-object scenes. In CVPR, pages 5031–5041, 2020. 2

[^14]: Enric Corona, Albert Pumarola, Guillem Alenya, Gerard Pons-Moll, and Francesc Moreno-Noguer. Smplicit: Topology-aware generative model for clothed people. In CVPR, pages 11875–11885, 2021. 2

[^15]: Boyang Deng, John P Lewis, Timothy Jeruzalski, Gerard Pons-Moll, Geoffrey Hinton, Mohammad Norouzi, and Andrea Tagliasacchi. Nasa neural articulated shape approximation. In Proceedings of the European Conference on Computer Vision (ECCV), pages 612–628. Springer, 2020. 1, 2, 4, 6, 7

[^16]: Liuhao Ge, Zhou Ren, Yuncheng Li, Zehao Xue, Yingying Wang, Jianfei Cai, and Junsong Yuan. 3d hand shape and pose estimation from a single rgb image. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 10833–10842, 2019. 2

[^17]: Kyle Genova, Forrester Cole, Avneesh Sud, Aaron Sarna, and Thomas Funkhouser. Local deep implicit functions for 3d shape. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 2020. 2

[^18]: Kyle Genova, Forrester Cole, Daniel Vlasic, Aaron Sarna, William T. Freeman, and Thomas A. Funkhouser. Learning shape templates with structured implicit functions. In Proceedings of the International Conference on Computer Vision (ICCV), pages 7153–7163, 2019. 2

[^19]: Amos Gropp, Lior Yariv, Niv Haim, Matan Atzmon, and Yaron Lipman. Implicit geometric regularization for learning shapes. In Proceedings of the International Conference on Machine Learning (ICML), 2020. 2, 5

[^20]: Shreyas Hampali, Mahdi Rad, Markus Oberweger, and Vincent Lepetit. Honnotate: A method for 3d annotation of hand and object poses. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 3196–3206, 2020. 1, 2

[^21]: Yana Hasson, Bugra Tekin, Federica Bogo, Ivan Laptev, Marc Pollefeys, and Cordelia Schmid. Leveraging photometric consistency over time for sparsely supervised hand-object reconstruction. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2020. 1, 2

[^22]: Yana Hasson, Gül Varol, Dimitris Tzionas, Igor Kalevatykh, Michael J. Black, Ivan Laptev, and Cordelia Schmid. Learning joint reconstruction of hands and manipulated objects. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2019. 2

[^23]: Kaiming He, Georgia Gkioxari, Piotr Dollár, and Ross Girshick. Mask r-cnn. In ICCV, pages 2961–2969, 2017. 6

[^24]: Hanbyul Joo, Tomas Simon, and Yaser Sheikh. Total capture: A 3d deformation model for tracking faces, hands, and bodies. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2018. 2

豪夫勒，伊奥安娜

Hotz, Van-

人类拇指与灵巧性的进化。《当代生物学》第31卷第6期：1317–1325页，2021年。1

---

人类拇指与灵巧性的进化。《当代生物学》杂志，第31卷第6期：1317–1325页，2021年。1

[^26]: Dominik Kulon, Riza Alp Guler, Iasonas Kokkinos, Michael M Bronstein, and Stefanos Zafeiriou. Weakly-supervised mesh-convolutional hand reconstruction in the wild. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 4990–5000, 2020. 2

[^27]: Taein Kwon, Bugra Tekin, Jan Stuhmer, Federica Bogo, and Marc Pollefeys. H2O: Two hands manipulating objects for first person interaction recognition. In Proceedings of the International Conference on Computer Vision (ICCV), 2021. 2

[^28]: Tianye Li, Timo Bolkart, Michael. J. Black, Hao Li, and Javier Romero. Learning a model of facial shape and expression from 4D scans. SIGGRAPH, 36(6):194:1–194:17, 2017. 2

[^29]: Shaowei Liu, Hanwen Jiang, Jiarui Xu, Sifei Liu, and Xiaolong Wang. Semi-supervised 3d hand-object poses estimation with interactions in time. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2021. 1, 2

[^30]: Stephen Lombardi, Tomas Simon, Jason Saragih, Gabriel Schwartz, Andreas Lehmann, and Yaser Sheikh. Neural volumes: Learning dynamic renderable volumes from images. ACM Transactions on Graphics (TOG), 38(4), July 2019. 2, 5

[^31]: Matthew Loper, Naureen Mahmood, Javier Romero, Gerard Pons-Moll, and Michael J Black. SMPL: A skinned multi-person linear model. ACM Transactions on Graphics (TOG), 34(6):1–16, 2015. 1,2

[^32]: William E Lorensen and Harvey E Cline. Marching cubes: A high resolution 3d surface construction algorithm. SIGGRAPH, 21(4):163–169, 1987. 4

[^33]: Lars Mescheder, Michael Oechsle, Michael Niemeyer, Sebastian Nowozin, and Andreas Geiger. Occupancy networks: Learning 3d reconstruction in function space. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2019. 2

[^34]: Marko Mihajlovic, Yan Zhang, Michael J Black, and Siyu Tang. LEAP: Learning articulated occupancy of people. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 10461–10471, 2021. 1,2

[^35]: Ben Mildenhall, Pratul P Srinivasan, Matthew Tancik, Jonathan T Barron, Ravi Ramamoorthi, and Ren Ng. NeRF: Representing scenes as neural radiance fields for view synthesis. In Proceedings of the European Conference on Computer Vision (ECCV), pages 405–421. Springer, 2020. 1, 2, 3, 7, 8

[^36]: Gyeongsik Moon and Kyoung Mu Lee. I2L-MeshNet: Image-to-pixel prediction network for accurate 3d human pose and mesh estimation from a single RGB image. In Proceedings of the European Conference on Computer Vision (ECCV), 2020. 2

[^37]: Gyeongsik Moon, Takaaki Shiratori, and Kyoung Mu Lee. DeepHandMesh: A weakly-supervised deep encoder-decoder framework for high-fidelity hand mesh modeling. In

欧洲计算机视觉会议（ECCV）论文集，第440–455页。施普林格出版社，2020年。2、6、7、8

[^38]: Gyeongsik Moon, Shoou-I Yu, He Wen, Takaaki Shiratori, and Kyoung Mu Lee. InterHand2.6M: A dataset and baseline for 3d interacting hand pose estimation from a single rgb image. In Proceedings of the European Conference on Computer Vision (ECCV), 2020. 1, 2, 5, 6, 7, 8

[^39]: Jiteng Mu, Weichao Qiu, Adam Kortylewski, Alan L. Yuille, Nuno Vasconcelos, and Xiaolong Wang. A-SDF: learning disentangled signed distance functions for articulated shape representation. In Proceedings of the International Conference on Computer Vision (ICCV), 2021. 3

[^40]: Michael Niemeyer, Lars Mescheder, Michael Oechsle, and Andreas Geiger. Differentiable volumetric rendering: Learning implicit 3d representations without 3d supervision. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2020. 2

[^41]: Atsuhiro Noguchi, Xiao Sun, Stephen Lin, and Tatsuya Harada. Neural articulated radiance field. In Proceedings of the International Conference on Computer Vision (ICCV), 2021. 2, 4, 6, 7

[^42]: Michael Oechsle, Songyou Peng, and Andreas Geiger. UNISURF: Unifying neural implicit surfaces and radiance fields for multi-view reconstruction. In Proceedings of the International Conference on Computer Vision (ICCV), 2021. 2, 3

[^43]: Iason Oikonomidis, Guillermo Garcia-Hernando, Angela Yao, Antonis Argyros, Vincent Lepetit, and Tae-Kyun Kim. Hands18: Methods, techniques and applications for hand observation. In ECCV Workshops, pages 0–0, 2018. 1

[^44]: Ahmed A A Osman, Timo Bolkart, and Michael J. Black. STAR: A spare trained articulated human body regressor. In Proceedings of the European Conference on Computer Vision (ECCV), 2020. 2

[^45]: Pablo Palafox, Aljaž Božič, Justus Thies, Matthias Nießner, and Angela Dai. NPMs: Neural parametric models for 3d deformable shapes. In Proceedings of the International Conference on Computer Vision (ICCV), 2021. 3

[^46]: Jeong Joon Park, Peter Florence, Julian Straub, Richard Newcombe, and Steven Lovegrove. Deepsdf: Learning continuous signed distance functions for shape representation. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2019. 1, 2, 3, 5, 6

[^47]: Keunhong Park, Utkarsh Sinha, Jonathan T. Barron, Sofien Bouaziz, Dan B Goldman, Steven M. Seitz, and Ricardo Martin-Brualla. Nerfies: Deformable neural radiance fields. Proceedings of the International Conference on Computer Vision (ICCV), 2021. 2

[^48]: Despoina Paschalidou, Angelos Katharopoulos, Andreas Geiger, and Sanja Fidler. Neural parts: Learning expressive 3d shape abstractions with invertible neural networks. In CVPR, pages 3204–3215, 2021. 4

## [^49]: Georgios Pavlakos, Vasileios Choutas, Nima Ghorbani, Timo Bolkart, Ahmed A. A. Osman, Dimitrios Tzionas, and Michael J. Black. Expressive body capture: 3d hands, face, and body from a single image. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2019. 2

---

[^50]: Sida Peng, Junting Dong, Qianqian Wang, Shangzhan Zhang, Qing Shuai, Xiaowei Zhou, and Hujun Bao. Animatable neural radiance fields for modeling dynamic human bodies. In Proceedings of the International Conference on Computer Vision (ICCV), 2021. 2

[^51]: Sida Peng, Yuanqing Zhang, Yinghao Xu, Qianqian Wang, Qing Shuai, Hujun Bao, and Xiaowei Zhou. Neural Body: Implicit neural representations with structured latent codes for novel view synthesis of dynamic humans. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 9054–9063, 2021. 2

[^52]: Albert Pumarola, Enric Corona, Gerard Pons-Moll, and Francesc Moreno-Noguer. D-NeRF: Neural Radiance Fields for Dynamic Scenes. In CVPR, 2020. 2

[^53]: Javier Romero, Dimitrios Tzionas, and Michael J Black. Embodied hands: Modeling and capturing hands and bodies together. ACM Transactions on Graphics (TOG), 36(6):1–17, 2017. 1, 2, 3, 6, 7, 8

[^54]: Shunsuke Saito, Jinlong Yang, Qianli Ma, and Michael J Black. SCANimate: Weakly supervised learning of skinned clothed avatar networks. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2021. 1,2

[^55]: Vincent Sitzmann, Michael Zollhöfer, and Gordon Wetzstein. Scene representation networks: Continuous 3d-structure-aware neural scene representations. In Neural Information Processing Systems (NeurIPS), 2019. 2

[^56]: Shih-Yang Su, Frank Yu, Michael Zollhöfer, and Helge Rhodin. A-nerf: Articulated neural radiance fields for learning human shape, appearance, and pose. In Neural Information Processing Systems (NeurIPS), 2021. 2

[^57]: Xiao Tang, Tianyu Wang, and Chi-Wing Fu. Towards accurate alignment in real-time 3d hand-mesh reconstruction. In Proceedings of the International Conference on Computer Vision (ICCV), pages 11698–11707, 2021. 2

[^58]: Edgar Tretschk, Ayush Tewari, Vladislav Golyanik, Michael Zollhöfer, Christoph Lassner, and Christian Theobalt. Non-rigid neural radiance fields: Reconstruction and novel view synthesis of a dynamic scene from monocular video. In Proceedings of the International Conference on Computer Vision (ICCV), 2021. 2

[^59]: Edgar Tretschk, Ayush Tewari, Vladislav Golyanik, Michael Zollhöfer, Carsten Stoll, and Christian Theobalt. PatchNets: Patch-based generalizable deep implicit 3d shape representations. In Proceedings of the European Conference on Computer Vision (ECCV), 2020. 2

[^60]: Peng Wang, Lingjie Liu, Yuan Liu, Christian Theobalt, Taku Komura, and Wenping Wang. NeuS: Learning neural implicit surfaces by volume rendering for multi-view reconstruction. Neural Information Processing Systems (NeurIPS), 2021. 2, 3

[^61]: Shaofei Wang, Andreas Geiger, and Siyu Tang. Locally aware piecewise transformation fields for 3d human mesh registration. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2021. 1, 2

[^62]: Binbin Xu, Lingni Ma, Yuting Ye, Tanner Schmidt, Christopher D. Twigg, and S. Lovegrove. Identity-disentangled

用于动态网格的神经变形模型。ArXiv，abs/2109.15299，2021年。3、5、6、7

[^63]: Hongyi Xu, Thiemo Alldieck, and Cristian Sminchisescu. H-NeRF: Neural radiance fields for rendering and temporal reconstruction of humans in motion. In Neural Information Processing Systems (NeurIPS), 2021. 2

[^64]: Hongyi Xu, Eduard Gabriel Bazavan, Andrei Zanfir, William Freeman, Rahul Sukthankar, and Cristian Sminchisescu. GHUM & GHUML: Generative 3d human shape and articulated pose models. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 2020. 2

[^65]: Lior Yariv, Jiatao Gu, Yoni Kasten, and Yaron Lipman. Volume rendering of neural implicit surfaces. ArXiv, abs/2106.12052, 2021. 2, 3, 4, 7

[^66]: Lior Yariv, Yoni Kasten, Dror Moran, Meirav Galun, Matan Atzmon, Basri Ronen, and Yaron Lipman. Multiview neural surface reconstruction by disentangling geometry and appearance. Neural Information Processing Systems (NeurIPS), 33, 2020. 2

[^67]: Tarun Yenamandra, Ayush Tewari, Florian Bernard, Hans-Peter Seidel, Mohamed Elgharib, Daniel Cremers, and Christian Theobalt. i3DMM: Deep implicit 3d morphable model of human heads. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 12803–12813, 2021. 3

[^68]: Xiong Zhang, Qiang Li, Hong Mo, Wenbo Zhang, and Wen Zheng. End-to-end hand mesh recovery from a monocular rgb image. In Proceedings of the International Conference on Computer Vision (ICCV), pages 2354–2364, 10 2019. 2

[^69]: Keyang Zhou, Bharat Lal Bhatnagar, and Gerard Pons-Moll. Unsupervised shape and pose disentanglement for 3d meshes. In Proceedings of the European Conference on Computer Vision (ECCV), August 2020. 2

[^70]: Christian Zimmermann, Duygu Ceylan, Jimei Yang, Bryan Russell, Max Argus, and Thomas Brox. Freihand: A dataset for markerless capture of hand pose and shape from single rgb images. In Proceedings of the International Conference on Computer Vision (ICCV), pages 813–822, 2019. 1,2

[^71]: Silvia Zuffi, Angjoo Kanazawa, David Jacobs, and Michael Black. 3d menagerie: Modeling the 3d shape and pose of animals. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 5524–5532, Los Alamitos, CA, USA, Jul 2017. 2