# 一种基于骨架驱动的神经占据表示，用于关节手模型
Korrawe Karunratanakul、Adrian Spurr、Zicong Fan、Otmar Hilliges、Siyu Tang，苏黎世联邦理工学院
{korrawe.karunratanakul,adrian.spurr,zicong.fan,otmar.hilliges,siyu.tang}@inf.ethz.ch
Figure 1. We introduce a novel neural implicit surface representation of human hands (HALO) that is fully driven by keypoint-based skeleton articulation. Taking 3D keypoints as input, a fully differentiable implicit occupancy representation produces high-fidelity reconstructions of the hand surface (top row). We show that HALO facilitates the conditional generation of articulated hands that grasp 3D objects in a realistic and physically plausible manner (bottom row).
## 摘要
我们提出了手部关节占据模型（Hand ArticuLated Occupancy, HALO），这是一种新型的手部关节模型表示方法，它结合了3D关键点和神经隐式表面的优势，可应用于端到端可训练的架构中。与现有的统计参数化手部模型（如MANO）不同，HALO直接以3D关节骨架为输入，生成表征姿态手部表面的神经占据体。HALO的主要优势在于：（1）它由3D关键点驱动，这类数据在精度方面表现更优，且对神经网络而言比手部模型的隐变量参数更容易学习；（2）它能提供姿态手部的可微体积占据表示；（3）它可以进行端到端训练，从而能够在手部表面定义损失函数，进而促进3D关键点的学习。我们验证了HALO在条件生成抓取3D物体的手部模型任务中的适用性。HALO的可微特性被证明能够提升合成手部的质量，无论是在物理合理性还是用户偏好方面均表现更佳。
### 1. 引言
人类会用双手抓取和操控物体。对人体手部的3D姿态和表面进行建模，对于动画、游戏、增强现实和虚拟现实等众多应用领域而言具有重要意义。文献中现有的手部表示方法可分为两类：骨架表示[^19] [^28] [^40] [^41] [^71]，以及基于网格的表示[^39] [^51]。尽管3D骨架定义在欧几里得空间中，且与深度神经网络的交互较为便捷，但它们缺乏表面信息，因此不适合用于推理手部与物体的交互情况。相比之下，基于网格的手部模型能够提供表面信息，从而可以明确推理物理交互过程，比如手部对物体的操控[^25] [^59]。不过，它们的姿态和形状参数往往难以直接解读，且相比3D关键点，更难以通过端到端方式学习。
在本研究中，我们的目标是弥合3D关键点与密集表面模型之间的差距。为此，我们提出了手部关节占据模型（HALO），这是一种由基于关键点的骨架驱动的新型手部表示方法，
---
它能够提供高保真、分辨率无关的神经隐式表面。重要的是，所提出的表示方法完全可微，可进行端到端训练，从而使基于体积的损失能够将梯度反向传播至3D关键点。具体而言，HALO有两项关键创新：（1）一种完全可微的骨架规范化算法；（2）一种感知形状的神经关节手部表示方法，它直接由骨架驱动，天然支持对表面和体积占据的可微推理。
可微骨架规范化。HALO模型的核心优势在于其表面表示完全可微，且由三维关节骨架驱动。尽管诸如逆向运动学之类的简单迭代拟合程序能够提供从规范姿态转换为目标骨架所需的变换，但这会阻碍从表面到关键点的梯度流动。此外，由于手指骨骼周围扭转角的模糊性，优化过程可能会导致不自然的表面。通过利用确保姿态合理的生物力学约束，我们提出了一种新颖的可微层，该层能在单次前向传播中，将三维关键点位置转换为相对于规范化姿态空间的对应骨骼旋转和平移。我们将这一操作称为规范化层。重要的是，该层不依赖迭代拟合，因此能有效用于基于反向传播的学习。此外，该层还能在规范空间中学习手部的隐式形状表示。正如第5节所示，这显著提升了所学表示在不同手部姿态和形状上的泛化能力。
骨架驱动的神经铰接手模型。近期，已有多种用于人体建模的神经占据网络被提出，例如 [^15]、[^36]、[^53]。尽管这些方法证明了通过神经隐式曲面参数化铰接变形的可行性，但所有方法都需要以真实骨骼变换作为输入，导致它们无法与关键点对接。此外，在没有真实变换的情况下，这些模型在噪声预测下的运行效果尚不确定且未被验证。需要注意的是，让隐式表示适用于由骨架驱动的铰接手并非易事。关键挑战在于如何从具有高度复杂姿态的骨架中推断出未见过的手部的真实形状。我们的解决方案包含两步：首先，利用生物力学约束，通过规范化层确保三维骨架与手部表面之间的双射映射，这大大简化了针对高度复杂手部骨架的隐式曲面学习；其次，在规范空间中，我们利用一组多层感知机来学习手部表面的身份相关和姿态相关的变形，这些感知机能很好地泛化到不同的手部形状和姿态。我们系统地将HALO与几种基线方法进行了比较，结果表明HALO在准确性、通用性和视觉保真度方面均显著优于基线方法。
手部抓取合成。为了展示关键点驱动的隐式表面表示的实用性，我们采用HALO来进行抓取三维物体的手部条件生成。我们提出了一种新颖的生成流程，该流程能合成手部关键点并通过HALO生成手部的神经占据数据。利用HALO的可微特性，我们设计了手部-物体相互穿透损失函数，以端到端的方式指导三维关键点生成器的训练。实验表明，这种损失函数能使生成的手部与物体产生令人信服的接触效果。此外，与基于MANO的方法（GrabNet [^59]）相比，HALO即便在未经过细化处理时也能生成更符合物理规律且视觉上更逼真的抓取姿态，这表明基于体素的损失函数在学习三维关键点生成器方面十分有效。
总体而言，本研究的主要贡献包括：(1) HALO——首个由基于关键点的骨骼关节驱动的神经隐式手部模型，它能生成平滑的神经隐式表面，并支持对体积占据情况进行可微推理；(2) 一种可微的骨骼规范化层，可将任意骨骼映射到具有唯一生物力学有效变换的规范姿态；(3) 一个逼真的人手抓取生成框架，该框架利用了HALO所实现的高效体积占据检测能力。
### 2. 相关工作
手部姿态与网格估计。手部姿态估计是一个由来已久的问题，目前已提出了多种基于学习的方法。这些方法通常涉及预测3D关键点位置 [^8] [^13] [^16] [^18] [^19] [^28] [^40] [^41] [^43] [^54] [^57] [^58] [^60] [^64] [^66] [^71]，回归MANO [^51]参数 [^1] [^2] [^4] [^25] [^26] [^68]，或直接预测手部的完整密集表面 [^20] [^30] [^39] [^61]。直接预测3D关键点的方法通常能取得更好的性能，但无法生成对手部交互至关重要的密集表面。通过迭代地将基于模板的模型（如MANO）拟合到关键点上可以恢复出密集表面，但这一过程会变得不可微 [^44] [^46] [^62]。另一种从3D或2D关键点估计密集表面的方法 [^11] [^65] [^70]，但这种估计可能会导致手部姿态偏离输入的关键点。相比之下，我们的模型生成的手部表面能够忠实反映输入姿态，同时允许表面或体积损失直接反向传播至关键点。
手部表示。三维手部的表面可以显式或隐式地表示。最常见的基于模板的方法，如MANO [^51]，会在其学习到的参数空间上对姿态和形状施加先验约束。
---
用于正则化。不过，使用这些学习到的参数也会增加学习复杂度，因为这些特征并不直接对应输入中的特征（如可见关节）。在 [^1] [^4] [^25] [^26] [^68] 中，MANO参数会借助额外的弱监督信息直接预测出来，比如手部掩码 [^1] [^68] 或二维标注 [^4] [^68]。另一种显式表示三维手部的方法是直接存储MANO模板的密集顶点位置 [^20] [^30] [^38]。虽然这种方法因不受参数空间的约束而更具通用性，但它需要相应的密集三维标注数据，而这类数据往往难以获取。我们的工作与之不同：我们能够从三维关键点恢复出密集的手部表面，从而无需学习模型参数或预测密集的表面点。
隐式表示。许多研究通过利用神经网络学习隐式函数来表示物体形状[^10] [^14] [^21] [^22] [^35] [^37] [^47] [^55]，这种方式能够以动态分辨率对任意物体拓扑进行建模。针对各类输入数据学习此类隐式函数的方法也已被提出[^32] [^33] [^45] [^48] [^52] [^56]。这些研究主要针对刚性物体，不允许形状发生形变。近年来，人们也开始关注用于人体建模的关节化隐式函数的学习[^3] [^15] [^27] [^36] [^63]。NASA[^15]采用一组隐式函数来描述人体，但该模型仅适用于特定体型；LEAP[^36]则致力于为多种体型学习逆向线性混合蒙皮函数，不过它依赖的是真实的骨骼变换矩阵而非3D关节位置。据我们所知，目前尚无能够很好地泛化到各种形状的隐式手部表示。Grasping Field[^29]学习了手部与物体的隐式函数以表示接触关系，但将每种姿态下的手部都视为刚性物体，因此学习多种姿态的难度显著增加。在本研究中，我们利用人类手部的生物力学约束来学习一种新型手部模型，该模型仅需输入骨骼信息，就能泛化到不同的手部形状和姿态。
手部与物体的交互。已有大量研究探讨了不同场景下手部与物体的交互问题[^5] [^7] [^9] [^12] [^17] [^18] [^23] [^24] [^29] [^31] [^42] [^59]。近期，学界开始探索根据物体生成合理手部抓握姿势的任务，其中值得注意的研究包括[^12]、[^29]和[^59]。GanHand[^12]通过从抓握分类法[^17]中预测抓握类型及其初始方向，为给定RGB图像中的每个物体生成合适的抓握姿势，随后再优化以改善与物体的接触效果；GrabNet[^59]利用基点集[^49]将3D物体表示为输入，以此生成MANO参数，预测出的手部模型随后会被送入细化模型以改善接触效果。Grasping Field[^29]在一个空间中为手部表面和物体表面学习有符号距离场，从而将接触关系建模为两者距离均为零的区域。然而，输出的表面无法活动，且需要对手部模型进行拟合。我们的工作与其他研究的不同之处在于：我们利用所提出的手部表示来建模接触关系，同时将合成任务简化为生成3D关键点。
Figure 2. Local coordinate systems and rotation matrices defined in the systems. (a) We adopt the technique from [^57] to construct local coordinate systems $F_i$ for each segment of the kinematic chains of the hand. (b) Each $F_i$ is constructed by measuring the flexion angle $\theta^f$ and the abduction angle $\theta^a$ relative to the parent bone. See Supp. Mat. for further details.
在这些区域中，表面距离均为零。不过，输出的表面无法活动，且需要对手部模型进行拟合。我们的工作与其他研究的不同之处在于：我们利用所提出的手部表示来建模接触关系，同时将合成任务简化为生成3D关键点。
### 3. HALO：手部关节化占据模型
HALO模型是一种基于骨骼驱动的神经占据函数，其正式定义为 $\mathcal{O}_w(x|J) \to \{0,1\}$。该模型由神经网络权重 w 参数化，能够将三维点 x 映射为其占据值，其中手部骨骼由一组三维关键点位置 J 表示。在本节中，我们首先介绍如何将任意三维关节骨骼以可微且一致的方式转换为参考标准姿态，随后介绍我们为手部设计的简单却有效的神经占据网络。
符号说明。给定由三维关键点 $J : \mathbb{R}^{21 \times 3}$ 表示的手部骨骼，我们用 $\theta_i^f$ 和 $\theta_i^a$ 分别表示骨骼 i 相对于其父骨骼的屈曲/伸展角以及外展/内收角。为简便起见，我们将它们统称为屈曲角和外展角。骨骼 i 与其相邻掌骨 $i+1$ 之间的夹角记为 $\theta_i^p$。最后，$\theta_i^n$ 是指由掌骨 $n_i$、$n_{i+1}$ 所张成的平面 $i-1$ 与 $i, i+1$ 之间的掌面角。我们用 c 表示参考标准手部的属性。更多细节请参阅补充材料。
#### 3.1. 三维手部骨骼的标准化
我们的目标是学习人类手部表面在标准化空间中的神经表征。此外，我们希望根据由三维关键点表示的底层骨骼的空间构型来变形这一形状。为此，我们需要一种机制，能够将三维关键点转换为在关节角度方面符合标准姿态的有效骨骼。由于关键点本身并不具备表面信息，若直接将其转换为轴角则表示无法实现这一目标。
---
因为骨骼的无约束扭转不会影响关键点，但会影响表面形态，所以这种方式行不通。
我们从Spurr等人的研究 [^57] 中获得灵感，他们为每根骨骼定义了一致的局部坐标系，以便用于半监督学习中的骨骼角度测量。我们的目标是推导出一个可微的映射层，该层能够：i) 提供将预测的关键点转换为静止姿态并反向转换的方法；ii) 确保骨骼不存在会影响表面的不合理扭转现象。
基于 [^57] 的研究，我们用两个旋转角度——屈曲角和外展角——来表示每根指骨相对于其父骨骼的姿态（见图2）。每根骨骼无法绕自身旋转，因此不存在扭转现象。不过，这种表述忽略了定义标准姿态所需的手掌构型。在本研究中，我们提出了一种参数化手掌姿态的方法，以定义一致的标准姿态。我们将掌骨构型拆分为1）手指展开和2）手掌拱起两部分。手指的展开通过两根相邻掌骨之间的夹角来体现；手掌的拱起则由三根相邻掌骨所张成的两个平面之间的夹角来定义。由此得到的掌部区域便可作为其余手指的参照框架。更直观的可视化效果请参阅补充材料中的图B.1。
将3D关键点转换为骨骼变换。具体来说，我们寻求一组唯一的变换$\{B^{-1}\}$，用于将骨骼$J : \mathbb{R}^{21 \times 3}$映射到标准姿态$^c J$。给定一根骨骼后，我们通过依次执行以下操作来获得集合$\{B^{-1}\}$：首先，旋转每个手指以匹配标准手掌姿态的描述，我们将这种姿态定义为手掌固定、掌骨之间角度确定的平展手；其次，按照[^57]（图2b）的定义计算关节角和局部坐标系，利用这些结果沿运动链迭代地消除角度（图2a），从而得到标准姿态。将这两步得到的变换结合起来，再调整关键点到骨骼向量的转换关系，就能得到一组变换矩阵$\{B^{-1}\}$，它们可将给定的骨骼$J_i$映射到我们的标准姿态$^c J_i$。具体来说，
$$ \begin{aligned}{{}^{c}\boldsymbol{J}_{i}}&{{}=\boldsymbol{B}_{i}{}^{-1}\boldsymbol{J}_{i}\quad,}\\ {{\mathrm{w h e r e~}}\boldsymbol{B}^{-1}}&{{}=T S F^{\prime}\boldsymbol{R}^{c}F P K\quad.}\\ \end{aligned} $$
此处 $K : \mathbb{R}^{3 \times 21} \mapsto \mathbb{R}^{3 \times 20}$ 是一个函数，它通过将关键点 $J \in \mathbb{R}^{21 \times 3}$ 平移到局部原点并缩放为单位范数，来将其映射为骨骼向量；P用于对掌骨和掌面角度进行归一化；F随后将骨骼映射到各自的局部坐标系；$R^c$ 会将每根骨骼旋转，使其屈曲和外展角度与标准姿态一致。最后，$F'$ 将每个坐标系映射回全局坐标系；S会把骨骼恢复为原始长度，而T则会将骨骼平移到其父骨骼的末端。
#### 3.2. 手部神经占据网络
这组变换针对每种骨骼姿态都是唯一的，且仅允许符合生物力学规律的变换。更多细节请参阅我们的补充材料。
在此，我们介绍如何利用姿态骨骼与标准骨骼之间的唯一映射$\{B^{-1}\}$，来学习能够泛化到不同形状及高度灵活姿态的手部神经表征。我们从NASA的[^15]中获取灵感，因其结构简单且效果显著，故采用了类似的神经网络结构。
NASA的[^15]模型。NASA学习人体隐式表征$\mathcal{O}_w(x|\theta) \to \{0,1\}$，该表征以姿态描述符$\theta$为条件。具体而言，它会分别为每个身体部位定义隐式表面。设$B_b^{-1}$为骨骼b到标准姿态的变换，则NASA模型可表示为：
$$ \mathcal{O}_{w}(x|\theta)=\operatorname*{m a x}_{b}\{\bar{\mathcal{O}}_{w}^{b}(B_{b}^{-1}x,\varPi_{w}^{b}[\{B^{-1}t_{0}\}])\}. $$
其中，姿态描述符$\theta$由一组变换矩阵$\{\boldsymbol{B}_b\}_b=1$构成，$\mathcal{O}_w(x|\theta)$的概率则源自B个子占据函数$\mathcal{O}_w^b(\cdot,\cdot)$中的最大占据概率，每个子占据函数对应骨骼b的某个身体部位。对于查询点x，每个子函数$\mathcal{O}_w^b(\cdot,\cdot)$会通过变换矩阵$\boldsymbol{B}_b^{-1}$将x映射至其局部坐标系，从而能够学习每个身体部位的局部形状。$\Pi_w^b[\cdot]$这一项用于向每个子函数提供全局姿态信息。本质上，通过用$\boldsymbol{B}_b^{-1}x$查询点x的占据值，NASA模型就能学到模板形状以及基于全局姿态$\Pi_w^b[\cdot]$的修正量。注意，骨骼变换$\{\boldsymbol{B}_b\}_b=1$被假定为已知。更多细节请参阅[^15]。
用于手部建模的神经占据网络。如果直接套用NASA模型来处理人手数据，就会产生错误的表面重建结果，正如第5.1节（图5）所示。为了能够表示具有高度关节活动性和多样形状的手部，我们提出通过以形状描述符$\beta$为条件来学习子占据函数，从而有效学习$\mathcal{O}_w(x|\theta, \beta)$。我们假设手部随个体而异的形变与骨骼高度相关，因此提出将一系列骨长作为形状描述符。具体而言，我们设计了一种简单却高效的骨长编码器$f^b(D)$，它以各骨骼的骨长$\mathcal{D} = [d_1, d_2, \cdots, d_B] \in \mathbb{R}^B$作为输入。需要强调的是，在所提出的框架下，我们仅需利用关键点J就能学习手部表面，因为姿态描述符$B_b^{-1}$是根据公式1由J推导得出的。我们最终的占据函数如下所示：
$$ \mathcal{O}_{w}(x|\theta,\beta)=\max_{b}\{\bar{\mathcal{O}}_{w}^{b}(\boldsymbol{B}_{b}^{-1}\boldsymbol{x},\Pi_{w}^{b}[\{\boldsymbol{B}^{-1}t_{0}\}],f^{b}(\boldsymbol{D}))\} $$
---
Figure 3. Overview of HALO. Given a hand skeleton, HALO derives bone transformations $\{B^{-1}\}$ that map the bones to the canonical pose using the canonicalization layer. The query point x is then transformed into the canonical space as $B_{i}^{-1}x$ for the occupancy check.
Figure 4. HALO-VAE Architecture. Given object point cloud, the VAE model synthesizes a grasping hand represented by a set of 3D keypoints. The input hand keypoints and the hand encoder are only used during the training. From the synthesized hand skeleton, HALO then produces the hand surface. The whole pipeline is end-to-end trainable, therefore, the VAE can leverage volume-based losses to improve the generation quality of the 3D keypoints.
其中，每个隐式函数$\mathcal{O}_w^b$都会根据手部姿态描述符$\Pi_w^b[\{B^{-1}t_0\}]$以及我们的骨长描述符$f^b(D)$来学习对应的部位形状。
形状描述符的变体。我们研究了两种版本的骨长编码器$f^{b}(D)$：局部骨编码器$f_{l}^{b}(D) = d_{b}$和全局编码器$f_{g}^{b}(D) = [d_{b}; MLP(D)]$，其中全局编码器的MLP包含两层线性层。我们采用了与[^15]类似的训练策略，更多训练细节请参阅补充材料。
#### 3.3. 基于骨骼驱动的多关节手部模型
为了构建基于骨骼驱动的多关节手部模型，我们将前文所述的规范化层和神经手部表面模型结合起来。具体来说，HALO会接收输入的3D关键点，通过规范化层计算出用于占据网络的骨骼变换$\{B^{-1}\}$。由于规范化层是可微分的，因此该模型能够端到端训练，并且允许从表面产生的基于体积的损失反向传播至关键点。HALO的整体结构如图3所示。需要注意的是，骨长D也可以由关键点计算得出。在推理阶段，仅需输入3D关键点即可重建手部表面。
### 4. 人类抓取动作生成
我们展示了HALO模型在极具挑战性的抓取动作生成任务中的适用性。给定某个物体后，我们的目标是生成多样化且自然、合理的手-物交互抓取姿势。我们的抓取生成流程分为两部分：基于变分自编码器（VAE）的3D关键点生成器，以及用于获取手部表面的HALO模型。
HALO-VAE架构。HALO-VAE模型的架构如图4所示。训练期间，物体点云首先被送入物体编码器，该编码器是对PointNet[^50]的改进版本，加入了残差连接[^35]，用以获取物体的潜码。随后，该物体潜码会与3D手部关节位置$J \in \mathbb{R}^{21 \times 3}$拼接起来，再送入VAE编码器。解码器会根据手部与物体的潜码表示来重构3D手部关节位置。借助关键点，再通过骨骼规范化层利用HALO得到手部表面。
使用HALO的优势有两点。首先，我们将学习姿态（由骨骼表示）的复杂性与学习与该姿态对应的表面的复杂性分离开来；其次，这种隐式模型能够实现手部与物体之间的快速相交测试，从而高效计算穿透损失。结合可微分的骨骼规范化层，穿透损失可用于在端到端训练和后续优化细化中改进关键点生成器。
我们的抓取生成流程与 [^59] 和 [^29] 类似，但存在以下关键差异。首先，在 [^29] 中，输出是一个无法被驱动的刚性隐式曲面。为了获得可用于下游任务的可驱动手部，还需要额外拟合 MANO 模型。其次，在 [^59] 中，抓取生成器被训练为产生 MANO 参数，而这些参数与手和物体所在的欧几里得空间并不直接相关。其挑战在于 in-
---
这种挑战在GrabNet（CoarseNet）[^59]的结果中有所体现，具体细节将在实验部分阐述。
#### 4.1. 学习与损失函数
为了训练VAE模型，我们使用以下损失函数：手部潜变量Z的KL散度损失、预测关键点的L2损失、骨骼长度L1损失以及骨骼角度损失。骨骼角度损失用于为手部结构的学习提供额外监督，具体包括：1）屈曲角$\theta_i^f$和外展角$\theta_i^a$；2）相邻掌骨之间的角度$\theta_i^p$；3）掌骨平面之间的角度$\theta_i^n$。这些骨骼角度与第3节中使用的相同。损失定义为预测值与真实值之间的L1角度差。
穿透损失。除了关键点相关的损失外，我们还使用手部表面的穿透损失来避免手部与物体发生碰撞。其核心思路是对物体内部同时被手部占据的所有点进行惩罚。具体来说，对于在物体内部采样的一组点$P_{o}$以及预测的关键点$\bar{J}$，穿透损失定义如下：
$$ \mathcal{L}_{i n}(\bar{\boldsymbol{J}})=\sum_{p\in P_{o}}\mathcal{O}_{w}(p|\Theta(\bar{\boldsymbol{J}}),f_{g}(D_{\bar{\boldsymbol{J}}})),\mathrm{w h e r e}\mathcal{O}_{w}(\cdot)>0.5 $$
其中$D_{\bar{J}}$是$\bar{J}$对应的骨骼长度向量，$\Theta(\bar{J})$利用公式1中的可微分变换矩阵，将预测的关键点映射到HALO姿态向量$\theta$。
#### 4.2. 基于优化的细化
为了证明HALO所实现的高效相交测试可用于优化，我们通过调整全局平移量t来对采样得到的手部进行细化，以避免其与物体碰撞。细化过程会运行10步，采用公式4中的穿透损失项。优化目标为：
$$ \min_{t}\mathcal{L}_{in}(\bar{\boldsymbol{J}}+t) $$
这一简单的优化步骤旨在对HALO-VAE的初始预测结果进行接触面细化。它类似于[^59]中的RefineNet，但具有明确的避免碰撞的目标，而非作为神经网络去噪器使用。
### 5. 实验
在本节中，我们评估了基于骨骼的手部模型以及抓取合成流程。首先，在5.1节中，我们验证了HALO作为神经隐式手部模型的有效性，并将其与表面基线[^15]以及关键点到表面的基线[^11] [^70]进行比较。其次，我们在5.2节中展示了HALO在需要基于表面的推理（如抓取合成）的生成任务中能够有效应用。
| IoU $\uparrow$ | Cham. (mm) $\downarrow$ | Norm. $\uparrow$ |
| NASA [^15] | 0.896 | 1.057 | 0.955 |
| NASA+surf. | 0.883 | 1.177 | 0.944 |
| NASA+surf.+local b. | 0.913 | 0.884 | 0.950 |
| HALO (ours) | 0.932 | 0.719 | 0.959 |
| HALO keypoints (ours) | 0.930 | 0.740 | 0.959 |
Table 1. Evaluation on IoU, Chamfer-distance (L1), and normal consistency score (Norm.) between NASA [^15] and HALO. All models are trained using groundtruth bone transformations except for HALO keypoints where only the 3D key points are given. NASA+surf. indicates a NASA model with resampled surface points for the skinning loss $\mathcal{L}_s$ and local. b indicates that a corresponding bone length is given to each occupancy function. The results show that HALO outperforms NASA [^15] on IoU and Chamfer-L1 by large margins, suggesting the superior performance of HALO in terms of fidelity and generality.
| Methods | IOU $\uparrow$ | Cham. (mm) $\downarrow$ | MPJPE (mm) $\downarrow$ |
| Choi et al. [^11] | 0.43 | 4.651 | 14.1 |
| Zhou et al. [^70] | 0.54 | 2.811 | 7.95 |
| HALO keypoints (ours) | 0.93 | 0.740 | 0 |
Table 2. Comparison between the estimated, root-aligned surfaces when only 3D keypoints are given as input.
这类任务需要基于曲面的推理能力，也就是抓取合成。更多实验结果请参阅补充材料。
#### 5.1. 神经手部模型
我们首先评估所提出的隐式表面表示的性能，并分析关键点到变换映射层的影响。
训练数据。为了训练我们的神经占据手部模型，我们使用了MANO [^51]手部网格。遵循[^15]的方法，对于每个网格，我们采用两种策略采样点：1）在手部边界框内均匀采样；2）在表面上采样并添加各向同性高斯噪声。仅使用均匀采样的点进行评估。每个查询点的相关占据值是通过从采样点发射射线并统计射线上相交次数来计算的。真实的骨骼变换矩阵是沿着运动链计算的，用于将模板MANO手部转换为目标姿态。蒙皮权重取自MANO的蒙皮权重。我们在所有实验中使用了Youtube3D（YT3D）手部数据集[^30]。YT3D训练集包含来自数百名受试者的50175个手部网格，这些受试者参与了102个视频中的各种任务。测试集则包含来自7个视频的1525个网格。
评估指标。对于3D表面重建评估，我们计算平均交并比（IoU）、Chamfer-L1距离以及法向一致性得分[^35]。
---
Figure 5. Qualitative results of HALO and HALO-VAE. (Left) Comparison between the NASA and HALO. Two views are shown for the same pose for comparison. (Right) Hands sampled from HALO-VAE.
| HALO-VAE w/o $\mathcal{L}_{in}$ | HALO-VAE (ours) | [^59]-coarse | HALO-VAE + Optim | [^59]-refine |
| Int. vol. ( $cm^{3}$) $\downarrow$ / Cont. ra. (%) $\uparrow$ | | | | | |
| Binoculars | 9.19 / 1.00 | 6.35 / 1.00 | 8.97 / 0.95 | 4.47 / 1.00 | 3.24 / 1.00 |
| Camera | 3.99 / 1.00 | 4.47 / 1.00 | 3.31 / 0.75 | 1.66 / 1.00 | 1.46 / 1.00 |
| Frying pan | 0.25 / 0.85 | 0.22 / 0.65 | 0.94 / 0.80 | 0.05 / 0.35 | 1.10 / 0.85 |
| Mug | 3.38 / 1.00 | 6.41 / 1.00 | 5.72 / 1.00 | 3.48 / 1.00 | 4.48 / 1.00 |
| Toothpaste | 6.25 / 1.00 | 1.85 / 1.00 | 6.05 / 1.00 | 1.11 / 1.00 | 2.28 / 1.00 |
| Wineglass | 1.41 / 0.90 | 2.35 / 1.00 | 2.62 / 1.00 | 1.56 / 0.80 | 1.60 / 0.95 |
| Average | 4.08 / 0.96 | 3.61 / 0.94 | 4.60 / 0.92 | 2.06 / 0.85 | 2.36 / 0.97 |
| Diversity | | | | | |
| Entropy $\uparrow$ | 2.88 | 2.88 | 2.84 | 2.88 | 2.83 |
| Cluster size $\uparrow$ | 2.25 | 2.15 | 1.65 | 2.15 | 1.70 |
| % users rated as ‘more realistic’ |
| HALO-VAE w/o $\mathcal{L}_{in}$ | HALO-VAE |
| 32.77 % | 67.23 % |
| HALO-VAE | GrabNet - coarse |
| 55.75 % | 44.25 % |
| HALO-VAE + Optim | GrabNet - refine |
| 51.29 % | 48.71 % |
Table 3. Evaluation on interpenetration volume (Int. vol.), contact ratio (Cont. ra.) and diversity. HALO-VAE w/o $\mathcal{L}_{in}$ denotes the HALO-VAE model without the interpenetration loss. Best numbers are in bold, except for the contact ratios when more than one model have the same best result.
Table 4. Binary choice user study. The number show the percentage of users who rate the corresponding method as more realistic.
#### 5.1.1 与隐式表面基线的比较
在此，我们研究了所提出的HALO模型在表示具有不同姿态和形状的关节手部时的泛化能力。结果总结在表1中。
基线。我们以NASA模型[^15]作为基线。NASA模型旨在表示关节体的隐式函数。不过，通过调整输入维度和部件模型数量以匹配手部部件数，它也可用于表示关节手部。我们使用取自MANO的骨骼变换矩阵和采样查询点来训练基线模型。关于实现细节和网络架构，请参阅补充材料。
表面顶点重采样。在[^15]中，用于施加蒙皮损失$L_{s}$中的部件模型的表面顶点v是SMPL [^34]的网格顶点。同样，我们在训练期间使用MANO表面顶点。不过我们发现，人工设计的网格在关节周围往往有更多顶点，这可能导致部件模型偏向骨骼端点。因此，我们提出在网格表面上均匀重新采样表面顶点。虽然这会导致性能下降，但骨骼连接会更自然，且伪影更少。
局部与全局骨骼编码器。人类手部的骨骼长度对手部形状有着重要影响。因此，对于局部骨骼编码器而言，我们将骨骼长度$d_i$添加到反向投影的查询点中，作为部件模型的输入$[B_i^{-1}x; d_i]$。如表1所示，无论是从IoU还是Chamfer-L1距离来看，局部骨骼编码器都能提升重建质量。我们进一步扩展了局部骨骼编码器，将其所有骨骼长度都作为输入。首先，将拼接后的骨骼长度向量送入一个小型前馈神经网络，以得到全局骨骼特征$f_g(D)$，随后将其与查询点x以及局部骨骼长度$d_i$一起作为部件模型的输入。
实验结果。通过结合局部与全局骨骼编码器，HALO在3D表面重建质量上相比NASA有显著提升。如表1所示，IoU从0.896提高到了0.932，而Chamfer-L1距离则从1.057毫米减小到了0.719毫米。
我们在图5中提供了NASA与HALO之间的定性对比，验证了定量结果。所提出的HALO表示方法在高度关节化的姿态下表现良好，而NASA模型在部件连接处会产生严重的伪影。
---
#### 5.1.2 3D关键点与手部表面
表1还展示了仅以3D关键点为输入的HALO模型的结果。该关键点模型在表面重建性能上与使用真实变换参数时相当，体现了我们方法的有效性。定性结果展示在图1和图5中。
此外，为了评估关键点到表面的流程，我们将HALO与[^70]及[^11]中的对应组件进行了比较，后者能够根据3D关键点估计手部表面。评估是在同一个Youtube3D测试集上进行的，该测试集提供了真实的3D关键点作为输入。由于[^11]需要2D和3D坐标作为输入，因此我们通过将3D关键点垂直于手掌投影来获得2D关键点。评估时，我们还报告了预测手部与输入关节之间的3D关节误差，该指标用于衡量模型是否忠实保留了输入的关键点。从设计上来说，HALO模型不会改变输入到输出的关键点位置，因此不存在此类误差。表2中的对比结果显示，[^70]和[^11]在预测中会改变手部的姿态和形状，而HALO则能根据给定的关键点准确重建手部表面。
#### 5.2 抓取合成
为了评估HALO在下游任务中的实用性，我们展示了我们的抓取生成模型HALO-VAE。
数据集方面，我们采用了近期发布的GRAB数据集[^6]和[^59]，并将我们的结果与GrabNet[^59]进行对比。我们既将结果同GrabNet的初始（粗略）预测结果[^59]作比较，也与经过优化后的结果作对比，后者与我们自身的两阶段生成流程相匹配。测试集包含6个未见过的物体；对于每个物体，我们固定其朝向，并从各模型中采样20个手部姿态候选。
物理指标。根据[^67]和[^69]所述，我们评估了物理合理性（相互穿透体积与接触比例）以及多样性，并给出了感知研究的结果。为了评估相互穿透与接触情况，我们测量手部与物体接触的帧数比例，并计算平均相互穿透体积。该体积是通过将手部与物体网格以1毫米为边长的立方体进行体素化，再统计相交立方体的数量来得出的。
用户研究。我们邀请了75名参与者参加这项强制二选一的感知研究，要求他们“选出更逼真的抓取方式”。对于每个问题，用户会看到每种抓取方式的4个视角，并必须从中选择一种。我们对同一物体上的所有可能组合进行比较。每个问题至少由2名参与者作答，因此每对模型比较共产生4800个数据点。为确保HALO-VAE与GrabNet生成的抓取方式具有完全相同的纹理，我们将MANO模型拟合到生成的关键点上以进行渲染。
多样性。按照[^69]的方法，我们通过对所有样本执行k均值聚类（分为20个簇）来计算采样抓取的多样性，随后评估簇分配的熵值以及平均簇大小。多样性越高，这两个指标的数值也越大。我们以对齐根关节后的手部关键点坐标，以及由中指和食指掌骨所构成的平面作为特征。
研究结果。我们首先验证了相互穿透损失函数（公式4）的有效性。我们比较了加入与未加入相互穿透损失函数的HALO-VAE模型。结果显示，相互穿透损失函数有助于：1）减少物体与生成的手部之间的碰撞（表3，第12列）；2）大幅提升用户对相应模型的偏好度（表4，第一行），这证明了所提出的用于推理手-物交互的关节手神经占据表示法的有效性。
接下来，我们将HALO-VAE与GrabNet [^59]进行比较。HALO-VAE和GrabNet-coarse都是基于CVAE的生成模型，且支持端到端训练；主要区别在于GrabNet-coarse生成的是MANO模型参数，而HALO-VAE生成的是3D关键点。如表3所示，在相互穿透体积和样本多样性方面，HALO-VAE的表现大幅优于GrabNet-coarse。此外，即使没有相互穿透损失函数，HALO-VAE模型的表现仍优于GrabNet-coarse，这表明基于3D关键点的表示法非常适合与深度神经网络对接。
最后，我们将基于优化的细化方法与GrabNet-refine进行比较。据我们所知，RefineNet并未与GrabNet-coarse进行端到端训练，仅在推理阶段使用三步处理。如表4所示，我们细化后的抓取方式获得了更高的用户评分，表明它们比GrabNet-refine细化的抓取方式更逼真、更自然。
### 6. 讨论与结论
在这项工作中，我们提出了HALO——一种用于关节手部的新型表面表示方法，它能够泛化到不同的手部姿态和形状。针对推断3D占据手模型时所需的变换矩阵问题，我们提出了一种骨架规范化算法，该算法能够根据3D关键点计算出有效的变换。实验表明，我们提出的手部模型优于基线模型，能够表示广泛的手部姿态和形状。最后，我们证明HALO可用于训练端到端的抓取生成器，该生成器以物体为条件，能够生成自然且逼真的手部抓取动作。我们认为，HALO在未来尝试通过可微渲染直接从图像重建关节手部表面的工作中，以及在需要执行基于表面的计算（如碰撞检测与响应）的多个下游任务中，都能发挥重要作用。
---
### 7. 致谢
我们衷心感谢Shaofei Wang和Marko Mihajlovic在基线模型方面的深入讨论与帮助。
## 参考文献
[^1]: Seungryul Baek, Kwang In Kim, and Tae-Kyun Kim. Pushing the envelope for rgb-based dense 3d hand pose estimation via neural rendering. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 1067–1076, 2019. 2, 3
[^2]: Seungryul Baek, Kwang In Kim, and Tae-Kyun Kim. Weakly-supervised domain adaptation via gan and mesh model for estimating 3d hand poses interacting objects. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 6121–6131, 2020. 2
[^3]: Bharat Lal Bhatnagar, Cristian Sminchisescu, Christian Theobalt, and Gerard Pons-Moll. Loopreg: Self-supervised learning of implicit surface correspondences, pose and shape for 3d human mesh registration. Advances in Neural Information Processing Systems, 33, 2020. 3
[^4]: Adnane Boukhayma, Rodrigo de Bem, and Philip HS Torr. 3d hand shape and pose from images in the wild. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 10843–10852, 2019. 2, 3
[^5]: Samarth Brahmbhatt, Cush Ham, Charles C Kemp, and James Hays. Contactdb: Analyzing and predicting grasp contact via thermal imaging. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 8709–8719, 2019. 3
[^6]: Samarth Brahmbhatt, Cush Ham, Charles C. Kemp, and James Hays. ContactDB: Analyzing and predicting grasp contact via thermal imaging. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2019. 8, 6
[^7]: Samarth Brahmbhatt, Chengcheng Tang, Christopher D. Twigg, Charles C. Kemp, and James Hays. ContactPose: A dataset of grasps with object contact and hand pose. In The European Conference on Computer Vision (ECCV), August 2020. 3
[^8]: Yujun Cai, Liuhao Ge, Jianfei Cai, and Junsong Yuan. Weakly-supervised 3d hand pose estimation from monocular rgb images. In Proceedings of the European Conference on Computer Vision (ECCV), pages 666–682, 2018. 2
[^9]: Yu-Wei Chao, Wei Yang, Yu Xiang, Pavlo Molchanov, Ankur Handa, Jonathan Tremblay, Yashraj S. Narang, Karl Van Wyk, Umar Iqbal, Stan Birchfield, Jan Kautz, and Dieter Fox. DexYCB: A benchmark for capturing hand grasping of objects. In IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2021. 3
[^10]: Zhiqin Chen and Hao Zhang. Learning implicit fields for generative shape modeling. Proceedings of IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2019. 3
[^11]: Hongsuk Choi, Gyeongsik Moon, and Kyoung Mu Lee. Pose2mesh: Graph convolutional network for 3d human pose and mesh recovery from a 2d human pose. In European Conference on Computer Vision (ECCV), 2020. 2, 6, 8
[^12]: Enric Corona, Albert Pumarola, Guillem Alenyà, Francesc Moreno-Noguer, and Grégory Rogez. Ganhand: Predicting human grasp affordances in multi-object scenes. In CVPR, 2020. 3
## [^13]: Martin de La Gorce, David J Fleet, and Nikos Para-
---
gios. 基于单目视频的模型驱动型3D手部姿态估计。《IEEE模式分析与机器智能交易》第33卷第9期：1793–1805页，2011年。2
[^14]: Boyang Deng, Kyle Genova, Soroosh Yazdani, Sofien Bouaziz, Geoffrey Hinton, and Andrea Tagliasacchi. Cvxnet: Learnable convex decomposition. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 31–44, 2020. 3
[^15]: Boyang Deng, JP Lewis, Timothy Jeruzalski, Gerard Pons-Moll, Geoffrey Hinton, Mohammad Norouzi, and Andrea Tagliasacchi. Neural articulated shape approximation. European Conference on Computer Vision (ECCV), 2020. 2, 3, 4, 5, 6, 7
[^16]: Bardia Doosti, Shujon Naha, Majid Mirbagheri, and David J Crandall. Hope-net: A graph-based model for hand-object pose estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 6608–6617, 2020. 2
[^17]: Thomas Feix, Javier Romero, Heinz-Bodo Schmiedmayer, Aaron M Dollar, and Danica Kragic. The grasp taxonomy of human grasp types. IEEE Transactions on human-machine systems, 46(1):66–77, 2015. 3
[^18]: Guillermo Garcia-Hernando, Shanxin Yuan, Seungryul Baek, and Tae-Kyun Kim. First-person hand action benchmark with rgb-d videos and 3d hand pose annotations. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 409–419, 2018. 2, 3
[^19]: Liuhao Ge, Hui Liang, Junsong Yuan, and Daniel Thalmann. Robust 3d hand pose estimation in single depth images: from single-view cnn to multi-view cnns. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 3593–3601, 2016. 1,2
[^20]: Liuhao Ge, Zhou Ren, Yuncheng Li, Zehao Xue, Yingying Wang, Jianfei Cai, and Junsong Yuan. 3d hand shape and pose estimation from a single rgb image. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 10833–10842, 2019. 2, 3
[^21]: Kyle Genova, Forrester Cole, Avneesh Sud, Aaron Sarna, and Thomas Funkhouser. Local deep implicit functions for 3d shape. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), June 2020. 3
[^22]: Kyle Genova, Forrester Cole, Daniel Vlasic, Aaron Sarna, William T Freeman, and Thomas Funkhouser. Learning shape templates with structured implicit functions. In Proceedings of the IEEE International Conference on Computer Vision, pages 7154–7164, 2019. 3
[^23]: Patrick Grady, Chengcheng Tang, Christopher D Twigg, Minh Vo, Samarth Brahmbhatt, and Charles C Kemp. Contactopt: Optimizing contact to improve grasps. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 1471–1481, 2021. 3
[^24]: Shreyas Hampali, Mahdi Rad, Markus Oberweger, and Vincent Lepetit. Honnotate: A method for 3d annotation of hand and object poses. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 3196–3206, 2020. 3, 1
[^25]: Yana Hasson, Bugra Tekin, Federica Bogo, Ivan Laptev, Marc Pollefeys, and Cordelia Schmid. Leveraging photo
在稀疏监督的手部-物体重建任务中，随时间保持度量一致性。载于《IEEE/CVF计算机视觉与模式识别会议论文集》，第571–580页，2020年。1, 2, 3
[^26]: Yana Hasson, Gul Varol, Dimitrios Tzionas, Igor Kalevatykh, Michael J Black, Ivan Laptev, and Cordelia Schmid. Learning joint reconstruction of hands and manipulated objects. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 11807–11816, 2019. 2, 3, 1
[^27]: Zeng Huang, Yuanlu Xu, Christoph Lassner, Hao Li, and Tony Tung. Arch: Animatable reconstruction of clothed humans. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 3093–3102, 2020. 3
[^28]: Umar Iqbal, Pavlo Molchanov, Thomas Breuel Juergen Gall, and Jan Kautz. Hand pose estimation via latent 2.5 d heatmap regression. In Proceedings of the European Conference on Computer Vision (ECCV), pages 118–134, 2018. 1, 2
[^29]: Korrawe Karunratanakul, Jinlong Yang, Yan Zhang, Michael Black, Krikamol Muandet, and Siyu Tang. Grasping field: Learning implicit representations for human grasps. arXiv preprint arXiv:2008.04451, 2020. 3, 5, 1, 2
[^30]: Dominik Kulon, Riza Alp Guler, Iasonas Kokkinos, Michael M. Bronstein, and Stefanos Zafeiriou. Weakly-supervised mesh-convolutional hand reconstruction in the wild. In The IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), June 2020. 2, 3, 6
[^31]: Shaowei Liu, Hanwen Jiang, Jiarui Xu, Sifei Liu, and Xiaolong Wang. Semi-supervised 3d hand-object poses estimation with interactions in time. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 14687–14697, 2021. 3
[^32]: Shichen Liu, Shunsuke Saito, Weikai Chen, and Hao Li. Learning to infer implicit surfaces without 3d supervision. In Advances in Neural Information Processing Systems, pages 8295–8306, 2019. 3
[^33]: Shaohui Liu, Yinda Zhang, Songyou Peng, Boxin Shi, Marc Pollefeys, and Zhaopeng Cui. Dist: Rendering deep implicit signed distance function with differentiable sphere tracing. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 2019–2028, 2020. 3
[^34]: Matthew Loper, Naureen Mahmood, Javier Romero, Gerard Pons-Moll, and Michael J. Black. SMPL: A skinned multi-person linear model. ACM Trans. Graphics (Proc. SIGGRAPH Asia), 34(6):248:1–248:16, Oct. 2015. 7
[^35]: Lars Mescheder, Michael Oechsle, Michael Niemeyer, Sebastian Nowozin, and Andreas Geiger. Occupancy networks: Learning 3d reconstruction in function space. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 4460–4470, 2019. 3, 5, 6
[^36]: Marko Mihajlovic, Yan Zhang, Michael J Black, and Siyu Tang. Leap: Learning articulated occupancy of people. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 10461–10471, 2021. 2, 3
### [^37]: Ben Mildenhall, Pratul P Srinivasan, Matthew Tancik, Jonathan T Barron, Ravi Ramamoorthi, and Ren Ng. Nerf: Representing scenes as neural radiance fields for view syn-
---
学位论文。载于《欧洲计算机视觉会议论文集》，第405–421页。施普林格出版社，2020年。3
[^38]: Gyeongsik Moon and Kyoung Mu Lee. I2l-meshnet: Image-to-pixel prediction network for accurate 3d human pose and mesh estimation from a single RGB image. In European Conference on Computer Vision (ECCV), 2020. 3
[^39]: Gyeongsik Moon, Takaaki Shiratori, and Kyoung Mu Lee. Deephandmesh: A weakly-supervised deep encoder-decoder framework for high-fidelity hand mesh modeling. European Conference on Computer Vision (ECCV), 2020. 1,2
[^40]: Gyeongsik Moon, Ju Yong Chang, and Kyoung Mu Lee. V2v-posenet: Voxel-to-voxel prediction network for accurate 3d hand and human pose estimation from a single depth map. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 5079–5088, 2018. 1, 2
[^41]: Gyeongsik Moon, Shoou-I Yu, He Wen, Takaaki Shiratori, and Kyoung Mu Lee. Interhand2.6m: A dataset and baseline for 3d interacting hand pose estimation from a single rgb image. In European Conference on Computer Vision (ECCV), 2020. 1, 2, 7
[^42]: Arsalan Mousavian, Clemens Eppner, and Dieter Fox. 6-dof graspnet: Variational grasp generation for object manipulation. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 2901–2910, 2019. 3
[^43]: Franziska Mueller, Florian Bernard, Oleksandr Sotnychenko, Dushyant Mehta, Srinath Sridhar, Dan Casas, and Christian Theobalt. Generated hands for real-time 3d hand tracking from monocular rgb. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 49–59, 2018. 2
[^44]: Franziska Mueller, Micah Davis, Florian Bernard, Oleksandr Sotnychenko, Mickeal Verschoor, Miguel A. Otaduy, Dan Casas, and Christian Theobalt. Real-time Pose and Shape Reconstruction of Two Interacting Hands With a Single Depth Camera. ACM Transactions on Graphics (TOG), 38(4), 2019. 2
[^45]: Michael Niemeyer, Lars Mescheder, Michael Oechsle, and Andreas Geiger. Differentiable volumetric rendering: Learning implicit 3d representations without 3d supervision. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 3504–3515, 2020. 3
[^46]: Paschalis Panteleris, Iason Oikonomidis, and Antonis Argyros. Using a single rgb frame for real time 3d hand pose estimation in the wild. In 2018 IEEE Winter Conference on Applications of Computer Vision (WACV), pages 436–445. IEEE, 2018. 2
[^47]: Jeong Joon Park, Peter Florence, Julian Straub, Richard Newcombe, and Steven Lovegrove. DeepSDF: Learning continuous signed distance functions for shape representation. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 165–174, 2019. 3
[^48]: Songyou Peng, Michael Niemeyer, Lars Mescheder, Marc Pollefeys, and Andreas Geiger. Convolutional occupancy networks. arXiv preprint arXiv:2003.04618, 2020. 3
[^49]: Sergey Prokudin, Christoph Lassner, and Javier Romero. Efficient learning on point clouds with basis point sets. In Proceedings of the IEEE International Conference on Computer Vision Workshops, pages 0–0, 2019. 3, 1
[^50]: Charles Ruizhongtai Qi, Hao Su, Kaichun Mo, and Leonidas J. Guibas. Pointnet: Deep learning on point sets for 3d classification and segmentation. CoRR, abs/1612.00593, 2016. 5, 1
[^51]: Javier Romero, Dimitrios Tzionas, and Michael J. Black. Embodied hands: Modeling and capturing hands and bodies together. ACM Transactions on Graphics, (Proc. SIGGRAPH Asia), 36(6), 2017. 1, 2, 6, 5
[^52]: Shunsuke Saito, Zeng Huang, Ryota Natsume, Shigeo Morishima, Angjoo Kanazawa, and Hao Li. Pifu: Pixel-aligned implicit function for high-resolution clothed human digitization. In Proceedings of the IEEE International Conference on Computer Vision, pages 2304–2314, 2019. 3
[^53]: Shunsuke Saito, Jinlong Yang, Qianli Ma, and Michael J. Black. SCANimate: Weakly supervised learning of skinned clothed avatar networks. In Proceedings IEEE/CVF Conf. on Computer Vision and Pattern Recognition (CVPR), June 2021. 2
[^54]: Tomas Simon, Hanbyul Joo, Iain Matthews, and Yaser Sheikh. Hand keypoint detection in single images using multiview bootstrapping. In Proceedings of the IEEE conference on Computer Vision and Pattern Recognition, pages 1145–1153, 2017. 2
[^56]: Vincent Sitzmann, Michael Zollhöfer, and Gordon Wetzstein. Scene representation networks: Continuous 3d-structure-aware neural scene representations. In Advances in Neural Information Processing Systems, pages 1121–1132, 2019. 3
[^55]: Vincent Sitzmann, Julien Martel, Alexander Bergman, David Lindell, and Gordon Wetzstein. Implicit neural representations with periodic activation functions. Advances in Neural Information Processing Systems, 33, 2020. 3
[^57]: Adrian Spurr, Umar Iqbal, Pavlo Molchanov, Otmar Hilliges, and Jan Kautz. Weakly supervised 3d hand pose estimation via biomechanical constraints. In European Conference on Computer Vision (ECCV), 2020. 2, 3, 4
[^58]: Adrian Spurr, Jie Song, Seonwook Park, and Otmar Hilliges. Cross-modal deep variational hand pose estimation. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 89–98, 2018. 2
[^59]: Omid Taheri, Nima Ghorbani, Michael J. Black, and Dimitrios Tzionas. GRAB: A dataset of whole-body human grasping of objects. In European Conference on Computer Vision (ECCV), 2020. 1, 2, 3, 5, 6, 7, 8
[^60]: Bugra Tekin, Federica Bogo, and Marc Pollefeys. H+o: Unified egocentric recognition of 3d hand-object poses and interactions. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 4511–4520, 2019. 2
[^61]: Chengde Wan, Thomas Probst, Luc Van Gool, and Angela Yao. Dual grid net: Hand mesh vertex regression from single depth maps. In European Conference on Computer Vision, pages 442–459. Springer, 2020. 2
#### [^62]: Jiayi Wang, Franziska Mueller, Florian Bernard, Suzanne Sorli, Oleksandr Sotnychenko, Neng Qian, Miguel A. Otaduy, Dan Casas, and Christian Theobalt. RGB2Hands: Real-Time Tracking of 3D Hand Interactions from Monocular RGB Video. ACM Transactions on Graphics (TOG), 39(6), 12 2020. 2
---
[^63]: Shaofei Wang, Andreas Geiger, and Siyu Tang. Locally aware piecewise transformation fields for 3d human mesh registration. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 7639–7648, 2021. 3
[^64]: Ying Wu, John Lin, and Thomas S Huang. Analyzing and capturing articulated hand motion in image sequences. IEEE transactions on pattern analysis and machine intelligence, 27(12):1910–1922, 2005. 2
[^65]: Lixin Yang, Jiasen Li, Wenqiang Xu, Yiqun Diao, and Cewu Lu. Bihand: Recovering hand mesh with multi-stage bisected hourglass networks. In BMVC, 2020. 2
[^66]: Linlin Yang and Angela Yao. Disentangling latent hands for image synthesis and pose estimation. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 9877–9886, 2019. 2
[^67]: Siwei Zhang, Yan Zhang, Qianli Ma, Michael J Black, and Siyu Tang. Place: Proximity learning of articulation and contact in 3d environments. In 8th international conference on 3D Vision (3DV 2020)(virtual), 2020. 8
[^68]: Xiong Zhang, Qiang Li, Hong Mo, Wenbo Zhang, and Wen Zheng. End-to-end hand mesh recovery from a monocular rgb image. In Proceedings of the IEEE International Conference on Computer Vision, pages 2354–2364, 2019. 2, 3
[^69]: Yan Zhang, Mohamed Hassan, Heiko Neumann, Michael J Black, and Siyu Tang. Generating 3d people in scenes without people. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 6194–6204, 2020. 8
[^70]: Yuxiao Zhou, Marc Habermann, Weipeng Xu, Ikhsanul Habibie, Christian Theobalt, and Feng Xu. Monocular real-time hand shape and motion capture using multi-modal data. In IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), June 2020. 2, 6, 8
##### [^71]: Christian Zimmermann and Thomas Brox. Learning to estimate 3d hand pose from single rgb images. In Proceedings of the IEEE international conference on computer vision, pages 4903–4911, 2017. 1,2
---
#### A 面向关节手部的骨架驱动神经占据表示 __附录__
##### A. 更多实验分析
##### A.1. MANO参数与3D关键点的对比
为了验证HALO手部模型的适用性，我们引入了用于条件性人类抓取生成任务的HALO-VAE模型（见第4节）。我们的模型能够生成抓取给定物体时的手部3D关键点，而基线模型GrabNet [^59] 则生成代表抓取手的MANO参数。如第5.2节所示，所提出的HALO-VAE模型在生成的人类抓取的物理合理性与自然度方面，均显著优于GrabNet。
在此，我们提供关于物体编码方案的更多细节与分析。GrabNet [^59] 使用BPS特征 [^49] 对物体进行编码。具体而言，BPS编码器是一个包含每层间残差连接的4层前馈网络。在我们的试验中，尝试使用了这种BPS编码器而非PointNet编码器。我们使用了GRAB数据集中提供的相同的4096个基点数。其余架构与HALO-VAE保持一致。
然而，由于验证集上的关键点重建损失几乎为零，针对给定物体生成的抓取结果总是相同的，这表明采样得到的高斯分布信息并未被利用。我们推测，在训练过程中，仅凭借物体的BPS就能推断出手部关键点，因为3D关键点与BPS特征之间存在高度相关性。因此，解码器可以完全忽略来自手部编码器的特征，从而为不同样本生成相同的抓取结果。
为了直接比较基于关键点的方法和基于MANO参数的抓取生成框架，我们采用了相同的物体编码方案，即使用PointNet架构 [^50]。具体来说，我们将HALO-VAE（图4）的最后一层从预测手部关键点（63维，包括 $3 \times 21$ 个关键点）改为预测MANO参数（61维，包括3个全局平移参数、3个全局旋转参数、10个形状参数以及45个姿态参数）。两种模型在训练时均未加入穿透损失项。结果如表A.1所示。基于关键点的生成模型所生成的抓取不仅接触效果更好、穿透现象更少，而且多样性也优于基于MANO参数的模型，这充分体现了所提出的HALO-VAE模型的有效性。
| HALO-VAE w/o $\mathcal{L}_{in}$ | Keypoint prediction | MANO parameter prediction |
| Interpenetration volume (cm $^{3}$) $\downarrow$ / Contact ratio (%) $\uparrow$ | | |
| Binoculars | 9.19 / 1.00 | 4.88 / 0.95 |
| Camera | 3.99 / 1.00 | 4.00 / 1.00 |
| Frying pan | 0.25 / 0.85 | 0.21 / 0.50 |
| Mug | 3.38 / 1.00 | 7.22 / 1.00 |
| Toothpaste | 6.25 / 1.00 | 6.94 / 1.00 |
| Wineglass | 1.41 / 0.90 | 3.35 / 1.00 |
| Average | 4.08 / 0.96 | 4.43 / 0.91 |
| Diversity | | |
| Entropy $\uparrow$ | 2.88 | 2.85 |
| Cluster size $\uparrow$ | 2.25 | 1.13 |
Table A.1. Comparison between the HALO models predicting key points and Predicting MANO Parameters. The results from the keypoint based model are the same as those reported in the main paper.
##### A.2. 在其他数据集上与Grasping Field [^29] 及GrabNet [^59] 的比较
在本节中，我们展示了Grasping Field（GF）模型、GrabNet以及HALO-VAE在ObMan [^26] 和HO3D [^24] 测试物体上生成的抓取结果的对比。需要注意的是，HALO-VAE与Grasping Field并不直接具备可比性：因为Grasping Field生成的网格无法保证为有效的人手模型，还需进行MANO拟合；而我们的HALO-VAE可直接生成具有关节结构的隐式手部表面。
尽管如此，我们仍在图A.1和表A.2中分别展示了经过MANO拟合后的GF网格与HALO手部表面的定性与定量对比。由于ObMan数据集中存在干扰穿透评估的人工设计物体，
---
HALO-VAE
GF
Figure A.1. Qualitative comparison between HALO-VAE and Grasping Field [^29] on ObMan test objects. The colors indicate the hand parts based on the child occupancy functions. Our HALO-VAE shows more reasonable grasp and less interpenetration with the object.
例如非流形网格、带有孔洞的表面、内部结构缠绕数错误以及体积为零的网格等，因此我们改用物体的凸包来进行评估。评估过程为：从ObMan数据集中随机选取30个测试物体，为每个物体生成5种抓取方式。总共我们对每种模型生成的150种抓取结果进行了评估。
表A.2和A.3中的结果显示，我们的HALO-VAE模型生成的物理合理性较高的人手抓取结果与Grasping Field [^29] 及GrabNet [^59] 相当，且多样性更佳。
###### B. 可微生物力学规范化层
在本节中，我们详细阐述了将3D关键点转换为骨骼变换矩阵的方法。我们严格遵循Spurr等人 [^57] 中的公式来构建局部坐标系F。此处我们对该方法做一个简要总结；关于F的更多细节，读者可参阅 [^57] 的补充材料。
回想一下，我们的目标是计算出一组矩阵 $B^{-1}$，具体而言，是通过依次执行以下操作来获得：1）对掌面角度进行归一化；2）对手掌骨骼角度进行归一化；3）沿运动链方向，为每根骨骼相对于其父骨骼构建局部坐标系 $F_i$；4）撤销局部坐标系 $F_i$ 中的旋转。
---
| HALO-VAE w/ $\mathcal{L}_{in}$ (ours) | Grasping Field | GrabNet - Corase |
| Interpenetration volume $^{*}$ ( $cm^{3}$) $\downarrow$ | 19.95 | 21.93 | 21.82 |
| Contact ratio $^{*}$ (%) $\uparrow$ | 0.98 | 0.90 | 1.00 |
| Diversity | | | |
| Entropy $\uparrow$ | 2.76 | 2.83 | 2.88 |
| Cluster size $\uparrow$ | 3.34 | 2.87 | 2.68 |
Table A.2. Comparison with Grasping Field [^29] and GrabNet [^59] on randomly chosen ObMan test objects. $^{*}$Due to the non-watertight object meshes, the interpenetration volume and the contact ratio is approximated using the convex hull of the objects.
| HALO-VAE w/ $\mathcal{L}_{{in}}$ (ours) | Grasping Field | GrabNet - Corase |
| Interpenetration volume (cm $^{{3}}$) $\downarrow$ | 25.84 | 93.01 | 24.62 |
| Contact ratio (%) $\uparrow$ | 0.97 | 1.00 | 1.00 |
| Diversity | | | |
| Entropy $\uparrow$ | 2.81 | 2.75 | 2.79 |
| Cluster size $\uparrow$ | 4.87 | 3.44 | 3.23 |
Table A.3. Comparison with Grasping Field [^29] and GrabNet [^59] on HO3D test objects.
5）再还原到全局坐标系。正式表述如下：
$$ {^{c}}{\cal J}_{i}=B_{i}{^{-1}}J_{i}\quad, $$
$$ \mathrm{where}\;B^{-1}=TSF^{\prime}R^{c}FPK $$
这里，$K : \mathbb{R}^{3 \times 21} \mapsto \mathbb{R}^{3 \times 20}$ 是一个函数，它通过将关键点 $J \in \mathbb{R}^{21 \times 3}$ 平移到局部原点并缩放为单位范数，从而将其映射为骨骼向量；P 负责规范化掌骨以及掌面角度；随后 F 将骨骼映射到各自的局部坐标系；$R^c$ 会将每根骨骼旋转，使其屈曲和外展角度与标准姿态保持一致。最后，$F''$ 将每个坐标系映射回全局坐标系；S 则把骨骼恢复为原始长度，而 T 会将骨骼平移到其父骨骼的末端。
接下来，我们将定义所需的符号，并描述构建局部坐标系 $F_i$ 以及 $B^{-1}$ 中各个矩阵的方法。
##### B.1. 符号说明
我们所有符号的定义均基于右手系。若不失一般性的话，同样的过程也可应用于左手，只需将所有关节的 x 轴方向取反即可。我们将处于特定姿态的手部各关节在 3D 全局坐标系下的位置记为 $\boldsymbol{J}$，其中 $j_0$ 表示根关节。骨骼被定义为从父关节指向其子关节的向量 $\tilde{b}_i = j_i - j_{p(i)}$，此处 $p(i)$ 表示运动树中关节 i 的父关节（见图 B.1）。我们将 $b_i$ 定义为 $\tilde{b}_i$ 的标准化骨骼，并称 $\boldsymbol{K}$ 为从关节 $\boldsymbol{J}$ 到标准化骨骼的映射关系。为简便起见，我们将与根关节 $j_0$ 相连的掌骨称为 0 级骨骼（即骨骼 $b_1, \cdots, b_5$）。若某骨骼与其根关节之间相隔 k 个骨骼段，则称其为 k 级骨骼。在图 B.1(b) 中，等级为 0 到 3 的骨骼分别用黑色、蓝色、深紫色和橙色表示。
掌骨旋转。对于处于全局坐标系中的手部骨架，我们用 $\theta_i^p$ 表示掌骨 i 与其相邻掌骨 $i+1$ 之间的夹角；用 $\theta_i^n$ 表示由掌骨 i 和 $n_i$ 所确定的平面 $i+1$ 与由掌骨 $n_{i+1}$ 和 $i+1$ 所确定的平面 $i+2$ 之间的平面角。我们用 c 来表示参考标准手部的属性。
非掌骨旋转。在局部坐标系 $\boldsymbol{F}_i = (x_i, y_i, z_i)$ 中，$(x_i, y_i, z_i)$ 表示该坐标系的方向，对于骨骼 $b_i$，我们在此定义其屈曲角 $\theta_i^f$ 和外展角 $\theta_i^a$。由于每根骨骼 $b_i$ 在局部坐标系 $\boldsymbol{F}_i$ 中的定义方式相同，为简洁起见我们省略下标 i。骨骼 b 的屈曲角 $\theta^f$ 是指 b 在 xz 平面上的投影 $b_{xz}$ 与坐标系 $\boldsymbol{F}$ 中 z 轴之间的夹角。外展角 $\theta^a$ 则定义为骨骼 b 与其投影 $b_{xz}$ 之间的夹角（见图 B.2(b)）。
---
(a) Notations for Joints and Plane Normals
(b) Notations for Bones
Figure B.1. Notations for joints, plane normals and bones for right hand facing up.
(a) Local Coordinate Systems and Rotation Matrices
(b) Rotation Matrix from Angles in Local Coordinate System
Figure B.2. (Same as Fig. 2) Local coordinate systems and rotation matrices defined in the systems. (a) The local coordinate systems $\pmb{F}_{a},\pmb{F}_{b},\pmb{F}_{c}$ are constructed based on the kinematic chain. For brevity, we show the kinematic chain of one finger. (b) The flexion angle $\theta^{f}$ and the abduction angle $\theta^{a}$ that are constructed based on a bone b in the local coordinate system $\pmb{F}$. The bone $b_{xz}$ is a projection of b in the xz plane.
#### B.2. 掌骨规范化（P）
给定经过全局规范化的手部关键点后，我们首先计算变换矩阵 P，用以将掌骨旋转至标准姿态。掌骨变换规范化 P 是掌面角度规范化 $P^p$ 与掌骨角度规范化 $P^a$ 的组合，其中 $P = P^a P^p$。
掌面角度 $(P^p)$。为了改变骨骼角度，我们以中指为轴心，围绕共享骨骼旋转外侧骨骼，直到平面角度等于标准角度 $^c\theta_i^p$，我们分别将其设为 0.8、0.2、0.2、0.2。食指与中指之间的平面 $(n_2)$ 被固定为参考基准。无名指骨骼 $b_4$ 上的旋转也会传递到小指骨骼 $b_5$ 上。
掌骨角度 $(P^a)$。接下来，我们通过旋转平面上相邻的两个骨骼来规范手指的张开程度。具体来说，以中指为参考，分别将 $b_2$ 在平面 $n_2$ 上旋转，$b_1$ 在平面 $n_1$ 上旋转，$b_4$ 在平面 $n_3$ 上旋转，而 $b_5$ 则在平面 $n_4$ 上旋转。施加在 $b_2$ 和 $b_4$ 上的变换也会分别应用于 $b_1$ 和 $b_5$。我们将 $c\theta_1^n$、$c\theta_2^n$、$c\theta_3^n$ 和 $c\theta_4^n$ 的标准角度分别设为 0.4、0.2、0.2、0.2 弧度。
---
##### B.3. 局部坐标系 $(F)$
现在我们为每根骨骼 $\boldsymbol{F}_i$ 定义局部坐标系 $b_i$。注意，由于在我们的表述中 0 级骨骼始终固定，因此刻画手部姿态的骨骼只有第 1 至 3 级骨骼。于是，我们只描述非零层级骨骼的坐标系。对于每根非零层级骨骼 $b_i$ ( $i > 5$)，其坐标系 $\boldsymbol{F}_i$ 由三个归一化向量 $x_i, y_i, z_i$ 定义。为构造第 1 至第 3 级骨骼的坐标系，对于非零层级骨骼，$\boldsymbol{F}_i$ 的 z 轴始终由其父骨骼 $z_i = \text{norm}(b_{p(i)})$ 的归一化骨骼向量定义。随后我们说明如何定义 x 轴。之后，每个局部坐标系被定义为 $y_i$，它可由叉积得到：$y_i = \text{norm}(z_i \times x_i)$。注意，坐标系 $\boldsymbol{F}_i$ 不包含位置分量，因为我们通过减去子关节来获得骨骼向量。因此，所有骨骼都对齐到原点。平移分量将在我们方法的最终步骤中加入。不过，为便于说明，在图中展示每个坐标系 $\boldsymbol{F}_i$ 时，我们仍考虑平移。
1 级骨骼的坐标系。形式上，我们用 $n_{i}$ 表示由相邻的两根 0 级骨骼所张成的平面的法向量，其中
$$ n_{i}=\mathrm{norm}(b_{i+1}\times b_{i}),\mathrm{for}i\in\{1,2,3,4\}. $$
为了更清晰地说明，图 B.1(a) 展示了定义各平面的法向量 $n_i$。利用上述法向量，我们按如下方式定义 $\boldsymbol{F}_i$ 的 1 级坐标系 $i \in \{6, 7, 8, 9, 10\}$ 的 x 轴：
$$ \begin{aligned}x_{6}&=-n_{1}\\x_{7}&=-n_{2}\\x_{8}&=\text{-norm}(n_{2}+n_{3})\\x_{9}&=-\text{norm}(n_{3}+n_{4})\\x_{10}&=-n_{4}\end{aligned} $$
换句话说，对于骨骼 $b_{6}$ 和 $b_{10}$，由于其位于手掌边缘，因此它们的坐标系 $\boldsymbol{F}_{6}$ 和 $\boldsymbol{F}_{10}$ 的 x 轴分别由 $-n_{1}$ 和 $-n_{4}$ 定义。而对于骨骼 $b_{8}$ 和 $b_{9}$，其坐标系的 x 轴则由这些骨骼周围的平均法向量定义。
2级和3级骨骼的坐标系：已知1级骨骼$R_{p(i)}$的旋转角度$b_{p(i)}(6 \leq p(i) \leq 10)$以及对应的坐标系$F_{p(i)}$，我们可以通过沿运动链旋转坐标系$F_i$来构建2级骨骼的坐标系$11 \leq i \leq 15$（$F_{p(i)}$），旋转操作通过$R_p(i)$实现。具体来说，新的坐标系表示为：
$$ \boldsymbol{F}_{i}=\boldsymbol{R}_{p(i)}\boldsymbol{F}_{p(i)}. $$
同理，三级骨骼的坐标系可以通过利用二级骨骼的旋转角度对二级骨骼的坐标系进行旋转而得到。
变换到标准姿态的旋转$(R^c)$：给定一个局部坐标系$\boldsymbol{F}_i = (x_i, y_i, z_i)$，其中$(x_i, y_i, z_i)$为该坐标系的轴，对于某块骨骼$b_i$，我们可以测量出表征该骨骼相对于$\theta_i^f$的屈曲角$\theta_i^a$和外展角$\boldsymbol{F}_i$。图2展示了局部坐标系$\boldsymbol{F}_i$以及旋转角的测量方式。接着，给定处于标准姿态的骨骼$b_i^c$，我们根据在$\boldsymbol{R}_i^c$中相对于标准姿态的角度$b_i$，计算出旋转矩阵$b_i^c$，从而将$(\tilde{\theta}_i^f, \tilde{\theta}_i^a)$变换到其标准姿态$\boldsymbol{F}_i$。
##### B.4. 变换到标准姿态的角度$(\bar{\theta}_{i}^{f}, \bar{\theta}_{i}^{a})$。$(R^{c})$
由于这些角度是在统一的坐标系中测量的，要获得变换到标准姿态所需的角度，只需将$b_{i}$的角度与标准姿态下$b_{i}^{c}$的角度进行偏移即可：
$$ \begin{aligned}\bar{\theta}_{i}^{f}&:=-\theta_{i}^{f}+\theta_{i_{c}}^{f}\\\bar{\theta}_{i}^{a}&:=-\theta_{i}^{a}+\theta_{i_{c}}^{a}\end{aligned} $$
其中$\theta_{i_c}^f$和$\theta_{i_c}^a$分别是标准姿态下相对于$F_i$的屈曲角和外展角。在我们的实验中，采用与MANO模型相同的标准姿态[^51]。
---
#### B.5. 局部坐标系到全局坐标系($F'$)
每个旋转矩阵$R_i^c$都是相对于坐标系$F_i$在局部定义的。对于某块骨骼$G_i$而言，相对于手部根节点的累积旋转$b_i$就是沿运动链的旋转矩阵的乘积：
$$ G_{i}=\begin{cases}G_{p(i)}R_{i}^{c}&if b_{i} is not a root bone\\I(4)&otherwise.\end{cases} $$
其中$G_{p(i)}$是直到$b_i$的父节点为止的旋转矩阵。由于累积旋转矩阵编码了相对于手掌的关节角，我们需要通过乘以$F_i^{-1}$将所有矩阵映射到全局坐标。需注意的是，$F_i$编码了从全局坐标系到局部坐标系的映射关系，因此其逆矩阵就能将角度转换回全局坐标系。我们用矩阵$F'_i$来总结角度的累积以及向全局坐标的映射过程。
$$ \boldsymbol{F}_{i}^{\prime}=\boldsymbol{F}_{i}^{-1}\boldsymbol{G}_{p(i)}. $$
具备所有必要的组件后，我们仅利用3D关键点J就能以可微的方式计算出所有骨骼的变换矩阵$B^{-1}$。在第5.1.2节中我们将展示，用这种公式推导出的矩阵能够还原出与MANO模型中的真实变换矩阵得到的手部表面极为接近的结果。
#### C. 实现细节
##### C.1. HALO
训练损失。用于训练我们的关节手模型的损失函数可表示为：
$$ \mathcal{L}=\mathcal{L}_{o}+\lambda_{s}\mathcal{L}_{s} $$
其中，$\lambda$ 用于确定蒙皮损失的权重。在所有实验中，该值均设为 0.5。当验证集上的 IoU 达到 80% 时，我们会关闭蒙皮损失项，因为我们发现这样能使手部各部位之间的过渡更加平滑。
网络架构。为了与基线模型 [^15] 进行公平比较，在消融研究中我们对每个部件模型采用了相同的网络架构，每层包含 40 个神经元。在 HALO-VAE 中使用的最终模型将神经元数量增加到了 64，因为我们发现这能略微提升表面质量。激活函数采用参数为 0.1 的 LeakyReLU。所有层均设有残差连接，且 dropout 比率设为 0.2。子空间投影层 $\Pi$ 会将大小为 $B \times 3$ 的输入映射为大小为 8 的向量。若使用全局骨骼长度编码器，则它是一个由两层、每层 40 个神经元组成的前馈网络，能将 16 个骨骼长度映射为大小为 16 的编码向量。
我们将部件数量定义为 B = 16，其中一个部件负责手掌，每个手指对应三个部件。当我们使用从公式中得出的 20 个变换矩阵作为姿态描述符时，会忽略根骨骼的变换，并为手掌添加恒等变换，最终得到 16 个变换矩阵。
训练数据。为了训练我们的神经占据手模型，我们采用了 MANO [^51] 手网格。每个网格的查询点通过两种策略选取：1）在根关节位于原点的手网格边界框内均匀采样点；2）在表面上采样并加入各向同性高斯噪声。每种策略下我们均采样 100,000 个点。每个查询点对应的占据值是通过从该点发射射线并统计射线上与网格的交点数量来计算的。在评估时，按照 [^15] 的方法，我们使用均匀采样的点。骨骼变换矩阵是沿运动链计算的，用于将模板手转换为目标姿态。形状描述符 $\beta$ 基于骨骼长度，即相邻关节间的欧几里得距离。蒙皮权重取自 MANO 中用于调整模板网格姿态的蒙皮权重。我们在所有实验中均使用了 Youtube3D（YT3D）手数据集 [^30]。YT3D 训练集包含来自数百名受试者的 50,175 个手网格，这些受试者参与了 102 个视频中的各种任务。测试集则涵盖来自 7 个视频的 1,525 个网格。
训练过程。在所有实验中，我们均采用 Adam 优化器，学习率为 $1e^{-4}$，批量大小设为 64。在每个训练步骤中，针对每个网格，我们从预先采样的 20 万个查询点中选取 2,048 个点来计算占据损失，从 6,000 个表面点中选取 2,000 个点来计算蒙皮损失。若不采用表面点重采样机制，则从 778 个网格顶点中选取 200 个点来计算蒙皮损失。
##### C.2. HALO-VAE
预处理。在训练时，我们使用 GRAB 数据集 [^6] [^59]，并采用默认的训练/测试划分方式。物体被置于原点处，从表面采样 600 个点。关键点是利用 MANO 将表面点投影得到的。
---
网络架构。我们的关键点VAE由物体编码器、关键点编码器和解码器组成。物体编码器是一个包含4层的PointNet编码器，每层之间设有残差连接。手部编码器和解码器均为带有残差连接的4层MLP网络。手部编码器接收手部关键点和物体隐码，进而输出一个32维高斯分布的均值和标准差。解码器则以该高斯分布中的噪声样本以及物体隐向量作为输入，来预测手部关键点的位置。所有层的维度均为256。从关键点生成手部网格时，我们采用最终的HALO模型，该模型包含可微规范层，以3D关键点作为输入。
#### D. 局限性
HALO依赖于符合生物力学原理的3D关键点。如HALO-VAE中所强调的，通过端到端训练HALO并加入角度损失，可以缓解这一问题，从而获得更稳健的表面预测结果。这表明我们模型的归纳偏置有助于生成符合生物力学原理的3D手部表面。不过，严重不符合物理规律的手部骨骼仍可能在手部表面产生伪影。
对噪声关键点的容忍度。我们进一步分析了生物力学违规情况对手部表面重建质量的影响。我们均匀采样振幅为$[-x, +x]$的噪声，并将其添加到有效手部的每个关节的各个维度上。如图D.1所示，当振幅在$2mm$范围内时，HALO能生成合理的手部表面。当x增大到$5mm$时，重建的手部表面开始出现明显的伪影。不过我们再次强调，通过促使估计器或生成器输出符合生物力学规律的骨骼，就能缓解这一问题，正如HALO-VAE中所做的那样。
有效姿态
$\pm1$ 毫米
$\pm2$ 毫米
$\pm3$ 毫米
$\pm4$ 毫米
$\pm5~mm$
Figure D.1. HALO from noisy 3D keypoints.
#### E. 定性结果
##### E.1. 基于关键点的HALO
图E.1展示了由基于关键点的骨骼运动驱动生成的HALO手部表面。
此外，为了进一步证明HALO的泛化能力，我们在图E.2中展示了由未见过的Interhand2.6M [^41]数据集中的真实骨骼驱动生成的HALO表面。
##### E.2. 生成结果
图E.3展示了从HALO-VAE中随机采样得到的抓取结果，这些结果是以GRAB数据集测试集中的物体为条件生成的。
---
Figure E.1. Visualization of the HALO hand surfaces driven by the keypoint-based skeleton articulations. Note that the hand poses (articulated skeletons) are randomly sampled from the test set of Youtube3D.
---
Figure E.2. Visualization of the HALO hand surfaces driven by the keypoint-based skeleton from the unseen Interhand2.6M dataset. The ground truth hand keypoints are given as input to reconstruct the hand surfaces. The RGB images are for visualization purpose only, and the results are not from pose estimation.
---
Figure E.3. Visualization of the grasps randomly sampled from HALO-VAE conditioned on the 6 unseen test objects from the GRAB dataset, 10 grasps per object.