# G-HOP：用于交互重建与抓取合成的生成式手-物体先验
Figure 1. G-HOP can generate plausible hand-object interactions across a wide variety of objects (top). The learned generative prior can also guide inference for tasks such as reconstructing everyday interaction clips and synthesizing human grasps given object meshes.
## 摘要
我们提出了G-HOP，这是一种基于去噪扩散的手-物体交互生成式先验模型，能够在给定物体类别的条件下，同时建模3D物体与人手。为了学习能够捕捉这种联合分布的3D空间扩散模型，我们通过骨骼距离场来表示人手，从而获得与物体的（潜在）有符号距离场相对齐的表征。实验表明，这种手-物体先验可作为通用引导机制，助力完成从交互视频片段中重建物体以及人类抓取合成等任务。我们认为，我们的模型通过整合涵盖155个类别的7个不同真实世界交互数据集进行训练，是首个能够同时生成人手和物体的方法。
我们的实证评估证明了这种联合先验在基于视频的重建与人类抓取合成任务中的优势，其性能优于当前针对特定任务的基准模型。
### 1. 引言
想象一下你手持瓶子、刀子或剪刀的情景。你不仅能想象出这些物体各异的形状——比如圆柱形的瓶身或扁平的刀身，还能轻易设想出与之交互时手部的不同姿态。尽管这些手-物体交互的形式会因几何形状（比如拿笔和拿平底锅的姿势截然不同）或意图（比如递刀子和使用刀子切割）等因素而存在很大差异，但我们人类在日常生活中总能轻松想象出与日常物品的交互场景。在本研究中，我们的目标是构建一个能够同样生成合理手-物体配置的计算系统。
---
具体而言，我们学习了一种基于去噪扩散的生成模型，该模型能够捕捉交互过程中人手与物体的3D联合分布。给定类别条件描述（比如“一只手握着盘子”），我们的生成模型就能合成合理的物体形状，以及人手的相对配置与关节活动情况（见图1顶部）。我们解决的一个关键问题是：对模型而言，什么样的手-物体交互表征才是合适的？虽然物体形状通常通过空间（有符号）距离场来描述，但人手一般是通过由关节变量控制的参数化网格来建模。我们没有在生成模型中采用这些互不相同的表征方式，而是提出了一种统一的手-物体交互表征，并证明这种方式能够帮助我们学习到同时生成人手和物体的3D扩散模型。
具体来说，我们训练了一个基于去噪扩散的生成模型，该模型能够捕捉三维空间中手部与物体交互时的联合分布。给定一个类别受限的描述，例如“一只手拿着盘子”，我们的生成模型就能合成出合理的物体形状，以及人手的相对构型和关节活动方式（见图1顶部）。我们探讨的一个关键问题是：对于该模型而言，什么样的HOI表征才是合适的？虽然物体形状通常通过空间（有符号）距离场来描述，但人手一般是通过由关节变量控制的参数化网格来建模。我们没有在生成模型中采用这些截然不同的表征方式，而是提出了一种统一的HOI表征，并证明这种方式有助于训练出能够同时生成手部和物体的三维扩散模型。
除了能够合成多种合理的手部和物体形状外，我们的扩散模型还可作为通用先验，辅助那些需要此类表征作为输出结果的任务推理。例如，对于旨在从人类行为中学习的机器人，或是试图协助它们的虚拟助手而言，重建或预测交互能力至关重要。我们选取了两类相关研究较为深入的任务：i) 从日常交互视频中重建三维手-物形状；ii) 针对任意物体网格生成合理的人手抓取姿态。为了将所学习的生成模型用作推理的先验，我们注意到该扩散模型能够计算给定任意手-物配置的（近似）对数似然梯度。我们将其整合到优化框架中，把基于先验似然的引导机制与特定任务的目标（如用于重建的视频投影误差）或约束（如用于合成的已知物体网格）相结合，从而实现推理。
尽管理解手-物交互已成为日益热门的研究领域，但能捕捉此类三维交互的真实世界数据集依然十分稀缺。因此，我们汇总了7个不同类型的真实世界交互数据集，形成了涵盖157个物体类别的交互数据集合，并基于这些数据训练了一个共享模型。据我们所知，我们的工作代表了首个能够同时生成手部和物体的生成模型，且实验表明该模型能够合成跨类别的多样化手-物交互结果。此外，我们还对基于视频的重建和人体抓取合成任务中的先验引导推理进行了实证评估，发现我们所学习的先验不仅能助力完成这两项任务，甚至还能超越针对特定任务设计的最先进方法。
### 2. 相关工作
手-物交互重建。由于存在严重的相互遮挡现象，从图像或视频中重建手-物交互颇具挑战性。早期的几种方法[^3] [^14] [^16] [^45]通过要求使用特定实例的物体模板，将任务简化为6D姿态估计，从而简化了这一难题。一些近期的基于视频的重建方法[^17] [^21] [^49]无需模板即可取得不错的效果，但它们针对的是手持扫描场景，这类场景下可获取丰富的多视角信息，且无法推断未被观测到的区域。另一类无模板方法[^6] [^7] [^18] [^24] [^37] [^51]利用数据驱动的先验从单张图像中重建通用物体，但给定输入视频时这些方法的时序一致性较差。与我们工作最为相关的是DiffHOI[^52]，它结合了多视角信息和通过序列级优化得到的数据驱动先验。我们采用了这一框架，并证明所提出的生成式三维先验不仅能带来更好的重建效果，还能支持其他任务的推理。
抓取合成。抓取合成研究的是如何合理地与物体进行交互。相关研究致力于探索交互的二维表征，即视觉可供性。给定一张二维图像，它们能预测各种形式的交互结果，比如运动轨迹、热图、关键点或合成图像 [^13] [^30] [^35] [^53]。然而，二维表征的交互信息无法直接用于指挥机器人在三维空间中抓取物体。机器人领域有大量研究致力于预测针对不同末端执行器的三维机器人抓取方案 [^1] [^2] [^27] [^33]。与此同时，作为特殊末端执行器的人类抓取行为也受到了广泛关注 [^3] [^12] [^15] [^22] [^24] [^26] [^31]。相关研究中，GF [^24] 和 GraspTTA [^22] 模型会建模给定物体网格时人类手部的条件概率。与这些针对特定任务的方法不同，我们直接利用通用的手部-物体联合生成先验，并证明这能生成更自然的人类抓取动作。
扩散模型作为生成先验。扩散模型 [^20] 属于一类生成模型，在图像生成 [^39] [^40]、三维物体生成 [^23] [^28] [^36]、新视角合成 [^29] [^34]、人体运动 [^25] [^46]、视频生成 [^43] 等多个领域推动了重大进展。扩散模型的一个优势是可以通过分数蒸馏计算对数似然梯度 [^36] [^48]，因此能够作为其他任务的通用生成先验 [^11] [^34] [^42] [^54]。在本研究中，我们利用扩散模型学习三维手部-物体交互的生成先验，并将其应用于HOI重建和抓取合成任务。
### 3. 方法
我们首先尝试建模手部-物体交互的几何结构的联合分布 $p(\mathbf{O}, \mathbf{H}|\mathbf{C})$，其中C代表文本。
---
Figure 2. Method Overview of Generative Hand-Object Prior: Hand-object interactions are represented as interaction grids within the diffusion model. This interaction grid concatenates the (latent) signed distance field for object and skeletal distance field for the hand. Given a noisy interaction grid and a text prompt, our diffusion model predicts a denoised grid. To extract 3D shape of HOI from the interaction grid, we use decoder to decode object latent code and run gradient descent on hand field to extract hand pose parameters.
该分布与物体类别相关。我们使用扩散模型 $\Psi$ 来学习这一生成先验，并提出了用于学习的空间交互网格表征（见第3.1节）。随后，我们将这一学习到的先验应用于指导从单目视频片段中的重建以及人类抓取合成任务（见第3.2节）。对于这两项任务，我们都将推理过程视为测试时的优化过程，即将特定任务的约束/目标与预训练扩散模型产生的分数“蒸馏”相结合。
#### 3.1. 生成式手部-物体先验
在本研究中，我们提出用“交互网格”作为统一的手部-物体交互表征，以便扩散模型能够有效推理三维手部-物体交互。具体而言，交互网格（见图2）是由表示物体的潜在有符号距离值网格 $E(\mathbf{O})$ 和以三维手部姿态为参数的基于“骨骼距离”场的网格 $H(\theta)$ 拼接而成，即 $\mathbf{x} \equiv (E(\mathbf{O}), H(\theta))$。我们在以手部为中心的标准化坐标系中建模交互网格，在该坐标系中手掌始终朝上。这种以手部为中心的坐标系能更有效地捕捉不同物体间共有的交互固有结构，比如抓握把手的动作，无论该物体是水壶还是电钻 [^51]。
潜在物体有符号距离场。我们使用有符号距离场（SDF）网格来捕捉物体细节。由于内存占用会随网格分辨率呈立方级增长，我们借鉴先前的研究工作，采用VQ-VAE [^47] 将高分辨率的SDF网格压缩为低维度的物体潜变量。$\mathbf{z} = E(\mathbf{O}), \mathbf{O} = D(\mathbf{z})$。需要注意的是，在训练自编码器时，物体SDF网格也会被转换到以手部为中心的坐标系下。
参数化手部的骨骼距离场。虽然关于物体的表示方法已达成共识，但互动过程中手部的理想表示方式仍不明确。许多先前的研究通过紧凑的姿态参数空间中的扩散过程来生成手部/人体形状 [^25] [^46]，但我们发现当将该空间与物体潜变量网格联合进行扩散时效果并不理想（详见补充材料），这可能是因为扩散模型难以利用这种异质表示（一维关节运动向量和三维SDF网格）来推断空间交互关系。因此，我们提出用姿态参数化的距离场来表示手部 $H(\boldsymbol{\theta})$。这是一种包含15个通道的三维网格，用于编码到各个关节的距离。$H(\boldsymbol{\theta})[u, v, w]_{i=1:15} \equiv \|\mathbf{X}_{[u,v,w]} - J_i\|_2^2$。借助可微参数化网格模型MANO [^41]，这种骨骼距离场可以在姿态参数空间与反之之间互相转换。具体来说，MANO接收姿态参数并输出关节位置 $J_i(\boldsymbol{\theta})$ 以计算骨骼场。要从骨骼距离场恢复姿态参数 $\boldsymbol{\theta}$，我们对姿态参数执行梯度下降，以最小化诱导场与给定场之间的距离，$\boldsymbol{\theta}^* = \arg \min_{\boldsymbol{\theta}} (H(\boldsymbol{\theta}) - \hat{H}) + w\|\boldsymbol{\theta}\|_2^2$。
去噪扩散模型。训练过程中，扩散模型接收文本嵌入和含噪的三维交互网格 $\mathbf{x}_i$，并被监督以还原干净的网格 $\hat{\mathbf{x}}_0$。
$$ \begin{array}{r}{\mathcal{L}_{\mathrm{D D P M}}[\mathbf{x};\mathbf{C}]=\mathbb{E}_{i,\epsilon\sim\mathcal{N}(\mathbf{0},\mathbf{I})}w_{i}\|\hat{\mathbf{x}}_{0}-\Psi(\mathbf{x}_{i},i,\mathbf{C})\|_{2}^{2}}\end{array} $$
物体距离场的分辨率为 $64^3$，VQ-VAE会将分辨率下采样至 $16^3$，随后再与手部骨骼场拼接。我们将扩散模型实现为带有三个三维卷积块的3D-UNet。文本提示由CLIP [^38] 文本编码器编码，并通过交叉注意力机制传递到每个3D-UNet模块中。
#### 3.2. 基于先验的重建与生成
借助学习到的生成先验，我们将其应用于HOI重建和人体抓取合成任务。这两项任务的推理均通过测试时优化完成，该过程由学习到的先验引导。我们使用分数蒸馏采样（SDS [^36] [^48]）来近似扩散模型中交互网格x的对数概率梯度。具体而言，为了在每个优化步骤中使网格更合理，我们会给当前的交互网格x添加一定量的噪声，然后让扩散模型对其进行去噪。两者之间的差异
---
Figure 3. Reconstructing Interaction Clips: We parameterize HOI scene as object implicit field, hand pose, and their relative transformation (left). The scene parameters are optimized with respect to the SDS loss on extracted interaction grid and reprojection loss (right).
#### 3.2.1 重建交互片段
对于一段描述手部与刚性物体交互的视频片段，我们的目标是重建手部及物体的底层三维形状。我们借鉴DiffHOI [^52] 的方法，通过优化三维场景表示来完成推理，该过程需满足重投影项和数据驱动先验项的约束。他们使用的是仅能指导物体形状推断的二维扩散先验，而我们则用学习到的联合三维生成先验取而代之，结果表明这在基于视频的重建任务中能取得更好的性能。
去噪后的预测结果与当前估计值可作为目标，用以获取对数似然梯度：
$$ \nabla_{\mathbf{x}}\operatorname{l o g}p(\mathbf{x})\approx\nabla_{\mathbf{x}}L_{{S D S}}[\mathbf{x}]=\mathbb{E}_{\epsilon,i}[w_{i}(\mathbf{x}-\hat{\mathbf{x}}_{i})] $$
在接下来的章节中，我们将说明重建和抓取合成如何能够通过实例化特定任务的参数与约束，来利用通用的优化框架。
场景参数与渲染。我们采用了与DiffHOI [^52]类似的表示方式，将交互场景分解为三个部分：i) 由隐式神经网络表示的随时间持久存在的物体有向距离场 $\phi(\cdot)$；ii) 随时间变化的手部姿态参数 $\theta^t$；iii) 它们之间的相对姿态 $\mathbf{T}_{o \to h}^t$。这种场景表示可以通过对体积物体和手部网格的渲染结果进行可微合成，进而生成2D掩码 $\mathbf{I}^t$。
基于先验的重建。与DiffHOI不同，我们的数据驱动型先验位于3D空间而非2D空间。此外，我们的先验还会对手部姿态进行建模，而非仅将其作为条件输入，因此也能提供梯度来指导手部姿态的优化。具体而言，为了对3D表示进行正则化，我们会在以手为中心的坐标系中查询3D体积，以获取每一帧的交互网格，再将该网格输入预训练的扩散模型中，即 $\mathbf{x}^t = (E(\phi(\mathbf{T}_{o\rightarrow h}^{t-1}X_{grid})), H(\boldsymbol{\theta}^t))$，其中 $X_{grid}$ 为所查询体积的坐标。其他损失项与 [^52] 类似：重投影项是在掩码空间中计算的。
Figure 4. Grasp Synthesis: We parameterize human grasps via hand articulation parameters and the relative hand-object transformation (left). These are optimized with respect to SDS loss by converting grasp (and known shape) to interaction grid (right).
$\mathcal{L}_{reproj} = \|\mathbf{I}^t - \hat{\mathbf{I}}^t\|$；其他正则化项包括艾可诺尔损失和时间平滑性约束。
该优化过程的收敛速度比以往的研究更快，这或许是因为3D先验提供了更强的监督作用。具体来说，我们对每个视频片段优化15000次，耗时约一小时（这一速度比DiffHOI [^52]快85%）。
#### 3.2.2 合成合理的人体抓取动作
给定物体网格 $M_o$，我们的目标是为该物体合成人体抓取动作。从形式上讲，这相当于从条件分布 $p(\mathbf{H}|\mathbf{O}, \mathbf{C})$ 中进行采样。虽然我们的扩散模型能够捕捉手部与物体的联合分布，但它无法直接根据物体生成人体抓取动作。相反，我们采用测试时优化的方法来寻找抓取模式，同时约束物体与输入保持一致。我们还提供了一种排序机制，通过衡量扩散模型与抓取合成结果之间的一致性来对生成结果进行排序。
抓取参数。我们通过手部相对于物体的相对姿态 $T_{o\rightarrow h}$ 以及其关节活动度 $\theta$ 来参数化人体抓取动作。我们将手部关节活动度初始化为平均配置，而相对姿态则初始化为随机的方向和平移量。
优化过程。为了利用扩散模型指导抓取合成，我们首先将物体网格转换为SDF网格 $G_o$，随后通过相对姿态 $\mathbf{T}_{o\to h}$ 将其从以物体为中心的坐标系转换到扩散模型坐标系（以手为中心），即 $\mathbf{x} = (E(\mathbf{T}_{o\to h}G_o), H(\boldsymbol{\theta}))$。我们通过最大化公式2中的交互似然度 $\log p(\mathbf{x}(\mathbf{T}_{o\to h},\boldsymbol{\theta}))$，对相对姿态和手部关节活动度进行500次迭代优化。为了弥补转换为低分辨率网格时产生的精度损失，我们用原始网格对预测出的手部形状进行细化，以促进表面接触并避免网格碰撞。我们在补充材料中展示了这一点：蒸馏过程为网格细化提供了良好的初始化，而表面细化进一步提升了接触效果和抓取稳定性。
抓取排序。由于初始化方式和随机蒸馏过程的不同，所提出的抓取合成方法是随机的，因此能够采样出多种不同的抓取方式。此外，机器人操控等诸多应用场景也希望了解每种抓取方式的合理性程度。
---
Figure 5. Dataset Statistics: number of training samples for each category when training our generative prior. Zoom in for better view.
Figure 6. Generations from Generative Hand-Object Prior: Given a text prompt (only showing class label), we visualize two generated interactions from G-HOP. Categories are sorted from most common to least common in training (left to right). Generations are diverse in terms of object shape such as teapots, hand articulation such as mouse, and use intent like hammer.
我们同样提出了一种评估采样得到的抓取方式的机制。我们通过对不同时间步i的SDS损失取平均值，来近似计算似然上界[^19]：
$$ s(\boldsymbol{\theta},\mathbf{T}_{o\rightarrow h})=-\sum_{i=1}^{T}w_{i}\|\mathbf{x}(\boldsymbol{\theta},\mathbf{T}_{o\rightarrow h}))-\hat{\mathbf{x}}_{i}(\boldsymbol{\epsilon})\|_{2}^{2} $$
直观来讲，这一指标衡量了预测结果与扩散模型去噪输出之间的一致性，它反映了当前抓取方式与合理模式之间的差距。我们发现该评分能够在不同样本间给出一致且有意义的排序结果。
### 4. 实验
我们在一系列HOI数据集上训练生成式先验模型。我们首先展示该数据集集合上的数据分布，随后可视化从学习到的生成式先验中采样的样本（第4.1节）。在第4.2节中，我们证明了该学习到的先验对交互片段重建任务具有促进作用。我们的方法在HOI4D数据集上的表现优于其他重建基线模型，我们还展示了自然场景视频的重建结果。在第4.3节中，我们评估了直接应用学习到的先验合成的人类抓取方式。我们在两个数据集上将G-HOP与其他基线模型进行比较，并通过用户研究证实我们合成的人类抓取方式最受青睐。
训练数据。我们的扩散模型是在多个世界数据集的组合上进行训练的，这些数据集包括[^3]、[^5]、[^8]、[^32]、[^44]、[^50]，我们使用其中标注的手部和物体3D网格数据。由于不同数据集中的类别名称并不统一，因此我们手动将同义词或不同表述映射到同一个词上（例如cellphone、iphone → phone；doorknob、door_knob → door knob）。最终我们将362个不同的词归并为155个类别。所有训练数据都被转换为以手为中心的SDF网格，分辨率为$64^3$，各方向跨度均为30厘米。
#### 4.1. 可视化数据驱动的先验
我们在图5中可视化了每个类别的训练样本数量。数据极度不平衡且呈现长尾分布：样本数量最多的类别如杯子，其训练样本超过1万个；而样本数量较少的少样本类别如锅盖，其训练样本不足100个。
在图6中，我们可视化了由学习到的生成式先验生成的手部-物体交互样本。每个类别我们展示了三行样本。从左到右的类别按照训练样本数量从多到少排序。我们发现生成的物体形状各异：例如不同相机显示的镜头长度各不相同；生成的样本在握持方式上也颇具多样性——有些锤子被握在手柄处，有些则被握在锤头处（便于传递）。我们还发现，该模型在少样本类别上也能生成多样且合理的样本（如右侧所示）。
#### 4.2. 交互片段重建
实验设置与评估指标。我们在HOI4D数据集上评估交互重建效果。HOI4D是一个记录人们与不同物体交互的第一人称视角数据集。我们采用与DiffHOI [^52]相同的划分方式，即包含所有便携式刚性物体类别的2个视频片段。测试集中的物体是从训练集中排除的
---
Figure 7. Qualitative Evaluation on HOI4D: We show reconstruction by G-HOP and two other video reconstruction baselines [^21] [^52] in the image frame (left) and from another view with (top right) or without (bottom right) reconstructed hand. Please see our project page for reconstruction videos from all methods.
Figure 8. In-the-Wild Reconstruction: reconstruction on interaction clips from novel datasets [^10] [^16].
训练集。我们从三个方面评估输出结果：物体重建误差、手部重建误差（MPJPE、AUC）以及手-物对齐情况（$CD_h$）。遵循先前的研究工作[^21] [^52]，我们通过缩放迭代最近点算法（ICP）将物体重建结果与真实值对齐，并报告在对齐空间中距离为5毫米、10毫米时的F分数以及倒角距离。为了评估手与物体之间的关系，我们报告以手部为中心的坐标系下物体的倒角距离$CD_h \equiv CD(\mathbf{T}_{o \rightarrow h}^t O, \hat{\mathbf{T}}_{o \rightarrow h}^t \hat{O})$。
基线模型。我们将其与其他三种无需模板、从普通单目交互视频中重建物体的基线模型进行比较。
i) iHOI [^51]是一种单视图3D重建方法，能够学习将图像特征与手部关节映射到手持物体形状。该模型在HOI4D数据集上微调，重建效果按视频帧进行评估。
ii) HHOR [^21]针对输入视频优化手-物场，不依赖任何数据驱动的先验知识。
iii) DiffHOI [^52]与我们的工作最为接近。主要区别在于他们的工作中将手部姿态作为输入，从而建模条件概率$p(\pi(O)|\pi(H),C)$。此外，他们的先验是基于图像的扩散模型，而非3D扩散模型。
iv) G-HOP（Cond）是我们的简化模型，它以手部姿态和文本提示为条件（与DiffHOI类似，但采用3D骨干网络）。其目的是分离出将先验从2D升级为3D对建模的影响，以及从建模联合分布而非条件概率的影响。
Table 1. Comparing HOI reconstruction: object error (F@5mm, F@10mm, CD), hand-object alignment CD $_{h}$, and hand error (MPJPE, AUC) on HOI4D. We compare G-HOP with baselines and also ablate if reconstruction benefits from priors in the 3D space or from joint modeling hand and object.
| Object Error | Align | Hand Error |
| F5 $\uparrow$ | F10 $\uparrow$ | CD $\downarrow$ | CD $_{h}$ $\downarrow$ | MPJPE $\downarrow$ | AUC $\uparrow$ |
| iHOI [^51] | 0.42 | 0.70 | 2.7 | 27.1 | 1.19 | 0.76 |
| HHOR [^21] | 0.31 | 0.55 | 4.7 | 165.4 | - | - |
| DiffHOI [^52] | 0.62 | 0.91 | 0.8 | 48.7 | 1.12 | 0.78 |
| G-HOP | 0.76 | 0.97 | 0.4 | 18.4 | 1.05 | 0.79 |
| G-HOP(Cond) | 0.66 | 0.92 | 0.7 | 19.3 | 1.14 | 0.77 |
该模型基于手部姿态和文本提示进行建模（与DiffHOI类似，但采用三维骨干网络）。其目的在于区分将先验从二维升级为三维所产生的影响，以及从建模条件概率转为建模联合概率所带来的差异。
为了公平比较，用于HOI4D评估的扩散模型仅在HOI4D训练集上训练。其他所有实验则使用在所有数据集上训练的模型。
实验结果。我们在图7中展示了不同方法在图像帧及新视角下的重建结果。HHOR没有利用数据驱动的学习方式，难以处理未观测区域，从新视角可见其输出结果存在退化现象。虽然iHOI能为每一帧重建出更好的形状，但时间一致性较差（详见补充视频），且无法利用多视角线索。相比之下，DiffHOI重建出的结果时间一致性更好且更逼真，但重建出的形状相对粗糙。例如，水壶把手仅仅是圆柱体上的一个凸起，重建结果也无法反映杯子的凹陷结构。相比之下，G-HOP的重建结果能捕捉到更多物体形状的细节。在下方
---
Figure 9. Visualizing Grasp Generations: Given an object mesh (left) from HO3D or 3DW, we sample two grasps from each method.
Figure 10. Contact Map on Hand: We visualize contact probability on hand over all generated samples from G-HOP and GraspTTA [^22] on the HO3D dataset.
一行中，它甚至能捕捉到把手与杯身之间的空隙。这一可视化结果与表1中的定量结果一致。此外，我们还发现手部姿态重建也有所提升，因为G-HOP中的先验也能对手部姿态起到引导作用。
消融实验。与简化的3D条件模型相比（见表1），我们发现将2D先验升级为3D能显著改善物体重建效果，但对手部重建的提升有限。联合建模能得到更好的手部姿态，进而进一步改善物体重建效果。有趣的是，我们还发现，在图像空间中联合建模HOI的变体表现甚至比DiffHOI更差。更多讨论见附录（2D联合先验）。
#### 4.3. 合成合理的抓取动作
设置与评估指标。我们在两个数据集上评估人类抓取合成效果[^16] [^18]。HO3D是一个真实场景中的人机交互数据集，其中的物体源自YCB数据集[^4]，而这些物体也出现在我们的训练数据中。为了测试模型对未见物体的泛化能力，我们还在Hasson等人[^18]所使用的3D Warehouse子集（3DW）上进行了评估。这是一个合成数据集，我们的模型在训练阶段从未接触过。遵循以往的研究[^22] [^24]，我们通过以下指标评估抓取质量：1）手与物体之间的交集程度（平均体积、最大深度和平均深度）；2）物体被放入仿真环境后的位移情况[^9]；3）手部接触区域（比例与面积，其中比例指具有非零接触面积的抓取所占的百分比）。
Table 2. Comparison with Baselines: We compare our synthesised human grasps against GraspTTA [^22] and annotated grasps provided by datasets (GT) on HO3D and 3DW. We report table the intersection between meshes, displacement distance in simulation, and hand contact ratio and area (top). We also report preference percentages from users for pairwise method comparison on HO3D and 3DW (bottom).
| | Intersection | Disp. | Contact |
| | maxD $\downarrow$ | avgD $\downarrow$ | vol $\downarrow$ | avg $\downarrow$ | ratio $\uparrow$ | area $\uparrow$ |
| HO3D | GT | 1.32 | 0.37 | 6.16 | 2.32 | 0.95 | 0.15 |
| GraspTTA | 2.44 | 0.61 | 5.25 | 2.89 | 1.00 | 0.23 |
| G-HOP | 1.84 | 0.31 | 11.46 | 0.95 | 1.00 | 0.23 |
| 3DW | GT $^{*}$ | 0.98 | 0.74 | 1.70 | 1.57 | 1.00 | 0.12 |
| GraspTTA | 0.87 | 0.58 | 5.56 | 1.54 | 1.00 | 0.18 |
| G-HOP | 0.74 | 0.51 | 17.40 | 1.85 | 0.93 | 0.25 |
所有具有非零接触面积的抓取均符合这一标准。接触/仿真位移与交集程度之间存在权衡关系。虽然这些指标能够反映抓取质量，但单凭某一指标无法对抓取合成效果做出定论。因此我们还开展了用户研究：向用户展示从两种方法中随机选取的两组人类抓取样本，让他们选出更偏好的一组。我们分别在HO3D和3DW数据集上从22名和19名用户那里收集了440份和380份有效回答。
基线方法。我们将我们的方法与基线方法GraspTTA[^22]进行比较，该方法是在域内数据（带有标注抓取信息的3DW）上训练的。它用于生成手部和物体上的接触图，随后在测试阶段与手部姿态一同优化以确保一致性。我们还将我们的结果与两个数据集中的真实标注结果进行对比。虽然Grasping Fields[^24]也是一种具有代表性的抓取生成方法，但其评估设置假设物体相对于手部的姿态是已知的，这与我们的设定不同；随机改变这种相对姿态会显著影响它们的性能。我们在补充材料中进一步详细说明了这一点，并报告了在其评估设置下的结果。
---
Figure 11. Grasp Diversity: 10 random grasps of a power drill. Although GraspTTA generates more diverse grasps, some of them are not plausible as they disregard object functions.
与他们的方法不同，他们的方法是相对于手部来定位物体，而这种相对姿态的随机化会显著影响其性能。我们在补充材料中进一步详细阐述了这一点，并报告了在其评估设置下的实验结果。
结果。图9展示了针对同一物体时各方法生成的两组人类抓取样本。两个数据集中的标注抓取（GT）呈现出不同的抓取风格。半自动生成的抓取[^18]有时看起来并不自然，且容易出现“过度抓取”现象，因为它们是为了最大化稳定性而生成的。GraspTTA在同一数据集上训练，也表现出类似的过度抓取行为，而我们的抓取结果则显得更加自然。相比之下，G-HOP能够从不同方向抓取物体，且所有合成的手部都能与物体接触。
抓取多样性。我们在图11中计算了HO3D数据集上每个物体100次生成结果中手部顶点$\sigma$的标准差均值，计算时以物体/手部为中心坐标系。所有方法在物体为中心的坐标系下展现出的多样性相当，但两种方法在手指关节活动的多样性方面仍有提升空间。需要注意的是，仅凭标准差本身并不能作为良好的评价指标，因为多样化的样本可能并不合理，或者忽略了物体的可操作性特征，如图所示。
抓取特征。图10展示了所有生成抓取中手部的总体接触概率分布。GraspTTA的接触区域集中在指尖部位，甚至（不符合常理地）出现在手背的指甲区域。而G-HOP的接触区域则分布在手指和手掌上，这更符合人类使用手部的习惯[^2]。
表2也反映了相同的特征。尽管G-HOP的交叉体积更大，但其平均交叉深度最小，接触面积也最大。在HO3D数据集上，它在抓取稳定性方面表现最佳；在域外3DW物体上的结果也相当不错。用户研究表明，即便与真实值相比，G-HOP在这两组数据集上的表现也优于所有其他方法。
抓取排序。最后，我们证明了所提出的抓取评分能够产生有意义的抓取排序结果。在图12中，我们展示了G-HOP生成的100个抓取方案中排名前2位和倒数第2位的抓取结果，这些结果是通过所提出的评估方法得出的。这种排序符合人类的常识。例如，
Table 3. Ranking Grasps: plausibility on HO3D over all grasps, along with the top and bottom 10% grasps ranked by G-HOP.
| maxD $\downarrow$ | avgD $\downarrow$ | vol $\downarrow$ | disp $\downarrow$ | ratio $\uparrow$ | area $\uparrow$ |
| G-HOP (top 10%) | 1.74 | 0.31 | 10.57 | 0.71 | 1.00 | 0.22 |
| G-HOP (all) | 1.84 | 0.31 | 11.46 | 0.95 | 1.00 | 0.23 |
| G-HOP (bottom 10%) | 1.87 | 0.33 | 13.11 | 1.41 | 1.00 | 0.23 |
Figure 12. Ranking Grasps: We visualize grasps with two highest scores (top) and two lowest scores (bottom) among 100 generated grasps from G-HOP.
电钻通常握在中间；瓶子的窄侧往往朝上放置。物理上不可行的抓取（比如手穿透杯子）排名较低。此外，即便在100个最差抓取中，大多数情况下仍属合理。需要注意的是，展示给用户的抓取方案均为随机选取，以保证比较的公平性。从定量角度看，表3中排名靠前的抓取方案的模拟位移更小、交叉程度更低，这验证了我们的排序方法的有效性。
### 5. 结论
在这项工作中，我们提出了一种根据物体类别生成HOI三维形状的方法。我们的方法是首个能在如此多样的类别中生成HOI的方法。所学到的先验知识G-HOP可作为相关任务的通用先验，比如重建交互片段和人体抓取合成，我们发现它的性能优于当前针对特定任务的基准模型。尽管结果令人鼓舞，但我们也意识到存在一些局限性：当前方法需要以类别信息作为输入，这可能会限制模型的进一步扩展；没有明确的机制来保证接触的发生；由于训练数据有限，该模型的规模仍无法与其他领域的生成模型相媲美。不过，我们相信我们的工作朝着提升手-物体交互的通用理解水平迈出了令人鼓舞的一步。
致谢。作者感谢Hanwen Jiang和Korrawe Karunratanakul对基准方法的澄清。我们也感谢Fu-Jen Chu和Ruihan Gao对手稿的详细反馈。Yufei的博士研究部分得到了Google赠款的资助。
---
## 参考文献
[^1]: Dafni Antotsiou, Guillermo Garcia-Hernando, and TaeKyun Kim. Task-oriented hand motion retargeting for dexterous manipulation imitation. In ECCV Workshops, 2018.2
[^2]: Samarth Brahmbhatt, Ankur Handa, James Hays, and Dieter Fox. Contactgrasp: Functional multi-finger grasp synthesis from contact. In IROS, 2019. 2, 8
[^3]: Samarth Brahmbhatt, Chengcheng Tang, Christopher D Twigg, Charles C Kemp, and James Hays. Contactpose: A dataset of grasps with object contact and hand pose. In ECCV, 2020. 2, 5
[^4]: Berk Calli, Arjun Singh, Aaron Walsman, Siddhartha Srinivasa, Pieter Abbeel, and Aaron M Dollar. The ycb object and model set: Towards common benchmarks for manipulation research. In ICAR, 2015. 7
[^5]: Yu-Wei Chao, Wei Yang, Yu Xiang, Pavlo Molchanov, Ankur Handa, Jonathan Tremblay, Yashraj S. Narang, Karl Van Wyk, Umar Iqbal, Stan Birchfield, Jan Kautz, and Dieter Fox. DexYCB: A benchmark for capturing hand grasping of objects. In CVPR, 2021. 5
[^6]: Zerui Chen, Yana Hasson, Cordelia Schmid, and Ivan Laptev. Alignsdf: Pose-aligned signed distance fields for hand-object reconstruction. In ECCV, 2022. 2
[^7]: Zerui Chen, Shizhe Chen, Cordelia Schmid, and Ivan Laptev. gsdf: Geometry-driven signed distance functions for 3d hand-object reconstruction. In CVPR, 2023. 2
[^8]: Enric Corona, Albert Pumarola, Guillem Alenya, Francesc Moreno-Noguer, and Grégory Rogez. Ganhand: Predicting human grasp affordances in multi-object scenes. In CVPR, 2020. 5
[^9]: Erwin Coumans and Yunfei Bai. Pybullet, a python module for physics simulation for games, robotics and machine learning. , 2016–2021.7
[^10]: Dima Damen, Hazel Doughty, Giovanni Maria Farinella, Sanja Fidler, Antonino Furnari, Evangelos Kazakos, Davide Moltisanti, Jonathan Munro, Toby Perrett, Will Price, and Michael Wray. Scaling egocentric vision: The epic-kitchens dataset. In ECCV, 2018. 6
[^11]: Congyue Deng, Chiyu Max Jiang, C. Qi, Xinchen Yan, Yin Zhou, Leonidas J. Guibas, and Drago Anguelov. Nerdi: Single-view nerf synthesis with language-guided diffusion as general image priors. CVPR, 2023. 2
[^12]: George ElKoura and Karan Singh. Handrix: animating the human hand. In SCA, 2003. 2
[^13]: Kuan Fang, Te-Lin Wu, Daniel Yang, Silvio Savarese, and Joseph J Lim. Demo2vec: Reasoning object affordances from online videos. In CVPR, 2018. 2
[^14]: Guillermo Garcia-Hernando, Shanxin Yuan, Seungryul Baek, and Tae-Kyun Kim. First-person hand action benchmark with rgb-d videos and 3d hand pose annotations. In CVPR, 2018. 2
[^15]: Patrick Grady, Chengcheng Tang, Christopher D. Twigg, Minh Vo, Samarth Brahmbhatt, and Charles C. Kemp. Contactopt: Optimizing contact to improve grasps. CVPR, 2021. 2
[^16]: Shreyas Hampali, Mahdi Rad, Markus Oberweger, and Vincent Lepetit. Honnotate: A method for 3d annotation of hand and object poses. In CVPR, 2020. 2, 6, 7
[^17]: Shreyas Hampali, Tomás Hodan, Luan Tran, Lingni Ma, Cem Keskin, and Vincent Lepetit. In-hand 3d object scanning from an rgb sequence. CVPR, 2023. 2
[^18]: Yana Hasson, Gül Varol, Dimitris Tzionas, Igor Kalevatykh, Michael J. Black, Ivan Laptev, and Cordelia Schmid. Learning joint reconstruction of hands and manipulated objects. In CVPR, 2019. 2, 7, 8
[^19]: Jonathan Ho, Ajay Jain, and P. Abbeel. Denoising diffusion probabilistic models. NeurIPS, 2020. 5
[^20]: Jonathan Ho, Ajay Jain, and Pieter Abbeel. Denoising diffusion probabilistic models. NeurIPS, 2020. 2
[^21]: Di Huang, Xiaopeng Ji, Xingyi He, Jiaming Sun, Tong He, Qing Shuai, Wanli Ouyang, and Xiaowei Zhou. Reconstructing hand-held objects from monocular video. In SIGGRAPH Asia, 2022. 2, 6
[^22]: Hanwen Jiang, Shaowei Liu, Jiashun Wang, and Xiaolong Wang. Hand-object contact consistency reasoning for human grasps generation. In ICCV, 2021. 2, 7
[^23]: Heewoo Jun and Alex Nichol. Shap-e: Generating conditional 3d implicit functions. arXiv, 2023.2
[^24]: Korrawe Karunratanakul, Jinlong Yang, Yan Zhang, Michael J Black, Krikamol Muandet, and Siyu Tang. Grasping field: Learning implicit representations for human grasps. In 3DV, 2020. 2, 7
[^25]: Korrawe Karunratanakul, Konpat Preechakul, Supasorn Suwajanakorn, and Siyu Tang. Guided motion diffusion for controllable human motion synthesis. In ICCV, 2023. 2, 3
[^26]: Jun-Sik Kim and Jung-Min Park. Physics-based hand interaction with virtual objects. In ICRA, 2015. 2
[^27]: Ying Li, Jiaxin L Fu, and Nancy S Pollard. Data-driven grasp synthesis using shape matching and task-based pruning. IEEE Transactions on visualization and computer graphics, 2007. 2
[^28]: Chen-Hsuan Lin, Jun Gao, Luming Tang, Towaki Takikawa, Xiaohui Zeng, Xun Huang, Karsten Kreis, Sanja Fidler, Ming-Yu Liu, and Tsung-Yi Lin. Magic3d: High-resolution text-to-3d content creation. CVPR, 2023. 2
[^29]: Ruoshi Liu, Rundi Wu, Basile Van Hoorick, Pavel Tokmakov, Sergey Zakharov, and Carl Vondrick. Zero-1-to-3: Zero-shot one image to 3d object. CVPR, 2023. 2
[^30]: Shaowei Liu, Subarna Tripathi, Somdeb Majumdar, and Xiaolong Wang. Joint hand motion and interaction hotspots prediction from egocentric videos. In CVPR, 2022. 2
[^31]: Shaowei Liu, Yang Zhou, Jimei Yang, Saurabh Gupta, and Shenlong Wang. Contactgen: Generative contact modeling for grasp generation. In Proceedings of the IEEE/CVF International Conference on Computer Vision, 2023. 2
[^32]: Yunze Liu, Yun Liu, Che Jiang, Kangbo Lyu, Weikang Wan, Hao Shen, Boqiang Liang, Zhoujie Fu, He Wang, and Li Yi. Hoi4d: A 4d egocentric dataset for category-level human-object interaction. In CVPR, 2022. 5
维沙尔·萨蒂什，迈克尔
Inley和Ken Gold-
licies. Sci-
---
[^34]: Luke Melas-Kyriazi, Christian Rupprecht, Iro Laina, and Andrea Vedaldi. Realfusion: $360^{\circ}$ reconstruction of any object from a single image. In CVPR, 2023. 2
[^35]: Tushar Nagarajan, Christoph Feichtenhofer, and Kristen Grauman. Grounded human-object interaction hotspots from video. In ICCV, 2019. 2
[^36]: Ben Poole, Ajay Jain, Jonathan T. Barron, and Ben Mildenhall. Dreamfusion: Text-to-3d using 2d diffusion. ICLR, 2022. 2, 3
[^37]: Aditya Prakash, Matthew Chang, Matthew Jin, and Saurabh Gupta. Learning hand-held object reconstruction from in-the-wild videos. arXiv preprint arXiv:2305.03036, 2023. 2
[^38]: Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, et al. Learning transferable visual models from natural language supervision. In ICML, 2021. 3
[^39]: Aditya Ramesh, Prafulla Dhariwal, Alex Nichol, Casey Chu, and Mark Chen. Hierarchical text-conditional image generation with clip latents. arXiv preprint arXiv:2204.06125, 2022. 2
[^40]: Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, and Björn Ommer. High-resolution image synthesis with latent diffusion models. In CVPR, 2022. 2
[^41]: Javier Romero, Dimitrios Tzionas, and Michael J. Black. Embodied hands: Modeling and capturing hands and bodies together. SIGGRAPH Asia, 2017. 3
[^42]: Nataniel Ruiz, Yuanzhen Li, Varun Jampani, Yael Pritch, Michael Rubinstein, and Kfir Aberman. Dreambooth: Fine tuning text-to-image diffusion models for subject-driven generation. In CVPR, 2023. 2
[^43]: Uriel Singer, Adam Polyak, Thomas Hayes, Xi Yin, Jie An, Songyang Zhang, Qiyuan Hu, Harry Yang, Oron Ashual, Oran Gafni, et al. Make-a-video: Text-to-video generation without text-video data. ICLR, 2023. 2
[^44]: Omid Taheri, Nima Ghorbani, Michael J Black, and Dimitrios Tzionas. Grab: A dataset of whole-body human grasping of objects. In ECCV, 2020. 5
[^45]: Bugra Tekin, Federica Bogo, and Marc Pollefeys. H+o: Unified egocentric recognition of 3d hand-object poses and interactions. In CVPR, 2019. 2
[^46]: Guy Tevet, Sigal Raab, Brian Gordon, Yoni Shafir, Daniel Cohen-or, and Amit Haim Bermano. Human motion diffusion model. In ICLR, 2023. 2, 3
[^47]: Aaron Van Den Oord, Oriol Vinyals, et al. Neural discrete representation learning. NeurIPS, 2017. 3
[^48]: Haochen Wang, Xiaodan Du, Jiahao Li, Raymond A Yeh, and Greg Shakhnarovich. Score jacobian chaining: Lifting pretrained 2d diffusion models for 3d generation. In CVPR, 2023. 2, 3
[^49]: Bowen Wen, Jonathan Tremblay, Valts Blukis, Stephen Tyree, Thomas Müller, Alex Evans, Dieter Fox, Jan Kautz, and Stan Birchfield. Bundlesdf: Neural 6-dof tracking and 3d reconstruction of unknown objects. In CVPR, 2023. 2
[^50]: Lixin Yang, Kailin Li, Xinyu Zhan, Fei Wu, Anran Xu, Liu Liu, and Cewu Lu. OakInk: A large-scale knowledge repository for understanding hand-object interaction. In CVPR, 2022. 5
[^51]: Yufei Ye, Abhinav Gupta, and Shubham Tulsiani. What's in your hands? 3d reconstruction of generic objects in hands. In CVPR, 2022. 2, 3, 6
[^52]: Yufei Ye, Poorvi Hebbar, Abhinav Gupta, and Shubham Tulsiani. Diffusion-guided reconstruction of everyday hand-object interaction clips. In ICCV, 2023. 2, 4, 5, 6
[^53]: Yufei Ye, Xueting Li, Abhinav Gupta, Shalini De Mello, Stan Birchfield, Jiaming Song, Shubham Tulsiani, and Sifei Liu. Affordance diffusion: Synthesizing hand-object interactions. In CVPR, 2023. 2
[^54]: Zhizhuo Zhou and Shubham Tulsiani. Sparsefusion: Distilling view-conditioned diffusion for 3d reconstruction. In CVPR, 2023. 2