# EasyHOI：释放大模型在野外场景中重建手-物体交互的能力
刘玉萌 $^{1,2}$ 龙晓晓 $^{3,*}$ 杨泽民 $^{2}$ 刘远 $^{3,4}$ 马克·哈伯曼 $^{5}$
克里斯蒂安·特博尔特 $^{5}$ 马月欣 $^{2,*}$ 王文平 $^{6}$
$^{1}$ 香港大学，$^{2}$上海科技大学，
$^{3}$香港科技大学，$^{4}$南洋理工大学，
$^{5}$马克斯·普朗克信息研究所，$^{6}$德克萨斯A&M大学
Figure 1. We leverage large models and prior-guided optimization to reconstruct physically plausible hand-object interactions from single-view in-the-wild images, effectively handling occlusions and diverse hand-object configurations.
## 摘要
我们的工作旨在从单视图图像中重建手-物体交互，这是一项基础但具有病态性的问题。与基于视频、多视图图像或预定义3D模板进行重建的方法不同，单视图重建由于固有的歧义性和遮挡问题面临巨大挑战。手部姿态的多样性以及物体形状和尺寸的广泛性进一步加剧了这些挑战。我们的核心发现是：当前用于分割、修复和3D重建的基础模型能够很好地泛化到野外场景的图像，从而为重建手-物体交互提供强大的视觉和几何先验。
具体而言，针对单张图像，我们首先设计了一套新颖的流程，利用现成的大模型来估计底层的手部姿态和物体形状。接着，基于初步的重建结果，我们采用一种先验引导的优化方案，该方案会对手部姿态进行优化，使其符合3D物理约束以及2D输入图像的内容。我们在多个数据集上开展了实验，结果表明我们的方法始终优于基线方法，能够精准重建各类手-物体交互场景。我们的项目页面链接为：。
---
### 1. 引言
从单张图像中重建手-物体交互（HOI）是计算机视觉与图形学领域的一项重要任务，在行为理解、增强现实、远程操控和机器人抓取等诸多应用中发挥着重要作用。该任务不仅要重建物体和手部的形状，还要恢复满足物理约束的精细手-物体交互细节。
单视图HOI重建极具挑战性，因为单目场景本身具有病态性，且交互过程中存在严重的相互遮挡和自遮挡现象。许多现有研究[^18] [^23] [^60]通常假设物体已知，从而简化了HOI任务。然而，这种3D模板假设过于严苛，导致这些系统无法泛化到未知物体。还有一些研究[^7] [^23] [^24]直接在公开数据集上以端到的方式训练神经网络，实现物体和手部的联合恢复。但由于获取HOI数据的3D标注既困难又昂贵，公开数据集的质量较低且规模有限。高质量HOI数据的缺失已成为推动该领域发展的关键障碍[^5]。总体而言，这些方法的鲁棒性较差，无法泛化到未见过的场景。
近期，大型模型在物体和手部重建方面展现出了令人瞩目的潜力。单视图3D重建模型方面的相关研究[^26] [^33] [^39] [^40] [^61] [^66]已经证明其在有限视觉输入下理解复杂几何结构的能力十分出色。同样，手部姿态估计方面的进展[^46] [^55] [^67]在复杂场景中推断精细手部姿态方面也取得了显著成果。这些并行的发展为解决HOI任务提供了令人鼓舞的前景。
一种看似简单的方法是利用预训练的大型模型分别重建物体和手部，再将它们合并。然而，这种方法存在三个关键局限性：1）坐标系不一致：物体重建方法通常依赖规范坐标系，而手部重建方法往往采用基于摄像机的坐标系，该坐标系与输入视角相匹配。直接合并时，这种不兼容性会导致结果错位。2）估计不准确：物体和手部的重建方法常常存在显著误差，往往造成空间错位，无法反映实际观察到的交互情况。3）遮挡的影响：从单视图中推断被遮挡区域的几何结构和交互关系极具挑战性。无法有效重建这些未被观测到的区域，会导致物理上不合理的结果和不现实的交互估计。
为了实现鲁棒且高质量的双手-物体交互（HOI）估计，我们提出利用多个大型模型的强大先验来重建物体和手部。此外，我们引入了一种新颖的先验引导优化框架，以联合优化这些重建结果，确保得到物理上合理的HOI结果。我们提出的优化框架包含三个关键阶段：1）摄像机系统设置：利用可微渲染技术，在分割先验的指导下，将重建的物体和手部对齐到统一的坐标系中，以确保定位的一致性。2）HOI接触对齐：我们确定物体和手部之间潜在的3D交互区域，应用迭代最近点（ICP）算法来匹配它们的形状。这一步骤可得出初步的、近似的对齐结果，从而捕捉到交互信息。3）手部参数优化：为了提升物理合理性，我们结合多种损失函数对手部参数进行优化，包括分割掩码损失、穿透损失、接触损失以及正则化损失。这种多损失策略能够在有限的视觉观测条件下，优化手部与物体的交互，从而得到逼真且准确的结果。
与以往的工作相比，我们的系统在各类自然图像上表现出强大的泛化能力和鲁棒性，仅需单张图像输入即可生成合理的HOI重建结果。我们开展了大量实验来验证该方法出色的泛化能力和鲁棒性。
### 2. 相关工作
#### 2.1. 双手-物体交互重建
重建手与物体的交互关系是一个极具挑战性的问题，近年来受到了广泛关注。许多重建方法依赖更丰富的输入源，例如视频[^16] [^25] [^27] [^70]和物体模板[4, 5, 9, 12, 18–20, 22, 22, 23, 37, 47, 49, 52, 57, 60, 60, 62, 63, 63, 73]，这限制了它们在现实世界中的应用。为了实现基于单视图的无模型重建，一些方法会对球体网格进行变形[^24]，或者学习物体的隐式形状场[^10] [^11] [^29] [^69] [^72]。然而，这些方法通常在有限的数据集上训练，导致其对与训练数据存在差异的物体效果较差。相比之下，我们的方法利用先进的大规模模型来显著提升泛化能力。
#### 2.2. 单视图三维重建
单视图三维重建一直是计算机视觉与图形学领域长期关注的焦点，它是众多应用的基础步骤。早期的方法[^6] [^14] [^17] [^21] [^30] [^34] [^44] [^51] [^59]利用神经网络通过回归[^34]、检索[^59]或基于NeRF的GAN[^44]从单视图图像中重建三维形状。
---
近期的研究趋势是利用扩散模型，采用诸如Score-Distillation Sampling[^35] [^36] [^48]和多视图扩散[^36] [^39] [^40] [^54]等策略。此外，近期的大型重建模型（LRM）[^26] [^58] [^64] [^65]采用Transformer直接从输入图像重建物体网格。我们的方法也采用了LRM模型，但侧重于人-物交互（HOI）场景下的单视图重建。
#### 2.3. 基于图像的手部姿态估计
基于图像的手部姿态估计旨在从输入图像中恢复手部姿态，包括关键点、参数化形状参数或几何结构。早期的方法[^28] [^41] [^42] [^45]主要专注于估计二维或三维手部关键点。近期针对单视图手部姿态估计的研究受益于人体网格恢复技术的进步，其中MANO参数化手部模型[^50]成为从RGB图像中提取手部姿态和形状参数的强大工具[^2] [^3] [^56] [^74] [^75]。这些方法要么直接回归MANO参数[^2] [^3]，要么优化形状以适配图像[^56] [^74] [^75]。我们的方法同样涉及手部姿态估计，但我们将其置于人-物交互的背景下进行探讨，其中重建的物体会引入额外的约束来优化手部网格。
### 3. 方法论
#### 3.1. 问题阐述
给定一张描述手与物体交互的输入图像I，我们的目标是重建物体的3D形状并确定其相对于手的姿态。这项任务需要优化多个相互关联的组件。首先，我们获取物体网格$\Omega_o$和手部网格$\Omega_h$的初始重建结果。对于手部表示，我们采用MANO参数化模型[^50]，该模型由两个关键部分组成：全局6D姿态$\phi_h \in \mathbb{R}^6$和关节姿态参数$\theta_h \in \mathbb{R}^{45}$。后续的优化过程涉及估计相机参数，包括用于物体与图像对齐的内参矩阵K和外参参数$[R|t]$，同时细化手部参数$(\phi_h, \theta_h)$。
#### 3.2. 流程概述
如图2所示，我们的流程主要包含两个阶段：1）手部与物体的初始重建。我们首先使用LISA [^32]来分割手部与物体的掩码。随后，扩散模型[^71]会移除手部区域并进行修复，接着由SAM [^31]对完整物体进行分割。最后，InstantMesh [^66]负责重建物体网格，而HaMeR [^46]则同时重建手部网格。2）手-物交互优化。由于初始的手部和物体重建是分别进行的，它们可能与输入图像不一致。为了辅助优化……
逐步细化重建结果。
#### 3.3. 手部与物体的初始重建
手-物交互推理。我们首先从输入图像中分割出感兴趣的区域——手及其交互物体，这是后续重建的基础。为了处理可能包含多个物体的图像，我们采用用于分割任务的视觉语言模型LISA [^32]来获取相关手-物交互的语义分割掩码。
虽然LISA在大多数情况下能有效分割手部和物体，但有时会对实际上并未发生交互的视觉上相似的物体生成多余的掩码。为解决这一问题，我们提出了一种轮廓引导的过滤策略，即丢弃那些轮廓与手部不相邻的物体。最终我们获得了交互物体的精确分割掩码，记为$M_o$。更多细节详见补充材料。手部重建方面，我们采用基于Transformer的最新方法HaMeR [^46]，从输入图像中恢复手部姿态。首先，利用ViTPose [^67]估算手部的2D关键点，并基于这些关键点计算边界框，从而从整张输入图像中裁剪出感兴趣区域（ROI）。之后，通过HaMeR根据边界框预测手部参数$(\phi_h, \theta_h)$。
物体重建方面，由于手部造成的遮挡，交互物体在输入图像中往往视觉上不完整，因此只能生成扭曲的物体3D几何结构。为解决这个问题，如图3所示，我们的重建流程首先采用扩散模型[^43] [^71]来移除遮挡部分，恢复物体的完整外观。作为副产品，我们能得到外观完整的修复后物体的分割掩码，记为$\hat{M}_{o}$。
最后，我们应用大型重建模型InstantMesh [^66]来重建物体的完整几何结构，并进行后处理以使生成的网格封闭无缺口。详细解释可参见补充材料。
#### 3.4. 手-物体交互优化
尽管已经获得了手和物体的初始重建结果，但由于它们分别处理且坐标系统不同，会导致不现实的空间关系，比如距离过大或相互穿透。此外，单目图像中的深度和尺度歧义会进一步加剧这些问题。为解决这一问题，我们提出了一种三步优化方案来重建逼真的交互效果。
1) 相机系统设置。通过利用重建后的物体坐标系作为全局参考，然后估计输入图像中定义在物体坐标系下的相机参数，可以简化手部与物体这两个系统的对齐问题。
---
Figure 2. The illustration of our pipeline. We first extract hand and object masks through HOI reasoning for object reconstruction and recovering hand mesh from the input image. With these initial reconstructions, we employ a three-stage prior-guided optimizer to establish a camera system for object, align hand and object by analyzing contact points, and finally refines hand parameters to ensure physical plausibility.
(a) Input
(b) Contours
(c) Inpaint
(d) Segmentation
Figure 3. Illustration of the segmentation process after inpainting. (a) Original input image. (b) Hand and object contours, showing the object split into two disconnected regions due to hand occlusion. (c) Inpainted image with the hand region removed. (d) Object segmentation results, consisting of sampled points and a bounding box, used as prompts to segment the inpainted image.
使用可微渲染器 $\Psi$，我们希望通过最小化渲染得到的物体掩码 $(K, [R|t])$ 与真实掩码 $M_o^r = \Psi(\Omega_o, K, R, t)$（即外观完整的修复后物体的分割掩码）之间的软IoU损失，来求得最优的相机参数 $\hat{M}_o$，如公式(1)所示。
$$ \mathcal{L}_{\mathrm{o b j-m a s k}}=\mathrm{I O U}(M_{o}^{r},\hat{M}_{o})=\frac{M_{o}^{r}\cdot\hat{M}_{o}}{|M_{o}^{r}|+|\hat{M}_{o}|-M_{o}^{r}\cdot\hat{M}_{o}}, $$
其中 $|\cdot|$ 表示掩码中所有元素的总和。
然而，当初始掩码与真实掩码不重叠时，IoU损失会失效，因为其梯度为零。我们通过引入Sinkhorn距离 [^13] 来解决这一问题，它是一种经过正则化的Wasserstein距离，用于衡量将渲染掩码分布转换为匹配真实掩码的最小代价。设 $M_{\alpha}$ 和 $M_{\beta}$ 代表两张归一化的掩码图像，它们被视为定义在有限网格上的离散分布。它们之间的Wasserstein距离定义为：
$$ \begin{aligned}&W(M_{\alpha},M_{\beta})=\\ &\left(\inf_{\gamma\in\Pi(M_{\alpha},M_{\beta})}\sum_{i,j}\sum_{k,l}||(i,j)-(k,l)||^{2}\gamma_{ijkl}\right)^{1/2},\\ \end{aligned} $$
其中 $\gamma_{ijkl}$ 表示从 $(i,j)$ 中的位置 $M_{\alpha}$ 到 $(k,l)$ 中的位置 $M_{\beta}$ 的传输流，$\Pi(M_{\alpha},M_{\beta})$ 表示所有可能的传输流集合。我们采用Sinkhorn-Knopp算法 [^13] 来计算最优传输损失：
$$ \mathcal{L}_{\mathrm{O T}}=W(\frac{M_{o}}{|M_{o}|},\frac{\hat{M_{o}}}{|\hat{M_{o}}|}). $$
将其与IoU损失结合，即可得到最优的相机参数 $\bar{K}$ 和 $[\bar{R}|\bar{t}]$，即便在掩码不重叠的情况下也能确保稳定的对齐效果。
2) HOI 接触对齐。由于我们采用物体的坐标系作为全局参考，物体位于
---
系统原点，使我们能够仅专注于优化手-物交互（HOI）重建的手部参数。在此阶段，我们保留由 HaMeR 估计的关节式手部姿态 $\theta_{h}$，并优化手部全局 6D 位姿 $\phi_{h}$，以使手与物体达到近似接触。该优化在两个步骤之间交替进行：Mask-Constrained Optimization 与 Contact-Based Registration，以迭代改进接触对齐。
(a) 掩码约束下的手部姿态优化。我们首先需要利用手部分割作为监督信息，实现估计的手部形态与输入图像之间的初始2D对齐。可微渲染器 $\Psi$ 会生成手部掩码 $M_h^r = \Psi(\theta_h, \phi_h, \bar{K}, \bar{R}, \bar{t})$。随后，我们计算该渲染掩码 $M_h^r$ 与从输入图像分割得到的真实手部掩码 $M_h$ 之间的软IoU损失。
$$ \mathcal{L}_{\mathrm{h a n d-m a s k}}=\mathrm{I O U}(M_{h}^{r},M_{h})=\frac{M_{h}^{r}\cdot M_{h}}{|M_{h}^{r}|+|M_{h}|-M_{h}^{r}\cdot M_{h}}. $$
手部掩码丢失会导致手部在二维平面上无法与输入图像对齐。然而，可微渲染只能提供平行于图像平面的梯度，而无法提供沿相机视方向的梯度。这一根本性局限使得实现手部与物体之间的精确三维对齐变得十分困难。
(b) 基于ICP的手部-物体配准。为了实现精准的手部-物体对齐，分析二者的接触关系至关重要。相互遮挡提供了天然的接触线索，我们利用这些线索来检测二维接触区域（详细方法见补充材料）。随后通过光线投射将这些二维接触区域转换为三维接触点。如图4所示，由于单目视觉的歧义性，从图像像素发出的光线会产生多个交点。对于物体而言，我们选取每条光线上的最近和最远交点；对于手部，我们仅关注作为功能性抓取区域的掌心侧，利用MANO模板上预先标记的区域排除手背侧。我们首先仅保留掌心的交点，然后选取每条光线上的最近和最远点，从而确定有效的手部接触点。
一旦确定了手部和物体上所有的潜在接触点，我们便应用迭代最近点（ICP）算法来计算最优的手部平移量，使接触点对齐，进而粗略估计出手部的姿态。
3) 手部参数优化。虽然初始的全局姿态优化能提供粗略的对齐效果，但手指的构型仍未适配物体的几何形状。随后我们联合优化手部的全局姿态$\theta_{h}$（6个自由度）和关节参数$\phi_{h}$（45个自由度），以实现物理上合理且无穿透现象的构型。目标函数定义如下：
Figure 4. Converting 2D contact regions to 3D contact points. Rays emitted from contact mask pixels intersect object and hand geometries. Contact point candidates are constrained to the extremal ray intersections: nearest or farthest points relative to the camera for the object, and palmar-side extremal points for the hand.
定义如下：
$$ \mathcal{L}_{\mathrm{h a n d}}=\lambda_{1}\mathcal{L}_{\mathrm{h a n d-m a s k}}+\lambda_{2}\mathcal{L}_{\mathrm{p e n e t r}}+\lambda_{3}\mathcal{L}_{\mathrm{c o n t a c t}}+\lambda_{4}\mathcal{L}_{\mathrm{r e g}}, $$
其中$\mathcal{L}_{\text{hand-mask}}$代表手部掩码的IoU损失，如公式(4)所示；$\mathcal{L}_{\text{penetr}}$是防止手部与物体穿透的穿透损失；$\mathcal{L}_{\text{contact}}$用于引导合理的手部-物体接触关系；$\mathcal{L}_{\text{reg}}$是正则化损失，用于确保关节化的手部姿态与HaMeR的结果保持一致。参数$\lambda_1, \lambda_2, \lambda_3$和$\lambda_4$用于平衡不同的损失项。
穿透损失。我们在这一阶段引入了穿透损失，其定义为物体内部手部顶点到物体边界的平均距离，用以避免两者相交。
$$ \mathcal{L}_{\mathrm{p e n e t r}}=\frac{1}{N}\sum_{v\in\mathcal{H}}\max(0,-d(v)), $$
其中$d(\cdot)$是定义在物体网格周围的有符号距离函数，H表示手部网格，v是手部网格上的任意顶点。
接触损失。为确保抓取时的充分接触与稳定性，我们引入了接触损失。我们采用ObMan$\mathcal{H}_{C}$提出的接触区[^24]，这些区域是抓取过程中手部网格频繁接触的部位。随后我们计算这些区域内采样的外表面点到物体表面的总距离。
$$ \mathcal{L}_{{c o n t a c t}}=\sum_{v\in\mathcal{H}_{C}}\operatorname*{m a x}(0,d(v)). $$
正则化损失。为确保优化后的手部姿态不会偏离初始估计值太远，我们采用了正则化损失。具体而言，我们利用L1损失来比较优化后的姿态与HaMeR系统估计的初始姿态$\theta_h^0$。
$$ \mathcal{L}_{\mathrm{r e g}}=\|\theta_{h}-\theta_{h}^{0}\|_{1}. $$
---
Figure 5. We perform ablation studies by examining the outputs at each processing stage. Starting with reconstruction results from foundational models, we present the progressive improvements through Camera Setup, HOI Contact Alignment, and Hand Parameter Refinement.
这种正则化机制在精度与真实性之间取得了平衡，避免了姿态调整过程中过度偏离HaMeR的预测结果。
### 4. 实验
#### 4.1. 实验设置
我们的方法在配备NVIDIA A40 GPU的Ubuntu服务器上实现。在相机系统设置中，我们采用$10^{-2}$的学习率来优化相机参数，当达到$\mathcal{L}_{\text{obj-mask}} < 0.1$或迭代1000次时停止优化。在人体-物体交互（HOI）接触对齐方面，全局手部参数通过$10^{-2}$的学习率进行优化。手部与物体的配准仅在第100次和第200次迭代时进行，而受掩码约束的手部姿态优化会持续进行，直到$\mathcal{L}_{\text{hand-mask}} < 0.1$或迭代1000次为止。在手参数精细化过程中，我们将全局手部姿态的学习率设为$10^{-4}$，关节姿态的学习率设为$10^{-2}$。公式(5)中的损失权重分别设置为$\lambda_1 = 5$、$\lambda_2 = 10$、$\lambda_3 = 5$和$\lambda_4 = 0.1$。
#### 4.2. 数据集与基线方法
为了评估我们方法的泛化能力，我们将其与IHOI [^69]、AlignSDF [^10]、gSDF [^11]以及MOHO [^72]进行零样本对比。具体而言，我们在三个公开数据集上进行测试：Arctic [^15]、OakInk [^68]和DexYCB [^8]。这些数据集包含带有3D手部-物体姿态及形状标注的视频：Arctic包含11个可活动物体，OakInk涵盖100种多样化的物体，而DexYCB则涉及20种不同的YCB视频物体。为确保图像中的抓取动作有效，我们使用力闭合测试器 [^38] 来筛选出手部与物体未接触的样本，随后从每个数据集中随机选取500张图像进行评估。对于所有数据集而言，IHOI和MOHO均面临未见过的领域；对于AlignSDF和gSDF来说，DexYCB属于其训练数据，因此为保证对比公平性，我们将其排除在这些方法的测试之外。
#### 4.3. 评估指标
为了评估物体重建质量，我们采用倒角距离来衡量预测输出与真实值之间的差异。为降低异常值的影响，我们还报告了5毫米和10毫米阈值下的F分数。在评估手部-物体交互质量时，我们计算手部与物体模型之间的交集体积。此外，我们还会进行模拟实验：固定手部姿态并施加重力，通过测量物体在1000个模拟步长内的下落距离（即模拟位移）来有效评估抓握稳定性。
#### 4.4. 对比结果
定量结果。我们从物体重建精度、抓握质量和手部精度三个方面评估我们方法的性能。为确保对比公平，在评估所有基线方法时，我们均采用HaMeR进行手部姿态检测。如表1所示，我们的方法取得了最小的倒角距离和最高的F分数。这些指标表明该方法能够从单视图图像中准确重建物体。在手部-物体交互质量方面，表1显示我们的方法优于其他竞争方法，在所有数据集上均实现了最小的模拟位移和最小的交集体积。这些结果凸显了我们所建立的手部-物体交互模型的有效性。在表2中，我们报告了手部顶点和关节的重建误差。由于LRM恢复的物体几何形状并非完全精确，因此在这种不完美的物体几何条件下优化物理上合理的HOI结果，难免会对手部精度造成影响。最终，我们的手部结果略逊于HaMER。然而，若有真实的物体几何形状作为参考，我们提出的HOI优化算法便能进一步细化HaMER生成的初始手部结果，这一事实证明了…
---
| Arctic | OakInk | DexYCB | |
| F5 $\uparrow$ | F10 $\uparrow$ | C.D. $\downarrow$ | S.D. $\downarrow$ | I.V. $\downarrow$ | F5 $\uparrow$ | F10 $\uparrow$ | C.D. $\downarrow$ | S.D. $\downarrow$ | I.V. $\downarrow$ | F5 $\uparrow$ | F10 $\uparrow$ | C.D. $\downarrow$ | S.D. $\downarrow$ | I.V. $\downarrow$ |
| IHOI [^69] | 0.083 | 0.164 | 1.375 | 2.79 | 4.94 | 0.097 | 0.152 | 1.742 | 3.14 | 4.66 | 0.084 | 0.143 | 1.897 | 2.59 | 4.93 |
| AlignSDF [^10] | 0.102 | 0.196 | 1.289 | 2.46 | 4.73 | 0.095 | 0.148 | 1.813 | 3.27 | 4.61 | - | - | - | - | - |
| gSDF [^11] | 0.115 | 0.247 | 1.247 | 2.31 | 4.89 | 0.106 | 0.173 | 1.992 | 3.15 | 4.16 | - | - | - | - | - |
| MOHO [^72] | 0.072 | 0.136 | 12.878 | 3.94 | 4.72 | 0.175 | 0.323 | 3.883 | 3.55 | 4.86 | 0.119 | 0.249 | 1.695 | 2.62 | 4.61 |
| Ours | 0.155 | 0.272 | 1.089 | 2.25 | 4.67 | 0.247 | 0.445 | 1.035 | 3.08 | 4.11 | 0.134 | 0.253 | 1.628 | 2.43 | 4.52 |
Table 1. Quantitative evaluation for object quality in HOI reconstruction. Since AlignSDF and gSDF were trained on DexYCB, we exclude their DexYCB results from our zero-shot comparisons. The metrics F5 and F10 measure the F score of points from reconstructed object within 5mm and 10mm of the GT object, respectively. The metric C.D. denotes the Chamfer Distance between reconstructed object and GT object, S.D. denotes Simulation Displacement( $in\ cm$) and I.V. represents Intersection Volume( $in\ cm^{3}$).
Figure 6. This gallery showcases the outcomes of our hand-object reconstruction on three public dataset Arctic, OakInk and DexYCB (more results in the supp.). The first column is the input image, we present the camera view and another view to display the reconstructed HOI meshes.
| Arctic | OakInk |
| MPVPE $\downarrow$ | MPJPE $\downarrow$ | MPVPE $\downarrow$ | MPJPE $\downarrow$ |
| IHOI | 1.36 | 1.57 | 1.36 | 1.32 |
| AlignSDF | 1.38 | 1.36 | 1.25 | 1.26 |
| gSDF | 1.34 | 1.37 | 1.27 | 1.14 |
| MOHO | 1.38 | 1.35 | 1.27 | 1.33 |
| HaMeR | 1.14 | 1.05 | 1.06 | 1.03 |
| Ours (Pred-object) | 1.48 | 1.36 | 1.19 | 1.22 |
| Ours (GT-object) | 1.12 | 0.95 | 0.86 | 0.77 |
Table 2. Hand pose accuracy in HOI reconstruction is evaluated using MPVPE (Mean Per Vertex Position Error) and MPJPE (Mean Per Joint Position Error), both measured in centimeters (cm).
## 我们方法的有效性
定性结果。我们通过与IHOI和MOHO两个基线模型进行视觉对比来评估我们的方法。图6展示了在Arctic、OakInk和DexYCB数据集上的代表性结果，证明了该方法在不同手物交互场景中的有效性。我们的方法能够成功重建存在严重遮挡和复杂手部姿态的棘手场景下的手物交互，凸显了其在真实场景下单视图手物重建任务中的鲁棒性。
补充材料包含了来自基准数据集的更多示例，这些示例展示了该方法在不同场景下的稳定性能。我们还展示了在我们收集的“野外”图像上的测试结果，这些结果体现了该方法在各种真实环境中的鲁棒性。此外，我们提供了关于大规模重建模型选择的定性对比，结果显示将我们的方法与Tripo3D [^61]结合后，能够获得更优的物体重建效果，在手物交互结果的改善上也成效显著。这种成功的融合证明了我们框架的可扩展性，也表明我们的方法能够有效利用大规模重建模型未来的进步来实现更出色的性能。
### 4.5. 消融研究与讨论
为了分析我们所提出方法的各个组成部分，我们进行了一系列消融实验，以量化各元素对方法整体性能的影响。
手物交互优化阶段的消融研究。为了分析手物交互优化方案的三个阶段，我们在Arctic、OakInk和DexYCB数据集上对中间结果进行了定量和定性评估。如图5所示，我们优化流程的每个阶段都比前一阶段带来了逐步提升——
---
| Camera Setup | Arctic | OakInk | DexYCB |
| HOI Contact Alignment | Hand Parameter Refinement | S.D. $\downarrow$ | I.V. $\downarrow$ | S.D. $\downarrow$ | I.V. $\downarrow$ | S.D. $\downarrow$ | I.V. $\downarrow$ | Std |
| Mean | Std | Mean | Std | Mean | Std | Mean | Std | Mean | Std | Mean | Std |
| ✗ | ✗ | ✗ | 5.79 | 6.35 | 0.49 | 1.63 | 5.81 | 5.94 | 0.47 | 1.82 | 6.32 | 6.29 | 0.44 | 1.76 | |
| ✓ | ✗ | ✗ | 5.79 | 6.35 | 0.49 | 1.63 | 5.81 | 5.94 | 0.47 | 1.82 | 6.32 | 6.29 | 0.44 | 1.76 | |
| ✓ | ✓ | ✗ | 2.87 | 2.84 | 8.36 | 9.06 | 3.57 | 3.66 | 10.13 | 11.74 | 2.93 | 2.86 | 9.64 | 9.75 | |
| ✓ | ✓ | ✓ | 2.25 | 2.09 | 4.67 | 4.54 | 3.08 | 2.92 | 4.11 | 4.77 | 2.43 | 2.41 | 4.52 | 4.64 | |
Table 3. Ablation study for the HOI prior-guided optimization scheme.
Figure 7. A visualization of the ablation study on loss terms in hand parameter refinement. Each loss term was individually removed from the total loss function, and hand parameter refinement was performed to observe the resulting effects. The top row shows the input viewpoint, while the bottom row provides an alternative viewpoint to more clearly illustrate the differences.
| S.D. $\downarrow$ | I.V. $\downarrow$ | MPVPE $\downarrow$ | MPJPE $\downarrow$ |
| Mean | Std | Mean | Std |
| Full losses | 3.08 | 2.92 | 4.11 | 4.77 | 1.19 | 1.22 |
| w/o $\mathcal{L}_{hand-mask}$ | 3.21 | 3.69 | 4.28 | 4.69 | 1.73 | 1.68 |
| w/o $\mathcal{L}_{penetr}$ | 2.95 | 3.16 | 9.62 | 10.13 | 1.35 | 1.33 |
| w/o $\mathcal{L}_{reg}$ | 3.24 | 3.73 | 4.47 | 4.82 | 4.57 | 4.41 |
| w/o $\mathcal{L}_{contact}$ | 3.94 | 3.81 | 4.26 | 4.79 | 1.30 | 1.27 |
Table 4. Ablation study of each loss term in hand parameter refinement on OakInk dataset.
1) 相机系统设置：优化前，不精确的相机参数会导致物体和手部位置错位，抓取接触点也会偏离图像中的位置。第一阶段会将渲染出的物体与输入图像对齐，但此时手部仍与图像不一致。2) 手物接触对齐：第二阶段对手部进行优化，以实现精确的图像对齐和合适的接触点，但会产生严重的手物相交现象。3) 手部参数精细化：最后阶段通过消除穿透现象来保障抓取的物理合理性和稳定性，同时保留指尖接触点。表3中的定量结果进一步验证了整个流程能产出最佳结果的结论。
手部参数精细化中损失项的消融研究。为了进一步探究手部参数精细化过程，我们对损失项开展了消融研究，结果如图7和表4所示。定性和定量评估都揭示了每个损失项的重要性。尽管$\mathcal{L}_{hand-mask}$已在先前步骤中被优化，但移除它仍会增加模拟位移，并导致手部形状与输入图像产生偏差。此外，移除$\mathcal{L}_{penetr}$后会出现更多相交现象，这凸显了其在维持物理真实性方面的重要作用。若缺少$\mathcal{L}_{reg}$，我们会看到手指扭曲、模拟位移更大且相交体积更大，这些都会降低抓取的保真度。最后，省略$\mathcal{L}_{contact}$会使指尖距离物体表面更远，同时增加模拟位移，这凸显了其在保持抓取稳定性方面的关键作用。这些发现证实，每个损失项对于实现物理合理且稳定的手物交互都至关重要。
### 5. 结论
在本文中，我们探讨了利用大规模模型从单视角RGB图像中重建手物交互（HOI）的方法。我们首先对手部和物体进行初步重建，随后提出了一种基于先验引导的优化方案，该方案能够在保持输入图像视觉保真度的同时确保物理合理性。我们在公开数据集以及自行采集的数据集上开展的大量实验，验证了该方法的有效性，证明了其出色的泛化能力，也凸显了大规模模型在HOI重建领域的巨大潜力。由于我们的方法严重依赖所采用的大规模模型，一旦这些模型出现失误，就会导致结果不尽如人意。在未来的研究中，我们计划探索如何改进大规模模型以专门满足手物交互任务的独特需求，从而提升方法的效率和鲁棒性。
---
### 6. 致谢
本研究得到了国家自然科学基金（项目编号：62206173）、上海人机交互人工智能前沿科学中心（ShangHAI）以及教育部智能感知与人机协作重点实验室（KLIP-HuMaCo）的支持。作者感谢上海科技大学的蒋奇和杨亚勋在本项目中提供的有益讨论。
## 参考文献
[^1]: Marco Attene. A lightweight approach to repairing digitized polygon meshes. The visual computer, 26:1393–1406, 2010. 2
[^2]: Seungryul Baek, Kwang In Kim, and Tae-Kyun Kim. Pushing the envelope for rgb-based dense 3d hand pose estimation via neural rendering. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 1067–1076, 2019. 3
[^3]: Adnane Boukhayma, Rodrigo de Bem, and Philip HS Torr. 3d hand shape and pose from images in the wild. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 10843–10852, 2019. 3
[^4]: Samarth Brahmbhatt, Chengcheng Tang, Christopher D Twigg, Charles C Kemp, and James Hays. Contactpose: A dataset of grasps with object contact and hand pose. In Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part XIII 16, pages 361–378. Springer, 2020. 2
[^5]: Zhe Cao, Ilija Radosavovic, Angjoo Kanazawa, and Jitendra Malik. Reconstructing hand-object interactions in the wild. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 12417–12426, 2021. 2
[^6]: Eric R Chan, Connor Z Lin, Matthew A Chan, Koki Nagano, Boxiao Pan, Shalini De Mello, Orazio Gallo, Leonidas J Guibas, Jonathan Tremblay, Sameh Khamis, et al. Efficient geometry-aware 3d generative adversarial networks. In CVPR, 2022. 2
[^7]: etc. Chao, Yu-Wei. Dexycb: A benchmark for capturing hand grasping of objects. In Conference on Computer Vision and Pattern Recognition, pages 9044–9053, 2021. 2
[^8]: Yu-Wei Chao, Wei Yang, Yu Xiang, Pavlo Molchanov, Ankur Handa, Jonathan Tremblay, Yashraj S. Narang, Karl Van Wyk, Umar Iqbal, Stan Birchfield, Jan Kautz, and Dieter Fox. DexYCB: A benchmark for capturing hand grasping of objects. In IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2021. 6
[^9]: Yujin Chen, Zhigang Tu, Di Kang, Ruizhi Chen, Linchao Bao, Zhengyou Zhang, and Junsong Yuan. Joint hand-object 3d reconstruction from a single image with cross-branch feature fusion. IEEE Transactions on Image Processing, 30:4008–4021, 2021. 2
[^10]: Zerui Chen, Yana Hasson, Cordelia Schmid, and Ivan Laptev. AlignSDF: Pose-Aligned signed distance fields for hand-object reconstruction. In ECCV, 2022. 2, 6, 7
[^11]: Zerui Chen, Shizhe Chen, Cordelia Schmid, and Ivan Laptev. gSDF: Geometry-Driven signed distance functions for 3D hand-object reconstruction. In CVPR, 2023. 2, 6, 7
[^12]: Enric Corona, Albert Pumarola, Guillem Alenya, Francesc Moreno-Noguer, and Grégory Rogez. Ganhand: Predicting human grasp affordances in multi-object scenes. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 5031–5041, 2020. 2
[^13]: Marco Cuturi. Sinkhorn distances: Lightspeed computation of optimal transport. Advances in neural information processing systems, 26, 2013. 4
[^14]: George Fahim, Khalid Amin, and Sameh Zarif. Single-view 3d reconstruction: A survey of deep learning methods. Computers & Graphics, 94:164–190, 2021. 2
[^15]: Zicong Fan, Omid Taheri, Dimitrios Tzionas, Muhammed Kocabas, Manuel Kaufmann, Michael J. Black, and Otmar Hilliges. ARCTIC: A dataset for dexterous bimanual hand-object manipulation. In Proceedings IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2023. 6
[^16]: Zicong Fan, Maria Parelli, Maria Eleni Kadoglou, Muhammed Kocabas, Xu Chen, Michael J Black, and Otmar Hilliges. HOLD: Category-agnostic 3d reconstruction of interacting hands and objects from video. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 494–504, 2024. 2
[^17]: Kui Fu, Jiansheng Peng, Qiwen He, and Hanxiao Zhang. Single image 3d object reconstruction based on deep learning: A review. Multimedia Tools and Applications, 80:463–498, 2021.
[^18]: Guillermo Garcia-Hernando, Shanxin Yuan, Seungryul Baek, and Tae-Kyun Kim. First-person hand action benchmark with rgb-d videos and 3d hand pose annotations. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 409–419, 2018. 2
[^19]: Georgia Gkioxari, Ross Girshick, Piotr Dollár, and Kaiming He. Detecting and recognizing human-object interactions. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 8359–8367, 2018.
[^20]: Patrick Grady, Chengcheng Tang, Christopher D Twigg, Minh Vo, Samarth Brahmbhatt, and Charles C Kemp. Contactopt: Optimizing contact to improve grasps. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 1471–1481, 2021. 2
[^21]: Jiatao Gu, Lingjie Liu, Peng Wang, and Christian Theobalt. Stylenerf: A style-based 3d-aware generator for high-resolution image synthesis. In ICLR, 2021. 2
[^22]: Henning Hamer, Juergen Gall, Thibaut Weise, and Luc Van Gool. An object-dependent hand pose prior from sparse training data. In 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pages 671–678. IEEE, 2010. 2
## [^23]: Shreyas Hampali, Mahdi Rad, Markus Oberweger, and Vincent Lepetit. Honnotate: A method for 3d annotation of hand and object poses. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 3196–3206, 2020. 2
---
[^24]: Yana Hasson, Gül Varol, Dimitris Tzionas, Igor Kalevatykh, Michael J. Black, Ivan Laptev, and Cordelia Schmid. Learning joint reconstruction of hands and manipulated objects. In CVPR, 2019. 2, 5
[^25]: Yana Hasson, Bugra Tekin, Federica Bogo, Ivan Laptev, Marc Pollefeys, and Cordelia Schmid. Leveraging photometric consistency over time for sparsely supervised hand-object reconstruction. In CVPR, 2020. 2
[^26]: Yicong Hong, Kai Zhang, Jiuxiang Gu, Sai Bi, Yang Zhou, Difan Liu, Feng Liu, Kalyan Sunkavalli, Trung Bui, and Hao Tan. Lrm: Large reconstruction model for single image to 3d. arXiv preprint arXiv:2311.04400, 2023. 2, 3
[^27]: Di Huang, Xiaopeng Ji, Xingyi He, Jiaming Sun, Tong He, Qing Shuai, Wanli Ouyang, and Xiaowei Zhou. Reconstructing hand-held objects from monocular video. In SIGGRAPH Asia Conference Proceedings, 2022. 2
[^28]: Umar Iqbal, Pavlo Molchanov, Thomas Breuel Juergen Gall, and Jan Kautz. Hand pose estimation via latent 2.5 d heatmap regression. In Proceedings of the European conference on computer vision (ECCV), pages 118–134, 2018. 3
[^29]: Korrawe Karunratanakul, Jinlong Yang, Yan Zhang, Michael J Black, Krikamol Muandet, and Siyu Tang. Grasping field: Learning implicit representations for human grasps. In 2020 International Conference on 3D Vision (3DV), pages 333–344. IEEE, 2020. 2
[^30]: Hiroharu Kato and Tatsuya Harada. Learning view priors for single-view 3d reconstruction. In CVPR, 2019. 2
[^31]: Alexander Kirillov, Eric Mintun, Nikhila Ravi, Hanzi Mao, Chloe Rolland, Laura Gustafson, Tete Xiao, Spencer Whitehead, Alexander C Berg, Wan-Yen Lo, et al. Segment anything. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 4015–4026, 2023. 3
[^32]: Xin Lai, Zhuotao Tian, Yukang Chen, Yanwei Li, Yuhui Yuan, Shu Liu, and Jiaya Jia. Lisa: Reasoning segmentation via large language model. arXiv preprint arXiv:2308.00692, 2023. 3
[^33]: Sixu Li, Chaojian Li, Wenbo Zhu, Boyang Yu, Yang Zhao, Cheng Wan, Haoran You, Huihong Shi, and Yingyan Lin. Instant-3d: Instant neural radiance field training towards on-device ar/vr 3d reconstruction. In Proceedings of the 50th Annual International Symposium on Computer Architecture, pages 1–13, 2023. 2
[^34]: Xueting Li, Sifei Liu, Kihwan Kim, Shalini De Mello, Varun Jampani, Ming-Hsuan Yang, and Jan Kautz. Self-supervised single-view 3d reconstruction via semantic consistency. In ECCV, 2020. 2
[^35]: Yixun Liang, Xin Yang, Jiantao Lin, Haodong Li, Xiaogang Xu, and Yingcong Chen. Luciddreamer: Towards high-fidelity text-to-3d generation via interval score matching. arXiv preprint arXiv:2311.11284, 2023. 3
[^36]: Ruoshi Liu, Rundi Wu, Basile Van Hoorick, Pavel Tokmakov, Sergey Zakharov, and Carl Vondrick. Zero-1-to-3: Zero-shot one image to 3d object. In ICCV, 2023. 3
[^37]: Shaowei Liu, Hanwen Jiang, Jiarui Xu, Sifei Liu, and Xiaolong Wang. Semi-supervised 3d hand-object poses estimation with interactions in time. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 14687–14697, 2021. 2
[^38]: Tengyu Liu, Zeyu Liu, Ziyuan Jiao, Yixin Zhu, and Song-Chun Zhu. Synthesizing diverse and physically stable grasps with arbitrary hand structures using differentiable force closure estimator. IEEE Robotics and Automation Letters, 7(1):470–477, 2021. 6
[^39]: Yuan Liu, Cheng Lin, Zijiao Zeng, Xiaoxiao Long, Lingjie Liu, Taku Komura, and Wenping Wang. Syncdreamer: Generating multiview-consistent images from a single-view image. arXiv preprint arXiv:2309.03453, 2023. 2, 3
[^40]: Xiaoxiao Long, Yuan-Chen Guo, Cheng Lin, Yuan Liu, Zhiyang Dou, Lingjie Liu, Yuexin Ma, Song-Hai Zhang, Marc Habermann, Christian Theobalt, et al. Wonder3d: Single image to 3d using cross-domain diffusion. CVPR, 2024. 2, 3
[^41]: Franziska Mueller, Florian Bernard, Oleksandr Sotnychenko, Dushyant Mehta, Srinath Sridhar, Dan Casas, and Christian Theobalt. Generated hands for real-time 3d hand tracking from monocular rgb. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 49–59, 2018. 3
[^42]: Franziska Mueller, Micah Davis, Florian Bernard, Oleksandr Sotnychenko, Mickeal Verschoor, Miguel A Otaduy, Dan Casas, and Christian Theobalt. Real-time pose and shape reconstruction of two interacting hands with a single depth camera. ACM Transactions on Graphics (ToG), 38(4):1–13, 2019. 3
[^43]: Alex Nichol, Prafulla Dhariwal, Aditya Ramesh, Pranav Shyam, Pamela Mishkin, Bob McGrew, Ilya Sutskever, and Mark Chen. Glide: Towards photorealistic image generation and editing with text-guided diffusion models. arXiv preprint arXiv:2112.10741, 2021. 3, 2
[^44]: Michael Niemeyer and Andreas Geiger. Giraffe: Representing scenes as compositional generative neural feature fields. In CVPR, 2021. 2
[^45]: Paschalis Panteleris, Iason Oikonomidis, and Antonis Argyros. Using a single rgb frame for real time 3d hand pose estimation in the wild. In 2018 IEEE Winter Conference on Applications of Computer Vision (WACV), pages 436–445. IEEE, 2018. 3
[^46]: Georgios Pavlakos, Dandan Shan, Ilija Radosavovic, Angjoo Kanazawa, David Fouhey, and Jitendra Malik. Reconstructing hands in 3D with transformers. In CVPR, 2024. 2, 3
[^47]: Tu-Hoa Pham, Nikolaos Kyriazis, Antonis A Argyros, and Abderrahmane Kheddar. Hand-object contact force estimation from markerless visual tracking. IEEE transactions on pattern analysis and machine intelligence, 40(12):2883–2896, 2017. 2
[^48]: Ben Poole, Ajay Jain, Jonathan T Barron, and Ben Mildenhall. Dreamfusion: Text-to-3d using 2d diffusion. arXiv, 2022. 3
[^49]: Javier Romero, Hedvig Kjellström, and Danica Kragic. Hands in action: real-time 3d reconstruction of hands in interaction with objects. In 2010 IEEE International Conference on Robotics and Automation, pages 458–463. IEEE, 2010. 2
### [^50]: Javier Romero, Dimitrios Tzionas, and Michael J Black. Embodied hands: Modeling and capturing hands and bodies together. arXiv preprint arXiv:2201.02610, 2022. 3
---
[^51]: Katja Schwarz, Yiyi Liao, Michael Niemeyer, and Andreas Geiger. Graf: Generative radiance fields for 3d-aware image synthesis. NeurIPS, 2020. 2
[^52]: Dandan Shan, Jiaqi Geng, Michelle Shu, and David Fouhey. Understanding human hands in contact at internet scale. In CVPR, 2020. 2
[^53]: Dandan Shan, Jiaqi Geng, Michelle Shu, and David F Fouhey. Understanding human hands in contact at internet scale. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 9869–9878, 2020. 3
[^54]: Yichun Shi, Peng Wang, Jianglong Ye, Long Mai, Kejie Li, and Xiao Yang. Mvdream: Multi-view diffusion for 3d generation. arXiv, 2023. 3
[^55]: Tomas Simon, Hanbyul Joo, Iain Matthews, and Yaser Sheikh. Hand keypoint detection in single images using multiview bootstrapping. In CVPR, 2017. 2
[^56]: Srinath Sridhar, Franziska Mueller, Antti Oulasvirta, and Christian Theobalt. Fast and robust hand tracking using detection-guided optimization. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 3213–3221, 2015. 3
[^57]: Srinath Sridhar, Franziska Mueller, Michael Zollhöfer, Dan Casas, Antti Oulasvirta, and Christian Theobalt. Real-time joint tracking of a hand manipulating an object from rgb-d input. In Computer Vision–ECCV 2016: 14th European Conference, Amsterdam, The Netherlands, October 11-14, 2016, Proceedings, Part II 14, pages 294–310. Springer, 2016. 2
[^58]: Jiaxiang Tang, Zhaoxi Chen, Xiaokang Chen, Tengfei Wang, Gang Zeng, and Ziwei Liu. Lgm: Large multi-view gaussian model for high-resolution 3d content creation. arXiv preprint arXiv:2402.05054, 2024. 3
[^59]: Maxim Tatarchenko, Stephan R Richter, René Ranftl, Zhuwen Li, Vladlen Koltun, and Thomas Brox. What do single-view 3d reconstruction networks learn? In CVPR, 2019. 2
[^60]: Bugra Tekin, Federica Bogo, and Marc Pollefeys. H+o: Unified egocentric recognition of 3d hand-object poses and interactions. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 4511–4520, 2019. 2
[^61]: Tripo3D. Tripo3d: Generate 3d design powered by ai in one click, within seconds, 2024. 2, 7, 3
[^62]: Dimitrios Tzionas and Juergen Gall. 3d object reconstruction from hand-object interactions. In Proceedings of the IEEE International Conference on Computer Vision, pages 729–737, 2015. 2
[^63]: Dimitrios Tzionas, Luca Ballan, Abhilash Srikantha, Pablo Aponte, Marc Pollefeys, and Juergen Gall. Capturing hands in action using discriminative salient points and physics simulation. International Journal of Computer Vision, 118:172–193, 2016.
[^64]: Peng Wang, Hao Tan, Sai Bi, Yinghao Xu, Fujun Luan, Kalyan Sunkavalli, Wenping Wang, Zexiang Xu, and Kai Zhang. Pf-lrm: Pose-free large reconstruction model for joint pose and shape prediction. arXiv preprint arXiv:2311.12024, 2023. 3
[^65]: Zhengyi Wang, Yikai Wang, Yifei Chen, Chendong Xiang, Shuo Chen, Dajiang Yu, Chongxuan Li, Hang Su, and Jun Zhu. Crm: Single image to 3d textured mesh with convolutional reconstruction model. arXiv preprint arXiv:2403.05034, 2024. 3
[^66]: Jiale Xu, Weihao Cheng, Yiming Gao, Xintao Wang, Shenghua Gao, and Ying Shan. Instantmesh: Efficient 3d mesh generation from a single image with sparse-view large reconstruction models. arXiv preprint arXiv:2404.07191, 2024. 2, 3
[^67]: Yufei Xu, Jing Zhang, Qiming Zhang, and Dacheng Tao. Vitpose: Simple vision transformer baselines for human pose estimation. Advances in Neural Information Processing Systems, 35:38571–38584, 2022. 2, 3
[^68]: Lixin Yang, Kailin Li, Xinyu Zhan, Fei Wu, Anran Xu, Liu Liu, and Cewu Lu. OakInk: A large-scale knowledge repository for understanding hand-object interaction. In IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2022. 6
[^69]: Yufei Ye, Abhinav Gupta, and Shubham Tulsiani. What's in your hands? 3d reconstruction of generic objects in hands. In CVPR, 2022. 2, 6, 7
[^70]: Yufei Ye, Poorvi Hebbar, Abhinav Gupta, and Shubham Tulsiani. Diffusion-guided reconstruction of everyday hand-object interaction clips. In ICCV, 2023. 2
[^71]: Yufei Ye, Xueting Li, Abhinav Gupta, Shalini De Mello, Stan Birchfield, Jiaming Song, Shubham Tulsiani, and Sifei Liu. Affordance diffusion: Synthesizing hand-object interactions. In CVPR, 2023. 3, 2
[^72]: Chenyangguang Zhang, Guanlong Jiao, Yan Di, Gu Wang, Ziqin Huang, Ruida Zhang, Fabian Manhardt, Bowen Fu, Federico Tombari, and Xiangyang Ji. Moho: Learning single-view hand-held object reconstruction with multiview occlusion-aware supervision. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 9992–10002, 2024. 2, 6, 7
[^73]: Jason Y Zhang, Sam Pepose, Hanbyul Joo, Deva Ramanan, Jitendra Malik, and Angjoo Kanazawa. Perceiving 3d human-object spatial arrangements from a single image in the wild. In Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part XII 16, pages 34–51. Springer, 2020. 2
[^74]: Xiong Zhang, Qiang Li, Hong Mo, Wenbo Zhang, and Wen Zheng. End-to-end hand mesh recovery from a monocular rgb image. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 2354–2364, 2019. 3
#### [^75]: Yuxiao Zhou, Marc Habermann, Weipeng Xu, Ikhsanul Habibie, Christian Theobalt, and Feng Xu. Monocular real-time hand shape and motion capture using multi-modal data. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 5346–5355, 2020. 3
---
#### EasyHOI：释放大规模模型的潜力，实现野外场景下的手物交互重建
补充材料
本补充材料提供了关于我们的方法和结果的额外细节，是对主论文的补充。第7节详细介绍了物体的分割与重建过程；第8节阐述了HOI优化流程中的手物接触对齐阶段；最后，第9节展示了进一步的实验与分析结果，证明了我们方法的鲁棒性和多功能性。
#### 7. 手部和物体的初步重建 7.1. 手物交互推理
Figure 8. Given an input image, we use predefined prompts to reason the segmentation of hand and object.
在重建手物交互之前，我们首先需要确定感兴趣的区域，也就是输入图像中物体与手发生交互的区域。这是一项极具挑战性的任务，因为许多野外场景的图像中包含多个物体，但只有其中一个正在被主动交互。
基于视觉语言模型的推理。受近期视觉语言模型在图像理解领域取得成功的启发，我们采用了LISA这一具备上下文感知能力的分割模型，来分析并分割手物交互区域。如图8所示，针对单张输入图像，我们向LISA模型提出两个查询请求，以获取手和物体的分割掩码：1）“请分割出该图像中的所有手”；2）“手正拿着什么？请提供对应的分割掩码。”LISA的视觉语言能力能够生成手及其交互物体的精确分割掩码。
轮廓引导过滤。尽管在大多数情况下LISA模型能够成功推理并分割出手以及它所交互的物体，但我们发现分割掩码中仍存在瑕疵，这些瑕疵会阻碍后续处理流程。
(a)
(b)
(c)
(d)
Figure 9. The figure illustrates the segmentation and contour extraction for hand-object interaction analysis. Image (a) is the input image. Image (b) displays the corresponding contours extracted from the object and the hand masks. Black contours represent the hand, while red contours highlight the target object parts crucial for HOI understanding. Green contours indicate redundant masks identified for removal, as they do not contribute to the hand-object interaction being analyzed. Image (c) and (d) depict the segmented object and the hand masks.
如图9所示，LISA会错误地分割出未与手交互的物体的冗余掩码。这种误差可能是由于这些物体具有相同的文字描述和相似的视觉特征导致的。
为解决上述问题，我们提出了一种轮廓引导的过滤策略。具体而言，我们首先提取手部及所有被分割物体的轮廓。如果某个物体正在与手发生交互，其轮廓应与手的轮廓相邻。基于这一假设，我们会剔除那些轮廓不与手轮廓相邻的物体。通过这种方法，我们便能准确获取手所交互物体的分割掩码。
##### 7.2. 物体重建
接下来我们将详细介绍如何从输入图像中重建物体。首先移除图像中的遮挡部分，然后对完整的物体图像重新进行分割，最后利用该物体图像生成对应的物体网格。
---
Figure 10. We conducted a comparative analysis of reconstruction results between original images and those subjected to inpainting. The top row displays results from the original image, while the bottom row presents results obtained from images after applying the inpainting process.
(a) Input Image
(b) Hand Segmentation
基于Stable Diffusion的图像修复
提示词 = “将手从物体上移除，并恢复物体原本的外观。去除所有的手指。”
(c) Inpainted Image
(d) Segmented Object
Figure 11. Illustration of the inpainting process. Given an input image containing a hand and a corresponding hand mask, a text-guided diffusion model effectively removes the hand from the image and inpaints the masked region.
通过图像修复技术去除物体遮挡。由于与手交互的物体在图像中往往存在部分遮挡，若直接利用原始输入来重建物体的3D几何形状，可能会导致形状扭曲或不完整。为了获得更精确的3D几何结构，我们首先使用扩散模型 [^43] [^71] 来恢复物体在2D图像中的完整外观。
如图11所示，我们采用Stable Diffusion模型进行物体修复，输入图像、手部掩码以及定制的文本提示词。手部掩码用于标识需要修复的区域，而文本提示词则用于指导物体原始外观的重建。凭借Stable Diffusion强大的泛化能力，这种修复方法能够在各种场景下成功合成被遮挡的物体区域，生成逼真的效果。
从修复后的图像中重新分割。利用修复后的图像，我们采用大型重建模型InstantMesh来重建物体的几何结构。由于InstantMesh要求输入图像无背景，因此我们必须先获取修复后物体的分割掩码。为生成该掩码，我们以被遮挡物体的掩码作为依据。如图10所示，由于手将物体分隔开来，被遮挡掩码通常由多个子掩码组成。我们在每个子掩码内随机采样点，并计算出大致覆盖被遮挡掩码的边界框。这些采样点和边界框将作为SAM模型的提示，用于从修复后的图像中提取物体。最后，InstantMesh以完整的物体图像为输入，重建其几何结构。
密封性后处理。在手与物体的交互过程中，相互遮挡是自然现象，且与接触关系密切相关。LRM生成的重建网格有时不具备密封性，这可能会妨碍手部姿态优化的稳定性和准确性。为解决这一问题，我们在必要时会将非密封网格转换为密封网格。对于非密封网格，我们首先从覆盖整个物体的多个视角渲染深度图，随后将这些深度图融合为一个统一的点云，以此消除孤立和遮挡部分。接着，我们采用Poisson重建方法从点云生成网格。最后，利用孔洞填充算法 $^{[1]}$ 确保网格满足密封性要求。
##### 8. 手-物交互优化
HOI接触对齐。我们通过分析输入图像中的两种手-物体重叠情况来识别潜在的接触区域。对于正面接触——即物体被手遮挡的情况，我们计算接触掩码$M_{front} = \hat{M}_o \setminus M_o$，它是修复后的物体掩码$\hat{M}_o$与原始物体掩码$M_o$之间的差值。对于背面接触——即手被物体遮挡的情况，我们推导得出接触掩码$M_{back} = \hat{M}_h \setminus M_h$，它是完整手部掩码$\hat{M}_h$与分割出的手部掩码$M_h$之间的差值。完整手部掩码是通过根据HaMeR估算的姿势和相机参数进行渲染得到的。
根据接触掩码$M_{front}$和$M_{back}$，我们分别通过光线投射技术从接触掩码上的每个像素发射光线，从而获取与手部和物体几何结构相交的3D接触点。正如主论文中图4所示，我们可以发射光线去击中重建后的物体和手部。
---
通过应用光栅化和深度剥离技术，我们可以从3D模型的不同图层中提取多个深度值。在我们的实现中，使用了四个深度图层，实验表明这四个图层足以应对所有测试案例。
对于光线与物体的交点，我们选择$M_{front}$中的最小深度值以及$M_{back}$中的最大深度值，分别对应离相机最近和最远的点。
关于光线与手部的交点，需要注意的是，用于抓握的功能区域仅限于手掌面。手背侧——包括手背和手指部分——并不参与物体操控。作为预处理步骤，我们在MANO模板模型上手动选择并标记出对应手掌面和手背面的面。这种解剖学标注可作为先验知识，帮助我们高效排除位于手背侧的3D点。因此，对于$M_{front}$和$M_{back}$中的每个像素，通过基于面索引过滤光线交点来确定有效的手部接触点，仅保留手掌侧的点，再根据深度值选取最近和最远的交点。
一旦识别出手部和物体上的所有潜在接触点，我们就应用迭代最近点（ICP）算法来计算最优的手部平移量，从而对接触点进行对齐，并对手部姿态给出一个粗略估计。
##### 9. 实验
##### 9.1. 运行时间分析
我们测量了65张图像在每个阶段的处理时间，并计算了平均运行时间。初始重建阶段的平均时间为58.97秒，具体分解如下：HOI推理（11.68秒）、手部重建（5.54秒）、物体修复（15.55秒）以及物体重建（26.20秒）。优化阶段的平均运行时间为57.03秒，包括相机设置（4.41秒）、接触对齐（30.51秒）以及手部精细化处理（22.11秒）。
##### 9.2. 大模型上的消融实验
HOI推理模型的选择。除了视觉语言模型外，我们还研究了用于分割输入图像中手部与物体的手-物体检测器（HODet）$^{[53]}$。为了比较HOI推理性能，我们在Arctic数据集上评估了LISA与HODet的表现。由于HODet仅能预测物体边界框，我们采用SAM根据这些预测结果生成物体分割图。LISA的表现优于HODet，其平均IoU值达到0.74，而HODet仅为0.61。图12中的视觉对比显示，HODet经常误识别物体，还会检测到多余的元素。
Input
HODet
HODet+SAM
LISA
Figure 12. Visualization of the ablation on HOI reasoning large model.
大型重建模型的选择。虽然我们的流程采用了开源模型InstantMesh来进行物体重建，但使用更先进的模型能带来显著提升。为了进行对比，我们采用了最先进的商用模型Tripo3D [^61]。图19展示了两种方法在一系列具有挑战性的自然场景图像上生成的重建网格。这一对比凸显了我们方法的潜力：通过结合多个大规模模型的优势，能够在各种场景下实现高精度的物体重建。
为了评估重建质量的影响，我们在Oakink数据集上，分别用InstantMesh重建结果、Tripo3D重建结果以及真实值（GT）网格来评价优化结果。如下表所示，质量较差的重建结果（表现为更高的倒角距离（C.D.）数值）会导致更差的HOI性能。
| Object quality | HOI results | final hand results |
| F5 $\uparrow$ | F10 $\uparrow$ | C.D. $\downarrow$ | S.D. $\downarrow$ | I.V. $\downarrow$ | MPVPE $\downarrow$ | MPJPE $\downarrow$ |
| GT | 1.00 | 1.00 | 0.00 | 1.92 | 2.44 | 0.86 | 0.77 |
| Tripo3D | 0.280 | 0.503 | 0.842 | 2.76 | 4.05 | 1.15 | 1.21 |
| InstantMesh | 0.247 | 0.445 | 1.035 | 3.08 | 4.11 | 1.19 | 1.22 |
Table 5. The impact of object reconstruction quality on HOI optimization performance.
##### 9.3. 定性比较结果
自然场景图像上的比较结果：如图13所示，我们展示了在自然场景图像上与我们方法、IHOI、AlignSDF、gSDF、MOHO的定性比较结果。我们的方法在精确重建复杂的物体几何形状与细节方面表现优异。
公共数据集上的额外比较结果。在此我们提供在公共数据集上的额外比较结果。
---
输入
IHOI
AlignSDF
gSDF
我们的方法
Figure 13. Qualitative Comparison of IHOI, AlignSDF, gSDF, MOHO, and Our Method on in-the-wild Images
数据集。图16展示了在OakInk数据集上与IHOI、MOHO的比较结果，而图17和图18则分别显示了我们的方法在Arctic和DexYCB数据集上的表现。这些额外的示例证明了我们的方法在不同场景下的出色性能。
##### 9.4. 失败案例分析
大多数失败情况源于初始重建阶段，而非优化阶段。如图14所示，修复模型有时会引入伪影，导致被握持的物体与背景融合，从而增加分割难度。最终，输入给大型重建模型的图像会变得不连贯，且与现实世界中的物体差异显著。我们认为，引入更先进的修复模型并在分割过程中利用手部轮廓，是未来值得探索的方向。
我们还在MOW数据集上对我们的流程进行了评估。该数据集中的图像质量相对较低，经常出现模糊的抓取姿态和运动模糊现象。这些因素给修复和物体重建都带来了巨大挑战。图15展示了在MOW数据集上观察到的典型失败案例。
已分割
Figure 14. Examples of failure Cases in the OakInk dataset. Failures primarily result from artifacts introduced by the inpainting model.
输入
修复后的图像
分割后的图像
Figure 15. Examples of failure cases on the MOW dataset. The last column is the synthesized 6 views from InstantMesh, it shows that motion blur and ambiguous grasping present significant challenges for object reconstruction.
---
Camera View Other View
摄像机视图
其他视图
摄像机视图
其他视图
输入图像
我们的方法
MOHO
Figure 16. This gallery showcases the outcomes of our hand-object reconstruction on the dataset OakInk. The first column is the input image, we present the camera view and another view to display the reconstructed HOI meshes.
---
摄像机视图
其他视图
摄像机视图
其他视图
摄像机视图
其他视图
输入图像
我们的方法
MOHO
IHOI
Figure 17. This gallery showcases the outcomes of our hand-object reconstruction on the dataset Arctic.
摄像机视图
其他视图
摄像机视图
其他视图
摄像机视图
其他视图
输入图像
我们的方法
MOHO
IHOI
Figure 18. This gallery showcases the outcomes of our hand-object reconstruction on the dataset DexYCB.
---
输入
InstantMesh
Tripo3D
图19. 该图库展示了我们在真实场景图像上的手-物体重建结果，我们针对两种LRM模型——InstantMesh和Tripo3D——测试了重建效果。