# 你手中拿的是什么？手持通用物体的3D重建叶宇飞 $^{12}$ 阿比纳夫·古普塔 $^{12}$ $^{1}$卡内基梅隆大学舒巴姆·图尔西亚尼 $^{1}$ $^{2}$Meta AI ![Image](images/476a81b58f3e836dbd11697137ba1c99015e9d9114e608331211b2304ccc221a.jpg)

Figure 1. Given an RGB image depicting a hand holding an object, we infer the 3D shape of the hand-held object (rendered in the image frame and from a novel view).

## 摘要我们的工作旨在根据单张RGB图像重建手持物体。与以往通常假设已知3D模板并将问题简化为3D姿态估计的研究不同，我们的工作能在不知道3D模板的情况下重建通用的手持物体。我们的核心发现是：手部关节活动能很好地预测物体形状，因此我们提出了一种基于手部关节活动和视觉输入来条件化重建物体的方法。对于包含手持物体的图像，我们首先利用现成的系统估算出手部的姿态，随后在以手为中心的标准化坐标系中推断物体形状。我们用有符号距离对物体进行参数化，该距离由隐式网络推断得出，该网络会利用视觉特征与关节感知坐标的信息来处理查询点。我们在三个数据集上开展了实验，结果表明我们的方法始终优于基线模型，且能够重建多种不同的物体。我们分析了显式关节条件约束的优势与鲁棒性，还发现这种约束能让测试时优化阶段的手部姿态估计效果进一步提升。我们在多个数据集上验证了该方法，结果表明它始终优于基线模型，并且能够重建出多样化的物体。我们分析了显式关节条件设定的优势与鲁棒性，还证明这种设定能使手部姿态估计在测试时优化中进一步提升。 ### 1. 引言人类通过手与周围世界互动。我们不仅将这种互动理解为触摸屏幕、挤压球类、握笔等抽象概念，还能感知其背后的3D形状。握笔意味着笔杆位于掌心之上，被拇指、食指和中指握住；拿碗则是将碗放在向上摊开的掌心之上。我们的目标是构建一个识别系统，能够感知并推理通用物体的手-物交互（HOI）的几何信息。 --- 过去十年间，我们在单独推断手部与物体的3D形状方面取得了显著进展。手部姿态可以通过2D关键点、3D骨架[34, 45–47, 74]的形式恢复，甚至还能通过模板拟合或直接回归得到完整的3D网格 [^2] [^56]。另一方面，近期的研究也致力于将物体重建从单个特定已知物体的6D姿态估计 [^51]，拓展到更通用的物体，比如同一类别内的不同实例 [^23] [^35] [^39]，甚至是开发用于跨类别重建的联合模型 [^11] [^22]。但在可操控物体的手-物交互（HOI）理解领域，进展却十分有限 [^14] [^58]。在现实环境中重建人手所握物体极具挑战性且属于不适定问题，原因在于数据匮乏以及存在相互遮挡和自遮挡现象。目前的研究[^4] [^17] [^30] [^41] [^62]通常专注于重建少数已知物体（已给出其3D模型），这会将重建任务简化为6D姿态估计问题。我们认为，在推理阶段将物体的3D模板作为先验知识是一种强假设，会阻碍这些系统重建未知物体。此外，由于这些模板是刚性的且针对特定实例，它们难以处理现实环境中的各种物体形状。相比之下，我们的研究无需物体模板即可进行手-物重建，重点是从图像中为新型物体重建手-物交互（HOI）。我们的核心发现是：手部动作是由物体的局部几何形状驱动的。因此，手部动作能为所交互的物体提供重要线索。手指蜷缩成拳状往往意味着中间有细长的把手，而张开的手掌则更可能与平面相互作用。我们并未将手部遮挡视为需要忽略的噪声，而是明确将手部姿态视为其所交互物体的有效线索。我们通过根据手部动作和输入图像来条件化预测物体形状，来实现这一思路。我们并非同时估计手部姿态和物体形状，而是利用手部姿态重建领域的最新成果先估计手部姿态。在得到推断出的带关节的手部模型以及输入图像后，我们的方法便能在以手部为中心的标准化坐标系中重建物体。我们在包括合成数据集和真实世界基准测试集在内的三个数据集上评估了该方法，并将我们的结果与以往那些独立于手部姿态来推断未知物体形状的显式和隐式HOI重建方法进行了比较。我们的基于手部动作条件化的物体形状预测方法始终能大幅超越以往的研究成果，能够重建各种不同形状的物体。我们还分析了我们的模型从感知手部动作的坐标系中获益的情况。最后，我们证明通过促进预测出的手部与物体之间的交互，还能进一步改进初始的手部姿态估计结果。 ### 2. 相关工作手部姿态估计。从RGB（-D）图像中估计手部姿态的方法大致可分为无模型和基于模型两类。无模型方法[10,34,45–47,52,53,74]通常先检测2D关键点，再将其映射到3D关节位置或手部骨骼。部分研究[^10] [^18] [^49]随后会通过由粗到精的生成方式，直接从3D骨骼预测3D网格顶点。基于模型的方法[^2] [^56] [^59] [^72] [^73]则利用MANO[^55]等统计模型，其低维的姿态和形状参数可直接被回归[^2] [^56]或优化[^59] [^72] [^73]。这类基于模型的方法通常对遮挡、域差异等问题具有较强鲁棒性，我们的研究也以此为基础。具体而言，我们使用最先进的基于模型的重建系统[^56]来首先估计手部姿态，并据此预测手持物体的形状。虽然我们的研究主要侧重于利用现成的手部姿态估计结果来推断物体形状，但我们也证明了：对预测的3D物体与推断出的手部姿态之间的几何交互进行联合推理，有助于改进初始的手部姿态估计结果。单视图物体重建。从图像中重建物体是一个由来已久的问题，可追溯到Larry Roberts的开创性论文[^51]，当时3D模型已经为人所知，该问题便简化为6自由度姿态估计。在随后的几十年里，多项研究致力于从图像中重建更通用的物体[^1] [^26] [^33] [^38]。近期基于学习的方法能够针对各类物体学习用于3D预测的类别专属网络[^6] [^12] [^36]，甚至无需直接的3D监督即可实现这一功能[^23] [^35] [^39] [^69]。借助更强的3D监督，其他方法表明可以跨多个类别学习通用模型，其输出表示形式包括体素[^11] [^20] [^68]、网格[^22] [^25] [^67]、点云[^16] [^40]或基本几何形状[^15] [^19] [^63]。与我们研究更为接近的是神经隐式表示[^9] [^43] [^48]，它们在针对不同拓扑结构的精确重建方面展现出卓越能力；我们的工作将其扩展为具备关节条件约束的功能，以推断手持物体的3D结构。尽管物体重建领域取得了显著进展，但现有最先进的方法通常假设图像中的物体是孤立且未被遮挡的——因此无法直接用于重建手持物体。即便是那些对遮挡具有鲁棒性的方法，也仅将遮挡视为需要被边缘化的噪声背景，而非反映物体形状的信号来源。相比之下，我们的研究表明，明确考虑手部姿态有助于更准确地推断物体的3D结构。手持物体的重建。由于存在相互遮挡现象，三维场景下的人体-物体交互理解是一项极具挑战性的问题…… --- ![Image](images/9efa24577578bebbead83c62f2f182db3c6afc2f03580cd22cdc46f6016f4301.jpg)

Figure 2. Given an image of a hand-held object, we first use an off-the-shelf system to estimate hand articulation $\theta_A$ and the camera pose $\pi_w$. With the predicted articulated hand along with the image, the object shape is reconstructed by an implicit network. For each query point $\mathbf{x}$ in canonical hand wrist frame, it is transformed to image space $\mathbf{x}_p$ to get visual feature $\phi = g(\mathbf{x}_p, I)$. In parallel, we also encode its articulation-aware representation $\psi = h(\mathbf{x}; \theta)$. Then we use an implicit decoder to predict signed distance value $s = f(\mathbf{x}, \phi, \psi)$.

由于数据匮乏且缺乏标注，为了使推理过程可行，以往的研究通常简化地假设能够获取已知的特定实例模板（通常包含约10个物体）[^17] [^27] [^27] [^28] [^54] [^60] [^62] [^64] [^65]，并在实验室可控环境下对这些已知物体进行推断。借助这些特定实例模板，他们将物体重建问题简化为6D姿态估计，并通过分析物体与手之间的交互来共同预测手和物体的姿态。这种联合推理可以是隐式的特征融合[^8] [^21] [^41] [^58] [^62]，也可以显式利用接触或碰撞等几何约束[^3] [^4] [^13] [^24] [^27] [^71]，或是确保物理真实性[^50] [^64]。相比之下，我们专注于在不知道对应模板的情况下推断手持物体的形状。Hasson等人[^31]的研究与我们的目标一致，他们预测显式的属数为0的网格；Karunratanakul等人[^37]则预测用于重建手和物体的联合隐式场。虽然这些方法也执行无模型重建，但与我们的方法不同，它们以前馈方式独立推断物体形状和手部姿态。而我们则将物体重建表述为给定手部关节状态下的3D形状的条件推断，并在归一化的手腕坐标系中进行预测，实验表明这能显著提升性能。 ### 3. 方法给定一张显示手握住物体的图像，我们的目标是重建该物体 underlying 的3D形状。我们的核心见解是：手部关节状态能够预测其内部物体的形状，例如，手指捏合在一起时，它们之间会呈现细长的棒状结构。我们通过将物体形状的推断明确依赖于（预测出的）手部关节状态来落实这一直觉。如图2所示，我们首先使用现成的系统来估计手部关节状态，并预测将规范化的关节手部投影到图像坐标的相机变换参数。在得到预测出的手部形态以及输入图像后，我们通过基于关节状态条件的重建网络来推断物体形状。该网络被实现为逐点隐式函数[^48]，它可将查询的3D点映射到该物体表面的有符号距离，而该函数的零水平集即可提取为物体表面[^42]。我们的隐式重建网络并非在图像坐标系下预测这一3D形状，而是在围绕手腕的归一化坐标系中推断它。这使得网络能够学习到不受全局变换影响、手部关节状态与物体形状之间的关系。更正式地说，对于输入图像I，我们首先推断其背后的手部姿态$\theta$以及相机姿态$\pi$。接着，对于标准化腕部坐标系中的任意点$\mathbf{x}$，物体推断模型会将该查询点与图像一同作为输入，进而预测其有符号距离函数s。具体而言，该点在图像坐标上的投影会被用来获取对应的视觉特征$\phi = g(\pi(\mathbf{x}); I)$。同时，我们还会编码该点相对于各关节的位置信息，以提取出能反映关节活动情况的表征$\psi = h(\mathbf{x}; \theta)$。随后，逐点的视觉特征与关节活动表征会被送入隐式解码器，从而预测查询点$s = f(\phi, \psi)$处的有符号距离值$\mathbf{x}$。 #### 3.1. preliminaries：手部重建我们使用现成的系统[^56]，根据输入图像来估计手部关节活动情况以及对应的相机姿态。 --- 这种重建方法基于模型，可直接回归出45维的关节活动参数($\theta_A$)以及6维的全局旋转和平移参数($\theta_w$)，同时还能得到弱透视相机参数。我们利用预测的关节活动姿态$\theta_A$对参数化的MANO模型进行绑定，从而在以腕部为中心的规范坐标系中生成关节活动手部的网格模型。为了将腕部坐标系中的点映射到图像空间，我们首先通过预测的全局变换对手部进行变换，再借助相机矩阵将其投影。作为实现细节，我们会将预测的弱透视相机转换为全透视相机，因为这样有助于应对较大的透视效应。简而言之，我们将规范腕部坐标系中的查询点投影到图像上的过程为： $$ \mathbf{x}_{p}=\pi_{\theta_{w}}(\mathbf{x})=KT_{\theta_{w}}\mathbf{x} $$ 其中K为相机内参，$T_{\theta_w}$为手部的全局刚体变换。 #### 3.2. 基于关节活动条件的SDF 给定预测得到的手部关节活动情况$\theta_{A}$和相机矩阵$\pi_{\theta_{w}}$，我们的基于关节活动条件的物体形状推断网络会以额外的输入图像I为条件，输出物体的有符号距离场。对于腕部坐标系中的查询点，逐点网络会综合考虑来自视觉编码器的查询点对应视觉特征，以及来自关节活动感知位置编码器的、该点相对于各关节的位置信息。随后，视觉特征与编码后的表征会与查询点一同被送入隐式解码器，以预测有符号距离。视觉编码器。视觉编码器首先提取不同分辨率下的图像特征金字塔。对于腕部坐标系中的某个3D查询点，视觉编码器会将其投影到图像坐标上，并从金字塔中计算出全局特征与局部特征。全局特征能帮助我们理解整体上下文，从而生成更连贯的物体形状。例如，识别出物体是瓶子后，网络就能生成圆柱形的形状。局部特征则能让预测结果更符合视觉观测结果[^57] [^70]。视觉编码器的核心部分采用ResNet实现[^32]。全局特征是经过平均处理的conv5特征的线性组合。每个点的局部特征则是根据预测相机参数$\phi[\pi_{\theta_w}(\mathbf{x})]$所确定的图像坐标处进行插值得到的特征，其中$\phi$表示重置后的特征，而$\phi[x]$代表在二维位置x处的双线性采样特征。这种局部特征采样机制应用于特征金字塔的每一层$\phi_{1,\ldots,5}[x]$，从而使模型能够提取不同分辨率和感受野的视觉线索。关节位置嵌入器。我们的核心思路是：手部姿态能够反映其所交互物体的形状。这一信息极具参考价值，可补充视觉线索，用于重建那些常被遮挡的手持物体。我们通过关节嵌入器为查询点显式编码手部姿态信息。一种简单的方法是直接使用恒等映射$\psi = \theta_A$；但如消融实验所示，这种表示方式对手部姿态预测误差的鲁棒性较差。此外，要让网络将重建度量空间与手部关节空间关联起来也并非易事。例如，若一个点到食指和拇指的距离均小于2毫米，那么该处很可能有物体穿过。为了更好地捕捉问题的结构特征，我们依据查询点相对于关节的位置来编码手部姿态信息。更具体地说，关节嵌入器以关节参数$\theta_A$以及腕部坐标系下的点位置X作为输入，输出与关节相关的编码$\psi = h(X; \theta_A)$。该编码是各关节相对坐标的拼接结果。给定关节参数$\theta_A$后，我们运行正运动学计算，得到将腕部坐标系中的点映射到各关节坐标的变换$T(\theta_A) : \mathbb{R}^3 \to \mathbb{R}^{45}$。这15个关节坐标会经过位置编码[^66]处理，再拼接在一起形成最终表示$h(\mathbf{x}; \theta_A) = \gamma(T(\theta_A)\mathbf{x})$，其中$\gamma$即为位置编码器。更多细节请参阅附录。隐式解码器。解码器将带有视觉特征和关节嵌入信息的查询点映射为一个有符号距离值$f(\mathbf{x}, \phi, \psi) = s$。这两种表示$\phi, \psi$会被拼接起来，再与查询点一同输入解码器。解码器的设计借鉴了DeepSDF的思路[^48]，由8层MLP构成，中间设有一个跳跃连接层。 #### 3.3. 训练为了学习基于关节条件约束的神经隐式场，我们依赖一个训练数据集，该数据集假定手部姿态和物体在图像坐标系下的3D形状已知。我们对数据进行预处理：在手周围物体内部和外部采样点，用以计算真实的SDF值。其中95%的点采样于物体表面附近，其余点则在空间中均匀采样。训练过程中，网络会优化以使预测出的SDF值与采样点的真实值相匹配，同时引入欧拉项作为正则化约束。 $$ \mathcal{L}=\|s-\hat{s}\|+\lambda(\|\nabla s\|-1)^{2} $$ 网络训练完成后，在推理阶段无需预先知晓物体在规范坐标系下的3D形状，而这正是以往大多数研究的主要局限所在。 #### 3.4. 手部姿态优化虽然我们的工作主要聚焦于基于预测手部姿态的物体重建，但这种初始姿态…… --- ![Image](images/515b51ae181e6b91d990f071fdcca977431103d0d54b6766397d7a587aed5228.jpg)

Figure 3. Visualizing reconstruction from our method and two baselines [^31] [^37] on ObMan dataset from the image frame and a novel view.

预测虽然可靠，但并不完美。由于物体重建同样依赖视觉线索，我们认为它能提供补充信息，从而进一步细化预测的手部姿态。在推理过程中，我们发现通过强制满足物理合理性——即鼓励接触同时避免相交——便可以进一步（协同）优化预测的手部姿态和物体形状。我们针对这两个交互项来优化关节姿态参数，这些参数可以自然地融入SDF表示中。为了阻止手部与物体相交，如果手部表面的点被物体重建模型预测为具有负的SDF值，我们就会对其加以惩罚。遵循先前的研究[^31]，我们对特定定义区域的手-物接触加以鼓励——如果这些接触区域内的表面点靠近物体表面，就促使它们靠得更近。 $$ \min_{\theta}\sum_{\mathbf{x}\in\mathcal{H}}\|\max(-f(\mathbf{x}),0)\|+ $$ $$ \sum_{\mathbf{x}\in\mathcal{C}}\max(\|\min(f(\mathbf{x})-\tau,0)\|-\epsilon,0) $$ 需要注意的是，SDF f依赖于关节状态，因此它也是手部姿态的函数$\theta$。随着手部姿态的精细化，物体的SDF也会相应改变。人们可以在每次姿态更新时持续更新SDF，但我们采用了更简单的方案：在手部姿态优化期间固定SDF，仅使用最终优化的姿态$\theta$来更新一次SDF。 ### 4. 实验我们将所提方法与两个无模型基线[^31] [^37]在三个数据集上进行对比——一个合成数据集和两个真实世界数据集。结果表明，无论是在物体重建还是手-物交互建模方面，我们的方法都优于这些基线。我们进一步分析了显式考虑手部姿态所带来的益处，以及我们这种特定形式的关节感知位置编码所带来的益处。最后，我们证明重建出的手持物体能够进一步优化初始的手部姿态估计，并改善手-物交互效果。数据集与实验设置。我们在三个数据集上评估所提方法。 • ObMan [^31]是一个合成数据集，包含来自3D仓库的8类共2772个物体[^7]。抓取动作由GraspIt [^44]自动生成，总计21K个抓取样本。被抓取物体会在随机背景上使用Blender渲染。我们遵循标准划分方式，确保训练集和测试集中使用的物体没有重叠。 • HO-3D [^29]是一个真实世界的视频数据集，包含103k张标注图像，记录了10名受试者与10种常见YCB物体[^75]的交互情况。真实标签是通过多摄像头重建流程标注的。为了测试更多形状的物体，我们自定义了划分方式：将每种物体对应的一段视频序列作为测试集。更多细节请参阅附录。 MOW [^5]数据集包含精心挑选的442张图像，涵盖121种物体模板，这些图像采集自自然场景下的手-物交互数据集[^14] [^58]。与HO3D数据集相比，它在外观和物体形状上更加多样，但提供的真实标签仅为近似值。这些物体形状和手部姿态标注是通过基于单帧优化的方法获得的[^5]。我们随机选择350个样本用于训练，其余92个用于评估。对于ObMan数据集，我们采用了Hasson等人提出的手部姿态预测器[^31]，因为该系统专门针对该合成数据集进行了训练。对于HOI和MOW数据集，我们则使用在多个真实世界数据集上训练的FrankMocap系统[^56]。由于现实中带有真实标注的HOI数据较为稀缺，且物体在形状和外观上的多样性不足，因此我们用在ObMan数据集上预训练的模型来初始化我们的方法和基线模型，随后在HO3D和MOW数据集上对它们进行微调。评估指标。我们会对物体重建质量以及物体与手部之间的关系进行评估。为了评估重建质量，我们首先从预测的SDF中提取网格。借鉴以往的研究方法，我们通过报告倒角距离（CD）来评估物体重建效果，同时也会报告5毫米和10毫米阈值下的F分数——因为倒角距离对异常值更为敏感[^61]。对于HOI重建而言，另一个理想的特性是手部与物体之间的相互穿透程度应尽可能小。 ---

	ObMan				$HO_{3}D$				MOW
	F-5 $\uparrow$	F-10 $\uparrow$	CD $\downarrow$	Vol $\downarrow$	F-5 $\uparrow$	F-10 $\uparrow$	CD $\downarrow$	Vol $\downarrow$	F-5 $\uparrow$	F-10 $\uparrow$	CD $\downarrow$	Vol $\downarrow$
HO [^31]	0.23	0.56	0.64	8.64	0.11	0.22	4.19	9.44	0.03	0.06	49.8	25.6
GF [^37]	0.30	0.51	1.39	1.84	0.12	0.24	4.96	6.31	0.06	0.13	40.1	8.82
Ours	0.42	0.63	1.02	1.74	0.28	0.50	1.53	4.77	0.13	0.24	23.1	19.4

Table 1. Quantitative results for object reconstruction error using F-score (5mm, 10mm), Chamfer distane (mm) and intersection volume ( $cm^{3}$). We compare our method with prior works [^31] [^37] on Obman, HO3D, MOW datasets.

我们还会通过两个网格之间的相交体积（用$cm^{3}$表示）来衡量手部与物体之间的关系，以此评估模型对二者关系的理解程度。基线模型。虽然大多数现有方法需要已知的物体模板，但Hasson等人（HO）[^31]以及Karunratanakul等人（GF）[^37]的研究成果能够解决与我们相同的任务——即从单张交互图像中推断通用物体的形状。HO模型会同时回归MANO参数以估计手部姿态，并在相机坐标系下重建物体。它基于Atlas-Net[^25]，通过变形球体来推断物体网格。与我们的方法更为接近的是GF模型，它也基于逐点隐式网络。它以图像为输入，输出一个隐式场，该场能将相机坐标系中的点映射到手部及物体对应的有符号距离，同时还能预测手部部件标签。我们的方法在三个方面与这些基线模型存在差异。首先，以往的两种方法都是独立于预测的手部姿态来推断物体形状的，而我们将手持物体重建问题表述为条件推断问题。其次，这些基线模型仅通过全局特征来编码视觉信息，而我们还会额外使用像素对齐的局部特征。第三，虽然这两个基线模型都是在相机坐标系下重建物体，但我们是在归一化的手腕坐标系下预测物体，并采用考虑关节位置的位置编码。需要注意的是，尽管我们的方法是在以手部为中心的坐标系中预测三维信息，但为了公平比较，所有评估都是在图像坐标框架下进行的（利用预测的手部姿态来转换我们的预测结果）。 #### 4.1. ObMan数据集上的实验结果我们在图3中展示了重建的物体及对应的手部姿态。虽然基线模型能够预测物体的粗略形状，但它们通常会丢失诸如手机棱角等精细细节，有时甚至会遗漏物体表面的部分区域。这可能是因为它们仅使用了图像的全局特征，从而损失了空间分辨率。相比之下，我们的方法重建出的形状更能与原始视图中的视觉输入相匹配，还能还原被手部遮挡的物体不可见部分。这一现象在表1所报告的定量结果中也有体现。在F分数上，我们的方法大幅优于基线模型。在较小的阈值下，我们相对于基线的提升尤为显著，这表明我们的方法在重建局部形状方面表现更佳。就倒角距离而言，我们的方法优于同样基于隐式场的GF模型；不过在倒角距离指标上，我们的方法不如HO模型，这可能是因为HO模型明确以最小化倒角距离为优化目标，同时加入了关于边长的正则项，从而限制了物体偏离球体的程度，减少了异常值的数量。 #### 4.2. 真实数据集上的评估我们在图4和图5中展示了图像帧内以及新视角下的重建结果。GF模型能够预测类似团块的圆柱体，但重建出的物体形状细节不足，比如芥末瓶的颈部区域；有时还会重建出不同的物体形状，比如将剪刀预测成盒子。相比之下，我们的方法能够更精确地生成多种物体形状，包括盒子、电钻、瓶子、笔、杯子、喷雾瓶等。

train set	F-5 $\uparrow$	F-10 $\uparrow$	CD $\downarrow$
ObMan	0.14	0.27	4.36
MOW	0.15	0.30	4.09

Table 2. Cross-dataset generalization: we report quantitative results on HO3D for models pretrained on ObMan and MOW.

零样本迁移到HO3D数据集。我们还直接评估了仅在ObMan和MOW数据集上训练的模型，并报告它们在HO3D数据集上的重建结果。即便没有进行微调，这两个模型的表现仍优于在HO3D数据集上训练的基线模型。有趣的是，尽管MOW数据集仅包含350张训练图像，与合成数据集的2.1万张图像相比数量极少，但从MOW数据集中学习仍能帮助提升跨数据集泛化能力。这一结果凸显了多样性对野外场景训练的重要性。具体定性结果请参见附录。 #### 4.3. 消融实验手部关节条件的重要性。我们通过构建一种仅以像素对齐的图像特征为条件的变体模型，来分析手部关节条件对手持物体重建的帮助。这种方法与Saito等人[^57]提出的方法类似，即利用像素对齐的隐式网络来推断人体三维形状。表3报告了该变体模型的结果，该模型并未显式考虑手部关节信息，我们发现其物体重建效果出现了大幅下滑。 --- ![Image](images/264541e955291a1b8bbc3c585c903418ac354b8377d91c1abc5411d676ac5352.jpg)

Figure 4. Visualizing reconstruction of our method and two baselines [^31] [^37] on HO3D dataset in the image frame and from a novel view. Input HO GF Ours

![Image](images/308652bdf37de1ea120f368202dc583d0d0831754d7f25c1733f94b660ff2082.jpg)

Figure 5. Visualizing reconstruction of our method and two baselines [^31] [^37] on MOW dataset in the image frame and from a novel view.

		F-5 $\uparrow$	F-10 $\uparrow$	CD $\downarrow$	Vol $\downarrow$
ObMan	Ours	0.42	0.63	1.02	1.74
ObMan	Ours w/o Art.	0.37	0.56	1.89	3.93
HO3D	Ours	0.33	0.58	0.93	4.77
HO3D	Ours w/o Art.	0.27	0.48	1.18	6.30
MOW	Ours	0.13	0.24	23.1	19.4
MOW	Ours w/o Art.	0.10	0.19	29.0	17.3

Table 3. Analysis of articulation-conditioning: we report quantitative results of object error in F-score, Chamfer distane (CD), intersection volume on 3 datasets and compare ours with the ablation that only consider visual feature.

与此同时，交集体积也翻了一番。这表明手部信息提供了强有力的线索，可与视觉输入形成互补。图6展示了我们的方法与变体模型的对比结果：我们的方法能更好地遵循手与物体之间的物理关系，比如物体不会穿透手部，且指尖周围区域更有可能与物体接触。手部关节的表征对泛化能力至关重要。为了表征关节信息，除了我们提出的关节感知位置编码外，一种自然的选择是将查询点与…… ![Image](images/328290ae5589d37b13856aa3b8876d16e123be5ecb8152d8a4feab4c8cb513d5.jpg)

Figure 6. Visualizing reconstruction of hand-held object with or without explicitly considering hand pose.

MANO姿态参数$\theta_A$，即$\tilde{h}(\mathbf{x}; \theta_A) = [\mathbf{x}, \theta_A]$。表4中的结果显示，尽管在提供真实手部姿态参数时该方法的表现相当，但在使用预测的手部姿态时其性能却显著下降，尽管我们对两种方法都进行了手部关节的抖动增强处理。更有趣的是，它的表现甚至比没有采用关节感知编码的变体模型还要差。这表明物体形状会过度拟合于单个样本内恒定的姿态参数。相比之下，我们的关节感知位置编码具有更好的泛化能力。针对手部预测质量的鲁棒性测试。我们使用…… ---

Method	F5 $\uparrow$	F10 $\uparrow$	CD $\downarrow$	Vol $\downarrow$
Art.-aware PE $^{*}$	0.49	0.70	0.92	1.73
Pose param. $^{*}$	0.46	0.66	1.25	1.44
Art.-aware PE	0.42	0.63	1.02	1.74
Pose param.	0.23	0.42	1.82	2.57
W/o art.	0.37	0.56	1.89	3.93

Table 4. Analysis of articulation-aware encoding: We compare different ways to incorporate hand articulation: articulation-aware positional encoding and pose parameters. Star indicates reconstruct object shape given ground truth hand articulation.

	Noise Level	F5 $\uparrow$	ObMan F10 $\uparrow$	CD $\downarrow$	F5 $\uparrow$	HO3D F10 $\uparrow$	CD $\downarrow$
Gaussian	50% $\sigma$	0.40	0.63	1.01	0.28	0.50	1.51
	100% $\sigma$	0.31	0.53	1.40	0.25	0.46	1.68
	150% $\sigma$	0.24	0.42	1.94	0.22	0.42	1.93
Prediction	50%	0.46	0.67	0.96	0.29	0.52	1.48
	100% $^{*}$	0.42	0.63	1.02	0.28	0.50	1.53
	200%	0.35	0.56	1.28	0.26	0.47	1.67
Baselines	HO	0.23	0.56	0.64	0.11	0.22	4.19
Baselines	GF	0.30	0.51	1.39	0.12	0.24	4.96
GT	0%	0.49	0.70	0.92	0.30	0.53	1.46

Table 5. Error analysis against hand pose noise. $\sigma$ is the average prediction error. $*$ marks our unablated method.

![Image](images/f8994a0d09fe72df3b6124b3a97bf7c318e807d0fbb0216b3d291f9df40ec855.jpg)

Figure 7. Top: Object reconstruction given hand pose corrupted by Gaussian on Obman dataset. Bottom: Object reconstruction given hand pose corrupted by prediction error on HO3D dataset.

	F-5 $\uparrow$	CD $\downarrow$	Vol $\downarrow$	Sim $\downarrow$	EPE $\downarrow$
ours w/o rf	0.17	1.02	1.74	3.32	8.9
ours w rf	0.17	1.00	1.28	3.00	8.7
ours w GT pose	0.20	0.92	1.73	2.44	-

Table 6. Test-time refinement. We report object error, intersection volume, simulation displacement and hand error before and after test-time refinement.

手部姿态会因不同级别的噪声而受损，这些噪声可能来自高斯噪声或更结构化的预测噪声。对于后者，我们对真实姿态和现成的预测结果进行线性插值（甚至外推）。即便预测的手部姿态误差翻倍，我们的方法仍优于基线模型（见表5和图7）。测试时的优化能改善手部姿态。上图所示的物体重建是通过直接前馈预测得到的。我们随后证明，基于关节运动条件约束的物体形状反过来可以优化初始的手部姿态估计，进而提升人机交互质量。 ![Image](images/a2c81772bcf1423bcb3263134b6874a0c285ccd2be3efa1a4bfa185602d261b9.jpg)

Figure 8. Visualizing hand-object reconstruction before and after test-time refinement in the image frame and from two novel views.

物体形状能够进一步优化初始的手部姿态估计，从而提升人机交互质量。我们在表6中报告了Obman数据集上各关节的端点误差（单位为毫米）。为了评估人机交互质量，我们记录了物体的相交体积以及模拟位移情况。我们遵循先前的研究[^31] [^37] [^64]，将人机交互重建结果输入模拟器，并统计在固定时间的模拟运行后物体从手中滑落的程度。如表6所示，经过测试时优化后，物体和手部的重建效果均有所提升。物体的模拟位移减小，相交区域也变得更小。当提供真实的手部关节运动时，物体误差和模拟位移还会进一步改善。图8展示了优化前后的一个示例：四个指尖被吸引到物体表面，而拇指则被挤出物体之外。 ### 5. 结论在本文中，我们提出了一种推断手中通用物体隐式3D形状的方法。我们通过一种感知关节运动的位置编码，将预测的手部姿态明确作为物体推断的线索。我们已经证明，这能够补充视觉线索，尤其是在手持物体被遮挡的情况下。尽管结果令人鼓舞，但仍存在若干局限性。例如，我们的工作无法直接应用于从视频中重建动态抓取场景，因为这类场景需要保证物体在不同关节运动下的一致性。此外，我们训练时需要3D真实数据，若能结合可微渲染技术进行扩展将会很有意义。尽管面临这些挑战，我们坚信在重建手持通用物体方面的工作，为理解野外视频中的人机交互迈出了令人鼓舞的一步。致谢。作者感谢曹哲和Ilija Radosavovic在MOW数据集搭建过程中提供的帮助。我们还要感谢Aljosa Osep、Pedro Morgado和Jason Zhang对手稿提出的详尽反馈。 --- ## 参考文献 [^1]: Sameer Agarwal, Yasutaka Furukawa, Noah Snavely, Ian Simon, Brian Curless, Steven M Seitz, and Richard Szeliski. Building Rome in a Day. ICCV, 2009. 2 [^2]: Adnane Boukhayma, Rodrigo de Bem, and Philip HS Torr. 3d hand shape and pose from images in the wild. In CVPR, 2019. 2 [^3]: Samarth Brahmbhatt, Chengcheng Tang, Christopher D. Twigg, Charles C. Kemp, and James Hays. Contactpose: A dataset of grasps with object contact and hand pose. In ECCV, 2020. 3 [^4]: Zhe Cao, Ilija Radosavovic, Angjoo Kanazawa, and Jitendra Malik. Reconstructing hand-object interactions in the wild. ICCV, 2021. 2, 3 [^5]: Zhe Cao, Ilija Radosavovic, Angjoo Kanazawa, and Jitendra Malik. Reconstructing hand-object interactions in the wild. In ICCV, 2021. 5 [^6]: Thomas J Cashman and Andrew W Fitzgibbon. What shape are dolphins? building 3d morphable models from 2d images. TPAMI, 2012. 2 [^7]: Angel X. Chang, Thomas A. Funkhouser, Leonidas J. Guibas, Pat Hanrahan, Qixing Huang, Zimo Li, Silvio Savarese, Manolis Savva, Shuran Song, Hao Su, Jianxiong Xiao, L. Yi, and Fisher Yu. Shapenet: An information-rich 3d model repository. ArXiv, 2015. 5 [^8]: Yujin Chen, Zhigang Tu, Di Kang, Ruizhi Chen, Linchao Bao, Zhengyou Zhang, and Junsong Yuan. Joint hand-object 3d reconstruction from a single image with cross-branch feature fusion. TIP, 2021. 3 [^9]: Zhiqin Chen and Hao Zhang. Learning implicit fields for generative shape modeling. In CVPR, 2019. 2 [^10]: Hongsuk Choi, Gyeongsik Moon, and Kyoung Mu Lee. Pose2mesh: Graph convolutional network for 3d human pose and mesh recovery from a 2d human pose. In ECCV, 2020. 2 [^11]: Christopher B Choy, Danfei Xu, JunYoung Gwak, Kevin Chen, and Silvio Savarese. 3d-r2n2: A unified approach for single and multi-view 3d object reconstruction. In ECCV, 2016. 2 [^12]: Timothy F Cootes and Christopher J Taylor. Active shape models—‘smart snakes’. In BMVC. 1992. 2 [^13]: Enric Corona, Albert Pumarola, G. Alenyà, Francesc Moreno-Noguer, and Grégory Rogez. Ganhand: Predicting human grasp affordances in multi-object scenes. CVPR, 2020. 3 [^14]: Dima Damen, Hazel Doughty, Giovanni Maria Farinella, Sanja Fidler, Antonino Furnari, Evangelos Kazakos, Davide Moltisanti, Jonathan Munro, Toby Perrett, Will Price, and Michael Wray. Scaling egocentric vision: The epic-kitchens dataset. ECCV, 2018. 2, 5 [^15]: Boyang Deng, Kyle Genova, Soroosh Yazdani, Sofien Bouaziz, Geoffrey Hinton, and Andrea Tagliasacchi. Cvxnet: Learnable convex decomposition. In CVPR, 2020. 2 [^16]: Haoqiang Fan, Hao Su, and Leonidas J Guibas. A point set generation network for 3d object reconstruction from a single image. In CVPR, 2017. 2 [^17]: Guillermo Garcia-Hernando, Shanxin Yuan, Seungryul Baek, and Tae-Kyun Kim. First-person hand action benchmark with rgb-d videos and 3d hand pose annotations. In CVPR, 2018. 2, 3 [^18]: Liuhao Ge, Zhou Ren, Yuncheng Li, Zehao Xue, Yingying Wang, Jianfei Cai, and Junsong Yuan. 3d hand shape and pose estimation from a single rgb image. In CVPR, 2019. 2 [^19]: Kyle Genova, Forrester Cole, Avneesh Sud, Aaron Sarna, and Thomas Funkhouser. Local deep implicit functions for 3d shape. In CVPR, 2020. 2 [^20]: Rohit Girdhar, David F Fouhey, Mikel Rodriguez, and Abhinav Gupta. Learning a predictable and generative vector representation for objects. In ECCV, 2016. 2 [^21]: Georgia Gkioxari, Ross B. Girshick, Piotr Dollár, and Kaiming He. Detecting and recognizing human-object interactions. CVPR, 2018. 3 [^22]: Georgia Gkioxari, Jitendra Malik, and Justin Johnson. Mesh r-cnn. In ICCV, 2019. 2 [^23]: Shubham Goel, Angjoo Kanazawa, and Jitendra Malik. Shape and viewpoint without keypoints. In ECCV, 2020. 2 [^24]: Patrick Grady, Chengcheng Tang, Christopher D. Twigg, Minh Vo, Samarth Brahmbhatt, and Charles C. Kemp. Contactopt: Optimizing contact to improve grasps. CVPR, 2021. 3 [^25]: Thibault Groueix, Matthew Fisher, Vladimir G Kim, Bryan C Russell, and Mathieu Aubry. A papier-mâché approach to learning 3d surface generation. In CVPR, 2018. 2, 6 [^26]: Abhinav Gupta, Alexei A Efros, and Martial Hebert. Blocks world revisited: Image understanding using qualitative geometry and mechanics. In ECCV, 2010. 2 [^27]: Henning Hamer, Juergen Gall, Thibaut Weise, and Luc Van Gool. An object-dependent hand pose prior from sparse training data. In CVPR, 2010. 3 [^28]: Shreyas Hampali, Mahdi Rad, Markus Oberweger, and Vincent Lepetit. Honnotate: A method for 3d annotation of hand and objects poses. 3 [^29]: Shreyas Hampali, Mahdi Rad, Markus Oberweger, and Vincent Lepetit. Honnotate: A method for 3d annotation of hand and object poses. In CVPR, 2020. 5 [^30]: Yana Hasson, Bugra Tekin, Federica Bogo, Ivan Laptev, Marc Pollefeys, and Cordelia Schmid. Leveraging photometric consistency over time for sparsely supervised hand-object reconstruction. CVPR, 2020. 2 [^31]: Yana Hasson, Gül Varol, Dimitris Tzionas, Igor Kalevatykh, Michael J. Black, Ivan Laptev, and Cordelia Schmid. Learning joint reconstruction of hands and manipulated objects. In CVPR, 2019. 3, 5, 6, 7, 8 [^32]: Kaiming He, X. Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. CVPR, 2016. 4 [^33]: Derek Hoiem, Alexei A Efros, and Martial Hebert. Automatic photo pop-up. In SIGGRAPH. 2005. 2 [^34]: Umar Iqbal, Pavlo Molchanov, Thomas Breuel Juergen Gall, and Jan Kautz. Hand pose estimation via latent 2.5 d heatmap regression. In ECCV, 2018. 2 ## [^35]: Angjoo Kanazawa, Shubham Tulsiani, Alexei A Efros, and Jitendra Malik. Learning category-specific mesh reconstruction from image collections. In ECCV, 2018. 2 --- [^36]: Abhishek Kar, Shubham Tulsiani, Joao Carreira, and Jitendra Malik. Category-specific object reconstruction from a single image. In CVPR, 2015. 2 [^37]: Korrawe Karunratanakul, Jinlong Yang, Yan Zhang, Michael J Black, Krikamol Muandet, and Siyu Tang. Grasping field: Learning implicit representations for human grasps. In 3DV. 3, 5, 6, 7, 8 [^38]: Abhijit Kundu, Yin Li, and James M Rehg. 3d-rcnn: Instance-level 3d object reconstruction via render-and-compare. In CVPR, 2018. 2 [^39]: Xueting Li, Sifei Liu, Kihwan Kim, Shalini De Mello, Varun Jampani, Ming-Hsuan Yang, and Jan Kautz. Self-supervised single-view 3d reconstruction via semantic consistency. In ECCV, 2020. 2 [^40]: Chen-Hsuan Lin, Chen Kong, and Simon Lucey. Learning efficient point cloud generation for dense 3d object reconstruction. In AAAI, 2018. 2 [^41]: Shaowei Liu, Hanwen Jiang, Jiarui Xu, Sifei Liu, and Xiaolong Wang. Semi-supervised 3d hand-object poses estimation with interactions in time. In CVPR, 2021. 2, 3 [^42]: William E Lorensen and Harvey E Cline. Marching cubes: A high resolution 3d surface construction algorithm. SIGGRAPH, 1987. 3 [^43]: Lars Mescheder, Michael Oechsle, Michael Niemeyer, Sebastian Nowozin, and Andreas Geiger. Occupancy networks: Learning 3d reconstruction in function space. In CVPR, 2019. 2 [^44]: Andrew T Miller and Peter K Allen. Graspit! a versatile simulator for robotic grasping. IEEE Robotics & Automation Magazine, 2004. 5 [^45]: Franziska Mueller, Florian Bernard, Oleksandr Sotnychenko, Dushyant Mehta, Srinath Sridhar, Dan Casas, and Christian Theobalt. Generated hands for real-time 3d hand tracking from monocular rgb. In CVPR, 2018. 2 [^46]: Franziska Mueller, Micah Davis, Florian Bernard, Oleksandr Sotnychenko, Mickelai Verschoor, Miguel A Otaudy, Dan Casas, and Christian Theobalt. Real-time pose and shape reconstruction of two interacting hands with a single depth camera. ACM Transactions on Graphics (TOG), 2019. 2 [^47]: Paschalis Panteleris, Iason Oikonomidis, and Antonis Argyros. Using a single rgb frame for real time 3d hand pose estimation in the wild. In WACV, 2018. 2 [^48]: Jeong Joon Park, Peter Florence, Julian Straub, Richard Newcombe, and Steven Lovegrove. Deepsdf: Learning continuous signed distance functions for shape representation. In CVPR, 2019. 2, 3, 4 [^49]: Akila Pemasiri, Kien Nguyen Thanh, Sridha Sridharan, and Clinton Fookes. Im2mesh gan: Accurate 3d hand mesh recovery from a single rgb image. arXiv, 2021. 2 [^50]: Tu-Hoa Pham, Nikolaos Kyriazis, Antonis A Argyros, and Abderrahmane Kheddar. Hand-object contact force estimation from markerless visual tracking. TPAMI, 2017. 3 [^51]: Lawrence G Roberts. Machine perception of three-dimensional solids. PhD thesis, Massachusetts Institute of Technology, 1963. 2 [^52]: Grégory Rogez, Maryam Khademi, JS Supančič III, Jose Maria Martinez Montiel, and Deva Ramanan. 3d hand pose detection in egocentric rgb-d images. In ECCV, 2014. 2 [^53]: Grégory Rogez, James S Supancic, and Deva Ramanan. Understanding everyday hands in action from RGB-D images. In ICCV, 2015. 2 [^54]: Javier Romero, Hedvig Kjellström, and Danica Kragic. Hands in action: real-time 3d reconstruction of hands in interaction with objects. In ICRA, 2010. 3 [^55]: Javier Romero, Dimitrios Tzionas, and Michael J Black. Embodied hands: Modeling and capturing hands and bodies together. ToG, 2017. 2 [^56]: Yu Rong, Takaaki Shiratori, and Hanbyul Joo. Frankmocap: Fast monocular 3d hand and body motion capture by regression and integration. ICCV Workshop, 2021. 2, 3, 5 [^57]: Shunsuke Saito, Zeng Huang, Ryota Natsume, Shigeo Morishima, Angjoo Kanazawa, and Hao Li. Pifu: Pixel-aligned implicit function for high-resolution clothed human digitization. ICCV, 2019. 4,6 [^58]: Dandan Shan, Jiaqi Geng, Michelle Shu, and David F Fouhey. Understanding human hands in contact at internet scale. In CVPR, 2020. 2, 3, 5 [^59]: Srinath Sridhar, Franziska Mueller, Antti Oulasvirta, and Christian Theobalt. Fast and robust hand tracking using detection-guided optimization. In CVPR, 2015. 2 [^60]: Srinath Sridhar, Franziska Mueller, Michael Zollhöfer, Dan Casas, Antti Oulasvirta, and Christian Theobalt. Real-time joint tracking of a hand manipulating an object from rgb-d input. In ECCV, 2016. 3 [^61]: Maxim Tatarchenko, Stephan R Richter, René Ranftl, Zhuwen Li, Vladlen Koltun, and Thomas Brox. What do single-view 3d reconstruction networks learn? In CVPR, 2019. 5 [^62]: Bugra Tekin, Federica Bogo, and Marc Pollefeys. H+o: Unified egocentric recognition of 3d hand-object poses and interactions. In CVPR, 2019. 2, 3 [^63]: Shubham Tulsiani, Hao Su, Leonidas J Guibas, Alexei Afros, and Jitendra Malik. Learning shape abstractions by assembling volumetric primitives. In CVPR, 2017. 2 [^64]: Dimitrios Tzionas, Luca Ballan, Abhilash Srikantha, Pablo Aponte, Marc Pollefeys, and Juergen Gall. Capturing hands in action using discriminative salient points and physics simulation. IJCV, 2016. 3, 8 [^65]: Dimitrios Tzionas and Juergen Gall. 3d object reconstruction from hand-object interactions. In ICCV, 2015. 3 [^66]: Ashish Vaswani, Noam M. Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. NeurIPS, 2017. 4 [^67]: Nanyang Wang, Yinda Zhang, Zhuwen Li, Yanwei Fu, Wei Liu, and Yu-Gang Jiang. Pixel2mesh: Generating 3d mesh models from single rgb images. In ECCV, 2018. 2 [^68]: Jiajun Wu, Chengkai Zhang, Tianfan Xue, William T Freeman, and Joshua B Tenenbaum. Learning a probabilistic latent space of object shapes via 3d generative-adversarial modeling. In NeurIPS, 2016. 2 [^69]: Yufei Ye, Shubham Tulsiani, and Abhinav Gupta. Shelf-supervised mesh prediction in the wild. In CVPR, 2021. 2 ## [^70]: Alex Yu, Vickie Ye, Matthew Tancik, and Angjoo Kanazawa. pixelnerf: Neural radiance fields from one or few images. CVPR, 2021. 4 --- [^71]: Jason Y. Zhang, Sam Pepose, Hanbyul Joo, Deva Ramanan, Jitendra Malik, and Angjoo Kanazawa. Perceiving 3d human-object spatial arrangements from a single image in the wild. ECCV, 2020. 3 [^72]: Xiong Zhang, Qiang Li, Hong Mo, Wenbo Zhang, and Wen Zheng. End-to-end hand mesh recovery from a monocular rgb image. In ICCV, 2019. 2 [^73]: Yuxiao Zhou, Marc Habermann, Weipeng Xu, Ikhsanul Habibie, Christian Theobalt, and Feng Xu. Monocular real-time hand shape and motion capture using multi-modal data. In CVPR, 2020. 2 [^74]: Christian Zimmermann and Thomas Brox. Learning to estimate 3d hand pose from single rgb images. In ICCV, 2017. 2 [^75]: Berk Calli, Arjun Singh, Aaron Walsman, Siddhartha S. Srinivasa, P. Abbeel, and Aaron M. Dollar. The ycb object and model set: Towards common benchmarks for manipulation research. ICAR, 2015. 5