# HORT：基于Transformer的单目手持物体重建陈泽瑞 $^{1}$ 罗兰多斯·亚历山德罗斯·波塔米亚斯 $^{2}$ 陈世哲 $^{1}$ 科迪莉亚·施密德 $^{1}$ $^{1}$ 法国国家信息与自动化研究所、巴黎高等师范学院、法国国家科学研究中心、PSL研究大学 $^{2}$ 伦敦帝国理工学院 ## 摘要从单目图像中重建手持物体的三维模型一直是计算机视觉领域的重要挑战。现有方法大多依赖隐式三维表示，这类方法生成的重建结果过于平滑，且生成显式三维形状时耗时较长。虽然近期的一些方法利用扩散模型直接重建点云，但多步去噪过程导致高分辨率重建效率低下。为解决这些局限，我们提出了一种基于Transformer的模型，用于高效重建手持物体的密集三维点云。该方法采用由粗到精的策略：首先从图像生成稀疏点云，再利用像素对齐的图像特征将其逐步细化为密集表示。为提高重建精度，我们将图像特征与三维手部几何结构相结合，共同预测物体点云及其相对于手部的姿态。我们的模型采用端到端训练以实现最优性能。在合成数据集和真实数据集上的实验结果表明，该方法不仅达到了最先进的精度，推理速度也更快，同时还能很好地适配自然场景中的图像。 ### 1. 引言从单目图像中重建手持物体的三维模型在现实世界中有着广泛的应用前景，涵盖动作识别 [^4] [^21] [^23] [^26]、人机交互 [^10] [^19] [^20] 以及机器人操控 [^17] [^53] [^72] 等领域。尽管该任务已取得显著进展，但实现鲁棒且高效的三维重建仍是一项艰巨的挑战。现有的手持物体重建方法大致可分为两类。第一类采用基于优化的算法来预测三维物体姿态 [^7] [^28] [^33] [^92] [^101]，或同时预测姿态与三维形状 [^24] [^36] [^96]。虽然这些方法能取得不错的重建精度，但它们往往依赖额外的 ![Image](images/a184f779a4ad1ddfbe8068a5f5fa02bf8c62d54deea0a4ee8a8179d22bb2b76d.jpg)

Figure 1. Comparison of inference speed and reconstruction quality on the ObMan dataset. Inference time includes meshing time. Implicit methods [^14] [^16] [^38] [^95] require approximately 2 seconds to generate the mesh but fail to achieve compelling results. Explicit methods face trade-offs between reconstruction quality and inference speed: HO [^32] uses meshes while D-SCO [^25] employs point clouds, but neither achieves optimal performance in both metrics. HORT demonstrates superior performance by achieving high-quality reconstruction with fast inference speed.

3D输入包括多视角图像、视频、深度图或已知物体网格。此外，使用复杂的目标函数优化物体的姿态和形状通常需要数小时时间，这使得它们难以应用于实时场景。为缓解这些问题，第二类方法采用了基于学习的技术。主流的研究方向是利用深度隐式函数[^1] [^12] [^57] [^66]，例如有向距离函数[^14] [^16] [^38] [^71] [^95]和有符号距离函数[^99]，来重建手持物体。然而，基于隐式函数的方法往往会产生过于平滑的3D表面，无法捕捉精细的几何细节[^18] [^66]。此外，从学习到的隐式场中获取显式的3D网格还需要借助Marching Cubes算法进行后处理[^51]，这不仅会降低推理速度（见图1），还会限制其在下游任务中的灵活性。少数基于学习的方法[^25] [^32]已经探索了 --- 用于手持物体重建的显式3D表示方式，这类方式在可视化以及与其他下游应用（如物体CAD模型配准及基于优化的流程[^7] [^33] [^89] [^101]）集成方面具有优势。HO[^32]采用基于顶点的表示方法，虽然推理速度快，但重建分辨率有限。受点云在3D重建与生成领域近期取得的成功的启发[^40] [^55] [^63]，最先进的方法D-SCO[^25]利用扩散模型[^77]从单目图像中重建高分辨率的物体点云。不过，尽管其性能强劲，D-SCO的速度甚至比基于隐式函数的方法还要慢，由于测试时需要进行密集的去噪步骤，每次重建耗时超过13秒。为在推理速度和3D重建质量之间取得平衡，我们提出了HORT——一种用于手持物体重建的由粗到精的基于Transformer的框架。HORT包含四个关键组件：图像编码器、手部编码器、稀疏点云解码器和稠密点云解码器。这两个编码器分别提取互补的特征——来自单目图像的视觉线索以及来自手部的几何信息。为了有效编码手部的运动结构，我们在将其输入PointNet[^70]架构处理之前，先将估计出的手部顶点转换为多个手部关节坐标系。由于手部姿态和形状能隐含地反映物体的几何特征与位置，我们的稀疏点云解码器通过多层Transformer整合图像特征与3D手部特征，同时预测稀疏的物体点云以及物体相对于手部的姿态。随后，稠密点云解码器会将这些稀疏表示上采样为高分辨率结果。为提高重建精度，我们会先将稀疏点投影到图像平面上以获取与像素对齐的图像特征，再输入稠密网络进行细化。我们的模型通过物体重建损失进行端到端训练。我们在合成的ObMan[^32]数据集以及真实的HO3D[^28]、DexYCB[^9]和MOW[^7]数据集上对模型进行了评估。大量的消融实验验证了该方法的有效性。HORT在所有基准测试中均取得了最先进的重建精度，同时还能保持较高的推理速度。我们的贡献总结如下： • 我们提出了一种由粗到精的基于Transformer的框架（HORT），该框架能够从单目图像中高效重建手持物体的密集三维点云，在重建质量与计算效率之间取得平衡。 - 为了生成稀疏和密集点云，我们整合了细粒度的图像与手部几何特征，利用手部形状提供的隐含线索来实现更精准的物体重建。 - 在四个不同的基准测试中，我们的方法均优于现有最先进的方法，且能很好地泛化到自然场景图像中，同时还能实现快速的推理速度。 ### 2. 相关工作三维手部重建。过去几十年里，三维手部重建取得了显著进展，从20世纪90年代的早期研究[^34] [^73]发展到现代的深度学习方案[^44] [^98]。早期的基于深度学习的方法[11, 13, 15, 37, 56, 60, 61, 78-80, 82, 91, 102]侧重于从单目图像中预测一组稀疏的三维手部关节。参数化MANO手部模型的引入[^74]使得后续的研究[^2] [^5] [^11] [^30] [^42] [^43] [^46] [^47] [^52] [^62] [^67] [^68] [^75] [^85]能够通过将MANO作为可微层集成到神经网络中，从而重建密集的三维手部网格。最近，最先进的三维手部重建方法[^67] [^68] [^100]已从卷积神经网络转向Transformer网络[^84]，并得益于大规模训练，实现了鲁棒的三维手部重建以及对自然场景图像的强大泛化能力。我们的工作聚焦于手持物体重建，由于物体的多样性，这一任务比手部重建更具挑战性。我们利用高质量的自动手部重建结果作为引导，以提升物体重建的精度。基于优化的手持物体重建。基于优化的方法已被广泛用于构建手持物体的真实3D重建[3, 9, 28, 64, 86–88, 94]，这类方法通常会利用额外的3D输入，如多视角图像、深度传感器或已知的3D网格模型来生成精确的重建结果。然而，在实际应用中这类输入往往无法获取。为解决这一局限，另一类研究侧重于利用优化技术来细化对物体姿态和形状的初始预测[^7] [^24] [^31] [^33] [^36] [^49] [^92] [^96] [^101]。这些方法会引入相关约束以改善手与物体的接触情况、防止穿透现象，或增强单目RGB视频中的时间一致性。部分方法[^7] [^33] [^92]仅针对已知CAD模型优化6D物体姿态，且在优化过程中会兼顾2D投影、手物交互及碰撞等多个目标。另一些研究[^24] [^31] [^96]则进一步放宽了CAD模型的假设条件，通过联合优化由SDF或NeRF参数化的物体姿态和形状[^58]。近期提出的EasyHOI方法[^49]先利用基础模型重建物体，再通过手部姿态优化来推断合理的手与物体配置，其在主要基准测试上展现了出色的零样本性能。总体而言，基于优化的方法需要复杂的目标函数以及迭代细化过程，这容易导致其陷入局部最优解，且推理速度较慢。相比之下，我们的方法能够以高效的前馈方式重建手持物体，我们的预测结果也可作为强有力的初始化数据，用于加速基于优化的方法。基于学习的手持物体重建。基于学习的方法[^14] [^16] [^25] [^32] [^35] [^45] [^83] [^95] [^99]训练神经模型，以便直接从单目图像中重建手持物体。 --- ![Image](images/a1902790fc14135de0516d12d5124b88e1696e189976cc6a5bdcd6a472c99fbf.jpg)

Figure 2. Overview of the proposed HORT model for 3D reconstruction of hand-held objects from a single RGB image. The model first extracts fine-grained visual and hand geometry features using an image encoder and a hand encoder. Then, the sparse and dense point cloud decoders integrate both visual and hand information to progressively generate object point clouds in a coarse-to-fine manner.

早期的研究如Hasson等人[^32]和Tse等人[^83]采用AtlasNet[^27]将物体重建为一组网格顶点，但这类方法的分辨率有限且生成的几何形状不真实。为了提升细节重建效果，后续研究[^14] [^16] [^38] [^95] [^99]采用了SDF等隐式3D表示方法。尽管连续函数具有很大潜力，但这些方法往往会产生过于平滑的表面，且要从中导出显式的3D形状十分耗时。为解决这一问题，最先进的方法D-SCO[^96]提出利用扩散模型重建显式点云。然而，扩散模型中的多步去噪过程会导致高分辨率点云的推理速度较低。在本研究中，我们采用了与D-SCO类似的显式点云；不过我们的方法存在根本性差异：我们采用基于Transformer的架构以由粗到精的方式重建物体点云，从而在实现最先进的重建精度的同时显著提升推理速度。 ### 3. 方法在本节中，我们介绍了基于Transformer的手持物体重建模型HORT，该模型能够从单目RGB图像中预测密集的物体点云。我们首先在第3.1节介绍整体架构，接着在第3.2节至3.4节详细描述各个组成部分。最后，我们在第3.5节阐述用于HORT模型端到端优化的训练目标。 #### 3.1. 概述图2展示了我们的手持物体重建模型HORT的概览，该模型由四个关键模块组成：图像编码器、手部编码器、稀疏点云解码器和密集点云解码器。我们采用由粗到精的范式，逐步生成手持物体的高分辨率点云。在第一阶段，利用图像编码器、手部编码器以及稀疏点云解码器来生成稀疏点云。这两个编码器分别提取图像特征和3D手部特征。图像特征提供了关于物体外观和2D轮廓的关键信息，而3D手部特征则有助于约束物体的3D形状及其与手部的空间关系，从而能够缓解基于单目RGB图像的3D重建中固有的歧义问题。与以往仅利用稀疏手部关节姿态进行物体形状学习的方法[^14] [^16] [^95]不同，我们的手部编码器利用了精细的手部几何结构，为推断被操纵物体的形状提供了更丰富的结构线索。为了有效整合图像特征和手部特征，我们引入了稀疏点云解码器，它可共同预测初始稀疏点云以及物体相对于手部的姿态。在第二阶段，我们提出了一种密集点云解码器，用于对第一阶段生成的稀疏点云进行精细化处理和上采样。利用预测的相机参数，我们将稀疏点云投影到图像平面上，从而为每个稀疏点获取细粒度的、与像素对齐的图像特征。这些特征为上采样过程提供了丰富的局部细节，进而实现高分辨率的3D物体重建。这种两阶段框架在重建精度和计算效率之间取得了平衡。 #### 3.2. 图像与手部特征编码精细的手部特征。以单目图像为输入，我们采用最先进的手部姿态估计模型来重建三维手部并预测相机参数，这些参数包括相机平移量和用于归一化相机坐标系中手部尺寸的缩放因子。所估计的三维手模通过MANO参数化，由受骨骼驱动的手部关节所决定的三维顶点构成。为了有效编码三维手部信息，我们将这些三维顶点转换到多个局部坐标系下，涵盖所有手部关节、指尖和手掌，共计22个坐标系（16个关节、5个指尖和1个手掌）。我们进一步将每个顶点的转换后坐标与绝对顶点索引拼接起来，以便更好地捕捉该顶点在手部形状中的空间位置。由此得到一种能够同时反映姿态和形状相关几何信息的综合手部表征。最终，我们通过高效的点云网络架构对这种丰富的几何表征进行编码，以提取手部特征。 --- 我们采用最先进的手部姿态估计模型[^32] [^68]来重建三维手部并预测相机参数$K_{cam}$，这些参数包括相机平移量$t_c \in \mathbb{R}^3$以及用于归一化相机坐标系中手部尺寸的缩放因子$s_c \in \mathbb{R}$。所估计的三维手模通过MANO参数化[^74]，由受骨骼驱动的手部关节$v_h \in \mathbb{R}^{778 \times 3}$所决定的三维顶点$j_h \in \mathbb{R}^{16 \times 3}$构成。为了有效编码三维手部信息，我们将$v_h$转换到多个局部坐标系下，涵盖所有手部关节、指尖和手掌，共计22个坐标系（16个关节、5个指尖和1个手掌）。我们进一步将每个顶点的转换后坐标与绝对顶点索引拼接起来，以便更好地捕捉该顶点在手部形状中的空间位置。由此得到一种能够同时反映姿态和形状相关几何信息的综合手部表征$e_h \in \mathbb{R}^{778 \times (22 \times 3 + 1)}$。最终，我们通过高效的点云网络架构$e_h$对这种丰富的几何表征[^70]进行编码，以提取手部特征$f_h \in \mathbb{R}^{1024}$。图像特征。我们采用DINOv2 [^65]从输入图像$I \in \mathbb{R}^{224 \times 224 \times 3}$中提取图像特征。DINOv2会将图像嵌入为257个视觉特征标记$f_v \in \mathbb{R}^{257 \times 1024}$，其图像块大小为14。为了平衡DINOv2从大规模数据集中学到的预训练知识与针对手-物体交互的领域特定适配需求，我们冻结DINOv2的前几层，仅对其最后十二个Transformer层进行微调。我们利用手部特征$f_h$和图像特征$f_v$来进行后续的手持物体重建。 #### 3.3. 稀疏点云重建我们在手掌坐标系下重建手持物体，因为手部姿态估计模型能够可靠地定位手掌位置[^67] [^68]。为实现这一目标，我们将重建任务拆解为两个子任务：规范物体点云生成和基于手部的物体姿态估计。这种拆分将物体形状恢复与姿态估计分离，有助于简化学习过程。在物体姿态估计方面，我们仅预测物体相对于手掌的3D平移量，记为$t_o \in \mathbb{R}^3$。这是因为许多日常物品具有高度对称性，导致旋转预测成为不适定问题，以往的研究也证实了这一点[^16] [^25]。在稀疏点云生成阶段，我们会生成处于旋转状态下的稀疏物体点云$p_o^s \in \mathbb{R}^{N_p^s \times 3}$，其中$N_p^s$表示稀疏点的数量。稀疏点云解码器采用统一的Transformer骨干网络来共同预测物体姿态$t_o$和旋转后的点云$p_o^s$。具体而言，我们定义了$1 + N_p^s$个可学习的标记嵌入：一个用于平移预测，$N_p^s$个用于点云生成。这些标记会由多层Transformer模型处理，模型首先会对标记间应用自注意力机制，随后通过交叉注意力机制来利用提取到的图像特征。 ![Image](images/35a72d6c7b7147ea0132e6b85b44503902fad5eff30b16073550e496f11abc0b.jpg)

Figure 3. Illustration of our dense point cloud decoder. The green and yellow points in the transformer indicate object points and hand vertices respectively. The model retrieves pixel-aligned image features for each reconstructed point and enhances its local context through self-attention. It upsamples the sparse point cloud to a high-resolution 3D object point cloud.

图像特征$f_v$和手部特征$f_h$。这种注意力机制能够实现不同模态间的有效特征融合。第一个标记的输出嵌入用于预测基于手部的物体平移量$t_o$，而剩余的$N_p^s$个输出嵌入则用于生成点云坐标$p_o^s$。通过共享同一个Transformer骨干网络来预测物体姿态和点云，解码器能够有效利用两项任务之间的相互依赖关系，相比以往单独训练物体姿态估计网络的方法[^25]，效率更高。 #### 3.4. 密集点云重建根据预测的稀疏点云$p_o^s$和基于手部的物体姿态$t_o$，密集点云解码器会进一步将其放大，以生成高分辨率的手持物体点云。图3展示了所提出的密集点云解码器的详细结构。我们首先对重建的点云$p_o^s$进行双线性上采样。不过，双线性上采样得到的点只能粗略近似密集几何形状，且无法与图像特征以及每个点的局部上下文邻域信息对齐。因此，我们引入了额外的像素对齐特征提取方法，为密集点云解码器提供局部视觉信息。具体而言，我们首先从$f_v \in \mathbb{R}^{257 \times 1024}$中排除全局[CLS]标记，仅保留图像块级别的标记。随后，这些剩余的标记会被… --- 数据被重塑为空间网格格式，并通过 $3 \times 3$ 卷积层进行处理，从而生成精细的特征图 $\mathrm{f}_{\mathrm{v}}^{\mathrm{r}} \in \mathbb{R}^{16 \times 16 \times 128}$。接下来，我们利用估计出的手掌位置 $p_{\mathrm{o}}^{\mathrm{s}}$ 以及手相对物体的平移量 $t_{\mathrm{p}}$，将 $t_{\mathrm{o}}$ 从物体坐标系转换到相机坐标系。借助预测的相机参数 $K_{\mathrm{cam}}$，我们将 $p_{\mathrm{o}}^{\mathrm{s}}$ 投影到图像平面上，通过透视投影 $\pi(\cdot)$ 和双线性插值 $\mathrm{F}(\cdot)$ 来获取每个点对应的像素对齐特征： $$ \mathrm{f}_{\mathrm{o}}=\mathrm{F}(\pi(\mathrm{p}_{\mathrm{o}}^{\mathrm{s}}+\mathrm{t}_{\mathrm{p}}+\mathrm{t}_{\mathrm{o}},\mathrm{K}_{\mathrm{c a m}}),\mathrm{f}_{\mathrm{v}}^{\mathrm{r}}). $$ 稀疏点云中的坐标 $\mathrm{p}_{\mathrm{o}}^{\mathrm{s}} \in \mathbb{R}^{\mathrm{N}_{\mathrm{p}}^{s} \times 3}$ 会与其对齐后的视觉特征 $\mathrm{f}_{\mathrm{o}} \in \mathbb{R}^{\mathrm{N}_{\mathrm{p}}^{s} \times 128}$ 进行拼接。同样，我们也会提取 3D 手部顶点的视觉特征 $v_{\mathrm{h}}$，并将其与物体特征一同输入到Transformer模型中。该模型由两个模块组成，每个模块先执行自注意力机制，随后进行特征上采样。第一个模块将点云分辨率提高 2 倍，第二个模块则提高 4 倍。具体而言，如图 3 所示，每个模块首先会在局部邻域内应用自注意力机制 [^84]，以聚合每个物体点的空间与视觉上的手-物上下文信息，这一设计灵感来源于 [^90]。邻域的确定基于点的空间位置，采用 k 最近邻（kNN）算法，其中 $k = 16$ 的取值是通过实验经验确定的。随后，点特征会经过双线性上采样，再通过三层卷积层来预测每个上采样点的 3D 偏移量。这一过程最终会重建出高分辨率的密集点云 $\mathrm{p}_{\mathrm{o}}^{\mathrm{d}} \in \mathbb{R}^{\mathrm{N}_{\mathrm{p}}^{d} \times 3}$。 #### 3.5. 训练与分别训练各组件的 D-SCO [^25] 不同，我们采用端到端的训练策略来优化整个 HORT 模型。所有组件通过一个综合损失函数 $\mathcal{L}$ 进行联合训练，该函数结合了物体姿态损失以及稀疏和密集点云生成损失： $$ \mathcal{L}=\lambda_{1}\times\mathcal{L}_{p o s e}+\lambda_{2}\times\mathcal{L}_{c d}^{s}+\mathcal{L}_{c d}^{d}. $$ 其中 $\lambda_{1}$ 和 $\lambda_{2}$ 是用于平衡各项损失的超参数。具体来说，我们使用 $\ell_1$ 损失 $\mathcal{L}_{pose}$ 来预测物体相对于手掌的 3D 平移量 $t_o$，公式如下： $$ \mathcal{L}_{p o s e}=\left\|\mathrm{t_{o}}-\hat{\mathrm{t_{o}}}\right\|_{1}^{1}, $$ 其中 $\hat{t}_{o}$ 表示物体质心与手掌之间的真实 3D 偏移量。我们采用倒角距离损失 $\mathcal{L}_{cd}^{s}$ 来监督 3D 点云的生成，公式如下： $$ \begin{array}{r}{\mathcal{L}_{c d}^{\{s,d\}}=\mathrm{C h a m f e r D i s t a n c e}(\mathrm{p}_{\mathrm{o}}^{\{\mathrm{s},\mathrm{d}\}},\mathrm{\hat{p}}_{\mathrm{o}}^{\{\mathrm{s},\mathrm{d}\}}),}\end{array} $$ 其中 $\mathrm{p}_{\mathrm{o}}^{\{\cdot\}}$ 表示稀疏（$\mathrm{p}_{\mathrm{o}}^{\mathrm{s}}$）或密集（$\mathrm{p}_{\mathrm{o}}^{\mathrm{d}}$）的物体点云；$\hat{\mathrm{p}}_{\mathrm{o}}^{\{\cdot\}}$ 则表示从真实物体网格中均匀采样的对应点云。 ### 4. 实验我们开展了全面的实验，以验证所提方法在四个不同类型的手持物体重建基准测试集上的有效性。 #### 4.1. 数据集 ObMan [^32]：这是一个大规模的合成手-物交互数据集，包含来自 ShapeNet [^8] 的 2,772 个物体实例，以及由 GraspIt! [^59] 生成的 21,000 种手部抓取姿势。为了与以往的研究进行公平比较，我们采用了标准的数据划分方式，其中训练集包含 141,000 个样本，测试集包含 6,285 个样本。遵循 [^14] 的做法，我们从标准训练集中随机选取 30,000 个样本用于消融实验，而完整的训练数据则用于与最先进的方法进行比较。 HO3D [^28]：我们使用该数据集的HO3Dv3版本[^29]，它包含了10名受试者操作10种YCB物体的68个视频序列[^6]。我们遵循[^25]、[^95]和[^99]中的标准实验设置，其中训练样本有77K个，评估样本有1,221个。 DexYCB [^9]：该数据集记录了20名受试者用八个摄像头拍摄的20种YCB物体的手部抓取情况。按照[^14]、[^16]和[^93]中的惯例，我们重点关注右手样本并使用官方的s0划分方式。我们采用gSDF [^16]设置，每5帧对视频进行下采样，最终得到29K张训练图像和5,928张测试样本。 MOW [^7]：它包含从“100天手部活动”数据集的YouTube视频中采样的520张图像[^76]。训练集和测试集分别包含350张和92张图像。 #### 4.2. 评估指标遵循以往的研究[^16]、[^32]和[^95]，我们使用两个主要指标来评估3D重建质量。我们还报告交互指标，以便更详细地说明重建的手部-物体配置的合理性。倒角距离（Chamfer Distance, CD）。我们计算重建的密集物体点云与真实物体点云之间的倒角距离（$cm^2$）。按照以往研究的标准流程[^16]，我们在两个点云上各采样30K个点来计算倒角距离。我们报告整个测试集上的平均倒角距离，以评估重建点云的质量。F分数（F-score, FS）。由于倒角距离对异常值较为敏感[^81]、[^95]，我们还报告F分数——即精确度和召回率的几何平均值，以全面评估重建的物体点云，并分别报告5毫米（FS@5）和10毫米（FS@10）阈值下的F分数。接触比例（Contact Ratio, Cr）。我们遵循以往的研究[^14]、[^16]和[^38]，报告测试样本中重建的手部与物体之间存在接触点的比例。穿透深度（Penetration Depth, Pd）。按照[^14]、[^16]和[^38]的方法，我们计算碰撞情况下估计的手部网格顶点到物体表面的最大距离（单位为厘米）。 ---

Table 1. The performance of our hand-held object reconstruction models with variants of visual feature encoders on ObMan dataset.

	Hand Encoder		Image Encoder	FS@5 $\uparrow$	FS@10 $\uparrow$	CD $\downarrow$	Cr $\uparrow$	Pd $\downarrow$
	Palm	Joints	Image Encoder	FS@5 $\uparrow$	FS@10 $\uparrow$	CD $\downarrow$	Cr $\uparrow$	Pd $\downarrow$
R1	$\times$	$\times$	Fine-tune	0.45	0.75	3.1	0.76	2.15
R2	$\checkmark$	$\times$	Fine-tune	0.53	0.82	2.4	0.85	1.76
R3	$\checkmark$	$\checkmark$	Fine-tune	0.60	0.87	1.8	0.92	1.37
R4	$\checkmark$	$\checkmark$	Scratch	0.51	0.79	2.6	0.88	1.48
R5	$\checkmark$	$\checkmark$	Frozen	0.48	0.76	2.9	0.87	1.62

Table 2. The performance of our hand-held object reconstruction models with various object decoder variants on ObMan dataset. J-decode indicates models that jointly decode sparse point clouds with hand-relative 3D translation using a transformer architecture.

	Sparse	Dense			FS@5 $\uparrow$	FS@10 $\uparrow$	CD $\downarrow$
	J-decode	upsample aligned feat. hand feat.
R1	✗	✗	✗	✗	0.41	0.69	3.8
R2	✓	✗	✗	✗	0.47	0.77	3.0
R3	✓	✓	✗	✗	0.54	0.82	2.3
R4	✓	✓	✓	✗	0.58	0.85	2.0
R5	✓	✓	✓	✓	0.60	0.87	1.8

#### 4.3. 实现细节模型架构。我们使用大型DINOv2模型[^65]作为图像编码器，它由24层Transformer组成。用于提取手部特征的PointNet [^70]包含5层MLP。稀疏点云解码器由10层Transformer组成，拥有8个注意力头。每个点的可学习特征向量维度为512。最初解码得到的稀疏物体点云包含$N_p^s = 2,048$个点。经过3层点反卷积和Transformer层处理后，我们最终重建出包含$N_p^d = 16,384$个物体点的密集点云，这一点数与D-SCO [^25]中使用的点数一致。训练细节。我们像以往研究一样，从原始图像中裁剪出手-物体区域[^14] [^32] [^95]。在训练过程中，根据[^54] [^97]的描述，我们会依据边界框位置和缩放比例来调整相机的内外参数。我们的模型输入图像尺寸为$224 \times 224$。数据增强方式包括随机旋转（$[-90^\circ, 90^\circ]$）、随机缩放（$[0.8, 1.2]$）、随机边界框偏移以及颜色抖动。训练期间我们使用真实的相机参数和手部姿态数据，但我们的方法并不要求测试时也能获取这些信息。我们在ObMan和DexYCB数据集上以192的批量大小训练模型，共训练50个周期。我们采用Adam优化器[^41]，基础学习率为$1e-4$，并采用余弦学习率衰减策略。我们通过实验将$\lambda_1$和$\lambda_2$均设为2。为了与以往研究进行公平比较，我们对在ObMan数据集上预训练的模型分别在HO3D、DexYCB和MOW数据集上进行微调。在4块NVIDIA A100 GPU上，ObMan数据集的训练时间约为50小时。 #### 4.4. 消融实验我们在ObMan数据集上开展了大量的消融实验，以评估模型中各个组件的有效性。

Table 3. Comparison with state-of-the-art methods on ObMan dataset. HORT achieves superior performance across all metrics when using either predicted or ground-truth 3D hands.

Methods	Predicted hand			Ground-truth hand
Methods	FS@5 $\uparrow$	FS@10 $\uparrow$	CD $\downarrow$	FS@5 $\uparrow$	FS@10 $\uparrow$	CD $\downarrow$
HO [^32]	0.23	0.56	6.4	-	-	-
GF [^38]	0.30	0.51	13.9	-	-	-
IHOI [^95]	0.42	0.63	10.2	0.49	0.70	9.2
AlignSDF [^14]	0.40	0.64	9.2	-	-	-
gSDF [^16]	0.44	0.66	8.8	-	-	-
DDF-HO [^99]	0.55	0.67	1.4	-	-	-
D-SCO [^25]	0.61	0.81	1.1	0.65	0.85	1.0
HORT (Ours)	0.66	0.88	1.0	0.72	0.91	0.9

Table 4. Comparison with state-of-the-art methods on HO3D and DexYCB. HORT achieves the best performance on both datasets.

Methods	HO3D			DexYCB
Methods	FS@5 $\uparrow$	FS@10 $\uparrow$	CD $\downarrow$	FS@5 $\uparrow$	FS@10 $\uparrow$	CD $\downarrow$
HO [^32]	0.11	0.22	41.9	0.38	0.64	4.2
GF [^38]	0.12	0.24	49.6	0.39	0.66	4.5
IHOI [^95]	0.28	0.50	15.3	-	-	-
AlignSDF [^14]	-	-	-	0.41	0.68	3.9
gSDF [^16]	-	-	-	0.44	0.71	3.4
DDF-HO [^99]	0.27	0.40	8.6	-	-	-
D-SCO [^25]	0.41	0.63	3.4	0.63	0.82	1.3
HORT (Ours)	0.45	0.72	2.6	0.63	0.85	1.1

我们的模型采用了[^14]所描述的方法，即随机选择3万条数据进行训练，并使用原始的测试集进行评估。手部编码器。表1中的前三行用于评估我们所提出手部编码器的贡献。R1中的基准模型仅依赖图像特征而无需手部编码器，其表现较差。R2将手掌坐标系下的3D手部顶点作为输入，这一改动在所有指标上的性能均有显著提升，例如FS@5从0.45提高到0.53，CD从3.1降至2.4。此外，接触比率Cr也大幅提高，穿透深度Pd则有所降低。这证实了手部信息能够显著增强手持物体的重建精度，并更好地还原手与物体之间的交互关系。在R3中进一步强化了手部特征，即将手部顶点转换到多个手部关节坐标系中，从而获得了更多性能提升，尤其是FS@5从0.53提高到了0.60。这些结果清楚地表明，为了准确重建手持物体，有效编码手部几何信息是十分必要的。图像编码器。表1的最后三行对比了图像编码器的不同训练策略。R4在ObMan数据集上从头开始训练ViT图像编码器[^89]，而R5则使用冻结的DINOv2模型。这两种方法的性能均不如R3中的微调策略，该策略针对手-物体交互领域对视觉特征进行了优化。稀疏点云解码器。我们在表2的前两行评估了针对稀疏点云解码器的联合解码策略。R1中的模型采用了两个独立的模块：一个用于预测物体姿态，它会将全局图像特征（即DI-NOv2中的[CLS]标记）与来自PointNet的3D手部特征拼接后，作为输入送入MLP以预测平移量；另一个模块则用于生成点云，与我们最终的稀疏解码器类似。相比之下，R2中的模型通过统一的Transformer解码器来共同预测物体姿态和形状。这种设计整合了物体体积特征以实现更精确的物体定位，从而在各项指标上均取得了更好的性能。 --- ![Image](images/abde5546432964bca5c12c1334145c171c5b9c29c38670e209cf7491b0ff75d0.jpg)

Figure 4. Qualitative results of the proposed model on diverse benchmarks. The first row shows our results on the synthetic ObMan dataset. The second, third and fourth rows present our results on HO3D, DexYCB and MOW datasets respectively. The fifth row illustrates our performance on in-the-wild CORe50 images [^50]. The last row shows the results of our model on images captured by our mobile phone. Our approach can accurately reconstruct point clouds of hand-held objects from both synthetic and real-world images.

该模型将全局图像特征（即DI-NOv2中的[CLS]标记）与点云网络输出的三维手部特征拼接起来，作为输入送入多层感知机以进行翻译预测；另一个分支则用于生成点云，其设计与我们最终的稀疏解码器类似。相比之下，R2中的模型通过统一的Transformer解码器来共同预测物体姿态和形状。这种设计整合了物体体积特征以实现更精确的物体定位，从而在各项指标上均取得了更好的性能。密集点云解码器。我们在表2的最后四行进一步评估了粗到细策略以及密集点云解码器设计。在R3中，我们将稀疏点云的坐标与全局图像特征拼接后，再输入密集解码器。与缺少点云上采样步骤的R2相比，R3在重建性能上显示出显著提升。R4进一步用像素对齐特征替换了R3中使用的全局图像特征，从而提升了性能。如图3所示，R5还加入了手部特征，并在Transformer模型中整合了手部与物体上下文信息以实现物体点的上采样，最终在所有评估指标上取得了最佳结果。 #### 4.5. 与现有最先进方法的比较我们在四个基准数据集上将我们的方法与最先进的方法进行比较。图4展示了HORT模型在这些数据集上的一些定性示例。 ObMan。表3展示了在ObMan数据集上的全面比较结果，我们在两种测试场景下评估模型：分别使用真实手部姿态或估计的手部姿态作为输入。对于估计的手部姿态，我们遵循以往研究的做法[^25] [^95]，为ObMan训练一个手部姿态估计模型[^32]。在两种设置下，我们的方法均始终优于现有最先进的方法。与基于隐式函数的方法（即DDF-HO [^99]和gSDF [^16]）以及最近的D-SCO方法[^25]相比，我们的模型展现出显著优势。 HO3D。在表4的左侧部分，我们比较了在真实世界HO3D基准测试上不同方法的表现。我们使用现成的手部模型[^68]预测得到的手部姿态和相机参数，并从ObMan预训练模型出发对模型进行微调，以便与以往研究进行公平比较[^25] [^95] [^99]。在所有评估指标上，我们的模型始终优于以往的方法。与… ---

Table 5. Comparison with state-of-the-art methods on MOW. HORT achieves the best performance under both evaluation setup.

Methods	Fine-tune from ObMan			Multiple datasets
Methods	FS@5 $\uparrow$	FS@10 $\uparrow$	CD $\downarrow$	FS@5 $\uparrow$	FS@10 $\uparrow$	CD $\downarrow$
IHOI [^95]	0.13	0.24	49.8	-	-	-
DDF-HO [^99]	0.17	0.24	15.9	-	-	-
D-SCO [^25]	0.30	0.47	13.5	-	-	-
WildHOI [^69]	-	-	-	0.08	0.20	27.2
MCC-HO [^89]	-	-	-	0.15	0.31	15.2
HORT (Ours)	0.30	0.49	10.2	0.37	0.57	5.4

![Image](images/44acff9e5211fed51249e554e68adf5702e7c9629cd9aa6956d169e77f2b5d51.jpg)

Figure 5. Qualitative comparison with previous methods [^16] [^32]. D-SCO [^25], our approach achieves relative improvement of 14.3% and 23.5% for FS@10 and CD respectively.

DexYCB。表4的右侧部分展示了我们在DexYCB数据集上的实验结果。我们遵循以往研究[^25] [^99]的做法，使用专门在该数据集上训练的手部模型[^71]。如表4所示，我们的模型优于强大的基于视频的gSDF模型[^16]以及最先进的D-SCO方法[^25]，在FS@10和CD指标上表现更佳。 MOW。为了与以往研究进行公平比较，我们在MOW数据集上进行了两种设置下的实验。在第一种设置中[^25] [^95] [^99]，我们先在ObMan上预训练模型，再在MOW上微调。第二种设置[^89]则是将模型在DexYCB、HOI4D [^48]和MOW数据集上联合训练。如表5所示，我们的模型在两种设置下均优于以往的方法，证明了该方法在具有挑战性的YouTube样本上的鲁棒性。对自然场景图像的泛化能力。图4展示了我们的模型在CORe50图像[^50]（$\delta_{th}$行）以及我们用手机拍摄的图像（$\delta_{th}$行）上的表现。如表5所示，在DexYCB、HOI4D和MOW数据集上联合训练后，我们的模型能够对多样化的物体和纹理做出稳健的泛化。我们还在图5中对HORT与以往方法进行了定性比较[^16] [^32]，结果显示HORT能产生更令人信服的结果。关于我们对遮挡和失败情况的鲁棒性分析，请参阅附录。运行时对比。如表6所示，我们对比了在ObMan数据集上本方法与现有方法的运行时间和计算成本。推理速度

Table 6. Runtime comparison with previous methods on ObMan. HORT significantly reduces computational cost and accelerates model inference. We report the inference speed of our HORT algorithm both with and without the meshing step.

Methods	#points	#verts	GFLOPs $\downarrow$	Params $\downarrow$	fps $\uparrow$	fps mesh $\uparrow$	CD $\downarrow$
HO [^32]	N/A	0.6k	76	25M	55.2	55.2	6.4
GF [^38]	N/A	20k	6.4k	26M	0.37	0.37	13.9
IHOI [^95]	N/A	20k	5.9k	24M	0.37	0.37	10.2
AlignSDF [^14]	N/A	20k	6.6k	33M	0.48	0.48	9.2
gSDF [^16]	N/A	20k	6.7k	35M	0.44	0.44	8.8
DDF-HO [^99]	N/A	20k	8.9k	25M	0.35	0.35	1.4
D-SCO [^25]	16k	1k	-	-	0.08	-	1.1
HORT (Ours)	16k	1k	0.25k	366M	16.9	4.8	1.0

以及GFLOPs是在NVIDIA A100 GPU上针对包含手部预测的手持物体重建任务测量的。隐式方法在测试时需要对密集采样的点进行推理（即常规做法中的$128 \times 128 \times 128$），这会导致超过6000 GFLOPs的算力消耗。由于需要进行大量的去噪步骤，D-SCO [^25]甚至比隐式模型更慢。HO [^32]的速度虽然很快，但生成的3D重建结果质量较低。而我们的模型仅需258 GFLOPs就能实现稳健的性能，包括3D手部和物体重建在内，其运行帧率可达16.9 fps。点云与网格。给定重建后的点云，使用现成的算法[^22] [^39]来拟合网格十分简单。这一过程不会影响性能；例如，在DexYCB数据集上FS@10值仍保持在0.85。不过它会增加运行时间，使帧率从16.9 fps降至4.8 fps。即便如此，我们的模型仍比基于隐式函数的方法以及表6中所列的近期D-SCO [^25]方法快得多。 ### 5. 结论本研究提出了HORT，这是一种基于Transformer的框架，能够从单目RGB图像中重建手持物体的密集点云。我们的方法采用高效的自粗到精学习范式，首先生成稀疏的物体点云，再逐步将其优化为高保真的密集点云。为了进一步提升重建精度，我们提出将细粒度的3D手部几何特征与图像信息结合起来，用于联合预测物体姿态和点云，同时利用像素对齐的特征来进行上采样。我们在ObMan、HO3D、DexYCB和MOW四个基准测试上的全面实验一致表明，我们的方法优于现有方法。致谢：本研究得以使用IDRIS的高性能计算资源，该资源由GENCI分配的AD011013147项目提供支持。本研究部分由法国政府通过国家研究署资助，属于“法国2030”计划范畴，项目编号为ANR-23-IACL-0008（PR[AI]RIE-PSAI项目）；同时得到ANR项目VideoPredict（ANR-21-FAI1-0002-01）以及巴黎-法兰西岛大区在DIM AI4IDF框架下的资助。R.A. Potamias的部分研究得到了EPSRC项目GNOMON（EP/X011364）的支持。Cordelia Schmid感谢科尔伯欧洲科学奖对其研究的支持。 --- ## 参考文献 [^1]: Tristan Aumentado-Armstrong, Stavros Tsogkas, Sven Dickinson, and Allan D Jepson. Representing 3D shapes with probabilistic directed distance fields. In CVPR, 2022. [^2]: Seungryul Baek, Kwang In Kim, and Tae-Kyun Kim. Pushing the envelope for RGB-based dense 3D hand pose estimation via neural rendering. In CVPR, 2019. 2 [^3]: Luca Ballan, Aparna Taneja, Jürgen Gall, Luc Van Gool, and Marc Pollefeys. Motion capture of hands in action using discriminative salient points. In ECCV, 2012. 2 [^4]: Prithviraj Banerjee, Sindi Shkodrani, Pierre Moulon, Shreyas Hampali, Fan Zhang, Jade Fountain, Edward Miller, Selen Basol, Richard Newcombe, Robert Wang, et al. Introducing HOT3D: An egocentric dataset for 3D hand and object tracking. arXiv:2406.09598, 2024. [^5]: Adnane Boukhayma, Rodrigo de Bem, and Philip HS Torr. 3D hand shape and pose from images in the wild. In CVPR, 2019. 2 [^6]: Berk Calli, Arjun Singh, Aaron Walsman, Siddhartha Srinivasa, Pieter Abbeel, and Aaron M Dollar. The YCB object and model set: Towards common benchmarks for manipulation research. In ICAR, 2015. 5 [^7]: Zhe Cao, Ilija Radosavovic, Angjoo Kanazawa, and Jitendra Malik. Reconstructing hand-object interactions in the wild. In ICCV, 2021. 1, 2, 5, 14 [^8]: Angel X Chang, Thomas Funkhouser, Leonidas Guibas, Pat Hanrahan, Qixing Huang, Zimo Li, Silvio Savarese, Manolis Savva, Shuran Song, Hao Su, et al. ShapeNet: An information-rich 3D model repository. arXiv preprint arXiv:1512.03012, 2015. 5 [^9]: Yu-Wei Chao, Wei Yang, Yu Xiang, Pavlo Molchanov, Ankur Handa, Jonathan Tremblay, Yashraj S Narang, Karl Van Wyk, Umar Iqbal, Stan Birchfield, et al. DexYCB: A benchmark for capturing hand grasping of objects. In CVPR, 2021. 2, 5, 13, 14 [^10]: Yu-Wei Chao, Chris Paxton, Yu Xiang, Wei Yang, Balakumar Sundaralingam, Tao Chen, Adithyavairavan Murali, Maya Cakmak, and Dieter Fox. HandoverSim: A simulation framework and benchmark for human-to-robot object handovers. In ICRA, 2022. 1 [^11]: Xingyu Chen, Yufeng Liu, Chongyang Ma, Jianlong Chang, Huayan Wang, Tian Chen, Xiaoyan Guo, Pengfei Wan, and Wen Zheng. Camera-space hand mesh recovery via semantic aggregation and adaptive 2D-1D registration. In CVPR, 2021. 2 [^12]: Zhiqin Chen and Hao Zhang. Learning implicit fields for generative shape modeling. In CVPR, 2019. 1 [^13]: Zerui Chen, Yan Huang, Hongyuan Yu, Bin Xue, Ke Han, Yiru Guo, and Liang Wang. Towards part-aware monocular 3D human pose estimation: An architecture search approach. In ECCV, 2020. 2 [^14]: Zerui Chen, Yana Hasson, Cordelia Schmid, and Ivan Laptev. AlignSDF: Pose-Aligned signed distance fields for hand-object reconstruction. In ECCV, 2022. 1, 2, 3, 5, 6, 8, 13 [^15]: Zerui Chen, Yan Huang, Hongyuan Yu, and Liang Wang. Learning a robust part-aware monocular 3d human pose estimator via neural architecture search. IJCV, 2022. 2 [^16]: Zerui Chen, Shizhe Chen, Cordelia Schmid, and Ivan Laptev. gSDF: Geometry-driven signed distance functions for 3D hand-object reconstruction. In CVPR, 2023. 1, 2, 3, 4, 5, 6, 7, 8, 13 [^17]: Zerui Chen, Shizhe Chen, Etienne Arlaud, Ivan Laptev, and Cordelia Schmid. ViViDex: Learning vision-based dexterous manipulation from human videos. In ICRA, 2025. 1 [^18]: Jaesung Choe, Byeongin Joung, Francois Rameau, Jaesik Park, and In So Kweon. Deep point cloud reconstruction. In ICLR, 2022. 1 [^19]: Sammy Christen, Wei Yang, Claudia Pérez-D'Arpino, Otsmar Hilliges, Dieter Fox, and Yu-Wei Chao. Learning human-to-robot handovers from point clouds. In CVPR, 2023. 1 [^20]: Sammy Christen, Lan Feng, Wei Yang, Yu-Wei Chao, Otmar Hilliges, and Jie Song. SynH2R: Synthesizing hand-object motions for learning human-to-robot handovers. In ICRA, 2024. 1 [^21]: Dima Damen, Hazel Doughty, Giovanni Maria Farinella, Sanja Fidler, Antonino Furnari, Evangelos Kazakos, Davide Moltisanti, Jonathan Munro, Toby Perrett, Will Price, et al. Scaling egocentric vision: The EPIC-KITCHENS dataset. In ECCV, 2018. 1 [^22]: Herbert Edelsbrunner, David Kirkpatrick, and Raimund Seidel. On the shape of a set of points in the plane. IEEE Transactions on information theory, 1983. 8, 13 [^23]: Zicong Fan, Takehiko Ohkawa, Linlin Yang, Nie Lin, Zhishan Zhou, Shihao Zhou, Jiajun Liang, Zhong Gao, Xu-anyang Zhang, Xue Zhang, et al. Benchmarks and challenges in pose estimation for egocentric hand interactions with objects. In ECCV, 2024. 1 [^24]: Zicong Fan, Maria Parelli, Maria Eleni Kadoglou, Xu Chen, Muhammed Kocabas, Michael J Black, and Otmar Hilliges. HOLD: Category-agnostic 3D reconstruction of interacting hands and objects from video. In CVPR, 2024. 1,2 [^25]: Bowen Fu, Gu Wang, Chenyangguang Zhang, Yan Di, Ziqin Huang, Zhiying Leng, Fabian Manhardt, Xiangyang Ji, and Federico Tombari. D-SCo: Dual-stream conditional diffusion for monocular hand-held object reconstruction. In ECCV, 2024. 1, 2, 4, 5, 6, 7, 8, 13 [^26]: Kristen Grauman, Andrew Westbury, Eugene Byrne, Zachary Chavis, Antonino Furnari, Rohit Girdhar, Jackson Hamburger, Hao Jiang, Miao Liu, Xingyu Liu, et al. Ego4D: Around the world in 3,000 hours of egocentric video. In CVPR, 2022. 1 [^27]: Thibault Groueix, Matthew Fisher, Vladimir G Kim, Bryan C Russell, and Mathieu Aubry. A papier-mâché approach to learning 3D surface generation. In CVPR, 2018. [^28]: Shreyas Hampali, Mahdi Rad, Markus Oberweger, and Vincent Lepetit. HOnnotate: A method for 3D annotation of hand and object poses. In CVPR, 2020. 1, 2, 5, 13, 14 ## [^29]: Shreyas Hampali, Sayan Deb Sarkar, and Vincent Lepetit. HO3Dv3: Improving the accuracy of hand-object --- HO-3D数据集的标注信息。arXiv预印本arXiv:2107.00887，2021年。5 [^30]: Shreyas Hampali, Sayan Deb Sarkar, Mahdi Rad, and Vincent Lepetit. Keypoint Transformer: Solving joint identification in challenging hands and object interactions for accurate 3D pose estimation. In CVPR, 2022. 2 [^31]: Shreyas Hampali, Tomas Hodan, Luan Tran, Lingni Ma, Cem Keskin, and Vincent Lepetit. In-Hand 3D object scanning from an RGB sequence. In CVPR, 2023. 2 [^32]: Yana Hasson, Gul Varol, Dimitrios Tzionas, Igor Kalevatykh, Michael J Black, Ivan Laptev, and Cordelia Schmid. Learning joint reconstruction of hands and manipulated objects. In CVPR, 2019. 1, 2, 3, 4, 5, 6, 7, 8, 14 [^33]: Yana Hasson, Gül Varol, Cordelia Schmid, and Ivan Laptev. Towards unconstrained joint hand-object reconstruction from RGB videos. In 3DV, 2021. 1,2 [^34]: Tony Heap and David Hogg. Towards 3D hand tracking using a deformable model. In FG, 1996. 2 [^35]: Junxing Hu, Hongwen Zhang, Zerui Chen, Mengcheng Li, Yunlong Wang, Yebin Liu, and Zhenan Sun. Learning explicit contact for implicit reconstruction of hand-held objects from monocular images. In AAAI, 2024. 2 [^36]: Di Huang, Xiaopeng Ji, Xingyi He, Jiaming Sun, Tong He, Qing Shuai, Wanli Ouyang, and Xiaowei Zhou. Reconstructing hand-held objects from monocular video. In SIGGRAPH Asia, 2022. 1, 2 [^37]: Umar Iqbal, Pavlo Molchanov, Thomas Breuel Juergen Gall, and Jan Kautz. Hand pose estimation via latent 2.5D heatmap regression. In ECCV, 2018. 2 [^38]: Korrawe Karunratanakul, Jinlong Yang, Yan Zhang, Michael J Black, Krikamol Muandet, and Siyu Tang. Grasping Field: Learning implicit representations for human grasps. In 3DV, 2020. 1, 3, 5, 6, 8, 13 [^39]: Michael Kazhdan, Matthew Bolitho, and Hugues Hoppe. Poisson surface reconstruction. In SGP, 2006. 8 [^40]: Donghwan Kim and Tae-Kyun Kim. Multi-hypotheses conditioned point cloud diffusion for 3d human reconstruction from occluded images. NeurIPS, 2024. 2 [^41]: Diederik P Kingma and Jimmy Ba. Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980, 2014. 6 [^42]: Dominik Kulon, Haoyang Wang, Riza Alp Güler, Michael M. Bronstein, and Stefanos Zafeiriou. Single image 3D hand reconstruction with mesh convolutions. In BMVC, 2019. 2 [^43]: Dominik Kulon, Riza Alp Güler, I. Kokkinos, M. Bronstein, and S. Zafeiriou. Weakly-supervised mesh-convolutional hand reconstruction in the wild. In CVPR, 2020. 2 [^44]: Vincent Lepetit. Recent advances in 3D object and hand pose estimation. arXiv preprint arXiv:2006.05927, 2020. 2 [^45]: Kailin Li, Lixin Yang, Haoyu Zhen, Zenan Lin, Xinyu Zhan, Licheng Zhong, Jian Xu, Kejian Wu, and Cewu Lu. CHORD: Category-level hand-held object reconstruction via shape deformation. In ICCV, 2023. 2 [^46]: Mengcheng Li, Liang An, Hongwen Zhang, Lianpeng Wu, Feng Chen, Tao Yu, and Yebin Liu. Interacting attention graph for single image two-hand reconstruction. In CVPR, 2022. 2 [^47]: Kevin Lin, Lijuan Wang, and Zicheng Liu. End-to-end human pose and mesh reconstruction with transformers. In CVPR, 2021. 2 [^48]: Yunze Liu, Yun Liu, Che Jiang, Kangbo Lyu, Weikang Wan, Hao Shen, Boqiang Liang, Zhoujie Fu, He Wang, and Li Yi. HOI4D: A 4D egocentric dataset for category-level human-object interaction. In CVPR, 2022. 8 [^49]: Yumeng Liu, Xiaoxiao Long, Zemin Yang, Yuan Liu, Marc Habermann, Christian Theobalt, Yuexin Ma, and Wenping Wang. EasyHOI: Unleashing the power of large models for reconstructing hand-object interactions in the wild. In CVPR, 2025. 2 [^50]: Vincenzo Lomonaco and Davide Maltoni. CORe50: a new dataset and benchmark for continuous object recognition. In CoRL, 2017. 7, 8, 14 [^51]: William E Lorensen and Harvey E Cline. Marching Cubes: A high resolution 3D surface construction algorithm. TOG, 1987. 1 [^52]: Jun Lv, Wenqiang Xu, Lixin Yang, Sucheng Qian, Chongzhao Mao, and Cewu Lu. HandTailor: Towards high-precision monocular 3D hand recovery. In BMVC, 2021. 2 [^53]: Priyanka Mandikal and Kristen Grauman. DexVIP: Learning dexterous grasping with human hand pose priors from video. In CoRL, 2022. 1 [^54]: Dushyant Mehta, Helge Rhodin, Dan Casas, Pascal Fua, Oleksandr Sotnychenko, Weipeng Xu, and Christian Theobalt. Monocular 3D human pose estimation in the wild using improved CNN supervision. In 3DV, 2017. 6 [^55]: Luke Melas-Kyriazi, Christian Rupprecht, and Andrea Vedaldi. PC2: Projection-conditioned point cloud diffusion for single-image 3d reconstruction. In CVPR, 2023. 2 [^56]: Hao Meng, Sheng Jin, Wentao Liu, Chen Qian, Mengxiang Lin, Wanli Ouyang, and Ping Luo. 3D interacting hand pose estimation by hand de-occlusion and removal. In ECCV, 2022. 2 [^57]: Lars Mescheder, Michael Oechsle, Michael Niemeyer, Sebastian Nowozin, and Andreas Geiger. Occupancy Networks: Learning 3D reconstruction in function space. In CVPR, 2019. 1 [^58]: B Mildenhall, PP Srinivasan, M Tancik, JT Barron, R Ramamoorthi, and R Ng. NeRF: Representing scenes as neural radiance fields for view synthesis. In ECCV, 2020. 2 [^59]: Andrew T Miller and Peter K Allen. Graspit! a versatile simulator for robotic grasping. RAM, 2004. 5 [^60]: Gyeongsik Moon, Ju Yong Chang, and Kyoung Mu Lee. V2V-PoseNet: Voxel-to-voxel prediction network for accurate 3D hand and human pose estimation from a single depth map. In CVPR, 2018. 2 ### [^61]: Franziska Mueller, Florian Bernard, Oleksandr Sotnychenko, Dushyant Mehta, Srinath Sridhar, Dan Casas, and Christian Theobalt. Generated hands for real-time 3D hand tracking from monocular RGB. In CVPR, 2018. 2 --- [^62]: Franziska Mueller, Micah Davis, Florian Bernard, Oleksandr Sotnychenko, Mickeal Verschoor, Miguel A Otaduy, Dan Casas, and Christian Theobalt. Real-time pose and shape reconstruction of two interacting hands with a single depth camera. TOG, 2019. 2 [^63]: Alex Nichol, Heewoo Jun, Prafulla Dhariwal, Pamela Mishkin, and Mark Chen. Point-E: A system for generating 3D point clouds from complex prompts. arXiv preprint arXiv:2212.08751, 2022. 2 [^64]: Iason Oikonomidis, Nikolaos Kyriazis, and Antonis A Argyros. Full DOF tracking of a hand interacting with an object by modeling occlusions and physical constraints. In ICCV, 2011. 2 [^65]: Maxime Oquab, Timothée Darcet, Théo Moutakanni, Huy Vo, Marc Szafraniec, Vasil Khalidov, Pierre Fernandez, Daniel Haziza, Francisco Massa, Alaaeldin El-Nouby, et al. DINOv2: Learning robust visual features without supervision. arXiv:2304.07193, 2023. 4, 6 [^66]: Jeong Joon Park, Peter Florence, Julian Straub, Richard Newcombe, and Steven Lovegrove. DeepSDF: Learning continuous signed distance functions for shape representation. In CVPR, 2019. 1 [^67]: Georgios Pavlakos, Dandan Shan, Ilija Radosavovic, Angjoo Kanazawa, David Fouhey, and Jitendra Malik. Reconstructing hands in 3d with transformers. In CVPR, 2024. 2, 4 [^68]: Rolandos Alexandros Potamias, Jinglei Zhang, Jiankang Deng, and Stefanos Zafeiriou. WiLoR: End-to-end 3D hand localization and reconstruction in-the-wild. In CVPR, 2025. 2, 4, 7 [^69]: Aditya Prakash, Matthew Chang, et al. 3d reconstruction of objects in hands without real world 3d supervision. In ECCV, 2024. 8 [^70]: Charles R Qi, Hao Su, Kaichun Mo, and Leonidas J Guibas. PointNet: Deep learning on point sets for 3D classification and segmentation. In CVPR, 2017. 2, 4, 6 [^71]: Haozhe Qi, Chen Zhao, Mathieu Salzmann, and Alexander Mathis. HOISDF: Constraining 3D hand-object pose estimation with global signed distance fields. In CVPR, 2024. 1, 8 [^72]: Yuzhe Qin, Yueh-Hua Wu, Shaowei Liu, Hanwen Jiang, Ruihan Yang, Yang Fu, and Xiaolong Wang. DexMV: Imitation learning for dexterous manipulation from human videos. In ECCV, 2022. 1 [^73]: James M Rehg and Takeo Kanade. Visual tracking of high DOF articulated structures: an application to human hand tracking. In ECCV, 1994. 2 [^74]: Javier Romero, Dimitrios Tzionas, and Michael J. Black. Embodied Hands: Modeling and capturing hands and bodies together. TOG, 2017. 2, 4 [^75]: Yu Rong, Takaaki Shiratori, and Hanbyul Joo. FrankMocap: A monocular 3D whole-body pose estimation system via regression and integration. In ICCV, 2021. 2 [^76]: Dandan Shan, Jiaqi Geng, Michelle Shu, and David F Fouhey. Understanding human hands in contact at internet scale. In CVPR, 2020. 5 [^77]: Yang Song, Jascha Sohl-Dickstein, Diederik P Kingma, Abhishek Kumar, Stefano Ermon, and Ben Poole. Score-based generative modeling through stochastic differential equations. In ICLR, 2021. 2 [^78]: Adrian Spurr, Aneesh Dahiya, Xi Wang, Xucong Zhang, and Otmar Hilliges. Self-supervised 3D hand pose estimation from monocular RGB via contrastive learning. In ICCV, 2021. 2 [^79]: Xiao Sun, Bin Xiao, Fangyin Wei, Shuang Liang, and Yichen Wei. Integral human pose regression. In ECCV, 2018. [^80]: Danhang Tang, Hyung Jin Chang, Alykhan Tejani, and Tae-Kyun Kim. Latent regression forest: Structured estimation of 3D articulated hand posture. In CVPR, 2014. 2 [^81]: Maxim Tatarchenko, Stephan R Richter, René Ranftl, Zhuwen Li, Vladlen Koltun, and Thomas Brox. What do single-view 3D reconstruction networks learn? In CVPR, 2019. 5 [^82]: Bugra Tekin, Federica Bogo, and Marc Pollefeys. H+O: Unified egocentric recognition of 3D hand-object poses and interactions. In CVPR, 2019. 2 [^83]: Tze Ho Elden Tse, Kwang In Kim, Ales Leonardis, and Hyung Jin Chang. Collaborative learning for hand and object reconstruction with attention-guided graph convolution. In CVPR, 2022. 2, 3 [^84]: Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. In NeurIPS, 2017. 2, 5 [^85]: Jiayi Wang, Franziska Mueller, Florian Bernard, Suzanne Sorli, Oleksandr Sotnychenko, Neng Qian, Miguel A Otaduy, Dan Casas, and Christian Theobalt. RGB2Hands: Real-time tracking of 3D hand interactions from monocular RGB video. TOG, 2020. 2 [^86]: Jikai Wang, Qifan Zhang, Yu-Wei Chao, Bowen Wen, Xiaohu Guo, and Yu Xiang. HO-Cap: A capture system and dataset for 3D reconstruction and pose tracking of hand-object interaction. arXiv:2406.06843, 2024. 2 [^87]: Yanggang Wang, Jianyuan Min, Jianjie Zhang, Yebin Liu, Feng Xu, Qionghai Dai, and Jinxiang Chai. Video-based hand manipulation capture through composite motion control. TOG, 2013. [^88]: Bowen Wen, Jonathan Tremblay, Valts Blukis, Stephen Tyree, Thomas Müller, Alex Evans, Dieter Fox, Jan Kautz, and Stan Birchfield. BundleSDF: Neural 6-DoF tracking and 3D reconstruction of unknown objects. In CVPR, 2023. [^89]: Jane Wu, Georgios Pavlakos, Georgia Gkioxari, and Jitendra Malik. Reconstructing hand-held objects in 3D. arXiv:2404.06507, 2024. 2, 6, 8 [^90]: Peng Xiang, Xin Wen, Yu-Shen Liu, Yan-Pei Cao, Pengfei Wan, Wen Zheng, and Zhizhong Han. SnowflakeNet: Point cloud completion by snowflake point deconvolution with skip-transformer. In ICCV, 2021. 5 #### [^91]: Fu Xiong, Boshen Zhang, Yang Xiao, Zhiguo Cao, Taidong Yu, Joey Tianyi Zhou, and Junsong Yuan. A2J: Anchor-to-joint regression network for 3D articulated pose estimation from a single depth image. In ICCV, 2019. 2 --- [^92]: Lixin Yang, Xinyu Zhan, Kailin Li, Wenqiang Xu, Jiefeng Li, and Cewu Lu. CPF: Learning a contact potential field to model the hand-object interaction. In ICCV, 2021. 1, 2 [^93]: Lixin Yang, Kailin Li, Xinyu Zhan, Jun Lv, Wenqiang Xu, Jiefeng Li, and Cewu Lu. ArtiBoost: Boosting articulated 3D hand-object pose estimation via online exploration and synthesis. In CVPR, 2022. 5 [^94]: Lixin Yang, Kailin Li, Xinyu Zhan, Fei Wu, Anran Xu, Liu Liu, and Cewu Lu. OakInk: A large-scale knowledge repository for understanding hand-object interaction. In CVPR, 2022. 2 [^95]: Yufei Ye, Abhinav Gupta, and Shubham Tulsiani. What's in your hands? 3D reconstruction of generic objects in hands. In CVPR, 2022. 1, 2, 3, 5, 6, 7, 8 [^96]: Yufei Ye, Poorvi Hebbar, Abhinav Gupta, and Shubham Tulsiani. Diffusion-guided reconstruction of everyday hand-object interaction clips. In ICCV, 2023. 1, 2, 3 [^97]: Frank Yu, Mathieu Salzmann, Pascal Fua, and Helge Rhodin. PCLs: Geometry-aware neural reconstruction of 3D pose with perspective crop layers. In CVPR, 2021. 6 [^98]: Shanxin Yuan, Guillermo Garcia-Hernando, Björn Stenger, Gyeongsik Moon, Ju Yong Chang, Kyoung Mu Lee, Pavlo Molchanov, Jan Kautz, Sina Honari, Liuhao Ge, Junsong Yuan, Xinghao Chen, Guijin Wang, Fan Yang, Kai Akiyama, Yang Wu, Qingfu Wan, Meysam Madadi, Sergio Escalera, Shile Li, Dongheui Lee, Iason Oikonomidis, Antonis Argyros, and Tae-Kyun Kim. Depth-based 3D hand pose estimation: From current achievements to future goals. In CVPR, 2018. 2 [^99]: Chenyangguang Zhang, Yan Di, Ruida Zhang, Guangyao Zhai, Fabian Manhardt, Federico Tombari, and Xiangyang Ji. DDF-HO: hand-held object reconstruction via conditional directed distance field. In NeurIPS, 2024. 1, 2, 3, 5, 6, 7, 8 [^100]: Jinglei Zhang, Jiankang Deng, Chao Ma, and Rolandos Alexandros Potamias. HaWoR: World-space hand motion reconstruction from egocentric videos. In CVPR, 2025. 2 [^101]: Zhifan Zhu and Dima Damen. Get a grip: Reconstructing hand-object stable grasps in egocentric videos. arXiv:2312.15719, 2023. 1, 2 #### [^102]: Christian Zimmermann and Thomas Brox. Learning to estimate 3D hand pose from single RGB images. In ICCV, 2017. 2 --- ### 附录在附录中，我们提供了模型架构的更多细节以及补充实验结果。我们首先在第A节介绍模型架构的细节，随后在第B节讨论额外的实验结果。 #### A. 网络架构 #### A.1. PointNet编码器 ![Image](images/049fdcb03f5420935a30a1d006a4f1b5b153950f0bff9f7b3cd4c6d07f1ec8d9.jpg)

Figure 6. Network architecture used for our PointNet encoder. We use five fully-connected layers for efficiency. The number in the box denotes the dimension of features.

如图6所示，我们采用五个全连接层来构建高效的PointNet编码器。它接收转换到不同手部坐标系下的点云（$e_h \in \mathbb{R}^{778 \times 67}$），并为稀疏点云解码器输出1024维的全局特征$f_h \in \mathbb{R}^{1024}$。 #### A.2. 密集点云解码器 ![Image](images/ae5d70b28eed28e490688ba34af6cbe2a0c836656c91efa619df2aba11ddb5d0.jpg)

Figure 7. Network architecture used for reconstructing dense object point clouds. Given the input point clouds and its corresponding image features, the network performs point clouds upsampling. The number in the box denotes the dimension of features.

图7展示了用于重建密集物体点云的网络架构。给定输入点云$p_o \in \mathbb{R}^{N \times 3}$和对齐的图像特征$f_o \in \mathbb{R}^{N \times 128}$，我们首先对$p_o$应用卷积层和最大池化操作，然后将处理后的特征与$f_o$进行拼接。正如主论文中所讨论的，我们对预测的手部顶点$v_h$执行相同的操作，从而为每个物体点赋予其周围的手部上下文信息。接下来，我们通过双线性插值对输入的物体点云进行上采样，并利用Transformer模型来预测初始上采样后的物体点的3D偏移量。如图7所示，我们的模型由两个连续的模块组成，它们逐步将稀疏点云$p_o^s \in \mathbb{R}^{2048 \times 3}$上采样为密集物体点云$p_o^d \in \mathbb{R}^{16384 \times 3}$。 ![Image](images/ece860f70471e663c6a195e01c08f53d6b5117181659c471d53d6a2514228365.jpg)

Figure 8. Qualitative results of reconstructed object meshes produced by our approach on HO3D [^28] and DexYCB [^9] datasets.

Table 7. Comparison with previous methods on DexYCB.

Methods		mesh	FS@5 $\uparrow$	FS@10 $\uparrow$	CD $\downarrow$	Cr $\uparrow$	Pd $\downarrow$
R1	GF [^38]	☑	0.39	0.66	4.5	0.96	0.92
R2	AlignSDF [^14]	☑	0.41	0.68	3.9	0.97	1.08
R3	gSDF [^16]	☑	0.44	0.71	3.4	0.95	0.94
R4	D-SCO [^25]	✗	0.63	0.82	1.3	-	-
R5	HORT (Ours)	✗	0.63	0.85	1.1	0.98	0.90
R6	HORT (Ours)	☑	0.62	0.85	1.1	0.98	0.90

Table 8. Ablation studies of hand accuracy on DexYCB dataset.

Methods	Noise	$E_{h}\downarrow$	FS@5 $\uparrow$	FS@10 $\uparrow$	CD $\downarrow$	$C_{r}\uparrow$	$P_{d}\downarrow$
HORT (Ours)	$\sigma=0.0$	0.00	0.64	0.88	1.0	0.98	0.88
HORT (Ours)	$\sigma=0.1$	7.67	0.60	0.85	1.3	0.96	0.93
HORT (Ours)	$\sigma=0.5$	36.11	0.54	0.79	1.6	0.91	1.02

#### B. 实验结果 #### B.1. 物体网格重建结果在需要时，我们可以轻松地将重建的物体点云转换为网格。如图8所示，我们采用Open3D库中实现的alpha shapes算法[^22]来生成高保真的物体网格。表7展示了我们对点云和网格预测的定量分析。在这里，我们使用DexYCB [^9]数据集上不同方法的预测手部姿态。与R5中对点云的评估相比，R6对物体网格进行评估并取得了类似的定量性能，这进一步证明了我们的点云表示的灵活性与高效性。此外，与以往的方法相比，HORT能够生成更符合物理规律的手部-物体配置，并且在接触比率（Cr）和穿透深度（Pd）方面取得了更好的结果。 #### B.2. 3D重建密度的比较图9从定性角度对比了我们重建的稀疏和密集物体点云。我们发现，重建的稀疏和密集点云在物体的整体形状上保持一致。我们的密集点云包含 --- ![Image](images/7b854a8e0568c40b003629fcee21dac9cc4da2ff9dcb834e59b0e1822c1797bc.jpg)

Figure 9. Qualitative comparison of our reconstructed sparse and dense object point clouds on HO3D and DexYCB datasets.

![Image](images/56c15080c011fb80d4b4383b475089bd5ada26de009f60362571436f3704f4f3.jpg)

Figure 10. Failure cases on MOW [^7] and CORe50 [^50] images.

more surface details for the manipulated object.

#### B.3. 不完美手部姿态的影响表8通过向真实手部姿态逐渐添加高斯噪声，来剖析手部精度对我们模型的影响。结果显示，随着噪声的增加，手部关节误差$E_{h}$从7.67毫米增大到36.11毫米。我们的HORT模型对含噪的手部姿态具有鲁棒性，仍能重建出合理的手持物体3D模型。 #### B.4. 额外的定性结果在本节中，我们在图11中展示了额外的定性示例，以证明我们的方法能在各种复杂场景中生成高质量的3D重建结果。我们的模型在合成的ObMan [^32]数据集以及真实的HO3D [^28]和DexYCB [^9]数据集上均表现优异。此外，我们还证明该模型能在自然场景下的CORe50 [^50]图像上生成可靠的预测结果，这凸显了HORT模型在不受约束的环境中有效泛化到不同物体实例和纹理的能力。图12表明，我们重建的结果在时间上具有一致性，且对手部遮挡具有鲁棒性。 ![Image](images/6836a09aac69ded63a001c0bb64cde4e79c3dc494a68680efb0ef2f17a99a4cd.jpg)

Figure 11. Qualitative results of HORT on synthetic ObMan [^32], indoor HO3D [^28] and DexYCB [^9], and in-the-wild CORe50 [^50] images. Our model shows impressive results on all these domains.

![Image](images/a3c36f91c14a68805c9fb2be58c93fdff1a58577980495f7f7cfafdfa9c87354.jpg)

Figure 12. Qualitative analysis on DexYCB datasets.

#### B.5. 失败案例分析尽管HORT取得了令人瞩目的成果，但当手部被严重遮挡时（图10，顶部），它难以准确推断手部-物体配置；对于罕见物体，它也无法恢复其精细的几何结构（图10，底部）。扩大训练数据中物体种类和抓取姿态的范围，或许有助于缓解这些局限性。