# HOSt3R：基于RGB图像的无关键点手-物体三维重建 Anilkumar Swamy $^{1,2}$ Vincent Leroy $^{1}$ Philippe Weinzaepfel $^{1}$ Jean-Sébastien Franco $^{2}$ Grégory Rogez $^{1}$ $^{1}$NAVER LABS Europe $^{2}$、格勒诺布尔阿尔卑斯大学Inria研究中心 ## 摘要 手-物体三维重建在人机交互以及沉浸式AR/VR体验等应用中发挥着越来越重要的作用。从RGB序列中进行与物体无关的手-物体重建的常用方法是采用两阶段流程：先进行手-物体三维跟踪，再进行多视图三维重建。然而，现有方法依赖于关键点检测技术，比如运动恢复结构（SfM）和手部关键点优化，这类技术在面对形状多样的物体、纹理较弱的物体以及手-物体相互遮挡的情况时表现不佳，限制了其可扩展性和泛化能力。为了实现通用且无缝、非侵入式的应用，我们在本研究中提出了一种鲁棒的无关键点检测方法，能够从单目运动视频/图像中估计手-物体的三维变换关系。我们进一步将其与多视图重建流程相结合，以精确还原手-物体的三维形状。我们的方法名为HOSt3R，它不受任何约束，无需依赖预先扫描的物体模板或相机内参，在SHOWMe基准测试上，其在物体无关的手-物体三维变换及形状估计任务中取得了最先进的性能。我们还在HO3D数据集的序列上进行了实验，证明了该方法对未见过的物体类别也具有泛化能力。 ### 1. 引言 理解和重建三维空间中的手-物体交互是一项具有广泛应用前景的关键挑战，涉及机器人技术、增强/虚拟现实（AR/VR）以及人机交互等领域。无论是实现自然用户界面、沉浸式体验，还是保障协作场景下的安全物体操控，对手部和物体的精确三维重建都至关重要。为应对这一挑战，我们提出了一种两阶段流程，包括手-物体变换估计和多视图重建，旨在利用捕捉刚性手-物体运动的单目视频或图像实现鲁棒的手-物体重建（见图1）。 ![Image](images/1c92a75389eb1ead9c639fdac03a7b92782812b44abf792d925d9c7dc4972a95.jpg)
Figure 1. Qualitative Hand-Object reconstructions on the HO3D dataset. The first column is an RGB frame of the input sequence, followed by 3 different views of the reconstructed hand-object shape using HOS $_{3R}$, our proposed method.
传统的手-物体三维重建方法通常依赖多阶段流程，包括参数化手部模型预测、关键点检测以及运动恢复结构（SfM）。尽管在受控环境下这些方法效果显著，但应用于复杂的现实场景时却存在明显局限，尤其是在处理遮挡、动态环境、纹理均匀以及物体形状多样等问题时。因此，迫切需要更鲁棒、更具可扩展性的解决方案，来应对这些挑战，同时摆脱基于模板的方法的限制。 --- ![Image](images/75b1fa87f69c7f2d70de8fc531cb8e3e7269565452b254ec43d1d13e15208444.jpg)
Figure 2. Keypoint-free hand-object 3D reconstruction: Given a monocular video sequence of a hand-object motion with an unknown object, our method reconstructs high-fidelity 3D hand-object surfaces. Each row shows one sequence of the SHOWMe dataset: the input image followed by three views of the reconstructed normals. Best viewed in color.
在本研究中，我们提出了一种无需关键点检测的新型手-物体重建方法，以解决上述挑战，该方法具备更好的可扩展性和泛化能力。 现有的手-物体重建方法通常假设存在已知的物体模板[12, 15, 16, 18, 20, 23, 40–42]，这限制了它们在无法获取此类模板的野外场景中的应用。另一些方法[^4] [^5] [^13] [^19]虽然不需要已知的物体模板，但它们是在包含有限种类物体的数据集上训练的，因此对未见过的物体的泛化能力较差。更近期的方法[^42] [^43]试图通过学习六类物体的形状先验，并利用这些先验来进行手-物体形状重建，从而克服这一局限。不过，尽管这些方法提升了对新物体的泛化能力，但重建出的形状往往缺乏高保真度。 近期的一些研究[^11] [^17] [^31] [^32]展示了两阶段流程在手-物体重建中的潜力：先基于关键点进行手和物体的6自由度跟踪，再利用隐式神经表示进行多视图重建。6自由度跟踪的质量对于实现精细的3D手-物体重建至关重要。例如，[^17]利用3D手部关键点进行6自由度跟踪，而[^11] [^31]则采用从运动恢复结构流程中得到的姿态信息。相比之下，在[^32]中，我们提出了一种鲁棒的手-物体变换估计技术，该技术在面对体积小、纹理均匀或存在遮挡的物体等具有挑战性的场景时表现优异，但在应用于新数据集或不同环境时需要微调。 在这项工作中，我们提出了一种用于从单目手-物体运动视频中进行手-物体3D重建的无关键点框架。我们的方法名为$HOSt3R$，其灵感来源于近期在场景级重建领域取得的进展，并针对手-物体交互的挑战进行了专门设计。$HOSt3R$旨在解决现有方法的关键局限，比如在无纹理物体存在、手-物体相互遮挡以及背景或相机内参变化的情况下会出现失效问题，这些问题常常阻碍基于关键点的流程[^11] [^17] [^31] [^32]。 我们首先为成对的输入图像估算密集的3D点图（即每个像素对应的3D点）。 --- 利用这些点图，我们计算图像对之间的相对姿态，随后通过对所有姿态取平均值来恢复全局的手-物体变换关系。这些变换关系被用来初始化一个神经隐式模型，该模型利用可微体积技术来共同优化手-物体的形状和运动。 我们以DUSt3R[^36]为基础，将其两阶段点图估计与对齐策略适配到更为复杂的手-物体场景当中。虽然DUSt3R在3D场景重建领域取得了突破性成果，但它对场景图优化的依赖导致了较高的内存需求，因此难以应用于大型数据集或长视频序列。我们通过专注于手-物体像素的成对点云估计，随后进行姿态平均，来解决这一局限，从而使我们的方法能够高效扩展，无需承担完整场景图优化的内存开销。通过将成对估计网络与姿态平均框架相结合，我们能够处理更长的序列。最后，我们将多视图重建流程中计算出的变换关系纳入其中，以进一步提升重建出的手-物体形状的精度和细节，相关示例见图2。 总而言之，我们的主要贡献如下： 1. 我们提出了一种无需关键点的手-物体变换估计框架，该框架对各类物体和相机参数变化具有鲁棒性。 2. 我们将估计出的手-物体变换集成到多视角重建流程中，从而实现无需模板的手-物体三维形状重建。 3. 我们在SHOWMe基准测试中评估了所提出手-物体重建方法的性能。 4. 我们还验证了所提框架在HO3D数据集上的泛化能力。 ### 2. 相关工作 手-物体重建方法。从单张RGB图像或单目视频中进行手-物体（HO）重建面临诸多挑战，原因在于手与物体之间的相互遮挡、复杂的运动，以及物体形状和外观的多样性。深度信息的可用性或已知的3D物体模型有助于形状估计。早期研究[^1] [^24] [^34] [^35] [^44]利用RGB-D或多视角输入来简化重建过程，但近年来的研究重点已转向利用单目RGB图像来实现类似效果。 手-物体重建方法大致可分为两类：基于参数模型的技术和基于隐式表示的方法。基于参数模型的方法[^3] [^14] [^20] [^22] [^26] [^28]通常依赖预定义的物体模板或特定类别的模型来估计手和物体的姿态。部分方法将参数模型与隐式表示相结合[^4] [^42]以提升重建细节。例如，[^42]假设已知3D模板，并采用有符号距离函数（SDFs）来更精确地重建手和物体形状。同样，[^27]分别为手和物体形状构建模型，但这种方法需要相机校准和在线训练，因此仅能用于已知的物体模板。 相比之下，基于隐式表示的方法[^19] [^27]将形状表示为连续函数，能够实现更灵活、更具表现力的重建。例如，[^4]无需依赖预定义模板即可重建通用的手持物体，不过该方法在应对不同物体几何形状时泛化能力较差。这些方法在形状泛化方面存在局限，因为它们往往需要在特定的物体集上训练[^19]。 基于单目视频的方法在联合手-物体重建领域也受到了关注。例如，[^15]利用随时间变化的光度一致性来提高精度，而[^16]则探索了基于优化的方法。[^22]利用时空一致性来选择用于自训练的伪标签。不过，这些方法的一个主要局限是在推理阶段依赖物体模板网格，这实际上将重建任务简化为6自由度姿态估计问题。相比之下，我们的方法无需物体模板，就能高精度地重建任意手-物体形状。 基于关键点的手-物体变换。大多数从多张RGB图像进行手-物体重建的方法[^11] [^17] [^31] [^43]都遵循两阶段流程：(i) 手-物体变换估计；(ii) 根据得到的变换进行形状估计。任何利用检测到的2D手部关键点[^25] [^29] [^37]或图像上的显著关键点[^30]来估计手-物体变换的方法，都被视为基于关键点的方法。 一些研究[^17] [^31] [^43]采用现成的手部关键点检测器[^29] [^37]来计算初始的手-物体变换。当手部可见时（通常出现在涉及小物体的序列中），这些方法表现良好；但当手部被较大物体遮挡时，它们就会失效。其他方法[^11] [^31]则依赖于基于检测到的图像关键点的运动恢复结构（SfM）流程。 虽然这种策略在具有纹理或特征丰富的物体的场景中效果显著，但在物体较小或纹理均匀的情况下，由于缺乏显著特征，它会失效。与这些基于关键点的方法不同，我们提出了一种不依赖关键点检测的方法。我们估算密集的3D点图，其中每个像素都与一个3D点相关联，然后解决2D到3D的匹配问题。即便没有明显的关键点，这也能实现稳健的姿态估计。 --- 无需关键点的手-物体变换。手-物体重建领域的一个新兴方向是直接回归相机参数[^38] [^39]，以此作为全局光度优化的初始化[^31] [^32]。在物体较小或纹理均匀的场景中，这种方法通常比基于关键点的方法具有更好的性能和鲁棒性。然而，直接进行姿态回归仍然颇具挑战性且容易出错，因为它必须分离相机内参、外参与底层3D场景结构之间的复杂相互作用[^36]。为解决这一问题，我们从[^36]中获得灵感，通过点图回归来处理姿态预测：这是对这三个量的简单过度参数化，便于训练和推理，具备强大的鲁棒性和泛化能力。 ### 3. 刚性变换估计框架 #### 3.1. 成对点图估计网络 点图。点图$X \in \mathbb{R}^{W \times H \times 3}$是一种逐像素的预测，其中每个预测结果代表空间中的一个3D点。当它与分辨率为$W \times H$的对应RGB图像I相关联时，该点图便在图像像素与场景中的3D点之间建立了直接且唯一的映射关系。具体而言，对于图像中由坐标$(i, j)$索引的每个像素，都存在一个对应的3D点$X_{i,j}$，因此图像中的每个像素$I_{i,j}$都与一个3D点$X_{i,j}$唯一关联。形式上，这可以表示为对所有像素坐标$I_{i,j} \leftrightarrow X_{i,j}$而言都有$i, j \in \mathbb{N}^{W \times H}$。这种映射假设每条相机光线恰好与一个3D点相交，这意味着涉及半透明或透明表面的情形——即相机光线可能穿过多个3D点的情况——在此不予考虑。因此，点图提供了一种对场景3D结构的直观表示，图像中的每个像素都对应3D空间中的一个唯一位置。这一假设简化了点图的解读与处理。 为了利用强监督信号训练网络，我们需要为每张输入图像提供真实的点图。为此，我们考虑一台内参由矩阵$K \in \mathbb{R}^{3 \times 3}$定义的相机。给定该矩阵，观测场景的点图X可直接从真实深度图$D \in \mathbb{R}^{W \times H}$计算得出，其中W和H分别为图像的宽度和高度。点图X与深度图D之间的关系如下： $$ X_{i,j}=K^{-1}\begin{bmatrix}i D_{i,j}\\ j D_{i,j}\\ D_{i,j}\end{bmatrix}. $$ 此处，$(i, j) \in \mathbb{N}^{W \times H}$表示图像中的x-y像素坐标，而X是以相机坐标系表示的。 此外，我们将$X^{n,m}$表示为来自相机n、以图像m的参考系为基准的点图$X^{m}$。这种变换可由下式描述： $$ X^{n,m}=P_{m}P_{n}{}^{-1}H(X^{n}), $$ 其中，$P^m, P^n \in \mathbb{R}^{3 \times 4}$分别是视图m和n的世界到相机位姿矩阵，而$H : (x, y, z) \to (x, y, z, 1)$则是齐次坐标映射。 点图估计网络。我们构建了一个成对… 点图估计网络f，它接收两张RGB输入… 图像$I_1, I_2 \in \mathbb{R}^{W \times H \times 3}$作为输入，并生成两个对应… 响应点图 $X^{1,1}$、$X^{2,1} \in \mathbb{R}^{W \times H \times 3}$，以及 相关的置信度图 $C^{1,1}, C^{2,1} \in \mathbb{R}^{W \times H}$。需要注意的是， 这两类点图都是在同一个参考坐标系下表示的， 这样才能确保生成结果的一致性，其中 $I_1$ 也处于同一参考坐标系下。 生成的输出。网络 f 的架构受到启发 [^36]用于跨视角图像补全任务， 而 [^38] 则用于2D到3D的匹配问题。 两者 [^38] 和 [^36]。[^38] 被训练用于跨视角图像 补全，而 [^36] 被训练用于 2D 到 3D 匹配问 题。我们遵循相同的架构用于成对 pointmap 估计，如图 3 所示。网络 f 由 两个对称分支，每个图像对应一个，包含 一个图像编码器、解码器，然后是回归模块 称为“Head”，由一系列 MLP 层组成。两个输入 图像首先被划分为相同数量的 patch，这些 patch 由 尺寸为 $16 \times 16$。随后这些图像块会经过一个 共享 ViT 编码器 [^10] 来计算 patch embedding（也 被称为“token”的表示形式 $E_1$ 和 $E_2$： $$ E_{1}=E n c o d e r(I_{1}),\quad E_{2}=E n c o d e r(I_{2}). $$ 解码器是一个包含交叉注意力层和自注意力层的Transformer网络。在自注意力机制中，每个token会关注同一视图中的其他所有token；而在交叉注意力机制中，来自第一个视图的token会关注第二个视图中的其他所有token。解码器模块由多个独立的解码器块组成，且两个图像解码器之间始终共享信息： $$ Z_{i}^{1}=\operatorname{D e c o d e r B l o c k}_{i}^{1}\left(Z_{i-1}^{1},Z_{i-1}^{2}\right), $$ $$ Z_{i}^{2}=\operatorname{D e c o d e r B l o c k}_{i}^{2}\left(Z_{i-1}^{2},Z_{i-1}^{1}\right), $$ 对于 $i = 1, \ldots, B$，对于具有 B 个块的解码器，并用编码器 token $Z_0^1 := E^1$ 和 $Z_0^2 := E^2$ 初始化。这里，DecoderBlock $_i^v$ $(Z^1, Z^2)$ 表示分支 $v \in \{1,2\}$ 中的第 i 个块，$Z^1$ 和 $Z^2$ 是输入 token，$D^2$ 是来自另一分支的 token。最后，每个图像解码器块的输出随后被送入“Head” MLP 网络以回归 --- ![Image](images/69d38721307d74af97a03291a42bca7b38e7159b8f6e4153eeba7d2a4ab41aef.jpg)
Figure 3. Pairwise pointmaps estimation network. Given two views of the same hand-object pair $(I_{1}, I_{2})$, the network processes both views through a shared Vision Transformer (ViT) encoder. Each view's features are decoded using distinct decoders that share mutual information. These features are then passed through the 'Head' module to predict the pointmap X and the confidence score map C for each view. The pointmaps for both views are predicted within the coordinate system of the first view's image, and the network is trained by minimizing the error between the ground truth and the predicted pointmaps.
得到点图以及对应的置信度图： $$ X^{1,1},C^{1,1}=\mathrm{H e a d}^{1}\left(Z_{0}^{1},\ldots,Z_{B}^{1}\right), $$ $$ X^{2,1},C^{2,1}=\mathrm{H e a d}^{2}\left(Z_{0}^{2},\ldots,Z_{B}^{2}\right). $$ 训练目标。网络f的训练采用包含置信度相关项的3D点回归损失函数。 该损失函数基于标准的回归损失 $\ell_{\text{reg}}$，即利用真实点图与预测点图之间的欧几里得距离。设真实点图为 $\tilde{X}^{1,1}$ 和 $\tilde{X}^{2,1}$，对应有两组手-物体像素 $\mathcal{D}^1$、$\mathcal{D}^2 = \{i^1, \ldots, i^L\}$，真实值即定义在这两组像素上。对于手-物体掩码M，在视图 $v \in \{1,2\}$ 中的像素i，其回归损失定义如下： $$ \ell_{\mathrm{r e g r}}(v,i)=M_{i}\cdot|\frac{X_{i}^{v,1}}{z}-\frac{\bar{X}_{i}^{v,1}}{\bar{z}}|. $$ $M_i$ 用于指示该像素属于手-物体（$M_i = 1$）还是背景（$M_i = 0$）。若 $M_i = 0$ 成立，则该像素在损失计算中被忽略。我们通过缩放因子对预测点图和真实点图进行归一化处理，以解决两者之间的尺度差异问题。真实点图和预测点图对应的缩放因子分别为 $z = \text{norm}(X^{1,1}, X^{2,1})$ 和 $\tilde{z} = \text{norm}(\tilde{X}^{1,1}, \tilde{X}^{2,1})$。这本质上就是将点图表示为各点到原点的距离： $$ \mathrm{norm}(X^{1},X^{2})=\frac{1}{|\mathcal{D}^{1}|+|\mathcal{D}^{2}|}\sum_{v\in\{1,2\}}\sum_{i\in\mathcal{D}^{v}}\|X_{i}^{v}\|. $$ 为了使 $\ell_{reg}$ 具备置信度感知能力，我们允许对每个像素的分数进行联合预测，该分数反映了点云预测的置信程度。最终损失即为公式(8)中所定义的、基于置信度加权的回归损失，适用于所有手部和物体像素： $$ \ell_{\mathrm{conf}}=\sum_{v\in\{1,2\}}\sum_{i\in\mathcal{D}^{v}}C_{i}^{v,1}\ell_{\mathrm{regr}}(v,i)-\alpha\log C_{i}^{v,1}, $$ 此处，$C_{i}^{v,1}$ 代表第i个像素预测的置信度得分，而 $\sigma$ 则是用于控制置信度得分正则化程度的超参数，其实际定义为 #### 3.2. 根据点图计算相对位姿 来自两个视图的对齐点图具有多项实用特性：它们处于同一坐标系下、空间上对齐且保持像素级对应关系。因此，可以利用这些估计出的点图来计算两个视图间的相对位姿。给定两幅图像 $I_1$ 和 $I_2$，以及对应的估计点图 $X^{1,1}$ 和 $X^{2,1}$（位于 $I_1$ 坐标系中），我们可以按如下方式计算两视图间的相对位姿： 1. 根据深度计算焦距 $(X_{z}^{1,1})$： $$ f=\operatorname{e s t i m a t e F o c a l L e n g t h}(X_{z}^{1,1}). $$ 2. 将主点设置在图像中心： $$ (c_{x},c_{y})=\left(\frac{W}{2},\frac{H}{2}\right), $$ --- ![Image](images/f3012fd8096f24d6f1a5987f4068bcd23ccb89245040824871e80ef665c170da.jpg)
Figure 4. Pose averaging is a process of estimating absolute poses from a set of relative poses. In the graph, each node $R_{k}$ represents absolute transformation (rotation and translation) to be optimized, edges represent the measured relative transformation $R_{ij}$. Pose averaging over this graph yields global absolute hand-object transformations of all nodes, plotted as red camera cones in a single coordinate frame.
其中，W和H分别表示图像的宽度和高度。 3. 用RANSAC求解PnP问题：为了估计两个视图之间的相对位姿，使用RANSAC来求解PnP（透视-点）问题： $$ [R,t]=\mathrm{P n P\_{R} A N S A C}\left(\mathrm{p i x e l\_{c} o o r d s}(H,W),X^{2,1},K\right), $$ 其中： $$ K=\begin{pmatrix}f&0&c_{x}\\0&f&c_{y}\\0&0&1\end{pmatrix}. $$ 这里，R和t分别代表两幅图像之间的相对旋转和平移 $I_{1}$ 和 $I_{2}$。 #### 3.3. 基于相对位姿的位姿平均 利用网络f的输出计算出的相对位姿处于任意的局部坐标系下。然而，对于从输入的手部-物体运动序列中进行3D手部-物体重建而言，我们需要计算出手部-物体的全局绝对变换。为此，我们针对给定序列中的一组图像 $I_1, I_2, ..., I_N$ 构建一个成对图。我们首先构造一个连通图 $G(V, E)$，其中N幅图像构成顶点V，每条边 $e = (n, m) \in E$ 表示图像 $I_n$ 和 $I_m$ 共享手部-物体的视觉信息。在创建图时，我们先生成所有可能的图像对（即完全连通图），然后利用 [^32] 中的分类器筛选出无效的图像对，从而将完全连通图简化为稀疏图。其思路是保留那些共享足够多手部-物体视觉信息的图像对边。这类问题中旋转和平移的估计是可分离的 [^9]，接下来我们将说明如何将其应用于相机位姿问题。 旋转平均。给定一系列帧 $\{I_1, I_2, ..., I_N\}$，我们先估计并优化相对位姿，然后构建一个有向成对图 $\mathcal{G}(\mathcal{V}, \mathcal{E})$，其中N帧对应图的顶点，每条边 $e = (i, j) \in \mathcal{E}$ 编码了帧 $I_i$ 和 $I_j$ 之间的相对旋转关系。为了从该图中计算出全局旋转，我们应用Shonan旋转平均方法 [^9]，该方法将问题建模为因子图。在该图中，每个节点代表待确定的未知绝对旋转，而边（即因子）则对应之前估计出的有噪声的相对旋转。目标是最小化预测相对旋转与实测相对旋转之间的弗罗贝尼乌斯范数之和： $$ \min_{R\in SO(p)^{n}}\sum_{(i,j)\in\mathcal{E}}k_{ij}\|R_{j}-R_{i}\hat{R}_{ij}\|_{F}^{2}, $$ 从 $SO(3)$ 到 $SO(p)$，其中 $p > 3$ 直到终止 $k_{ij}$ 是所假设噪声模型的浓度参数 平移平均。平移平均涉及根据先前得到的绝对旋转 $\hat{R}_{i=1..N}$ 和相对平移 $\hat{t}_{ij}$ 来估计绝对平移。为实现这一点，我们采用高斯因子图优化框架 [^8]，该框架会最小化估计平移 $(t_{i}, t_{j})$ 与实测相对平移 $t_{ij}$ 之间的欧几里得距离平方和，同时还会根据相对平移测量值施加约束： $$ \min_{t_{0},t_{1},\ldots,t_{N}}\sum_{(i,j)\in\mathcal{E}}\left\|R_{i}\cdot\hat{t}_{ij}-(t_{j}-t_{i})\right\|^{2}. $$ 随后，我们使用GTSAM中的线性系统求解器 [^7] 来处理这个优化问题，并以第一个位姿的位置固定在原点作为锚点。图4展示了位姿平均过程的示意图。 ---
MethodRigid Transformation Error
Rot Error $\downarrow$Trans Error $\downarrow$Det. Rate (%) $\uparrow$@(15cm&15°)(%) $\uparrow$@(30cm&30°)(%) $\uparrow$
DOPE [^37] + fixed hand pose$28.9^{\dagger}$$0.23^{\dagger}$99.030.269.1
DOPE [^37] + median filtering28.70.22100.030.469.2
DOPE [^37] + PoseBERT [^2]28.00.22100.019.558.2
COLMAP [^30]$15.9^{\dagger}$$0.06^{\dagger}$78.359.567.2
SHOWMe [^32]20.90.12100.046.080.0
HOST3R (ours)18.20.08100.050.586.3
Table 1. Rigid transformation estimation comparison. The ‘Rot. error’ is the geodesic distance expressed in degrees with the ground-truth rigid transformation. The ‘Trans error’ is the MSE. $^{\dagger}$ means the metrics are computed for the frames for which the pose is successfully recovered.
### 4. 实验结果 ### 4. 实验结果 在本节中，我们首先介绍如何将估计的手部-物体变换集成到多视图立体（MVS）流程中，以重建手部与物体的3D形状。随后，我们详细说明用于训练和评估的数据集，最后展示手部-物体变换及3D形状估计的定量与定性结果。 与多视图重建技术的整合。我们先估算成对相对位姿，再通过手部-物体场景图进行位姿平均，从而得到同一坐标系下的全局变换。这些变换随后被集成到[^32]中提出的多视图3D手部-物体重建流程中。具体而言，我们将估算出的刚性变换作为隐式神经表示方法的初始化参数，该方法能够重建手部-物体场景的表面几何结构与颜色。在重建过程中，我们还会通过联合优化来修正初始的误差，从而对变换参数进行精细化调整。对于每个序列，我们会选取60帧间隔均匀的画面来进行3D重建，例如在900帧的视频中每隔15帧选取一帧。 数据集。我们使用在室内场景数据集上预训练的DUSt3R [^36]权重来初始化我们的成对点图估计网络，随后在合成生成的数据集上对网络进行微调。在合成数据生成方面，我们借鉴了ObMan [^13]的流程，该流程可针对8类日常物体生成约2700个模型的参数化手部（MANO）抓取姿态。我们对这一流程进行了改进，以生成具有不同相机内参、外参以及手部-物体遮挡比例的多视图数据。最终得到的数据集包含多视图RGB图像、相机内参与外参以及深度图。点图是根据深度图和内参通过公式1推导得出的。所生成的多视图数据集示意图可在补充材料中查看。 定量结果。遵循[^31]和[^32]中的评估协议，我们对刚性变换估计以及手部-物体联合形状重建性能进行了评估。在数据划分和评估所用帧数方面，我们采用了相同的实验设置。我们报告了HOST3R在SHOWMe数据集上的刚性变换误差，评估表格采用[^32]中的格式（详见表1）。我们的方法在旋转误差方面比SHOWMe基线模型优$2.7^{\circ}$，平移误差方面则优4.0厘米。此外，我们的方法能够成功为所有序列恢复出对应的变换参数，检测率达到100%。进一步而言，在平移误差小于15厘米且旋转误差小于$15^{\circ}$的帧数占比上，HOST3R较SHOWMe提升了4.5%；在平移误差和旋转误差均低于30厘米及$30^{\circ}$的帧数占比方面，它也取得了最高值。尽管在某些指标上我们的方法略逊于COLMAP，但鲁棒性显著更强：检测率达到了100%，且在平移误差不超过30厘米且旋转误差不超过$30^{\circ}$的阈值下，正确帧数占比达到了86.3%。 随后，我们按照[^31]和[^32]中介绍的协议，在SHOWMe基准测试上对手-物体重建性能进行评估。表2中列出了Accuracy、Completion和F-score等标准评价指标。在所有基线方法中，HOS $_{T3R}$取得了最佳的整体性能，其表现与[^32]中提出的方法相当。图5展示了几个SHOWMe序列的定性结果；更多结果详见补充材料。重建出的手-物体几何结构细节丰富，且在各种抓取方式、物体形状、尺寸和纹理下均保持一致，这充分体现了所提出的HOS $_{T3R}$方法的鲁棒性和泛化能力。 泛化能力。我们提出的方法对未见过的手-物体序列展现出强大的泛化能力。 ---
Rigid TransformRecon. MethodRec. rate (%) $\uparrow$Acc. $\dagger$ (cm) $\downarrow$Comp. $\dagger$ (cm) $\downarrow$Acc. ratio @5mm (%) $\uparrow$Comp. ratio @5mm (%) $\uparrow$Fscore @5mm (%) $\uparrow$
GTIHOI [^42]87.30.791.3441.737.839.3
GTVH [^21]93.70.420.6567.361.663.6
GTFDR [^33]95.80.350.4975.872.073.5
GTHHOR [^17]100.00.350.3281.183.882.3
DOPE [^37]FDR [^33]92.71.023.1831.715.720.0
COLMAP [^30]FDR [^33]76.00.640.7939.336.237.6
COLMAP [^30]HHOR [^17]72.90.650.7440.942.141.3
SHOWMe [^32]HHOR [^17]100.00.610.6255.656.055.6
HOST3R (ours)HHOR [^17]100.00.580.5956.457.056.4
Table 2. Hand-object reconstruction evaluation using ground-truth and estimated rigid transformations.† means that the metrics are obtained by computing on the reconstructed mesh only, the failing ones are not taken into account, making direct comparisons between different methods unfair. DOPE refers to the variant ‘DOPE + fixed hand pose’ from Table 1.
这些序列来自不同的数据集。我们在HO3D数据集上验证了这一能力，该数据集包含新颖的物体、手部形态、背景以及手-物体运动模式。我们在图1中展示了符合实验设置的HO3D序列的定性结果，即那些具有刚性手-物体运动且帧数相近的序列。我们的方法无需微调或获取相机内参，便能成功重建出精细的手-物体形状。不过，如图1的最后一行和最后一列所示，手部的某些部分，尤其是手指，未能被完全还原。这一局限主要源于输入帧中手指的视角覆盖不足，这也是多视图重建中常见的难题。 ## 5. 讨论 我们提出了HOSt3R，这是一种用于稳健的手-物体变换与3D重建的新方法，它克服了以往研究的诸多局限。通过将受DUSt3R启发的成对相对位姿估计网络集成到位姿平均框架中，我们的方法能够在不依赖关键点检测器的情况下，有效应对相机变化、外观差异和遮挡问题。这种设计还缓解了大规模重建中的内存限制。在SHOWMe数据集上，我们的方法显著降低了位姿误差，即使在复杂条件下，也能达到100%的检测率和86.3%的准确率（误差阈值设为30厘米且$30^{\circ}$）。该方法在不同物体类型、抓取方式和场景中都表现出良好的泛化性，且相比现有基线方法具有更高的几何保真度。HO3D数据集上的定性结果进一步证明了其强大的泛化能力，且无需微调或获取相机内参。尽管仍存在一些小局限，尤其是在稀疏视角下还原精细的手指细节方面…… ![Image](images/9854ff153a49b88569e93d950405fada431d4fc7c26a06c70732145b0ee47276.jpg)
Figure 5. Qualitative reconstructions on sequences from ${^b}$ row shows one sequence three views
未来研究可以引入基于扩散模型的形状先验[^6]，以提升高度遮挡区域的重建质量。 --- ## 参考文献 [^1]: Luca Ballan, Aparna Taneja, Jürgen Gall, Luc Van Gool, and Marc Pollefeys. Motion capture of hands in action using discriminative salient points. In ECCV, 2012. 3 [^2]: Fabien Baradel, Romain Brégier, Thibault Groueix, Philippe Weinzaepfel, Yannis Kalantidis, and Grégory Rogez. Posebert: A generic transformer module for temporal 3d human modeling. IEEE Trans. PAMI, 2022. 7 [^3]: Zhe Cao, Ilija Radosavovic, Angjoo Kanazawa, and Jitendra Malik. Reconstructing hand-object interactions in the wild. In ICCV, 2021. 3 [^4]: Zerui Chen, Yana Hasson, Cordelia Schmid, and Ivan Laptev. Alignsdf: Pose-aligned signed distance fields for hand-object reconstruction. In ECCV, 2022. 2, 3 [^5]: Zerui Chen, Shizhe Chen, Cordelia Schmid, and Ivan Laptev. gsdf: Geometry-driven signed distance functions for 3d hand-object reconstruction. In CVPR, 2023. 2 [^6]: Wencan Cheng, Hao Tang, Luc Van Gool, and Jong Hwan Ko. Handdiff: 3d hand pose estimation with diffusion on image-point cloud. In CVPR, 2024. 8 [^7]: Frank Dellaert and GTSAM Contributors. borglab/gtsam, 2022. 6 [^8]: Frank Dellaert and Michael Kaess. Factor Graphs for Robot Perception. Foundations and Trends in Robotics, 2017. 6 [^9]: Frank Dellaert, David M Rosen, Jing Wu, Robert Mahony, and Luca Carlone. Shonan rotation averaging: Global optimality by surfing so (p) n so (p) n. In ECCV, 2020. 6 [^10]: Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, Jakob Uszkoreit, and Neil Houlsby. An image is worth 16x16 words: Transformers for image recognition at scale. In ICLR, 2021. 4 [^11]: Zicong Fan, Maria Parelli, Maria Eleni Kadoglou, Xu Chen, Muhammed Kocabas, Michael J Black, and Otmar Hilliges. Hold: Category-agnostic 3d reconstruction of interacting hands and objects from video. In CVPR, 2024. 2, 3 [^12]: Shreyas Hampali, Sayan Deb Sarkar, Mahdi Rad, and Vincent Lepetit. Handsformer: Keypoint transformer for monocular 3d pose estimation of hands and object in interaction. CVPR, 2022. 2 [^13]: Yana Hasson, Gül Varol, Dimitris Tzionas, Igor Kalevatykh, Michael J. Black, Ivan Laptev, and Cordelia Schmid. Learning joint reconstruction of hands and manipulated objects. In CVPR, 2019. 2,7 [^14]: Yana Hasson, Gul Varol, Dimitrios Tzionas, Igor Kalevatykh, Michael J Black, Ivan Laptev, and Cordelia Schmid. Learning joint reconstruction of hands and manipulated objects. In CVPR, 2019. 3 [^15]: Yana Hasson, Bugra Tekin, Federica Bogo, Ivan Laptev, Marc Pollefeys, and Cordelia Schmid. Leveraging photometric consistency over time for sparsely supervised hand-object reconstruction. In CVPR, 2020. 2, 3 [^16]: Yana Hasson, Gül Varol, Cordelia Schmid, and Ivan Laptev. Towards unconstrained joint hand-object reconstruction from RGB videos. In 3DV, 2021. 2, 3 [^17]: Di Huang, Xiaopeng Ji, Xingyi He, Jiaming Sun, Tong He, Qing Shuai, Wanli Ouyang, and Xiaowei Zhou. Reconstructing hand-held objects from monocular video. In SIGGRAPH Asia, 2022. 2, 3, 8 [^18]: Shijian Jiang, Qi Ye, Rengan Xie, Yuchi Huo, and Jiming Chen. Hand-held object reconstruction from RGB video with dynamic interaction. In Proceedings of the Computer Vision and Pattern Recognition Conference, pages 12220–12230, 2025. 2 [^19]: Korrawe Karunratanakul, Jinlong Yang, Yan Zhang, Michael J Black, Krikamol Muandet, and Siyu Tang. Grasping field: Learning implicit representations for human grasps. In 3DV, 2020. 2, 3 [^20]: Mia Kokic, Danica Kragic, and Jeannette Bohg. Learning to estimate pose and shape of hand-held objects from RGB images. In IROS, 2019. 2, 3 [^21]: Vincent Leroy, Jean-Sébastien Franco, and Edmond Boyer. Volume sweeping: Learning photoconsistency for multi-view shape reconstruction. IJCV, 2021. 8 [^22]: Shaowei Liu, Hanwen Jiang, Jiarui Xu, Sifei Liu, and Xiaolong Wang. Semi-supervised 3d hand-object poses estimation with interactions in time. In CVPR, 2021. 3 [^23]: Markus Oberweger, Paul Wohlhart, and Vincent Lepetit. Generalized feedback loop for joint hand-object pose estimation. IEEE Trans. PAMI, 2019. 2 [^24]: Iason Oikonomidis, Nikolaos Kyriazis, and Antonis A Argyros. Full dof tracking of a hand interacting with an object by modeling occlusions and physical constraints. In ICCV, 2011. 3 [^25]: JoonKyu Park, Yeonguk Oh, Gyeongsik Moon, Hongsuk Choi, and Kyoung Mu Lee. Handoccnet: Occlusion-robust 3d hand mesh estimation network. In CVPR, 2022. 3 [^26]: Neng Qian, Jiayi Wang, Franziska Mueller, Florian Bernard, Vladislav Golyanik, and Christian Theobalt. HTML: A Parametric Hand Texture Model for 3D Hand Reconstruction and Personalization. In ECCV. 2020. 3 [^27]: Wentian Qu, Zhaopeng Cui, Yinda Zhang, Chenyu Meng, Cuixia Ma, Xiaoming Deng, and Hongan Wang. Novel-view synthesis and pose estimation for hand-object interaction from sparse views. In ICCV, 2023. 3 [^28]: Javier Romero, Dimitrios Tzionas, and Michael J Black. Embodied hands: Modeling and capturing hands and bodies together. ACM ToG, 2017. 3 [^29]: Yu Rong, Takaaki Shiratori, and Hanbyul Joo. Frankmocap: A monocular 3d whole-body pose estimation system via regression and integration. In ICCVW, 2021. 3 [^30]: Johannes Lutz Schönberger and Jan-Michael Frahm. Structure-from-Motion Revisited. In CVPR, 2016. 3, 7, 8 [^31]: Anilkumar Swamy, Vincent Leroy, Philippe Weinzaepfel, Fabien Baradel, Salma Galaaoui, Romain Brégier, Matthieu Armando, Jean-Sebastien Franco, and Grégory Rogez. SHOWMe: Benchmarking Object-agnostic Hand-Object 3D Reconstruction. In ICCVW, 2023. 2, 3, 4, 7 ## [^32]: Anilkumar Swamy, Vincent Leroy, Philippe Weinzaepfel, Fabien Baradel, Salma Galaaoui, Romain Brégier, Matthieu Armando, Jean-Sebastien Franco, and Grégory Rogez. Showme: Robust object-agnostic hand-object 3d reconstruction from rgb video. CVIU, 2024. 2, 4, 6, 7, 8 --- [^33]: Briac Toussaint, Maxime Genisson, and Jean-Sébastien Franco. Fast gradient descent for surface capture via differentiable rendering. In 3DV, 2022. 8 [^34]: Dimitrios Tzionas, Abhilash Srikantha, Pablo Aponte, and Juergen Gall. Capturing hand motion with an rgb-d sensor, fusing a generative model with salient points. In GCPR, 2014. 3 [^35]: Dimitrios Tzionas, Luca Ballan, Abhilash Srikantha, Pablo Aponte, Marc Pollefeys, and Juergen Gall. Capturing Hands in Action using Discriminative Salient Points and Physics Simulation. IJCV, 2016. 3 [^36]: Shuzhe Wang, Vincent Leroy, Yohann Cabon, Boris Chidlovskii, and Jerome Revaud. DUSt3R: Geometric 3d vision made easy. In CVPR, 2024. 3, 4, 7 [^37]: Philippe Weinzaepfel, Romain Brégier, Hadrien Combaluzier, Vincent Leroy, and Grégory Rogez. DOPE: Distillation of part experts for whole-body 3D pose estimation in the wild. In ECCV, 2020. 3, 7, 8 [^38]: Philippe Weinzaepfel, Vincent Leroy, Thomas Lucas, Romain Brégier, Yohann Cabon, Vaibhav Arora, Leonid Antsfeld, Boris Chidlovskii, Gabriela Csurka, and Revaud Jérôme. CroCo: Self-Supervised Pre-training for 3D Vision Tasks by Cross-View Completion. In NeurIPS, 2022. 4 [^39]: Philippe Weinzaepfel, Thomas Lucas, Vincent Leroy, Yohann Cabon, Vaibhav Arora, Romain Brégier, Gabriela Csurka, Leonid Antsfeld, Boris Chidlovskii, and Jérôme Revaud. Croco v2: Improved cross-view completion pretraining for stereo matching and optical flow. In ICCV, 2023. [^40]: Jane Wu, Georgios Pavlakos, Georgia Gkioxari, and Jitendra Malik. Reconstructing hand-held objects in 3d from images and videos. arXiv preprint arXiv:2404.06507, 2024. 2 [^41]: Lixin Yang, Xinyu Zhan, Kailin Li, Wenqiang Xu, Jiefeng Li, and Cewu Lu. Cpf: Learning a contact potential field to model the hand-object interaction. In ICCV, 2021. [^42]: Yufei Ye, Abhinav Gupta, and Shubham Tulsiani. What's in your hands? 3d reconstruction of generic objects in hands. In CVPR, 2022. 2, 3, 8 [^43]: Yufei Ye, Poorvi Hebbar, Abhinav Gupta, and Shubham Tulsiani. Diffusion-guided reconstruction of everyday hand-object interaction clips. In ICCV, 2023. 2, 3 [^44]: Hao Zhang, Yuxiao Zhou, Yifei Tian, Jun-Hai Yong, and Feng Xu. Single depth view based real-time reconstruction of hand-object interactions. ACM ToG, 2021. 3