# 高斯手抓模型：基于单目视频的动态手物交互快速重建
AYCE IDIL AYTEKIN，德国马克斯·普朗克计算机科学研究所、SIC与VIA研究中心
陈旭，瑞士谷歌公司
沈正阳，美国谷歌公司
THABO BEELER，瑞士谷歌公司
HELGE RHODIN，德国马克斯·普朗克计算机科学研究所、德国比勒费尔德大学
RISHABH DABRAL，德国马克斯·普朗克计算机科学研究所、SIC与VIA研究中心
CHRISTIAN THEOBALT，德国马克斯·普朗克计算机科学研究所、SIC与VIA研究中心
Fig. 1. Grasp in Gaussians (GraG): Given a single monocular video of a hand interacting with an object, GraG reconstructs 3D geometry and pose of the hand and the object. Our method is designed to be efficient for long sequences, and can reconstruct in-the-wild captured examples.
我们提出了高斯手抓模型（GraG），这是一种从单目视频中快速、稳健地重建动态三维手物交互的方法。与近期那些需要优化复杂神经表示的方法不同，我们的方法专注于高效追踪手和物体——一旦通过预训练的大型模型完成初始化即可。我们的核心洞见是：借助强大的预训练物体与手部先验，利用源自传统追踪文献、并与基于高斯的生成式初始化相结合的紧凑型高斯求和（SoG）表示，就能恢复出准确且时间上稳定的手物运动。我们首先使用适配视频的SAM3D流程来初始化物体姿态与几何结构，随后通过二次采样将得到的密集高斯表示转化为轻量级的SoG表示。这种紧凑的表示既能实现高效快速的追踪，又能保留几何细节；预训练的先验以及简单的几何/接触损失函数则能确保手物位置的准确性。对于手部而言，我们采用了互补的策略：从现成的单目手部姿态初始化结果出发，利用简单却有效的二维关节、轮廓、深度及接触损失函数来优化手部运动，无需逐帧细化复杂的三维手部外观模型，同时还能保持稳定的关节活动度。在公开基准测试上的大量实验表明，GraG重建长序列中时间连贯的手物交互的速度比现有方法快$4.4 \times -38.9\times$，同时还能保留时间连贯的手物运动。项目页面：GraG-page。
CCS概念：• 计算方法 → 重建。
其他关键词：三维重建、手物交互
## 1 引言
我们的双手使我们能够与物理世界进行无数种互动，从抓取日常物品到精准操作工具。重建这类动态三维交互是一项基础建模任务，在机器人领域和增强现实领域有着至关重要的应用：前者需要借助人类演示来学习操作技能，后者则要实现无缝的虚拟-物理交互。我们的目标是从单目视频中重建手物交互（HOI），这涉及估计手和物体的三维几何结构与姿态。在本研究中，我们聚焦于用优势手操控单个物体的基础场景，这一场景涵盖了
---
绝大多数日常功能性任务。然而，实现此类重建极具挑战性，因为严重的遮挡和深度歧义使得该问题本质上属于不适定问题。一旦引入运行时间方面的限制，挑战会进一步加剧。
在缺乏清晰、无遮挡的视觉线索时，引入合适的先验来抑制任务的病态性就显得尤为重要。然而，以往的方法往往基于各种强假设，这限制了它们在背景复杂的开放世界和无约束场景中的实际应用。例如，许多方法需要预先扫描的3D物体模板[Fan et al. 2023; Hasson et al. 2020, 2021; Yang et al. 2021]，导致它们无法重建未见过的新型物体。虽然存在一些无需模板的方法，但它们通常在物体实例数量有限的数据集上训练[Hasson et al. 2019; Karunratanakul et al. 2020; Ye et al. 2022]，或者仅限于特定的预定义物体类别[Ye et al. 2023]，因而泛化能力差，对分布外物体的几何重建也不准确。另一类研究——手持物体扫描[Hampali et al. 2023; Huang et al. 2022; Zhong et al. 2024]——虽然能重建新物体，但通常假定手部姿态是刚性的，无法捕捉动态且灵巧的运动。最近基于视频的方法如HOLD[Fan et al. 2024]和BIGS[On et al. 2025]通过优化隐式曲面或高斯表示来实现类别泛化。不过，在多个帧上优化这种体积表示的过程极其缓慢（HOLD处理100帧的视频约需10小时，BIGS则需约4小时），因此难以应用于长时间的野外视频重建。
为了克服这些限制，我们探讨了现代先验所能提供的优势以及快速跟踪所需的条件。最近的图像转3D模型[Lai et al. 2025; Xiang et al. 2025]能够仅凭单视图就生成合理的物体几何形状，但逐帧简单调用这类模型会导致姿态抖动且遮挡情况下的形状不准确。相比之下，传统的基于模型的人体/物体跟踪算法虽然快速且稳定，但历来需要精心设计的模板或多视角采集[Sridhar et al. 2014; Zhong et al. 2000]，无法直接应用于手-物重建任务。在本文中，我们展示了如何结合两者的优点：利用生成式3D先验获取物体的规范表示，随后在紧凑的表示中进行轻量级跟踪。
我们的方法被称为“高斯中的抓取”（Grasp in Gaussians, GraG），分为三个阶段。首先，我们从输入视频中选出一组信息丰富且多样化的关键帧，并使用MV-SAM3D[Li et al. 2026]——SAM3D[Chen et al. 2025]的多视角扩展版本——来重建规范物体。MV-SAM3D将物体表示为一组跨视角共享的规范形状标记，我们只需解码一次即可获得物体的密集3D高斯表示。其次，我们将SAM3D扩展到视频领域：固定规范形状，并在其潜空间内利用时间引导来估计每帧的物体姿态（旋转、平移和缩放），从而抑制抖动并防止遮挡引起的偏移。尽管密集3D高斯具有强大的表达能力，但直接在所有帧上优化高分辨率的高斯集合对于跟踪而言并无必要，且计算成本极高。同时，像SAM3D这样的图像转3D模型生成的外观往往不够精确，无法满足摄影测量跟踪的需求。因此，我们将解码得到的密集高斯稀疏化为紧凑的“高斯之和”（Sum-of-Gaussians, SoG）模型[Stoll et al. 2011]，并优化一个可微的对齐目标函数，使其2D投影与通过四叉树颜色聚类从各帧生成的图像SoG相匹配。对于手部，我们利用2D关节、深度、轮廓及接触先验来优化Dyn-HaMR[Yu et al. 2025]的初始结果，从而在无需大量优化的情况下实现稳定的运动建模。
GraG采用了一种重建范式：先利用强大的初始先验，再通过高效的跟踪机制而无需额外训练。这种设计使我们的方法特别适用于长视频和无约束场景。实验结果证实，GraG在标准基准测试中取得了最先进的性能，并且对包含未见过的物体和多样场景的自然视频也具有很强的泛化能力（参见图1）。我们还展示了GraG在机器人领域的实际应用价值。具体而言，我们利用GraG从真实的人类演示中重建手与物体的交互过程，并将其作为基于跟踪的控制策略中的目标姿态。我们的方法效率极高：将先前研究的运行时间从$\sim$3-10小时缩短至$\sim$16分钟，即可处理长序列视频。我们的贡献主要有三点：
- 我们提出了一种快速的单目HOI重建系统，该系统利用预训练的物体和手部先验，能够应对长视频和无约束场景，同时大幅缩短运行时间。
- 我们将SAM3D扩展到视频领域，通过冻结规范形状并仅跟踪每帧的姿态，同时结合时间引导信息，从而提升在遮挡情况下的稳定性。
- 我们针对基于高斯的对象资产引入了紧凑型遮挡感知SoG跟踪技术，具体做法是稀疏化处理密集的高斯点，并将投影后的对象SoG与通过四叉树聚类生成的图像SoG对齐。
## 2 相关工作
3D资产生成。从图像中重建3D物体是计算机视觉领域的一个核心问题。虽然传统的多视图方法如运动恢复结构（SfM）[Hartley和Zisserman 2011；Scharstein等 2002；Szeliski 2010；Tomasi和Kanade 1992]效果显著，但在存在严重遮挡且视角有限的视频中，其性能会大幅下降。为克服这些局限，近期的研究转向了基于学习的单图像3D生成技术，这类技术通常在Objaverse [Deitke等 2023]等大规模数据集上训练。尤其是扩散模型，已成为从单张2D图像生成高保真3D资产的最先进技术[Chen等 2025；Xiang等 2025]。最近，SAM3D [Chen等 2025]提出了一种结合姿态估计与3D资产生成的方法，该方法通过将图像中物体的姿态和形状空间分离，从而生成高质量的带姿态3D物体。为了获得强大的物体几何先验，我们采用了SAM3D的多视图扩展版本。
高斯跟踪技术。早在现代高斯泼溅（GS）[Kerbl等 2023]出现之前，高斯基元就已被用于人体[Elhayek等 2015；Moeslund等 2006；Plankers和Fua 2003；Rhodin等 2016a；Stoll等 2011]、手部[Bretzner等 2002；Sridhar等 2015]以及物体跟踪[Ren等 2014]。其中，SoG [Stoll等 2011]尤为实用，因为它能同时表示图像和……
---
基于高斯的三维模板可通过闭式高斯重叠计算实现高效匹配。后续的跟踪方法通过光线追踪[Rhodin等 2016a, 2015]、轮廓跟踪[Rhodin等 2016b]、Alpha混合[Kerbl等 2023]、点可见性[Rajič等 2025]或动态表面跟踪[Zheng等 2025]来改进遮挡处理能力。不过，这些方法往往依赖多视图或深度输入，或者需要优化密集的逼真高斯渲染[Cong等 2025；Liu等 2025b]。与追求更高逼真度的GS技术不同，我们重新采用了SoG表示方法，因为这种方法无需对高斯点进行从后往前的排序（用于Alpha混合），还能通过稀疏高斯图像表示降低计算成本。
物体遮挡情况下的单目手部跟踪。手部与物体的遮挡问题也是单目手部网格恢复中的核心挑战。HandOccNet [Park et al. 2022] 利用Transformer模块将手部信息注入到被遮挡的图像区域；H2ONet [Xu et al. 2023] 则融合相邻帧中未被遮挡的手指特征与方向线索；而HaMeR [Pavlakos et al. 2024] 采用大型基于Transformer的模型来实现鲁棒的单目手部重建。在HaMeR的基础上，Dyn-HaMR [Yu et al. 2025] 能够恢复时间上连贯的手部运动，且可利用外部摄像机的内部参数与外部参数，因此适合作为我们相机注册手部轨迹的初始结果。这些研究促使我们在遮挡情况下采用强大的手部先验，但它们仅能恢复手部信息，无法估计相互作用物体的几何形状、尺寸或运动轨迹。GraG则利用单目手部估计结果作为几何锚点，同时重建物体及其随时间的手部相对运动。
手部与物体重建。由于严重的相互遮挡、物体快速运动以及野外环境中缺乏物体模板，动态的手物交互（HOI）重建十分困难。虽然像DexYCB [Chao et al. 2021] 这样的数据集提供了用于可控评估的同步多视角RGB-D数据，但单目视频重建需要在深度模糊的情况下进行推理。因此，早期基于模板或依赖深度的方法 [Cao et al. 2021; Corona et al. 2020; Liu et al. 2021; Tekin et al. 2019; Yang et al. 2021] 在受控环境之外的适用性有限。近期的一些单图像方法，如EasyHOI [Liu et al. 2025a] 和FollowMyHold [Aytekin et al. 2026]，通过组合基础模型提升了泛化能力，但并未利用视频中的时间线索。基于视频的方法，如HOLD [Fan et al. 2024] 和BIGS [On et al. 2025]，会对隐式或高斯场景表示进行优化；而MagicHOI [Wang et al. 2025] 则加入生成式先验来补全被遮挡区域。不过，这些方法在计算上依然代价高昂，且对初始化条件较为敏感（通常采用SfM风格的引导 [Sarlin et al. 2019, 2020]），尤其在存在遮挡、无纹理物体以及长序列的情况下更是如此。同期的研究工作AGILE [Shi et al. 2026] 通过利用智能体生成技术来获取完整、高纹理且适用于模拟的物体，随后无需SfM即可对其进行跟踪；ForeHOI [Chen et al. 2026] 则能以前馈方式从交互视频中重建物体几何形状。相比之下，GraG专注于高效的长视频HOI重建：我们从选定的关键帧中重建一个规范化的物体，随后利用紧凑的、具备遮挡感知能力的SoG跟踪算法来恢复时间上稳定的手物运动，重点在于快速获取手部相对于物体的姿态，而非实现照片级真实的纹理补全。
Fig. 2. Method Overview. Given a monocular video, we recover per-frame hand-object poses and geometry. We first preprocess the video to obtain masks, initial hand poses, per-frame binary contact information, pointmaps and camera intrinsics/extrinsics. Preprocessing is followed by three stages: Stage 1 (Section 4.1) for keyframe selection and object reconstruction. Stage 2 (Section 4.2) for estimating a temporally stable initial object trajectory (and scale) by adapting SAM3D to videos, and Stage 3 (Section 4.3) for hand and object pose and scale refinement via Sums-of-Gaussians tracking.
另一类研究则在重建过程中引入物理机制。Hu等人 [^2022] 利用单个RGB-D传感器结合显式的物理求解器来恢复交互过程及其接触力；他们的后续工作HOIC [Hu et al. 2024] 在物理模拟器中运用深度强化学习，结合物体补偿控制与表面接触模型，进一步提升了物理准确性。这些方法凸显了显式物理推理的优势，但针对的是带有物理运动/接触建模的RGB-D重建。而我们则采用轻量级的接触与穿透先验来保持跟踪过程的低计算开销，从而实现高效的单目跟踪，并将更严格的物理约束留给未来的研究。
## 3 背景：SAM3D
我们初始化物体姿态的方法基于SAM3D [Chen et al. 2025]，这是一种生成式模型，能够根据单张RGB图像I、物体掩码M以及可选的场景点云P来重建三维物体。与以往预测隐式几何结构的方法不同[Lai et al. 2025; Xiang et al. 2025]，SAM3D将规范形状S和纹理F与相机空间布局$(R, \tau, s)$显式分离，后者代表了物体的朝向、平移和缩放信息。
具体来说，该模型利用结构化多模态Transformer来近似条件联合分布$p(S, F, R, \tau, s \mid I, M, P)$。在该架构中，物体由独立的规范形状标记$Z^S$和低维布局标记$Z^P$来表示。特定模态的投影层将这些标记映射到高维特征空间，从而通过跨模态注意力机制来确定最终的几何形状和姿态。
## 4 方法
给定一段单目RGB视频$\mathbf{I} = \{\mathbf{I}_t\}_{t=1}^N$，其中手部与刚性物体发生交互，我们的目标是恢复手部及物体的时间连贯的三维几何形状与运动轨迹。由于深度模糊以及手物遮挡现象的存在，这一任务具有高度不确定性。为解决这一问题，我们利用SAM3D等生成式三维模型所提供的强大数据驱动先验，并将其整合到基于高斯求和的高效经典跟踪方法中。
---
Fig. 3. Stage 1 reconstructs a canonical object with MV-SAM3D by selecting keyframes and decoding shape tokens into dense Gaussians (Section 4.1).
图2展示了我们方法的整体框架。简而言之，我们首先从视频中获取可靠的物体规范表示（第4.1节），接着估计每帧的物体姿态（第4.2节），最后通过显式的、考虑遮挡因素的跟踪目标来优化手部与物体的轨迹（第4.3节）。这一设计源于以下观察：一旦有了强大的规范先验，就无需进行复杂的逐帧三维重建；而轻量级的跟踪算法能够稳健地在模糊或遮挡的帧中传播运动信息。
作为预处理步骤，我们使用SAM3 [Carion et al. 2025]提取手部和物体的掩码$M_t^h$和$M_t^o$，其中物体掩码的生成依赖于大型视觉语言模型[Team et al. 2025]提供的标签。我们通过DepthAnything3 [Lin et al. 2025]估算相机内参/外参($K_t$、$T_t$)以及点云$P_t$。这些相机参数随后被作为外部输入提供给Dyn-HaMR [Yu et al. 2025]，用于初始化手部轨迹。由于Dyn-HaMR直接在由($K_t$、$T_t$)定义的坐标系中回归基于MANO的手部姿态，因此手部和物体的几何信息天然处于同一坐标系下，无需后续的空间对齐操作。最后，我们利用Gemini 3 [Google 2025]获取每帧的接触标志$c_t^{ho} \in \{0,1\}$。在后续讨论中，上标o和h分别用于表示与物体和手部相关的变量。
### 4.1 阶段1：关键帧选择与物体重建
由于我们的系统以视频为输入，因此同一物体在不同时间点通常会呈现多个视角，但这些视角往往被手部遮挡。与单帧重建相比，这些多视角提供了互补的视觉线索，能够显著改善物体形状的估计效果。为了充分利用这些信息并保持效率，我们选取一组包含K个关键帧$\mathcal{V} = \{V_k\}_{k=1}^K \subset \mathbb{I}$的集合，这些关键帧既具有信息量又具备多样性。这些视频关键帧被视作多视角输入，送入MV-SAM3D [Li et al. 2026]——即最先进的图像转三维模型SAM3D [Chen et al. 2025]的多视角扩展版本，从而得到物体的规范形状标记以及密集的三维高斯点。
4.1.1 关键帧选择。为了选取信息丰富且多样化的视图，我们采用了Depth Anything 3（DA3）[Lin et al. 2025]中的鞍点平衡选择策略，该策略利用DINOv2 [CLS]特征[Oquab et al. 2023]。我们根据归一化后的特征统计数据（均值大小、方差以及帧间相似性）来计算平衡成本，从而过滤掉不稳定或激活较弱的特征[Darcet et al. 2024]。最终，通过权衡这种稳定性成本与多样性惩罚，贪婪地选出K个关键帧以消除冗余（见图3）。更多细节请参阅补充材料中的第10.4节。
4.1.2 物体重建。上述选出的K个关键帧随后被用作MV-SAM3D [Li et al. 2026]的输入。其输出的形状
Fig. 4. Stage 2: Temporally stable SAM3D pose estimation. Data flow for per-frame pose estimation. Top (Shape): Canonical shape tokens $Z^{S*}$ are projected to latents $X^{S*}$ and processed by the transformer. The predicted shape velocity is zeroed to keep the geometry unchanged. Bottom (Pose): Previous frame's layout tokens $Z_{t-1}^{P}$ are projected to latents $X_{t}^{P}$. The predicted velocity $v_{\theta}^{P}$ is modified by a temporal guidance term (Eq. 1) derived from the difference between current and previous frame latents $(X_{t-1}^{P})$. The guided velocity $\tilde{v}_{\theta}^{P}$ is mapped back to token space and added to the previous frame's tokens to produce $Z_{t}^{P}$ for decoding.
$Z^{S*}$标记，来自MV-SAM3D，可作为物体的规范表示；我们随后将其解码为高斯模型，并对其进行稀疏化处理以实现快速跟踪（见4.3.2节）。
### 4.2 第二阶段：时间上稳定的物体位姿估计
在第二阶段（见图4），我们估算每一帧的物体布局($R_t^o, \tau_t^o, s^o$)，同时强制使物体形状随时间保持不变。借鉴SAM3D的条件流匹配方法[Chen et al. 2025]，我们以共享的形状标记$Z_t^S \leftarrow Z^{S^*}$初始化每一帧，并将形状速度场($v_\theta^S(\cdot) \equiv 0$)置零。这样既能固定住规范形状，又能通过跨模态注意力机制让布局发生变化。这一约束对于手-物交互而言至关重要，可防止严重的遮挡和外观快速变化干扰重建过程。我们在图4中展示了这一阶段的情况。
4.2.1 对位姿潜变量的时间引导。即便形状固定，在对称物体或严重遮挡等视觉线索较弱的情况下，每一帧的布局估算仍可能出现抖动甚至方向翻转现象。因此，我们利用时间引导项，使每一帧的布局速度偏向时间一致性。设$X_t^P$为通过MLP从$Z_t^P$投影得到的当前位姿/布局潜变量，$X_{t-1}^P$为上一帧的潜变量。我们对预测的速度进行如下修改：
$$ \begin{array}{r}{\tilde{v}_{\theta}^{P}\;=\;v_{\theta}^{P}\;-\;\lambda_{\mathrm{t e m p}}(X_{t}^{P}-X_{t-1}^{P}),}\end{array} $$
该操作应用于平移和旋转潜变量。直观来讲，公式(1)会抑制突兀的潜变量变化，除非当前观测结果能提供强有力的支持。在第二阶段结束时，我们便得到了初始的物体轨迹$\{R_t^o, t_t^o, s^o\}_{t=1}^T$。
### 4.3 第三阶段：基于SoG的手-物跟踪
至此，我们已借助MV-SAM3D重建了物体形状，并通过位姿潜变量的时间引导得到了物体轨迹的初始估计。我们的建模过程并未考虑手网格的存在；此外，估算出的物体几何形状也不一定能恰当地定位在场景中。因此，我们通过求解一个紧凑的跟踪目标，在短时间窗口$\mathcal{W}$内对物体轨迹进行优化。总体而言，我们旨在最大化一组物体高斯模型与当前帧所近似的高斯模型之间的图像对齐能量E，同时辅以轻量级的几何与交互先验进行正则化：
---
Fig. 5. Stage 3 refines hand and object motion using an explicit tracking objective: we sparsify the dense Gaussians into a compact SoG and perform hand-aware SoG alignment with lightweight priors including silhouette loss $\mathcal{L}_{sil}$ to represent the distance to the silhouette edges, depth loss $\mathcal{L}_{depth}$ between estimated pointmap medians and hand-object medians, and contact loss $\mathcal{L}_{contact}$ between hand fingertips and object surface (Section 4.3). For the silhouette loss, we visualize the $log(DT_{hand}+1)$ and $log(DT_{object}+1)$.
高斯以及当前帧均由高斯近似表示，同时利用轻量级的几何与交互先验进行正则化：
$$ \begin{aligned}\min_{\chi}\sum_{t\in\mathcal{W}}&-E_{t}+\lambda_{\mathrm{sil}}\mathcal{L}_{\mathrm{sil}}+\lambda_{\mathrm{depth}}\mathcal{L}_{\mathrm{depth}}\\&+\lambda_{\mathrm{j2d}}\mathcal{L}_{\mathrm{j2d}}+\lambda_{\mathrm{contact}}\mathcal{L}_{\mathrm{contact}}+\lambda_{\mathrm{smooth}}\mathcal{L}_{\mathrm{smooth}}.\end{aligned} $$
在这里，$\mathcal{L}_{\text{sil}}$负责将投影后的物体和手部轮廓与其图像掩码对齐，$\mathcal{L}_{\text{depth}}$用于确定度量深度，并将物体深度与接触帧中的手部深度相关联，$\mathcal{L}_{\text{j2d}}$代表手部关节重投影损失，$\mathcal{L}_{\text{contact}}$旨在促使手部与物体的接触符合物理规律，而$\mathcal{L}_{\text{smooth}}$则用于抑制时间上的抖动现象。$X = \{R_o^0, r_t^0, s^0, \Theta_t, R_t^h, \tau_h^h, s^h\}_{t \in \mathcal{W}}$表示在窗口$\mathcal{W}$中优化的变量。我们在图5中展示了我们的优化方法。值得注意的是，第3阶段仅对姿态进行优化，而不涉及几何形状；第1阶段的物体标准形状和Dyn-HaMR中的手部形状均保持不变。我们仅优化每帧的姿态和平移参数，同时针对每个序列设置一个全局物体缩放系数和一个全局手部缩放系数。
我们方法的关键在于图像-物体对齐项$E_{t}$，它是通过高斯求和（SoG）跟踪算法计算得出的。该算法用一组紧凑的3D高斯函数来表示物体，并用一组紧凑的2D高斯函数来编码被遮罩后的物体图像，其目标是最大化两者之间的连续重叠相似度。SoG能量提供了主要的可见物体区域匹配信号；轮廓项仅起到防止支撑区域退化的作用，并非用来替代SoG对齐机制。接下来我们定义$E_{t}$的主要组成部分。对于每一帧t，我们需：(i)根据物体掩码内的图像构建图像SoG；(ii)在当前姿态下将一组紧凑的物体高斯函数（即物体SoG）投影到图像中。
4.3.1 图像SoG。给定图像$I_t$，我们需要一个紧凑的SoG$\mathcal{K}_{I_t}$来表征物体掩码$M_t^o$内的连贯像素区域。一种简单的方法是为每个像素分配一个高斯函数，但这种方式的计算成本过高。因此，我们在物体掩码区域上构建四叉树，以聚类颜色相似的像素，如图6所示（详情参见[Stoll等人，2011]）。
4.3.2 对象 SoG。我们通过 SAM3D 的高斯解码器将规范形状令牌 $Z^{S*}$ 解码为密集的 3D 高斯资产。通常，这些照片级真实感资产非常密集，包含数十
Fig. 6. Approximating the image as Gaussians and projected object SoG. From left to right: Reference frame, quad-tree build over the object area, image SoG used for tracking where each square represents a Gaussian with the same color, projected object SoG before optimization, projected object SoG at the end of optimization.
万个高斯，这对跟踪而言并无必要。因此，我们使用最远点采样对解码后的资产进行稀疏化，并保留 2000 个高斯。得到的目标表示为一组 3D 高斯 $\mathcal{G}_0 = \{(\mu_j, \Sigma_j, c_j)\}_{j=1}^{N_0}$，其中 $\mu_j \in \mathbb{R}^3$ 为均值，$\Sigma_j$ 为对角协方差，$c_j$ 为颜色。为加快收敛，遵循经典的 SoG 跟踪方法 [Stoll et al. 2011]，我们通过将每个对角协方差替换为其平均方差来采用各向同性近似。尽管精确的透视投影通常会产生各向异性的 2D 足迹，我们仍将投影足迹近似为各向同性。这使得 Eq. (5) 中的标量闭式高斯重叠能够用于平滑的图像对齐损失。各向异性投影及其经验性权衡在补充材料第 10.5 节中进行了分析。
4.3.3 SoG对齐项。现在，我们定义对齐能量为
为了展示下游机器人应用场景，我们将GraG与SimToolReal[Kedia等人，2026年]进行了集成。SimToolReal是一种面向物体的零样本灵巧工具操控框架。该框架将任务表述为一系列期望的6D物体目标位姿，其策略会结合当前的机器人/物体状态以及相对信息来进行决策。
$$ E\big(\mathcal{K}_{I_{t}},\Psi_{t}(\mathcal{G}_{o})\big)=\sum_{i\in\mathcal{K}_{I_{t}}}\operatorname*{m i n}\Big(\sum_{j\in\Psi_{t}(\mathcal{G}_{o})}v_{j,t}E_{i j},E_{i i}\Big). $$
其中，$\Psi_t(\mathcal{G}_o)$ 表示通过将 $\mathcal{G}_o$ 按照当前物体姿态和相机参数投影到帧 t 中得到的二维高斯物体。项 $E_{ij}$ 是图像高斯 i 与投影模型高斯 j 之间的颜色加权重叠程度，而 $E_{ii}$ 则是用于遮挡处理的 i 的自重叠部分。与 Gaussian Splatting 相比，一个关键区别在于其简化了遮挡处理机制，这使得无需排序即可并行计算高斯相似性（通过求和而非顺序的从后往前 Alpha 混合）。最后，$v_{j,t} \in \{0,1\}$ 会过滤掉被手遮挡的物体高斯（详见第 4.3.4 节）。
两个二维高斯 $\mathcal{B}_{i}$ 和 $\mathcal{B}_{j}$ 之间的成对重叠度如下：
$$ E_{i j}=d(c_{i},c_{j})\int_{\Omega}\mathcal{B}_{i}(u)\mathcal{B}_{j}(u)d u, $$
其中 $(c_i, c_j)$ 代表颜色，$\Omega \subset \mathbb{R}^2$ 为图像平面，$d(c_i, c_j)$ 是颜色核函数（详情见补充材料第 10.4 节）。在协方差矩阵为各向同性的情况下，重叠度有封闭形式的解：
$$ \int_{\Omega}\mathcal{B}_{i}(u)\mathcal{B}_{j}(u)d u=2\pi\frac{\sigma_{i}^{2}\sigma_{j}^{2}}{\sigma_{i}^{2}+\sigma_{j}^{2}}\exp\Big(-\frac{\|\mu_{i}-\mu_{j}\|^{2}}{2\big(\sigma_{i}^{2}+\sigma_{j}^{2}\big)}\Big). $$
4.3.4 基于手的感知 SoG 对齐。与全身跟踪 [Stoll et al. 2011] 不同，我们利用手部掩码将物体与图像的匹配限制在可见区域内，从而防止在遮挡期间出现优化漂移。具体来说，我们使用可见性门控 $v_{j,t} = \mathbf{1}\left[M_{t}^{h}\left(\operatorname{round}(\mu_{j,t}^{2D})\right) = 0\right]$ 来排除那些被遮挡的高斯。
---
Fig. 7. Comparing mesh/Gaussians-based optimization to SoG. We show the differences between objectives in optimization using mesh/Gaussian rendering vs using SoG. Since MV-SAM3D/SAM3D has difficulty generating high-quality texture, specifically texture with text, trying to optimize the object pose with the rendered mesh/Gaussians does not work well, as shown in Table 2. In contrast, the SoG-based tracking formulation matches image regions more approximately and thus, even with inaccurate texture, we can still optimize the object pose.
其中 $M_t^h$ 是二值化的手部掩码，$\mu_{j,t}^{2D}$ 是物体高斯 j 的投影均值。
4.3.5 几何与交互先验。对齐项 $E_{t}$ 会将投影后的物体内部区域与图像证据相关联，但仅凭它无法单独确定手的关节运动、度量深度或遮挡情况下的接触关系。因此，我们将其与一组小型先验相结合，以引导优化器得出符合物理和时间一致性的解。
我们通过二维有符号距离变换场，将投影后的手部和物体边界拉向预测掩码的轮廓，如图 5 所示。设 $\Phi_t^x$ 表示掩码 $M_t^x$ 的有符号距离变换，其中 $x \in \{o, h\}$；设 $\mathcal{B}_t^x$ 为渲染形状的可见边界（手部为 MANO 轮廓顶点；物体则为渲染 Alpha 轮廓上的投影物体高斯）。此时，轮廓损失可定义为：
$$ \mathcal{L}_{\mathrm{s i l}}=\sum_{t\in\mathcal{W}}\sum_{x\in\{o,h\}}\frac{1}{|\mathcal{B}_{t}^{x}|}\sum_{u\in\mathcal{B}_{t}^{x}}\left|\Phi_{t}^{x}(u)\right| $$
这种仅基于边界的损失函数能为姿态和关节运动提供密集的梯度信息，且无需依赖资产的光度质量。
Dyn-HaMR [Yu et al. 2025] 已经提供了强大的时序手部跟踪能力，并能预测每帧的手部姿态 $\{\Theta_t, R_t^h, \tau_t^h\}_{t=1}^N$，其中 $\Theta_t$ 表示关节姿态参数，$R_t^h$ 为全局根节点方向，$\tau_t^h$ 为全局平移量。因此，我们并不对手部采用 SoG 跟踪；相反，我们用轻量级的几何先验对初始化的 MANO 轨迹进行正则化：包括二维关节重投影、深度一致性以及局部接触约束。我们将关节重投影项记为 $\mathcal{L}_{2d}$，其完整公式详见补充材料第 10.4 节。为了解决深度歧义问题，同时又能抵抗遮挡边界附近噪声较大的单目深度数据的影响，我们使用点图 P 作为聚合深度锚点，而非密集的目标函数。设 $D_t^p$ 和 $D_t^h$ 分别表示物体和手部的渲染深度，$D_t^{pm}$ 为点图深度。我们通过物体和手部掩码中的中位数深度来概括这些地图：对于 $z_t^x = \text{median}(D_t^x[M_t])$，分别为 $z_t^{pm,x} = \text{median}(D_t^{pm}[M_t])$ 和 $x \in \{o, h\}$。我们的深度项为
$$ \mathcal{L}_{\mathrm{d e p t h}}=\sum_{t\in\mathcal{W}}\left(\left\|z_{t}^{h}-z_{t}^{\mathrm{p m},h}\right\|_{2}^{2}+\left\|z_{t}^{o}-z_{t}^{\mathrm{p m},o}\right\|_{2}^{2}+c_{t}^{h o}\left\|z_{t}^{o}-z_{t}^{h}\right\|_{2}^{2}\right) $$
前两项将手和物体锚定在点图的度量尺度上。第三项在接触帧中起作用，它将物体的深度与手相关联，从而减少仅依靠物体点图时出现的、视觉上看似合理但抓取不一致的深层问题。
为确保物理上的合理性，我们引入了表面感知的接触损失项 $\mathcal{L}_{contact}$，该损失项会促使指定的手部接触区域[Hasson et al. 2019]与物体表面对齐，同时惩罚物体间的相互穿透现象。我们还使用了平滑性损失项 $\mathcal{L}_{smooth}$，该损失项会对平移和旋转过程中的时间加速度进行惩罚。这些跟踪先验的详细数学表述，以及它们在公式(2)中对应的超参数和权重，均在补充材料的第10.2节和第10.4节中给出。
这种优化方案的计算量极低，因为图像和物体均被处理为紧凑的SoG：图像由二维高斯函数的四叉树来概括，而物体则通过最远点采样技术被下采样为最多2000个高斯函数。这种设计既恢复了传统SoG跟踪算法[Stoll et al. 2011]的高效性，又能利用生成式3D模型来获取精确的标准物体模型以及在复杂场景中的可靠初始化结果。
## 5 实验
### 5.1 数据集
HO3Dv3数据集。HO3Dv3 [Hampali et al. 2021]包含单手与物体交互的单目视频。我们使用了HOLD [Fan et al. 2024]评估集中提供的18个序列。
HOT3D。HOT3D [Banerjee et al. 2025]是一个以人眼为中心的数据集，其中包含了手和物体的精确3D姿态与形状信息。由于该数据集并未为其测试集提供真实标注，因此我们从训练集中选取了18个序列。具体来说，我们从完整的训练视频中提取仅包含不同物体与单手交互的片段。在HOT3D上运行相关方法之前，需先对鱼眼视频进行畸变校正。
### 5.2 评价指标
我们通过SAM3D的解码器将形状标记解码为网格，并依照HOLD [Fan et al. 2024]的标准进行评估。手部精度通过相对于根节点的MPJPE（毫米）来衡量。为了独立于姿态来评估物体模板的质量，我们对网格进行ICP对齐，进而计算倒角距离（CD，厘米）以及10毫米阈值下的F分数（F10）[Fan et al. 2024]。为了衡量物体在3D空间中相对于手部的姿态和形状，我们从物体顶点中减去预测的手部根节点位置，进而计算出物体相对于手部的倒角距离（ $CD_{h}$）[Fan et al. 2024]。我们还报告了成功率（SR）：如果方法无法输出有效结果——比如初始化过程失败（尤其是基于SfM的流水线），或者跟踪效果严重恶化导致手相对倒角距离达到1000厘米，则该序列被视为失败。由于不同方法的剪辑长度存在差异，我们报告了在单块NVIDIA RTX4090 GPU上的归一化运行时间（每100帧所需的小时数），以量化其效率，该时间包含了预处理和优化阶段的时间。
### 5.3 实现细节
我们采用滑动窗口的方式，用AdamW [Loshchilov and Hutter 2017]对每个序列进行优化：每个窗口包含8帧（步长为7），迭代100次，依次覆盖整个视频。
---
Fig. 8. Qualitative Comparison. We compare the output of GraG with previous SoTA works HOLD, BIGS, and MagicHOI on HO3D (first 2 rows) and HOT3D (last 2 rows). In the 2nd row 4th column, MagicHOI fails to produce a valid reconstruction; we therefore report it as N/A. Overall, GraG preserves sharper object geometry and yields more plausible hand poses (with fewer interpenetrations), while being substantially more efficient.
在每个窗口内，我们优化手部和物体的姿态参数，而在初始化之后，标准物体模型和手部形状则保持固定。在单块RTX4090 GPU上，对于一段100帧的序列，第1-2阶段平均耗时约6分钟，第3阶段耗时约10分钟。相关超参数详见补充材料的第10.2节。
### 5.4 实验结果
与现有最先进方法的对比。我们按照HOLD的评估协议，将GraG与包括HOLD [Fan等人，2024]、BIGS [On等人，2025]以及MagicHOI [Wang等人，2025]在内的现有最先进方法进行比较。HOLD是一种基于NeRF的方法，利用SDF表示来联合优化手-物体场景。BIGS则利用带有三平面MLP和SDS损失的3D高斯来重建HOI场景。MagicHOI通过利用新视角合成模型来生成被遮挡的物体区域，从而对HOLD进行扩展。需要注意的是，虽然MagicHOI专为短片段设计，但为了完整性我们仍将其纳入比较范围。这些都是完整系统的对比：GraG得益于更强大的物体和手部先验（SAM3D、Dyn-HaMR），而这些在HOLD或BIGS中并未提供。定量结果的提升既源于这些先验，也源于我们轻量级的跟踪框架。
定量结果。我们在表1中报告了定量结果。在HO3Dv3数据集上，我们的方法取得了最佳的物体重建质量，与BIGS相比CD降低了23.9%，与HOLD相比降低了34.6%，同时F10提升至97.2%，这部分得益于更强大的基于SAM3D的物体先验。GraG还获得了第二好的MPJPE值（9.38毫米），且成功率达到100%。MagicHOI在成功的片段中获得了最低的MPJPE值，但其较低的成功率以及较高的$CD_{h}$表明其在完整序列上的手-物体对齐并不稳定。值得注意的是，
Table 1. Quantitative comparison. We report object reconstruction, hand accuracy, success rate, and runtime on HO3Dv3 and HOT3D. We highlight the best and second-best results. All methods are averaged over the successful results only. ${}^{(1)}$BIGS results on HO3Dv3 differ from those reported by [On et al. 2025]; we obtain them by running the authors' open-source implementation with the reported hyperparameters.
| Dataset | Method | CD [cm] $\downarrow$ | F10 [%] $\uparrow$ | MPJPE [mm] $\downarrow$ | CD $_{h}$ [cm] $\downarrow$ | Success Rate [%] $\uparrow$ | Runtime [h] $\downarrow$ |
| HO3Dv3 | HOLD | 0.78 | 92.0 | 23.4 | 4.27 | 100 | 10.5 |
| BIGS $^{*}$ | 0.67 | 94.1 | 23.9 | 7.61 | 100 | 3.60 |
| MagicHOI | 1.58 | 73.7 | 4.35 | 129 | 67.0 | 1.20 |
| Ours | 0.51 | 97.2 | 9.38 | 5.02 | 100 | 0.27 |
| HOT3D | HOLD | 3.14 | 53.3 | 21.9 | 122 | 50.0 | 10.5 |
| BIGS | 2.92 | 51.7 | 36.9 | 84.2 | 50.0 | 3.60 |
| MagicHOI | 22.6 | 33.6 | 18.4 | 97.1 | 55.6 | 1.20 |
| Ours | 0.67 | 94.7 | 20.6 | 9.37 | 100 | 0.27 |
GraG的速度也显著更快，每100帧仅需0.27小时，而MagicHOI需要1.2小时，BIGS需要3.6小时，HOLD则需要10.5小时。
在更具挑战性的HOT3D数据集上——该数据集具有以自我为中心的视角、快速的相机运动以及严重的手部遮挡——我们的方法进一步提升了物体重建和手-物体对齐效果。与BIGS相比，我们的CD降低了77.1%；与HOLD相比则降低了78.7%，并且实现了最佳的手-物体对齐效果，$CD_h$较最强基线降低了88.9%。我们的方法成功率也达到了100%，而基于SM的基线方法成功率则降至50%–56%。在长的以自我为中心的序列中，基于COLMAP的初始化的稳定性受帧采样影响很大，常常导致相机姿态不稳定，进而引发漂移或重建失败。因此，依赖此类初始化的方法（HOLD、BIGS和MagicHOI）
---
Fig. 9. Ablation experiments. We visualize how key design choices affect reconstruction quality (two representative views per setting: camera view and back view). Using all frames during reconstruction yields an inaccurate canonical object shape and scale, leading to implausible grasps. Running Stage 2 SAM3D pose estimation without freezing the shape tokens destabilizes per-frame pose estimates (note that Stage 3 still utilizes the Stage 1 canonical object in this experiment). Replacing our compact SoG refinement with dense Gaussian Splatting (GS) tracking is slower and often fails to converge under the same iteration budget. Similarly, replacing SoG with optical flow causes tracking to collapse during hand-object occlusion, degrading the final reconstruction. Without the visibility gate, SoG alignment is biased by hand-occluded regions, producing incorrect object poses. Our full model achieves the highest fidelity closely matching the ground truth.
往往无法收敛，或者产生的物体跟踪结果不一致。具体而言，MagicHOI是为短片段评估设计的；当将其应用于完整的HO3Dv3和以自我为中心的HOT3D序列时，其基于COLMAP的初始化常常变得不稳定，从而导致其成功率降低。
定性结果。如图8所示，我们的方法能够从视频中准确重建手和物体，保留更精细的几何细节，空间位置也更连贯，优于以往的最先进方法。尤其是在HOT3D数据集上，我们的方法表现更为出色：它能恢复细小的结构（如剪刀），并在物体被遮挡时保持合理的尺寸；而竞争方法要么无法重建出有意义的物体几何形状，要么在优化过程中出现发散现象，这主要是因为它们依赖于COLMAP/SfM初始化。我们的结果表现出更少的对齐误差和更逼真的抓取形态。关于参考图像上的叠加效果，可参见补充材料中的图13。
## 6 消融实验
我们通过在两个HO3Dv3序列和两个HOT3D序列上进行消融实验，来验证我们的设计选择。
结果在表2、图9和补充材料中展示。在第一阶段，平衡关键帧比单帧、随机关键帧或所有帧能带来更好的物体重建效果，这表明视图质量比单纯增加SAM3D输入数量更为重要，图10也证实了这一点。在第二阶段，固定规范形状并加入时间引导能够改善手部相对物体姿态误差，说明视频级的姿态适配更加稳定。最重要的是，“仅使用基础模型”的消融实验评估了未经过第三阶段优化的同一SAM3D物体模型和Dyn-HaMR手部先验，其手部-物体误差明显更大（$CD_{h}=20.62$）。与完整模型（$CD_{h}=7.65$）之间的差距源于整个第三阶段，该阶段同时利用了预训练先验和SoG对齐技术，因此不能将这一差距归因于SoG单独的作用。当我们仅去掉SoG跟踪项但保留第三阶段的先验时，$CD_{h}$已经降至10.45，这说明在先验的作用下，“仅使用基础模型”所产生的误差大部分已被弥补，而SoG则进一步缩小了剩余差距（从10.45降至7.65）。正是这些先验使得手部相对姿态得以精确还原，而紧凑型手部感知SoG主要提供高效的跟踪信号。我们进一步用密集高斯渲染、网格渲染以及Lucas-Kanade[Lucas和Kanade 1981]光流跟踪基线来替换SoG。密集高斯渲染和网格渲染优化了来自SAM3D资产的RGB渲染对比损失，但对生成的纹理和手部遮挡较为敏感；光流技术通过视频追踪投影的物体表面点，但在遮挡、快速旋转和外观变化剧烈的情况下往往容易丢失跟踪目标。所有这些替代方案的表现都不如完整的SoG目标函数，且网格和密集高斯跟踪在消融集上的运行速度也更慢。在各种损失项中，接触损失对手部-物体对齐最为关键；深度、轮廓和可见性门控机制则提升了对遮挡情况的鲁棒性。
Table 2. Ablation study. We ablate key components of our method on 4 sequences, 2 sequences from HO3Dv3 and 2 sequences from HOT3D. The first block ablates Stage 1 object reconstruction, the second block ablates Stage 2 SAM3D pose adaptation, and the third block ablates Stage 3 tracking objectives. For Stage 2 and Stage 3 variants, the same canonical object reconstructed with balanced keyframes is used, so CD and F10 remain unchanged. The “w/o freezing shape” row does not freeze the shape latent during SAM3D pose adaptation, but still uses the Stage 1 object during Stage 3 tracking. Runtime is normalized per 100 frames.
| Ablation | CD [cm] $\downarrow$ | F10 [%] $\uparrow$ | MPJPE [mm] $\downarrow$ | $CD_{{H}}$ [cm] $\downarrow$ | Runtime [h] $\downarrow$ |
| random K = 4 keyframe selection | 0.69 | 93.9 | 11.5 | 9.36 | 0.27 |
| single view from first frame | 0.73 | 92.1 | 18.2 | 22.73 | 0.27 |
| using all frames | 0.68 | 93.6 | 11.5 | 9.95 | 0.30 |
| w/o freezing shape | 0.45 | 98.8 | 11.4 | 10.81 | 0.28 |
| w/o temporal guidance ( $\lambda_{{temp}}=0$) | 0.45 | 98.8 | 11.5 | 10.60 | 0.27 |
| only foundation models (w/o Stage 3) | 0.45 | 98.8 | 12.1 | 20.62 | 0.10 |
| Gaussian Splatting tracking instead of SoG | 0.45 | 98.8 | 11.8 | 10.46 | 1.20 |
| mesh rendering instead of SoG | 0.45 | 98.8 | 13.6 | 12.60 | 2.40 |
| optical flow tracking instead of SoG | 0.45 | 98.8 | 11.8 | 11.45 | 0.24 |
| opt. w/ SoG refinement (only prior losses) | 0.45 | 98.8 | 11.5 | 10.45 | 0.21 |
| w/o visibility gate (no hand-occlusion gating) | 0.45 | 98.8 | 11.5 | 9.35 | 0.27 |
| w/o depth loss $\mathcal{L}_{depth}$ | 0.45 | 98.8 | 11.4 | 12.70 | 0.27 |
| w/o silhouette loss $\mathcal{L}_{sil}$ | 0.45 | 98.8 | 11.5 | 10.71 | 0.25 |
| w/o contact loss $\mathcal{L}_{contact}$ | 0.45 | 98.8 | 11.5 | 19.58 | 0.21 |
| full model | 0.45 | 98.8 | 11.3 | 7.65 | 0.27 |
## 7 应用
为了展示下游机器人应用场景，我们将GraG与SimToolReal [Kedia等人，2026]进行了集成，后者是一种用于零样本灵巧工具操控的以物体为中心的框架。SimToolReal将任务表述为一系列期望的6D物体目标姿态序列，其策略会同时观测当前的机器人/物体状态以及相对物体-目标关键点。我们录制了一段单目拍摄的人类演示视频，视频中展示了自制的短螺丝刀，利用GraG重建其6D物体轨迹，并将该轨迹转换为SimToolReal所需的世界坐标系下的目标姿态序列。随后，我们在相应的垂直旋转任务上评估预训练的短螺丝刀操控策略，并在图12及补充视频中可视化其结果。如补充视频所示，SimToolReal能够根据GraG指定的物体几何形状和姿态成功操控螺丝刀。值得注意的是，尽管SimToolReal表现稳健，但错误的物体跟踪仍导致了多达44%的失败案例。虽然这只是定性展示，但GraG与SimToolReal的无缝集成证明了我们方法的泛化潜力。
## 8 局限性
为说明一个下游机器人应用案例，我们将 GraG 与 SimToolReal [Kedia et al. 2026] 对接，后者是一个面向零样本灵巧工具操作的以物体为中心的框架。SimToolReal 将任务表示为一系列期望的 6D 物体目标位姿，其策略会观测当前的机器人/物体状态以及相对
---
Fig. 10. Effect of keyframe selection on object reconstruction. Random keyframe selection and using all frames for reconstruction degrade the canonical reconstruction (shape/scale) compared to our balanced keyframe selection; ground truth shown for reference.
Fig. 11. Object-only reconstruction comparison. Front/back views of reconstructed object geometry; ground truth shown for reference.
Fig. 12. Human-to-robot tool manipulation from GraG object trajectories. Top: monocular RGB frames from a human short-screwdriver demonstration. Bottom: corresponding visualizations of the SimToolReal policy observations. The green screwdriver indicates the current goal pose obtained from GraG's reconstructed 6D object trajectory (Zoom in for best view). The policy receives the robot state, estimated object pose, and goal pose; once the current object pose is sufficiently close to the goal, the goal advances to the next pose in the sequence. This visualization renders the policy inputs and goal-tracking behavior, rather than a physics-based real-robot execution.
物体到目标的关键点。我们记录了一个室内短螺丝刀的单目人类演示，利用GraG重建其6D物体轨迹，并将该轨迹转换为SimToolReal所使用的世界坐标系下的目标姿态序列。随后，我们在相应的垂直旋转任务上评估预训练的短螺丝刀策略，并在图12和补充视频中展示了评估结果。如补充视频所示，SimToolReal能够根据GraG指定的物体几何形状和姿态成功操控螺丝刀。值得注意的是，尽管该算法具有鲁棒性，但错误的物体跟踪仍导致了SimToolReal中多达44%的失败案例。虽然目前仅通过定性方式进行了验证，但GraG与SimToolReal的无缝集成能力证明了我们方法的泛化潜力。
## 8 局限性
虽然使用Depth Anything 3点图作为聚合度量锚点能够减小深度误差，但严重的点图失效仍可能导致物体尺度和平移出现偏差。同样，我们采用的颜色加权SoG对齐方法虽能抵御纹理缺陷的影响，却依然容易受到光照变化、阴影、镜面反射以及物体纹理较弱等因素的干扰。我们的对齐项会将三维基元近似投影为各向同性的二维轮廓，这种近似在视角变化较大或图像边界附近存在部分裁剪时可能会损失精度，因为精确的透视投影会产生椭圆形的二维轮廓。我们利用这种近似方法来获得简单且闭合形式的标量重叠值。将物体和图像的SoG扩展为各向异性的二维协方差矩阵，或开发混合版本，将是未来值得探索的方向。
我们的流程还依赖于高质量的手部与物体掩码，而在极端遮挡情况下获取这些掩码颇具挑战性。最后，当前系统仅局限于对单个刚性物体的单手操作。
---
我们将双手交互以及可变形物体的研究留待未来开展。
## 9 结论
我们提出了Grasp in Gaussians（GraG），这是一个高效且可扩展的框架，能够从单目视频中重建动态的手部-物体交互场景。我们发现，简单地组合二维/三维基础模型会产生欠佳的结果，尤其是在优化运行时间方面。为此我们重新引入了高斯求和跟踪的理念，证明了少量高斯点集能够被高效跟踪。实验表明，作为基于现代物体与手部先验的完整系统，GraG在提升重建质量与鲁棒性的同时，相比以往基于视频的HOI重建方法大幅缩短了运行时间。在未来的工作中，我们计划融入重建结果的物理合理性以提升鲁棒性，并将该流程扩展到多只手及多个交互物体场景。
## 致谢
本项目得到了萨尔布吕肯视觉计算、交互与人工智能研究中心的支持。我们感谢匿名审稿人提出的建设性意见与建议。
## 参考文献
Ayce Idil Aytekin, Helge Rhodin, Rishabh Dabral, 和 Christian Theobalt. 2026. Follow My Hold：通过几何引导重建手部-物体交互。载于2026年国际3D视觉会议（3DV）。第795–805页。doi:10.1109/3DV69130.2026.00081
Prithviraj Banerjee, Sindi Shkodrani, Pierre Moulon, Shreyas Hampali, Shangchen Han, Fan Zhang, Linguang Zhang, Jade Fountain, Edward Miller, Selen Basol等. 2025. Hot3D：从以自我为中心的多视角视频中追踪手部与物体。载于IEEE/CVF计算机视觉与模式识别会议论文集。第7061-7071页。
L. Bretzner, I. Laptev, 和 T. Lindeberg. 2002. 利用多尺度颜色特征、分层模型和粒子滤波进行手势识别。载于自动人脸与手势识别会议。第423–428页。doi:10.1109/AFGR.2002.1004190
Zhe Cao, Ilija Radosavovic, Angjoo Kanazawa, 和 Jitendra Malik. 2021. 野外场景下手部-物体交互的重建。载于IEEE/CVF国际计算机视觉会议论文集。第12417–12426页。
Nicolas Carion, Laura Gustafson, Yuan-Ting Hu, Shoubhik Debnath, Ronghang Hu, Didac Suris, Chaitanya Ryali, Kalyan Vasudev Alwala, Haitham Khedr, Andrew Huang等. 2025. SAM 3：基于概念的图像分割。arXiv预印本arXiv:2511.16719（2025年）。
赵宇伟、杨伟、向宇、帕夫洛·莫尔恰诺夫、安库尔·汉达、乔纳森·特伦布莱、亚什拉杰·S·纳朗、卡尔·范·维克、乌马尔·伊克巴尔、斯坦·伯奇菲尔德等。2021年。Dexycb：一个用于捕捉物体抓取情况的基准测试。载于2021年IEEE/CVF计算机视觉与模式识别会议（CVPR）。IEEE出版社，第9040–9049页。
陈星宇、朱富健、皮埃尔·格莱兹、凯文·J·梁、亚历山大·萨克斯、唐浩、王伟尧、郭米歇尔、蒂博·哈丁、李翔等。2025年。Sam 3d：图像中任意物体的三维重建。arXiv预印本arXiv:2511.16624（2025年）。
陈元涛、常嘉豪、叶崇杰、张超然、方照杰、李成宏、韩晓光。2026年。ForeHOI：从日常手物交互视频中进行前馈式三维物体重建。arXiv预印本arXiv:2602.06226（2026年）。
丛晓燕、邢 Angela、钱德拉迪普·波卡里亚、傅 Rao、斯里纳斯·斯里达尔。2025年。DyTact：捕捉手物操作中的动态接触情况。arXiv预印本arXiv:2506.03103（2025年）。
恩里克·科罗纳、阿尔伯特·普马拉拉、吉列姆·阿伦亚、弗朗西斯科·莫雷诺-诺格尔、格雷戈里·罗热斯。2020年。Ganhand：预测多物体场景中人类的抓取可能性。载于IEEE/CVF计算机视觉与模式识别会议论文集。第5031–5041页。
蒂莫泰·达尔塞、马克西姆·奥夸布、朱利安·梅拉尔、皮奥特·博雅诺夫斯基。2024年。视觉Transformer需要寄存器。载于2024年国际学习表征会议论文集，第2632–2652页。
马特·戴特克、达斯汀·施文克、霍尔迪·萨尔瓦多、卢卡·韦斯、奥斯卡·米歇尔、埃利·范德比尔特、路德维希·施密特、基安娜·埃萨尼、阿尼鲁达·肯巴维、阿里·法哈迪。2023年。Objaverse：一个带有注释的三维物体数据库。载于IEEE/CVF计算机视觉与模式识别会议论文集。第13142–13153页。
A. Elhayek、E. Aguiar、A. Jain、J. Tompson、L. Pishchulin、M. Andriluka、C. Bregler、B. Schiele、C. Theobalt。2015年。在摄像头数量较少的普通场景中，基于高效卷积神经网络的无标记动作捕捉技术。载于CVPR会议。
范子聪、玛丽亚·帕雷利、玛丽亚·埃莱尼·卡多格鲁、陈旭、穆罕默德·科卡巴斯、迈克尔·J·布莱克、奥特马尔·希利格斯。2024年。Hold：从视频中实现类别无关的手与物体交互三维重建。载于IEEE/CVF计算机视觉与模式识别会议论文集。第494–504页。
范子聪、奥米德·塔赫里、迪米特里奥斯·齐奥纳斯、穆罕默德·科卡巴斯、曼努埃尔·考夫曼、迈克尔·J·布莱克、奥特马尔·希利格斯。2023年。ARCTIC：一个用于灵巧的双手法物操作的数据集。载于IEEE/CVF计算机视觉与模式识别会议论文集。第12943–12954页。
谷歌。2025年。Gemini 3 Flash预览版。。模型标识符：gemini-3-flash-preview。
什雷亚斯·汉帕利、托马斯·霍丹、卢安·特兰、马玲妮、塞姆·凯斯金、文森特·勒佩蒂。2023年。基于RGB序列的手持三维物体扫描技术。载于IEEE/CVF计算机视觉与模式识别会议论文集。第17079–17088页。
什雷亚斯·汉帕利、萨扬·德布·萨卡尔、文森特·勒佩蒂。2021年。Ho-3d_v3：提升HO-3D数据集中手物标注的准确性。arXiv预印本arXiv:2107.00887（2021年）。
理查德·哈特利、安德鲁·齐瑟曼。2011年。《计算机视觉中的多视图几何》（第2版）。剑桥大学出版社，英国剑桥。
Yana Hasson、Bugra Tekin、Federica Bogo、Ivan Laptev、Marc Pollefeys和Cordelia Schmid。2020年。利用随时间变化的光度一致性进行稀疏监督的手部-物体重建。载于IEEE/CVF计算机视觉与模式识别会议论文集，第571–580页。
Yana Hasson、Gül Varol、Cordelia Schmid和Ivan Laptev。2021年。面向RGB视频的无约束手部-物体联合重建。载于2021年国际3D视觉会议（3DV），IEEE出版社，第659–668页。
Yana Hasson、Gul Varol、Dimitrios Tzionas、Igor Kalevatykh、Michael J Black、Ivan Laptev和Cordelia Schmid。2019年。学习手部与被操纵物体的联合重建。载于IEEE/CVF计算机视觉与模式识别会议论文集，第11807–11816页。
Haoyu Hu、Xinyu Yi、Zhe Cao、Jun-Hai Yong和Feng Xu。2024年。手部-物体交互控制器（HOIC）：用于基于物理规律重建交互的深度学习强化学习方法。载于ACM SIGGRAPH 2024会议论文集，第1–10页。
Haoyu Hu、Xinyu Yi、Hao Zhang、Jun-Hai Yong和Feng Xu。2022年。物理交互：利用物理规律重建手部-物体交互。载于SIGGRAPH Asia 2022会议论文集，第1–9页。
Di Huang、Xiaopeng Ji、Xingyi He、Jiaming Sun、Tong He、Qing Shuai、Wanli Ouyang和Xiaowei Zhou。2022年。从单目视频中重建手持物体。载于SIGGRAPH Asia 2022会议论文集，第1–9页。
Daniel Sungho Jung和Kyoung Mu Lee。2025年。从不平衡数据中学习密集手部接触估计。《神经信息处理系统进展》（2025年）。
Korrawe Karunratanakul、Jinlong Yang、Yan Zhang、Michael J Black、Krikamol Muandet和Siyu Tang。2020年。抓取场：学习人类抓取的隐式表示。载于2020年国际3D视觉会议（3DV），IEEE出版社，第333–344页。
Kushal Kedia、Tyler Ga Wei Lum、Jeannette Bohg和C Karen Liu。2026年。SimToolReal：一种用于零样本灵巧工具操控的物体中心策略。arXiv预印本arXiv:2602.16863（2026年）。
用于实时辐射场渲染的3D高斯泼溅技术。《ACM图形学交易》第42卷第4期（2023年7月）。
Zeqiang Lai、Yunfei Zhao、Haolin Liu、Zibo Zhao、Qingxiang Lin、Huiwen Shi、Xianghui Yang、Mingxin Yang、Shuhui Yang、Yifei Feng等。2025年。Hunyuan3D 2.5：迈向具有极致细节的高保真3D资产生成。arXiv预印本arXiv:2506.16504（2025年）。
Baicheng Li、Dong Wu、Jun Li、Shunkai Zhou、Zecui Zeng、Lusong Li和Hongbin Zha。2026年。MV-SAM3D：用于布局感知型3D生成的自适应多视图融合。arXiv:2603.11633 [cs.CV]
Haotong Lin、Sili Chen、Jun Hao Liew、Donny Y. Chen、Zhenyu Li、Guang Shi、Jiashi Feng和Bingyi Kang。2025年。Depth Anything 3：从任意视角恢复视觉空间。arXiv预印本arXiv:2511.10647（2025年）。
Shaowei Liu、Hanwen Jiang、Jiarui Xu、Sifei Liu和Xiaolong Wang。2021年。结合时间交互的半监督3D手部-物体姿态估计。载于IEEE/CVF计算机视觉与模式识别会议论文集，第14687–14697页。
Xingyu Liu、Pengfei Ren、Qi Qi、Haifeng Sun、Zirui Zhuang、Jing Wang、Jianxin Liao和Jingyu Wang。2025b。通过3D高斯模型从单目RGB图像中实现可泛化的手部-物体建模。载于第39届神经信息处理系统年会。
刘玉萌、龙晓晓、杨泽民、刘远、Marc Habermann、Christian Theobalt、马月欣、王文平。2025a。EasyHOI：释放大模型的潜力，用于重建野外场景中的手物交互。载于计算机视觉与模式识别会议论文集，第7037–7047页。
Ilya Loshchilov和Frank Hutter。2017。解耦权重衰减正则化。arXiv预印本arXiv:1711.05101（2017年）。
---
Bruce D Lucas和Takeo Kanade。1981。一种迭代式图像配准技术及其在立体视觉中的应用。载于IFCAI'81：第七届人工智能国际联合会议论文集，第2卷，第674–679页。
Thomas B. Moeslund、Adrian Hilton和Volker Krüger。2006。基于视觉的人体运动捕捉与分析研究进展综述。CVIU 104, 2（2006年），第90–126页。doi:10.1016/j.cviu.2006.08.002
Jeongwan On、Kyeonghwan Gwak、Gunyoung Kang、Junuk Cha、Soohyun Hwang、Hyein Hwang和Seungryul Baek。2025。BIGS：通过3D高斯泼溅技术从单目视频中重建类别无关的双手法交互。载于计算机视觉与模式识别会议论文集，第17437–17447页。
Maxime Oquab、Timothée Darcet、Théo Moutakanni、Huy Vo、Marc Szafraniec、Vasil Khalidov、Pierre Fernandez、Daniel Haziza、Francisco Massa、Alaaeldin El-Nouby等。2023。Dinov2：无需监督即可学习鲁棒的视觉特征。arXiv预印本arXiv:2304.07193（2023年）。
JoonKyu Park、Yeonguk Oh、Gyeongsik Moon、Hongsuk Choi和Kyoung Mu Lee。2022。Handoccnet：一种抗遮挡的3D手部网格估计网络。载于IEEE/CVF计算机视觉与模式识别会议论文集，第1496–1505页。
Georgios Pavlakos、Dandan Shan、Ilija Radosavovic、Angjoo Kanazawa、David Fouhey和Jitendra Malik。2024。利用Transformer重建3D手部模型。载于IEEE/CVF计算机视觉与模式识别会议论文集，第9826–9836页。
R. Plankers和P. Fua。2003。用于多视角形状与运动捕捉的铰接式软物体模型。PAMI 25, 9（2003年），第1182–1187页。
Frano Rajić、Haofei Xu、Marko Mihajlovic、Siyuan Li、Irem Demir、Emircan Gündoğdu、Lei Ke、Sergey Prokudin、Marc Pollefeys和Siyu Tang。2025。多视角3D点追踪技术。载于IEEE/CVF国际计算机视觉会议论文集，第59–68页。
Carl Yuheng Ren、Victor Prisacariu、Olaf Kaehler、Ian Reid和David Murray。2014。利用RGB-D输入对外观相同的多个物体进行3D追踪。载于3DV会议论文集，第47–54页。doi:10.1109/3DV.2014.39
Helge Rhodin、Christian Richardt、Dan Casas、Eldar Insafutdinov、Mohammad Shafiei、Hans-Peter Seidel、Bernt Schiele和Christian Theobalt。2016a。Egocap：利用两个鱼眼摄像头实现无标记的以人为中心的动作捕捉。ACM图形学交易（TOG）35, 6（2016年），第1–11页。
Helge Rhodin、Nadia Robertini、Dan Casas、Christian Richardt、Hans-Peter Seidel和Christian Theobalt。2016b。利用体积轮廓线索实现通用自动化人体形状与运动捕捉。载于欧洲计算机视觉会议论文集，Springer出版社，第509–526页。
Helge Rhodin、Nadia Robertini、Christian Richardt、Hans-Peter Seidel和Christian Theobalt。2015。一种具备可微可见性特性的多功能场景模型，应用于生成式姿态估计。载于IEEE国际计算机视觉会议论文集，第765–773页。
保罗-爱德华·萨林、塞萨尔·卡德纳、罗兰·西格瓦特和马尔钦·迪姆奇克。2019年。从粗略到精细：大规模环境下的鲁棒分层定位。载于IEEE/CVF计算机视觉与模式识别会议论文集，第12716–12725页。
保罗-爱德华·萨林、丹尼尔·德托内、托马什·马利西维茨和安德鲁·拉比诺维奇。2020年。SuperGlue：利用图神经网络学习特征匹配。载于IEEE/CVF计算机视觉与模式识别会议论文集，第4938–4947页。
D·沙尔斯坦、R·谢利斯基和R·扎比赫。2002年。密集双帧立体对应算法的分类与评估。载于IEEE立体与多基线视觉研讨会论文集（夏威夷考艾岛）。IEEE计算机学会出版。
史金川、叶斌宏、刘涛、刘晓阳、徐阳金辉、何俊哲、李泽举、陈浩和沈春华。2026年。AGILE：通过智能生成技术从视频中重建手-物体交互。arXiv预印本arXiv:2602.04672（2026年）。
斯里纳斯·斯里达尔、弗朗齐斯卡·穆勒、安蒂·奥拉斯维塔和克里斯蒂安·特博尔特。2015年。基于检测引导优化的快速且鲁棒的手部追踪。载于CVPR会议。
斯里纳斯·斯里达尔、赫尔格·罗丁、汉斯-彼得·赛德尔、安蒂·奥拉斯维塔和克里斯蒂安·特博尔特。2014年。利用各向异性高斯函数之和模型实现实时手部追踪。载于2014年第二届3D视觉国际会议，第1卷。IEEE出版社，第319–326页。
卡斯滕·斯托尔、尼尔斯·哈斯勒、尤尔根·加尔、汉斯-彼得·赛德尔和克里斯蒂安·特博尔特。2011年。利用高斯函数之和人体模型实现快速关节运动追踪。载于2011年国际计算机视觉会议。IEEE出版社，第951–958页。
理查德·谢利斯基。2010年。《计算机视觉》。施普林格出版社，英国伦敦。
V团队、洪文毅、余文猛等。2025年。GLM-4.5 V和GLM-4.1 V-Thinking：借助可扩展强化学习实现多功能多模态推理。arXiv预印本arXiv:2507.01006（2025年）。
布格拉·特金、费德里卡·博戈和马克·波莱菲斯。2019年。H+ o：统一的以自我为中心的3D手-物体姿态与交互识别。载于IEEE/CVF计算机视觉与模式识别会议论文集，第4511–4520页。
卡洛·托马西和筱原武夫。1992年。正交投影下图像流中的形状与运动：一种分解方法。《国际计算机视觉杂志》第9卷第2期（1992年11月），第137–154页。
王世博、何浩楠、玛丽亚·帕雷利、克里斯托夫·格布哈特、范子聪和宋杰。2025年。MagicHOI：利用3D先验从短单目视频片段中精确重建手-物体交互。arXiv预印本arXiv:2508.05506（2025年）。
向建峰、吕泽龙、徐思成、邓宇、王瑞成、张博文、陈东、童欣和杨娇龙。2025年。用于可扩展且多功能3D生成的结构化3D潜变量。载于IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集，第21469–21480页。
徐浩、王天宇、唐潇和傅志伟。2023年。H2Net：一种具备手部遮挡与方向感知能力的实时3D手网格重建网络。载于IEEE/CVF计算机视觉与模式识别会议论文集，第17048–17058页。
杨立新、詹欣宇、李凯琳、徐文强、李杰锋和卢泽武。2021年。CPF：学习接触势场以建模手-物体交互。载于IEEE/CVF国际计算机视觉会议论文集，第11097–11106页。
叶宇飞、阿比纳夫·古普塔和舒巴姆·图尔西亚尼。2022年。你手里拿的是什么？手中通用物体的3D重建。载于IEEE/CVF计算机视觉与模式识别会议论文集，第3895–3905页。
叶宇飞、波尔维·赫巴尔、阿比纳夫·古普塔和舒巴姆·图尔西亚尼。2023年。基于扩散模型引导的日常手-物体交互片段重建。载于IEEE/CVF国际计算机视觉会议论文集，第19717–19728页。
余正迪、斯特凡诺斯·扎费里乌和托尔加·比尔达尔。2025年。Dyn-HAMR：从动态摄像头恢复4D交互手部运动。载于计算机视觉与模式识别会议论文集，第27716–27726页。
郑承伟、薛立新、胡安·萨拉萨特和宋杰。2025年。GauSTAR：高斯表面跟踪与重建。载于计算机视觉与模式识别会议论文集，第16543–16553页。
钟立成、杨立新、李凯琳、甄浩宇、韩梅和卢泽武。2024年。Color-NeuS：带颜色信息的神经隐式表面重建。载于2024年国际3D视觉会议（3DV），IEEE出版社，第631–640页。
钟宇、阿尼尔·K·贾恩和M-P·杜布瓦松-乔利。2000年。基于可变形模板的物体跟踪。IEEE模式分析与机器智能交易，第22卷第5期，第544–549页。
马蒂亚斯·茨威克、汉斯彼得·普菲斯特、耶罗恩·范巴尔和马库斯·格罗斯。2001年。EWA体素绘制。载于2001年可视化会议（VIS'01）论文集，IEEE出版社，第29–538页。
M. 茨威克、H. 普菲斯特、J. 范巴尔和M. 格罗斯。2002年。EWA绘制技术。IEEE可视化与计算机图形学交易，第8卷第3期，第223–238页。doi:10.1109/TVCG.2002.1021576
---
### 10 补充材料
为确保不同数据集及对比方法之间的一致性，我们在预处理前将所有输入视频重采样为10帧/秒。
### 10.1 额外评估
遵循ARCTIC [Fan等人，2023]的方法，我们也在表4中报告了交互指标，例如用于衡量手-物体接触精度的接触偏差（CDev）、用于衡量运动平滑度的加速度误差（ACC）、用于衡量手与物体之间根部平移的平均相对根位置误差（MRRPE），以及用于判断手移动物体时稳定接触状态下的手与物体顶点是否同步运动的运动偏差（MDev）。我们未报告平均关节误差（AAE），因为该指标针对的是物体的关节运动，而关节物体不在我们的研究范围内。关于这些指标的详细解释，请参阅ARCTIC [Fan等人，2023]。请注意，对于物体加速度误差，我们使用的是与拓扑无关的变体，而非ARCTIC的原始定义。由于不同方法输出的物体网格往往存在差异，预测网格与真实网格通常没有顶点对应关系或索引匹配，因此我们通过比较物体根部轨迹随时间的加速度来衡量物体加速度误差。
表4显示，GraG在交互一致性方面始终有显著提升，在HOT3D数据集上的效果尤为突出。在HO3Dv3数据集上，我们的方法取得了最佳的时间交互质量（最高的MDev和$ACC_{h}$），同时与接触/姿态基准方法HOLD的表现相近。这表明我们的预测不仅在静态接触邻近区域准确，在操控过程中的时间连贯性也更强。
在HOT3D数据集上，误差范围更大：我们在CDev、MDev和MRRPE $_{h\to o}$ 指标上的表现显著优于先前的方法。具体而言，CDev从HOLD/BIGS方法的451–570毫米范围降至23.8毫米，而MRRPE $_{h\to o}$ 也从606–762毫米降至155毫米。这些改进表明，在更具挑战性的条件下（动态摄像头、更大运动幅度以及更嘈杂的几何数据），该方法能实现更好的手-物体耦合效果。由于对比方法依赖于COLMAP/SFM初始化，HOT3D场景对它们而言尤其难以处理。ACC $_{o}$ 呈现出互补的变化趋势。MagicHOI虽然能降低物体加速度误差，但其CDev/MRRPE $_{h\to o}$ 指标却较差，因为其在长序列中生成的物体轨迹往往过于平滑。一旦COLMAP/SFM初始化失败，恢复出的摄像头/物体运动可能近乎静止，从而导致加速度数值偏低，即便物体姿态并不正确。因此，仅凭ACC $_{o}$ 并不能反映准确的物体跟踪效果。我们的GraG方法则取得了更好的平衡：较低的ACC $_{o}$ 数值，同时具备出色的接触一致性和相对姿态一致性，这对于实现物理上合理的操控更为理想。
高斯数量与性能的平衡。增加高斯数量会大幅加重计算负担，但在该消融实验集上带来的可测量改进却十分有限。从Sparse SoG切换到简化版SAM3D高斯模型后，运行时间会增加约 $4.44\times$，峰值CUDA内存占用也会增加约 $2.3\times$，但对重建指标的改善却微乎其微。使用完整的密集高斯模型成本更高：其运行速度比Sparse SoG慢两个数量级以上，却在CD、F10、MPJPE或手-物体重建质量方面并未带来实质性提升。这支持了我们的设计选择——优化紧凑型稀疏各向同性SoG：它既能保留SAM3D提供的有用几何信号，又能避免追踪数十万甚至数百万个高斯所带来的优化开销。
Table 3. Trade-off between Gaussian count, compute, memory, and reconstruction quality on the ablation set. Runtime is normalized to hours per 100 frames as in the main paper setting. "Sparse SoG" is our default setting where we use farthest point sampling to subsample from the reduced SAM3D Gaussian asset and convert to isotropic Gaussians. "Reduced" denotes SAM3D's lower-count Gaussian decoder output, trained for downstream needs such as decoding fewer Gaussians for faster inference (see SAM3D's Supplementary Material for detailed information); "Full" denotes the dense SAM3D Gaussian decoder output. Storage reports the memory occupied by the object Gaussian parameter tensors, while Peak CUDA reports the maximum CUDA memory allocated during optimization. Thus, Storage measures representation compactness, whereas Peak CUDA captures practical optimization-time GPU memory.
| Setting | Number of Gaussians | Runtime (h) | Storage (MB) | Peak CUDA (GB) | $CD ^{↓}$ | $F10 ^{↑}$ | $MPJPE ^{↓}$ | $CD _{R} ^{↓}$ |
| Sparse SoG | ~ 2,000 | 0.27 | 0.11 | 2.4 | 0.45 | 98.8 | 11.3 | 7.65 |
| Reduced | ~ 60,000 | 1.20 | 3.20 | 5.5 | 0.44 | 99.1 | 11.3 | 7.50 |
| Full | ~ 300,000 | 34.1 | 16.0 | 6.2 | 0.44 | 99.1 | 11.3 | 7.50 |
Table 4. Interaction-consistency metrics. We report interaction metrics from ARCTIC [Fan et al. 2023] on HO3Dv3 and HOT3D, including Contact Deviation (CDev), Motion Deviation (MDev), hand/object acceleration error ( $ACC_{h}$, $ACC_{o}$), and Mean Relative Root Position Error between the hand and object ( $MRRPE_{h\to o}$). Lower is better for all metrics.
| Dataset | Method | CDev [mm] $\downarrow$ | MDev [mm] $\downarrow$ | $ACC_{{b}}$ [m/s $^{{2}}$] $\downarrow$ | $ACC_{{o}}$ [m/s $^{{2}}$] $\downarrow$ | $MRRPE_{{h-oo}}$ [mm] $\downarrow$ |
| HO3Dv3 | HOLD [Fan et al. 2024] | 15.8 | 10.8 | 11.3 | 30.2 | 38.6 |
| BIGS [On et al. 2025] | 54.2 | 23.1 | 14.4 | 37.8 | 79.4 |
| MagicHOI [Wang et al. 2025] | 533 | 21.5 | 15.4 | 10.3 | 747 |
| Ours | 17.0 | 5.37 | 6.17 | 12.5 | 45.4 |
| HOT3D | HOLD [Fan et al. 2024] | 451 | 65.3 | 15.8 | 117 | 606 |
| BIGS [On et al. 2025] | 570 | 85.6 | 24.1 | 136 | 762 |
| MagicHOI [Wang et al. 2025] | 463 | 66.7 | 20.3 | 18.3 | 728 |
| Ours | 23.8 | 15.7 | 10.5 | 27.4 | 155 |
我们选择了优化紧凑型稀疏各向同性SoG这一设计：它既能保留SAM3D提供的有用几何信号，又能避免追踪数十万甚至数百万个高斯所带来的优化开销。
### 10.2 超参数
我们在此报告第4.3节所述组件中，我们的方法所采用的具体设置。
窗口化优化。第3阶段采用长度为 $|\mathcal{W}| = 8$ 帧的窗口，步长为7（即每帧重叠），每个窗口需进行100次AdamW优化步骤。我们同时优化物体姿态与尺度，并辅以小幅的手部姿态与位置更新，同时通过公式(2)中的先验约束，使解结果贴近SAM3D和Dyn-HaMR的初始化值。
优化器设置。我们采用AdamW优化器，学习率为 $\beta = (0.9, 0.95)$，权重衰减为0；各变量的学习率分别为：物体平移 $2.5 \times 10^{-3}$、物体旋转 $8 \times 10^{-4}$、物体尺度 $10^{-3}$、手部关节姿态 $4 \times 10^{-4}$、手部平移 $9 \times 10^{-4}$、手部全局朝向 $5 \times 10^{-4}$ 以及手部尺度 $2 \times 10^{-4}$。在第3阶段，物体与手部形状均固定不变。我们未使用梯度裁剪；稳定性通过每一步之后的值截断来保证：全局物体尺度被限制在初始化值的 $[0.75, 2.0] \times$ 范围内，手部尺度则被限制在初始化值的 $[0.98, 1.04] \times$ 范围内，这样较大的接触/深度修正会通过平移而非尺度来调整。物体尺度和手部尺度均为整个序列共享的单一标量（并非按窗口或帧单独设定）。
---
Table 5. Contact-signal validation against mesh-proximity ground truth. Balanced accuracy (Bal. Acc) averages the in-contact and no-contact class accuracies; the VLM flag is the stronger signal on both datasets, most clearly on the rare no-contact frames.
| Contact signal | $HO3Dv3$ | $HOT3D$ |
| F1 $\uparrow$ | Bal. Acc $\uparrow$ | F1 $\uparrow$ | Bal. Acc $\uparrow$ |
| Gemini 3 (VLM, ours) | 0.99 | 0.80 | 0.97 | 0.66 |
| Mask-proximity (fallback) | 0.96 | 0.70 | 0.98 | 0.59 |
关键帧数量。我们为物体重建选用K = 4个关键帧。
图像SoG的构建。图像SoG是在物体掩码边界框内利用四叉树来构建的，其最大深度为6，颜色差异阈值为0.04，最小单元格尺寸为8像素，边界框填充为2像素，且有效掩码比例至少为$10^{-6}$。对于颜色均匀的区域，我们不会对其进行分割。各叶子节点中有效像素半范围的几何平均值即为各向同性图像的标准差。RGB值会被归一化到[^0] [^1]。
物体SoG的投影。我们通过从解码后的SAM3D高斯模型中采用最远点采样法选取2000个物体高斯分布。物体SoG使用各向同性的3D半径，其缩放因子为$\gamma = 1.75$，具体细节见下文的方法说明。在进行SoG匹配时，每个投影后的物体图元会考虑距离最近的64个图像SoG组件。颜色核的带宽则为$\sigma_c = 0.15$。
损失权重。公式(2)中所涉及的紧凑型第3阶段目标函数采用了以下权重：
$$ \lambda_{\mathrm{s o g}}=0.05,\quad\lambda_{\mathrm{j2d}}=0.5,\quad\lambda_{\mathrm{d e p t h}}=1000, $$
$$ \lambda_{sil}=100,\quad\lambda_{contact}=1000,\quad\lambda_{smooth}=100. $$
深度与接触激活。点云图的深度被用作手部/物体深度的可靠锚点。在接触帧中，物体深度还会与手部深度相关联，如公式(7)所示。接触指示符$c_{t}^{ho}$会根据VLM的接触标志来设定；若该标志不可用，则退而求其次采用第10.3节所述的掩码邻近性测试，该指示符会控制接触项和深度耦合项的生效。请注意，在主论文的各项实验中我们均使用了VLM接触标志；掩码邻近性标志仅用于表5中的接触信号验证。
来自视频VLM的接触标志。我们使用gemini-3-flash-preview [Google 2025]为每个序列计算一次接触标志。我们并非逐帧标注，而是将整个视频输入模型，让其输出手抓住物体的时间间隔列表，再利用序列帧率将这些间隔转换为逐帧标志$c_t^{ho}$。我们之所以要求输出时间间隔而非逐帧标签，是因为模型在整段序列上推理时，对抓取起始和结束时间的判定更为一致，这也能避免我们在逐帧查询时因遮挡现象产生的帧间闪烁问题。我们使用的提示词如下，其中{subject}表示参与交互的手：
请逐帧分析该视频，精准判断{subject}从“未握住”（0）状态转变为“握住”（1）状态的时刻。
1. 除非首个可见帧中手指已明显环绕物体，否则切勿假定在0.0秒时就开始抓取。
2. 伸手朝向物体并不等同于抓取。
3. 只有当手指在某一帧中明显环绕物体时，才算开始抓取。
4. 若无法确定，应推迟起始时间的判定，直至视觉上能明确看到包裹现象为止。
定义：
- 伸手阶段（0）：{subject}朝物体移动或触碰物体，但并未包裹住物体。
- 抓取阶段（1）：{subject}的手指明显环绕物体，或者物体在被包裹的同时被抬起。
步骤1：按顺序描述状态的时间线。
步骤2：给出抓取开始的首个时间戳。
步骤3：给出抓取结束的时间（若确实结束的话）。
仅返回置于``json块``中的JSON对象：
{ "timeline_reasoning": string,
"contact_intervals":
[ "start_sec": num, "end_sec": num },
"no_contact_before_sec": num }
同时提供：duration_sec、sampled_num_frames、sampled_fps。
- 请使用精确的时间戳，切勿随意四舍五入。
- 除非能亲眼看到，否则切勿假定从0.0秒就开始握住物体。
- 如果从未发生抓取动作，则返回空列表。
### 10.3 接触信号验证
我们的接触门限 $c_t^{ho}$（公式(2)）是通过视频VLM（Gemini 3 [Google 2025]）得到的，我们提示该模型识别每个序列的接触时间间隔，随后将其转化为逐帧的标记。我们将该信号与真实接触数据以及图像空间的替代方案进行对比验证，以确保结果可复现。
参照ARCTIC [Fan et al. 2023]的方法，当从真实网格计算出的手与物体顶点间的最小距离小于或等于3毫米时，我们将该帧标记为接触状态，这一过程使用各数据集已配准的手部和物体网格来完成。
为了可复现性，作为无VLM的备选方案，我们直接根据分割掩码来判定接触：在每一帧中，我们使用 $3 \times 3$ 最大池化核（步长为1）对二值化的手部与物体掩码进行膨胀处理；若膨胀后的掩码在图像空间中重叠，则标记为接触。
由于这些视频片段中接触帧占比很高（约97%），单纯的准确率指标具有误导性，因此我们报告F1分数和平衡准确率（接触类与非接触类准确率的平均值），并选择能使基线模型的平衡准确率达到最高的掩码膨胀参数。
在两个数据集上，VLM生成的标记都是更可靠的信号（见表5）。这种差异在罕见的非接触帧上表现得最为明显，平衡准确率指标能反映出这一点：HO3Dv3数据集上分别为0.80和0.70，HOT3D数据集上分别为0.66和0.59。掩码邻近法仅在HOT3D数据集上能得到稍高的F1分数，因为它几乎将每一帧都标记为接触状态。该方法在非接触帧上的表现较差，因为它无法感知深度信息：当手靠近或离开物体时，尽管两个掩码在图像中仍重叠，但物体在深度方向上实则已分离，因此它会错误地将无接触情况判定为接触，进而错误地触发我们的深度耦合损失函数。这种影响会波及到重建结果：用经过调优的掩码邻近法标记替换VLM标记后，HO3Dv3上的 $CD_h$ 会从 $5.02 \pm 1.47$ 厘米提升至 $5.53 \pm 2.32$ 厘米，HOT3D上则从 $9.37 \pm 4.68$ 厘米提升至 $10.60 \pm 6.50$ 厘米。可见经过调优的掩码邻近法能恢复大部分准确率，但对于关键帧而言VLM标记仍更优，且无需额外调参。VLM标记偶尔也会误判为接触，但在HO3Dv3和HOT3D上分别仅占1.2%和1.8%。
---
未来可以探索开源视频VLM或密集手部接触预测器（如HACO [Jung and Lee 2025]）作为可复现的接触信号来源，这将是很有价值的研究方向。
### 10.4 方法细节
关键帧选择细节。为了重建高质量的3D物体，我们必须选取既具信息量（可靠且稳定）又具多样性（覆盖不同物体角度）的视图。参照Depth Anything 3（DA3）[Lin et al. 2025]的鞍点平衡选择策略，我们从DA3编码器的[CLS]标记中提取每帧的全局描述符 $f_t \in \mathbb{R}^d$，该编码器采用DINOv2骨干网络[Oquab et al. 2023]。我们计算所有帧描述符两两之间的余弦相似度矩阵 $S_{t,s}$，并用三个标量统计值来描述每一帧的特征：与其他帧的平均相似度 $\tilde{S}_t = \frac{1}{T-1} \sum_{s \neq t} S_{t,s}$、特征幅度 $n_t = \|f_t\|_2$，以及描述符维度上的特征方差 $\nu_t = \text{Var}(f_t)$。
每个统计数据都会在序列范围内进行独立的最小-最大归一化。随后我们定义一个平衡代价函数，该函数倾向于选择位于归一化特征分布中心附近的帧：$C_{\text{bal}}(t) = |\tilde{S}_t - 0.5| + |n_t - 0.5| + |\nu_t - 0.5|$。这个中点能够有效抑制那些含有极端类别标记的帧。尤其是，异常大的特征范数或方差可能反映出ViT特征中的不稳定激活现象，这一现象在关于寄存标记的研究中也有提及[Darcet等人，2024]；而数值极小的情况往往对应着视觉信号较弱或模糊的帧。因此，平衡代价函数为根据类别标记筛选帧提供了简单的准则。
为了避免选取冗余的视图，我们将这一代价项与多样性惩罚相结合：
$$ \mathcal{V}^{*}=\arg\min_{\mathcal{V}\subset\mathbb{I},|\mathcal{V}|=K}\sum_{t\in\mathcal{V}}\left(C_{\mathrm{bal}}(t)+\lambda_{\mathrm{div}}\max_{s\in\mathcal{V}\backslash\{t\}}S_{t,s}\right), $$
其中$\lambda_{\mathrm{div}}$用于控制稳定性与多样性之间的权衡。我们采用贪心策略来优化这一目标：第一个关键帧选取得分最低的帧，后续每个关键帧的选取则通过最小化该代价来实现。
$$ C_{\mathrm{b a l}}(t)+\lambda_{\mathrm{d i v}}\max_{s\in\mathcal{V}}S_{t,s},\qquad t\notin\mathcal{V}. $$
这一流程能够选出能代表整个序列特征的帧，同时避免选取与已选关键帧过于相似的视图。示例关键帧可参见图3。
流匹配引导细节。在第二阶段，我们对SAM3D [Chen等人，2025]的内部生成过程进行调整，以实现时间上的稳定性。
- 潜空间与投影：SAM3D将物体形状$(Z^S)$和布局$(Z^P)$表示为一组离散标记。在被SAM3DTransformer处理之前，这些标记会通过特定模态的输入投影层（MLP）映射到一个共享的高维特征空间中。设$X_t^P \in \mathbb{R}^D$表示第t帧的布局潜状态，其维度D通常为1024。
- 速度场中的引导：SAM3D利用条件流匹配技术进行三维重建。在这种范式下，Transformer并不直接预测最终的姿态；而是预测一个速度场$v_{\theta}^{P}$，该速度场定义了当前潜状态$X_{t}^{P}$在特征空间中为到达目标数据分布所需移动的方向。
• 速度场中的引导：我们的时间引导机制直接应用于这个1024维的空间中。由于速度$v_{\theta}^{P} = \frac{dX_{t}^{P}}{dt}$代表特征空间中的位移向量，其维度与潜状态$X_{t}^{P}$相等。我们计算引导后的速度$\tilde{v}_{\theta}^{P}$如下：
$$ \tilde{v}_{\theta}^{P}~=~v_{\theta}^{P}~-~\lambda_{\mathrm{t e m p}}(X_{t}^{P}-X_{t-1}^{P}), $$
其中$(X_{t}^{P}-X_{t-1}^{P})$起到时间弹簧的作用，能够抑制连续帧之间在方向或平移上的突变。
- 输出投影与标记更新：引导步骤之后，引导后的速度$\tilde{v}_{\theta}^{P}$会经过特定模态的输出投影MLP。该层将1024维的速度映射回原始的标记空间，从而得到标记空间的更新$\Delta Z$。这一更新会应用到前一帧的标记上：
$$ Z_{t}^{P}~=~Z_{t-1}^{P}~+~\Delta Z. $$
更新后的标记$Z_{t}^{P}$随后会被布局解码器处理，以生成物理旋转、平移和缩放参数[Chen等人，2025]。通过在潜速度层面实施引导，模型的自注意力机制能够在遵循时间连续性强约束的同时解决几何歧义问题。
第二阶段结束时，输出结果中可能仍会出现偶尔的方向翻转现象。我们会执行简单的四元数一致性检查，并反转这些顺序错误的翻转情况以加以处理。
图像SoG。第4.3.1节中使用的图像SoG是基于紧密的物体掩码边界框构建的。每个四叉树叶子节点$\Omega_i$仅存储属于物体掩码的像素，即$\mathcal{P}_i = \{u \in \Omega_i \mid M_t^o(u) = 1\}$。其中心点、颜色和权重计算如下：
$$ \mu_{i}=\frac{1}{|\mathcal{P}_{i}|}\sum_{u\in\mathcal{P}_{i}}u,\qquad c_{i}=\frac{1}{|\mathcal{P}_{i}|}\sum_{u\in\mathcal{P}_{i}}I_{t}(u),\qquad w_{i}=|\mathcal{P}_{i}|. $$
对于各向同性的覆盖区域，我们计算叶子节点中有效像素的水平和垂直范围，分别为$r_i^x$和$r_i^y$，并设定$\sigma_i = \sqrt{r_i^x r_i^y}$。因此，优化后的图像表示即为紧凑集合$\mathcal{K}_{I_t} = \{(\mu_i, \sigma_i, c_i, w_i)\}_{i=1}^{N_t}$。仅为可视化目的，我们才将这些组件重新栅格化到图像平面上，并采用高斯加权颜色合成方式。
物体SoG。第4.3.2节中使用的物体SoG是通过对解码后的SAM3D高斯资产进行稀疏化处理，采用最远点采样算法，并将每个保留的各向异性高斯转换为各向同性的跟踪基元而得到的。设$a_j \in \mathbb{R}^3$表示解码后的高斯尺度。我们使用三维半径来计算：
$$ \rho_{j}=\gamma\frac{a_{j}^{x}+a_{j}^{y}+a_{j}^{z}}{3}, $$
---
其中涉及$\gamma = 1.75$，最终得到$\mathcal{G}_o = \{(x_j, \rho_j, c_j)\}_{j=1}^{N_o}$和$N_o \leq 2000$。在当前物体姿态和相机参数下，每个基元会投影到：
$$ \mu_{j,t}^{2D}=\Pi_{t}(s^{o}R_{t}^{o}x_{j}+\tau_{t}^{o}+\Delta\tau_{t}^{o}),\quad\sigma_{j,t}^{2D}=\frac{\bar{f}_{t}s^{o}\rho_{j}}{z_{j,t}}, $$
此处$\bar{f}_t = (f_t^x + f_t^y)/2$和$z_{j,t}$代表相机深度。
SoG的颜色核函数。对于两个颜色向量$c_i, c_j \in \mathbb{R}^3$，将其RGB值归一化为$[0,1]$后，我们定义：
$$ d(c_{i},c_{j})=\exp\left(-\frac{\|c_{i}-c_{j}\|_{2}^{2}}{\sigma_{c}^{2}}\right), $$
其中$\sigma_{c}$用于控制颜色差异的惩罚强度。在所有实验中，我们均设定$\sigma_{c}=0.15$。
第3阶段先验损失。本小节介绍了方程(2)中与SoG对齐项一起使用的具体辅助损失。由于Dyn-HaMR的初始结果已能提供可靠的手部跟踪数据，因此我们不对手部使用SoG对齐机制。取而代之的是，我们用轻量级的二维关节重投影先验来约束手部轨迹。利用MANO关节回归器J，我们可以通过$\ell$获取关节$J_{t,t}(\boldsymbol{\Theta}_t, R_t^h, t_t^h, s^h) \in \mathbb{R}^3$的三维位置。给定检测到的二维关节$\hat{u}_{t,t}$后，重投影先验为：
$$ \mathcal{L}_{\mathrm{j2d}}=\sum_{t\in\mathcal{W}}\sum_{\ell}\left\|\Pi\big(J_{t,\ell}(\boldsymbol{\Theta}_{t},R_{t}^{h},\tau_{t}^{h},s^{h})\big)-\hat{u}_{t,\ell}\right\|_{2}^{2}. $$
对于深度损失，尽管点云图提供了有用的几何线索，但我们仅将其用作聚合锚点。在手势-物体视频中，物体侧的点云图在遮挡区域或可见物体区域较小时往往噪声较大。此时，密集的点云图损失可能会干扰物体姿态或尺度的估计。因此，我们在方程(7)中采用了紧凑的深度项：以点云图统计信息作为锚定度量深度，同时利用接触帧将物体深度与手部深度关联起来。
对于接触损失，设$C_t$为第t帧中选定的MANO接触区顶点，$\mathcal{V}(H_t)$和$\mathcal{V}(O_t)$分别表示姿态化后的手部与物体表面的顶点。接触吸引项为：
$$ \mathcal{L}_{\mathrm{n e a r}}=\sum_{t\in\mathcal{W}}c_{t}^{h o}\frac{1}{\left|C_{t}\right|}\sum_{v\in C_{t}}\min_{y\in O_{t}}\left\|v-y\right\|_{2}^{2}. $$
为了惩罚相互穿透现象，设$\phi_{O_t}(x)$和$\phi_{H_t}(x)$为到物体表面和手部表面的有符号距离，正值表示在外部，负值表示在内部。我们使用：
$$ \begin{aligned}\mathcal{L}_{\mathrm{pen}}=\sum_{t\in\mathcal{W}}c^{ho}_{t}\Biggl(&\frac{1}{|\mathcal{V}(H_{t})|}\sum_{v\in\mathcal{V}(H_{t})}\max(0,-\phi_{O_{t}}(v))^{2}\\&+\frac{1}{|\mathcal{V}(O_{t})|}\sum_{y\in\mathcal{V}(O_{t})}\max(0,-\phi_{H_{t}}(y))^{2}\Biggr).\end{aligned} $$
完整的接触损失为$\mathcal{L}_{\text{contact}} = \mathcal{L}_{\text{near}} + \lambda_{\text{pen}} \mathcal{L}_{\text{pen}}$，其中$\lambda_{\text{pen}} = 5$。这种组合机制会将活动的指尖/接触区域拉向物体表面，同时防止任意一方表面穿透另一方。
为保证时间上的稳定性，我们对手部/物体的平移加速度以及物体的角加速度进行惩罚：
$$ \mathcal{L}_{\mathrm{s m o o t h}}=\sum_{t\in\mathcal{W}}\left(\|\boldsymbol{\Delta}^{2}\tau_{t}^{h}\|_{2}^{2}+\|\boldsymbol{\Delta}^{2}\tau_{t}^{o}\|_{2}^{2}+\lambda_{R}\|\boldsymbol{\Delta}^{2}\omega_{t}^{o}\|_{2}^{2}\right), $$
其中$\omega_{t}^{o}$表示由连续物体四元数引起的旋转速度。
10.5 各向同性物体高斯投影与各向异性物体高斯投影
在本节中，我们详细介绍了投影近似以及基于一阶透视雅可比矩阵的各向异性投影消融方法。Zwicker等人[^2001]提出的体积推导方法通过$3\times3$雅可比矩阵将相机空间映射到三维光线空间，并通过去掉深度行和列来得到二维覆盖区域的协方差。他们的表面推导方法同样使用了相机到图像映射的直接$2\times3$雅可比矩阵（参见[Zwicker等人，2002年]中的公式34）。我们的实现采用了这种直接的图像空间形式。设物体高斯j在相机空间中的均值为$\mu_j^c = (x, y, z)^T$，在世界空间中为各向同性的协方差$\sigma_j^2 I_3$。像素投影过程如下：
$$ \mu_{j}=\pi(\mu_{j}^{c})=\begin{bmatrix}f_{x}x/z+c_{x}\\ f_{y}y/z+c_{y}\end{bmatrix}. $$
其在图像空间的雅可比矩阵为：
$$ \mathbf{A}=\frac{\partial\boldsymbol{\pi}}{\partial\mu_{j}^{c}}=\begin{bmatrix}f_{x}/z&0&-f_{x}x/z^{2}\\ 0&f_{y}/z&-f_{y}y/z^{2}\end{bmatrix}\in\mathbb{R}^{2\times3}. $$
需要注意的是，A是二维像素投影的导数，而非体积公式中$3\times3$光线空间的雅可比矩阵。设$R_{wc}$表示世界到相机变换的旋转部分。各向异性分支所采用的协方差形式为：
$$ \begin{aligned}\boldsymbol{\Sigma}_{j}&=(\mathbf{A}\mathbf{R}_{w c})(\boldsymbol{\sigma}_{j}^{2}\mathbf{I}_{3})(\mathbf{A}\mathbf{R}_{w c})^{T}\\&=\sigma_{j}^{2}\mathbf{A}\mathbf{A}^{T},\end{aligned} $$
其中第二个等式成立是因为$\mathbf{R}_{wc}$是正交矩阵。该协方差可表示为：
$$ \Sigma_{j}=\sigma_{j}^{2}\left[\begin{matrix}{\displaystyle\frac{f_{x}^{2}}{z^{2}}\bigg(1+\frac{x^{2}}{z^{2}}\bigg)}&{\displaystyle\frac{f_{x}f_{y}x y}{z^{4}}}\\ {\displaystyle\frac{f_{x}f_{y}x y}{z^{4}}}&{\displaystyle\frac{f_{y}^{2}}{z^{2}}\bigg(1+\frac{y^{2}}{z^{2}}\bigg)}\\ \end{matrix}\right]. $$
因此，透视畸变通常会产生椭圆形的覆盖区域。我们的各向同性近似用标量形式的屏幕空间方差来替代这种协方差。各向异性消融过程对模型高斯j使用$\Sigma_j$，而图像高斯i仍保持各向同性，其协方差为$\Sigma_i = \sigma_i^2 I_2$。遵循Sridhar等人[^2014]提出的各向异性高斯重叠方法，未归一化的高斯函数的连续空间重叠部分为：
$$ \int_{\Omega}\mathcal{B}_{i}(u)\mathcal{B}_{j}(u)d u=2\pi\frac{\sqrt{\left|\Sigma_{i}\right|}\sqrt{\left|\Sigma_{j}\right|}}{\sqrt{\left|\Sigma_{i}+\Sigma_{j}\right|}}\cdot\mathrm{e}^{-\frac{1}{2}(\mu_{i}-\mu_{j})^{T}(\Sigma_{i}+\Sigma_{j})^{-1}(\mu_{i}-\mu_{j})}. $$
将此空间重叠部分与相同的颜色核$d(c_i, c_j)$相乘，即可得到公式(4)中定义的$E_{ij}$。对于各向同性的模型和图像协方差$\Sigma_j = \sigma_j^2 I_2$与$\Sigma_i = \sigma_i^2 I_2$，公式(18)可精确简化为公式(5)中的标量表达式。这种标量形式无需针对每对高斯计算$2 \times 2$的行列式和逆矩阵，从而能提供更平滑的图像对齐信号。
我们采用所描述的非各向同性投影和通用重叠方式重复优化阶段（第3阶段），其余参数保持不变。结果如表6所示。在此设置下，基于雅可比矩阵的非各向同性投影会导致略微……
---
Table 6. Gaussian-projection ablation. Comparing our scalar closed-form overlap against full 2D anisotropic projection. Modeling Jacobian-based anisotropic projection with matrix overlap does not improve tracking accuracy ( $CD_{h}$) and adds $\sim$11% runtime.
| Projection | Overlap | $HO3Dv3CD_h[cm] \downarrow$ | $HOT3DCD_h[cm] \downarrow$ | Runtime [h] $\downarrow$ |
| Isotropic (ours) | Scalar closed-form | $5.02 \pm 1.47$ | $9.37 \pm 4.68$ | 0.27 |
| Anisotropic | Full matrix (2 $\times$2) | $5.29 \pm 2.04$ | $10.43 \pm 6.39$ | 0.30 |
更高的$CD_h$（在HO3Dv3上从5.02升至5.29，在HOT3D上从9.37升至10.43），且运行速度慢约11%。
各向异性变体性能未能提升的一个可能原因是：2000个图元的空间排布已经能够捕捉到姿态优化所需的大部分物体级形状信息（包括剪刀、螺丝刀等细长物体结构）。在这种情况下，建模更精确的椭圆形覆盖区域所能提供的额外信息有限。此外，通用矩阵重叠方式可能比标量重叠方式产生的对齐景观更不平滑。未来研究方向包括针对边界或细长物体区域采用各向同性与各向异性混合的建模方式，以及将图像SoG也表示为各向异性高斯函数。
### 10.6 评估序列
我们在HO3Dv3 [Hampali等人，2021年]和HOT3D [Banerjee等人，2025年]的数据集序列上评估了我们的方法。具体使用的序列和时间戳详见表7和表8。
Table 7. HO3Dv3 sequences for hand-object reconstruction. We directly use the same sequences from HOLD [Fan et al. 2024]. All of these sequences are only right-handed.
| Object | Sequence name |
| bleach | ABF12 |
| bleach | ABF14 |
| potted meat | GPMF12 |
| potted meat | GPMF14 |
| cracker box | MC1 |
| cracker box | MC4 |
| power drill | MDF12 |
| power drill | MDF14 |
| sugar box | ShSu10 |
| sugar box | ShSu12 |
| mustard | SM2 |
| mustard | SM4 |
| mug | SMu1 |
| mug | SMu40 |
| banana | BB12 |
| banana | BB13 |
| scissors | GSF12 |
| scissors | GSF13 |
### 10.7 对比细节
对于HOLD [Fan et al. 2024]，我们采用了作者公开发布的预训练CVPR模型来处理HO3D数据，并利用现有代码对HOT3D进行训练。对于BIGS [On et al. 2025]，我们使用项目仓库中的官方实现，并按照其补充材料（第A节）中指定的超参数来优化各个阶段。为了从优化后的高斯模型中获取网格，我们在剔除那些在100个邻近点内标准差超过2.0的异常值后，采用深度为6的泊松重建算法。对于MagichOI [Wang et al. 2025]，我们遵循项目仓库中的官方实现。
### 10.8 详细结果讨论
GraG与近期的手部-物体重建方法（如HOLD、BIGS和MagicHOI）存在根本性差异。后者依赖于基于COLMAP/SfM的初始化的后续逐场景优化。这些方法需要稳定的多视角对应关系来估计相机姿态和粗略几何形状，才能进行联合重建。然而，在手部-物体交互视频中，由于严重的手部遮挡、快速的相机运动以及较小的物体投影，这种初始化往往不可靠；这类情况在HOT3D等数据集中尤为常见。结果就是，早期SfM阶段的误差会传递到后续的优化阶段，从而导致重建质量下降且成功率降低。
MagicHOI进一步将SfM初始化与生成式先验及物体修复技术相结合，以补全未见区域。虽然在精心挑选的输入条件下该方法效果显著，但要获得理想结果通常需要手动选择重建帧和修复视角。若直接提供完整的视频序列而未经此类筛选，优化过程会变得极具挑战性，重建质量也会下降，尤其是在HO3Dv3和HOT3D这类较长的序列中。相比之下，GraG专为直接处理完整视频序列而设计，无需手动选取帧。我们的方法首先识别信息量丰富的关键帧，利用基础模型重建物体的规范表示，同时将基于SAM3D的物体姿态预测适配到视频序列中。随后，借助具备时间和接触感知约束的紧凑型SoG表示，在序列中对规范物体进行跟踪。通过将规范形状重建与逐帧运动估计分离，GraG避免了重复的大规模场景优化，转而执行高效低维跟踪。
这种设计带来了多项优势。首先，GraG对遮挡和不稳定视角的鲁棒性显著更强，这解释了其在HOT3D等SfM类方法难以应对的复杂数据集上表现更优的原因。其次，从信息量丰富的关键帧中重建规范物体几何形状能够保留细微结构，使得该方法在处理难以通过对应关系初始化恢复的细小或部分可见物体时更加可靠。最后，用基于固定规范资产的轻量级跟踪取代耗时的测试时优化，不仅大幅加快了重建速度，同时在HO3Dv3和HOT3D上保持了更高的精度。
---
Table 8. HOT3D clips used in our evaluations, reported with sequence identifiers, hand side, temporal boundaries, and object IDs. Temporal boundaries are reported as HOT3D timecode timestamps (TS) in nanoseconds.
| Sequence name | Hand side | Start TS (ns) | End TS (ns) | Object ID |
| P0001_23fa0ee8 | right | 55003474858015 | 55015408224119 | 238686662724712 |
| P0001_8d136980 | right | 54039408208193 | 54044341521984 | 238686662724712 |
| P0001_b2bcbe28 | left | 54811408205972 | 54814874891157 | 258906041248094 |
| P0001_f71fe9b1 | right | 66482274870136 | 66485208197200 | 249541253457812 |
| P0010_8ff3e5c4 | left | 58695141597662 | 58697074869546 | 258906041248094 |
| P0011_0c2d00ed | right | 55563708197241 | 55572041548328 | 70709727230291 |
| P0011_0c2d00ed | right | 55660041543187 | 55661741528834 | 204462113746498 |
| P0011_2255410 | right | 56349641532049 | 56356641531612 | 249541253457812 |
| P0011_ccc678c7 | right | 55922341542825 | 55926474871989 | 261746112525368 |
| P0011_cd22f5e0 | right | 55211841541663 | 55215108194835 | 228358276546933 |
| P0011_ff7cfc3a | right | 55460874890915 | 55465808213471 | 225397651484143 |
| P0011_ff7cfc3a | right | 55518174857985 | 55522441524737 | 270231216246839 |
| P0012_0a21e4c2 | right | 47121508235754 | 47124108213732 | 106957734975303 |
| P0012_0a21e4c2 | right | 47145441536211 | 47157641593381 | 258906041248094 |
| P0012_44c5f677 | left | 59321408185000 | 59324774850689 | 194930206998778 |
| P0012_44c5f677 | right | 59420774854423 | 59423208211436 | 106434519822892 |
| P0014_84ea2dcc | right | 44789441528790 | 44791608213887 | 98604936546412 |
| P0015_60573a3b | left | 60819408201515 | 60825874885641 | 79582884925181 |
### 10.9 为何选用SoG而非渲染或光流？
稠密MV-SAM3D高斯模型仍然至关重要：它定义了用于采样紧凑物体SoG的规范几何与外观。然而，GraG在跟踪过程中并不会优化完整的照片级真实感模型。第3阶段会反复重新调整一小部分高斯图元的姿态，并最大化它们与图像中SoG的闭式重叠程度，同时利用手部掩码来限制被遮挡区域的支撑。这样就能得到具有空间范围的基于区域的对齐信号，因此即使在姿态误差较小、纹理较少或存在部分遮挡的情况下，跟踪器仍能获得有效的梯度信息。
这与三种自然替代方案有所不同。首先，网格渲染和稠密高斯RGB损失依赖于视图一致的生成纹理。如图7所示，生成的模型往往具有可用的几何结构，但前后面或侧面纹理却不可靠，因为多视图重建并未受到校准相机的明确约束。因此，光度渲染与对比目标可能会朝着纹理伪影而非姿态方向进行优化。其次，稀疏光流在手部遮挡、快速旋转以及外观变化较大的情况下会丢失跟踪点。需要注意的是，对于光流基线方法，我们会利用当前姿态投影物体表面点，通过迭代的Lucas-Kanade[Lucas和Kanade 1981]光流算法跟踪它们的2D位置，并优化刚体物体的姿态，以使投影的3D点能够匹配被跟踪的2D位置。表2列出了网格/高斯渲染和光流变体的性能数据，而GraG的SoG公式在这些方面均表现更优。
### 10.10 消融实验
我们在四个序列上开展消融实验：来自HO3Dv3的ABF14和GPMF12，以及来自HOT3D的P0011_oc2d00ed和P0011_2255f410。除非另有说明，我们均采用与完整模型相同的训练计划和超参数（包括第3阶段的所有损失权重以及每个窗口内的优化步数）。表2总结了关键组件的影响：(i) 用于规范物体重建的关键帧选择（第1阶段）；(ii) 基于冻结形状和时间引导的视频级姿态跟踪（第2阶段）；(iii) 我们基于SoG的精细化处理与先验损失（第3阶段）。
基础模型之外的性能提升。“仅基础模型”行保留了SAM3D物体重建和DynHaMR手部运动模型，但移除了第3阶段的精细化处理。该变体的重建物体质量相同，但手-物对齐效果却差得多（$CD_{h}=20.62$），这表明最终的跟踪阶段对于超越预训练先验而言是必要的。“无SoG精细化处理的优化”行保留了相同的第3阶段优化过程以及相同的几何/接触先验，但移除了SoG图像对齐项。其与“仅基础模型”相比的改进表明，先验能够修正大部分手-物深度误差，而与完整模型之间的差距则体现了SoG跟踪所做出的贡献。
完整基准测试中的SoG消融实验。表2针对四个序列进行了SoG消融实验；此处我们在完整基准测试中重复了仅使用先验与先验+SoG的对比，以展示SoG对齐项的效果。这些平均值涵盖了HO3Dv3的18个序列和HOT3D的18个序列，因此无法直接与表2中的四序列数据进行比较。加入SoG后，HO3Dv3上的$CD_h$从$7.66 \pm 4.93$降至$5.02 \pm 1.47$厘米，HOT3D上则从$12.11 \pm 6.39$降至$9.37 \pm 4.68$厘米，且两个数据集内序列间的差异也更小。正如预期，HOT3D上的方差更大，因为其相机运动更强且遮挡情况更严重。与四序列研究结果一致，先验保证了手相对位置的精度，而SoG则实现了高效的跟踪。
其他跟踪目标。网格、密集高斯和光流这几组实验用于确定是否真的需要SoG目标本身。网格和密集高斯渲染使用相同的生成物体资源来进行直接渲染与对比实验，而光流则利用投影物体表面点的Lucas-Kanade轨迹。相较于完整的GraG模型，这三种替代方案都会使$CD_{h}$值增大。它们同时也
---
比GraG模型运行得更慢，这与我们想将高斯资源用作紧凑型跟踪模板而非密集渲染器的目标是一致的。
损失项。移除接触约束后，$CD_{h}$会出现最明显的下降，这证实了在遮挡情况下，接触关系对于解析手与物体的相对深度至关重要。深度、轮廓以及可见性门控机制虽然带来的提升较小，但效果稳定：它们分别通过锚定度量尺度、对齐物体掩码，以及防止被遮挡的物体高斯点匹配到手部像素来实现这一效果。
### 10.11 MagicHOI结果差异
我们发现，MagicHOI在我们实验中的表现与其原始论文中报告的结果存在明显差异。这种差异主要源于输入序列长度和领域鲁棒性的不同。原始的MagicHOI研究是在时长较短且经过精心挑选的片段（2–3秒）上评估模型的，而我们的评估采用的是原始的HO3D序列长度（20–30秒）。此外，MagicHOI对时间尺度和视角较为敏感；当应用于更长且未经筛选的序列以及第一人称视角时，其性能会显著下降。
### 10.12 其他局限性详情
我们的方法使用Depth Anything 3生成的点云图作为聚合的度量深度锚点。我们的深度与接触约束机制减轻了中等程度的物体深度误差带来的影响：物体并非仅以其自身预测的深度为锚点，而是在有接触的帧中与手部深度相耦合。这样一来，即便仅靠物体深度会将物体置于离手部过远的位置，也能改善手与物体的对齐效果。不过，严重的点云图误差仍可能影响重建结果。当点云图给出的手部和物体的度量深度不一致，或者掩码/接触线索不可靠时，现有的线索可能会共同指向错误的度量尺度或平移参数。在这种情况下，细化过程仍可能得出不准确的手与物体相对姿态。
---
Reference image
Overlayed
Fig. 13. More qualitative results. We overlay rendered hand-object meshes on the input images for qualitative inspection and also show side views of the interactions.