# GHOST：基于高斯泼溅的RGB视频中快速、类别无关的手-物体交互重建

Ahmed Tawfik Aboukhadra$^{1,2}$

Jameel Malik$^{4}$

马塞尔·罗格$^{1,2}$ 纳迪娅·罗伯蒂尼$^{2}$ 阿卜杜拉·阿拉法$^{1,2}$

Ahmed Elhayek$^{3}$ Didier Stricker$^{1,2}$

 $^{1}$RPTU $^{2}$DFKI-AV Kaiserslautern $^{3}$UPM沙特阿拉伯 $^{4}$NUST-SEECS巴基斯坦

firstname{secondname}<mailto:.lastname@dfki.de>

## 摘要

从单目RGB视频中理解真实的手-物体交互对于AR/VR、机器人技术和具身人工智能至关重要。现有方法要么依赖特定类别的模板，要么计算量庞大，且生成的3D手-物体对齐结果往往不符合物理规律。我们提出了GHOST（高斯手-物体泼溅技术），这是一种利用2D高斯泼溅技术快速实现动态手-物体交互重建的类别无关框架。GHOST将手和物体都表示为密集且视角一致的高斯圆盘，并提出了三项关键创新：（1）几何先验检索与一致性损失机制，可补全被遮挡的物体区域；（2）基于抓握感知的对齐算法，能够优化手部平移和物体缩放，确保接触关系符合现实；（3）基于手部感知的背景损失函数，避免对手部遮挡的区域进行错误惩罚。GHOST仅需单段RGB视频即可生成完整、符合物理规律且可动画化的重建结果，其运行速度比以往同类类别无关方法快一个数量级。在ARCTIC、HO3D及自然场景数据集上的大量实验表明，GHOST在3D重建精度和2D渲染质量方面均达到了业界领先水平，是一种用于真实手-物体交互建模的高效且稳健的解决方案。代码可在<https://github.com/ATAboukhadra/GHOST>获取。

### 1. 引言

手是我们进行几乎所有物理交互的基础，比如抓取、操纵物体、操作设备或是表达意图[^3] [^16] [^21] [^52] [^55]。因此，从单目RGB视频中重建真实的三维手-物体交互，对于虚拟现实（VR）、增强现实（AR）、远程操控以及具身人工智能而言具有至关重要的意义。然而实现这一目标仍面临诸多挑战：手与物体之间的相互遮挡、物体拓扑结构的巨大差异，以及单目场景下固有的深度不确定性，往往会导致尺度不稳定且接触关系不符合物理规律。

![Image](images/4fb7dc7078982269cf47726fbf9e91bd7f44bf96758841b26fb84bd7653d01c6.jpg)

<div style="text-align: center;">Figure 1. Our method reconstructs complete 3D hand–object interactions from a single monocular RGB video—recovering full object surfaces and realistic hand contact even under severe occlusions—while enabling fast, accurate, category-agnostic reconstruction and novel-view rendering.</div>

在单目场景下，歧义现象往往会导致尺度不稳定以及物理上不一致的接触情况。

尽管已经取得了显著进展，现有的手-物体重建方法通常可分为两类。基于模板的方法[^6] [^18] [^19]能够生成高质量的网格，但仅限于一小部分固定的已知物体形状，因此难以泛化到现实场景中遇到的新颖或非传统物体。与类别无关的方法虽然消除了这一限制，但往往计算成本较高[^14] [^36]，在遮挡情况下难以恢复缺失的几何结构[^1]，或者需要多视角监督[^40]。基于NeRF的流程（如HOLD[^14]）能够实现照片级真实的渲染效果，但需要为每个序列花费数小时进行优化。最近的高斯泼溅框架改善了运行时间，并提供了显式的3D表示[^36] [^40]。然而，这些方法在严重遮挡情况下仍容易产生不真实的手-物体接触，且其优化过程

---

仍然十分耗时，限制了其实际应用价值。

为解决这些难题，我们提出了GHOST——一种从单目RGB视频中快速重建逼真的双手手-物体交互的、与类别无关的框架。GHOST将手和物体表示为密集且视图一致的高斯圆盘，即便在严重遮挡条件下也能实现完整且物理上一致的重建。通过结合基于抓握感知的推理与几何物体先验来恢复隐藏的表面，GHOST能够生成高质量、照片级真实的渲染结果，并产出可动画化的重建模型。该框架分为三个阶段：（1）预处理阶段，用于初始化手部网格并获取物体先验；（2）手-物体对齐阶段，通过基于抓握感知的推理来优化尺度与手部位置；（3）高斯泼溅优化阶段，在考虑遮挡一致性的前提下共同重建手部与物体。这些组件协同作用，使GHOST在3D精度和2D渲染保真度方面均达到最先进水平（见图1），同时运行速度比以往同类别无关的方法快一个数量级以上。我们的贡献总结如下：

- 一种从单目RGB序列中快速重建可动画化双手手-物体交互的、与类别无关的框架。

- 一种利用检索到的先验中的几何一致性来填充被遮挡物体区域的、基于先验感知的重建策略。

- 一种确保手-物体接触真实且稳定的、基于抓握感知的对齐方法。

- 一种在持续遮挡情况下仍能保留有效物体区域的、基于手部感知的背景损失函数。

- 在3D重建和2D渲染指标上均达到最先进水平，同时运行速度比以往的类别无关方法快$13 \times$倍以上。

我们在三个数据集上进行了广泛评估：ARCTIC、HO3D以及自然场景视频，涵盖了3D几何和2D光度指标。GHOST在手-物体重建精度和渲染质量方面始终优于以往的方法，为快速且逼真的类别无关手-物体重建树立了新标杆。

### 2. 相关工作

逼真的手-物体重建问题涉及多个子领域，包括遮挡条件下的单目手部重建[^39]、可动画化的手部虚拟形象[^25]，以及与类别无关的交互重建[^14] [^36]。

基于RGB图像在遮挡条件下进行3D手部重建。单目手部重建已在[^1]、[^12]、[^39]、[^41]中得到了广泛研究。近期基于Transformer的方法[^1]、[^30]、[^38]、[^39]、[^41]显著提升了在遮挡条件下的鲁棒性，能够生成精确的三维手模。尤其是HaMeR[^39]，它基于大规模数据集训练而成，性能表现优异，能很好地泛化到真实场景，因此适合用作交互流程中手部的初始化模型。

基于神经网络和高斯模型的虚拟人。诸如NeRFs[^34]之类的神经隐式表示，以及较新的显式建模方法如高斯泼溅[^26]，已成为实现照片级真实感且可动画化的人体虚拟人的标准技术[^5]、[^37]、[^42]。近期的研究[^28]、[^35]、[^37]、[^50]会在标准的SMPL[^32]或FLAME[^29]网格表面初始化一组三维高斯点，再通过参数控制的骨骼运动来驱动它们动画化。渲染时只需将高斯点投影到图像平面上，再对其进行混合，即可生成平滑且照片级真实感的虚拟人图像。

手-物交互重建。与手部不同，物体没有一致的拓扑结构或参数化特征，其形状、材质和外观差异也很大。早期的方法[17–19]从RGB输入中联合重建手部和物体网格，通过引力-斥力损失来强制实现接触，并利用光度一致性或轮廓一致性约束。不过这些方法依赖固定的物体模板，泛化能力有限。THOR-Net[^1]和ShapeGraformer[^2]这类无模板表示方法解决了这一局限：它们将物体建模为具有共享拓扑的球形变形，从而实现类别无关的学习。

类别无关的手-物重建。基于隐式神经场[^34]，几种类别无关的流程[^14]、[^53]、[^54]、[^56]可直接从单目序列中重建手-物交互。HOLD[^14]利用现成的手部姿态估计器[^30]、[^39]、基于SAM的物体分割[^9]、[^27]，以及基于HLoc的SfM[46–48]技术，通过NeRF优化来恢复几何信息，但每条序列的处理时间需要数小时。BIGS[^36]用高斯泼溅[^26]取代了NeRF阶段，略微提升了运行效率并增强了表示的直观性。不过这些方法在遮挡条件下仍会产生不真实的接触效果，且计算成本较高，这促使我们开发出更高效且物理一致性更好的基于高斯模型的框架。

### 3. 方法

我们的方法可从单目RGB视频中重建手-物交互。该方法包含三个主要阶段：提取几何和运动线索的预处理流程、利用跟踪和抓取感知推理来对齐手部与物体的HO对齐阶段，以及联合重建照片级真实感的手部和物体的高斯泼溅优化阶段。

---

![Image](images/0c64314648623ff75979b24a3180b4e6055bccc1111de6132508684363b5ff2e.jpg)

<div style="text-align: center;">Figure 2. (Top) Overview of our pipeline, which consists of three stages. In preprocessing, we extract hand meshes, camera poses, and object information (i.e. mask, point cloud, and geometric prior). During hand-object alignment, object's scale and hand translations are optimized using grasp-aware and temporal reasoning. In the Gaussian Splatting stage, hands and objects are jointly reconstructed with occlusion-aware losses. (Bottom) Retrieval and alignment pipeline used to obtain the object's geometric prior.</div>

图2总结了我们流程的各个阶段。在接下来的小节中，我们将详细描述每个组成部分。

#### 3.1. 预处理流程

给定一段输入视频$V = \{I_t\}_{t=1}^T$，共包含T帧，我们首先利用SAM2 [^43]对物体进行分割，从而得到每帧的掩码$\mathcal{M}_t^o$。借助物体的分割结果，我们应用运动恢复结构（SfM）技术来估计相机内参$\mathbf{K}$、相对相机位姿$\{(\mathbf{R}_t^c, \mathbf{T}_t^c)\}_{t=1}^T$以及稀疏的物体点云$\mathcal{P}_{sfm}$。对于每一帧t，完整的相机投影函数表示为：$\Pi_t(\mathbf{x}) = \mathbf{K}[\mathbf{R}_t^c \mid \mathbf{T}_t^c][\mathbf{x}]$。鉴于SfM对后续阶段有着至关重要的影响，我们比较了两种SfM方法。第一种方法遵循HOLD [^14]的思路，采用HLoc [^46]结合COLMAP [^48] [^49]，并通过时间窗口配对策略来提升候选匹配的效果。同时，我们也评估了最新的基于视频的VGGSfM [^51]流程，并验证了它对ARCTIC [^13]数据集的益处。

##### 3.1.1. 物体几何先验

由于手部遮挡和自身遮挡现象频繁发生，导致无法观测到的区域往往不完整，因此重建人手操控下的物体极具挑战性。为解决这一问题，我们利用Objaverse [^10] [^11]等开源的大规模3D物体数据库，这些数据库涵盖了大量日常物品。这些模型可作为几何先验，用于优化和完善不完整的重建结果，进而提升物体的重建精度以及手与物体的交互质量。图2（下方部分）展示了我们的几何先验检索与对齐算法。

检索环节：通过视觉语言模型（如InternVL [^7] [^8]）从少量采样视频帧中提取手持物体的文本描述d，或直接给出描述（如“盒子”）。利用OpenShape的$\phi_{txt}(d)$ CLIP模型计算文本嵌入[^31]，该模型可将文本和物体网格映射到同一个嵌入空间。由于Objaverse中的所有物体均已预先完成嵌入处理，检索过程便简化为在$\phi_{txt}(d)$与已存储的嵌入$\{\phi_{obj}(\mathcal{O}_p)\}$之间进行最近邻搜索，从而得出k个候选网格$\{\mathcal{O}_1, \ldots, \mathcal{O}_k\}$。我们采用光线投射算法来简化这些结构并提取其外表面。

先验掩码对齐：检索得到的3D网格并未与物体的点云$\mathcal{P}_{sfm}$对齐，它们可能存在旋转、平移或缩放差异。因此，我们需要为每个检索到的候选网格$\mathbf{R}_p$估算一个仿射变换参数，包括四元数旋转$\mathbf{T}_p$、3D平移$\mathbf{S}_p$以及3D缩放$\mathcal{O}_p$。我们对这些参数进行优化，使得网格经过变换并投影到相机视图后，渲染出的网格轮廓能与物体的掩码$\mathcal{M}_t^o$相匹配。这种对齐效果通过渲染轮廓与真实掩码之间的交并比损失$\mathcal{L}_{IoU}$来衡量。更正式地说：

 $$ \begin{array}{r}{\mathcal{L}_{I o U}=1-\mathrm{I o U}\big(\Pi_{t}\big([\mathbf{R}_{p}|\mathbf{T}_{p}][\mathbf{S}_{p}\cdot\mathcal{O}_{p}]\big),\mathcal{M}_{t}^{o}\big).}\end{array} $$

在后续的优化阶段中，我们会选择几何先验物体$\mathcal{O} \in \mathbb{R}^{N \times 3}$（包含N个顶点），也就是变换后的候选物体$[\mathbf{R}_p|\mathbf{T}_p][\mathbf{S}_p \cdot \mathcal{O}_p]$，作为交并比损失$\mathcal{L}_{IoU}$最小的那个。如果检索到的先验物体顶点数量较少，我们会在其表面添加更多点来加密其点云。

---

##### 3.1.2. 手部重建初始化

我们利用现成的手部重建模型（即HaMeR [^39]），在RTMPose [22–24]生成的边界框检测结果的引导下，获取双手的初始3D网格。对于每一帧 $I_t$，HaMeR会输出MANO [^45] 参数，包括姿态 $\theta_t$、形状 $\beta_t$ 以及手部全局旋转角度 $\mathbf{R}_t^h$。实践中，被操纵物体造成的严重遮挡往往会导致手部重建结果抖动或不符合常理。为解决这一问题，我们采用后处理步骤来识别并剔除不可靠的帧：那些MANO参数与相邻帧相比偏离预设阈值范围的帧会被丢弃，随后通过线性插值计算平移量、球面插值计算旋转量来重新生成这些帧的参数 $^1$。这一过程最终可得到整个序列中左右手在时间上一致的3D手部顶点 $\mathcal{V}_t^h$、3D关节 $\mathcal{J}_t^h$ 以及2D关节 $\mathcal{J}_{2D,t}^h$ $h \in \{r, l\}$。此外，我们还利用SAM2 [^43] 对手部掩码进行分割和跟踪，并根据手部的边界框进行裁剪以排除前臂部分，从而得到 $\mathcal{M}_t^h$。

#### 3.2. 手部平移与物体尺度优化（HO对齐）

由于SfM带来的尺度不一致性，或是HaMeR估算的手部平移出现漂移，初始的手部重建结果与物体的点云 $\mathcal{P}_{sfm}$ 在3D空间中可能存在错位。为纠正这一问题，我们会对全局手部平移 $\mathbf{T}_t^h$ 和全局物体尺度 $\mathbf{S}_o$ 进行联合优化。下文小节将详细介绍这一步骤的细节。优化后的尺度会被应用到点云 $\mathcal{P}_{sfm}$ 和相机平移量 $\mathbf{T}_t^c$ 上。

##### 3.2.1. 抓取检测

在双手与物体的交互过程中，物体姿态的变化是由手部动作引起的，因此当物体移动时，手部应与物体紧密接触。为识别出手部与物体发生交互的帧，我们比较两只手相对于物体运动的运动轨迹。物体的运动 $\Delta\mathcal{T}^o$ 通过计算其点云中心在各帧间的变化来得出。对于每只手，我们计算其平移变化量 $\Delta\mathcal{T}^h$，并测量其运动与物体运动在x、y平面上的余弦相似度：

 $$ \begin{array}{r}{c_{h}=\Delta\hat{\mathcal{T}}_{x y}^{o}\cdot\Delta\hat{\mathcal{T}}_{x y}^{h},}\end{array} $$

其中 $\Delta\hat{T}$ 表示归一化后的平移方向向量。如果两只手的得分均满足 $c_h > \tau_{sim}$，则该帧被标记为双手抓取帧；否则，得分较高的一只手被视为参与交互的手。我们经实验确定 $\tau_{sim} = 0.5$。

##### 3.2.2. 优化目标

一旦识别出抓取帧，我们便会优化一个由三个互补的损失项构成的联合目标函数。

接触损失（$L_{contact}$）。该损失仅在抓取帧中生效，用于强制要求参与交互的手部紧邻物体。它定义为平移后的手部网格顶点 $V_{t}^{h}$ 与缩放后的物体几何先验O之间的倒角距离（CD）。若只有一只手进行抓取，该损失作用于这只手的顶点；若双手均参与抓取，则两类顶点都会被纳入计算。

 $$ \begin{array}{r}{\mathcal{L}_{c o n t a c t}=\mathbf{C D}(\mathbf{T}_{t}^{h}+\mathcal{V}_{t}^{h},[\mathbf{R}_{t}^{c}\mid\mathbf{T}_{t}^{c}][\mathbf{S}_{o}\cdot\mathcal{O}]).}\end{array} $$

手部2D投影损失（$\mathcal{L}_{proj}$）。该损失旨在利用相机内参K来计算平移后的手部关节 $\mathcal{J}_t^h$ 与HaMeR预测的2D手部关节之间的重投影误差，其定义如下：

 $$ \begin{array}{r}{\mathcal{L}_{\mathrm{p r o j}}=\left\|\Pi_{t}\left(\mathbf{T}_{t}^{h}+\mathcal{J}_{t}^{h}\right)-\mathcal{J}_{2\mathrm{D},t}^{h}\right\|_{1}.}\end{array} $$

实际上，较小的边界框通常对应离摄像头较远的手部区域，因此其预测结果可靠性较低。在计算 $\mathcal{L}_{proj}$ 时，这类置信度较低的预测结果会被忽略。这一做法的目的是为了保持手部的二维一致性。

时间一致性损失（$\mathcal{L}_{temp}$）：用于强制保证手部在时间维度上的平滑运动，其定义如下：

 $$ \mathcal{L}_{\mathrm{t e m p}}=\frac{1}{T-1}\sum_{t=1}^{T-1}\left\|\mathbf{T}_{t+1}^{h}-\mathbf{T}_{t}^{h}\right\|_{2}^{2}. $$

二者结合后，可得到：

 $$ \mathcal{L}=\lambda_{1}\mathcal{L}_{c o n t a c t}+\lambda_{2}\mathcal{L}_{p r o j}+\lambda_{3}\mathcal{L}_{t e m p}. $$

我们通过实验确定 $\lambda_1 = 10^3$、$\lambda_2 = 10^{-1}$ 和 $\lambda_3 = 10$ 的值，以平衡各项损失项 $^1$。

#### 3.3. 手-物体高斯泼溅技术

##### 3.3.1. 背景知识

高斯泼溅（GS）[^26] 能够基于校准后的多视角图像重建静态三维场景，并支持从新视角进行渲染。该技术并非对神经体积进行优化，而是将场景建模为一组三维高斯点，每个高斯点由其中心点、旋转参数、缩放比例、不透明度和用球谐函数编码的颜色信息来定义。在优化过程中，可微光栅化器会生成RGB视图，再通过与真实视图对比来计算光度损失项，该损失项包含L1项和D-SSIM项，如图2所示，记为 $\mathcal{L}_{rgb}$。高斯点的数量会通过致密化（在稀疏区域添加高斯点）和剪枝（移除过大或透明度过低的高斯点）动态调整。

---

##### 3.3.2. 物体优化

Rogge等人 [^44] 采用二维高斯泼溅技术 [^20] 从RGB视频中重建被分割出的物体。为了抑制那些渲染在物体掩码之外的高斯点，他们在训练阶段引入了背景损失 $\mathcal{L}_{bkg}$，用于对投影到背景区域的高斯点进行惩罚。借鉴他们的方案，我们在流程的第一阶段将高斯点拟合到物体上，所有高斯点可表示为：

 $$ \mathcal{G}_{o}=\{c_{o},r_{o},s_{o},\alpha_{o},S H_{o}\}. $$

其中，$c_{o}$ 表示三维中心点，$r_{o}$ 表示三维旋转参数，$s_{o}$ 表示二维缩放比例，$\alpha_{o}$ 表示不透明度，$SH_{o}$ 则是用于表示高斯点颜色的球谐函数。我们进一步引入了两个针对手-物体交互的专用损失项，下文将详细解释这些损失项及其设计原理。

考虑手部影响的背景损失（$L_{bkg,h}$）：虽然该损失项在单物体场景中效果显著，但对于存在强烈遮挡的情况——比如手部握住物体时——背景损失 $L_{bkg}$ 的适用性较差。在此类情况下，被遮挡的区域可能会被错误地移除（参见图3a中的手指状空洞）。为解决这一问题，我们将手部掩码和物体掩码结合起来，以便在物体重建过程中更可靠地区分前景和背景，从而得出更新后的考虑手部影响的背景损失项（$L_{bkg,h}$）。利用手部掩码能确保被遮挡的物体区域得以保留，而非被误当作背景丢弃。尽管手部掩码难免会包含一些非物体区域，但不同帧间物体和手部的朝向差异会导致这些区域最终随时间被移除。

几何一致性损失（$L_{geo}$）。利用前期阶段得到的几何先验O，我们提出了一种新颖的几何一致性损失$L_{geo}$，以确保重建的高斯分布与先验表面保持一致。第一个组成部分$L_{out}$会对那些中心距离先验超过阈值$\tau_{out}$的高斯分布进行惩罚，防止它们偏离物体表面。第二个组成部分$L_{fill}$会测量先验表面上各点到最近高斯中心的距离，并对超出阈值$\tau_{fill}$的较大间隙进行惩罚，从而促使模型填补因遮挡产生的孔洞。最终的损失是一个加权组合，其表达式为：

 $$ \mathcal{L}_{\mathrm{o u t}}=\sigma\big(\|c_{o}-\mathcal{O}\|_{2}-\tau_{\mathrm{o u t}}\big)^{2},\mathcal{L}_{\mathrm{f i l l}}=\sigma\big(\|\mathcal{O}-c_{o}\|_{2}-\tau_{\mathrm{f i l l}}\big)^{2}, $$

以及

 $$ \mathcal{L}_{g e o}=\lambda_{g e o}(\mathcal{L}_{o u t}+\mathcal{L}_{f i l l}), $$

其中$\sigma$表示ReLU运算，$\lambda_{geo}$经实验设定为5。本质上，$\mathcal{L}_{geo}$能使高斯分布贴近先验，同时保证重建表面的完整性。

![Image](images/d61c06a9e26257870e927a2b2342d3d65f74ca120ac5923d5cdb418b8aebdeea.jpg)

<div style="text-align: center;">Figure 3. Qualitative comparison showing (a) the effect of our novel background loss  $\mathcal{L}_{bkg,h}$ on object reconstruction quality. (b) Top: Gaussian centers on the canonical hand; middle: deformed hand mesh with aligned Gaussian centers after  $\mathcal{T}_{aff}$; bottom: final animatable Gaussian hand after training.</div>

##### 3.3.3. 手部优化

与刚性物体不同，手部会随时间发生形变，这使得高斯泼溅技术的应用更具挑战性。为解决这一问题，我们借鉴GaussiansAvatars [^42]的方法，通过将高斯分布附着在MANO [^45]网格面上，在规范空间中表示手部；与物体类似，规范手部高斯分布可表示为：

 $$ \mathcal{G}_{h}=\{c_{h},r_{h},s_{h},\alpha_{h},S H_{h}\}. $$

手部高斯分布的绑定。设规范MANO网格由顶点$\mathcal{V} \in \mathbb{R}^{778 \times 3}$和面$\mathcal{F} \in \mathbb{R}^{1538 \times 3}$定义。对于每个面$f \in \mathcal{F}$，我们附着m个具有规范中心$c_{h,f} \in \mathbb{R}^{m \times 3}$、旋转参数$r_{h,f} \in SO(3)^m$和缩放参数$s_{h,f} \in \mathbb{R}^{m \times 2}$的高斯分布。给定形变后的手部网格$\mathcal{V}_t^h$，我们会为每个面计算出一个局部仿射变换，用于将规范状态映射到形变状态。该变换$\mathbf{M}_{f,t}$源自基于规范姿态下的面顶点$(\mathbf{B}_f^c)$和形变姿态下的面顶点$(\mathbf{B}_{f,t}^d)$构建的基矩阵：

 $$ \mathbf{M}_{f,t}=\mathbf{B}_{f,t}^{d}\mathbf{B}_{f}^{c^{-1}}. $$

附着于面f上的每个高斯分布i会根据以下公式发生形变：

 $$ c_{h,f,i}^{d}=\mathbf{M}_{f,t}\mathbf{\Sigma}c_{h,f,i},\quad r_{h,f,i}^{d}=\mathbf{P o l a r}(\mathbf{M}_{f,t}), $$

其中Polar($\cdot$)会从$\mathbf{M}_{f,t}$中提取旋转信息。这种表述方式使得高斯分布能够跟随网格的形变：

---

![Image](images/472f915426c3ca0789fb2597442756fe5ae1e2983ee213aaadf371b7e3c05b8f.jpg)

<div style="text-align: center;">Figure 4. Qualitative results of GHOST on ARCTIC [^13], HO3D [^15], and in-the-wild examples: Left: shows aligned 3D hand meshes with the object's geometric prior obtained during HO alignment. Right: presents photorealistic Gaussian Splatting renderings from original viewpoint and novel viewpoints. GHOST produces consistent hand–object alignment in 3D and maintains realistic appearance even under view changes, enabling physically plausible interaction reconstruction and high-fidelity rendering across viewpoints.</div>

如Fig. 3b所示，它们会随之对应面的形变而变化。我们将这一操作称为$T_{aff}$。

最后，我们对手部高斯分布进行优化：将预训练好的物体表征$\mathcal{G}_o$加载到3D场景中，仅优化$(s_h, \alpha_h, S H_h)$，同时保持由网格驱动的参数$(c_h$和$r_h$保持不变。我们还允许在优化过程中改变手部平移参数$(\mathbf{T}_t^h)$，以提升渲染出的手部的2D一致性。在手部与物体的联合优化中，我们关闭了剪枝和稠密化步骤，并研究m对渲染质量的影响。这种分两阶段的优化方式——先优化物体，再优化可形变手部——能够生成从任意视角均可渲染的手部与物体的连贯联合表征。

### 4. 实验与结果

在本节中，我们将介绍实验设置，包括数据集、评估指标、消融研究以及与最先进方法的比较。

#### 4.1. 数据集

我们在三种数据源上评估了我们的方法。首先，我们使用ARCTIC Bi-CAIR数据集[^13] [^14]，该数据集提供了9个双手与不同物体交互的视频序列。其次，我们评估了来自HO3D数据集[^15]的序列。这一基准测试为在手部严重遮挡情况下评估类别无关的物体重建提供了一个受控环境。最后，我们使用GoPro相机拍摄了两个额外的手-物交互序列（电钻和书）。这些视频用于定性评估，以展示我们的方法在现有数据集之外的泛化能力。

#### 4.2. 评价指标

所有3D评价指标均遵循HOLD[^14]为ARCTIC[^13] Bi-CAIR挑战赛发布的官方协议$^{2}$。对于手部，我们报告平均关节位置误差（MPJPE），该数值是在根部对齐的手部关节上计算得出的。对于物体，我们评估多种基于Chamfer距离的指标。相对于每只手根部的物体Chamfer距离（$CD_{r}$、$CD_{l}$）能够量化手部与物体表面之间的交互质量，同时由于未应用刚性对齐，这些指标也对物体的绝对尺度较为敏感。它们的平均值构成了$CD_{h}$。我们进一步计算了$CD_{ICP}$，

---

![Image](images/14917b720e2453925b1ad8e0834210e583ff6243b512becb71a2ec8ce17cf53a.jpg)

<div style="text-align: center;">Figure 5. Qualitative comparison demonstrating the effect of the geometric loss  $\mathcal{L}_{geo}$ on the quality of reconstructed object point clouds derived from Gaussian centers.</div>

在计算距离前，该方法会通过迭代最近点（ICP）算法将预测的物体点云与真实物体点云对齐，从而将重建质量与全局尺度或平移误差区分开来。

我们还评估了渲染重建结果的光度保真度。我们计算渲染输出与真实RGB图像之间的三个标准图像质量指标：PSNR、SSIM和LPIPS。最后，我们报告了在单块NVIDIA RTX A6000 GPU上处理包含300帧双手-物交互画面的ARCTIC序列时的平均优化运行时间。这一对比凸显了我们基于高斯的方法相较于以往的NeRF和扩散模型流程所具有的相对效率优势。

#### 4.3. 消融实验

运动恢复结构（SfM）。在表1中，我们评估了不同SfM方法以及几何一致性损失$\mathcal{L}_{geo}$对物体重建指标和交互指标的影响。类别无关的物体重建——

<div style="text-align: center;">Table 1. Ablation study on the impact of SfM method and geometric consistency loss on object reconstruction and interaction scores for the ARCTIC dataset.  $\tau_{fill}$ is reported in mm,  $\tau_{out}$ is in cm, and CD metrics are in  $cm^{2}$.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>SfM</td><td style='text-align: center; word-wrap: break-word;'>$\mathcal{L}_{geo}$</td><td style='text-align: center; word-wrap: break-word;'>$\tau_{fill}$</td><td style='text-align: center; word-wrap: break-word;'>$\tau_{out}$</td><td style='text-align: center; word-wrap: break-word;'>$\text{CD}_h \downarrow$</td><td style='text-align: center; word-wrap: break-word;'>$\text{CD}_{ICP} \downarrow$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HLoc [^46] [^47] [^48]</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>8.18</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HLoc [^46] [^47] [^48]</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>4.86</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>VGGsFm [^51]</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>18.32</td><td style='text-align: center; word-wrap: break-word;'>2.78</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>VGGsFm [^51]</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>1.0</td><td style='text-align: center; word-wrap: break-word;'>5.0</td><td style='text-align: center; word-wrap: break-word;'>18.21</td><td style='text-align: center; word-wrap: break-word;'>3.66</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>VGGsFm [^51]</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>0.1</td><td style='text-align: center; word-wrap: break-word;'>2.0</td><td style='text-align: center; word-wrap: break-word;'>18.42</td><td style='text-align: center; word-wrap: break-word;'>2.33</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>VGGsFm [^51]</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>0.01</td><td style='text-align: center; word-wrap: break-word;'>2.0</td><td style='text-align: center; word-wrap: break-word;'>18.37</td><td style='text-align: center; word-wrap: break-word;'>2.83</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>VGGsFm [^51]</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>0.01</td><td style='text-align: center; word-wrap: break-word;'>7.0</td><td style='text-align: center; word-wrap: break-word;'>18.4</td><td style='text-align: center; word-wrap: break-word;'>2.26</td></tr></table>

![Image](images/8d23a87e93d3ce39c870f5e7dda553dc0909f0d1fbab498675d171dd56800dad.jpg)

<div style="text-align: center;">Figure 6. Qualitative comparison of 2D rendered images: We compare our results against HOLD [^14] using representative examples from the evaluated datasets. As shown, ours produces higher quality and more consistent 2D renderings, whereas HOLD exhibits noise, blur, and degraded visual quality.</div>

![Image](images/2b25a29c979bc0f14f4b72e363b1920b8f584f39b9c24c4b6b3ca94af22c2b8a.jpg)

<div style="text-align: center;">Figure 7. Rendering quality as a function of surface Gaussian density. Higher density improves reconstruction fidelity.</div>

从视频中进行物体重建对物体的运动恢复结构（SfM）极为敏感，这一点在以往的研究中已有提及[^14] [^36]。因此，我们比较了两种SfM流程（即HLoc结合COLMAP [46–48]以及VGGSfM [^51]）。我们发现，相较于HLoc流程，VGGSfM在ARCTIC数据上的表现有显著提升。然而，VGGSfM在HO3D数据集序列[^15]以及我们自行采集的数据上并未展现出类似的改进效果。

$\mathcal{L}_{geo}$和$\mathcal{L}_{bkg,h}$。$\mathcal{L}_{geo}$的作用是还原物体的遮挡区域。图5展示了将$\mathcal{L}_{geo}$应用于由高斯中心生成的点云后的效果$c_o$。结果显示，点云会围绕其先验位置聚集，从而补全物体的缺失区域。表1对比了$\mathcal{L}_{geo}$及其超参数（$\tau_{fill}$和$\tau_{out}$）对物体重建的影响。

---

<div style="text-align: center;">Table 2. Comparison of 3D metrics across HOLD, BIGS, and our method. All MPJPE metrics are in mm, and all CD metrics are in  $cm^{2}$.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Method</td><td style='text-align: center; word-wrap: break-word;'>MPJPE $_{RA,h}\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>MPJPE $_{RA,l}\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>MPJPE $_{RA,r}\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>CD $_{ICP}\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>CD $_{r}\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>CD $_{l}\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>CD $_{h}\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>F $_{10mm}$ (\%) $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>F $_{5mm}$ (\%) $\uparrow$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HOLD [^14]</td><td style='text-align: center; word-wrap: break-word;'>25.91</td><td style='text-align: center; word-wrap: break-word;'>27.13</td><td style='text-align: center; word-wrap: break-word;'>24.70</td><td style='text-align: center; word-wrap: break-word;'>2.07</td><td style='text-align: center; word-wrap: break-word;'>123.54</td><td style='text-align: center; word-wrap: break-word;'>105.92</td><td style='text-align: center; word-wrap: break-word;'>114.73</td><td style='text-align: center; word-wrap: break-word;'>63.92</td><td style='text-align: center; word-wrap: break-word;'>37.13</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>BIGS [^36]</td><td style='text-align: center; word-wrap: break-word;'>24.49</td><td style='text-align: center; word-wrap: break-word;'>24.63</td><td style='text-align: center; word-wrap: break-word;'>24.35</td><td style='text-align: center; word-wrap: break-word;'>1.36</td><td style='text-align: center; word-wrap: break-word;'>31.28</td><td style='text-align: center; word-wrap: break-word;'>46.11</td><td style='text-align: center; word-wrap: break-word;'>38.69</td><td style='text-align: center; word-wrap: break-word;'>81.78</td><td style='text-align: center; word-wrap: break-word;'>56.41</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ours</td><td style='text-align: center; word-wrap: break-word;'>24.07</td><td style='text-align: center; word-wrap: break-word;'>25.42</td><td style='text-align: center; word-wrap: break-word;'>22.71</td><td style='text-align: center; word-wrap: break-word;'>2.26</td><td style='text-align: center; word-wrap: break-word;'>13.40</td><td style='text-align: center; word-wrap: break-word;'>23.41</td><td style='text-align: center; word-wrap: break-word;'>18.40</td><td style='text-align: center; word-wrap: break-word;'>60.88</td><td style='text-align: center; word-wrap: break-word;'>34.67</td></tr></table>

<div style="text-align: center;">Table 3. Evaluation of 2D rendering quality on ARCTIC and HO3D datasets, comparing our method with prior works. In addition, we report significant runtime improvement.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td rowspan="2">Method</td><td colspan="3">2D Rendering Quality (ARCTIC)</td><td colspan="3">2D Rendering Quality (HO3D)</td><td rowspan="2">Runtime $\downarrow$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>PSNR $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>SSIM $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>LPIPS $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>PSNR $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>SSIM $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>LPIPS $\downarrow$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HOLD [^14]</td><td style='text-align: center; word-wrap: break-word;'>12.83</td><td style='text-align: center; word-wrap: break-word;'>0.66</td><td style='text-align: center; word-wrap: break-word;'>0.32</td><td style='text-align: center; word-wrap: break-word;'>16.20</td><td style='text-align: center; word-wrap: break-word;'>0.74</td><td style='text-align: center; word-wrap: break-word;'>0.21</td><td style='text-align: center; word-wrap: break-word;'>16h</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>BIGS [^36]</td><td style='text-align: center; word-wrap: break-word;'>24.87</td><td style='text-align: center; word-wrap: break-word;'>0.96</td><td style='text-align: center; word-wrap: break-word;'>0.05</td><td style='text-align: center; word-wrap: break-word;'>24.51</td><td style='text-align: center; word-wrap: break-word;'>0.92</td><td style='text-align: center; word-wrap: break-word;'>0.07</td><td style='text-align: center; word-wrap: break-word;'>13h</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ours</td><td style='text-align: center; word-wrap: break-word;'>25.93</td><td style='text-align: center; word-wrap: break-word;'>0.88</td><td style='text-align: center; word-wrap: break-word;'>0.02</td><td style='text-align: center; word-wrap: break-word;'>21.37</td><td style='text-align: center; word-wrap: break-word;'>0.75</td><td style='text-align: center; word-wrap: break-word;'>0.03</td><td style='text-align: center; word-wrap: break-word;'>1h</td></tr></table>

ARCTIC数据集。降低$\tau_{out}$会使物体的点云更贴近先验分布，从而限制高斯分布偏离先验的自由度。较低的$\tau_{fill}$会导致点云中的孔洞被更多地填补。需要注意的是，我们仅在为物体找到高质量几何先验的序列上应用$\mathcal{L}_{geo}$。补充材料（图11）也包含了更多关于$\mathcal{L}_{geo}$对选定HO3D序列影响的评估结果。另一方面，应用$\mathcal{L}_{bkg,h}$旨在恢复被手遮挡的物体部分。图3a展示了$\mathcal{L}_{bkg,h}$如何改善手遮挡情况下物体的重建效果。

每只手对应的高斯数量（m）。此外，图7显示了附着在手部网格面上的高斯数量（m）对最终手-物体重建渲染质量的重要性。我们发现，每个面使用55个高斯、每只手总共使用8.4万个高斯时，渲染质量最佳。由于训练迭代次数固定为3万次，增加高斯数量会使其更难被妥善拟合。优化过程需要更多时间来调整这一更大的集合，且物体形状会变得更复杂，最终反而会降低精度。

#### 4.4. 与最先进方法的比较

我们的方法在ARCTIC数据集上的表现始终优于以往的方法，如表2所示，其交互指标（$CD_h$、$CD_r$和$CD_l$）更低。这一改进得益于HO对齐中引入的抓取感知接触损失以及新颖的物体重建损失。此外，我们还证明了第3.1.2节中讨论的抖动检测对手部重建误差（MPJPE）改善的重要性；要知道以往的方法同样使用HaMeR [^39]来进行手部初始化。另外，与HOLD $CD_r$相比，我们在HO3D数据集$CD_{ICP}$的3个序列上观察到交互分数（[^15]）的提升，在2个序列上观察到[^14]的提升。

为了评估我们GS流程的渲染质量，我们在表3中报告了与以往方法对比的2D渲染质量指标。与BIGS [^36]相比，我们在PSNR和LPIPS指标上均有所提升；在ARCTIC数据集[^13]上，所有指标相较于HOLD都有显著改善。这一点在图6中也能直观看到，图中展示了与HOLD对比的不同渲染示例。如表3所示，这一切是在运行时开销降低$13\times$的情况下实现的。更多定性结果展示在图1和图4中。

### 5. 结论

在本文中，我们介绍了GHOST——一个基于单目RGB视频、利用2D高斯泼溅技术来重建逼真的手-物体交互的快速且类别无关的框架。通过结合几何先验检索、抓取感知对齐以及手部感知背景推理，GHOST能够生成完整的物体表面、物理上一致的手-物体接触效果，以及可动画化的手部模型。在ARCTIC Bi-CAIR基准测试中，GHOST在3D交互重建精度和2D渲染质量方面均树立了全新的最先进水平；其运行速度比现有的类别无关基线模型快$13\times$倍以上。除了量化指标上的提升外，GHOST还能生成可动画化的手部模型和照片级真实感的新视角渲染结果。在未来的工作中，我们将把GHOST的应用范围拓展到可变形和铰接物体上，探索将几何先验直接整合到SfM流程中的方法，并研究从立体或RGB-D数据流中进行实时推理的可能性。这些扩展功能有望推动GHOST在远程操控、交互式AR/VR系统、机器人操作以及对速度和物理合理性要求极高的野外动作捕捉场景中的实际应用。致谢：本研究部分得到了欧盟“地平线欧洲”计划下SHARESPACE项目（资助编号101092889）和LUMINOUS项目（资助编号101135724）的支持。

---

## 参考文献

[^1]: Ahmed Tawfik Aboukhadra, Jameel Malik, Ahmed Elhayek, Nadia Robertini, and Didier Stricker. Thor-net: End-to-end graformer-based realistic two hands and object reconstruction with self-supervision. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision (WACV), pages 1001–1010, 2023. 1, 2

[^2]: Ahmed Tawfik Aboukhadra, Jameel Malik, Nadia Robertini, Ahmed Elhayek, and Didier Stricker. Shapegraformer: Graformer-based network for hand-object reconstruction from a single depth map. IEEE Access, 12:124021–124031, 2024. 2

[^3]: Ahmed Tawfik Aboukhadra, Nadia Robertini, Jameel Malik, Ahmed Elhayek, Gerd Reis, and Didier Stricker. Surgeonet: Realtime 3d pose estimation of articulated surgical instruments from stereo images using a synthetically-trained network. In DAGM German Conference on Pattern Recognition (GCPR), pages 199–211. Springer, 2024. 1

[^4]: Kingma DP Ba J Adam et al. A method for stochastic optimization. arXiv preprint arXiv:1412.6980, 1412(6), 2014. 3

[^5]: Xingyu Chen, Baoyuan Wang, and Heung-Yeung Shum. Hand avatar: Free-pose hand animation and rendering from monocular video. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 8683–8693, 2023. 2

[^6]: Zerui Chen, Shizhe Chen, Cordelia Schmid, and Ivan Laptev. gsdf: Geometry-driven signed distance functions for 3d hand-object reconstruction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 12890–12900, 2023. 1

[^7]: Zhe Chen, Weiyun Wang, Hao Tian, Shenglong Ye, Zhangwei Gao, Erfei Cui, Wenwen Tong, Kongzhi Hu, Jiapeng Luo, Zheng Ma, et al. How far are we to gpt-4v? closing the gap to commercial multimodal models with open-source suites. arXiv preprint arXiv:2404.16821, 2024. 3

[^8]: Zhe Chen, Jiannan Wu, Wenhai Wang, Weijie Su, Guo Chen, Sen Xing, Muyan Zhong, Qinglong Zhang, Xizhou Zhu, Lewei Lu, et al. Internvl: Scaling up vision foundation models and aligning for generic visual-linguistic tasks. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 24185–24198, 2024. 3

[^9]: Yangming Cheng, Liulei Li, Yuanyou Xu, Xiaodi Li, Zongxin Yang, Wenguan Wang, and Yi Yang. Segment and track anything. arXiv preprint arXiv:2305.06558, 2023. 2

[^10]: Matt Deitke, Ruoshi Liu, Matthew Wallingford, Huong Ngo, Oscar Michel, Aditya Kusupati, Alan Fan, Christian Laforte, Vikram Voleti, Samir Yitzhak Gadre, et al. Objaverse-xl: A universe of 10m+ 3d objects. In Advances in Neural Information Processing Systems (NeurIPS), pages 35799–35813, 2023. 3, 1

[^11]: Matt Deitke, Dustin Schwenk, Jordi Salvador, Luca Weihs, Oscar Michel, Eli VanderBilt, Ludwig Schmidt, Kiana Ehsani, Aniruddha Kembhavi, and Ali Farhadi. Objaverse: A universe of annotated 3d objects. In Proceedings of

IEEE/CVF计算机视觉与模式识别会议（CVPR），第13142–13153页，2023年。3, 1

[^12]: Haoye Dong, Aviral Chharia, Wenbo Gou, Francisco Vicente Carrasco, and Fernando D De la Torre. Hamba: Single-view 3d hand reconstruction with graph-guided bi-scanning mamba. Advances in Neural Information Processing Systems (NeurIPS), 37:2127–2160, 2024. 2

[^13]: Zicong Fan, Omid Taheri, Dimitrios Tzionas, Muhammed Kocabas, Manuel Kaufmann, Michael J. Black, and Otmar Hilliges. ARCTIC: A dataset for dexterous bimanual hand-object manipulation. In Proceedings IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2023. 3, 6, 8

[^14]: Zicong Fan, Maria Parelli, Maria Eleni Kadoglou, Muhammed Kocabas, Xu Chen, Michael J. Black, and Otmar Hilliges. HOLD: Category-agnostic 3d reconstruction of interacting hands and objects from video. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 494–504, 2024. 1, 2, 3, 6, 7, 8

[^15]: Shreyas Hampali, Mahdi Rad, Markus Oberweger, and Vincent Lepetit. Honnotate: A method for 3d annotation of hand and object poses. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 3196–3206, 2020. 6, 7, 8, 1

[^16]: Guangyi Han, Wei Zhai, Yuhang Yang, Yang Cao, and Zheng-Jun Zha. Touch: Text-guided controllable generation of free-form hand-object interactions. arXiv preprint arXiv:2510.14874, 2025. 1

[^17]: Yana Hasson, Gul Varol, Dimitrios Tzionas, Igor Kalevatykh, Michael J Black, Ivan Laptev, and Cordelia Schmid. Learning joint reconstruction of hands and manipulated objects. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 11807–11816, 2019. 2

[^18]: Yana Hasson, Bugra Tekin, Federica Bogo, Ivan Laptev, Marc Pollefeys, and Cordelia Schmid. Leveraging photometric consistency over time for sparsely supervised hand-object reconstruction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 571–580, 2020. 1

[^19]: Yana Hasson, Gül Varol, Cordelia Schmid, and Ivan Laptev. Towards unconstrained joint hand-object reconstruction from rgb videos. In International Conference on 3D Vision (3DV), pages 659–668. IEEE, 2021. 1,2

[^20]: Binbin Huang, Zehao Yu, Anpei Chen, Andreas Geiger, and Shenghua Gao. 2d gaussian splatting for geometrically accurate radiance fields. In ACM SIGGRAPH 2024 Conference papers, pages 1–11, 2024. 5

[^21]: Mingzhen Huang, Fu-Jen Chu, Bugra Tekin, Kevin J Liang, Haoyu Ma, Weiyao Wang, Xingyu Chen, Pierre Gleize, Hongfei Xue, Siwei Lyu, et al. Hoigpt: Learning long-sequence hand-object interaction with language models. In Proceedings of the Computer Vision and Pattern Recognition Conference (CVPR), pages 7136–7146, 2025. 1

## [^22]: Tao Jiang. rtmlib. <https://github.com/Tau-J/rtmlib>, 2023.4, 1

---

[^23]: Tao Jiang, Peng Lu, Li Zhang, Ningsheng Ma, Rui Han, Chengqi Lyu, Yining Li, and Kai Chen. Rtmpose: Real-time multi-person pose estimation based on mmpose. arXiv preprint arXiv:2303.07399, 2023. 1

[^24]: Tao Jiang, Xinchen Xie, and Yining Li. Rtmw: Real-time multi-person 2d and 3d whole-body pose estimation. arXiv preprint arXiv:2407.08634, 2024. 4

[^25]: Korrawe Karunratanakul, Sergey Prokudin, Otmar Hilliges, and Siyu Tang. Harp: Personalized hand reconstruction from a monocular rgb video. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 12802–12813, 2023. 2

[^26]: Bernhard Kerbl, Georgios Kopanas, Thomas Leimkühler, and George Drettakis. 3d gaussian splatting for real-time radiance field rendering. ACM Transactions on Graphics (TOG), Proceedings of SIGGRAPH, 42(4):139:1–139:14, 2023. 2, 4

[^27]: Alexander Kirillov, Eric Mintun, Nikhila Ravi, Hanzi Mao, Chloe Rolland, Laura Gustafson, Tete Xiao, Spencer Whitehead, Alexander C Berg, Wan-Yen Lo, et al. Segment anything. arXiv preprint arXiv:2304.02643, 2023. 2

[^28]: Muhammed Kocabas, Jen-Hao Rick Chang, James Gabriel, Oncel Tuzel, and Anurag Ranjan. Hugs: Human gaussian splats. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 505–515, 2024. 2

[^29]: Tianye Li, Timo Bolkart, Michael J Black, Hao Li, and Javier Romero. Learning a model of facial shape and expression from 4d scans. ACM Trans. Graph., 36(6):194–1, 2017. 2

[^30]: Kevin Lin, Lijuan Wang, and Zicheng Liu. End-to-end human pose and mesh reconstruction with transformers. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2021. 2

[^31]: Minghua Liu, Ruoxi Shi, Kaiming Kuang, Yinhao Zhu, Xuanlin Li, Shizhong Han, Hong Cai, Fatih Porikli, and Hao Su. Openshape: Scaling up 3d shape representation towards open-world understanding. In Advances in Neural Information Processing Systems (NeurIPS), pages 44860–44879, 2023. 3, 1

[^32]: Matthew Loper, Naureen Mahmood, Javier Romero, Gerard Pons-Moll, and Michael J Black. Smpl: A skinned multi-person linear model. In Seminal Graphics Papers: Pushing the Boundaries, Volume 2, pages 851–866. 2023. 2

[^33]: Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In International Conference on Learning Representations (ICLR), 2019. 3

[^34]: Ben Mildenhall, Pratul P. Srinivasan, Matthew Tancik, Jonathan T. Barron, Ravi Ramamoorthi, and Ren Ng. Nerf: Representing scenes as neural radiance fields for view synthesis. In Proceedings of the European Conference on Computer Vision (ECCV), 2020. 2

[^35]: Arthur Moreau, Jifei Song, Helisa Dhamo, Richard Shaw, Yiren Zhou, and Eduardo Pérez-Pellitero. Human gaussian splatting: Real-time rendering of animatable avatars. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 788–798, 2024. 2

[^36]: Jeongwan On, Kyeonghwan Gwak, Gunyoung Kang, Junuk Cha, Soohyun Hwang, Hyein Hwang, and Seungryul Baek. Bigs: Bimanual category-agnostic interaction reconstruction from monocular videos via 3d gaussian splatting. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 17437–17447, 2025. 1, 2, 7, 8

[^37]: Haokai Pang, Heming Zhu, Adam Kortylewski, Christian Theobalt, and Marc Habermann. Ash: Animatable gaussian splats for efficient and photoreal human rendering. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 1165–1175, 2024. 2

[^38]: JoonKyu Park, Yeonguk Oh, Gyeongsik Moon, Hongsuk Choi, and Kyoung Mu Lee. Handoccnet: Occlusion-robust 3d hand mesh estimation network. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 1496–1505, 2022. 2

[^39]: Georgios Pavlakos, Dandan Shan, Ilija Radosavovic, Angjoo Kanazawa, David Fouhey, and Jitendra Malik. Reconstructing hands in 3d with transformers. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 9826–9836, 2024. 2, 4, 8, 1

[^40]: Chandradeep Pokhariya, Ishaan Nikhil Shah, Angela Xing, Zekun Li, Kefan Chen, Avinash Sharma, and Srinath Sridhar. Manus: Markerless grasp capture using articulated 3d gaussians. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 2197–2208, 2024. 1

[^41]: Rolandos Alexandros Potamias, Jinglei Zhang, Jiankang Deng, and Stefanos Zafeiriou. Wilor: End-to-end 3d hand localization and reconstruction in-the-wild. In Proceedings of the IEEE/CVF Computer Vision and Pattern Recognition Conference (CVPR), pages 12242–12254, 2025. 2

[^42]: Shenhan Qian, Tobias Kirschstein, Liam Schoneveld, Davide Davoli, Simon Giebenhain, and Matthias Nießner. Gaussianavatars: Photorealistic head avatars with rigged 3d gaussians. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 20299–20309, 2024. 2, 5, 1

[^43]: Nikhila Ravi, Valentin Gabeur, Yuan-Ting Hu, Ronghang Hu, Chaitanya Ryali, Tengyu Ma, Haitham Khedr, Roman Rädle, Chloe Rolland, Laura Gustafson, Eric Mintun, Junting Pan, Kalyan Vasudev Alwala, Nicolas Carion, Chao-Yuan Wu, Ross Girshick, Piotr Dollár, and Christoph Feichtenhofer. Sam 2: Segment anything in images and videos. arXiv preprint arXiv:2408.00714, 2024. 3, 4, 1

[^44]: Marcel Rogge and Didier Stricker. Object-centric 2d gaussian splatting: Background removal and occlusion-aware pruning for compact object models. In Proceedings of the 14th International Conference on Pattern Recognition Applications and Methods (ICPRAM), pages 519–530, 2025. 5

## [^45]: Javier Romero, Dimitrios Tzionas, and Michael J. Black. Embodied hands: Modeling and capturing hands and bodies together. ACM Transactions on Graphics (TOG), Proceedings of SIGGRAPH Asia, 36(6):245:1–245:17, 2017. 4, 5, 3

---

[^46]: Paul-Edouard Sarlin, Cesar Cadena, Roland Siegwart, and Marcin Dymczyk. From coarse to fine: Robust hierarchical localization at large scale. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2019. 2, 3, 7

[^47]: Paul-Edouard Sarlin, Daniel DeTone, Tomasz Malisiewicz, and Andrew Rabinovich. SuperGlue: Learning feature matching with graph neural networks. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2020.

[^48]: Johannes Lutz Schönberger and Jan-Michael Frahm. Structure-from-motion revisited. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016. 2, 3, 7

[^49]: Johannes Lutz Schönberger, Enliang Zheng, Marc Pollefeys, and Jan-Michael Frahm. Pixelwise view selection for unstructured multi-view stereo. In Proceedings of the European Conference on Computer Vision (ECCV), 2016. 3

[^50]: Zhijing Shao, Zhaolong Wang, Zhuang Li, Duotun Wang, Xiangru Lin, Yu Zhang, Mingming Fan, and Zeyu Wang. Splattingavatar: Realistic real-time human avatars with mesh-embedded gaussian splatting. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 1606–1616, 2024. 2

[^51]: Jianyuan Wang, Nikita Karaev, Christian Rupprecht, and David Novotny. Vggsfm: Visual geometry grounded deep structure from motion. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 21686–21697, 2024. 3, 7, 2

[^52]: Lixin Yang, Kailin Li, Xinyu Zhan, Fei Wu, Anran Xu, Liu Liu, and Cewu Lu. OakInk: A large-scale knowledge repository for understanding hand-object interaction. In IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2022. 1

[^53]: Yufei Ye, Abhinav Gupta, and Shubham Tulsiani. What's in your hands? 3d reconstruction of generic objects in hands. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 3895–3905, 2022. 2

[^54]: Yufei Ye, Poorvi Hebbar, Abhinav Gupta, and Shubham Tulsiani. Diffusion-guided reconstruction of everyday hand-object interaction clips. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), pages 19717–19728, 2023. 2

[^55]: Xinyu Zhan, Lixin Yang, Yifei Zhao, Kangrui Mao, Hanlin Xu, Zenan Lin, Kailin Li, and Cewu Lu. Oakink2: A dataset of bimanual hands-object manipulation in complex task completion. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 445–456, 2024. 1

[^56]: Chenyangguang Zhang, Guanlong Jiao, Yan Di, Gu Wang, Ziqin Huang, Ruida Zhang, Fabian Manhardt, Bowen Fu, Federico Tombari, and Xiangyang Ji. Moho: Learning single-view hand-held object reconstruction with multiview occlusion-aware supervision. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 9992–10002, 2024. 2