# 面向动态手物交互重建的交互感知4D高斯泼溅技术
郝天 $^{1,2,5}$、张晨阳光 $^{3}$、刘瑞 $^{4}$、沈文 $^{1,5}$、秦晓林 $^{1,5,*}$
$^{1}$ 中国科学院成都计算机应用研究所，中国成都
$^{2}$ 中石油（北京）数字智能研究院有限公司，中国北京
$^{3}$ 清华大学，中国北京
$^{4}$ 中央民族大学，中国北京
$^{5}$ 中国科学院大学，中国北京
haotian23ucas.github.io/Interaction-Aware-Gau
摘要：本文聚焦于无需任何物体先验知识即可同时建模手物交互场景的几何与外观这一极具挑战性的任务。我们顺应基于动态3D高斯泼溅技术的研究方法趋势，解决了若干关键难题。为了建模存在相互遮挡和边缘模糊现象的复杂手物交互，我们提出了带有新引入的可优化参数的交互感知手物高斯模型，旨在采用分段线性假设来实现更清晰的结构表达。此外，考虑到交互过程中手部形状与物体形状的互补性与贴合性，我们将手部信息融入物体形变场，构建出用于建模灵活运动的交互感知动态场。为进一步应对优化过程中的难点，我们提出了一种逐步处理动态区域与静态背景的渐进式策略。相应地，我们设计了显式的正则化项，以稳定手物表征，实现平滑的运动过渡、符合物理规律的交互效果以及连贯的光照表现。实验表明，我们的方法优于现有的基于动态3D-GS的方法，在动态手物交互重建任务上取得了最先进的性能。
## 1 引言
手物交互（HOI）的精确重建对虚拟现实与机器人领域至关重要[^9]，需要精准的形状建模与交互捕捉能力。尽管抓取、饮水等日常动作看似简单，但它们涉及复杂的接触动力学与严重的遮挡现象，仍难以建模。以往的研究[^36] [^40]通过将交互物体视为已知实体来重建HOI场景，这类方法依赖特定的物体姿态或模板。然而，获取此类姿态或模板的成本较高，限制了其工业应用范围。现有方法试图降低对精确姿态估计的依赖，
---
Fig. 1. Differences between traditional 3D Gaussian-based hand-object reconstruction and our interaction-aware modeling. Conventional 3D Gaussian approaches model the entire HOI scene with a single, unified implicit field and rely primarily on 2D supervision. This design often leads to geometric ambiguities during close interactions—such as collapsed clearances, blurred contact boundaries, and non-physical merging of hand and object surfaces (top). In contrast, our method explicitly decouples hand and object representations into separate fields, introduces interaction-aware parameters $(w, o)$ to modulate occlusion and edge sharpness, and leverages interaction-aware losses to preserve fine-grained spatial relationships, enabling accurate and disentangled dynamic reconstruction (bottom).
模板可通过多种途径生成。[^34] [^45] 采用基于SDF的方法，利用SDF结合神经网络来重建动态的手-物体场景，无需依赖特定的物体先验信息。不过，这些方法主要侧重于几何重建，而忽略了外观信息。随着NeRF [^25] 的出现，一些研究者 [^21] [^55] 尝试通过训练隐式场来实现兼具几何与外观信息的HOI场景重建。然而，由于基于反向映射的光线渲染算法效率低下 [^25]，这些方法需要耗费大量时间和计算资源。近期，3D高斯泼溅（3D-GS）[^16] 在静态场景重建中展现出了卓越的保真度和速度。部分研究 [^13] [^46] [^50] 试图利用3D-GS进行动态重建，但面对存在严重遮挡和不规则旋转等复杂HOI场景时，它们难以准确捕捉交互动力学特征。尽管EgoGaussian [^54] 旨在实现HOI重建，但它需要物体姿态估计，且仅能呈现交互物体的结果，无法有效表示手部形态。在本研究中，我们针对基于3D-GS方法的局限性，提出了一种无需任何物体先验即可同时重建整个HOI场景的模型。
要成功应对这种实际场景，面临诸多挑战。首先，交互过程中的剧烈运动、相互遮挡以及模糊现象会导致高斯点之间出现错位和过度重叠。为解决这一问题，我们将交互过程建模为分段线性过程，并提出了一种名为“交互感知型手-物体高斯点”的新颖表示方法。该方法引入了两个参数：
---
用于补充传统的3D-GS表示方法：权重w和半径o。权重w用于平衡运动平滑度与噪声抑制效果，数值越小表明结构信息越弱或遮挡程度越高；半径o则用于控制边缘清晰度，数值越小轮廓越清晰。w与o的结合能够有效建模复杂的动态交互过程，减少交互边界处的模糊现象，从而提升视觉质量。其次，以往的方法 [^13] [^50] 采用单一场来建模高斯点的变换，这种方式不足以捕捉HOI场景中剧烈且高度局部化的运动，往往会造成细粒度运动细节的大量丢失。另一方面，若仅为手部与物体分别设置独立的变形场，又会忽略它们在接触过程中的相互作用与几何耦合关系。为解决这一问题，我们将关键帧下的手部位置纳入物体场中，从而实现能够精准捕捉手部抓取所引发的动态变化的交互感知型变换。第三，考虑到HOI场景中存在的灵活运动、不规则旋转以及频繁遮挡现象，直接运用传统的3D-GS优化方法 [^16] [^46] [^50] 很难获得理想的渲染质量。为此，我们设计了显式的交互感知型正则化项，用以稳定手-物体高斯点的位置与旋转。此外，我们还提出了一种渐进式优化机制，以实现符合物理规律的手-物体交互、确保边缘过渡平滑，并增强复杂HOI场景的一致性。
我们的贡献总结如下：
我们提出了一种新颖的交互感知型手-物体高斯表示方法，能够在无需任何物体先验的情况下建模HOI场景，有效解决了交互过程中的相互遮挡与边缘模糊问题。
– 我们为物体字段添加了手部信息，以捕捉交互引起的形变。
我们采用渐进式优化策略，结合显式的3D损失函数，以提升动态重建过程中高斯模型的拟合效果。
– 实验表明，我们的方法优于现有最先进的基线模型，在动态HOI场景重建方面取得了更优异的性能。
## 2 相关工作
手部表示。早期的方法[^27] [^28]侧重于从图像中估计2D或3D关键点。MANO等统计手部模型的问世[^35]彻底革新了参数化手部表示方式，能够同时编码姿态、形状和3D顶点信息。近期的方法[^1]通常利用回归网络直接从图像预测MANO参数，并优化形状参数以实现对齐。然而，这些方法存在误差传播问题：初始的MANO参数误差会不断累积，进而导致连锁性的重建错误。为解决这一问题，我们提出了一种手部场，将手部形变与严格的MANO参数依赖关系解耦。近期的研究还利用神经表示和高斯表示扩展了手部建模技术[^4] [^14] [^32]。相比之下，我们的研究目标是实现无需先验、单目、 Egocentric环境下的HOI重建，无需多视角输入或个性化模板。
---
手物重建。从视频中重建手物交互仍是计算机视觉与图形学领域的一大挑战。以往的研究可分为两类。第一类[^3] [^8] [^26] [^42]利用3D物体先验，将物体拟合到2D图像中，从而从多视角数据源重建手物交互。不过，这些方法严重依赖精确的3D先验，而获取这类先验的成本较高。第二类研究[^6] [^11] [^36]预先学习物体模板，以减少对先验的依赖。例如，MANO模型[^35]定义了规范的手部空间，通过线性混合蒙皮技术驱动手部模板；EgoGaussian[^54]利用3D高斯表示[^16]来重建Egocentric交互场景，将动态物体与静态背景分离。但该方法对物体姿态较为敏感，在姿态不准确时可能无法正常工作，且未将交互过程纳入重建范围，因此无法呈现完整的手物交互情境。近期的研究BIGS[^29]利用3D-GS和扩散先验从单目视频中重建手物交互，但它假设物体网格已知，且排除了背景部分。相比之下，我们的方法不局限于特定类别，无需物体先验，就能重建完整的手物交互场景。越来越多的研究利用文本到图像的扩散先验，在遮挡严重的情况下还原出未见过的物体几何结构。Ye等人[^53]、G-HOP[^52]以及MagicHOI[^43]与我们一样追求无先验的重建目标，但为了获得扩散模型带来的正则化效果，它们牺牲了灵活性；而我们的方法无需任何外部生成模型即可重建HOI场景。对于具有参数化先验的铰接物体，BimArt[^58]和SyncDiff[^12]解决的是另一类相关问题。我们的研究与之形成互补：实现无需先验、针对刚性物体的Egocentric HOI场景重建，既不用依赖扩散先验，也不需要物体模板。
动态场景重建。随着NeRF [^25] 的出现，许多研究 [^7] [^19] [^30] [^31] [^33] [^41] [^49] 采用多层感知机（MLP）将隐式空间表示为包含时间信息的形变场。然而，其漫长的训练时间限制了实际应用。3D高斯泼溅（3D-GS）[^16] 作为场景重建的有前景的替代方案应运而生。诸如[13,15,17,18,20,22,24,37,38,46-48,50,57]等方法探索了基于3D-GS的动态重建技术。例如，[^50] 利用MLP学习每个时间戳下的高斯位置偏移量，这增加了训练时间。[^13] 引入稀疏控制点来形变高斯，但在手-物体交互（HOI）场景中，冗余的控制点会导致不准确性及图像撕裂现象，无法捕捉复杂的交互细节。这些方法 [^13] [^46] [^50] 将所有高斯输入到单个MLP中，难以准确建模复杂的交互运动。为克服HOI场景带来的重大挑战，我们的方法提出了一种新颖的、具备交互感知能力的手-物体高斯表示，并配以自适应损失函数与渐进式优化策略。
## 3 方法
我们的目标是在任意时间戳从 RGB 第一人称视角视频中重建动态手-物体交互（HOI）场景，而不依赖任何物体形状先验。我们利用三个隐式场对动态 HOI 场景进行建模：手部场 $\mathcal{F}_{H}$ 和物体场 $\mathcal{F}_{O}$ 用于逼近动态
---
HOI 区域的形状，以及背景场 $\mathcal{F}_{\mathrm{BG}}$ 以创建干净的背景并促进后续联合优化。分开建模使得在剧烈变化的动态场景中捕获清晰的手-物体外观和稳定的背景场景成为可能。首先，通过对手部和物体采用不同的建模方式，可以通过更精细的监督解决显著的遮挡。其次，背景需要低频更新，而手-物体交互则需要高频建模。同时，与这些动态隐式场协同，我们自适应地改进面向 HOI 场景的 Gaussian Splatting 表示，解决交互过程中的遮挡和轮廓清晰度问题。在优化中，我们仅使用现成手部跟踪器预测的手部 MANO 参数 [^51]，与 Gaussian 优化相比，其计算开销可忽略不计（通常占总运行时间的 < 3%）。这些姿态估计提供粗略的 3D 手部引导，以加速收敛且无需任何物体先验。为确保物理上合理的交互，我们进一步引入交互损失。随后，我们设计了一个渐进式协同优化框架，通过这一轻量级 3D 监督和我们的交互感知表示，实现高质量的 HOI 场景重建。
Fig. 2. Overview of interaction-aware hand-object Gaussians. We propose a novel framework for reconstructing dynamic HOI scenes from RGB videos without object shape priors. The framework consists of three components: (1) Specialized Implicit Fields: separate hand, object, and background fields disentangle dynamic interactions, with hand/object fields capturing high-frequency deformations and occlusions (leveraging hand information for object's interaction-aware deformation) while the background field maintains low-frequency stability; (2) Interaction-aware Gaussian: enhances representation with adaptive weights w and radius o to address contour ambiguity and occlusions; (3) Progressive Optimization: combines explicit supervision with physical interaction constraints for efficient convergence.
### 3.1 preliminaries：可变形高斯泼溅
3D高斯泼溅（3D-GS）[^16] 利用五个参数来表示3D场景特征：位置、透明度、球面谐波系数、旋转以及缩放。
---
3D-GS利用协方差矩阵 $\Sigma$ 和位置向量 $\rho$ 在空间中对每个3D高斯椭球进行显式定义，如下式所示：
$$ \mathcal{G}(\boldsymbol{x})=\frac{1}{(2\pi)^{\frac{3}{2}}|\boldsymbol{\Sigma}|^{\frac{1}{2}}}\mathrm{e x p}(-\frac{1}{2}(\boldsymbol{x}-\boldsymbol{\rho})^{\top}\boldsymbol{\varSigma}^{-1}(\boldsymbol{x}-\boldsymbol{\rho})), $$
其中，$\Sigma$ 矩阵可通过 $\pmb{R}$ 分解为旋转 $\pmb{S}$ 与缩放 $\Sigma = \pmb{R}\pmb{S}\pmb{S}^{\top}\pmb{R}^{\top}$。
近期的研究[^13] [^46] [^50]将3D-GS与形变场结合用于动态场景，利用MLP将点从规范空间扭曲到目标空间：
$$ \begin{aligned}\mathcal{F}_{\theta}(\boldsymbol{x},\boldsymbol{t})&=(\delta\boldsymbol{x}^{t},\delta\boldsymbol{r}^{t},\delta\boldsymbol{s}^{t}),\\\boldsymbol{x}^{t}&=\boldsymbol{x}+\delta\boldsymbol{x}^{t}.\end{aligned} $$
每个初始化的3D高斯中心点$\boldsymbol{x}$会被输入到形变场$\mathcal{F}_{\theta}$中，该形变场会输出随时间变化的偏移量$(\delta \boldsymbol{x}^t, \delta \boldsymbol{r}^t, \delta \boldsymbol{s}^t)$，从而将规范高斯体映射到目标空间。
### 3.2 交互感知的手-物体高斯体
为了有效捕捉手-物体交互（HOI）场景中的复杂时空运动，我们提出将动态HOI场景分解为三组高斯体，并对每一部分单独建模。此外，我们对传统的4D高斯表示进行了改进，以解决在动态场景中表示复杂HOI运动的问题。传统4D高斯体[^13] [^46] [^50]往往忽略了不同交互高斯体之间的相互影响。而且，在交互过程中很难描绘轮廓边缘，从而导致纹理漂移和边缘模糊。受[^13]的启发，我们引入了两个额外的可学习参数：权重$\boldsymbol{w} \in \mathbb{R}^+$和半径$\boldsymbol{o} \in \mathbb{R}^+$，形成了一种称为“交互感知的手-物体高斯体”的新颖表示方法$\mathcal{G}_{\mathrm{HO}}$。$\mathcal{G}_{\mathrm{HO}}$通过以下方式实现交互感知建模：（1）权重$\boldsymbol{w}$可以平滑运动并减少噪声，它用于建模交互过程中的相互遮挡现象，较小的权重$\boldsymbol{w}$意味着结构信息较弱且存在遮挡；（2）半径$\boldsymbol{o}$能够捕捉边缘细节，较小的半径$\boldsymbol{o}$对应着边缘附近的更锐利的几何轮廓；（3）由于$\boldsymbol{w}$在当前高斯体附近较大，而在远离边缘处较小，因此权重$\boldsymbol{w}$与半径$\boldsymbol{o}$的结合能有效处理手-物体交互与背景之间的边缘模糊问题。$\mathcal{G}_{\mathrm{HO}}$的表达式如下：
$$ \mathcal{G}_{\mathrm{H O}}=\left\{x_{i}y_{i}z_{i},R_{i},T_{i},S_{i},\alpha_{i},c_{i},w_{i},o_{i}\right\}. $$
由于手部运动、物体运动和背景场景的特性各不相同，我们在下文中分别介绍各组成部分的动态特性。
手部高斯体。手部高斯体$\mathcal{G}_H$具有与$\mathcal{G}_{\text{HO}}$相同的可优化参数，它通过手部隐式场$\mathcal{F}_H$来捕捉手部运动的时变变换。该隐式场$\mathcal{F}_H$以时间戳t和第i个手部高斯体的规范位置$(x_i y_i z_i)$作为输入。由于我们的设定要求从任意视角对任意时间的动态HOI场景进行建模，
---
我们将t作为输入，并构建以下公式（详情见补充材料）：
$$ \begin{array}{r}{\Delta\mathcal{G}_{\mathrm{H}}=\mathcal{F}_{\mathrm{H}}\left\{\gamma\left(\boldsymbol{x}_{i}\boldsymbol{y}_{i}\boldsymbol{z}_{i}\right),\gamma\left(t\right)\right\},}\end{array} $$
$\gamma(\cdot)$是位置编码[^2] [^50]。给$_{smooth}$添加噪声[^50] $\gamma(t)$可以防止过度平滑，在拟合粗略几何形状的同时保留手部细节。
物体高斯体。手-物体交互常常会导致变形或遮挡（例如握持动作）。为了增强物体场$\mathcal{F}_O$捕捉交互感知变形的能力，我们将手部位置作为额外输入引入物体场。这克服了隐式方法[^46] [^50]的局限性——它们生成的全局偏移量并未显式建模手-物体交互过程。物体场$\mathcal{F}_O$将手部和物体的位置作为输入，其表达式如下（详情见补充材料）：
$$ \begin{array}{r}{\Delta\mathcal{G}_{\mathrm{O}}=\mathcal{F}_{\mathrm{O}}\left\{\gamma\left(\left(\boldsymbol{x}_{i}^{k}\boldsymbol{y}_{i}^{k}\boldsymbol{z}_{i}^{k}\right)\oplus\left(\boldsymbol{x}_{j}^{k}\boldsymbol{y}_{j}^{k}\boldsymbol{z}_{j}^{k}\right)\right),\gamma\left(t\right)\right\}.}\end{array} $$
在这里，$\oplus$ 会将手部 $(\boldsymbol{x}_i^k, \boldsymbol{y}_i^k, \boldsymbol{z}_i^k)$ 与物体 $(\boldsymbol{x}_j^k, \boldsymbol{y}_j^k, \boldsymbol{z}_j^k)$ 的位置，与关键帧 k 处的标准高斯位置进行拼接——这一时刻正是手与物体相互作用之前。物体隐式场 $\mathcal{F}_O$ 能够预测时间戳 t 下的时变偏移量 $\Delta \mathcal{G}_O$，并通过线性退火噪声 $\text{smooth}$ [^50] 来稳定训练过程。
背景高斯模型。我们构建背景高斯模型，以便更好地捕捉背景的平滑性与静态特性，同时避免由于前景手-物交互导致的背景高斯分布不稳定变化，这种不稳定会影响背景的渲染质量 [^13] [^46]。背景高斯 $\mathcal{G}_{\mathrm{BG}}$ 基于 Deform3DGS 模型 [^50]。它们的位置会随时间改变，如公式 (2) 所示，这一过程由背景隐式场 $\mathcal{F}_{\mathrm{BG}}$ 结合时间戳 t 来控制。
### 3.3 显式的交互感知正则化
二维正则化用于约束图像空间中的像素误差。然而，由于手-物交互场景中存在严重的遮挡和剧烈运动，这种方式并不充分。为了使高斯模型能够准确且高效地建模复杂的手-物交互，除了二维监督外，我们还引入了源自交互先验的显式三维正则化。关键在于，这些损失函数无需依赖物体的形状或姿态先验。我们仅利用轻量级的现成手部追踪器 [^51] 来提供粗略的三维手部引导。这些正则化项包括物体损失、手部损失以及交互损失，旨在稳定交互感知型手-物高斯模型的旋转与变换，从而在不依赖任何特定物体假设的前提下确保物理上合理的动力学行为。
手部损失。在HOI场景中，手部运动速度很快，这使得动态高斯拟合过程更慢且更具挑战性。由于MANO顶点能明确表示各点的位置，我们设计了手部损失函数来优化手部高斯的位置。为了追踪其平移情况，我们采用单个体素距离（Chamfer Distance, CHD）来监督三维空间中的高斯平移，具体计算如下：
---
该距离是指高斯点到 MANO $V_{h}$ 上最近顶点的距离。这一损失函数衡量每个手部高斯到 MANO 顶点上最近点的距离，从而促使高斯点填充手部表面，其公式表达如下：
$$ \mathcal{L}_{\mathrm{t r a n s}}^{\mathrm{H}}=\frac{1}{N}\sum_{i=1}^{N}\min_{\mathbf{v}\in\mathcal{V}_{h}}\left\|\left(\boldsymbol{x}_{i}\boldsymbol{y}_{i}\boldsymbol{z}_{i}\right)-\left(\boldsymbol{x}_{v}\boldsymbol{y}_{v}\boldsymbol{z}_{v}\right)\right\|_{2}^{2}, $$
其中 $(\boldsymbol{x}_i\boldsymbol{y}_i z_i)$ 表示第 i 个高斯的位置，$(\boldsymbol{x}_v\boldsymbol{y}_v z_v)$ 代表 MANO 顶点范围内的过滤后点集（用于解决手臂与手部之间的偏差问题）。
物体损失。由于物体的运动——无论是平移还是旋转——往往跟随手部运动，因此我们利用手部线索对物体场进行正则化。虽然平移通过空间邻近性得以隐式对齐，但旋转常常会出现非物理性的翻转现象，尤其是在被动接触情况下。为此，我们引入了受手部引导的旋转损失 $\mathcal{L}_{\mathrm{rot}}^{\mathrm{O}}$，以使物体高斯与手部的主要旋转趋势保持一致。
在紧密耦合的交互中（例如抓取动作），物体旋转通常遵循手部的主要旋转趋势。我们通过基于 SVD 的平均方法 $\mathbf{R}_{\text{target}}^{\text{hand}}(t) \in \text{SO}(3)$ 来计算相关 MANO 关节旋转得到的全局先验 [^10]。为了仅在接触期间应用正则化，我们用每个物体高斯 j 的交互感知权重 $\boldsymbol{w}_j^O$ 来调节损失值；该权重在遮挡或非接触状态下较小，而在接触时较大。这种接触感知权重定义为：
$$ \omega_{j}(t)=\sigma(w_{j}^{\mathrm{O}}), $$
其中 $\sigma$ 为 sigmoid 函数。最终的损失函数为：
$$ \mathcal{L}_{\mathrm{r o t}}^{\mathrm{O}}=\mathbb{E}_{t}\left[\frac{1}{N}\sum_{j=1}^{N}\omega_{j}(t)\left\|\log\left((\mathbf{R}_{\mathrm{h a n d}}^{\mathrm{t a r g e t}}(t))^{-1}\mathbf{R}_{t,j}^{\mathrm{o b j}}\right)\right\|^{2}\right], $$
$\mathbf{R}_{t,j}^{obj} \in \text{SO}(3)$ 表示第 j 个物体高斯在时间戳 t 处的预测旋转，而 $\log(\cdot)$ 则表示从 $\text{SO}(3)$ 到其李代数 $\mathfrak{so}(3)$ 的对数映射。这种基于度量的惩罚机制能够抑制不合理的旋转，同时保留局部形变自由度。
交互损失。抓取交互的重建过程常常会出现高斯边缘模糊以及相互遮挡的问题。为了规范物理现实，我们引入了手部和物体高斯之间的自监督Chamfer距离。我们的方法分别对手部和物体进行建模，并明确定义它们的位置。借此我们可以引入交互损失来确保正确的抓取，其公式如下：
$$ \begin{aligned}\mathcal{L}_{interaction}=&\frac{1}{\max(|C_{H}|,\epsilon)}\sum_{i\in C_{H}}\min_{j\in C_{O}}\|\mathbf{p}_{i}-\mathbf{p}_{j}\|_{2}^{2}\\&+\frac{1}{\max(|C_{O}|,\epsilon)}\sum_{j\in C_{O}}\min_{i\in C_{H}}\|\mathbf{p}_{i}-\mathbf{p}_{j}\|_{2}^{2},\end{aligned} $$
---
其中 $\epsilon = 10^{-6}$ 用于避免在未检测到接触时发生除以零的情况。虽然该损失函数能促进手与物体的靠近，但无法防止二者相互穿透。因此，我们采用单独的穿透损失（详见补充材料）来惩罚手部与物体之间重叠或过于靠近的高斯。该损失通过最小化手-物体高斯间的距离同时避免重叠，从而确保物理真实性和视觉质量。
### 3.4 渐进式优化
在手部-物体交互（HOI）场景中，复杂的旋转、平移和遮挡现象十分常见。直接对所有高斯进行优化会导致收敛缓慢且位置对齐不佳。为解决这些问题，我们提出了一种用于学习单个隐式场的渐进式优化策略，该策略分为以下五个阶段：初始化、预热、HOI精细化、背景优化以及协同重建。
初始化。MANO顶点 [^35] 为手部几何提供了粗略的初始状态，这些顶点来自现成的手部追踪器 [^51]，仅用于引导 $\mathcal{G}_H$ 的生成。而对于物体而言，我们不预设任何形状、类别或3D边界框信息。相反，$\mathcal{G}_O$ 是通过在MANO顶点的扩展轴对齐边界框（AABB）内均匀采样3D点来随机初始化的。至于背景部分，$\mathcal{G}_{\mathrm{BG}}$ 则基于SfM生成的稀疏点云进行初始化。
预热。在预热阶段，除了基础的2D损失外，我们还采用所提出的3D损失。对于手部场，我们使用 $\mathcal{L}_{\text{trans}}^{\text{O}}$ 来引导手部高斯 $\mathcal{G}_H$ 的形变，确保其与目标姿态对齐。对于物体场，为了稳定交互感知的变换过程，我们采用 $\mathcal{L}_{\text{rot}}^{\text{O}}$。在预热阶段，我们会定期应用基于梯度的密度调整 [^16] 来优化初始高斯分布。
HOI精细化。我们通过为每个高斯 i 分配可学习的权重 $\boldsymbol{w}_i$ 和半径 $\boldsymbol{o}_i$ 来自适应地细化高斯，其中 $\boldsymbol{o}_i$ 用于控制其局部影响范围。高斯 i 的第 k 个最近邻的最终细化权重可通过以下步骤获得：(1) 根据距离 $\boldsymbol{w}_{ik}^{\text{spatial}}$ 和 $\boldsymbol{d}_{ik}$，利用RBF核计算K个最近邻的空间邻近权重 $\boldsymbol{o}_i$（公式10）；(2) 对这些权重进行归一化处理，使其总和为1（公式11）；(3) 用全局重要性权重 $\sigma(\boldsymbol{w}_i)$ 对其进行调制（公式12）。这样一来便可联合学习全局重要性 $\boldsymbol{w}_i$ 和局部上下文信息。
$$ \boldsymbol{w}_{i k}^{\mathrm{s p a t i a l}}=\exp\left(-\frac{\boldsymbol{d}_{i k}^{2}}{2\boldsymbol{o}_{i}^{2}}\right),\quad k\in\mathcal{N}_{K}(i), $$
其中 $\mathcal{N}_{K}(i)$ 表示第 i 个高斯对应的 K 个最近邻高斯集合，$d_{ik}$ 是高斯 i 和 k 中心之间的欧几里得距离，而 $o_{i}$ 则是与高斯 i 相关联的可学习半径参数。
$$ \hat{w}_{i k}^{\mathrm{s p a t i a l}}=\frac{w_{i k}^{\mathrm{s p a t i a l}}}{\sum_{j\in\mathcal{N}_{K}(i)}w_{i j}^{\mathrm{s p a t i a l}}}. $$
---
经过优化后，高斯i的第k个邻居的权重为：
$$ \begin{array}{r}{\hat{\boldsymbol{w}}_{i}^{k}=\sigma(\boldsymbol{w}_{i})\cdot\hat{\boldsymbol{w}}_{i k}^{\mathrm{s p a t i a l}},\quad\mathrm{f o r}\quad k\in\mathcal{N}_{K}(i),}\end{array} $$
其中，$\sigma(\cdot)$ 是sigmoid函数，用于确保 $\boldsymbol{w}_i \in (0,1)$。
此外，我们查询手部隐式场 $\mathcal{F}_H$ 和物体隐式场 $\mathcal{F}_O$，以获得其各自的旋转矩阵 $\left(\Delta \mathbf{R}_{6D} \in \mathbb{R}^6\right) \to \left(\Delta \mathbf{R} \in \mathbb{R}^{3 \times 3}\right)$（见补充材料）和平移偏移 $\Delta(\mathbf{x}_k^t \mathbf{y}_k^t \mathbf{z}_k^t)$。使用受 LBS [^39] 启发的局部刚体变换的线性混合，我们按如下方式细化手部-物体高斯体的姿态：
$$ \begin{align*}\boldsymbol{T}_{k}^{t}&=\left(\boldsymbol{x}_{k}^{t}\boldsymbol{y}_{k}^{t}\boldsymbol{z}_{k}^{t}\right)+\Delta(\boldsymbol{x}_{k}^{t}\boldsymbol{y}_{k}^{t}\boldsymbol{z}_{k}^{t}),\\\boldsymbol{\rho}_{i}^{t}&=\sum_{k\in\mathcal{N}_{K}(i)}\hat{\boldsymbol{w}}_{i}^{k}\left(\Delta\boldsymbol{R}_{k}^{t}((x_{i}\boldsymbol{y}_{i}\boldsymbol{z}_{i})-(\boldsymbol{x}_{k}^{t}\boldsymbol{y}_{k}^{t}\boldsymbol{z}_{k}^{t}))+\boldsymbol{T}_{k}^{t}\right).\end{align*} $$
此处，$(x_i y_i z_i)$ 表示第i个高斯体在规范空间中的位置，而 $\rho_i^t$ 则代表时间戳t下第i个高斯体的变形后位置。
背景优化。我们对 $\mathcal{G}_{\mathrm{BG}}$ 进行固定迭代次数的预训练，期间会定期调整密度 [^16]，以确保背景初始化干净清晰。
协同重建。在最后阶段，$\mathcal{F}_H$、$\mathcal{F}_O$ 和 $\mathcal{F}_{\mathrm{BG}}$ 分别将各自的高斯体变形为共享的目标空间，从而实现任意时间戳t下的完整手-物交互场景重建。手部和物体高斯体均采用HOI优化方法（公式(13)）来更新参数。该优化过程由交互约束 $\mathcal{L}_{\mathrm{interaction}}$（公式(9)）和2D正则化项进行监督。这一阶段确保了物理上合理的遮挡关系、平滑的边缘过渡以及光照一致性，既提升了重建形状的几何保真度，也改善了运动动态的时间平滑性。
## 4 实验
为了验证我们的方法，我们在HOI4D [^13] 和 HO3D [^46] 数据集上，将该方法与最先进的基线模型 [^50]、[^23]、[^8] 进行了全面的动态场景重建对比。此外，我们还在HO3D数据集上与专门用于手-物交互重建的HOLD [^5] 和 BIGS [^29] 两种方法进行了比较。遵循 [^54] 的做法，我们通过交替帧测试来评估纯平移和平移-旋转情况下的性能，从而判断其对新交互场景的泛化能力。评估指标包括PSNR、SSIM [^44] 和 LPIPS [^56]。为了完整性，我们还进行了全帧评估（表1和表2，我们的方法 $^{*}$）。所有实验均在单张NVIDIA RTX 3090（24G）显卡上运行，经过21,000次迭代即可达到最优性能（训练时间为1小时20分钟）。
实现细节。我们采用K近邻算法来进行优化和变形，关键帧k设定为手-物接触前的时间戳。高斯体和变形模型均使用Adam优化器进行优化。超参数、调度策略以及辅助损失项（穿透损失、动量损失、2D损失）详见补充材料。HOI4D [^23] 提供RGB-D视频数据。
---
with frame-level hand-object poses and masks; we evaluate on two purely translational and two translation-rotation scenes. HO3D [^8] offers real-world 3D pose annotations for actions like pickup and rotation. We use camera 4 from HO3D and select four translation-rotation sequences for egocentric reconstruction.
| Methods | Translation | Translation&Rotation |
| PSNR $\uparrow$ | SSIM $\uparrow$ | LPIPS $\downarrow$ | PSNR $\uparrow$ | SSIM $\uparrow$ | LPIPS $\downarrow$ |
| 4DGS [^46] | 24.86-5.46 | 0.80-0.13 | 0.47+0.18 | 23.68-0.48 | 0.85-0.01 | 0.39+0.02 |
| Deform3DGS [^50] | 26.33-3.99 | 0.87-0.06 | 0.29 0.00 | 23.57-0.59 | 0.89+0.03 | 0.28-0.09 |
| SC-GS [^13] | 25.08-5.24 | 0.84-0.09 | 0.46+0.17 | 17.32-6.84 | 0.71-0.15 | 0.48+0.11 |
| Ours | 30.32 | 0.93 | 0.29 | 24.16 | 0.86 | 0.37 |
| Ours $^{{*}}$ | 33.03+2.71 | 0.95+0.02 | 0.27-0.02 | 24.02-0.14 | 0.85-0.01 | 0.39+0.02 |
Tab. 1. Quantitative comparison on HOI4D [^23]. Best and second-best results are bolded and italicized, respectively. Differences (red, small font) are relative to the "Ours" row. Ours $^{*}$ denotes full-frame evaluation.
| Methods | Translation&Rotation |
| PSNR $\uparrow$ | SSIM $\uparrow$ | LPIPS $\downarrow$ |
| BIGS [^29] | 3.85-21.34 | 0.24-0.65 | 0.70+0.55 |
| HOLD [^5] | 18.03-7.16 | 0.84-0.05 | 0.26+0.11 |
| 4DGS [^46] | 19.44-5.75 | 0.82-0.07 | 0.25+0.10 |
| Deform3DGS [^50] | 9.68-15.51 | 0.36-0.53 | 0.65+0.50 |
| SC-GS [^13] | 20.37-4.82 | 0.80-0.09 | 0.26+0.11 |
| Ours | 25.19 | 0.89 | 0.15 |
| Ours $^{{*}}$ | 25.17-0.02 | 0.89 | 0.16+0.01 |
| BIGS $^{{\dagger}}$ | 24.51-0.68 | 0.92+0.03 | 0.07+0.08 |
| Ours $^{{\dagger}}$ | 28.16+2.97 | 0.95+0.06 | 0.07-0.08 |
Tab. 2. Quantitative comparison on HO3D [^8]. Best and second-best results are bolded and italicized. Differences (red font) are relative to “Ours”. Ours $^{*}$ denotes full-frame evaluation. $\dagger$ denotes evaluation on hand and object regions only.
### 4.1 定量对比
HOI4D数据集。我们使用官方代码和原始HOI4D分辨率，将该方法与4DGS [^46]、Deform3DGS [^50] 和 SC-GS [^13] 进行对比（表1）。4DGS对初始化较为敏感，在HOI场景下表现不佳。Deform3DGS和SC-GS依赖单一变形场，在存在遮挡或快速运动的情况下无法正常工作。而我们提出的这种具备交互感知能力且逐步优化的模型克服了这些问题，减少了遮挡伪影和模糊现象，同时保留了手-物的几何结构。在平移场景中，我们的方法使PSNR提升了9%；在旋转复杂的场景中，PSNR值从Deform3DGS的23.57 dB提升到了24.16 dB。
HO3D数据集。为了高效处理大规模序列，我们将所有输入帧的分辨率降为原来的一半。
---
Fig. 3. Qualitative comparison of our approach and the baseline methods. We present reconstructions from our model and SOTA baselines (4DGS [^46], Deform3DGS [^50], SC-GS [^13]) on HOI4D and HO3D datasets.
大规模序列的处理。尽管HO3D [^8] 提供了相机参数以及手-物姿态估计值，但其中的固有误差和姿态偏差会对所有方法的性能产生负面影响（见表2）。4DGS对输入噪声极为敏感；SC-GS的稀疏控制点无法建模背景与前景的交互；而Deform3DGS受HO3D的姿态误差影响最大（参见 [^50] 的附录D），从而导致无法收敛。专为几何建模而非视图合成设计的HOLD [^5]，其表现也逊于基于3DGS的方法。BIGS [^29] 的指标较差，因为它仅重建了前景中的手-物部分，未包含背景（仅前景结果：见表2中的†标记）。我们的方法在全场景重建任务中优于所有基线模型。
### 4.2 定性比较
如图3所示，我们的方法在外观和形状方面均优于4DGS [^46]、Deform3DGS [^50]、SCGS [^13]以及HOLD [^5]。在HOI4D场景中，基础模型
---
Fig. 4. Extrapolated novel view synthesis of our approach and SC-GS [^13]. Our method shows cleaner renderings from novel viewpoints with considerable change, whereas SC-GS suffers from noticeable artifacts.
在动态光照和交互条件下无法妥善处理高斯偏移，而我们的交互感知表示能够保留阴影和形状信息。孤立的背景高斯点则提升了对比度和暗部细节。对于HOI4D场景，独立的手-物体建模与3D损失函数能有效约束交互感知形变，协同重建过程可平滑运动轨迹并解决遮挡问题。在涉及不规则翻转、旋转和手指灵活运动的HO3D场景中，4DGS会因噪声或不准确数据以及复杂运动而表现不佳；SC-GS由于控制点稀疏，在交互区域会丢失细节且对遮挡的处理能力较差；Deformable3DGS对姿态误差极为敏感（详见[^50]的附录D），在HO3D场景下因误差累积而无法收敛。HOLD虽能重建手和物体的几何结构，但生成的全场景渲染质量较低。我们的方法利用w和o参数来减少遮挡和模糊现象，从而在HO3D和HOI4D数据集上实现更优的渲染效果。
### 4.3 消融研究
表3展示了在HOI4D-Scene 1上进行的消融研究结果，评估了移除HOI优化步骤以及交互感知损失函数和模块所造成的影响。我们还通过向随机采样的初始物体位置添加$\mathcal{N}(0, \sigma^2)$量级的高斯噪声（$\sigma = 0.01$和0.05）来测试模型对不完美初始化的鲁棒性。表3和图5表明，在不同噪声水平下，完整模型均能实现近乎无噪的渲染质量。移除HOI优化步骤后，PSNR/SSIM/LPIPS指标分别下降了2.2%/1.1%/11.4%；剔除物体、手部或交互损失函数后，相应指标分别下降(4.6%, 1.1%, 8.6%)、 (1.5%, —, 5.7%)以及(3.5%, 1.1%, 14.3%)。为了
---
| Methods | PSNR $\uparrow$ | SSIM $\uparrow$ | LPIPS $\downarrow$ |
| w/o Interaction-Aware Module | 28.76-4.20 | 0.91-0.04 | 0.40+0.05 |
| w/o HOI Refinement | 32.23-0.73 | 0.94-0.01 | 0.39+0.04 |
| w/o Object Loss | 31.45-1.51 | 0.94-0.01 | 0.38+0.03 |
| w/o Hand Loss | 32.45-0.51 | 0.95 0.00 | 0.37+0.02 |
| w/o Interaction Loss | 31.79-1.17 | 0.94-0.01 | 0.40+0.05 |
| w/ noise $\sigma = 0.01$ | 32.80-0.16 | 0.95 0.00 | 0.35 0.00 |
| w/ noise $\sigma = 0.05$ | 32.72-0.24 | 0.95 0.00 | 0.35 0.00 |
| Full Model | 32.96 | 0.95 | 0.35 |
Tab. 3. Ablation studies on HOI4D. All metrics are reported relative to the Full Model (differences in red, small font). Noise robustness results correspond to Fig. 5.
Ours
Fig. 5. Our method maintains consistently high rendering quality across different noise levels, showing strong robustness to initialization errors.
| GT |  |  |  |
| Canonical space |  |  |  |
| Target space |  |  |  |
| Background |  |  |  |
Fig. 6. Disentangled rendering of hand, object, and background. Our method reconstructs each component with high fidelity while maintaining coherent interaction.
---
验证我们的交互感知设计的有效性，我们进行了消融实验，从框架中移除了场参数及其相关的训练机制。表3清楚地显示出，当缺少交互感知模块时，模型性能会出现显著下降。
## 5 结论
在本文中，我们提出了具有新颖可优化参数的交互感知手-物体高斯模型，采用分段线性假设以实现更清晰的结构表示。该方法能够有效捕捉复杂的手-物体交互，包括相互遮挡和边缘模糊现象。利用手部和物体形状的互补性与紧密耦合关系，我们将手部信息融入物体形变场，从而构建用于灵活运动建模的交互感知动态场。为了提升优化效果，我们提出了一种渐进式策略，分别处理动态区域和静态背景。此外，显式的交互感知正则化项能够增强运动的平滑性、物理合理性以及光照一致性。实验表明，我们的方法优于基线方法，在重建动态手-物体交互方面取得了最先进的结果。
局限性。由于该方法专为交互建模而设计，其工作流程包含多个渐进式优化阶段；随着更强大的优化器的出现，这些阶段有望被整合。我们的方法在处理极端情况（如极快的运动或复杂的轨迹，详见补充材料）时存在困难，不过通过引入更多的交互先验或许能够解决这一问题。
## 致谢
本研究部分得到了四川省科技计划项目（2025JDDQ0008、2024NSFJQ0035）以及四川省委组织部的“天府人才计划”的支持。
## 参考文献
[^1]: Baek, S., Kim, K.I., Kim, T.K.: Pushing the envelope for rgb-based dense 3d hand pose estimation via neural rendering. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 1067–1076 (2019)
[^2]: Bhatnagar, B.L., Sminchisescu, C., Theobalt, C., Pons-Moll, G.: Loopreg: Self-supervised learning of implicit surface correspondences, pose and shape for 3d human mesh registration. Advances in Neural Information Processing Systems 33, 12909–12922 (2020)
## [^3]: Chen, X., Liu, Y., Ma, C., Chang, J., Wang, H., Chen, T., Guo, X., Wan, P., Zheng, W.: Camera-space hand mesh recovery via semantic aggregation and adaptive 2d-1d registration. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 13274–13283 (2021)
---
[^4]: Cong, X., Xing, A., Pokhariya, C., Fu, R., Sridhar, S.: Dytact: Capturing dynamic contacts in hand-object manipulation. In: Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV) Workshops. pp. 7250–7262 (October 2025)
[^5]: Fan, Z., Parelli, M., Kadoglou, M.E., Chen, X., Kocabas, M., Black, M.J., Hilliges, O.: Hold: Category-agnostic 3d reconstruction of interacting hands and objects from video. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 494–504 (2024)
[^6]: Fan, Z., Taheri, O., Tzionas, D., Kocabas, M., Kaufmann, M., Black, M.J., Hilliges, O.: Arctic: A dataset for dexterous bimanual hand-object manipulation. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 12943–12954 (2023)
[^7]: Guo, X., Sun, J., Dai, Y., Chen, G., Ye, X., Tan, X., Ding, E., Zhang, Y., Wang, J.: Forward flow for novel view synthesis of dynamic scenes. In: Proceedings of the IEEE/CVF International Conference on Computer Vision. pp. 16022–16033 (2023)
[^8]: Hampali, S., Rad, M., Oberweger, M., Lepetit, V.: Honnotate: A method for 3d annotation of hand and object poses. In: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. pp. 3196–3206 (2020)
[^9]: Handa, A., Van Wyk, K., Yang, W., Liang, J., Chao, Y.W., Wan, Q., Birchfield, S., Ratliff, N., Fox, D.: Dexpilot: Vision-based teleoperation of dexterous robotic handarm system. In: 2020 IEEE International Conference on Robotics and Automation (ICRA). pp. 9164–9170. IEEE (2020)
[^10]: Hartley, R., Trumpf, J., Dai, Y., Li, H.: Rotation averaging. International Journal of Computer Vision 103(3), 267–305 (2013)
[^11]: Hasson, Y., Varol, G., Tzionas, D., Kalevatykh, I., Black, M.J., Laptev, I., Schmid, C.: Learning joint reconstruction of hands and manipulated objects. In: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. pp. 11807–11816 (2019)
[^12]: He, W., Liu, Y., Liu, R., Yi, L.: Syncdiff: Synchronized motion diffusion for multi-body human-object interaction synthesis. In: Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV). pp. 11731–11743 (October 2025)
[^13]: Huang, Y.H., Sun, Y.T., Yang, Z., Lyu, X., Cao, Y.P., Qi, X.: Sc-gs: Sparse-controlled gaussian splatting for editable dynamic scenes. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 4220–4230 (2024)
[^14]: Karunratanakul, K., Prokudin, S., Hilliges, O., Tang, S.: Harp: Personalized hand reconstruction from a monocular rgb video. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). pp. 12802–12813 (June 2023)
[^15]: Katsumata, K., Vo, D.M., Nakayama, H.: A compact dynamic 3d gaussian representation for real-time dynamic view synthesis. In: European Conference on Computer Vision. pp. 394–412. Springer (2024)
[^16]: Kerbl, B., Kopanas, G., Leimkühler, T., Drettakis, G.: 3d gaussian splatting for real-time radiance field rendering. ACM Trans. Graph. 42(4), 139–1 (2023)
[^17]: Kratimenos, A., Lei, J., Daniilidis, K.: Dynmf: Neural motion factorization for real-time dynamic view synthesis with 3d gaussian splatting. In: European Conference on Computer Vision. pp. 252–269. Springer (2024)
## [^18]: Lei, J., Weng, Y., Harley, A.W., Guibas, L., Daniilidis, K.: Mosca: Dynamic gaussian fusion from casual videos via 4d motion scaffolds. In: Proceedings of the Computer Vision and Pattern Recognition Conference. pp. 6165–6177 (2025)
---
[^19]: Li, Z., Niklaus, S., Snavely, N., Wang, O.: Neural scene flow fields for space-time view synthesis of dynamic scenes. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 6498–6508 (2021)
[^20]: Lin, Y., Dai, Z., Zhu, S., Yao, Y.: Gaussian-flow: 4d reconstruction with dynamic 3d gaussian particle. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 21136–21145 (2024)
[^21]: Liu, J.W., Cao, Y.P., Yang, T., Xu, Z., Keppo, J., Shan, Y., Qie, X., Shou, M.Z.: Hosnerf: Dynamic human-object-scene neural radiance fields from a single video. In: Proceedings of the IEEE/CVF International Conference on Computer Vision. pp. 18483–18494 (2023)
22. 刘X、任P、齐Q、孙H、庄Z、王J、廖J、王J：基于单目RGB图像通过3D高斯实现可泛化的手-物体建模。载于：第三十九届神经信息处理系统年会论文集（2025年），
[^23]: Liu, Y., Liu, Y., Jiang, C., Lyu, K., Wan, W., Shen, H., Liang, B., Fu, Z., Wang, H., Yi, L.: Hoi4d: A 4d egocentric dataset for category-level human-object interaction. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 21013–21022 (2022)
[^24]: Luiten, J., Kopanas, G., Leibe, B., Ramanan, D.: Dynamic 3d gaussians: Tracking by persistent dynamic view synthesis. In: 2024 International Conference on 3D Vision (3DV). pp. 800–809. IEEE (2024)
[^25]: Mildenhall, B., Srinivasan, P.P., Tancik, M., Barron, J.T., Ramamoorthi, R., Ng, R.: Nerf: Representing scenes as neural radiance fields for view synthesis. Communications of the ACM 65(1), 99–106 (2021)
[^26]: Moon, G., Yu, S.I., Wen, H., Shiratori, T., Lee, K.M.: Interhand2.6m: A dataset and baseline for 3d interacting hand pose estimation from a single rgb image. In: Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part XX 16. pp. 548–564. Springer (2020)
[^27]: Mueller, F., Bernard, F., Sotnychenko, O., Mehta, D., Sridhar, S., Casas, D., Theobalt, C.: Generated hands for real-time 3d hand tracking from monocular rgb. In: Proceedings of the IEEE conference on computer vision and pattern recognition. pp. 49–59 (2018)
[^28]: Mueller, F., Davis, M., Bernard, F., Sotnychenko, O., Verschoor, M., Otaduy, M.A., Casas, D., Theobalt, C.: Real-time pose and shape reconstruction of two interacting hands with a single depth camera. ACM Transactions on Graphics (ToG) 38(4), 1–13 (2019)
[^29]: On, J., Gwak, K., Kang, G., Cha, J., Hwang, S., Hwang, H., Baek, S.: Bigs: Bi-manual category-agnostic interaction reconstruction from monocular videos via 3d gaussian splatting. In: Proceedings of the Computer Vision and Pattern Recognition Conference (CVPR). pp. 17437–17447 (June 2025)
[^30]: Park, K., Sinha, U., Barron, J.T., Bouaziz, S., Goldman, D.B., Seitz, S.M., Martin-Brualla, R.: Nerfies: Deformable neural radiance fields. In: Proceedings of the IEEE/CVF International Conference on Computer Vision. pp. 5865–5874 (2021)
[^31]: Park, K., Sinha, U., Hedman, P., Barron, J.T., Bouaziz, S., Goldman, D.B., Martin-Brualla, R., Seitz, S.M.: Hypernerf: A higher-dimensional representation for topologically varying neural radiance fields. arXiv preprint arXiv:2106.13228 (2021)
## [^32]: Pokhariya, C., Shah, I.N., Xing, A., Li, Z., Chen, K., Sharma, A., Sridhar, S.: Manus: Markerless grasp capture using articulated 3d gaussians. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 2197–2208 (2024)
---
[^33]: Pumarola, A., Corona, E., Pons-Moll, G., Moreno-Noguer, F.: D-nerf: Neural radiance fields for dynamic scenes. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 10318–10327 (2021)
[^34]: Qi, H., Zhao, C., Salzmann, M., Mathis, A.: Hoisdf: Constraining 3d hand-object pose estimation with global signed distance fields. In: 2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). pp. 10392–10402. IEEE (2024)
[^35]: Romero, J., Tzionas, D., Black, M.J.: Embodied hands: Modeling and capturing hands and bodies together. arXiv preprint arXiv:2201.02610 (2022)
[^36]: Rong, Y., Shiratori, T., Joo, H.: Frankmocap: Fast monocular 3d hand and body motion capture by regression and integration. arXiv preprint arXiv:2008.08324 (2020)
[^37]: Song, R., Liang, C., Xia, Y., Zimmer, W., Cao, H., Caesar, H., Festag, A., Knoll, A.: Coda-4dgs: Dynamic gaussian splatting with context and deformation awareness for autonomous driving. In: Proceedings of the IEEE/CVF International Conference on Computer Vision. pp. 28031–28041 (2025)
[^38]: Stearns, C., Harley, A., Uy, M., Dubost, F., Tombari, F., Wetzstein, G., Guibas, L.: Dynamic gaussian marbles for novel view synthesis of casual monocular videos. In: SIGGRAPH Asia 2024 Conference Papers. pp. 1–11 (2024)
[^39]: Sumner, R.W., Schmid, J., Pauly, M.: Embedded deformation for shape manipulation. In: ACM siggraph 2007 papers. pp. 80–es (2007)
[^40]: Taheri, O., Ghorbani, N., Black, M.J., Tzionas, D.: Grab: A dataset of whole-body human grasping of objects. In: Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part IV 16. pp. 581–600. Springer (2020)
[^41]: Tretschk, E., Tewari, A., Golyanik, V., Zollhöfer, M., Lassner, C., Theobalt, C.: Non-rigid neural radiance fields: Reconstruction and novel view synthesis of a dynamic scene from monocular video. In: Proceedings of the IEEE/CVF International Conference on Computer Vision. pp. 12959–12970 (2021)
[^42]: Tzionas, D., Ballan, L., Srikantha, A., Aponte, P., Pollefeys, M., Gall, J.: Capturing hands in action using discriminative salient points and physics simulation. International Journal of Computer Vision 118, 172–193 (2016)
[^43]: Wang, S., He, H., Parelli, M., Gebhardt, C., Fan, Z., Song, J.: Magichoi: Leveraging 3d priors for accurate hand-object reconstruction from short monocular video clips. In: Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV). pp. 5957–5968 (October 2025)
[^44]: Wang, Z., Bovik, A.C., Sheikh, H.R., Simoncelli, E.P.: Image quality assessment: from error visibility to structural similarity. IEEE transactions on image processing 13(4), 600–612 (2004)
[^45]: Wen, B., Tremblay, J., Blukis, V., Tyree, S., Müller, T., Evans, A., Fox, D., Kautz, J., Birchfield, S.: Bundlesdf: Neural 6-dof tracking and 3d reconstruction of unknown objects. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 606–617 (2023)
[^46]: Wu, G., Yi, T., Fang, J., Xie, L., Zhang, X., Wei, W., Liu, W., Tian, Q., Wang, X.: 4d gaussian splatting for real-time dynamic scene rendering. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 20310–20320 (2024)
## [^47]: Xie, T., Zong, Z., Qiu, Y., Li, X., Feng, Y., Yang, Y., Jiang, C.: PhysGaussian: Physics-Integrated 3D Gaussians for Generative Dynamics. In: 2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). pp. 4389–4398
---
IEEE计算机协会，美国加利福尼亚州洛斯阿拉米托斯（2024年6月）。，
[^48]: Xu, J., Fan, Z., Yang, J., Xie, J.: Grid4d: 4d decomposed hash encoding for high-fidelity dynamic gaussian splatting. Advances in Neural Information Processing Systems 37, 123787–123811 (2024)
[^49]: Yan, Z., Li, C., Lee, G.H.: Nerf-ds: Neural radiance fields for dynamic specular objects. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 8285–8295 (2023)
[^50]: Yang, Z., Gao, X., Zhou, W., Jiao, S., Zhang, Y., Jin, X.: Deformable 3d gaussians for high-fidelity monocular dynamic scene reconstruction. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 20331–20341 (2024)
[^51]: Ye, Y., Feng, Y., Taheri, O., Feng, H., Tulsiani, S., Black, M.J.: Predicting 4d hand trajectory from monocular videos. arXiv preprint arXiv:2501.08329 (2025)
[^52]: Ye, Y., Gupta, A., Kitani, K., Tulsiani, S.: G-hop: Generative hand-object prior for interaction reconstruction and grasp synthesis. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). pp. 1911–1920 (June 2024)
[^53]: Ye, Y., Hebbar, P., Gupta, A., Tulsiani, S.: Diffusion-guided reconstruction of everyday hand-object interaction clips. In: Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV). pp. 19717–19728 (October 2023)
54. 张D、李G、李J、布雷西厄M、希利格斯O、波勒费斯M、古尔L.V.、王X：Egogaussian：基于3D高斯泼溅技术从第一人称视频中理解动态场景（2024年），
[^55]: Zhang, J., Luo, H., Yang, H., Xu, X., Wu, Q., Shi, Y., Yu, J., Xu, L., Wang, J.: Neuraldome: A neural modeling pipeline on multi-view human-object interactions. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 8834–8845 (2023)
[^56]: Zhang, R., Isola, P., Efros, A.A., Shechtman, E., Wang, O.: The unreasonable effectiveness of deep features as a perceptual metric. In: Proceedings of the IEEE conference on computer vision and pattern recognition. pp. 586–595 (2018)
[^57]: Zhang, S., Wu, G., Xie, Z., Wang, X., Feng, B., Liu, W.: Dynamic 2d gaussians: Geometrically accurate radiance fields for dynamic objects. In: Proceedings of the 33rd ACM International Conference on Multimedia. pp. 8144–8153 (2025)
[^58]: Zhang, W., Dabral, R., Golyanik, V., Choutas, V., Alvarado, E., Beeler, T., Habermann, M., Theobalt, C.: Bimart: A unified approach for the synthesis of 3d bimanual interaction with articulated objects. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). pp. 27694–27705 (June 2025)