# 基于前馈式3D高斯泼溅的从第一人称视频中重建4D手部模型
裴正敏 $^{1\dagger}$ $\textcircled{D}$、金世河 $^{2\dagger}$ $\textcircled{D}$、马克·波勒费斯 $^{3,4}$ $\textcircled{D}$、马赫迪·拉德 $^{4}$ $\textcircled{D}$、禹永正 $^{1\dagger}$ $\textcircled{D}$ 以及权泰仁 $^{5\dagger}$ $\textcircled{D}$
$^{1}$延世大学 $^{2}$电子通信研究院 $^{3}$苏黎世联邦理工学院 $^{4}$微软空间人工智能实验室 $^{5}$牛津大学视觉几何组
图1：Hand-4DGS框架概览。我们的前馈式框架能够从具有挑战性的单视角第一人称视频中以约60帧/秒的速度重建动态4D手部模型，无需像传统高斯泼溅方法那样进行耗时的优化过程。通过引入以网格为导向的表示方式，并结合锚定在顶点上的位置嵌入，Hand-4DGS能够有效捕捉手部的精细外观与复杂运动特征。该方法在推理阶段无需姿态估计器即可泛化到未见过的视频，且无需依赖真实的3D手部姿态标注数据。
摘要：从第一人称视频中重建动态3D手部模型对于AR/VR、智能眼镜等下一代计算平台而言至关重要。尽管其重要性显著，但以往的研究大多聚焦于多视角3D手部重建或4D人体重建。由于头部快速运动、手部动态变化剧烈、严重遮挡现象以及单视角观测带来的固有歧义性，第一人称4D手部重建仍面临诸多挑战。为应对这些难题，我们提出了Hand-4DGS——首个能够直接从第一人称视频中重建动态4D手部的前馈式框架，既可实现快速（约60帧/秒）推理，又具备强大的泛化能力。该方法采用了以网格为导向的表示方式来提供结构先验，同时利用时间卷积来建模动态运动。我们在H2O和ARCTIC这两个具有挑战性的第一人称数据集上对该框架进行了评估，结果显示其性能较基线方法有明显提升。该方法借助了前馈式网络的泛化能力，以及通过高斯泼溅实现的有效2D图像监督机制，无需昂贵的3D手部姿态真实标注数据。项目页面
关键词：动态3D手部重建 · 前馈式网络 · 高斯泼溅
---
## 1 引言
4D手部重建是增强现实/虚拟现实（AR/VR）、智能眼镜、机器人操控、远程呈现及遥操作等下一代计算环境的基础技术。尤其是第一人称4D手部重建，因其无需笨重的传感器或多摄像头设备，正受到越来越多的关注。
近期采用3D高斯泼溅（3DGS）[^21]技术的研究在从多视角图像重建3D手部方面取得了令人瞩目的成果[^6] [^12] [^29] [^32] [^41] [^53]。然而，为解决单视角观测带来的深度歧义问题，这些方法往往需要20[^53]到超过120个视角的图像[^28]。这一要求限制了它们在AR、VR及智能眼镜等可穿戴场景中的应用。
与这些多视角方法不同，一些近期的研究，如HUGS [^22]和EVA [^16]，依赖现成的单目人体姿态估计器 [^11] [^31] 来获取每帧的人体网格，将其作为几何先验来初始化3D高斯模型。虽然这些方法在人体重建方面效果显著，但在4D手部重建领域却不太适用，原因如下：人体重建方法通常假设相机静止且只观测到一个人，而以眼动场景则涉及移动相机、严重的自遮挡、有限的视角、快速的手部运动以及双手之间的交互。因此，单目手部估计器在以眼动场景中往往会产生不准确的网格初始化结果，而这些误差会传递到高斯表示中，导致重建结果不稳定或质量下降。此外，这些方法依赖于逐视频优化，由于计算量庞大，难以满足实时应用场景的需求。
前馈式3D高斯方法提供了一种替代方案，它们利用神经网络直接从图像中预测高斯模型，从而实现快速推理和泛化能力 [^2] [^5] [^42]。然而，现有方法 [^10] [^51] 主要针对人体重建而非手部重建设计，且通常只能从单张或少量视角的图像中预测静态3D模型。因此，它们无法模拟4D重建所需的动态变化。此外，这些方法在训练和推理阶段都依赖姿态估计器，其性能极易受姿态估计误差的影响。综上，当前的前馈式高斯方法难以捕捉精细的手部动态，且仍严重依赖姿态估计器。据我们所知，目前尚无任何前馈式3D高斯方法能够从以眼动视频中重建4D手部模型。
为克服这些局限，我们提出了Hand-4DGS——一种用于从以眼动视频中重建4D手部的前馈式3D高斯框架。该方法不仅支持快速推理（$\sim$60 FPS）和强大的泛化能力，还无需在推理阶段使用手部姿态估计器（见图1）。具体而言，我们引入了网格引导的表示方法，直接从图像中预测作为结构先验的手部网格，再通过顶点锚定的位置嵌入来有效预测3D高斯模型。这种设计即便在遮挡或快速以眼动手部运动的情况下也能保持鲁棒性。为了更好地
---
捕捉以眼动视频中的动态手部运动，我们进一步在框架中加入了时序卷积层，以稳定特征表示并减少时序抖动。结合我们的表示方法和时序感知特征，该前馈网络能够从极具挑战性的以眼动视频中精准重建手部的几何形状、外观及运动轨迹。
我们在H2O [^23]和ARCTIC [^9]数据集上评估了我们的框架，这些数据集包含具有挑战性的以自我为中心的手-物体交互以及快速的双臂运动。我们评估了4D手部重建和手部姿态估计的准确性。由于此前没有研究针对这种场景下的前馈式4D手部重建问题，我们采用了现有的基于高斯的人体重建方法HUGS和EVA来完成手部重建任务，并将其作为基线。实验结果表明，在4D手部重建和手部姿态估计方面，我们的方法均显著优于这些基线。这些结果不仅证明了我们的方法在从以自我为中心的视频中重建动态4D手部方面的鲁棒性，还表明与逐视频优化的基线相比，该方法对未见过的视频具有很强的泛化能力。此外，我们的结果显示，通过高斯泼溅技术进行的2D图像监督能够有效提升手部姿态估计效果；通常这类估计需要依赖昂贵的3D真实标注数据，而该方法能促使模型学习到与输入序列更匹配的手部重建结果。
据我们所知，Hand-4DGS是首个能够直接从以自我为中心的视频中重建动态4D手部的前馈式框架。
## 2 相关工作
在本节中，我们将回顾与我们方法密切相关的先前研究：基于模板或3D高斯的手部重建（第2.1节）、3D人体重建的前馈式方法（第2.2节），以及动态3D场景重建（第2.3节）。
### 2.1 3D手部重建
利用MANO [^38]的基于模板的3D手部姿态估计方法为单目3D手部估计奠定了基础。早期的方法包括采用接触先验的[^1]，以及应用编码器-解码器网络的[^39]。针对遮挡问题，[^26]引入了结合腕部特征的标准化尺度处理方式。近期的研究采用了Transformer架构：[^31]基于Transformer骨干网络进行了规模扩展，而[^19]则采用了多任务渐进式架构。不过，这些方法生成的是逐帧预测结果，存在时间上的抖动现象。为解决这一问题，[^7]、[^13]、[^25]、[^40]、[^47]、[^57]采用了基于视频的方法来进行手部姿态估计。其他研究则聚焦于双手重建，这对建模双臂操作至关重要[^24]、[^37]、[^49]。更近期的研究采用了SLAM辅助的流程[^50]、[^52]，或采用带有跨视图注意力的多帧Transformer架构，以共同估计全局手部姿态和相机轨迹[^48]。与此同时，一些研究致力于生成逼真的手部
---
虚拟形象[^3]、[^4]、[^14]、[^17]、[^20]、[^27]、[^33]、[^35]、[^55]。不过，这些方法要么仅限于没有时间线索的3D重建，要么严重依赖现成的手部姿态估计器。
隐式表示方法应运而生，旨在克服基于模板的方法的局限性。[^28]将MANO引导的采样与规范化纹理空间相结合，而[^12]则提出了一种基于姿态驱动的规范化NeRF。近期的研究以多种形式采用了3DGS。[^32]将关节高斯锚定在MANO关节上，[^41]引入了关节驱动的变形机制，[^6]则使用了隐式几何嵌入。[^53]在MANO表面上集成了分层高斯混合形状与神经残差蒙皮技术。然而，尽管这些方法融入了手部先验知识，它们仍然依赖多视角输入。对于单目视频而言，[^8]利用带有姿态估计器的隐式SDF来重建手部，而[^29]则利用了基于扩散先验的SDS损失。
### 2.2 前馈式三维人体重建
近期的前馈式方法通过在大规模数据集上训练单一网络，消除了逐场景优化的需求，从而能够对未见数据进行即时推理。近期有几项研究将前馈式高斯泼溅技术应用于人体重建。GPS-Gaussian [^54]无需显式模板即可实现高质量重建，但在训练期间需要真实的深度数据和多视角监督信息。GHG [^10]利用网格模板来指导高斯的放置，但它依赖于真实的模板姿态、纹理图以及多视角输入。LIFe-GoM [^44]在网格表面上学习高斯分布，但侧重于通过迭代优化来捕捉细微细节。RoGSplat [^45]解决了输入姿态不精确导致的鲁棒性问题，但它仍需要多视角输入和深度对齐过程。
为了应对获取多视角数据的挑战——这通常需要专门的采集设备和受控环境——近期的研究尝试采用单目方法。HumanSplat [^30]和IDOL [^56]利用扩散模型从单张图像中合成多视角监督信息，而GUAVA [^51]则通过对视觉基础模型生成的特征图进行逆向纹理映射来获取UV高斯。不过，这些方法侧重于从图像中进行静态三维重建，而我们关注的是从视频中进行动态重建。
### 2.3 前馈式动态三维重建
近期的研究将前馈式方法扩展到了视频序列。Forge4D [^15]提出了首个用于动态人体重建的前馈模型，但它需要多视角视频输入。L4GM [^36]虽然使用单目视频，但训练时需借助视频扩散模型合成的多视角监督信息，这带来了计算开销且可能产生伪影。4DGT [^46]能从普通单目视频中预测四维高斯，无需模板先验，但缺乏对关节手部专门建模的能力。然而，我们的方法堪称首个专为第一人称视频场景中的动态手部设计的前馈框架。
---
Fig. 2: Framework Overview. (a) To leverage structural priors from the hand mesh, we predict embeddings at each mesh vertex. These embeddings serve as conditional latents for predicting Gaussian attributes such as color and scale. To capture higher resolution, we sample additional Gaussians across the mesh surface and interpolate their embeddings from neighboring vertices. (b) Per-token features from adjacent frames are aggregated via 1D convolution along the time axis, reducing dimension while incorporating temporal context. The resulting temporal-aware features are decoded to predict MANO shape and pose parameters, global translations, and vertex embeddings. (c) Visual features from the image encoder are processed through temporal convolution to obtain temporal-aware features. MANO extracts the hand mesh from predicted parameters, supervised by pseudo ground truth vertices. Using the mesh-guided vertex embedding from (a), we predict Gaussian attributes and render them via differentiable splatting. Image supervision refines both the predicted mesh and Gaussian parameters.
## 3 方法
在本节中，我们将介绍用于第一人称手部重建的前馈式框架。我们首先定义任务并介绍关于前馈式三维高斯泼溅的基础知识（第3.1节）。接着描述我们的网格引导表示方式（第3.2节），随后介绍整体框架（第3.3节）、时序卷积层（第3.4节）以及损失函数（第3.5节）。
### 3.1 任务定义
我们的任务是从给定相机姿态的单视角自中心视频中重建动态手部模型。给定一个从自中心视角拍摄的输入视频序列$\{I_t\}_{t=1}^T$，其中T表示帧数，我们的目标是预测能够准确表征手部几何形状与外观的3D高斯参数。我们将在后续章节中详细介绍所提出的框架。
preliminaries：前馈式3DGS。与传统3DGS针对每个场景优化3D基元不同，前馈式3DGS能直接从输入图像预测3D高斯参数di-
---
这种方式使得在多个实例上的训练更加高效，同时具备对未见场景的泛化能力。
通常，该方法包含编码器Enc($\cdot$)和解码器网络。编码器会从输入的RGB帧$\mathbf{f}_t = \text{Enc}(I_t)$中独立提取每帧的特征$I_t$。
解码器网络通常采用轻量级MLP实现，这些网络会将上述特征映射为高斯参数$\{\mu, r, s, \sigma, c\}$，其中$\mu, r, s \in \mathbb{R}^3$分别对应位置、旋转和缩放；$\sigma$代表不透明度，而$c \in \mathbb{R}^3$则表示颜色。根据[^21]的描述，预测得到的3D高斯会被投影到2D空间，并通过可微光栅化技术结合alpha合成进行渲染。
### 3.2 用于手部的网格引导表征
与普通物体不同，手部在不同实例间具有一致的运动结构，这种特性可以通过手部模板有效建模。因此，我们设计了网格引导表征来利用这一结构先验。
简而言之，具体步骤如下：1）预测MANO网格；2）通过顶点嵌入的重心插值在网格表面生成位置嵌入；3）在表面上均匀采样高斯点；4）根据插值后的嵌入预测颜色和缩放参数；5）根据表面法线设定旋转角度。
网格引导的位置嵌入。首先，我们利用编码器特征f，通过手部模板（MANO [^38]）预测手部网格的顶点。我们将3D高斯锚定在这些预测出的顶点上，以捕捉手部的核心结构。对于每个顶点$v_i$，我们还会通过轻量级MLP预测对应的嵌入$e_i$：
$$ e_{i}=\mathrm{M L P_{e m b}}(\mathbf{f}). $$
这些嵌入可作为预测各高斯参数的条件潜变量。
不过，仅依靠锚定在顶点上的高斯点，在建模皮肤纹理、皱纹等精细外观细节时分辨率有限。为解决这一局限，我们在网格的每个三角形面内额外采样N个高斯点。对于每个采样的高斯点，我们通过三个相邻顶点嵌入的重心插值来获取其嵌入$\tilde{e}$：
$$ \tilde{e}=\mathrm{Interp}(e_{i},e_{j},e_{k}), $$
其中$(e_{i}, e_{j}, e_{k})$为三个三角形顶点的嵌入。这种方式能生成分辨率更高且能在手部表面平滑变化的高斯嵌入。
插值得到的嵌入$\tilde{e}$会由轻量级MLP解码，用以预测高斯颜色$c \in \mathbb{R}^3$和缩放参数$s \in \mathbb{R}^3$：
$$ c=\mathrm{M L P_{c o l o r}}(\tilde{e}),\quad s=\mathrm{M L P_{s c a l e}}(\tilde{e}). $$
通过将嵌入与模板结构对齐，这种设计不仅促进了模型的稳定收敛，还能有效实现不同手部序列间的泛化。
---
显式高斯变换。为确保几何结构符合物理规律，我们直接从预测的网格中计算高斯点的位置和旋转。高斯位置通过三个三角形顶点的重心插值获得；旋转则利用面法线通过四元数计算得出，进而确定高斯协方差。这样就能保证高斯点始终与手部网格保持结构上的对齐。
### 3.3 整体框架
图2展示了我们的整体流程。给定输入视频帧$I_{t}$后，我们首先使用预训练的视觉基础模型提取视觉特征。这些特征会经过时序卷积层处理，以融入多帧间的时序上下文信息，相关细节将在3.4节中详细说明。
基于这些时序一致的特征，我们利用浅层多层感知机来预测MANO参数和全局平移量：
$$ \begin{array}{r}{\{\mathbf{\beta},\mathbf{\theta}\}=\mathrm{M L P}_{\mathrm{M A N O}}(\mathbf{f}_{t}),\quad\mathbf{\tau}=\mathrm{M L P}_{\mathrm{t r a n s}}(\mathbf{f}_{t}),}\end{array} $$
其中$\beta$、$\theta$和$\tau$分别表示形状、姿态和平移参数。需要注意的是，$\mathbf{f}_t$代表从相邻帧聚合得到的时序感知特征，具体细节见3.4节。这些参数会被输入到MANO模型中，从而提取手部网格顶点$\mathbf{v}$。为了建立可靠的初始几何结构，我们会利用现成姿态估计器生成的伪真值[^31]对预测出的顶点进行监督训练。
同时，我们预测逐顶点嵌入向量，并通过插值得到覆盖整个网格表面的额外高斯嵌入向量。这些插值后的嵌入向量会通过各多层感知机解码，以预测高斯点的颜色和尺度。高斯点的位置与旋转则是根据网格几何结构直接计算得出。此外，我们还会将不透明度值向1方向约束，促使高斯点完全不透明，这反映出手部属于不透明物体这一特性。
预测得到的3D高斯点会被渲染成图像，从而实现图像层面的监督。这种图像级监督会在训练过程中同步优化预测出的网格顶点和高斯参数。
### 3.4 时序卷积层
如前言部分所述，传统的前馈方法会独立提取每帧的特征。在我们的实现中，生成的特征记为$\mathbf{f}_t \in \mathbb{R}^{N \times D}$，其中N为视觉标记的数量，D为特征维度。
然而，直接采用这些逐帧特征会导致时序上的抖动现象。为解决这一问题，我们引入了时序卷积层，对连续帧的特征进行联合处理。对于第t帧，我们会聚合大小为$2k+1$的时序窗口内的特征：
$$ \mathbf{f}_{t^{\prime}}=\operatorname{T C}(\mathbf{f}_{t-k},\ldots,\mathbf{f}_{t},\ldots,\mathbf{f}_{t+k}), $$
---
其中TC表示时序卷积操作。由此产生的时序一致特征记为$\mathbf{f}_{t'} \in \mathbb{R}^{N \times D'}$，其维度缩减为$D' < D$，这些特征会被用于后续的MANO参数和嵌入向量预测。这种时序感知特征既能保证多帧间的几何一致性，又能精准捕捉手部的运动轨迹。
### 3.5 训练目标
顶点监督。我们利用现成姿态估计器生成的伪真值，对预测出的网格顶点进行监督训练：
$$ \begin{array}{r}{\mathcal{L}_{\mathrm{v e r t}}=\|\mathbf{v}-\mathbf{v}_{\mathrm{p s e u d o}}\|_{1},}\end{array} $$
其中$\mathbf{v}$表示我们预测的顶点，$\mathbf{v}_{\mathrm{pseudo}}$则表示伪真值。这种监督机制在训练过程中会逐渐减弱，从而引导模型逐步依赖图像层面的监督。
图像监督。我们结合了渲染图像与真实图像之间的L1损失和结构相似性（D-SSIM）：
$$ \mathcal{L}_{\mathrm{i m g}}=\|\hat{I}-I\|_{1}+\lambda_{\mathrm{s s i m}}\cdot\mathrm{D-S S I M}(\hat{I},I), $$
其中，$\hat{I}$和I分别表示渲染图像和真实图像，$\lambda_{ssim}$是D-SSIM项的权重。
正则化。我们应用正则化来约束高斯尺度在$[s_{\min}, s_{\max}]$范围内，并促使不透明度值趋近于1：
$$ \mathcal{L}_{\mathrm{r e g}}=\lambda_{\mathrm{s c a l e}}\sum_{i}\left[\max(0,s_{\min}-s_{i})+\max(0,s_{i}-s_{\max})\right]+\lambda_{\mathrm{o p a c i t y}}(1-\bar{\sigma}), $$
其中，$s_i$表示高斯i的尺度，$\bar{\sigma}$表示所有高斯的平均不透明度，$\lambda_{\text{scale}}$和$\lambda_{\text{opacity}}$是正则化权重。
总损失。完整的损失函数整合了所有组成部分：
$$ \mathcal{L}=\lambda_{\mathrm{v e r t}}\mathcal{L}_{\mathrm{v e r t}}+\lambda_{\mathrm{i m g}}\mathcal{L}_{\mathrm{i m g}}+\mathcal{L}_{\mathrm{r e g}}, $$
其中，$\lambda_{vert}$和$\lambda_{img}$分别用于平衡顶点监督项和图像监督项的权重。
## 4 实验
在本节中，我们首先介绍实验细节，包括数据集、基准方法和评估指标（第4.1节）。接着，我们展示所提方法在重建性能和手部姿态精度方面的有效性（第4.2节）。最后，我们对该方法的设计选择和消融研究进行分析（第4.3节）。
---
Fig. 3: Reconstruction Fidelity on the H2O dataset. We compare two settings: Hand-4DGS (Per-Video), optimized directly on the target video via per-scene training, and Hand-4DGS (Generalized), trained on diverse sequences and performing inference on this unseen target video. Thanks to our carefully designed mesh-guided vertex embedding and temporal-aware features, Hand-4DGS (Per-Video) achieves accurate reconstruction across all scenarios, while Hand-4DGS (Generalized) demonstrates effective generalization, achieving quality comparable to the per-scene model. In contrast, baselines struggle with complex motions, producing collapsed geometry and artifacts.
### 4.1 实验细节
数据集。我们在H2O [^23]和ARCTIC [^9]数据集上评估所提方法。H2O数据集记录了以第一视角拍摄的手部与物体交互过程，包含RGB-D序列、相机位姿和3D手部姿态信息。我们以subject4/h1作为测试集，其余序列用于训练，仅使用第一视角的RGB帧。ARCTIC数据集记录了双手对可动物体的操控过程，采用多视角相机和动作捕捉系统采集数据。ARCTIC数据集包含手部运动快速且交互复杂的极具挑战性的场景。我们以s01、s08和s09作为训练集，从s05/grab_中选择五个序列作为测试集，这些序列中的物体在整个过程中保持静止。
这两个数据集均提供了基于MANO模型的真实3D标注。我们仅将这些标注用于评估，而不用于训练。
基准方法。我们将所提方法与HUGS和EVA进行对比，因为它们是针对单目视频中动态带纹理人体进行3D高斯重建的最相关方法。由于此前尚无研究直接针对第一视角下的前馈式4D手部重建问题展开探讨，我们通过将它们的身体模板替换为MANO模型，使这些模型适配手部重建任务。
---
为确保对比公平，我们使用基于HaMeR提取的MANO参数，对本文方法及基准方法的输入进行标准化处理。由于基准方法在各自论文中展现出更优的手部细节重建效果，我们采用了它们的官方配置和实现方式。在手部姿态估计方面，我们还将其与HaMeR [^31]进行对比，训练过程中我们利用HaMeR提取伪标签。评估时我们采用它们的官方实现。
评估指标。我们采用重建保真度和手部姿态精度两类指标来评估所提方法。对于重建质量，我们报告峰值信噪比（PSNR）以量化像素级的颜色误差，以及结构相似性指数（SSIM）以衡量感知到的结构相似性。数值越高，表明视觉质量越好。
对于手部姿态精度，我们报告用于衡量全局关节精度的平均关节位置误差（MPJPE）、对齐根关节后的局部关节精度Root-Aligned MPJPE，以及用于衡量时间一致性的加速度误差（Acc Err）。所有手部姿态指标均以毫米为单位报告。
训练与实现细节。我们对时序卷积层、MANO MLP以及高斯手模型组件进行总计130万步的训练。在前100万步中，我们采用顶点监督；此后引入图像监督。在接下来的15万步中，顶点监督权重会线性衰减至零，以使模型将注意力转向光度重建。我们采用指数型学习率调度策略，在整个训练期间将学习率从$5 \times 10^{-3}$衰减至$5 \times 10^{-4}$。
为了将学习重点集中在手部区域，我们利用由[^31]的预测结果生成的alpha掩码。按照[^18]的方法，我们在训练期间将手部渲染在简单的白色或黑色背景上，以防止模型学到背景颜色。在损失函数方面，我们使用了超参数$\alpha = 1$、$\beta = 0.1$、$\gamma_{dssim} = 0.2$、$\gamma_{scale} = 10$和$\gamma_{opa} = 0.01$。对于高斯手模型，我们通过随机采样手部每个面的重心坐标，经验性地设置10个高斯分布。
该架构包含多个具有512个隐藏单元的专用MLP。具体而言，用于MANO参数和平移的MLP包含4层，嵌入MLP仅由1层组成，而颜色和尺度MLP则各含2层，每层有64个隐藏单元。我们将顶点嵌入的维度设为$D' = 16$。为确保训练初期能稳定收敛，我们对所有最终输出层采用零初始化。当时间窗口超出视频序列的边界（例如在序列的开头或结尾）时，我们采用反射填充策略，即复制边缘特征。
为了确保公平比较，由于HaMeR的检测器经常失效，我们向它提供了真实的边界框。
### 4.2 实验结果
我们评估了本方法的两种训练场景，以展示其表征有效性与泛化能力。
---
Fig. 4: Reconstruction Fidelity on the ARCTIC dataset. On ARCTIC with more dynamic motions, baseline failures become more pronounced, while our method maintains accurate geometry.
Table 1: Comparison of Fidelity on Training Viewpoint and Reconstruction Time. Hand-4DGS improves reconstruction fidelity, and the generalized variant maintains similar quality with much lower reconstruction time for a 500-frame sequence.
| Model | H2O | ARCTIC | Recon. time |
| PSNR $\uparrow$ | SSIM $\uparrow$ | PSNR $\uparrow$ | SSIM $\uparrow$ | (500 frames) $\downarrow$ |
| HUGS [^22] | 22.49 | 0.916 | 18.27 | 0.900 | 15 min |
| EVA [^16] | 23.56 | 0.925 | 18.41 | 0.895 | 24 min |
| Hand-4DGS (Per-Video) | 24.66 | 0.939 | 22.68 | 0.933 | 14 min |
| Hand-4DGS (Generalized) | 24.46 | 0.938 | 22.08 | 0.932 | 8.69 sec |
1) Hand-4DGS（逐视频训练）：为了验证我们设计的表征的有效性，我们在每个目标视频序列上直接训练Hand-4DGS，以便与针对特定场景优化的基线方法进行比较。
2) Hand-4DGS（泛化训练）：为了展示我们前馈架构的泛化能力，我们在多个视频序列上训练Hand-4DGS，并将其应用于未见过的目标视频。
卓越的重建保真度。图3和图4中的定性比较展示了我们的方法在捕捉手部几何形状与细节方面的出色表现。虽然基线方法在手部运动缓慢时表现尚可（例如图3第三行的左手），但在处理复杂的手部动作时却表现不佳，导致结果欠佳。值得注意的是，即使在训练视角下，它们也会出现几何形状塌陷和视觉伪影现象。在ARCTIC数据集上，这种退化现象更为严重，因为该数据集中的手部动作更加突然且动态（见图4）。
相比之下，得益于我们的网格引导表征，Hand-4DGS在所有场景下都能保持稳健的重建质量。表1中的定量结果证实了我们在两个数据集上所有指标上的优越性能。
---
Fig. 5: Comparison on Novel Viewpoints. Despite training on single-view egocentric videos, our method reconstructs accurate hand geometry from unseen viewpoints. Hand-4DGS (Per-Video) captures hand structure accurately, though appearance may show artifacts from training view occlusions. Hand-4DGS (Generalized) further improves appearance through multi-sequence training. Baselines fail to maintain hand structure under novel views.
Table 2: Comparison of Image Quality in Novel View. Our framework achieves better visual quality on the subject4_h1 sequences. Note that the Hand-4DGS (Generalized) model is evaluated on unseen sequences.
| Model | PSNR $\uparrow$ | SSIM $\uparrow$ |
| HUGS [^22] | 17.09 | 0.826 |
| EVA [^16] | 16.61 | 0.828 |
| Hand-4DGS (Per-Video) | 17.56 | 0.835 |
| Hand-4DGS (Generalized) | 18.14 | 0.844 |
新视角合成。为了评估我们重建结果的视角一致性，我们从新视角渲染预测出的手部模型。如图5和表2所示，Hand-4DGS能够从各种未见过的角度生成高质量的渲染结果，且能很好地保留手部的形状和外观。相比之下，基线方法则会出现明显的几何失真和伪影，这表明它们过度拟合了训练时的视角。这证明我们的网格引导表示能够重建连贯的3D几何结构，而非仅仅过度拟合训练视角。
手部姿态估计。除了重建保真度外，我们还评估了该方法捕捉以自我为中心的视角下手部姿态的能力。表3将我们的方法与HaMeR进行了比较，HaMeR提供了我们训练时使用的初始3D顶点，同时表中也列出了其他基线方法。HaMeR仅提供初始姿态，并未在目标视频上训练；而基线方法则会优化3D高斯参数，并在优化过程中更新所提供的姿态。值得注意的是，我们的方法得出的姿态精度高于初始估计值，而基线方法不仅未能提升精度，甚至比初始姿态精度还要低。
---
Table 3: Hand Pose Estimation on the H2O Dataset. Our method improves upon initial pose estimates from HaMeR, while baselines degrade below initial accuracy.
| Model | MPJPE $\downarrow$ | RA-MPJPE $\downarrow$ |
| HaMeR [^31] | 37.82 | 15.61 |
| HUGS [^22] | 75.95 | 19.35 |
| EVA [^16] | 76.11 | 19.39 |
| Hand-4DGS (Per-Video) | 29.48 | 14.13 |
| Hand-4DGS (Generalized) | 22.71 | 13.27 |
### 4.3 分析
嵌入设计选择。我们证明了引入基于网格引导的位置嵌入并结合重心插值来预测高斯属性，优于直接为每个高斯单独预测嵌入而不进行插值的方法。如表4所示，后一种方法由于自由度过高导致外观收敛效果不佳，进而使得重建质量较低。这验证了我们的设计选择：基于顶点的嵌入所提供的结构约束有助于实现稳定的收敛。
Table 4: Comparisons on Different Embedding Design Choices. Predicting embeddings for each Gaussian instead of interpolating vertex embeddings leads to an overall drop in performance.
| PSNR $\uparrow$ | SSIM $\uparrow$ | MPJPE $\downarrow$ | RA-MPJPE $\downarrow$ |
| Per-Gaussian Embedding | 24.63 | 0.936 | 26.09 | 15.59 |
| Vertex Embedding (Ours) | 24.89 | 0.942 | 25.22 | 14.23 |
时序卷积层的消融实验。我们对时序感知特征进行了消融研究。如表5所示，若仅使用目标帧的特征而不加入时序卷积层，就会产生抖动现象，进而降低重建质量和姿态精度。具体而言，表5中的Acc Err指标表明，使用逐帧特征会导致时序不一致。相比之下，利用时序卷积层可以聚合相邻帧的时序上下文，从而生成时序一致且精确的结果。
Table 5: Ablation on Temporal Convolution Layer. Per-frame features cause temporal jitter, while the temporal convolution layer improves consistency and significantly enhances visual performance.
| PSNR $\uparrow$ | SSIM $\uparrow$ | MPJPE $\downarrow$ | RA-MPJPE $\downarrow$ | Acc Err $\downarrow$ |
| w/o TC Layer | 23.75 | 0.933 | 26.62 | 18.99 | 5.80 |
| w/ TC Layer (Ours) | 24.89 | 0.942 | 25.22 | 14.23 | 3.08 |
---
泛化能力。虽然我们的模型能够成功完成单场景重建，但其前馈架构可以在多个序列上训练，从而实现对任意未见视频的泛化。如表6所示，在多个序列上训练后的方法，在未见过的视频上也能产生与单视频训练模型相当的合理结果。定性比较结果详见附录。
关键在于，我们的方法无需任何重新训练即可在零样本模式下有效运行。训练好的网络能直接在未见过的数据序列上生成精确的手部几何结构和时序一致的运动，这一点从较高的SSIM分数和低加速度误差中便可看出。对于对视觉质量要求极高的应用场景，我们提供了可选的测试时优化（TTO）阶段，以便针对目标序列微调外观。只需在新视频上额外训练500步（不到30秒），其性能便可与逐序列训练的效果相媲美。
Table 6: Performance Comparison across Different Hand-4DGS Settings. The generalized model achieves better pose accuracy but shows slightly lower visual quality on unseen videos compared to scene-specific training. Test-time optimization compensates for this gap.
| PSNR $\uparrow$ | SSIM $\uparrow$ | MPJPE $\downarrow$ | RA-MPJPE $\downarrow$ |
| Per-Video | 24.66 | 0.939 | 26.69 | 16.80 |
| Generalized (w/o TTO) | 22.59 | 0.925 | 24.84 | 15.48 |
| Generalized (w/ TTO) | 24.46 | 0.938 | 27.81 | 15.73 |
## 5 结论
在本文中，我们提出了Hand-4DGS——首个专为从单视角自中心视频直接重建4D手部而设计的前馈框架。与以往局限于静态3D重建、需要多视角输入或依赖姿态估计器及耗时的逐视频优化的方法不同，我们的方法能够实现实时4D手部重建，并具备对未见序列的泛化能力。通过引入带有顶点锚定位置嵌入的网格引导表示，并结合时间卷积层，我们能够在以往基线方法常常失效的复杂自中心场景中实现精确的手部重建。实验结果表明了该方法的有效性，其对未见视频的泛化能力，以及通过2D图像监督将3D手部与输入序列对齐来优化初始手部姿态的能力。
我们认为，高效的前馈架构与结构先验相结合，为实时自中心手部重建提供了一种可扩展的解决方案。未来的工作将探索将该框架扩展至建模复杂的手-物体交互场景。开发既能泛化到各类物体又能保持一致性的表示方法，将是重要的研究方向。
---
## 致谢
本研究得到了韩国政府（MSIT）资助的信息通信技术规划评估研究所（IITP）项目（编号2017-0-00072）的支持，同时也得到了瑞士国家科学基金会博士后流动性奖学金P500PT 225450的资助。
## 参考文献
[^1]: Cao, Z., Radosavovic, I., Kanazawa, A., Malik, J.: Reconstructing hand-object interactions in the wild. ICCV (2021)
[^2]: Charatan, D., Li, S., Tagliasacchi, A., Sitzmann, V.: pixelsplat: 3d gaussian splats from image pairs for scalable generalizable 3d reconstruction. In: CVPR (2024)
[^3]: Chen, K., Mohan, S., Theiss, J., Oprea, S., Sridhar, S., Prakash, A.: Interactavatar: Modeling hand-face interaction in photorealistic avatars with deformable gaussians. In: Proceedings of the IEEE/CVF International Conference on Computer Vision. pp. 10410–10420 (2025)
[^4]: Chen, X., Wang, B., Shum, H.Y.: Hand avatar: Free-pose hand animation and rendering from monocular video. In: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. pp. 8683–8693 (2023)
[^5]: Chen, Y., Xu, H., Zheng, C., Zhuang, B., Pollefeys, M., Geiger, A., Cham, T.J., Cai, J.: Mvsplat: Efficient 3d gaussian splatting from sparse multi-view images. arXiv preprint arXiv:2403.14627 (2024)
6. Dong, Y., Liu, H., Wang, Q., Yang, J., Wang, W., Slabaugh, G., Yuan, S.: Handsplat：用于高保真手部渲染的基于嵌入驱动的高斯泼溅技术（2025年），
[^7]: Duran, E., Kocabas, M., Choutas, V., Fan, Z., Black, M.J.: Hmp: Hand motion priors for pose and shape estimation from video. In: Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision. pp. 6353–6363 (2024)
[^8]: Fan, Z., Parelli, M., Kadoglou, M.E., Kocabas, M., Chen, X., Black, M.J., Hilliges, O.: HOLD: Category-agnostic 3d reconstruction of interacting hands and objects from video. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 494–504 (2024)
[^9]: Fan, Z., Taheri, O., Tzionas, D., Kocabas, M., Kaufmann, M., Black, M.J., Hilliges, O.: ARCTIC: A dataset for dexterous bimanual hand-object manipulation. In: Proceedings IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (2023)
[^10]: Fang, Y.K.B., Dong, Y.L.H., Carrasco, C.Z.F.V., Xu, A.M.M.J., Kim, S.T.D., la Torre, A.P.F.D.: Generalizable human gaussians for sparse view synthesis. European Conference on Computer Vision (2024)
[^11]: Goel, S., Pavlakos, G., Rajasegaran, J., Kanazawa*, A., Malik*, J.: Humans in 4D: Reconstructing and tracking humans with transformers. In: International Conference on Computer Vision (ICCV) (2023)
[^12]: Guo, Z., Zhou, W., Wang, M., Li, L., Li, H.: HandNeRF: Neural radiance fields for animatable interacting hands. In: CVPR (2023)
## [^13]: Hasson, Y., Varol, G., Tzionas, D., Kalevatykh, I., Black, M.J., Laptev, I., Schmid, C.: Learning joint reconstruction of hands and manipulated objects. In: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. pp. 11807–11816 (2019)
---
[^14]: Hu, H., Fan, Z., Wu, T., Xi, Y., Lee, S., Pavlakos, G., Wang, Z.: Expressive gaussian human avatars from monocular rgb video. In: NeurIPS (2024)
15. Hu, Y., He, Y., Chen, J., Yuan, W., Qiu, K., Lin, Z., Zhu, S., Dong, Z., Zhang, J.: Forge4d：从未经校准的稀疏视角视频中进行前馈4D人体重建与插值（2025年），
[^16]: Hu, Y., Liu, Z., Shao, J., Lin, Z., Zhang, J.: Eva-gaussian: 3d gaussian-based real-time human novel view synthesis under diverse camera settings. arXiv preprint arXiv:2410.01425 (2024)
[^17]: Huang, X., Li, H., Liu, W., Liang, X., Yan, Y., Cheng, Y., Gao, C.: Learning interaction-aware 3d gaussian splatting for one-shot hand avatars. Advances in Neural Information Processing Systems 37, 14127–14147 (2024)
[^18]: Jain, A., Mildenhall, B., Barron, J.T., Abbeel, P., Poole, B.: Zero-shot text-guided object generation with dream fields. CVPR (2022)
[^19]: Jiao, Z., Wang, X., Li, J., Gao, R., He, M., Liang, J., Xia, Z., Gao, Q.: Handformer: Hand pose reconstructing from a single rgb image. Pattern Recognition Letters 183, 155–164 (2024)
[^20]: Karunratanakul, K., Prokudin, S., Hilliges, O., Tang, S.: Harp: Personalized hand reconstruction from a monocular rgb video. In: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. pp. 12802–12813 (2023)
21. Kerbl, B., Kopanas, G., Leimkühler, T., Drettakis, G.: 用于实时辐射场渲染的3D高斯泼溅技术。《ACM图形学交易》第42卷第4期（2023年7月），
[^22]: Kocabas, M., Chang, J.H.R., Gabriel, J., Tuzel, O., Ranjan, A.: Hugs: Human gaussian splats. In: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. pp. 505–515 (2024)
[^23]: Kwon, T., Tekin, B., Stühmer, J., Bogo, F., Pollefeys, M.: H2o: Two hands manipulating objects for first person interaction recognition. In: Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV). pp. 10138–10148 (October 2021)
[^24]: Li, M., An, L., Zhang, H., Wu, L., Chen, F., Yu, T., Liu, Y.: Interacting attention graph for single image two-hand reconstruction. In: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. pp. 2761–2770 (2022)
[^25]: Liu, S., Jiang, H., Xu, J., Liu, S., Wang, X.: Semi-supervised 3d hand-object poses estimation with interactions in time. In: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. pp. 14687–14697 (2021)
[^26]: Moon, G.: Bringing inputs to shared domains for 3D interacting hands recovery in the wild. In: CVPR (2023)
[^27]: Moon, G., Xu, W., Joshi, R., Wu, C., Shiratori, T.: Authentic hand avatar from a phone scan via universal hand model. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 2029–2038 (2024)
[^28]: Mundra, A., B R, M., Wang, J., Habermann, M., Theobalt, C., Elgharib, M.: Livehand: Real-time and photorealistic neural hand rendering (October 2023)
29. On, J., Gwak, K., Kang, G., Cha, J., Hwang, S., Hwang, H., Baek, S.: Bigs：通过3D高斯泼溅技术从单目视频中实现类别无关的双手动交互重建（2025年），
[^30]: Pan, P., Su, Z., Lin, C., Fan, Z., Zhang, Y., Li, Z., Shen, T., Mu, Y., Liu, Y.: Humansplat: Generalizable single-image human gaussian splatting with structure priors. In: Advances in Neural Information Processing Systems (NeurIPS) (2024)
## [^31]: Pavlakos, G., Shan, D., Radosavovic, I., Kanazawa, A., Fouhey, D., Malik, J.: Reconstructing hands in 3D with transformers. In: CVPR (2024)
---
[^32]: Pokhariya, C., Shah, I.N., Xing, A., Li, Z., Chen, K., Sharma, A., Sridhar, S.: Manus: Markerless hand-object grasp capture using articulated 3d gaussians (2023)
[^33]: Potamias, R.A., Ploumpis, S., Moschoglou, S., Triantafyllou, V., Zafeiriou, S.: Handy: Towards a high fidelity 3d hand shape and appearance model. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 4670–4680 (2023)
[^34]: Potamias, R.A., Zhang, J., Deng, J., Zafeiriou, S.: Wilor: End-to-end 3d hand localization and reconstruction in-the-wild. In: Proceedings of the Computer Vision and Pattern Recognition Conference. pp. 12242–12254 (2025)
[^35]: Qian, N., Wang, J., Mueller, F., Bernard, F., Golyanik, V., Theobalt, C.: HTML: A parametric hand texture model for 3d hand reconstruction and personalization. In: European Conference on Computer Vision. pp. 54–71. Springer (2020)
[^36]: Ren, J., Xie, K., Mirzaei, A., Liang, H., Zeng, X., Kreis, K., Liu, Z., Torralba, A., Fidler, S., Kim, S.W., Ling, H.: L4gm: Large 4d gaussian reconstruction model. In: Proceedings of Neural Information Processing Systems(NeurIPS) (Dec 2024)
[^37]: Ren, P., Wen, C., Zheng, X., Xue, Z., Sun, H., Qi, Q., Wang, J., Liao, J.: Decoupled iterative refinement framework for interacting hands reconstruction from a single rgb image. In: Proceedings of the IEEE/CVF international conference on computer vision. pp. 8014–8025 (2023)
[^38]: Romero, J., Tzionas, D., Black, M.J.: Embodied hands: Modeling and capturing hands and bodies together. ACM Transactions on Graphics, (Proc. SIGGRAPH Asia) 36(6) (Nov 2017)
[^39]: Rong, Y., Shiratori, T., Joo, H.: Frankmocap: A monocular 3d whole-body pose estimation system via regression and integration. In: IEEE International Conference on Computer Vision Workshops (2021)
[^40]: Spurr, A., Molchanov, P., Iqbal, U., Kautz, J., Hilliges, O.: Adversarial motion modelling helps semi-supervised hand pose estimation. arXiv preprint arXiv:2106.05954 (2021)
41. Sun, Z., Shen, X., Hu, Y., Zhong, Y., Zhou, X.: Jghand：基于3D高斯泼溅技术的关节驱动可动画手部模型（2025年），
[^42]: Szymanowicz, S., Insafutdinov, E., Zheng, C., Campbell, D., Henriques, J., Rupprecht, C., Vedaldi, A.: Flash3d: Feed-forward generalisable 3d scene reconstruction from a single image. arxiv (2024)
[^43]: Wang, X., Kwon, T., Rad, M., Pan, B., Chakraborty, I., Andrist, S., Bohus, D., Feniello, A., Tekin, B., Frujeri, F.V., et al.: Holoassist: an egocentric human interaction dataset for interactive ai assistants in the real world. In: Proceedings of the IEEE/CVF International Conference on Computer Vision. pp. 20270–20281 (2023)
[^44]: Wen, J., Schwing, A., Wang, S.: LIFe-GoM: Generalizable Human Rendering with Learned Iterative Feedback Over Multi-Resolution Gaussians-on-Mesh. In: ICLR (2025)
[^45]: Xiao, J., Zhang, Q., Nie, Y., Zhu, L., Zheng, W.S.: RoGSplat: Learning robust generalizable human gaussian splatting from sparse multi-view images. In: CVPR (2025)
[^46]: Xu, Z., Li, Z., Dong, Z., Zhou, X., Newcombe, R., Lv, Z.: 4dgt: Learning a 4d gaussian transformer using real-world monocular videos (2025)
[^47]: Yang, J., Chang, H.J., Lee, S., Kwak, N.: Seqhand: RGB-sequence-based 3d hand pose and shape estimation. In: European Conference on Computer Vision. pp. 122–139. Springer (2020)
## [^48]: Ye, Y., Feng, Y., Tehari, O., Feng, H., Tulsiani, S., Black, M.J.: Predicting 4d hand trajectory from monocular videos. arXiv preprint arXiv:2501.08329 (2025)
---
[^49]: Yu, Z., Huang, S., Fang, C., Breckon, T.P., Wang, J.: Acr: Attention collaboration-based regressor for arbitrary two-hand reconstruction. In: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. pp. 12955–12964 (2023)
[^50]: Yu, Z., Zafeiriou, S., Birdal, T.: Dyn-hamr: Recovering 4d interacting hand motion from a dynamic camera. In: arXiv preprint arXiv:2412.12861 (December 2024)
[^51]: Zhang, D., Liu, Y., Lin, L., Zhu, Y., Li, Y., Qin, M., Li, Y., Wang, H.: Guava: Generalizable upper body 3d gaussian avatar. arXiv preprint arXiv:2505.03351 (2025)
[^52]: Zhang, J., Deng, J., Ma, C., Potamias, R.A.: Hawor: World-space hand motion reconstruction from egocentric videos. arXiv preprint arXiv:2501.02973 (2025)
[^53]: Zhao, L., Lu, X., Fan, R., Im, S.K., Wang, L.: Gaussianhand: Real-time 3d gaussian rendering for hand avatar animation. IEEE Transactions on Visualization & Computer Graphics pp. 1–13 (Dec 5555)
[^54]: Zheng, S., Zhou, B., Shao, R., Liu, B., Zhang, S., Nie, L., Liu, Y.: Gps-gaussian: Generalizable pixel-wise 3d gaussian splatting for real-time human novel view synthesis. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2024)
[^55]: Zheng, X., Wen, C., Su, Z., Xu, Z., Li, Z., Zhao, Y., Xue, Z.: Ohta: One-shot hand avatar via data-driven implicit priors. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 799–810 (2024)
56. Zhuang, Y., Lv, J., Wen, H., Shuai, Q., Zeng, A., Zhu, H., Chen, S., Yang, Y., Cao, X., Liu, W.: Idol：从单张图像快速生成照片级真实的3D人体模型。arXiv预印本arXiv:2412.14963（2024年），
### [^57]: Ziani, A., Fan, Z., Kocabas, M., Christen, S., Hilliges, O.: Tempclr: Reconstructing hands via time-coherent contrastive learning. In: 2022 International Conference on 3D Vision (3DV). pp. 627–636. IEEE (2022)
---
我们在附录中展示了真实场景视频结果（章节A）。为了进一步证明我们框架的鲁棒性与适用性，我们提供了使用基于检测器的边界框及其他手部姿态估计器的结果（章节B）。章节C中描述了进一步的实现细节与训练设置。最后，章节D提供了在H2O和ARCTIC数据集上的扩展定性结果。
### A 真实场景结果
为了验证Hand-4DGS的泛化能力，图S1展示了在HoloAssist [^43]数据集上对各种自然场景视频片段的推理结果。即便面对未见过的姿势和背景，该模型也能通过直接的前向推理生成合理的手部重建结果。针对每个序列，我们会执行100步的TTO迭代以减少颜色偏移现象，这一过程仅需几秒钟。
Fig. S1: In-The-Wild Inference Results. Each row shows an in-the-wild sequence, presenting the input frames and our inference results side by side. Despite diverse and unseen environments, Hand-4DGS produces stable and plausible hand reconstructions.
### B Hand-4DGS的鲁棒性分析
在本节中，我们评估了Hand-4DGS在训练设置变化下的鲁棒性。表S1研究了不同姿态估计器的影响，结果显示我们的框架在HaMeR [^31]和WiLoR [^34]之上均取得了稳定的性能提升，且在不同估计器下都能保持稳定的重建质量。表S2则考察了使用基于检测器的边界框（记为w/o GT bbox）进行训练的情况，这类边界框精度较低且存在不少误差情况。即便在这种噪声更高的环境下，Hand-4DGS仍能保持稳定的重建质量，性能下降幅度有限，充分体现了其对边界框质量变化的鲁棒性。
---
Table S1: Impact of Pose Estimator Choice on Hand-4DGS. Our framework achieves comparable visual quality across different hand estimators and consistently yields better pose accuracy, highlighting the robustness of our method.
| Model | MPJPE $\downarrow$ | RA-MPJPE $\downarrow$ | PSNR $\uparrow$ | SSIM $\uparrow$ |
| HaMeR [^31] | 37.82 | 15.61 | N/A | N/A |
| WiLoR [^34] | 33.86 | 14.80 | N/A | N/A |
| Hand-4DGS w/ HaMeR | 22.71 | 13.27 | 22.80 | 0.931 |
| Hand-4DGS w/ WiLoR | 19.18 | 12.15 | 22.31 | 0.929 |
Table S2: Comparison of Hand-4DGS under Different Bounding Boxes. Our framework remains stable even without ground-truth bounding boxes, as it can be trained directly with the detector-based bounding boxes adopted in HaMeR while showing only minor performance degradation.
| Model | MPJPE $\downarrow$ | RA-MPJPE $\downarrow$ | PSNR $\uparrow$ | SSIM $\uparrow$ |
| Hand-4DGS w/ GT bbox | 24.84 | 15.48 | 22.59 | 0.925 |
| Hand-4DGS w/o GT bbox | 25.68 | 15.94 | 21.14 | 0.918 |
## C 实验细节
### C.1 数据处理与特征提取
在特征提取环节，我们使用HaMeR中预训练的ViT模型。我们将给定边界框裁剪后的输入图像缩放至$256 \times 256$大小，以得到$N_t = 256$个标记。为提高效率，我们会预先存储并加载来自HaMeR的手部掩码、顶点$\mathcal{V}_{\text{pseudo}}$以及图像主干特征$z_t \in \mathbb{R}^{N_t \times D_t}$用于训练。平均而言，处理一段来自H2O数据集、分辨率为$1280 \times 720$的500帧视频序列仅需约1分钟。
### C.2 训练设置与模型架构
为了在不依赖真实3D标签的情况下公平比较3D手部重建效果，在我们的方法和基线模型中，均未对H2O和ARCTIC数据集上的预训练HaMeR模型进行微调。在H2O数据集上，Hand-4DGS以其原始分辨率$1280 \times 720$进行训练；而在ARCTIC数据集上，Hand-4DGS则在分辨率为$1400 \times 1000$的下采样图像上训练。只有当图像中双手足够清晰可见时，我们才会开展训练和评估工作。具体而言，若某个边界框超过一半区域位于图像之外，或者HaMeR未能正确检测出双手，这类样本会被排除在外。为了专注于动态区域的评估，我们计算裁剪后的真实图像与使用各手边界框生成的渲染结果之间的PSNR和SSIM值，再取平均值作为评估结果。此外，由于ARCTIC视频序列的开头和结尾部分看不到手部，因此每个视频序列的首尾各100帧也会被排除在外。
---
为了限制来自冻结图像骨干模型的宽泛令牌特征范围$z_t$，我们通过应用sigmoid($\cdot$)−0.5来经验性地调整提取的特征。我们为每只手使用独立的TC层和MLP来预测MANO参数、平移量和顶点嵌入。我们将TC层的输出通道数$D'$设为16。为了从局部裁剪的图像特征中预测全局平移量，我们将归一化的边界框坐标作为额外输入提供给$\mathrm{MLP}_{\mathrm{trans}}(\cdot)$。遵循3DGS的做法，我们与Hand-4DGS一同初始化并优化高斯尺度，最终尺度定义为优化后的尺度与由$\mathrm{MLP}_{\mathrm{scale}}$预测的尺度s之和。由于高斯尺度的取值范围较小，我们使用$\tanh$激活函数以防止残差尺度$s_{\mathrm{res}}$发散。最后，我们将MLP最后一层的权重和偏置初始化为零。
### C.3 训练与推理
对于HUGS而言，训练单个场景大约需要15分钟，而EVA则需要24分钟。需要注意的是，对于EVA，我们移除了现有的模板对齐过程，直接使用HaMeR的预测结果作为初始姿态。为了公平比较，Hand-4DGS（每视频）模型在单个场景上训练30K步，其中前20K步之后才加入图像监督。总训练时间约为15分钟。Hand-4DGS（通用）模型总共训练1.3M步，耗时约41小时。训练完成后，我们的通用模型能够直接以新场景视频为输入，立即生成合理的手部重建结果；从H2O视频中渲染约1K帧仅需18秒。此外，对每个测试场景进行500次迭代的可选测试时优化，在单张NVIDIA RTX 4090上耗时不到一分钟。
## D 额外的定性结果
图S6和图S7展示了来自H2O和ARCTIC数据集的各种序列上的额外定性结果。与需要为每个序列优化单独模型的基线和Hand-4DGS（每视频）不同，Hand-4DGS（通用）能够对未见过的测试序列执行前馈推理。我们的框架在所有测试案例中都能保持稳定的几何结构，且在几何与外观方面均比基线方法具有更高的保真度。
图S2、图S3和图S4提供了我们的消融研究与泛化分析的定性示例，由于篇幅限制，这些内容未在正文中呈现。
---
无TC层
有TC层（我们的方法）
真实值
逐高斯嵌入
顶点嵌入（我们的方法）
真实值
Fig. S2: Artifacts induced by Perframe Features. Without temporal-aware features, we observe severe degradation in hands.
Fig. S3: Comparisons on Different Embedding Design Choices. Vertex-based embedding with interpolation resolves DoF issues.
每视频
通用版（无TTO）
通用版（有TTO）
真实值
Fig. S4: Visual Effects of Different Hand-4DGS Training Settings. Scene-specific training (Per-Video) and unseen-video generalization perform similarly, demonstrating effective generalization. Optional test-time optimization (TTO) provides additional refinements, including reduced color shift.
真实顶点
Fig. S5: Comparison of Predicted Hand Vertices across Frames. We visualize the predicted hand vertices (blue) overlaid with ground truth vertices (red) for each method. Our method consistently predicts accurate hand poses that closely align with ground truth across frames, while baselines exhibit significant drift and misalignment, particularly under rapid hand motions.
---
HUGS
EVA
Hand-4DGS（每视频）
Hand-4DGS（通用）
真实值
Fig. S6: Additional Qualitative Comparison on the H2O Dataset. The baselines often struggle, particularly on the fast and complex motions of the right hand. In contrast, our model achieves hand reconstructions that closely follow the input images for both hands.
---
HUGS
EVA
Hand-4DGS（每视频）
Hand-4DGS（通用）
真实值
Fig. S7: Additional Qualitative Comparison on the ARCTIC Dataset. Unlike the baselines, which exhibit severe artifacts under fast, complex two-hand motions and heavy occlusions, our model produces clean and stable reconstructions.