{
  "paper_id": "1cb1ba85698f32d16233f4d2af1b2d75",
  "paper_title": "Feed-Forward 3D Gaussian Splatting for 4D Hand Reconstruction from Egocentric Videos",
  "paper_authors": [
    "Jeongmin Bae",
    "Seoha Kim",
    "Marc Pollefeys",
    "Mahdi Rad",
    "Youngjung Uh",
    "Taein Kwon"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "Dynamic 3D hand reconstruction from egocentric videos is essential for next-generation computing platforms such as AR/VR and AI glasses. Despite its importance, most prior works focus either on multi-view 3D hand reconstruction or on 4D human body reconstruction. Egocentric 4D hand reconstruction remains challenging due to fast head motion, rapid hand dynamics, severe occlusions, and inherent ambiguity from single-view observations. To address these challenges, we introduce Hand-4DGS, the first feed-forward framework for reconstructing dynamic 4D hands directly from egocentric videos, enabling both fast (~60 FPS) inference and strong generalization. Our approach incorporates a mesh-guided representation for structural priors and temporal convolutions to model dynamic motion. We evaluate our framework on two challenging egocentric datasets, H2O and ARCTIC, and demonstrate significant improvements over baselines. Our method benefits from the generalization capability of feed-forward networks and effective 2D image supervision through Gaussian splatting, without requiring expensive 3D hand pose ground-truth annotations.",
  "keywords": [
    "Dynamic 3D Hand Reconstruction",
    "Feed-Forward Network",
    "Gaussian Splatting"
  ],
  "paper_institutions": [
    "Yonsei University",
    "Electronics and Telecommunications Research Institute",
    "ETH Zurich",
    "Microsoft Spatial AI Lab",
    "VGG, University of Oxford"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:26:12.870616Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n从自我中心（第一人称）视频中进行动态4D手部重建是AR/VR、AI眼镜、机器人操作与远程呈现等下一代计算平台的基础技术，但由于头部快速运动、手部剧烈动态、严重遮挡以及单视角观测的固有深度歧义性，该任务极具挑战性。以往研究多聚焦于多视角3D手部重建（需20至120个视角，限制可穿戴场景适用性）或4D人体重建；HUGS和EVA等单视角方法依赖现成姿态估计器且需逐视频优化，难以实时应用；现有前馈高斯方法则主要面向静态人体，无法建模手部动态。为此，本文提出Hand-4DGS——首个直接从自我中心视频重建动态4D手部的前馈3D高斯泼溅框架，其核心机制是网格引导表示：从图像特征预测MANO手部网格并将3D高斯锚定于顶点，同时为每个顶点预测嵌入 $e_i=\\mathrm{MLP_{emb}}(\\mathbf{f})$，在三角面内采样额外高斯并通过重心插值 $\\tilde{e}=\\mathrm{Interp}(e_i,e_j,e_k)$ 获得高分辨率嵌入以解码颜色与尺度，位置与旋转则由网格几何显式计算；此外引入时间卷积层聚合相邻帧特征以抑制时序抖。实验在H2O与ARCTIC两个具有挑战性的自我中心数据集上进行（前者包含手-物交互，后者包含快速双手操作，均提供MANO真值但仅用于评估），采用PSNR、SSIM评估重建保真度，MPJPE、RA-MPJPE和Acc Err评估姿态精度：Hand-4DGS在H2O上达到24.66 PSNR/0.939 SSIM（逐视频）与24.46 PSNR（泛化模型，500帧仅需8.69秒，约60 FPS），ARCTIC上达22.68 PSNR，均显著优于HUGS和EVA基线；姿态精度上泛化模型MPJPE为22.71mm，优于初始HaMeR估计的37.82mm，验证了2D图像监督可有效改进手部姿态。未来工作将扩展至复杂手-物交互建模。该方法适用于AR/VR与AI眼镜等现实场景，但需给定相机姿态，训练中依赖现成姿态估计器生成伪标签，且评估时排除双手不可见的帧。\n\n### 关键要点\n\n- Hand-4DGS是首个从单视角自我中心视频直接重建动态4D手部的前馈3D高斯泼溅框架，实现约60 FPS的快速推理，并对未见视频具备强泛化能力，推理时无需手部姿态估计器。\n- 网格引导表示利用MANO模板的结构先验：3D高斯锚定在预测网格顶点上，每个顶点通过轻量MLP预测条件嵌入，作为解码高斯颜色与尺度属性的潜在变量。\n- 为捕捉皮肤纹理与皱纹等细粒度外观细节，方法在每个三角面内均匀采样额外高斯，其嵌入通过三个顶点嵌入的重心插值获得，旋转由面法线经四元数显式计算以保证物理合理的几何对齐。\n- 时间卷积层将相邻帧的逐token特征沿时间轴进行1D卷积聚合，在降低特征维度的同时引入时序上下文，有效抑制逐帧独立特征导致的时序抖动，保持跨帧几何一致性。\n- 训练目标结合顶点监督（基于现成姿态估计器HaMeR的伪真值，权重在训练中逐步线性衰减至零）、图像监督（L1损失与D-SSIM）以及高斯尺度与不透明度正则化，总损失为各项加权和。\n- 实验在H2O（subject4/h1为测试集，其余序列训练）和ARCTIC（s01、s08、s09训练，s05/grab_五条序列测试）两个自我中心数据集上进行，MANO真值标注仅用于评估而非训练，验证了无需昂贵3D姿态标注的可行性。\n- 重建保真度方面，Hand-4DGS（逐视频）在H2O上达24.66 PSNR/0.939 SSIM、ARCTIC上达22.68 PSNR/0.933 SSIM，显著优于HUGS（22.49/18.27 PSNR）和EVA（23.56/18.41 PSNR）基线，基线在快速运动下出现几何塌陷与伪影。\n- 泛化模型在未见视频上处理500帧序列仅需8.69秒（基线需15-24分钟逐视频优化），且新视角合成质量达18.14 PSNR/0.844 SSIM优于所有基线，证明网格引导表示重建的是连贯3D几何而非过拟合训练视角。\n- 手部姿态估计上，泛化模型MPJPE为22.71mm、RA-MPJPE为13.27mm，优于HaMeR初始估计（37.82/15.61mm），而HUGS和EVA基线反而退化至约76mm，验证2D图像监督通过高斯泼溅渲染可有效改进姿态精度。\n- 消融实验表明：逐高斯独立预测嵌入（无插值）导致PSNR从24.89降至24.63、MPJPE从25.22升至26.09，验证顶点嵌入插值的设计；移除时间卷积层使Acc Err从3.08升至5.80、RA-MPJPE从14.23升至18.99，证明时序特征的重要性。\n- 方法在HoloAssist等野外视频上通过约100步测试时优化（数秒）即可产生合理重建，且对检测器边界框（无GT bbox时PSNR仅从22.59降至21.14）和不同姿态估计器（HaMeR/WiLoR）均保持鲁棒。\n- 约束条件：任务设定需给定相机姿态，训练依赖现成姿态估计器提供伪标签与手部掩码，评估时排除双手不可见或HaMeR检测失败的帧，且当前方法尚未建模手-物交互，泛化模型在未见视频上视觉质量略低于逐视频训练（22.59 vs 24.66 PSNR），需可选的测试时优化弥补。",
  "available_templates": [
    "deep_read",
    "simple"
  ]
}