{
  "paper_id": "bec393d064137b41f367b436e154647a",
  "paper_title": "Grasp in Gaussians: Fast Monocular Reconstruction of Dynamic Hand-Object Interactions",
  "paper_authors": [
    "AYCE IDIL AYTEKIN",
    "XU CHEN",
    "ZHENGYANG SHEN",
    "THABO BEELER",
    "HELGE RHODIN",
    "RISHABH DABRAL",
    "CHRISTIAN THEOBALT"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "我们提出 Grasp in Gaussians（GraG），这是一种从单目视频快速、鲁棒重建动态三维手物交互的方法。与近期优化重型神经表示的方法不同，GraG 在用预训练大模型完成初始化后，聚焦于高效跟踪手和物体。其关键洞见是：在强预训练物体与手先验下，借助从经典跟踪文献中复兴并与生成式高斯初始化结合的紧凑高斯和（Sum-of-Gaussians, SoG）表示，即可恢复准确且时间稳定的手物运动。物体位姿与几何由适配视频的 SAM3D 流程初始化，再通过子采样将稠密高斯表示转换为轻量 SoG；该表示在保持几何保真度的同时实现快速跟踪，预训练先验与简单几何、接触损失保障手物准确定位。手部则采用互补策略：从现成单目手部位姿初始化出发，使用二维关节、轮廓、深度和接触损失精修手部运动，无需逐帧精修详细三维手部外观模型即可保持稳定关节运动。在公开基准上的大量实验表明，GraG 可在长序列上重建时间连贯的手物交互，速度比先前工作快 4.4–38.9 倍，并保持时间连贯的手物运动。\n",
  "keywords": [
    "3D 重建",
    "手物交互"
  ],
  "paper_institutions": [
    "MPI for Informatics",
    "SIC & VIA Research Center",
    "Google",
    "Bielefeld University"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T03:43:44.379998Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文针对单目RGB视频中动态手物交互三维重建这一病态问题：严重相互遮挡、深度模糊以及长序列运行时需求，使依赖预扫描模板、有限类别训练或SfM初始化的方法难以适用于开放世界；HOLD与BIGS等视频方法虽可优化隐式曲面或高斯表示，却在100帧视频上常需约3–10小时。论文提出Grasp in Gaussians（GraG），采用“强先验初始化加无额外训练的轻量跟踪”范式：预处理用SAM3获取手物掩码、DepthAnything3估计相机内外参与点图、Dyn-HaMR初始化MANO手部轨迹、Gemini 3输出逐帧接触标志；第一阶段选择4个兼顾稳定性与多样性的关键帧，通过MV-SAM3D重建共享规范物体并解码为稠密三维高斯；第二阶段冻结规范形状、将形状速度置零，只估计逐帧旋转、平移与尺度，并在姿态潜空间施加核心时间约束 ṽP = vP − λtemp(XP_t − XP_{t−1})，以抑制抖动、朝向翻转和遮挡漂移；第三阶段把稠密高斯经最远点采样稀疏为至多2000个各向同性物体SoG，同时用物体掩码内四叉树颜色聚类构建图像SoG，以闭式高斯重叠作为区域对齐能量，并通过手部可见性门控剔除被遮挡高斯，再联合轮廓、中值深度、二维关节重投影、接触/穿透和平滑损失，在短窗口内只精修位姿与全局尺度。实验选用HO3Dv3的18个HOLD评估序列和HOT3D训练集中18段单手单物片段，鱼眼视频先去畸变，所有视频重采样为10fps，在单张RTX4090上以AdamW按8帧窗口、步长7、每窗口100次迭代优化，从而同时检验受控第三视角与快速运动、强遮挡的自我视角场景。指标包括物体Chamfer距离、F10、手部根相对MPJPE、手相对CDh、成功率和每百帧运行时间；GraG在HO3Dv3取得CD 0.51 cm、F10 97.2%、MPJPE 9.38 mm、成功率100%、运行时间0.27小时/百帧，在HOT3D取得CD 0.67 cm、F10 94.7%、CDh 9.37 cm、成功率100%，相较1.2–10.5小时/百帧的方法实现4.4–38.9倍加速，证明SAM3D/Dyn-HaMR先验与紧凑遮挡感知SoG跟踪共同提升了几何、手物相对位姿和长序列稳定性。消融进一步显示仅基础模型的CDh为20.62 cm、仅保留第三阶段先验为10.45 cm、完整模型为7.65 cm，接触损失对相对深度最关键，而增加高斯数量只会显著增加时间和显存却几乎没有指标收益。该方法可用于从人类演示重建目标6D轨迹并接入SimToolReal等机器人控制策略，也服务于AR和模仿学习，但真实部署受限于单手、单个刚体的范围，以及掩码、点图、光照、阴影、高光、弱纹理和各向同性投影在大视角变化、边界裁切时的误差；未来可探索更强物理约束、各向异性或混合SoG、开源视频VLM或密集接触预测、双手交互与可变形物体。\n\n### 关键要点\n\n- GraG的输入是单目RGB视频，输出逐帧手部与物体的三维几何及6D位姿，系统默认处理优势手操作单个刚体的场景。\n- 预处理使用SAM3生成手物掩码、DepthAnything3估计相机内外参与点图，并让Dyn-HaMR在同一相机坐标系中初始化MANO手部轨迹。\n- 第一阶段用DINOv2/DA3特征的平衡成本和多样性惩罚贪心选择4个关键帧，再由MV-SAM3D融合这些视角生成共享规范物体形状令牌。\n- 第二阶段将SAM3D的形状速度置零以冻结规范几何，只允许布局令牌变化，并通过 ṽP = vP − λtemp(XP_t − XP_{t−1}) 对平移和旋转潜变量做时间引导。\n- 第三阶段把SAM3D稠密高斯经最远点采样保留2000个并转为各向同性3D高斯，同时在物体掩码内用最大深度6的四叉树聚类构建图像SoG。\n- SoG对齐以颜色加权的闭式二维高斯重叠为核心，且用手部掩码生成可见性门控，使被手遮挡的物体高斯不参与匹配，避免跟踪漂移。\n- 跟踪目标还包括轮廓距离、手物中值深度与点图一致性、手部二维关节重投影、接触吸引与穿透惩罚，以及平移和旋转时间平滑项。\n- 实验在HO3Dv3的18个HOLD评估序列和HOT3D训练集的18个单手单物片段上进行，HOT3D鱼眼视频在测试前去畸变，所有视频统一重采样为10 fps。\n- 实现采用AdamW和滑动窗口：每窗口8帧、步长7、优化100次迭代，第三阶段只改变手物位姿及每条序列的全局物体和手部尺度，不改变形状。\n- 在HO3Dv3上，GraG的物体CD为0.51 cm、F10为97.2%、MPJPE为9.38 mm、成功率为100%，运行时间为0.27小时/百帧。\n- 在HOT3D上，GraG的CD为0.67 cm、F10为94.7%、CDh为9.37 cm、成功率为100%，而HOLD、BIGS和MagicHOI成功率仅约50%–56%。\n- 机器人演示中，GraG重建的短螺丝刀6D轨迹可转换为SimToolReal的目标位姿序列；但论文也指出错误物体跟踪可占SimToolReal失败案例的44%，且系统尚不能处理双手或可变形物体。"
}