{
  "paper_id": "c56224ccf94cefa40ff7eabbfa52eb32",
  "paper_title": "GHOST: Fast Category-agnostic Hand-Object Interaction Reconstruction from RGB Videos using Gaussian Splatting",
  "paper_authors": [
    "Ahmed Tawfik Aboukhadra",
    "Jameel Malik",
    "Marcel Rogge",
    "Nadia Robertini",
    "Abdalla Arafa",
    "Ahmed Elhayek",
    "Didier Stricker"
  ],
  "publication_date": "",
  "publication_venue": "2026 IEEE/CVF Conference on Computer Vision and Pattern Recognition- FINDINGS Track (CVPRF)",
  "abstract": "理解单目RGB视频中的真实手物交互对AR/VR、机器人和具身AI至关重要。现有方法依赖类别特定模板或计算量很大，却仍会产生物理不一致的三维手物对齐。本文提出GHOST（Gaussian Hand-Object SplaTing），一个基于二维高斯泼溅、快速且类别无关的动态手物交互重建框架。GHOST将手和物体表示为密集、视角一致的高斯圆盘，并提出三项关键创新：用于补全被遮挡物体区域的几何先验检索与一致性损失、通过细化手部平移和物体尺度保证真实接触的抓取感知对齐，以及避免惩罚手部遮挡物体区域的手感知背景损失。GHOST可从单个RGB视频获得完整、物理一致且可动画的重建结果，同时比以往类别无关方法快一个数量级。在ARCTIC、HO3D和野外视频数据集上的大量实验表明，其在三维重建和二维渲染质量上达到先进水平，代码位于<https://github.com/ATAboukhadra/GHOST。>\n",
  "keywords": [
    "手物交互重建",
    "类别无关",
    "二维高斯泼溅",
    "单目RGB视频",
    "几何先验",
    "抓取感知对齐",
    "遮挡感知",
    "新视角渲染"
  ],
  "paper_institutions": [
    "RPTU",
    "DFKI-AV Kaiserslautern",
    "UPM Saudi Arabia",
    "NUST-SEECS Pakistan"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T03:43:58.181482Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对单目RGB视频中手物相互遮挡、物体拓扑多样和单目深度歧义导致尺度漂移、接触不真实的问题，GHOST在模板方法难以泛化到新物体、HOLD等NeRF类别无关方法每序列约需16小时、BIGS等高斯方法仍约需13小时且遮挡下接触失真的背景下，将手和物体统一表示为密集、视角一致的二维高斯圆盘，并通过预处理、手物对齐和高斯泼溅优化三阶段实现完整、可动画的双手-物体重建。预处理使用SAM2生成物体与手部掩码，用SfM估计相机内参、位姿和稀疏物体点云，并比较HLoc+COLMAP与VGGSfM；手部由RTMPose检测框和HaMeR初始化MANO参数，剔除与邻帧偏差过大的抖动帧后分别用线性插值和球面插值补全平移与旋转；物体几何先验从Objaverse中检索，由InternVL从采样帧生成文本描述，OpenShape的CLIP嵌入完成近邻搜索，再通过旋转、平移、尺度的仿射优化和掩码IoU选择最匹配先验。手物对齐阶段依据物体与手在xy平面的归一化运动方向余弦相似度检测抓取帧，阈值为0.5，并用接触Chamfer距离、二维关节重投影损失和时间平滑损失联合优化手部平移与物体尺度；物体高斯阶段先重建刚体，其核心机制是几何一致性损失$\\mathcal{L}_{geo}=\\lambda_{geo}(\\mathcal{L}_{out}+\\mathcal{L}_{fill})$，其中双向阈值距离既防止高斯中心远离先验表面，又推动填补遮挡造成的空洞，同时手感知背景损失合并手部和物体掩码，避免把被手覆盖的物体区域误删；手部高斯绑定在MANO网格面上，通过局部仿射变换$\\mathbf{M}_{f,t}=\\mathbf{B}_{f,t}^{d}\\mathbf{B}_{f}^{c^{-1}}$随网格变形，联合优化时仅训练尺度、不透明度和球谐颜色。实验选用ARCTIC的9个双手交互序列、受控且遮挡严重的HO3D序列，以及GoPro采集的Drill和Book两个野外序列，分别验证双手复杂操作、严重遮挡和跨数据集泛化能力；指标包括根对齐MPJPE、$CD_r$、$CD_l$、$CD_h$、$CD_{ICP}$、$F_{10mm}$、$F_{5mm}$、PSNR、SSIM、LPIPS，并在单张NVIDIA RTX A6000上以300帧ARCTIC序列统计运行时间。结果显示GHOST在ARCTIC上将$CD_h$降至18.40 $cm^2$，显著优于HOLD的114.73和BIGS的38.69，平均MPJPE为24.07 mm，PSNR达25.93、LPIPS低至0.02，运行时间约1小时，相对BIGS和HOLD分别实现约13倍和16倍加速，支持抓取感知对齐和遮挡感知重建的有效性；但其$CD_{ICP}$为2.26、低于BIGS的1.36，F分数也不占优，HO3D上PSNR为21.37，说明全局尺度接触优化与纯形状重建之间存在权衡。未来工作将扩展到可变形和关节物体，把几何先验直接集成进SfM，并研究立体或RGB-D流的实时推理；该技术适用于AR/VR、遥操作、机器人操作和野外动捕，但仍受单目歧义、每序列约1小时优化、几何先验质量以及VGGSfM主要在ARCTIC上收益明显等条件限制。\n\n### 关键要点\n\n- GHOST是一个类别无关的单目RGB视频手物交互重建框架，输出完整三维手物模型、真实接触关系和可从新视角渲染的高斯表示。\n- 预处理使用SAM2分割物体和手部，并通过SfM恢复相机内参、相对位姿与稀疏物体点云，论文同时比较了HLoc+COLMAP和VGGSfM两种方案。\n- 物体几何先验来自Objaverse：InternVL生成或人工给出文本描述，OpenShape的CLIP嵌入执行近邻检索，再依据渲染剪影与物体掩码的IoU选择并对齐先验。\n- 双手由RTMPose和HaMeR初始化为MANO网格，偏差超过阈值的不可靠帧会被删除，并通过平移线性插值、旋转球面插值恢复时间连续性。\n- 抓取检测比较手与物体在xy平面上的归一化运动方向，余弦相似度阈值设为0.5，以确定单手或双手抓取帧。\n- 手物对齐目标由接触Chamfer损失、手部二维关节重投影损失和时间平滑损失组成，权重分别为$10^3$、$10^{-1}$和10，用于优化手部平移和物体尺度。\n- 手感知背景损失合并手部掩码与物体掩码，使被手指遮挡的物体高斯不会被普通背景损失错误剪除。\n- 几何一致性损失包含$\\mathcal{L}_{out}$和$\\mathcal{L}_{fill}$，权重$\\lambda_{geo}=5$，分别约束高斯不偏离先验表面并填补先验表面上的大间隙。\n- 手部高斯绑定在MANO三角面上，依据规范姿态与变形姿态的局部基矩阵计算仿射变换，使高斯中心和旋转跟随手部网格运动。\n- 联合优化采用先物体、后手部的两阶段策略；手部阶段固定网格驱动的中心和旋转，仅优化尺度、不透明度、球谐颜色，并关闭剪枝与致密化。\n- 评估数据包括ARCTIC的9个双手序列、HO3D序列以及GoPro采集的Drill和Book野外序列，三维和二维指标遵循HOLD协议并使用PSNR、SSIM、LPIPS等标准。\n- GHOST在ARCTIC上取得18.40 $cm^2$的$CD_h$、25.93 PSNR和约1小时运行时间，但$CD_{ICP}$和F分数不及BIGS，且几何损失只在检索到高质量先验时使用。"
}