{
  "paper_id": "223abef803e6683c86d36b54c62da588",
  "paper_title": "Interaction-Aware 4D Gaussian Splatting for Dynamic Hand-Object Interaction Reconstruction",
  "paper_authors": [
    "Hao Tian",
    "Chenyangguang Zhang",
    "Rui Liu",
    "Wen Shen",
    "Xiaolin Qin"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "本文研究在无任何物体先验的条件下同时建模手物交互场景几何与外观的问题。针对基于动态3D高斯溅射的方法在相互遮挡、边缘模糊和复杂运动中的不足，提出交互感知手物高斯，通过新增可优化权重与半径并采用分段线性假设来获得更清晰的结构表示；同时利用交互过程中手形与物形的互补和紧耦合关系，将手部信息注入物体变形场，构建交互感知动态场。为稳定优化，论文提出逐步处理动态区域和静态背景的渐进式策略，并设计显式正则化以保证运动过渡平滑、物理交互真实和光照一致。在HOI4D与HO3D上的实验表明，该方法优于现有动态3D-GS方法，在动态手物交互重建中达到先进性能。\n",
  "keywords": [
    "4D高斯溅射",
    "手物交互",
    "动态场景重建",
    "交互感知",
    "无物体先验",
    "变形场",
    "渐进式优化",
    "新视角合成"
  ],
  "paper_institutions": [
    "Chengdu Institute of Computer Applications, Chinese Academy of Sciences, Chengdu, China",
    "PetroChina (Beijing) Digital Intelligence Research Institute Co., Ltd., Beijing, China",
    "Tsinghua University, Beijing, China",
    "Minzu University of China, Beijing, China",
    "University of Chinese Academy of Sciences, Beijing, China"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:36:15.594216Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n面向VR、机器人遥操作等场景对高精度手物交互捕获的需求，本文解决无物体形状、类别、模板或位姿先验时，从单目第一视角RGB视频同时重建手部、物体与背景几何及外观的难题；已有方法或依赖昂贵物体先验，或SDF/NeRF只重几何、训练渲染慢，动态3D-GS又多用单一变形场，在紧密接触、相互遮挡、边缘模糊、快速非规则旋转下产生高斯重叠、纹理漂移和表面非物理融合。为此，作者将场景解耦为手部场F_H、物体场F_O和背景场F_BG，提出交互感知手物高斯G_HO，在传统高斯参数外新增可学习权重w与半径o，其中w经sigmoid表征结构重要性、遮挡与接触权重，o控制RBF局部作用半径和轮廓锐度；物体场在时间之外接收接触前关键帧手部与物体位置拼接，使物体变形能响应抓握，背景则保持低频稳定。其核心分段线性/LBS式细化机制为：先由w_ik^spatial=exp(-d_ik^2/(2o_i^2))计算K近邻空间权重，归一化后乘以σ(w_i)得到ŵ_i^k，再以ρ_i^t=Σ_k ŵ_i^k[ΔR_k^t(x_i−x_k^t)+T_k^t]把规范高斯变形到时刻t。优化上仅用现成手部跟踪器给出的MANO顶点和关节粗引导，开销低于总运行时3%，配合手部Chamfer平移损失、手部主导旋转经SVD平均引导的物体SO(3)旋转损失、双向手物Chamfer交互损失及穿透、动量和2D损失，并按初始化、预热、HOI细化、背景预优化、协同重建五阶段渐进训练。实验选择HOI4D中2个纯平移和2个平移旋转场景、HO3D相机4的4个平移旋转序列，前者用于可控类别级交互和掩码、姿态标注，后者验证真实拾取、旋转及含噪标注下的第一视角重建；采用隔帧测试考察新交互外推，并报告全帧与仅手物区域评估，所有模型在单张RTX 3090上用Adam训练21000次约1小时20分。以PSNR、SSIM、LPIPS衡量，HOI4D平移场景达30.32/0.93/0.29、平移旋转达24.16/0.86/0.37，全帧评估平移PSNR升至33.03；HO3D全场景达25.19/0.89/0.15，仅手物区域达28.16/0.95/0.07，整体优于4DGS、Deform3DGS、SC-GS、HOLD和BIGS等，支持交互感知高斯、手引导物体场与渐进正则化的有效性；消融显示去除HOI细化或各项损失均降低指标，且初始物体点加入σ=0.01、0.05噪声后PSNR仅约降0.16和0.24 dB。该方法适用于刚性物体的第一视角手物操作重建和新视角合成，主要约束是仍依赖粗手部跟踪、分阶段流程较繁琐，并在极快运动或复杂轨迹时可能失效，未来可通过统一优化器、引入更多交互先验以及增强极端运动建模来改进。\n\n### 关键要点\n\n- 方法的任务设定是从单目第一视角RGB视频重建任意时刻的完整手物交互场景，不使用物体形状、类别、模板、3D包围盒或物体位姿先验。\n- 场景被显式解耦为手部、物体和背景三类高斯及对应隐式场，手物场负责高频变形和遮挡，背景场负责低频稳定表达。\n- 交互感知高斯在传统3D高斯参数外增加w和o：w表示结构重要性、遮挡或接触程度，o控制局部影响半径，较小半径有助于形成更清晰边缘。\n- 物体变形场同时接收关键帧手部位置、物体位置和时间编码，从而把抓握等手部作用引入物体运动，而非用单一全局场预测所有高斯偏移。\n- 显式3D正则化包括手部高斯到MANO顶点的Chamfer平移约束、由手部主导旋转引导的物体旋转约束，以及手物高斯之间的双向Chamfer交互约束。\n- 渐进式优化分为初始化、预热、HOI细化、背景优化和协同重建五个阶段，物体高斯从扩展MANO包围盒内随机采样，背景从SfM稀疏点初始化。\n- HOI细化使用K近邻RBF权重和局部刚体重变换，通过归一化空间权重与全局重要性权重的乘积实现分段线性变形。\n- HOI4D评估包含2个纯平移场景和2个平移旋转场景，HO3D使用相机4的4个平移旋转序列，并通过隔帧测试评估对未见交互的外推能力。\n- 在HOI4D上，该方法平移场景取得30.32 PSNR、0.93 SSIM和0.29 LPIPS，平移旋转场景取得24.16 PSNR，显著缓解遮挡伪影和接触边界模糊。\n- 在HO3D全场景评估中，该方法取得25.19 PSNR、0.89 SSIM和0.15 LPIPS；仅评估手物区域时达到28.16 PSNR、0.95 SSIM和0.07 LPIPS。\n- 消融实验表明，移除交互感知模块、HOI细化或手物相关损失都会降低渲染质量；初始物体位置加入σ=0.01和0.05的高斯噪声后，性能仍接近无噪声模型。\n- 方法的适用约束主要是刚性手物场景和粗手部跟踪引导，对于极快运动、复杂轨迹以及完全统一的端到端优化仍需进一步研究。"
}