{
  "paper_id": "5331b78f9437d20dd561f5c8a35e5295",
  "paper_title": "High-Fidelity 4D Hand-Object Capture via Multi-View Spatiotemporal Tracking and Physics-Aware Gaussians",
  "paper_authors": [
    "Bo Peng",
    "Xu Chen",
    "Yi Gu",
    "Hidenobu Matsuki",
    "Mingsong Dou",
    "Jingjing Shen",
    "Deying Kong",
    "Juyong Zhang",
    "Zhengyang Shen"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "针对具身智能和空间计算对高保真4D手物交互数据日益增长的需求，现有采集流程通常依赖预扫描物体模板、物理标记或人工关键点，且多数视频重建方法对手部与物体初始姿态高度敏感，在交互中固有的严重遮挡下容易陷入局部最优或发散。本文提出一种无需模板和标记的鲁棒系统，从同步、标定的多视角视频中重建双手与未知物体。系统包含两个核心部分：多视角前馈Transformer模型HOST通过聚合跨视角几何与时序线索，生成度量一致的姿态和稠密物体几何初始化；物理感知高斯优化框架HOPG结合四面体约束、碰撞优化和外观分解，将初始结果细化为物理合理、视觉准确的4D重建。在公开基准和大规模内部数据上的实验表明，该方法在姿态跟踪、动态新视角合成和稠密几何恢复方面均具有优势，并可支持自动化4D资产生成。\n",
  "keywords": [
    "4D重建",
    "手物交互",
    "高斯泼溅",
    "时空先验",
    "数字资产"
  ],
  "paper_institutions": [
    "Google XR",
    "University of Science and Technology of China (USTC)",
    "The Hong Kong University of Science and Technology (Guangzhou)"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:31:07.669341Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文解决高保真4D手物交互采集依赖预扫描模板、物理标记以及视频优化对初始姿态高度敏感的问题；相关单目跟踪方法受深度歧义和动态遮挡影响，静态多视角融合又难以保证时序一致，而基于NeRF或3D高斯的方法常在初始化漂移、近距离交互时发生体积塌陷、穿透和光照烘焙。作者提出由HOST与HOPG组成的两阶段系统，输入同步标定多视角RGB视频和相机参数，典型采集环境为21台30 fps的360度相机；HOST基于VGGT和冻结DINOv2，使用相机射线嵌入、时间令牌及分解时空注意力，其核心机制为T′k = A_view(A_frame(Tk))与Tk+1 = A_temporal(A_frame(T′k))，将全局O((VFN)^2)注意力分解为帧内、跨视角和跨帧计算，从而联合输出分割、深度、点图、手部参数和物体姿态，并以绝对质心平移加相对旋转表示物体状态，再通过PGO和ICP抑制长序列漂移。HOPG则用手部、物体和背景三组独立2D高斯进行联合优化，手部高斯锚定在四面体体积代理上，由MLP预测姿态相关四面体位移并施加3D ARAP约束，同时使用光线追踪碰撞损失消除自穿透和手物穿透，外观模型将反照率、漫反射着色和镜面高光解耦，避免环境光照被烘焙到几何中。训练数据包括VEPHand的1600个多视角序列、用Texverse中500个纹理物体在Blender中渲染的随机6D轨迹合成数据，以及47个日常物体的自定义采集；合成数据用于提升未知物体旋转泛化，HOPG精炼结果作为伪标签回灌HOST以缩小真实域差距。实验在InterHand2.6M、VEPHand和自定义数据上开展，采用PSNR、SSIM、LPIPS和单向表面精度评估；HOPG在InterHand2.6M上达到35.07 dB PSNR，完整流程在自定义数据上达到30.86 dB PSNR，较4DGS和Deformable 3DGS提升超过4.5 dB，VEPHand上HOST初始化误差为3.07 mm，完整流程降至2.35 mm，优于5.81 mm和5.30 mm的对比基线，77个序列、32个物体的规模化处理中成功72个，成功率约93.5%，且4视角时仍保持约27.89 dB PSNR。这些结果支持分解时空注意力可提供可靠度量初始化、四面体ARAP与碰撞约束可保持体积和接触合理性、外观解耦可生成干净法线和可重光照资产；系统适用于具身智能、空间计算和大规模4D数字资产生产，但当前要求同步标定多视角装置并假设物体刚性，对笔、硬币、胶带等细小、薄、对称或弱纹理物体，以及极端运动模糊和长时间交叉手遮挡仍可能失败，未来可引入非刚性变形场、扩展训练语料并走向未标定野外采集。\n\n### 关键要点\n\n- HOST将多视角视频帧、相机内外参和相对帧标识作为输入，回归左右手与物体的分割、深度、点图、手部参数和物体6D姿态。\n- 分解时空注意力交替执行帧内注意、跨视角注意和跨时间注意，在保留4D上下文的同时显著降低全局注意力的二次复杂度。\n- 物体采用绝对质心平移与相对旋转的非对称表示，绝对平移锚定空间轨迹，PGO融合分块预测，ICP再利用稠密几何修正残余旋转漂移。\n- HOPG分别建模手部、刚性物体和静态背景的2D高斯，物体高斯由HOST融合的规范点云初始化，并与逐帧刚性变换联合优化。\n- 手部使用四面体体积代理，轻量MLP根据姿态预测四面体顶点位移，再通过重心映射更新表面并执行LBS，以表现解剖厚度和非刚性变形。\n- 3D ARAP能量约束四面体体积，离线碰撞优化通过点在网格内检测和沿法线推出穿透顶点，解决自碰撞和手物碰撞。\n- 外观模型将视角无关反照率、随旋转对齐环境光的漫反射项和独立MLP预测的镜面残差分离，减少闪烁、纹理烘焙和虚假几何凸起。\n- HOST训练混合使用VEPHand、500个Texverse物体的Blender合成序列以及HOPG生成的真实伪标签，兼顾运动多样性、物体几何多样性和真实域适配。\n- 新视角合成中，完整方法在自定义数据上达到30.86 dB PSNR、0.968 SSIM和0.0370 LPIPS，明显优于通用动态高斯基线。\n- VEPHand几何评估中，HOST表面误差为3.07 mm且每帧推理约2秒，HOPG完整流程进一步优化到2.35 mm。\n- 规模化采集验证覆盖77个交互序列和32个独特物体，系统自动成功72个序列，主要失败情形包括薄结构、对称弱纹理表面、严重模糊和长时间遮挡。"
}