{
  "paper_id": "c2991605f2f16b308797e4bfcb4990b4",
  "paper_title": "4D-HOF: HAND-OBJECT FLOW MATCHING FOR FEED-FORWARD 4D INTERACTION RECONSTRUCTION",
  "paper_authors": [
    "Shiqi Li",
    "Sean Cho",
    "Yijie Li",
    "Fengzhi Guo",
    "Bowen Wen",
    "Cheng Zhang"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "现有4D手物重建方法通常依赖成本高昂的逐序列优化，而生成式方法往往从随机噪声合成交互，容易导致不稳定的交互预测。本文提出4D-HOF，这是一种前馈框架，可利用视觉基础模型产生的粗略但信息丰富的估计来重建4D手物交互。具体而言，作者学习一个条件流匹配模型，将基础模型得到的手物状态传输到交互流形上，从而以前馈方式修正平移、旋转和对齐误差。该生成式建模的一个关键优势是可在传输过程中自然地引入测试时引导：无需在重建后进行单独的事后优化，而是直接利用物理交互约束和观测到的2D证据引导演化中的生成状态，使精修成为生成过程的一部分。通过在多样化数据集上训练，4D-HOF能够稳健泛化到具有挑战性的野外场景。在域外基准上的实验表明，4D-HOF达到了当前最优性能，可生成更稳定、更准确的4D手物重建结果。\n",
  "keywords": [
    "4D手物交互重建",
    "条件流匹配",
    "桥匹配",
    "视觉基础模型",
    "前馈重建",
    "测试时引导",
    "单目视频",
    "接触约束",
    "时间一致性"
  ],
  "paper_institutions": [
    "Texas A&M University",
    "NVIDIA"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:25:46.855085Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对单目视频中4D手物交互重建面临的严重遮挡、深度歧义、物体几何多样以及现有优化方法计算昂贵、随机噪声生成不稳定等问题，本文在梳理优化式、生成式和视觉基础模型相关研究的基础上提出4D-HOF：该方法以基础模型估计的手部MANO参数、物体网格与6-DoF位姿等粗略但包含实例信息的状态作为条件桥匹配的源分布，以物理合理的手物交互为目标分布，通过条件速度场将初始状态传输到交互流形，其核心机制可概括为L_hof = E[||vθ(s_t,t,m_o,β,I) - (s_1-s_t)/(1-t)||²]，其中Point Transformer V3编码手物点云空间关系，DINOv2提供图像证据，DiT执行时序推理；训练还结合3D位置损失、接触与穿透损失以及手部正则化损失，推理时通过s_t = s_t - ∇G(s_t)加入轮廓、交互和时间平滑引导。模型在HO-Cap、OakInk和SHOWMe上训练，排除所有评测基准，并通过合成扰动真值状态模拟不完美初始化，从而匹配真实推理条件并验证跨数据集泛化；评测采用HO3D-v3的18个序列和DexYCB的20个序列，指标覆盖MPJPE、Chamfer距离、F5/F10、手物相对Chamfer距离、穿透体积、接触准确率、轨迹抖动和成功率。结果显示，4D-HOF在HO3D-v3上取得CD_h 5.98、IV 13.44、CA 97.27%、MPJPE 4.40、物体CD 0.28、F5 89.11%和100%成功率，其中CD_h较次优方法改善62.2%；在DexYCB上取得MPJPE 6.84、CD 0.45、F5 83.62%、CD_h 48.85和100%成功率，同时精修阶段约1分钟、总耗时约24分钟，显著快于需数小时的优化式方法。这些结果支持了“信息丰富初始化+条件生成桥+测试时引导”在交互准确性、物理合理性、时间稳定性和效率上的综合优势；该方法可服务于机器人学习、扩展现实和人机交互，但当前限于单手与刚体交互，且对基础模型严重失效或分布外初始化敏感，未来可扩展到双手、铰接物体和可变形物体等场景。\n\n### 关键要点\n\n- 4D-HOF将视觉基础模型给出的粗略手物状态作为流匹配源分布，避免从随机噪声生成，并保留实例特定的几何与位姿线索。\n- 初始化阶段结合场景解析、MoGe-3深度与相机估计、WiLoR手部重建、多视图物体重建和增强FoundationPose位姿估计，以形成统一的4D初始状态。\n- 条件桥匹配模型联合精修手部、物体及其对齐关系，而不是只修正单一维度或在重建后再做独立优化。\n- 模型使用手物点云、DINOv2图像特征和多帧时序上下文，分别通过Point Transformer V3、视觉交叉注意力和DiT时序注意力注入空间、观测与动态信息。\n- 训练目标由桥匹配损失、3D位置损失、接触与穿透损失以及手部速度正则化项组成，用于提升几何精度、物理合理性并保持基础模型的手部估计。\n- 测试时引导包含轮廓对齐、接触/穿透约束和时间平滑三项，并在流匹配后期施加，以较小计算开销修正2D一致性、物理有效性和运动抖动。\n- 训练数据来自HO-Cap、OakInk和SHOWMe，评测序列被排除；作者通过扰动真值HOI状态模拟基础模型错误，并在所有测试集上使用相同权重检验泛化。\n- 在HO3D-v3上，4D-HOF的CD_h为5.98、CA为97.27%、F5为89.11%、SR为100%，交互指标显著优于HOLD、MagicHOI、AGILE和CHOIR。\n- 在DexYCB上，该方法在MPJPE、物体CD、F5/F10、CD_h和成功率上均表现优异，MPJPE为6.84，CD_h为48.85，成功率为100%。\n- 对约200帧序列，4D-HOF总耗时约24分钟，其中生成式精修约1分钟，而HOLD、MagicHOI和AGILE等方法通常需要数小时。\n- 消融表明多视图物体重建、时序建模、显式手物结构编码、双手物联合优化、3D监督和各项测试时引导均对最终性能有关键作用。\n- 方法的主要约束是依赖基础模型初始化质量，严重深度或点图伪影可能导致失败，且当前只处理单手与刚体交互。"
}