{ "paper_id": "4daeab63ce414bb03fabf6d09c81ae8f", "paper_title": "AGILE: Hand-object Interaction Reconstruction from Video via Agentic Generation", "paper_authors": [ "Jin-Chuan Shi", "Binhong Ye", "Tao Liu", "Xiaoyang Liu", "Yangjinhui Xu", "Junzhe He", "Zeju Li", "Hao Chen", "Chunhua Shen" ], "publication_date": "July 19–23, 2026", "publication_venue": "SIGGRAPH Conference Papers '26 (Special Interest Group on Computer Graphics and Interactive Techniques Conference), Los Angeles, CA, USA", "abstract": "从单目视频重建动态手物交互对于灵巧操作数据采集以及为机器人和VR创建真实数字孪生至关重要。然而，当前方法面临两大难以逾越的障碍：（1）依赖神经渲染的方法在严重遮挡下常产生碎片化、非仿真可用的几何体；（2）依赖脆弱的运动恢复结构（SfM）初始化导致在野外视频上频繁失败。为克服这些限制，我们提出AGILE，一个将范式从重建转向智能体生成的鲁棒交互学习框架。首先，我们采用智能体管线，由视觉语言模型（VLM）引导生成模型合成完整、水密且具有高保真纹理的物体网格，独立于视频遮挡。其次，完全绕过脆弱的SfM，我们提出鲁棒的锚定-跟踪策略：利用基础模型在单个交互起始帧初始化物体位姿，并利用生成资产与视频观测间的强视觉相似性进行时序传播。最后，接触感知优化整合语义、几何与交互稳定性约束以强制物理合理性。在HO3D、DexYCB、ARCTIC及野外视频上的大量实验表明，AGILE在全球几何精度上优于基线方法，并在先前方法频繁崩溃的挑战性序列上展现出卓越鲁棒性。通过优先考虑物理有效性，我们的方法产生经真实到仿真重定向验证的仿真可用资产，适用于机器人应用。", "keywords": [ "手物交互重建", "智能体生成", "视觉语言模型（VLM）", "单目视频重建", "水密网格生成", "6D位姿估计与跟踪", "接触感知优化", "仿真就绪数字孪生", "Real-to-Sim重定向", "Reconstruction", "Mesh geometry models" ], "paper_institutions": [ "Zhejiang University", "Zhejiang University of Technology" ], "output_language": "zh", "provider": "doubao", "model": "glm-5.3", "prompt_template": "simple", "extracted_at": "2026-09-17T09:37:19.535628Z", "template_tag": "simple", "summary": "### 摘要\n\n从单目视频重建动态手物交互（HOI）是计算机视觉与图形学的关键难题，其目标是为机器人模仿学习和物理仿真生成几何显式且物理合理的高保真数字孪生，但现有方法存在两大根本障碍：依赖NeRF或3D高斯泼溅等神经渲染的方法（如HOLD、BIGS）在严重手部遮挡下产生碎片化、非水密几何，而依赖COLMAP等脆弱SfM初始化的方法（包括利用扩散先验但网格过度平滑的MagicHOI）在无纹理、快速运动的野外视频上频繁崩溃。为此，本文提出AGILE框架，将范式从重建转向智能体生成：VLM智能体从视频中选择信息丰富的关键帧引导多视图合成，并通过拒绝采样严格过滤生成视图的几何、纹理与材质一致性，经3D提升、自动重拓扑与纹理精化产出水密高保真网格；随后采用无SfM的锚定-跟踪策略，利用WiLoR与约束ICP初始化手部度量位姿与尺度，仅在交互起始帧（IOF）以FoundationPose锚定物体位姿并双向时序传播；最终通过接触感知优化整合语义、几何与交互稳定性约束，其核心目标函数为 L_obj = λ_mask·L_mask + λ_dino·L_dino + λ_interact·L_interact，其中基于物体SDF软门控权重 w_i = 1 − tanh(σ·d_i) 的交互稳定性损失将手部顶点锁定于抓取区域以防止穿透与滑动。实验在DexYCB（20条轨迹）、HO3D-v3（18条序列）、ARCTIC刚性物体子集及野外数据集上展开——这些基准分别验证单手精度、严重遮挡鲁棒性、双手泛化与任意场景适应性——采用MPJPE、倒角距离（CD）、F@5mm/F@10mm、手相对倒角距离（CD_h）与成功率（SR）指标，结果显示AGILE在DexYCB上CD达0.52 cm²（较MagicHOI降低约75%）、MPJPE为19.06 mm、SR为100%（基线失败率高达75%），在HO3D-v3上CD为0.27 cm²、MPJPE为3.92 mm，ARCTIC上双手MPJPE分别为25.0/23.8 mm，全面验证智能体生成与锚定-跟踪设计的有效性；消融实验进一步确认移除智能体多视图生成会使CD从0.27升至2.85 cm²、移除交互损失会使CD_h从15.81飙升至54.40。重建资产经Real-to-Sim重定向导入Isaac Gym并映射至Shadow灵巧手，验证了仿真可用性。未来方向包括扩展至铰接与可变形物体、利用VLM作为可重建性预过滤器与多锚点检测器；实际应用面向机器人操作数据规模化采集与VR，但受底层基础模型限制，透明或高反射物体可能引起尺度漂移，静态相机假设仅约束IOF检测而不影响核心跟踪。\n\n### 关键要点\n\n- **范式创新**：AGILE提出首个将VLM引导质量评估与生成模型集成的智能体HOI管线，从单目视频合成独立于遮挡的高保真水密网格，实现从重建到智能体生成的范式转变。\n- **VLM引导多视图合成**：VLM智能体从输入视频选择1–4个信息丰富的关键帧以最大化视角覆盖，引导图像生成模型合成正交视图，并通过基于几何、纹理与材质一致性的拒绝采样丢弃并重新生成低于阈值的候选。\n- **纹理精化闭环**：3D提升后的网格经自动重拓扑与UV展开优化仿真拓扑，再由VLM监督的图像到图像编辑恢复高频细节，因为FoundationPose位姿初始化与DINO语义损失均依赖清晰的表面特征。\n- **无SfM锚定-跟踪初始化**：利用MoGe-2估计相机内参与度量深度、SAM2生成分割掩码，WiLoR预测MANO参数后以约束ICP恢复手部尺度、以PnP求解平移；物体尺度经跨帧ICP估计，位姿仅在交互起始帧（IOF）由FoundationPose锚定。\n- **两步在线优化**：每帧先固定手部旋转与尺度、仅以关节重投影损失 L_joint 优化平移作为稳定锚点，再以复合目标 L_obj = λ_mask·L_mask + λ_dino·L_dino + λ_interact·L_interact 优化物体刚体位姿，其中DINOv3语义损失通过采样可见点的3D-to-2D对应缓解遮挡歧义。\n- **交互稳定性机制**：将手部顶点经物体位姿逆变换映射至物体规范坐标系，基于物体SDF距离的软门控权重 w_i = 1 − tanh(σ·d_i) 仅对邻近表面的抓取顶点施加帧间位移惩罚，防止视觉特征模糊时的滑动与抖动。\n- **数据集与设置**：定量评估覆盖DexYCB（20条多样轨迹）、HO3D-v3（18条序列，遵循HOLD协议）、ARCTIC刚性物体子集（双手交互）及整合先前工作与自采集片段的野外数据集，基线为HOLD与MagicHOI。\n- **几何精度结果**：DexYCB上AGILE的CD为0.52 cm²、F@5mm为83.21%、MPJPE为19.06 mm，较MagicHOI（CD 2.05 cm²）误差降低近75%；HO3D-v3上CD为0.27 cm²、F@5mm为86.63%、MPJPE为3.92 mm。\n- **鲁棒性与幸存者偏差**：AGILE在DexYCB与HO3D-v3上均达100%成功率，而MagicHOI失败75%、HOLD失败55%，且基线指标仅在成功子集上平均（幸存者偏差），AGILE即便在含最难遮挡样本的全集上平均仍更准确。\n- **交互质量与消融**：DexYCB上CD_h为94.60 cm²，远低于MagicHOI的661.90 cm²；HO3D消融显示移除智能体多视图生成使CD从0.27升至2.85 cm²，移除L_interact使CD_h从15.81升至54.40，移除纹理精化亦显著推高交互误差。\n- **Real-to-Sim应用**：重建序列导入Isaac Gym，经运动学优化映射至Shadow多指灵巧手，生成的水密网格无需人工清理即可加载，重定向抓取忠实跟随恢复的手物配置，验证相对位姿与接触状态的准确性。\n- **局限与约束**：框架继承深度估计、分割与多视图生成基础模型的局限，透明或高反射物体可能引起尺度漂移或局部跟踪误差；静态相机假设仅用于IOF检测，核心跟踪在相机运动下仍有效；Real-to-Sim演示聚焦运动学可视化而非完整物理rollout。" }