{
  "paper_id": "5ca732697ed3797b345d48f8b87291ef",
  "paper_title": "ArtHOI: Taming Foundation Models for Monocular 4D Reconstruction of Hand-Articulated-Object Interactions",
  "paper_authors": [
    "Zikai Wang",
    "Zhilu Zhang",
    "Yiqing Wang",
    "Hui Li",
    "Wangmeng Zuo"
  ],
  "publication_date": "",
  "publication_venue": "CVPR 2026",
  "abstract": "现有手物交互方法大多局限于刚体物体，而铰接物体的4D重建通常需要预先扫描物体甚至多视角视频，因此从单目RGB视频重建手部与未知铰接物体交互仍是一个尚未解决且高度病态的问题。本文提出ArtHOI，一个基于优化并融合多种基础模型先验的框架。为解决基础模型预测不准和物理不一致问题，作者提出自适应采样细化方法ASR来估计物体的米制尺度与6-DoF姿态，并提出由多模态大语言模型引导的手物对齐方法，利用接触推理信息约束手物网格组合优化。论文同时构建ArtHOI-RGBD和ArtHOI-Wild两个数据集；大量实验表明，ArtHOI能够在多种物体和交互场景下鲁棒重建物理合理的4D手物交互。\n",
  "keywords": [
    "手部-铰接物体交互",
    "单目4D重建",
    "基础模型",
    "自适应采样细化",
    "多模态大语言模型",
    "接触推理",
    "无模板重建"
  ],
  "paper_institutions": [
    "Harbin Institute of Technology",
    "Shanghai Jiao Tong University"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:38:19.848999Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文解决从单目RGB视频重建手部操作未知铰接物体的4D交互问题；相关方法或依赖预定义物体模板、仅处理刚体，或要求预扫描 canonical 几何与多视角输入，在频繁遮挡和深度模糊下难以用于日常视频。作者提出基于优化的ArtHOI框架，协同校正分割、度量深度、图像到3D、6-DoF姿态、密集跟踪、手部重建和MLLM语义等异构先验。流程首先用SAM2、Video-Depth-Anything/UniDepthV2和DiffuEraser得到掩膜、深度、相机并擦除手部遮挡，再用HunYuan3D生成归一化物体网格；ASR根据腐蚀掩膜反投影深度并做SOR滤波，以x/y方向尺度比获得粗尺度，随后在自适应范围内采样候选尺度、调用FoundationPose并以渲染轮廓IoU选择最佳米制尺度和姿态；部件阶段用PartField分割网格、CoTrackerV3生成可见点轨迹，并优化各部件逐帧SE(3)变换；手部由WiLoR重建，MLLM通过视角判断、左右手映射和逐帧接触推理得到接触状态与手指，最终先优化物体尺度再固定尺度细化手部姿态。其核心对齐机制可写为 \\(\\mathcal{L}_{\\mathrm{hoi}}=\\sum_{i\\in\\mathbb C}\\sum_{\\mathbf v_t\\in\\mathbb T_i}\\min_{\\mathbf v_o\\in\\mathcal G_i^o}\\|\\mathbf v_o-\\mathbf v_t\\|_2+\\lambda_{\\mathrm{acc}}\\|\\Delta^2\\mathbf T^h\\|_2+\\lambda_\\theta\\sum_i\\|\\theta_i^h-\\theta_i^{h,init}\\|_1\\)，即用接触指尖到物体网格最近点距离、手部运动加速度和初始姿态偏差共同约束物理贴合。实验使用5个RealSense采集的ArtHOI-RGBD序列、8个互联网/手机ArtHOI-Wild片段、9个RSRD视频和ARCTIC三物体子集，分别验证受控度量场景、无扫描野外场景、与需预扫描方法的对比以及复杂双手操作；作者还标注部件运动和接触状态，并为GT网格采集环绕扫描。系统在NVIDIA A6000上处理100帧、960×540视频约需1小时，ASR运行20轮，部件运动和HOI对齐分别使用Adam优化。评价指标包括CD、MSSD、F5/F10、轮廓IoU、成功率、Co²碰撞-接触分数、接触准确率和误报率。ArtHOI-RGBD上取得3.334–8.124 mm的CD和69.68%–96.01%的F10，且在全部五个序列上误差最低；在RSRD上无需预扫描即可达到可比结果，并能处理RSRD因缺少环绕扫描而失败的ARCTIC和野外视频；ASR在三个数据集上均达到100%成功率，IoU为0.876–0.905；完整MLLM对齐将Co²降至0.029、0.022和0.039，显著优于不对齐和无MLLM方案，完整提示策略在RSRD和ArtHOI-Wild上分别达到88.58%和86.56%接触准确率。该方法适用于行为分析、机器人操作和增强现实，但仍依赖基础模型先验质量，受严重遮挡、噪声深度、近邻接触误判和离线计算成本约束；后续可通过工程加速、增强遮挡鲁棒性和扩展更复杂双手/物体类别进一步探索。\n\n### 关键要点\n\n- ArtHOI仅输入单目RGB视频，不需要预定义物体模板、多视角扫描或预扫描初始化，即可输出手部和铰接物体的4D网格交互。\n- 预处理阶段使用视频分割、度量深度估计、相机恢复和视频修复模型，擦除手部遮挡后为HunYuan3D生成完整物体网格提供物体-only画面。\n- ASR先由反投影度量深度计算粗尺度，再自适应采样候选尺度并调用FoundationPose，通过渲染轮廓与物体掩膜的IoU选择最终尺度和6-DoF姿态。\n- 部件运动重建用PartField划分canonical网格，用CoTrackerV3跟踪部件点并结合可见性反投影到3D，再以轨迹一致性和二阶时间平滑约束优化逐部件SE(3)变换。\n- 手部网格由WiLoR以MANO参数重建，遮挡造成的缺失姿态和全局变换通过球面线性插值SLERP进行时间填补和平滑。\n- Qwen-VL-Max按视角检测、左右手映射、逐帧接触推理三阶段工作，实际拼接3帧相邻RGB及其彩色深度图，并输出左右手接触状态和接触手指。\n- HOI对齐分两阶段执行：先仅优化物体尺度以匹配可靠的手部米制尺度，再固定物体尺度并联合细化手部关节姿态与全局变换。\n- 新数据包括5个1280×720、30 FPS的RealSense RGBD序列和8个野外片段；实验还使用9个RSRD视频及ARCTIC三物体子集，并标注部件运动和手物接触。\n- 在ArtHOI-RGBD上，ArtHOI的CD为3.334–8.124 mm、F10为69.68%–96.01%，五个物体上均优于EasyHOI和RSRD。\n- ASR在ArtHOI-RGBD、RSRD和ArtHOI-Wild上均取得100%优化成功率，IoU分别为0.905、0.876和0.882，高于FoundationPose和Any6D。\n- 完整MLLM对齐在三个数据集上的Co²分数分别为0.029、0.022和0.039，低于不对齐、RSRD加WiLoR以及掩膜交并启发式方案。\n- 方法的主要约束是性能受基础模型深度、分割、跟踪和MLLM推理误差影响，并且约1小时的离线流程尚需加速才能满足低延迟应用。"
}