{
  "paper_id": "3f29dbc8de94c29293371705b3a488e7",
  "paper_title": "ForeHOI: Feed-forward 3D Object Reconstruction from Daily Hand-Object Interaction Videos",
  "paper_authors": [
    "Yuantao Chen",
    "Jiahao Chang",
    "Chongjie Ye",
    "Chaoran Zhang",
    "Zhaojie Fang",
    "Chenghong Li",
    "Xiaoguang Han"
  ],
  "publication_date": "2025",
  "publication_venue": "unknown",
  "abstract": "The ubiquity of monocular videos capturing daily hand-object interactions presents a valuable resource for embodied intelligence. While 3D hand reconstruction from in-the-wild videos has seen significant progress, reconstructing the involved objects remains challenging due to severe occlusions and the complex, coupled motion of the camera, hands, and object. In this paper, we introduce ForeHOI, a novel feed-forward model that directly reconstructs 3D object geometry from monocular hand-object interaction videos within one minute of inference time, eliminating the need for any pre-processing steps. Our key insight is that, the joint prediction of 2D mask inpainting and 3D shape completion in a feed-forward framework can effectively address the problem of severe occlusion in monocular hand-held object videos, thereby achieving results that outperform the performance of optimization-based methods. The information exchanges between the 2D and 3D shape completion boosts the overall reconstruction quality, enabling the framework to effectively handle severe hand-object occlusion. Furthermore, to support the training of our model, we contribute the first large-scale, high-fidelity synthetic dataset of hand-object interactions with comprehensive annotations. Extensive experiments demonstrate that ForeHOI achieves state-of-the-art performance in object reconstruction, significantly outperforming previous methods with around a 100x speedup.",
  "keywords": [
    "手-物交互",
    "3D物体重建",
    "前馈重建",
    "扩散模型",
    "2D掩码修复",
    "3D形状补全",
    "合成数据集",
    "单目视频"
  ],
  "paper_institutions": [
    "School of Science and Engineering, The Chinese University of Hong Kong, Shenzhen",
    "FNii-Shenzhen",
    "Guangdong Provincial Key Laboratory of Future Networks of Intelligence",
    "SDS, CUHKSZ"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:27:01.069806Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n日常单目手-物交互视频的普及为具身智能提供了宝贵资源，但从此类视频重建被握物体的3D几何仍面临严重遮挡以及相机、手与物体复杂耦合运动的挑战。以往方法中，EasyHOI仅利用单帧输入且无法利用视频时序信息，MagicHOI等基于优化的方法流程复杂、误差逐阶段累积且耗时数小时，而直接借助VGGT等基础模型在严重遮挡场景下初始重建质量不佳。本文提出ForeHOI，首个前馈式模型，可在约一分钟内直接从单目手-物交互视频重建物体3D几何，无需任何预处理。其核心洞察是在前馈框架中联合预测2D掩码修复与3D形状补全：通过扩散Transformer（DiT）中的双向交叉注意力机制，几何分支与掩码分支逐层交换信息、相互精化，从而有效应对严重的手-物遮挡；同时将WiLoR手部先验特征与DINOv2图像patch特征逐patch聚合，为模型提供确定性的手部形状与位置理解。为支撑训练，作者基于GraspXL抓取合成、Objaverse物体与MANO参数化手模型（附加HTML参数化手部纹理），用Blender渲染构建了首个大规模高保真合成HOI数据集（40万条多视角视频，含手/物体掩码、手/物体姿态与深度图等全面标注），之所以自建数据集是因为现有最大真实数据集仅含417个物体、最大合成数据集仅2772个物体，规模远不足以建模复杂物体形状。模型基于TRELLIS架构以LoRA微调，采用条件流匹配（CFM）损失联合训练2D与3D分支，在8块NVIDIA L20 40G GPU上以总batch size 32训练4天。在HO3D与HOT3D数据集上，以Chamfer距离（CD）、F-score（F@5/F@10）及ATE/RPE等指标评估，ForeHOI取得最优性能：HO3D上CD为0.79cm、F@10达93.72%，HOT3D上CD为1.03cm、F@10为89.1%，同时较优化类方法提速约100倍（平均1.1分钟 vs 58-330分钟），这些结果验证了联合2D-3D补全、手部先验与大规模HOI数据设计的有效性。未来可探索真实场景泛化与纹理质量提升；实际应用中需注意模型依赖合成数据先验（未在真实数据上微调）、对称物体姿态估计需借助纹理渲染-比对策略，以及HOT3D类真实数据需仔细的裁剪与去畸变预处理。核心机制可概括为双向交叉注意力公式：y_{j+1}=Σ_{n=1}^{N} CrossAttn(Q(y_j),K(x_i^n),V(x_i^n))·w_n，x_{i+1}=CrossAttn(Q(x_i),K(y_j),V(y_j))，即3D几何特征与多视角2D掩码特征在去噪各层互相引导、协同生成完整物体几何。\n\n### 关键要点\n\n- ForeHOI是首个前馈式方法，可直接从日常单目手-物交互视频中重建物体3D几何，推理时间约一分钟，且无需任何预处理步骤（如SfM、手部/物体掩码输入）。\n- 核心设计是在扩散Transformer中采用双分支架构与双向交叉注意力，使2D物体掩码修复与3D形状补全逐层互相引导、协同精化，以应对严重的手-物遮挡场景。\n- 模型将WiLoR手部重建特征与DINOv2图像patch特征逐patch聚合为输入特征，为网络提供确定性的手部形状与位置理解，且特征与像素对齐、隐含局部相机空间信息，消除了多帧尺度不一致问题。\n- 训练采用条件流匹配（CFM）损失同时监督2D掩码与3D潜表示：L = L_CFM^2D + β·L_CFM^3D，并基于TRELLIS架构以LoRA（rank=64、alpha=128、dropout=0）微调两个阶段的扩散Transformer。\n- 作者构建了首个大规模高保真合成HOI数据集：基于GraspXL抓取序列与Objaverse物体，为MANO手添加HTML参数化纹理并随机化肤色，用Blender渲染多视角视频并随机化光照，共40万条样本，含手/物体掩码、手/物体姿态与深度图标注。\n- 训练配置：输入视角数随机取2-6，图像缩放至518×518（手部特征提取器输入224×224），使用Adam优化器（学习率5e-4），在8块NVIDIA L20 40G GPU上以总batch size 32训练4天，且仅在合成数据集上训练、未在真实数据上微调。\n- 在HO3D数据集上，ForeHOI的Chamfer距离为0.79cm、F@5为68.95%、F@10为93.72%，优于MagicHOI（CD 0.86cm）、HOLD（1.36cm）与EasyHOI（1.83cm）等基线方法。\n- 在更具挑战性的HOT3D自我中心数据集上，ForeHOI取得CD 1.03cm、F@5 60.5%、F@10 89.1%，而依赖SfM的HOLD等方法在稀疏视角下常因相机估计失败而整体失效。\n- 推理速度较优化类方法提升约100倍：ForeHOI平均1.1分钟，而EasyHOI需175分钟、HOLD需330分钟、MagicHOI需58分钟。\n- 物体姿态估计采用渲染-比对策略：从球面均匀视角渲染30张参考图，经VGGT获得粗略相机姿态，再用Mast3R建立2D对应并以PnP+RANSAC迭代精化，在HO3D上RPE为1.42cm/2.64°、ATE为0.13m，显著优于HOLD（RPE 5.87cm）与Dynhor（4.25cm）。\n- 消融实验表明：仅用带随机遮挡的多视角数据训练性能很差（CD 1.23cm、F@5 25.54%），换用本文HOI数据降至0.91cm，加入手部特征降至0.88cm，再加掩码补全分支进一步降至0.79cm（F@5 68.95%），验证了数据与各组件的必要性。\n- 局限与约束：模型依赖大规模合成数据先验，随机无语义遮挡无法让模型学到手-物交互；对称物体存在旋转歧义，纯几何姿态估计不鲁棒，需依赖生成的纹理；HORT等在有限数据上训练的方法难以泛化到未见物体与复杂几何。",
  "available_templates": [
    "deep_read",
    "simple"
  ]
}