{
  "paper_id": "f89ad1b996c0125a906fd033b651046a",
  "paper_title": "Efficient and Scalable Monocular Human-Object Interaction Motion Reconstruction",
  "paper_authors": [
    "Boran Wen",
    "Ye Lu",
    "Sirui Wang",
    "Keyan Wan",
    "Jiahong Zhou",
    "Junxuan Liang",
    "Xinpeng Liu",
    "Bang Xiao",
    "Ruiyang Liu",
    "Yong-Lu Li"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "Generalized robots must learn from diverse, large-scale human object interactions (HOI) to operate robustly in the real world. Monocular internet videos offer a nearly limitless and readily available source of data, capturing an unparalleled diversity of human activities, objects, and environments. However, accurately and scalably extracting 4D interaction data from these in-the-wild videos remains a significant and unsolved challenge. To overcome the annotation bottleneck, we introduce an efficient sparse contact annotation paradigm. To scale this process, we develop InterPoint, a multi-modal predictor that drives a human-in-the-loop data engine. Building upon these efficiently acquired annotations, we introduce 4DHOISolver, a novel optimization framework that constrains the ill-posed 4D HOI reconstruction problem, maintaining high spatio-temporal coherence and physical plausibility. Leveraging this framework, we introduce Open4DHOI, a new large-scale 4D HOI dataset featuring a diverse catalog of 135 object types and 133 actions. Furthermore, we demonstrate the effectiveness of our reconstructions by enabling an RL-based agent to imitate the recovered motions. Data and code will be publicly available at https://github.com/wenboran2002/open4dhoi_code",
  "keywords": [
    "4D人-物交互",
    "单目视频重建",
    "稀疏接触点标注",
    "人机回环数据引擎",
    "大规模HOI数据集",
    "强化学习动作模仿",
    "物理合理性优化"
  ],
  "paper_institutions": [
    "Shanghai Jiao Tong University (SJTU)",
    "Shanghai Innovation Institute (SII)",
    "Fudan University (FDU)",
    "Beijing Jiaotong University (BJTU)",
    "Zhejiang University (ZJU)"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:42:04.236548Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n从互联网单目视频中准确且可扩展地提取4D（3D+时间）人-物交互（HOI）数据，是训练可在真实世界稳健运行的通用机器人所面临的重要且未解决的难题：多传感器采集系统（如BEHAVE）成本高昂且局限于室内场景，而现有单目方法（如Open3DHOI依赖Blender手动调整物体位姿、PICO标注接触区域）应用于视频序列时标注代价过高且难以保证帧间时空一致性。为此，本文提出高效的稀疏接触标注范式，以时间不变的交互“点对”替代昂贵的逐帧密集标注，并开发多模态预测器InterPoint驱动人机回环（HITL）数据引擎，形成数据飞轮持续加速标注；在此基础上提出两阶段优化框架4DHOISolver以约束病态的4D HOI重建问题：第一阶段基于最小二乘的点对匹配（核心机制为 θ* = argmin_θ (1/2)(Σ_i ||r_i^3D(θ)||² + Σ_j ||r_j^2D(θ)||²)，同时求解3D-3D空间对齐与3D-2D投影对齐以优化物体位姿 R_o、t_o）与逆运动学（IK）快速调整人体肢体；第二阶段以接触、碰撞、掩码复合损失进行梯度优化，并配合每K帧优化、中间帧插值与低通滤波，保证物理合理性与时空连贯性。基于该流程构建了大规模数据集Open4DHOI（451段视频、131k帧、135类刚性物体、133种动作，来自手机采集与TikTok爬取，平均每视频仅需标注6.24个点、约10分钟），并选取具有真值的多传感器基准BEHAVE与IMHD²以物体倒角距离（CD-o）验证跨数据集鲁棒性（逐帧CD-o分别达4.67与6.72，优于PHOSA、CHORE、VisTracker、I'm HOI等基线），在Open4DHOI测试集上交互点预测人体侧F1达0.523（远超LEMON的0.299与InteractVLM的0.280），验证了稀疏点范式与模型架构的有效性；进一步设计接触引导奖励函数训练RL智能体模仿重建动作，在80段采样序列上MPJPE降至125.76mm、接触误差26.76mm、抖动分数79.63（均优于仅跟踪奖励的151.82/43.94/91.43），证明数据对下游机器人任务的价值。未来工作将聚焦缩小仿真到现实差距，把HOI技能迁移至全驱动物理人形机器人（如Unitree）。该方法适用于灵巧操作机器人训练、游戏与VR/AR数字人等真实场景，但受时间不变交互点假设约束，难以处理极端动态滑动接触（如手中滚核桃）与高度可变形物体（如衣物），且机器人验证目前仅在仿真中的简化球棍人形上完成。\n\n### 关键要点\n\n- 标注范式创新：以时间不变的稀疏人-物交互“点对”替代逐帧密集标注，人体侧采用26个主部位细分为87个关键点的树结构（如前臂分前、后、左、右四点），物体侧自由选点，平均每视频仅需标注6.24个点、耗时约10分钟。\n- InterPoint模型架构：通过VLM提取2D语义嵌入、PointNet++编码3D物体特征、SMPL-X可学习模板参数生成人体特征，经FiLM层注入语义并用Interaction Transformer融合，可学习查询预测87个人体关键点接触概率与物体接触坐标。\n- 训练目标设计：针对物体侧对应极端稀疏（87×1024对中仅2-3个正样本）导致BCE坍缩的问题，设计双向对比损失（关键点→物体与物体→关键点对称定义，含温度τ），与人体BCE损失加权联合优化。\n- 4DHOISolver两阶段优化：第一阶段用最小二乘求解3D-3D与3D-2D点对齐估计物体位姿并用IK精修肢体；第二阶段以接触、碰撞、掩码复合损失梯度优化，每K帧优化一次、中间帧线性插值并施加低通滤波平滑。\n- 数据集规模与来源：Open4DHOI包含451段序列、131k帧、135类刚性物体、133种动作，其中299段（79k帧）手机自采、152段（52k帧）TikTok爬取，无需额外采集设备，成本远低于Azure Kinect（约399美元/台）与Vicon系统（约5万美元）。\n- 重建精度结果：在BEHAVE与IMHD²数据集上，4DHOISolver逐帧CD-o分别为4.67与6.72、10秒滑窗CD-o为4.42与5.95，全面优于PHOSA、CHORE、VisTracker与I'm HOI等基线，展现跨数据集鲁棒性。\n- 交互点预测性能：InterPoint在人体侧Precision/Recall/F1达0.514/0.532/0.523，物体侧Recall为0.476、点对Recall为0.303，显著优于LEMON、InteractVLM、DECO与3D-AffordanceLLM。\n- 数据飞轮验证：以20%、40%、70%、100%数据规模训练InterPoint，三项指标均随数据增长稳步提升，且较简单的人体侧任务收敛更快，证明模型可随数据扩展持续改进并加速标注。\n- RL模仿实验设置与结果：从Open4DHOI采样80段序列（29k帧）按动作类型分组训练策略，TR+LR+CR奖励组合下MPJPE为125.76mm、接触误差26.76mm、抖动79.63，均优于仅跟踪奖励（151.82/43.94/91.43）。\n- 奖励函数设计：包含跟踪奖励R_tr=exp(-(E_p+E_v))、关键点标签奖励R_lr（⊙运算确保仅惩罚缺失的标注交互）与基于交互图I_g的3D接触奖励R_cr（约束配对接触点全局空间距离为零），以补偿单目重建的物理伪影。\n- 方法局限：依赖时间不变交互点假设，难以处理极端动态滑动接触（如手中滚核桃）与高度可变形物体（如衣物）；机器人实验仅在仿真中的简化球棍人形上验证，存在仿真到现实差距。\n- 未来方向：将学到的HOI技能迁移至全驱动物理人形机器人（如Unitree），缩小仿真到现实差距，进一步释放数据集在具身智能中的潜力。"
}