{
  "paper_id": "59302497a9013a6250a87627f29af53c",
  "paper_title": "HOI4D: A 4D Egocentric Dataset for Category-Level Human-Object Interaction",
  "paper_authors": [
    "Yunze Liu",
    "Yun Liu",
    "Che Jiang",
    "Kangbo Lyu",
    "Weikang Wan",
    "Hao Shen",
    "Boqiang Liang",
    "Zhoujie Fu",
    "He Wang",
    "Li Yi"
  ],
  "publication_date": "",
  "publication_venue": "2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)",
  "abstract": "本文提出HOI4D，一个具有丰富标注的大规模4D第一人称数据集，用于推动类别级人物交互研究。HOI4D包含240万帧RGB-D第一人称视频、4000个序列，由9名参与者在610个不同室内房间中与16个类别的800个不同物体实例交互采集而成。数据集提供逐帧全景分割、运动分割、3D手部位姿、类别级物体位姿和手部动作标注，并附带重建的物体网格与场景点云。基于HOI4D，作者建立了三项基准任务：4D动态点云序列语义分割、类别级物体位姿跟踪以及具有多样交互目标的第一人称动作分割。深入分析表明，HOI4D对现有方法构成了显著挑战，也带来了大量研究机会。\n",
  "keywords": [
    "4D第一人称数据集",
    "人物交互",
    "类别级物体位姿跟踪",
    "4D点云语义分割",
    "动作分割",
    "RGB-D",
    "3D手部位姿",
    "全景分割"
  ],
  "paper_institutions": [
    "Tsinghua University",
    "Peking University",
    "Shanghai Qi Zhi Institute"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:27:17.536897Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对助手机器人与增强现实需要从第一人称4D视觉信号中理解人物交互，而现有数据集多局限于实例级、少量已知CAD物体、刚体、实验室标记采集或合成数据，存在动作不自然、仿真到现实迁移困难和忽略铰接物体等问题，本文构建了首个大规模4D第一人称类别级人物交互数据集HOI4D。数据由9名参与者在610个室内房间中无标记采集，包含4000个序列、240万帧RGB-D视频、800个物体实例和16个类别，其中7类为刚体、9类为铰接物体，每类50个实例并定义54项功能任务；采集系统采用头盔上预校准并同步的Kinect v2与Intel RealSense D455，以飞行时间远距离深度感知和结构光短距离感知形成互补，也为跨传感器迁移提供自然测试床。标注流程结合人工标注与自动算法：先标注2D运动分割，借助SLAM重建静态场景点云并完成3D静态全景分割，再合并得到4D动态全景分割；手部位姿使用21个手部关键点和MANO参数模型，核心优化机制为 θ_h=argmin(λ_j L_j+λ_2D L_2D+λ_d L_d+λ_pc L_pc+λ_m L_m)，细化阶段进一步加入接触损失与时序一致性损失；物体和部件位姿通过每十帧拟合紧密无模态有向包围盒、扫描重建800个物体网格、线性插值传播，并利用SoftRas的轮廓损失、深度损失、Chamfer距离和时序一致性损失优化。论文按7:3随机划分训练集与测试集，建立类别级物体与部件位姿跟踪、4D点云视频语义分割、第一人称细粒度动作分割三项基准，并选用ICP、BundleTrack、PSTNet、P4Transformer、MS-TCN、MS-TCN++和ASFormer等代表性方法，同时与H2O、NOCS、GTEA进行跨数据集评估，以验证真实手部遮挡、杂乱背景、快速6DOF自运动和不同深度传感器噪声下的性能。结果显示，BundleTrack在瓶子类别上的5°5cm准确率仅为19.3%，远低于其在NOCS无交互场景中的86.5%，笔记本电脑键盘和屏幕的部件位姿跟踪分别为24.2%和12.2%；P4Transformer在4D点云分割中取得61.2%的整体mIoU，但物体类仅44.6%，明显低于背景类的77.7%；ASFormer在细粒度动作分割上的帧准确率为46.8%、F1@50为35.0%，而其在50Salads粗粒度数据上可达85.6%，表明现有模型更容易学习动作顺序而非准确识别当前细粒度动作。未来可探索双手协作、手物联合位姿跟踪、物体与背景几何联合建模、仿真到现实迁移以及机器人模仿学习；HOI4D适用于室内机器人和增强现实等真实场景，但受限于严重遮挡、快速自运动、深度噪声、小物体运动、铰接关节物理约束以及当前仅覆盖单手操作。\n\n### 关键要点\n\n- HOI4D包含4000个第一人称RGB-D序列和240万帧视频，由9名参与者在610个不同室内房间中完成采集。\n- 数据集覆盖800个独特物体实例，分为16个类别，其中包括7个刚体类别和9个铰接物体类别。\n- 每个类别包含50个实例，并配有拾取放置以及基于物体功能的复杂任务，全部类别共定义54项交互任务。\n- 采集设备为安装在头盔上的Kinect v2和Intel RealSense D455，两类RGB-D传感器经过预先校准和同步。\n- 数据集提供逐帧全景分割、运动分割、3D手部位姿、类别级物体位姿、手部动作标签、物体网格和场景点云。\n- 4D全景标注通过2D运动掩码、SLAM静态场景重建、3D静态全景标注以及二者合并来提高标注效率。\n- 手部位姿标注使用21个关节关键点和MANO模型，并通过2D、深度、点云、掩码、接触和时序一致性等损失优化。\n- 类别级物体位姿先每十帧人工拟合无模态有向包围盒，再结合扫描重建网格、位姿传播和SoftRas优化得到全序列标签。\n- 三项基准均按7:3划分训练序列和测试序列，分别对应位姿跟踪、4D点云语义分割和动作分割标注。\n- BundleTrack在HOI4D瓶子类别上的5°5cm准确率仅为19.3%，说明真实交互中的手部遮挡和快速运动显著降低位姿跟踪性能。\n- P4Transformer的4D点云分割整体mIoU为61.2%，但物体类mIoU仅44.6%，反映小而运动灵活的物体更难分割。\n- ASFormer在HOI4D上的动作分割帧准确率为46.8%，且数据集目前不包含双手协作任务。"
}