{
  "paper_id": "922f18c09f8d246d2b113dada0f00523",
  "paper_title": "Perceiving and Acting in First-Person: A Dataset and Benchmark for Egocentric Human-Object-Human Interactions",
  "paper_authors": [
    "Liang Xu",
    "Chengqun Yang",
    "Zili Lin",
    "Fei Xu",
    "Yifan Liu",
    "Congsheng Xu",
    "Yiyi Zhang",
    "Jie Qin",
    "Xingdong Sheng",
    "Yunhui Liu",
    "Xin Jin",
    "Yichao Yan",
    "Wenjun Zeng",
    "Xiaokang Yang"
  ],
  "publication_date": "",
  "publication_venue": "2025 IEEE/CVF International Conference on Computer Vision (ICCV)",
  "abstract": "从真实的以人为中心的交互数据集中学习动作模型，对于高效构建通用智能助手至关重要。然而，现有数据集大多只提供专门的交互类别，并且忽视AI助手基于第一人称感知进行行动。本文强调通用交互知识和第一人称模态缺一不可。作者将人工辅助任务嵌入视觉-语言-动作框架，使助手根据第一人称视觉和语言指令为指令者提供服务。利用混合RGB-MoCap系统，助手与指令者按照GPT生成的脚本与多个物体和场景交互，构建了InterVLA——首个大规模人-物-人交互数据集，包含11.4小时、120万帧多模态数据，涵盖2路第一人称和5路第三人称视频、精确人体与物体运动以及口头指令。此外，论文还在第一人称人体运动估计、交互合成和交互预测方面建立了新基准并进行综合分析。\n",
  "keywords": [
    "第一人称视角",
    "人-物-人交互",
    "视觉-语言-动作",
    "InterVLA",
    "数据集",
    "动作捕捉",
    "人体运动估计",
    "交互合成",
    "交互预测",
    "AI助手"
  ],
  "paper_institutions": [
    "MoE Key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University",
    "Ningbo Institute of Digital Twin, Eastern Institute of Technology, Ningbo, China",
    "Ningbo Key Laboratory of Spatial Intelligence and Digital Derivative, Ningbo, China",
    "MoE Key Lab of AI, School of Computer Science, Shanghai Jiao Tong University",
    "Nanjing University of Aeronautics and Astronautics",
    "Lenovo"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:38:34.842481Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n论文针对现有以人为中心交互数据集多局限于人人、人物或人-场景等专门类别、缺少助手第一人称感知与多物体连续服务数据的问题，在机器人可从人类交互数据中低成本学习通用操作、视觉-语言-动作模型快速发展的背景下，提出将人工辅助任务纳入视觉-语言-动作框架，以助手第一人称视频、指令者口头命令和高精度人/物运动构成核心数据机制 [V,T,H,O,l]，并构建InterVLA数据集。采集场景随机布置桌椅和50个真实家用物体，由ChatGPT生成并人工审核100个脚本，每个脚本平均含2至3件家具、5个物体和8条原子命令；47名参与者组成27对独特指令者-助手，完成拾取、检索、递交、协作重排、导航和纯人人互动等连续任务。混合系统采用助手额头与胸部两台GoPro获取5312×2988、30fps第一人称RGB视频，五台外部相机获取1920×1080、30fps全局视角视频，20台红外相机组成的OptiTrack系统追踪直接粘贴在人体和物体表面的反光标记，并用KSCAN扫描仪获取全部物体几何；这种设置兼顾真实外观、毫秒级同步和世界坐标运动真值，可验证第一人称感知、语言理解与动作生成的闭环能力。最终数据包含519个长时录制、3906个序列、11.4小时和120万帧，并按0.8、0.15、0.05划分训练、测试和验证集。基准包括第一人称人体运动估计 F_ME(v_h)→h_I、文本驱动交互合成、基于运动和视觉-语言的两类交互预测；运动估计采用MPJPE、PA-MPJPE、PVE和Accel，WHAM表现最好但MPJPE仍为333.6、Accel为8.7，合成采用R Precision、FID、MM Dist、Diversity和MModality，HIMO整体较优但FID为0.6805，仍高于真实数据的0.0203，运动预测中CAHMP在人体关节、物体平移和旋转误差上最优，视觉-语言预测中USST以0.24平均位移误差和0.32最终位移误差领先，但所有基线均未达到满意水平。这些结果支撑了数据集在快速相机运动、视野受限、遮挡、目标出入镜和多物体交互方面的挑战性，也表明其可用于评估和改进现实家庭服务、人形机器人、遥操作与具身智能助手；约束在于采集空间为8.5×5.4米、场景和物体数量有限、视频实验仅使用头戴相机且第一人称视角缺少全局感知。未来可探索稀疏视角4D场景重建、手物交互重建、稀疏信号运动重建、更强的视觉-语言-动作模型以及物理可信的长时序交互生成。\n\n### 关键要点\n\n- InterVLA被定位为首个面向第一人称人-物-人交互的大规模数据集，强调助手依据自身视角和口头指令为指令者服务。\n- 数据采用视觉-语言-动作方案，视觉包含第一人称和第三人称RGB视频，语言为指令者命令，动作为高精度人体与物体运动。\n- 数据集共有3906个交互序列、11.4小时、120万帧，来自519个有效长时录制，并包含50个家用物体。\n- 采集系统由两台助手佩戴的GoPro、五台外部RGB相机和一套含20台红外相机的OptiTrack光学动作捕捉系统组成。\n- 语言脚本由ChatGPT基于物体可供性生成并经人工审核，100个脚本覆盖多物体操作、物体间交互、导航以及支撑、按摩等纯人人互动。\n- 人体运动通过SMPL参数表示，并使用关节位置、运动平滑和正则化组成的优化目标将MoCap骨架拟合为SMPL参数。\n- 论文定义了第一人称人体运动估计、交互合成、基于运动的交互预测和基于视觉-语言的交互预测四项任务。\n- 在人体运动估计中，WHAM在MPJPE、PVE和Accel上领先，但仍存在明显全局方向、坐标一致性和漏帧问题。\n- 在交互合成中，HIMO在R Precision、FID、MM Dist和Diversity上表现最好，但所有方法的FID都高于真实数据。\n- 在两类预测任务中，CAHMP和USST分别取得最优基线结果，但人体运动、物体位姿和接触预测仍有显著误差。\n- 数据集的主要挑战包括快速相机移动、身体不完整可见、遮挡、人物频繁出入视野以及复杂多物体关系。"
}