{
  "paper_id": "0d6415aabce45e50858ace7487f5415e",
  "paper_title": "HoloAssist: an Egocentric Human Interaction Dataset for Interactive AI Assistants in the Real World",
  "paper_authors": [
    "Xin Wang",
    "Taein Kwon",
    "Mahdi Rad",
    "Bowen Pan",
    "Ishani Chakraborty",
    "Sean Andrist",
    "Dan Bohus",
    "Ashley Feniello",
    "Bugra Tekin",
    "Felipe Vieira Frujeri",
    "Neel Joshi",
    "Marc Pollefeys"
  ],
  "publication_date": "",
  "publication_venue": "2023 IEEE/CVF International Conference on Computer Vision (ICCV)",
  "abstract": "构建能够在真实世界中感知、推理并与人类协作的交互式AI助手，一直是AI领域的长期追求。本工作属于开发智能体这一更广泛研究的一部分，这类智能体能够交互式地引导人类在物理世界中完成任务。作为该方向的第一步，作者提出HoloAssist，一个大规模第一视角人际交互数据集，其中两人协作完成物理操作任务。任务执行者佩戴混合现实头显执行任务，头显捕获七路同步数据流；任务指导者实时观看执行者的第一视角视频并进行口头指导。通过为数据补充动作和对话标注，并观察不同参与者的丰富行为，论文揭示了人类助手如何纠正错误、干预任务完成过程，以及如何将指令锚定到环境中。HoloAssist包含由350个独特指导者—执行者配对捕获的166小时数据。此外，作者构建并展示了错误检测、干预类型预测和手部预测基准及详细分析。作者期望HoloAssist成为构建可在真实世界中与人类流畅协作的AI助手的重要资源。数据可从<https://holoassist.github.io/下载。>\n",
  "keywords": [
    "HoloAssist",
    "第一视角视频",
    "人机交互",
    "交互式AI助手",
    "多模态学习",
    "错误检测",
    "干预类型预测",
    "3D手部姿态预测"
  ],
  "paper_institutions": [
    "Microsoft",
    "ETH Zurich"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:37:26.569068Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对通用大语言模型助手缺乏物理世界第一人称经验、现有AR指南多依赖预定义指令或问答/视频理解、仿真环境难以迁移到现实等问题，论文提出并构建HoloAssist大规模第一视角人际交互数据集。其核心机制是双人协作式辅助任务：执行者佩戴HoloLens 2完成20项以物体为中心的多步操作，远程指导者实时观看第一视角视频并进行语音指导；选择该设置是为了在真实场景中捕捉主动干预、错误纠正和环境锚定指令，而不是简化的单人或仿真交互。数据集覆盖16种物体、222名参与者、350个独特指导者—执行者配对、2221个会话和166小时视频，物体包含小型电子设备、办公电器、宜家家具及实验室/工厂稀有设备；七路同步传感器包括RGB、深度、头部姿态、3D手部姿态、眼动、音频和IMU，并补充第三方人工文本摘要、粗/细粒度动作段、错误属性和对话干预标注。实验以TimeSformer为视觉基线，通过26×2个手部关节token、1个眼动token、1个头部姿态token和196个深度token扩展多模态输入，按任务以70%/10%/20%划分1545/213/463个会话并同步至30fps；3D手部预测采用Seq2Seq，以3秒历史预测未来0.5、1.0、1.5秒姿态，核心指标为MPJPE=(1/(T·J))Σ_{t,j}||p_{t,j}-p̂_{t,j}||₂。结果显示，ImageNet预训练模型在细粒度动作识别上约35% top-1、粗粒度约50% top-1；从零训练时加入手部姿态将细粒度top-1从RGB的18.78%提升到29.32%，说明手部信号对动作动词识别尤其关键；错误检测中仅手部模型取得40.19的F值并优于RGB的35.11；干预类型预测中多模态模型总体表现优于RGB，眼动因行动前注视相关区域而具有预测价值；手部预测仅用手部姿态在1.0和1.5秒达到10.68cm和11.25cm，优于使用最后一帧的静态基线13.91cm和16.70cm。这些结果支持“手部姿态与眼动是交互式助手的重要信息源”，也表明简单拼接深度、头部姿态等传感器并不必然提升性能。适用场景包括日常设备操作、办公设备维护、家具拆装和工厂/实验室培训；主要约束包括错误样本仅约细粒度动作的6%、动作与名词动词呈长尾分布、手部快速运动、开放词汇标注存在近义混淆，以及多模态可能需要专用编码器。未来可探索物体姿态标注、可供性与操作的物体中心模型，并进一步区分自我纠正、口头纠正和未纠正错误。\n\n### 关键要点\n\n- HoloAssist的任务场景为两人协作：执行者佩戴HoloLens 2操作物体，远程指导者通过实时第一视角视频提供语音指导，因而数据包含多轮对话与自然干预。\n- 数据集共有166小时、2221个会话、222名参与者和350个独特指导者—执行者配对，参与者在年龄、职业、性别、地域和自报技能水平上具有多样性。\n- 数据覆盖16种物体和20项目标导向操作任务，宜家家具同时包含组装与拆卸任务，对象范围从GoPro、任天堂、打印机到激光扫描仪、摩托车和断路器。\n- 实时采集的七路模态为RGB、深度、头部姿态、3D手部姿态、眼动、音频和IMU；人工事后生成的文本描述被作为第八类模态。\n- 标注包括文本摘要、对话转写、粗粒度动作、细粒度动作、每个细粒度动作的correct/mistake属性，以及每句对话的发起者和干预目的。\n- 数据集包含414个粗粒度动作和1887个细粒度动作；细粒度动作通常持续1至2秒，动作、动词和名词分布均呈明显长尾。\n- 人工观察显示，严重或会阻断线性流程的错误常引发5秒内立即干预，家具组装等阶段错误可不立即纠正，由执行者自我调整或稍后纠正。\n- 指导者语言常使用空间指示语进行环境锚定，例如“镜头右侧”“另一侧”“倒置”“顶层架子的螺丝”等，以传达相对位置、方向和距离。\n- 论文定义三个核心基准：细粒度动作错误检测、干预类型预测和3D手部姿态预测，并同时评测粗/细粒度动作分类。\n- 错误检测类别高度不平衡，约6%细粒度动作是错误；干预预测使用干预前1、3或5秒窗口，手部预测使用3秒输入并仅对正确动作序列评估。\n- 基线模型采用多模态TimeSformer，可开关不同模态；会话按任务划分训练/验证/测试，训练15个epoch，手部回归采用三层LSTM的Seq2Seq和L2损失。\n- 结果表明手部和眼动对动作识别、错误检测、干预理解和未来手部预测有价值，但简单拼接更多传感器不必然提升性能，长尾类别的准确率仍然很低。",
  "available_templates": [
    "deep_read",
    "simple"
  ]
}