{
  "paper_id": "0d6415aabce45e50858ace7487f5415e",
  "paper_title": "HoloAssist: an Egocentric Human Interaction Dataset for Interactive AI Assistants in the Real World",
  "paper_authors": [
    "Xin Wang",
    "Taein Kwon",
    "Mahdi Rad",
    "Bowen Pan",
    "Ishani Chakraborty",
    "Sean Andrist",
    "Dan Bohus",
    "Ashley Feniello",
    "Bugra Tekin",
    "Felipe Vieira Frujeri",
    "Neel Joshi",
    "Marc Pollefeys"
  ],
  "publication_date": "",
  "publication_venue": "2023 IEEE/CVF International Conference on Computer Vision (ICCV)",
  "abstract": "构建能够在真实世界中感知、推理并与人类协作的交互式AI助手，一直是AI领域的长期追求。本工作属于开发智能体这一更广泛研究的一部分，这类智能体能够交互式地引导人类在物理世界中完成任务。作为该方向的第一步，作者提出HoloAssist，一个大规模第一视角人际交互数据集，其中两人协作完成物理操作任务。任务执行者佩戴混合现实头显执行任务，头显捕获七路同步数据流；任务指导者实时观看执行者的第一视角视频并进行口头指导。通过为数据补充动作和对话标注，并观察不同参与者的丰富行为，论文揭示了人类助手如何纠正错误、干预任务完成过程，以及如何将指令锚定到环境中。HoloAssist包含由350个独特指导者—执行者配对捕获的166小时数据。此外，作者构建并展示了错误检测、干预类型预测和手部预测基准及详细分析。作者期望HoloAssist成为构建可在真实世界中与人类流畅协作的AI助手的重要资源。数据可从<https://holoassist.github.io/下载。>\n",
  "keywords": [
    "HoloAssist",
    "第一视角视频",
    "人机交互",
    "交互式AI助手",
    "多模态学习",
    "错误检测",
    "干预类型预测",
    "3D手部姿态预测"
  ],
  "paper_institutions": [
    "Microsoft",
    "ETH Zurich"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:37:26.569068Z",
  "template_tag": "deep_read",
  "summary": "# HoloAssist: an Egocentric Human Interaction Dataset for Interactive AI Assistants in the Real World\n\n\n**作者 / Authors:** Xin Wang, Taein Kwon, Mahdi Rad, Bowen Pan, Ishani Chakraborty, Sean Andrist, Dan Bohus, Ashley Feniello, Bugra Tekin, Felipe Vieira Frujeri, Neel Joshi, Marc Pollefeys\n\n\n**单位 / Institutions:** Microsoft, ETH Zurich\n\n\n\n**输出语言 / Output Language:** zh\n\n\n\n**发表日期 / Publication Date:** 2023\n\n\n\n**期刊/会议 / Publication Venue:** ICCV 2023\n\n\n## 第一轮：问题与贡献\n\n\n### 材料与类型\n\n材料检查：提供的是主论文与补充材料（含 S.1–S.6、表 S1/S2、图 S1–S4），覆盖数据采集、标注定义、基准与实现细节；文档给出数据下载主页和 HoloLens 采集工具链接，但本地未附代码/数据，无法核验实际下载内容、许可与复现实验。论文 archetype 判为 other：核心贡献是真实世界双人交互的 egocentric 多模态数据集与基准，而不是提出一个新算法或完整系统；数据采集工具是支撑件。材料缺口：正文未明确写出发表 venue/date（字段按常见引用信息暂填 ICCV 2023，待核实）；缺少标注者间一致性/IRB 原始文件；干预预测正文数值与表 8 存在不一致；未给出对象位姿标注，作者列为未来工作。这些缺口会影响对标注可靠性和基准可复现性的判断。\n\n\n\n\n\n### 问题\n\n问题：如何构建能在物理世界中感知、推理并与人类协作的交互式 AI 助手，尤其是像人类导师一样在任务执行中进行及时干预、纠错和空间 grounded 指导。\n重要性：数字世界 LLM 助手缺乏第一手物理经验；AR 指导系统多依赖预定义指令；现有视频理解/问答式助手缺少真实交互；仿真环境中的协作被简化，存在 sim-to-real 差距。\n现有方法主要不足：缺少真实世界、双人、多模态、带细粒度动作/错误/干预标注的 egocentric 交互数据与基准，难以训练和评估“何时干预、如何纠错、如何用空间指代表达”的助手。\n\n\n\n\n\n### 概览与阅读路线\n\n一句话：HoloAssist 让 task performer 佩戴 HoloLens 2 执行 20 类物体操作任务，远程 instructor 观看实时 egocentric 视频并口头指导，从而采集 166 小时、350 对、222 名参与者的七模态交互数据并建立错误检测、干预类型预测和 3D 手部姿态预测基准。\n核心想法：用真实 human-human 辅助交互作为 AI assistant 的监督来源；相比既有 egocentric 数据集，增加双人协作、实时干预、七路同步传感器与细粒度错误/对话标注。\n贡献：数据采集工具与 166 小时数据；细/粗粒度动作、错误、干预、文本摘要标注；三个新基准及多模态 TimeSformer/Seq2Seq 基线。\n最重要结果：在 ImageNet 预训练 ViT 下，细粒度动作识别约 35% top-1、粗粒度约 50% top-1；错误检测中 hand-only F-score 40.19 高于 RGB 35.11；干预预测中作者声称加入 hand+gaze 显著提升整体 precision/recall 至 48.31%/37.59%，但表 8 未列 R+H+E 行且表内 R+E 为 48.33/47.38、R+H+E+I 为 48.75/47.75，需核实；3D 手部预测 H 在 0.5/1.0/1.5 s 的 MPJPE 为 9.80/10.68/11.25 cm。\n支持范围：这些是作者在 per-task 70/10/20 split 与 8 帧采样、30 fps 同步条件下报告的基线，不是 SOTA 保证；类别长尾和约 6% 错误样本使指标波动大。\n优先看：Sec. 3.2 标注定义、Sec. 4.1 观察、Sec. 4.2 基准定义、表 5–9、图 2/4/6/7。\n下一轮问题：标注一致性与错误/干预标签映射是否可靠？split 是否按 session 且避免同一任务/参与者泄漏？多模态收益是否被预训练 RGB 主导？干预预测的类别不平衡如何处理？\n接下来进入第二轮，重点拆解数据构造、标注协议与基准实验的可复现性。\n\n\n\n\n## 第二轮：方法与证据\n\n\n### 方法与公式\n\n输入→关键步骤→输出：\n\n1. 输入：task performer 佩戴 HoloLens 2，远程 instructor 通过笔记本观看实时 egocentric 视频并口头指导；HoloLens 2 同步采集 7 路原始传感器（RGB 896×504@29.5 Hz、depth 504×504@32.4 Hz、audio 48 kHz、IMU、head pose 17.2 Hz、gaze 30.7 Hz、左右手各 26 个关节 43.2 Hz），并由后处理加入文本作为第 8 模态（Fig. 1、Table S2）。\n2. 采集与时空对齐：使用 PSI 的 client-server 分布式程序，设备端显示矩形全息框引导视线下移，数据经网络实时传到 PC 落盘；用 spatial anchor 建世界坐标系，空间量（head/gaze/hand/camera pose）均相对世界系，轴约定 X=Forward、Y=Left、Z=Up（Sec. 3.1、S.3）。\n3. 标注：专业标注员给出第三人称长文本摘要；粗粒度动作（任务步骤，约 30 s）以“动词-(形容词)-名词”表示并记录 active verb-noun；细粒度动作（原子动作，约 1–2 s）同样用 verb-(adj.)-noun，并逐条标 correct/mistake（mistake 再分 self-corrected、verbally corrected、not corrected，基准合并为一类）；对话逐句标 initiator（instructor/performer）与 purpose（纠正错误、追问指令、确认动作、描述高层任务、开场/收尾、提问等），基准取 3 类干预：correcting mistakes、following up、confirming previous action（Sec. 3.2、S.4）。\n4. 基准输入/输出：\n\n- 动作识别：输入动作片段采样的 8 帧多模态数据，输出 fine/coarse action、verb、noun 的 top-1/top-5；\n- 错误检测：取从粗动作开始到当前细动作结束的片段特征，输出 {correct, mistake}；\n- 干预类型预测：取干预前 1/3/5 s 窗口，输出 3 类干预；\n- 3D 手部姿态预测：取 3 s 历史手部姿态（可加 RGB/gaze/head），用 Seq2Seq 输出未来 0.5/1.0/1.5 s 的 26×2 关节位置（Sec. 4.2、S.5）。\n必要模块：多模态 TimeSformer 基线把不同模态编码为额外 token：左右手共 26×2 个 token（一个关节一个 token）、gaze 1 个、head pose 1 个、depth 196 个；可开关模态。训练 15 epoch、SGD、初始 lr 0.01、batch 64、epoch 11/14 除 10、每段随机采 8 帧、4×A6000（Sec. 5、S.5.1）。手部预测用 512 hidden、3 层 LSTM、输出 156 维、L2 loss、Adam lr 0.1，RGB 分支用 ResNet 提特征。\n公式/指标：论文没有编号的核心公式；MPJPE 可写作“对时间步和关节取平均的 3D 欧氏距离”（本文按 cm 报告，属推断的标准定义），F-score、precision/recall 按常规分类指标计算，未在正文给出公式。\n\n\n\n\n\n### 评测设置\n\n数据：HoloAssist 166 h、2221 sessions、350 对 instructor-performer、222 名参与者、16 类物体、20 个 object-centric 任务；IKEA 家具含组装/拆卸。标注规模：414 个粗动作、90 名词、39 动词；1887 个细动作、165 名词、49 动词；细动作按频次分 1082 head / 805 tail，粗动作 185 head。错误样本约 6%，高度不平衡。\n划分：按 per-task 随机划分 session 为 70/10/20，即 1545/213/463 sessions；正文未说明按参与者或任务实例做 disjoint 划分，存在同一参与者/同一任务泄漏风险，需核实。\n基线/协议：动作识别用 TimeSformer（ViT base patch16_224）与多模态 token，比较 ImageNet 预训练 vs scratch；模态组合 RGB、Hands、R+H、R+E、R+H+E、R+H+E+I（I 为 head pose/IMU 类源），depth 虽在实现中提及但结果表未列 depth-only/加 depth 行。指标为 all/head/tail 的 top-1/top-5 action/verb/noun。错误检测用动作识别模型特征，报告 F-score 与 correct/mistake 的 P/R；干预预测报告 overall 与 3 类 P/R；手部预测报告 0.5/1.0/1.5 s MPJPE（cm）。\n训练/环境：15 epoch、SGD、lr 0.01、batch 64、8 帧、4×A6000；细动作识别约 1 天。手部 Seq2Seq：Adam lr 0.1、512 hidden、3 层 LSTM、156 维输出、L2 loss。\n缺失/风险：未给标注者间一致性、IRB 原文、各类别样本数、随机种子/方差、干预窗口的具体采样与类别权重；Table 8 与正文数值不一致（见 module_c5）；发表 venue/date 正文未明确，字段沿用模块 A 暂填信息，待核实。\n\n\n\n\n\n### 结果与证据\n\n决定性证据：\n\n- 动作识别：ImageNet 预训练下细动作约 35% top-1、粗动作约 50% top-1（Table 5/6）；scratch 下 R+H 明显优于 RGB：细动作 29.32 vs 18.78，verb 41.48 vs 28.45；粗动作 34.42 vs 32.17，verb 45.28 vs 41.88。说明手部 token 在无强 RGB 预训练时有用，但预训练后多模态增益被削弱，甚至 R+H+E+I 下降（细动作 26.87）。\n- 错误检测：Hands 40.19 F 高于 RGB 35.11、R+H 36.18、R+H+E 32.08、Random 27.71（Table 7）。支持“手部姿态对错误检测有用”，但错误类仅约 6%，correct/mistake 的 P/R 极不对称，R+H+E 的 mistake recall 50.00 但 precision 11.43，F 反而低。\n- 干预预测：Table 8 显示 RGB overall 47.92/46.09，R+H 48.08/47.06，R+E 48.33/47.38，R+H+E+I 48.75/47.75；表中没有 R+H+E 行。正文却称 R+H+E 达 48.31/37.59、较 RGB 提升约 35 和 4 个百分点，这与表内 recall 46.09 及“提升 4 点”矛盾；该核心干预结论需核实，不能作为已证实结论。\n- 手部预测：H 为 9.80/10.68/11.25 cm，Static-H 为 9.34/13.91/16.70；0.5 s 静态基线更好，1.0/1.5 s Seq2Seq 更好；R+H+E+I 仅边际改善到 9.72/10.62/11.19（Table 9、Fig. 8）。\n总体：数据/基准贡献有充分描述性证据；基线非 SOTA，模态收益混合，干预预测的关键数值不自洽。证据支持“数据集可支撑多任务基准”，不足以支持“多模态简单拼接稳定提升”或“干预预测已被显著解决”。\n\n\n\n\n\n### 相关工作\n\n最近相关工作与差异：\n\n- Epic-Kitchens-100 / Ego4D：大规模 egocentric 日常视频，但非双人实时辅助；HoloAssist 增加 instructor 远程观看与口头干预、七路同步传感器、细粒度错误/干预标注。Ego4D 小时数 3670、Epic 100，HoloAssist 166（Table 2）。\n- Assembly101：程序性装配视频，有 coarse mistake detection；HoloAssist 强调 fine-grained actions 与主动干预，因为 instructor 在细动作错误时可能立即介入，而非等粗步骤结束。\n- TEACh / IGLU / BEHAVIOR / Habitat / VirtualHome / ALFRED：仿真或游戏环境中的协作/指令任务；HoloAssist 提供真实世界传感器与真人-真人交互，补足 sim-to-real 与交互简化问题。\n- AR Guides / 对话式任务指导：多为预定义指令或问答/视频理解；HoloAssist 用 human-human 交互作为监督来源，研究何时干预、如何纠错、如何空间指代。\n成本与边界：需要 HoloLens 2、PSI 分布式采集、远程 instructor、专业标注与 IRB；物体含稀有实验室设备，采集与标注成本高。论文对 prior work 的描述来自其 Table 2 与 Sec. 2；未做同设置直接对比，小时数与“协作/交互”勾选为作者口径，外部未逐项核验。HoloAssist 与 Ego4D 等是互补而非替代。\n\n\n\n\n\n### 关键图表解读\n\n重点证据（按核心创新排序）：\n\n1. Fig. 1（双人交互设置）：performer 戴 AR 设备执行任务，instructor 远程看实时 egocentric 视频并口头指导；七路传感器加文本为第 8 模态。它支撑“真实世界双人辅助交互”这一数据定位，但不是性能证据；限制是图为示意，不能证明数据质量。\n2. Table 2（与相关数据集比较）：HoloAssist 在 real video hours 166、Collaborative & Interactive、Instructional & Procedural 三项同时为 ✓；Ego4D 小时数更大但两项仅“+”，Assembly101 程序性但非协作，仿真项无真实传感器。支持“填补真实双人协作 egocentric 数据空白”，但比较维度由作者定义，未给标注密度/模态同步误差等更细指标。\n3. Table 5/6（动作识别）：预训练 ViT 下细/粗动作约 35%/50% top-1；scratch 下 R+H 优于 RGB，但预训练后加模态收益小甚至下降。支持“手部信息有用但多模态融合仍是开放问题”；限制是仅 8 帧、单模型、无方差，且 depth 未在结果表中体现。\n4. Table 7/8（错误检测与干预预测）：Table 7 的 Hands 40.19 F 支持手部姿态对错误检测有效；Table 8 本应支持“手+眼注视提升干预预测”，但表内没有 R+H+E 行，正文 48.31/37.59 与表内 RGB 46.09 recall、R+E 47.38、R+H+E+I 47.75 不一致。该组证据只能部分支持，关键数值待核实。\n5. Table 9/Fig. 8（3D 手部预测）：H 在 0.5/1.0/1.5 s 为 9.80/10.68/11.25 cm，优于 Static-H 的长时预测（13.91/16.70），但 0.5 s 不如 Static-H（9.34）；R+H+E+I 仅边际提升。支持“可做连续 3D 手部预测基准”，但绝对误差仍大，Fig. 8 显示越长越偏。\n过渡：以上把评估焦点从“数据是否存在”转到“标注可靠性、划分泄漏、模态收益和干预预测数值一致性”。\n\n\n\n\n\n### 术语表\n\n术语表：\n\n- Egocentric（第一人称）：相机随佩戴者移动，画面近似佩戴者视角；本文以 HoloLens 2 前置相机采集。\n- HoloLens 2：Microsoft 混合现实头显；本文用其 RGB/depth/head/gaze/hand/IMU/audio 传感器。\n- 七路原始模态：RGB、depth、head pose、3D hand pose、eye gaze、audio、IMU；文本为第 8 模态（后处理）。\n- PSI（Platform for Situated Intelligence）：Microsoft 的分布式传感/ AI 应用框架；本文用其 HoloLensCapture 做 client-server 实时采集与落盘。\n- Spatial anchor / world coordinate：用空间锚建立统一世界系；轴约定 X=Forward、Y=Left、Z=Up，空间量相对世界系表达。\n- Coarse-grained action（粗粒度动作）：任务高层步骤，约 30 s，如“换 GoPro 电池”；用 verb-(adj.)-noun 描述。\n- Fine-grained action（细粒度动作）：不可再分的原子动作，约 1–2 s，如“按按钮”“抓螺丝”；逐条标 correct/mistake。\n- Verb-(adj.)-noun：动作标签格式；verb 为动作，noun 为对象，adjective 可选用于区分同名对象。\n- Mistake annotation：细动作的 correct/mistake 属性；mistake 分 self-corrected、verbally corrected by instructor、not corrected，基准合并为一类。\n- Intervention type：对话句子的目的标签；基准取 correcting mistakes、following up with more instructions、confirming previous action 三类。\n- Spatial deixis（空间指代）：用“左边”“上面”“另一个”等相对位置词定位 3D 环境中的物体/方向；Table 4 给例子。\n- TimeSformer：基于 ViT 的视频 Transformer，使用 divided space-time attention；本文作多模态基线。\n- ViT / patch16_224：Vision Transformer，16×16 patch、224 输入；本文用 vit_base_patch16_224。\n- Modality token：把非 RGB 模态编码成额外 token 注入 Transformer；本文手部 26×2 个、gaze 1 个、head 1 个、depth 196 个。\n- MPJPE：Mean Per Joint Position Error，关节 3D 位置平均误差（cm），本文用于手部预测。\n- F-score：precision 与 recall 的调和平均；本文错误检测主指标。\n- Seq2Seq：编码器-解码器序列模型；本文用 3 层 LSTM、512 hidden、输出 156 维手关节。\n- Head pose / IMU：头部位姿与惯性测量单元；Table 5 的 I 指 head pose（传感器来源与 IMU 类似）。\n- Per-task split：按任务分别划分 train/val/test；本文 70/10/20，可能不保证参与者 disjoint。\n- Head/tail classes：按动作频次分头类/尾类；细动作 1082 head、805 tail。\n- Static-H：手部预测静态基线，直接用输入最后一帧手姿态。\n- IRB：伦理审查委员会；本文称数据采集获 IRB 批准，原文可应要求提供。\n\n\n\n\n\n### 全部图表索引\n\n图/表索引（基于所给正文与补充材料；图片为 markdown 链接，视觉细节未能从文本核验）：\n\n- Fig. 1：双人交互设置与七模态+文本；Sec. 1；关联“真实世界双人辅助采集”。详见 module_d。\n- Fig. 2：动作/对话标注结构（mistake/correct、purpose）；Sec. 1/3.2；关联标注定义。\n- Fig. 3：参与者年龄/职业/性别/地域多样性；Sec. 3.1；关联参与者多样性。\n- Fig. 4：自报任务熟练度与 session 长度/离群；Sec. 3.1；关联技能差异与时长方差。\n- Fig. 5：166 h 数据按活动 sessions 数与分钟数分布；Sec. 3.1；关联数据规模/任务分布。\n- Fig. 6：粗动作时长、top-30 动词/名词；Sec. 3.2；关联粗动作长尾。\n- Fig. 7：细动作时长、top-30 动词/名词；Sec. 3.2；关联细动作短时长与长尾。\n- Fig. 8：3D 手部预测定性（绿 GT、红预测）；Sec. 5；关联手部预测随 horizon 变差。详见 module_d。\n- Table 1：16 物体按 small/medium/big/rare 分类与 20 任务；Sec. 3.1；关联物体多样性。\n- Table 2：与 Epic-Kitchens-100、Assembly101、Ego4D、VirtualHome、ALFRED、Habitat、BEHAVIOR、IGLU、TEACh 比较；Sec. 3.1；关联数据定位。详见 module_d。\n- Table 3：immediate vs lazy intervention 的 top mistakes；Sec. 4.1；关联错误严重度与干预时机。\n- Table 4：intervention transcripts 中 spatial deixis 例子；Sec. 4.1；关联 grounded guidance。\n- Table 5：细粒度动作识别（pretrained/scratch × 模态）；Sec. 5；关联多模态动作识别。详见 module_d。\n- Table 6：粗粒度动作识别；Sec. 5；关联粗动作趋势同 Table 5。\n- Table 7：错误检测 F-score/P/R；Sec. 5；关联手部姿态优势。详见 module_d。\n- Table 8：干预类型预测 overall/三类 P/R；Sec. 5；关联干预预测；与正文数值不一致，待核实。详见 module_d。\n- Table 9：3D 手部预测 MPJPE 0.5/1.0/1.5 s；Sec. 5；关联手部预测与 Static-H。详见 module_d。\n- Fig. S1：Assemble tray table 的 intervention-actions 树与三名 performer 干预时刻；S.1；关联不同用户需不同监督。\n- Fig. S2：标注示例（Nintendo Joy-Con 长文本摘要）；S.4；关联文本摘要风格。\n- Fig. S3：3D 手部预测定性（多模态可选）；S.5.2；关联手部预测误差可视化。\n- Fig. S4：数据样本可视化（点云/head pose、RGB、depth）；S.6；关联传感器样本。\n- Table S1：instructor 任务说明（GoPro/Nintendo/DSLR/咖啡机/打印机/IKEA/lab objects）；S.2.1；关联任务协议。\n- Table S2：七路传感器流、表示与 FPS；S.3；关联采集规格。\n缺失/不可读：正文未给页码；图像内容以链接嵌入，无法核验分辨率外的视觉细节；IRB 同意书/信息表称可应要求提供，本地未附；未给标注者间一致性原始文件。\n\n\n\n\n## 第三轮：评估与复现\n\n\n### 可信度、局限与复现\n\n可靠结论与证据强度：\n\n- 可较可信：HoloAssist 的采集设置与数据规格有正文 Sec. 3.1、Table 1/2、Table S2 与 Fig. 1 支撑：166 h、2,221 sessions、350 对、222 人、16 物体/20 任务、7 路同步传感器+文本；这些是描述性事实，但仍依赖数据主页/工具可获取性。\n- 可较可信：基准任务定义清楚（Sec. 4.2、S.5.1）：细/粗动作识别、错误检测、干预类型预测、3D 手部预测；锚点数值如 RGB 细动作 34.83 top-1、粗动作 50.91 top-1、Hands 错误检测 F=40.19、H 手部预测 9.80/10.68/11.25 cm 与表格一致。\n- 证据不足/待核实：正文称 R+H+E 干预预测 overall precision/recall=48.31/37.59 并较 RGB 提升约 35/4 点，但 Table 8 无 R+H+E 行，RGB recall=46.09，R+E=47.38，R+H+E+I=47.75；该核心结论不能作为已证实结论。\n- 证据不足：多模态简单拼接稳定提升不成立；预训练后增益被削弱，scratch 下 R+H 有用但预训练后下降（Table 5/6）。错误类约 6%，F-score 对阈值/类别不平衡敏感。\n- 关键假设：per-task 70/10/20 按 session 划分且未说明 participant/task-instance disjoint，存在同一参与者或任务泄漏风险；标注者间一致性、IRB 原文、随机种子/方差、depth 结果表未报告；这些会直接影响泛化与可复现性。\n- 失败场景与后果：若 split 泄漏，基准分数偏高，跨用户泛化被高估；若标注噪声集中在 tail classes，长尾指标与错误检测 F 不稳定；若传感器同步/坐标系或无效手部过滤不一致，手部预测与多模态结果不可比；若干预标签主观且类别极偏，precision/recall 波动大。\n\n复现计划：\n\n1) 必需产物：从 <https://holoassist.github.io/> 获取数据与许可；从 PSI 的 HoloLensCapture 获取采集工具；获得标注定义/统计、split 元数据、benchmark 代码或自行实现；确认 IRB/consent 与数据使用条款。当前本地未附数据/代码/许可，属 blocker。\n2) 重要设置：30 fps 同步；动作识别每段随机 8 帧；TimeSformer vit_base_patch16_224；15 epoch、SGD、初始 lr 0.01、batch 64、epoch 11/14 除 10、4×A6000；多模态 token 数：手 26×2、gaze 1、head 1、depth 196；手部 Seq2Seq：512 hidden、3 层 LSTM、输出 156 维、L2 loss、Adam lr 0.1。\n3) 验证步骤：先核对 session 数、小时数、模态 FPS 与坐标约定（X=Forward,Y=Left,Z=Up）；重建 per-task 70/10/20 split，并额外做 participant-disjoint split 对照；复现 RGB 与 Hands 两个锚点（细动作 RGB 34.83、错误检测 Hands 40.19、手部 H 9.80/10.68/11.25 cm）；对干预预测补跑 R+H+E 并记录 macro-F1/AUPRC/每类 P/R；报告 3 个随机种子的均值/方差。\n4) 成功标准：锚点数值在合理容差内复现且趋势一致（预训练 RGB 强、scratch 下 R+H 优于 RGB、Hands 错误检测最佳）；若 participant-disjoint 后性能显著下降，应把泄漏列为已证实风险；若干预表仍无法复现正文 48.31/37.59，应确认论文内部不一致而非实现失败。\n5) 暂不需要的：完整重采集 166 h 数据不是验证基准的首要条件；可用公开数据复现离线基准。若要做采集工具验证，则需 HoloLens 2、网络与存储环境。\n\n\n\n\n\n### 应用约束\n\n实际约束（区分已演示与推断）：\n\n- 已演示：离线数据采集与标注流程可运行；HoloLens 2+PSI client-server 支持实时流与落盘；基准在 4×A6000 上训练，细动作识别约 1 天；离线指标覆盖动作识别、错误检测、干预预测、手部预测。\n- 数据约束：需专业标注（粗/细动作、错误、对话、文本摘要）、IRB/consent、隐私与音频处理；166 h 数据规模大，标注与审计成本高；物体含稀有实验室设备，复采集困难；数据许可与下载条款未在本地核验。\n- 计算/延迟：训练需多 GPU；TimeSformer+多模态 token 的推理延迟未报告，不能推断可在 HoloLens 2 或边缘设备实时运行；干预预测需 1/3/5 s 历史窗口，属于离线回放评估，未验证在线闭路延迟与误干预成本。\n- 鲁棒性：错误类约 6%，长尾动作/名词多，基线 top-1 约 35%（细）和 50%（粗），手部预测 0.5 s 约 9.8 cm 且随 horizon 变差；对光照、遮挡、网络、麦克风噪声、非英语指令、新物体/新任务的泛化未报告。\n- 适用性：适合作为真实双人 egocentric 辅助交互的数据资源与离线基准；不适合直接宣称已构建可部署 AI 助手。部署前需补充在线状态估计、干预策略、安全约束、用户研究和端侧延迟测量。\n- 推断而非已演示：跨参与者/跨任务泛化、实时多模态融合、低延迟干预决策、隐私合规的端到端系统均未由论文实验证明。\n\n\n\n\n\n### 探索问题\n\n1) 问题：per-task split 是否存在参与者或任务实例泄漏？验证：向作者索取 split 元数据，或从 session 元数据重建 participant-disjoint 与 task-instance-disjoint 划分，重跑 RGB 与 Hands 锚点并比较。收益：给出可信的跨用户泛化上界；风险：训练数据减少、指标下降，且与原文表不可直接比较。\n2) 问题：干预预测的 R+H+E 结论是否成立，类别不平衡下应如何评价？验证：补跑 R+H+E 行，使用 macro-F1、AUPRC、每类 P/R、校准与多随机种子，并核对 Table 8 与正文 48.31/37.59 的差异。收益：确认 hand+gaze 是否真有稳定收益；风险：标签主观、干预时刻有反应延迟，重跑仍可能不显著。\n3) 问题：如何从离线干预类型预测走向在线“何时干预”？验证：用回放式闭环评估，在 1/3/5 s 窗口上加入误干预代价、延迟预算和 abstain 机制，比较固定阈值与学习策略。收益：连接数据集与真实助手部署；风险：缺少真实在线用户反馈，离线标签不能完全代表干预收益。\n\n\n\n\n\n### 引用与核验\n\n引用与核验说明：\n\n- 论文内部可核验：作者/单位（Microsoft、ETH Zurich）与数据集规格见首页、Sec. 3.1、Table 1/2、Table S2；基准定义与超参见 Sec. 4.2、S.5.1；这些为供给文档直接支撑。\n- 发表信息：所给文档未明确写 venue/date；“ICCV 2023”沿用先前字段，尚未通过正式出版页核验，标记待核实。\n- 复现依赖引用：[^3] PSI HoloLensCapture GitHub、[^2] HoloLens 2、[^9] TimeSformer、[^13] ViT、[^37] Seq2Seq、[^15] ResNet、[^17] Adam。本文仅确认论文给出这些引用/链接，未访问仓库或原文，不能确认当前可用性、版本、许可或与论文设置完全一致。\n- 最强比较/新颖性引用：[^14] Ego4D、[^33] Assembly101、[^27] TEACh、[^44]/[^18] IGLU、[^28] VirtualHome、[^38] Habitat、[^35] ALFRED、[^36] BEHAVIOR。Table 2 的“协作/交互”“程序性”“小时数”比较是作者口径，未独立核验各数据集原文与统计口径。\n- 外部事实：数据主页 <https://holoassist.github.io/、代码/工具链接、数据许可、IRB> 同意书、当前 SOTA 与后续工作均未在本环境浏览核验；不能把“可下载/可复现”当作已证实事实。\n- 未逐一检查的引用：文献综述中大量 HCI/机器人/异常检测引用仅按论文叙述记录，未逐条核对；涉及关键数值的 Table 7/8/9 以论文表格为准，其中 Table 8 与正文冲突已在 module_e 标注。\n\n\n\n\n\n### 最终判断\n\n最终判断：这篇论文最可信的部分是“真实双人 egocentric 辅助交互数据集+采集工具+任务/标注定义”，而不是某个强算法或已解决的多模态融合方案。可把它当作数据资源、问题定义和离线基准来用；对“hand+gaze 显著提升干预预测”“多模态拼接稳定提升”“可实时部署”应保持保留，尤其 Table 8 数值不一致、split 泄漏风险、标注一致性和端侧延迟未报告。使用建议：先做数据/许可与 split 元数据核验，再做 participant-disjoint 重跑和标注一致性审计；若只选一个复现锚点，优先 RGB/Hands 的动作识别与错误检测。下一步：获取数据与工具并核对许可和 split 后，先复现 RGB 细动作 34.83 与 Hands 错误检测 F=40.19 两个锚点。"
}