{
  "paper_id": "ecb4942e04250ee666f6c235e3213e0c",
  "paper_title": "Assembly101: A Large-Scale Multi-View Video Dataset for Understanding Procedural Activities",
  "paper_authors": [
    "Fadime Sener",
    "Dibyadip Chatterjee",
    "Daniel Shelepov",
    "Kun He",
    "Dipika Singhania",
    "Robert Wang",
    "Angela Yao"
  ],
  "publication_date": "",
  "publication_venue": "2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)",
  "abstract": "Assembly101是一个新的程序化活动数据集，包含4321段人们组装和拆解101种“可拆解”玩具车的视频。参与者无固定指令，序列在动作顺序、错误和纠正方面具有丰富自然变化。它是首个同时具有8个固定视角和4个自我中心视角录制的多视角动作数据集，标注有超过10万个粗粒度动作片段、100万个细粒度动作片段以及1800万个3D手部姿态。论文在动作识别、动作预测和时序分割三项动作理解任务上进行基准测试，并提出新的错误检测任务。独特录制形式和丰富标注可用于研究新玩具泛化、跨视角迁移、长尾分布以及姿态与外观的差异，作者期望该数据集成为研究多种活动理解问题的新挑战。\n",
  "keywords": [
    "程序化活动理解",
    "多视角视频数据集",
    "自我中心视角",
    "动作识别",
    "动作预测",
    "时序动作分割",
    "错误检测",
    "3D手部姿态",
    "手物交互",
    "长尾分布",
    "跨视角迁移"
  ],
  "paper_institutions": [
    "Meta Reality Labs Research",
    "National University of Singapore"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:34:33.034306Z",
  "template_tag": "deep_read",
  "summary": "# Assembly101: A Large-Scale Multi-View Video Dataset for Understanding Procedural Activities\n\n\n**作者 / Authors:** Fadime Sener, Dibyadip Chatterjee, Daniel Shelepov, Kun He, Dipika Singhania, Robert Wang, Angela Yao\n\n\n**单位 / Institutions:** Meta Reality Labs Research, National University of Singapore\n\n\n\n**输出语言 / Output Language:** zh\n\n\n\n\n\n\n## 第一轮：问题与贡献\n\n\n### 材料与类型\n\n材料检查：文档包含正文、补充材料、参考文献与基线实现细节；未提供可访问代码/数据链接的实际核验，测试集真值被保留，因此复现与独立验证需外部资源。论文类型判为 other（数据集/基准论文），因为主要贡献是数据采集、标注协议与基准任务，而非新算法或系统架构；也不属于 survey。影响解读的缺口：文档未明确出版日期/会议，代码与数据发布状态未核验，标注者间一致性未报告，附录只给出基线实现细节。\n\n\n\n\n\n### 问题\n\n问题：现有动作理解基准难以支撑真实 AR/智能助手场景中的目标导向、自由顺序装配/拆解活动理解。此类活动包含长序列、重复步骤、动作顺序变化、错误与纠正，以及静态第三人称与第一人称同步观测；现有数据多为在线教学视频或厨房/脚本化活动，或规模小、顺序固定、缺少错误/纠正与同步多视角/3D 手部姿态标注。为什么重要：识别用户正在做什么、预判下一步、检查不合规步骤并在出错时提醒，是 AR 辅助和技能评估的关键能力。主要不足：缺少大规模、非脚本化、多视角（固定+ego）、多粒度动作与错误标注的数据，且此前没有面向程序性活动的错误检测基准。\n\n\n\n\n\n### 概览与阅读路线\n\n一句话：论文发布 Assembly101——一个大规模程序性活动数据集，用 101 个拆装玩具、12 路同步视角和百万级多粒度动作标注，建立识别、预判、时序分割与错误检测基准。\n\n核心思路与贡献：采集非脚本化、目标导向的拆装过程，保留自然动作顺序、重复、错误与纠正；同时提供 8 个固定视角与 4 个 ego 视角，并给出多粒度动作、技能等级和 3D 手部姿态标注。相对已有工作，其贡献主要是规模、同步多视角、多粒度和错误/纠正标注，而非提出新模型。\n\n最重要结果与条件：固定视角普遍优于 ego 视角；头部类显著优于尾部类；已见玩具优于未见玩具；3D 姿态在动词识别上较强、在物体识别上较弱；错误检测很难，即使使用 oracle coarse 标签，mistake/correction 召回也仅约 62.7%/84.9%，用 TSM 特征时更低。条件：基线为 TSM、TempAgg、2s-AGCN、MS-G3D、MS-TCN++、C2F-TCN，结果来自表 5–10，测试集真值保留。\n\n作者声称与证据边界：作者声称这是当时最大的程序性活动数据集并首次定义程序性活动错误检测任务；规模统计由表 1–5 支持，但独立泛化性、标注可靠性和发布可用性仍需核验。\n\n优先阅读：§3 录制与标注、§4 统计与划分、§5 基准实验；表 1–10；图 1、3、4。下一轮问题：标注协议与一致性如何保证；seen/unseen 玩具与动作类别是否存在泄漏；错误检测的输入/输出协议是否可复现；跨视角域差距是否被充分隔离；代码与数据是否可实际获取。\n\n过渡：下一轮应围绕标注协议、数据划分和基准协议核查这些结论的可复现性与证据强度。\n\n\n\n\n## 第二轮：方法与证据\n\n\n### 方法与公式\n\n本文不是提出单一识别算法，而是构建数据集与基准协议。输入→关键步骤→输出如下。\n\n输入：53 名成人参与者在无固定说明、仅给成品参考图的条件下，对 101 个“可拆装玩具车”进行拆解与再装配；每人约 1 小时、通常 6 个玩具。\n\n关键步骤：\n(1) 录制：8 台 RGB（1920×1080，5 个 overhead、3 个侧面）+4 台单目 ego（640×480，头显四角）；SMPTE 时间码同步，用标定物做几何标定到亚像素。\n(2) 两粒度标注：细粒度动作为“动词+对象/部件”的手-物交互，含 pre-contact、interaction、post-contact 三阶段，允许重叠；粗粒度为部件 attach/detach 的连续段。细粒度 24 动词×90 对象，观察到 1,380 类；粗粒度 11 动词×61 对象，202 类。\n(3) 错误/技能标注：对装配粗段并行标 {correct, mistake, correction}；技能 1–5。\n(4) 3D 手姿态：从 4 个 ego 单目视角用改进 MEgATrack [^19] 做多视角特征融合、回归关节角与全局变换，再前向运动学得到每手 21 个关键点，转到世界坐标。\n(5) 定义四项任务：细粒度识别、1 秒前预判、粗粒度时序分割、错误检测；并规定 seen/unseen 玩具、head/tail、固定/ego、assembly/disassembly 等评测条件。\n\n输出：4,321 条视频、513 小时、1,013,523 个细粒度段、104,759 个粗粒度段、约 18M 3D 手姿态，以及 TSM/TempAgg/2s-AGCN/MS-G3D/MS-TCN++/C2F-TCN 的基准结果。\n\n关键公式（属于数据统计/协议，不是新算法推导）：\n\n- 重复分数：$1-u_i/g_i$，$u_i$ 为视频 i 中唯一动作数，$g_i$ 为总动作数；越接近 1 重复越多。例：若 10 个动作只有 5 个唯一类，则分数 0.5。\n- 顺序一致性分数：$1-e(R,G)/\\max(|R|,|G|)$，$e(R,G)$ 为两粗动作序列的编辑距离；1 表示无顺序偏差，越低表示顺序变化越大。论文报告 Breakfast 0.15、50Salads 0.02、Assembly101 0.05，故 Breakfast 顺序更固定。\n- 评测指标：识别用 Top-1/Top-5；预判用 class-mean Top-5 recall；分割用 MoF、Edit、F1@{10,25,50}；错误检测用 mistake/correction 的 per-class precision/recall。\n\n必要模块：多视角同步与标定是跨视角分析的前提；标注界面与标注者培训是标签质量前提；3D 姿态管线是 pose-vs-appearance 实验的前提。标注者间一致性、标注误差估计未在正文报告，待核验。\n\n\n\n\n\n### 评测设置\n\n数据与协议：主数据为 362 个拆装序列、4,321 条视频、513 小时、53 名参与者、101 个玩具/15 类；12 路视角（8 固定 RGB + 4 ego 单目）。标注规模：1,013,523 个细粒度段（24 动词、90 对象、1,380 类，平均 1.7±2 秒/段，平均 236.7±98.4 段/序列）；104,759 个粗粒度段（11 动词、61 对象、202 类，平均 16.5±15.7 秒/段）；每手 21 点 3D 姿态，摘要称 18M 手姿态，表 4 称 110–111M 帧。错误分布：装配粗段中 15.9% mistake、6.7% correction；补充表 4 给出 train/val/test 的 correct/mistake/correction 计数。\n\n划分：60%/15%/25% 视频为 train/val/test；test 真值保留用于在线 leaderboard。101 个玩具中 25 个在三 split 共享；验证/测试含未见玩具（补充称 val 16、test 20 个 unseen toy instances；表 5 列 train/val/test #unseen toys 为 40/16/20，口径需核验）。head/tail 定义：占训练数据 30% 实例的类为 tail，细粒度 1,238 类（89%）、粗粒度 171 类（84%）。\n\n任务与指标：\n\n- 识别：预裁剪细粒度片段，TSM（RGB）、2s-AGCN/MS-G3D（3D pose）；Top-1，补充给 Top-5。\n- 预判：预测 1 秒后开始的细粒度动作，TempAgg；class-mean Top-5 recall。\n- 时序分割：帧级粗动作，MS-TCN++ 与 C2F-TCN，输入为在 Assembly101 上训练/微调的 TSM 帧特征；MoF、Edit、F1@{10,25,50}。\n- 错误检测：TempAgg 输入从装配序列起点到当前粗段末端的帧特征，三分类 correct/mistake/correction；per-class precision/recall；设 Recognition（整段）与 Early prediction（半段）。\n\n基线实现细节（补充）：TSM 用 ResNet-50，SGD，momentum 0.9，weight decay 0.0005，dropout 0.5，50 epochs，batch 64，lr 0.001 在 20/40 epoch 降 10×；2s-AGCN 30 epochs、batch 32、lr 0.1；MS-G3D 50 epochs、batch 16、lr 0.05；TempAgg 15 epochs、batch 32、lr 0.0001，第 10 epoch 降 10×；分割模型 200 epochs、batch 20，MS-TCN++ lr 0.0005，C2F-TCN lr 0.001。\n\n缺失与公平性：未报告总 GPU 时/能耗、随机种子、置信区间；错误检测仅说明单 GPU。不同模态（RGB vs pose）与不同输入（单视角、4 ego 融合、固定+ego）结果不能直接等同比较；seen/unseen 与 head/tail 的划分细节主要在补充，独立复现需发布划分文件。测试集真值保留意味着本文表内数字可复核性受限，需在线评测或申请标签。\n\n\n\n\n\n### 结果与证据\n\n关键结果及条件如下。\n\n1) 视角差距：表 5 中 TSM 细粒度识别 overall action：Fixed 39.2、Egocentric 23.0、Fixed & Ego 34.0；预判 overall action Top-5 recall：Fixed 10.4、Ego 5.5、Fixed & Ego 8.8。表 7 分割 C2F-TCN：Fixed MoF 41.3、Ego 34.8。说明固定视角显著优于 ego，且简单拼接/同时训练未超过纯固定视角；但这只反映所试基线，不等于多视角融合上限。\n\n2) 长尾：表 5 Fixed 识别 head action 51.1 vs tail 9.3；overall action 39.2。预判 Fixed head action 30.7 vs tail 6.7。表 7 正文称 tail MoF 7.2 vs head 51.5（正文 5.3 节；表 7 未单列 head/tail）。支持长尾极难，但 head/tail 划分依赖训练分布，跨数据集不可直接比。\n\n3) seen vs unseen：表 5 recognition Fixed seen action 42.0 vs unseen 38.3；object 55.3 vs 48.8，verb 63.0 vs 64.3。表 7 分割 seen disassembly MoF 39.8 vs unseen 38.9；seen assembly 42.5 vs unseen 34.8。说明对象泛化差距大于动词，装配 unseen 更难；但 unseen 玩具数量与类别覆盖有限。\n\n4) pose vs appearance：表 8 中 TSM ego 4 视角融合 verb 59.0/object 46.5/action 33.8；MS-G3D w/context verb 65.7/object 36.3/action 28.7。姿态在动词上高 6.7、对象低 10.2、动作低 5.1（相对 TSM ego）。加入 oracle Object GT 后 MS-G3D+context action 62.0，说明对象信息是瓶颈；但 oracle 使用帧级真值对象，非现实可得。\n\n5) 错误检测：表 10 用 GT coarse 输入时 mistake precision/recall 48.6/62.7、correction 65.6/84.9；用 TSM 特征 Recognition 为 30.8/46.6 与 30.8/29.6；Early prediction 为 29.3/35.0 与 26.5/26.4。即使 oracle 粗标签召回也有限，支持任务困难；但 precision 低、类别不平衡、oracle 非视觉输入，不能据此断言实际 AR 可用性。\n\n总体：证据支持“数据规模大、固定视角优于 ego、长尾与 unseen 难、姿态与外观互补、错误检测很难”等基准结论；但缺少标注一致性、显著性检验与独立复现，创新性主张（最大程序活动数据集、首个错误检测基准）需外部核验。\n\n\n\n\n\n### 相关工作\n\n最接近的工作可分为三类。\n\n1) 装配/家具类录制数据：IKEA ASM [^2] 与 Meccano [^34]。论文称 IKEA ASM 有 371 个视频、35 小时、33 个动作、17,577 段；Meccano 有 20 个视频、6.9 小时、61 个动作、8,858 段。Assembly101 声称在动作类别上多 23–44 倍、段数多 56–111 倍（表 1）。实际差异不仅是规模：Assembly101 是非脚本、目标导向拆装，含错误/纠正、技能等级、同步固定+ego 多视角与 3D 手姿态；IKEA/Meccano 更偏固定流程或工业-like 场景。代价是 12 路相机、定制头显、21 名标注者 213 小时标注，采集与质控成本高。\n\n2) 大规模 egocentric 数据：EPIC-KITCHENS-100 [^6] 与 Ego4D [^17]。论文称 Assembly101 的 ego 部分为 167 小时、1,425 个视频、331,310 段，相较 EPIC 有 1.7× ego 时长和 11× 动作段；相较 Ego4D 标注子集有 12× 段。差异在于 Assembly101 提供同步固定视角作为“privileged information”，且 ego 头显姿态相对固定视角可几何关联；EPIC/Ego4D 主要是 ego，缺少同步固定多视角。\n\n3) 时序分割/程序活动数据：Breakfast [^22] 与 50Salads [^47]。论文称相较 Breakfast，Assembly101 有 2.5× 视频、6.7× 小时、9.3× 段、4.2× 类；并用重复分数和顺序分数说明 Breakfast 顺序更固定，Assembly101 有更多重复与顺序变化。Charades-EGO [^42] 虽同时有 ego 与第三人称，但论文称其两个视角是异步采集；Assembly101 强调同步与标定。\n\n以上均为论文自述及表 1–4 的比较；未对原始数据集主页或代码做外部核验，具体统计口径与发布状态待核验。\n\n\n\n\n\n### 关键图表解读\n\n重点证据 1：表 1/表 2（规模比较）。表 1 比较细粒度动作数据集，表 2 比较粗粒度分割数据集；它们支撑“当时最大程序活动数据集”的规模主张（1,013,523 细段、104,759 粗段、513 小时、4,321 视频；相较 Breakfast 2.5× 视频、6.7× 小时、9.3× 段、4.2× 类）。解释限制：统计口径由作者定义，未独立计数；不同数据集的“段”定义与标注密度不同，倍数不宜当作难度倍数。\n\n重点证据 2：表 5（识别与预判）。它同时给出 Overall/Head/Tail/Seen/Unseen 与 Fixed/Ego/Fixed&Ego，是“固定视角优于 ego、长尾差距大、对象泛化差”的主证据（如 Fixed action 39.2 vs Ego 23.0；head 51.1 vs tail 9.3）。限制：单一 TSM/TempAgg 基线、无置信区间；Fixed&Ego 的融合方式简单，不能代表所有多视角方法。\n\n重点证据 3：表 7（时序分割）。C2F-TCN 在 all 上 MoF 39.2、Edit 32.4、F1@10/25/50=33.3/29.0/21.3；Fixed 41.3 vs Ego 34.8；seen assembly 42.5 vs unseen assembly 34.8。支撑分割任务难度与视角/泛化差距。限制：输入特征是 Assembly101 上训练的 TSM，分割模型并非端到端；表 7 的 head/tail 只在正文叙述，表内未完整列出。\n\n重点证据 4：表 8（3D 姿态 vs 视频）。MS-G3D w/context 的 verb 65.7 高于 TSM ego 的 59.0，但 object 36.3 低于 46.5、action 28.7 低于 33.8；oracle Object GT 融合后 action 62.0。支撑“姿态强于动作、弱于物体，物体信息是瓶颈”。限制：oracle 使用真值对象标签，不是可部署输入；姿态由 MEgATrack 估计，跟踪误差未单独评估。\n\n重点证据 5：表 10（错误检测）。GT coarse 输入下 mistake recall 62.7、correction recall 84.9；TSM 特征下降至 46.6/29.6，early prediction 再降至 35.0/26.4。支撑“错误检测很难、长程程序知识重要”。限制：precision 低、类别不平衡、GT coarse 是 oracle 输入；未报告实际部署的延迟与误报成本。\n\n过渡：以上证据主要证明基准的挑战性与数据规模；下一步评估应重点核查标注可靠性、划分泄漏、基线公平性与发布可用性。\n\n\n\n\n\n### 术语表\n\n术语与记号（按首次使用解释）：\n\n- 程序性活动（procedural activity）：由多个有序或半有序步骤组成、以完成目标为导向的活动，如装配/拆装。本文关注非脚本、可重复、可出错的长序列。\n- 细粒度动作（fine-grained action）：单个“动词+对象/部件”的手-物交互，可能含接近、接触、释放三阶段；平均约 1.7 秒，允许重叠。\n- 粗粒度动作（coarse action）：一个车辆部件的 attach/detach 过程，连续、平均约 16.5 秒；用于时序分割与错误标注。\n- 可拆装玩具（take-apart toy）：可用螺丝/工具拆装的车类玩具；101 个玩具、15 类。\n- 固定视角（fixed/static view）：桌面脚手架上的 8 台 RGB 相机，提供第三人称观测。\n- egocentric/ego 视角：参与者头显四角的 4 台单目相机，提供第一人称观测；与固定视角同步并标定。\n- 多视角同步（synchronized multi-view）：所有相机用 SMPTE 时间码对齐，并做几何标定；本文的关键“privileged information”。\n- 重复分数（repetition score）：$1-u_i/g_i$，衡量同一视频中动作重复程度；越高重复越多。\n- 顺序一致性分数（order consistency）：$1-e(R,G)/\\max(|R|,|G|)$，e 为编辑距离；1 表示无顺序偏差，越低顺序变化越大。论文表中称 order variations，但数值解释为一致性。\n- head/tail 类：按训练实例数划分；占 30% 实例的类为 tail。本文细粒度 tail 有 1,238 类（89%），粗粒度 171 类（84%）。\n- seen/unseen toys：训练中见过/未见的玩具；用于零样本式泛化评估。101 个玩具中 25 个三 split 共享。\n- MoF（mean frame-wise accuracy）：帧级平均准确率；长动作主导，不能单独反映过分割。\n- Edit：段级编辑距离分数；衡量分割序列与真值的顺序/边界差异。\n- F1@{10,25,50}：在 IoU/重叠阈值 10%、25%、50% 下的段级 F1；阈值越高越严格。\n- Top-1/Top-5：预测类别中排名第 1/前 5 是否命中真值。\n- class-mean Top-5 recall：先按类算 Top-5 召回再平均，用于缓解长尾；本文预判主指标。\n- TSM（Temporal Shift Module）：2D CNN 上做时间通道移位的高效视频识别基线；本文 RGB 基线。\n- TempAgg：对长程帧特征做多尺度时间聚合的模型；本文预判与错误检测基线。\n- 2s-AGCN / MS-G3D：骨架/图卷积动作识别模型；本文用于 3D 手姿态输入。\n- MS-TCN++ / C2F-TCN：时序卷积动作分割模型；后者为 shrink-then-expand 的 U-Net 式结构。\n- 3D hand pose：每手 21 个关键点的世界坐标；由 4 个 ego 视角多视角跟踪得到。\n- mistake/correction：粗装配段中的错误动作与纠正动作；与 correct 三分类。\n- oracle 输入：使用真值标签（如 GT coarse、Object GT）作为模型输入的上界实验，不代表可部署性能。\n\n\n\n\n\n### 全部图表索引\n\n正文图表索引（按提供材料）：\n\n- 图 1：同步固定多视角与 ego 录制示例，及细/粗动作、3D 手姿态、技能、错误标注示意；支撑数据形态与标注主张。\n- 图 2：定制头显与多相机桌面 rig；说明采集硬件。\n- 图 3：15 个玩具类别示例与每类玩具/录制分布；支撑类别覆盖与长尾。\n- 图 4：视频、细粒度动作、粗粒度动作的时长分布（7.1 分、1.7 秒、16.5 秒）；支撑统计。\n- 图 5：技能等级对分割分数的影响（d=disassembly，a=assembly）；支撑低技能装配更难。\n- 表 1：细粒度动作数据集比较；支撑规模与多视角/ego/pose 覆盖主张。\n- 表 2：粗粒度动作数据集比较；支撑相较 Breakfast/50Salads 的规模。\n- 表 3：粗动作时序动态（重复分数、顺序分数）；支撑顺序变化与重复性。\n- 表 4：3D 手姿态数据集比较；支撑 82× 段、200× 帧等主张。\n- 表 5：细粒度识别 Top-1 与预判 Top-5 recall，按 Overall/Head/Tail/Seen/Unseen 与 Fixed/Ego/Fixed&Ego；核心结果表，解读见 module_d。\n- 表 6：单视角 Top-1 识别（v1–v8、e1–e4、all v/all e）；支撑 overhead 优于侧视、ego 内部差异与跨视角域差。\n- 表 7：时序分割基线（MS-TCN++、C2F-TCN；Fixed/Ego；Seen/Unseen；Assembly/Disassembly）；核心分割证据，解读见 module_d。\n- 表 8：3D 手姿态识别与 oracle Object GT；核心 pose-vs-appearance 证据，解读见 module_d。\n- 表 9：不同预训练数据（Kinetics、SSv2、EPIC、Assembly101）对 TempAgg 的影响；支撑域差距与原生预训练优势。\n- 表 10：错误检测结果（Recognition/Early prediction；GT coarse/TSM）；核心错误检测证据，解读见 module_d。\n\n补充材料图表索引：\n\n- 补充图 1：桌面 rig 与 8 RGB/4 单目相机样本帧；硬件补充。\n- 补充图 2：标注工具界面（视频、动词/工具/对象列表、时间条、动作列表）；说明标注流程。\n- 补充图 3：90 个对象与 24 个动词分布；说明标签空间与长尾。\n- 补充图 4：技能等级 1–5 在 train/val/test 的分布；支撑技能统计。\n- 补充图 5：各玩具类别的识别准确率与分割 MoF；支撑类别差异（如 transporter 最高）。\n- 补充图 6：对象与动词召回；支撑 tail verb（attempt to）低召回。\n- 补充表 1：细粒度动作识别数据集比较（含 recorded/multi-view/egocentric/pose/year）；与正文表 1 类似。\n- 补充表 2：粗粒度数据集比较（含 cooking 列）；与正文表 2 类似。\n- 补充表 3：3D 手姿态数据集比较（含 NTU RGB+D 60/120）；扩展正文表 4。\n- 补充表 4：correct/mistake/correction 在 train/val/test 的计数；支撑错误检测类别不平衡。\n- 补充表 5：Assembly101 及 train/val/test 详细统计（小时、视频、unseen/shared toys、细/粗段与类别数）；划分复现关键。\n- 补充表 6：细粒度识别 Top-5 准确率；扩展正文表 5 的 Top-1。\n- 补充表 7：识别/预判的 Overall 与 Fusion 结果；支撑多视角 score fusion 提升。\n\n缺失说明：提供材料未含代码/数据实际下载核验、标注者间一致性表、完整超参搜索与计算预算表；部分图像仅以 image 占位，视觉细节无法独立核读。\n\n\n\n\n## 第三轮：评估与复现\n\n\n### 可信度、局限与复现\n\n可信结论（按证据强度）：\n\n1) 数据构成与规模：表1、表2、表4、补充表5和§4.1–4.5支持4321条视频、513小时、1,013,523个细粒度段、104,759个粗粒度段、约18M手姿态、101个玩具/15类、53名参与者等描述；但这些是作者定义口径，未独立计数。核心创新“同步8固定+4 ego多视角”由§3.1、图1/2、补充§1.1支持，属于录制设计事实，可信度较高。\n2) 基准趋势：表5/6/7显示固定视角优于ego、head远高于tail、seen优于unseen且对象差距大于动词、装配低于拆卸；表8/9显示3D姿态在动词上较强、对象上较弱，oracle对象标签大幅提升动作，说明对象信息是瓶颈；表10显示错误检测很难。上述均是特定基线（TSM、TempAgg、MS-TCN++、C2F-TCN、2s-AGCN、MS-G3D）下的基准证据，不等于方法上限。\n3) 不足以支持或待核验：标注者间一致性/标注误差未报告（补充仅说4天培训、21人213小时）；测试集真值保留，表内数字不能完全离线复核；代码/数据发布状态未核验；“当时最大程序活动数据集”“首个程序活动错误检测任务”需外部核验；head/tail、unseen toy数量口径需核验（补充§2.4说val/test各16/20个unseen toy，表5列train/val/test #unseen toys为40/16/20，正文§4.6说25个toy三split共享）。\n关键假设：多相机SMPTE同步与几何标定准确；标注协议可复现且标签噪声不主导结论；split无玩具/参与者/部件泄漏；基线输入与预训练公平可比；3D手姿态跟踪误差未系统性偏向某些动作。\n失败场景与后果：若标注噪声大，tail和mistake/correction的召回结论不稳；若seen/unseen或head/tail划分泄漏，泛化差距被高估或低估；若Fixed&Ego只是简单拼接，视角结论不能外推到更强融合；若错误检测依赖GT coarse或整段输入，实际AR的延迟和误报成本未测；若MEgATrack在遮挡/侧视下误差大，pose-vs-appearance结论受污染。\n复现计划（核心创新优先）：必需工件：官方数据发布包（12路视频、时间码/标定、细/粗标注、错误/技能标签、3D手姿态、train/val/test划分文件、leaderboard提交格式）、基线代码或可复现实现、预训练权重。关键设置：TSM用ResNet-50，SGD momentum 0.9、weight decay 0.0005、dropout 0.5、50 epochs、batch 64、lr 0.001并在20/40 epoch降10×（补充§3.1.1）；TempAgg预判用TSM 2048-D特征，过去6秒、尺度K={5,3,2}，近期{1.6,1.2,0.8,0.4}秒、K_R=2，Adam 15 epochs、batch 32、dropout 0.3、lr 0.0001第10 epoch降10×（补充§3.2）；错误检测TempAgg用[s-60,e+60]、K={5,3,2}，近期{3,2,1,0}、K_R=5，单GPU，加权交叉熵（补充§3.4）；分割MS-TCN++/C2F-TCN用Adam、batch 20、最多200 epochs、早停，MS-TCN++ lr 0.0005、C2F-TCN lr 0.001（补充§3.3）；2s-AGCN 30 epochs、batch 32、lr 0.1；MS-G3D 50 epochs、batch 16、lr 0.05（补充§3.1.2）。验证步骤：先复现表5/补充表5的统计与split计数；再跑TSM fixed/ego/fusion的表5/6；跑TempAgg表5预判；跑C2F-TCN/MS-TCN++表7；跑MS-G3D/2s-AGCN表8；跑TempAgg表10的GT coarse与TSM两种输入。成功标准：在相同split、输入、预训练和融合协议下，主要指标与论文表5/7/8/10的差异可由随机种子和实现细节解释，且固定>ego、head>tail、seen>unseen、pose动词强/对象弱、错误检测难等方向性结论一致；若出现系统性偏离，优先审计数据划分、标签版本和特征提取。阻塞项：数据/代码可获取性、测试标签、标注一致性、随机种子/置信区间/总GPU预算均未在材料中给出。\n\n\n\n\n\n### 应用约束\n\n数据约束：12路同步录制依赖桌面rig、8台RGB、4台单目头显、SMPTE时间码和几何标定；53名参与者、101个玩具、513小时、1M+细段、21名标注者213小时，采集与标注成本高。测试集真值保留用于在线leaderboard，离线复现和误差分析受限于标签获取。\n\n计算与存储：4321条视频、513小时、表4称110–111M帧、约18M手姿态，存储与解码成本高；TSM用ResNet-50训练50 epochs、batch 64，分割模型最多200 epochs、batch 20，2s-AGCN/MS-G3D也需多轮训练；论文未报告总GPU时、能耗、随机种子和置信区间。\n\n延迟与部署：论文只给出离线基准，没有报告实时吞吐、端到端延迟、内存、功耗或误报成本。预判任务固定为1秒horizon；错误检测分“Recognition”整段输入和“Early prediction”半段输入，且最佳设置使用GT coarse oracle输入，不能视为可部署AR性能。12路视频同时推理对 wearable 不现实；ego-only更接近AR，但表5/6/7显示ego明显弱于固定视角。\n\n鲁棒性与适用性：已证明的鲁棒性挑战包括fixed vs ego域差距、长尾、unseen toys、assembly vs disassembly、低技能参与者；3D姿态对域偏移较不敏感但对象信息弱，oracle对象标签可使动作准确率大幅上升，说明对象感知是瓶颈。适用性：该论文是数据集与基准论文，不是可部署系统；可用于AR装配辅助、技能评估和错误检测研究，但实际部署行为均属推断，需额外实验验证。\n\n\n\n\n\n### 探索问题\n\n1) 标注可靠性与错误标签一致性如何？验证方法：从train/val中分层抽取细粒度段、粗粒度段和mistake/correction段，做双盲重标，报告Cohen’s κ或Fleiss’ κ、边界时间误差和混淆来源；对tail类与attempt-to动词单独分层。可能收益：判断长尾、错误检测和技能相关结论是否被标签噪声主导。风险：重标成本高，且可能暴露原标注定义歧义，导致标签版本不一致。\n\n2) seen/unseen与head/tail划分是否存在玩具、部件或参与者泄漏？验证方法：获取官方split文件，按toy instance、toy category、participant和object part做重叠审计；再用分组交叉验证重跑TSM/TempAgg/C2F-TCN的关键设置。可能收益：确认泛化差距是真实零样本难度还是共享部件/参与者造成。风险：若共享部件本身是任务的一部分，完全去泄漏会改变基准定义，结果不可直接与论文表5/7比较。\n\n3) 多视角融合能否显著超过纯固定视角，且 ego-only 部署时能否用固定视角作为特权教师？验证方法：在相同TSM backbone下比较early/late/feature fusion、跨视角蒸馏和固定视角教师到ego学生的迁移，统一报告表5/7指标与推理成本。可能收益：检验“固定优于ego”是否只是基线融合方式弱，并探索AR可用路径。风险：融合模型可能过拟合固定视角，实际只有ego时收益消失；跨视角蒸馏还会引入额外训练复杂度。\n\n\n\n\n\n### 引用与核验\n\n仅基于提供文档，未访问外部网页、原始数据集主页或代码仓库；以下为“文档内可定位”而非独立核实。\n\n支撑新颖性与最强比较的引用：IKEA ASM [^2] 与 Meccano [^34] 支撑装配类数据比较（表1/表2）；EPIC-KITCHENS-100 [^6] 与 Ego4D [^17] 支撑ego规模比较；Breakfast [^22] 与 50Salads [^47] 支撑时序分割和顺序动态比较（表2/表3）；Charades-EGO [^42] 支撑“同步 vs 异步多视角”差异。上述数据统计均转引自Assembly101论文，未核对原始论文或数据集页面，待外部验证。\n\n“首个错误检测任务”相关引用：[^46] forgotten actions、[^48] 监控异常检测、[^7][^13][^30][^53] 技能评估，用于说明此前没有程序活动错误检测基准；这是作者主张，未逐条核验原文范围。\n\n复现依赖引用：[^25] TSM、[^38] TempAgg、[^24] MS-TCN++、[^44] C2F-TCN、[^41] 2s-AGCN、[^26] MS-G3D、[^19] MEgATrack、[^36] 多视角3D姿态融合。补充§3给出多数超参，但未核验官方实现、预训练权重和数据发布包。论文给出的项目页为 <https://assembly-101.github.io/，本次未访问，代码/数据可用性待核验>。\n\n其他引用多为背景性工作（烹饪/教学视频、技能评估、骨架识别等），未逐条核对。注意正文与补充材料的参考文献编号不同（如TSM正文[^25]/补充[^18]，TempAgg正文[^38]/补充[^28]），交叉核对应按标题而非编号。出版日期与venue在文档中未给出，保持待核验。\n\n\n\n\n\n### 最终判断\n\n最值得信任的是数据集的录制设计、规模统计和基准趋势：同步固定+ego多视角、多粒度标注、错误/技能标签以及固定视角优于ego、长尾和unseen更难、错误检测很难等结论，在表1–10和补充材料中有明确证据。需要谨慎的是“最大数据集”“首个错误检测任务”、标注可靠性和发布可用性：材料未给标注者间一致性，测试真值保留，代码/数据状态未核验，且多数结论只对应有限基线。使用建议：把论文当作挑战性基准和数据资源来读，而不是当作已部署AR系统或SOTA方法；复现时先审计split、标签版本和特征提取，再逐表验证。下一步优先获取官方数据/代码并做标注一致性与split泄漏审计。"
}