{
  "paper_id": "ecb4942e04250ee666f6c235e3213e0c",
  "paper_title": "Assembly101: A Large-Scale Multi-View Video Dataset for Understanding Procedural Activities",
  "paper_authors": [
    "Fadime Sener",
    "Dibyadip Chatterjee",
    "Daniel Shelepov",
    "Kun He",
    "Dipika Singhania",
    "Robert Wang",
    "Angela Yao"
  ],
  "publication_date": "",
  "publication_venue": "2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)",
  "abstract": "Assembly101是一个新的程序化活动数据集，包含4321段人们组装和拆解101种“可拆解”玩具车的视频。参与者无固定指令，序列在动作顺序、错误和纠正方面具有丰富自然变化。它是首个同时具有8个固定视角和4个自我中心视角录制的多视角动作数据集，标注有超过10万个粗粒度动作片段、100万个细粒度动作片段以及1800万个3D手部姿态。论文在动作识别、动作预测和时序分割三项动作理解任务上进行基准测试，并提出新的错误检测任务。独特录制形式和丰富标注可用于研究新玩具泛化、跨视角迁移、长尾分布以及姿态与外观的差异，作者期望该数据集成为研究多种活动理解问题的新挑战。\n",
  "keywords": [
    "程序化活动理解",
    "多视角视频数据集",
    "自我中心视角",
    "动作识别",
    "动作预测",
    "时序动作分割",
    "错误检测",
    "3D手部姿态",
    "手物交互",
    "长尾分布",
    "跨视角迁移"
  ],
  "paper_institutions": [
    "Meta Reality Labs Research",
    "National University of Singapore"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:34:33.034306Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对现有程序化活动理解基准多来自烹饪或网络教学视频、遵循严格脚本或菜谱、规模较小且缺少同步外部与自我中心视角的问题，本文构建Assembly101，用于支持AR助手在家具组装、家电维修等现实场景中识别、预测、分割动作并发现错误。数据集让53名成人在无固定零件顺序、仅参考成品图的条件下拆装101种、15个类别中的可拆解玩具车，并先拆解再重装，以自然产生动作顺序变化、技能差异、错误与纠正；录制采用8台1920×1080固定RGB相机和4台640×480头戴单色相机，所有视角经SMPTE同步和标定，形成362个拆装序列、4321个视角视频、513小时录像。该设计用于验证同步多视角学习、跨视角迁移、长尾类别和新玩具泛化等问题；标注包括1,013,523个细粒度片段、104,759个粗粒度片段、约1800万个3D手部姿态，以及正确/错误/纠正标签和1至5级技能。实验选择TSM作为外观识别基线，TempAgg用于提前1秒预测与长程错误检测，MS-TCN++和C2F-TCN用于时序分割，2s-AGCN与MS-G3D用于姿态识别；指标包括动词、物体和动作Top-1准确率，类平均Top-5召回，MoF、Edit、F1@10/25/50，以及错误精确率和召回率。结果显示固定视角整体动作识别率为39.2%、自我中心视角为23.0%，分割MoF分别为41.3%和34.8%，C2F-TCN整体MoF为39.2%；头部与尾部动作识别差距约37%，未见玩具表现更低，说明长尾和新任务泛化仍困难；MS-G3D上下文姿态模型动作准确率为28.7%，低于四视角融合TSM的33.8%，但姿态动词识别更强且跨环境更稳定，加入真实物体标签后动作准确率可达62.0%。论文用重复分数`1-u_i/g_i`衡量序列重复程度，其中u_i是唯一动作数、g_i是总动作数，Assembly101平均为0.18、组装为0.23、拆解为0.11，显示其比Breakfast和50Salads包含更多重复步骤；错误检测即使以真实粗动作标签为输入，错误召回也仅62.7%、纠正召回为84.9%，使用TSM特征后降至46.6%和29.6%，半段早期预测进一步降至35.0%和26.4%。这些结果支持数据集在自由目标过程、同步多视角和多粒度标注上的挑战性，也表明长程程序知识、跨视角域适应、少样本尾部识别、3D物体与手部姿态联合建模是后续探索方向；其应用包括实时智能助手预测后续步骤、检测不合规操作并提供警报或帮助，主要约束是桌面玩具场景、固定录制硬件、类别长尾与错误类别不平衡，测试标注将保留用于在线排行榜。\n\n### 关键要点\n\n- Assembly101包含362个拆装序列，每个序列有12个同步视角，共4321个视频、513小时录像，平均序列时长为7.1±3.4分钟。\n- 录制系统由8台1920×1080固定RGB相机和4台640×480头戴单色相机构成，所有相机使用SMPTE时间码同步并通过基准标记进行几何标定。\n- 53名参与者在无书面步骤、仅展示成品玩具图片的条件下操作101种玩具；协议要求先拆解完成品再重新组装，以保留自然顺序、错误、纠正和技能差异。\n- 标注覆盖1,013,523个细粒度动作片段、104,759个粗粒度片段、3D双手关键点、参与者技能等级，以及粗粒度组装片段上的正确、错误和纠正标签。\n- 基准任务包括预修剪细粒度动作识别、提前1秒动作预测、逐帧时序分割和新提出的错误检测，分别使用Top-1准确率、类平均Top-5召回、MoF/Edit/F1和逐类精确率/召回率评估。\n- 固定视角整体动作识别率为39.2%，自我中心视角为23.0%；时序分割MoF分别为41.3%和34.8%，说明自我中心视角更具挑战性。\n- 仅用固定视角训练后交叉测试自我中心视角，或反向交叉测试时准确率显著下降，表明配对第三人称与第一人称视角之间存在明显域间隙。\n- 固定视角头部动作识别率为51.1%、尾部仅9.3%，未见玩具表现通常低于已见玩具，动词差异较小而物体差异较大，反映长尾和零样本泛化挑战。\n- MS-G3D上下文姿态模型动作准确率为28.7%，低于四视角融合TSM的33.8%，但姿态对动词更敏感、对跨环境域间隙更稳健，融合真实物体标签后动作准确率升至62.0%。\n- 在组装粗动作中，错误和纠正片段分别占15.9%和6.7%；TSM基线的错误和纠正召回为46.6%和29.6%，半段早期预测为35.0%和26.4%。\n- 数据集按60%、15%、25%划分训练、验证和测试集并保留测试真值用于排行榜，其结论受桌面玩具、固定录制装置和类别不平衡约束，不能直接代表所有工业或开放场景。"
}