{
  "paper_id": "9cdc6eaca6daa7dbb760d478b80ca934",
  "paper_title": "EgoScale: Scaling Dexterous Manipulation with Diverse Egocentric Human Data",
  "paper_authors": [
    "Ruijie Zheng",
    "Dantong Niu",
    "Yuqi Xie",
    "Jing Wang",
    "Mengda Xu",
    "Yunfan Jiang",
    "Fernando Castañeda",
    "Fengyuan Hu",
    "You Liang Tan",
    "Letian Fu",
    "Trevor Darrell",
    "Furong Huang",
    "Yuke Zhu",
    "Danfei Xu",
    "Linxi Fan"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "人类行为是学习物理智能最具可扩展性的数据来源之一，但如何有效利用它实现灵巧操作仍不明确。尽管已有工作在受限场景中展示了人到机器人的迁移，大规模人类数据能否支持细粒度、高自由度灵巧操作仍是开放问题。本文提出 EgoScale，一个基于大规模第一视角人类数据的人到灵巧操作迁移框架。作者在超过 20,854 小时、带动作标签的第一视角人类视频上训练视觉—语言—动作（VLA）模型，数据规模超过既往工作 20 倍，并发现人类数据规模与验证损失之间存在对数线性缩放律；该验证损失与下游真实机器人性能强相关，从而证明大规模人类数据是可预测的监督来源。除规模外，论文提出简单的两阶段迁移方案：大规模人类预训练，随后进行轻量级的人—机器人对齐中期训练。该方案以极少机器人监督实现强长程灵巧操作和单样本任务适应。最终策略在 22 自由度灵巧手上相对无预训练基线将平均成功率提升 54%，并能有效迁移到更低自由度手部的机器人，表明大规模人类运动提供了可复用、与本体无关的运动先验。\n",
  "keywords": [
    "EgoScale",
    "第一视角人类数据",
    "灵巧操作",
    "视觉—语言—动作模型",
    "缩放律",
    "人到机器人迁移",
    "单样本适应",
    "跨本体迁移"
  ],
  "paper_institutions": [
    "NVIDIA",
    "University of California, Berkeley",
    "University of Maryland"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:41:13.577791Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文针对人类视频虽具高度可扩展性、却尚不清楚能否驱动高自由度灵巧手完成复杂操作这一问题展开研究；相关工作通常只使用数十到数百小时人类数据，并主要面向夹爪或低自由度手，缺乏对规模、手指关节监督和真实机器人性能之间关系的系统验证。作者提出 EgoScale 框架，以基于流匹配的 VLA 模型为核心，将第一视角 RGB、语言指令、相对腕部 SE(3) 运动以及重定向到 22 自由度 Sharpa 手空间的关节动作统一起来，核心机制可表示为相对腕部动作 ΔW^t=(W_w^0)^(-1)W_w^t，并通过轻量化本体适配器适配不同本体的本体感知和手部动作。训练分为三阶段：第一阶段在 20,854 小时野外第一视角人类视频上预训练，其中包含 9,869 个场景、6,015 项任务和 43,237 个物体，并补充 829 小时高精度 EgoDex 数据，以同时获得长尾多样性和可靠运动锚点；第二阶段使用 344 项桌面任务、约 50 小时人类和 4 小时机器人的对齐人—机器人游戏数据进行中期训练，匹配视角、相机配置和任务空间，用于把人类表征落地到机器人感知与控制；第三阶段再用任务特定机器人演示微调。该设计将“规模”与“对齐”解耦，适合家庭、零售、维修、食品加工等真实场景，但也受限于自动 SLAM 与手部姿态估计噪声、机器人数据仍不可完全替代、所验证的数据范围为 1k 至 20k 小时且不能无依据外推。实验在 Galaxea R1Pro 双臂机器人上评估卷衣、分牌、夹子取物、拧瓶盖和注射器移液五项任务，采用绝对成功率与细粒度任务完成分数；离线验证集包含 2,000 个第一视角片段，通过 16 次流匹配采样平均后计算腕部和手部动作 MSE。结果显示，最优验证损失 L 与人类数据小时数 D 满足 L=0.024-0.003·ln(D)，R²=0.9983，平均任务完成分数从 1k 小时的 0.30 单调升至 20k 小时的 0.71；人类预训练结合中期训练相对无预训练基线平均成功率提升 54%，平均任务完成提升超过 55%，并在单样本设置下取得叠衬衫 0.88、拧水瓶盖 0.55 的成功率，还可通过 G1 三指手适配器和少量 G1 中期数据在两项任务上获得超过 30 个百分点的绝对提升。这些结果支持显式高自由度手部监督、可预测缩放和精确人—机对齐三项创新；未来可继续联合扩大数据与模型容量、利用自监督弱标注或无标注视频，并随着硬件更接近人类形态而追求更强的长程规划、组合泛化与零样本执行。\n\n### 关键要点\n\n- EgoScale 在 20,854 小时带动作标签的第一视角人类视频上预训练 VLA 模型，规模超过既往人—机器人策略迁移研究所用数据的 20 倍。\n- 预训练数据以多样化野外记录为主，覆盖 9,869 个场景、6,015 项任务和 43,237 个物体，并加入 829 小时高精度 EgoDex 数据以稳定运动监督。\n- 人类动作由相对腕部 SE(3) 运动和重定向后的 22 自由度 Sharpa 手关节动作组成，使模型学习可直接服务于操作的物理 grounded 表征，而非仅学习通用视觉特征。\n- 对齐中期训练集包含 344 项桌面任务，每项约 30 条人类轨迹和 5 条机器人轨迹，总计约 50 小时人类数据和 4 小时机器人数据，并采用匹配视角与相同动捕配置。\n- 模型采用 VLM 骨干加 DiT 动作专家的流匹配 VLA 架构；人类数据缺少本体感知时使用可学习占位符，跨本体则通过输入、输出端的轻量 MLP 适配器处理。\n- 三阶段训练分别为 100K 步人类预训练、50K 步对齐中期训练和 10K 步任务后训练；预训练使用 256 块 GB200 GPU，全局批量为 8,192。\n- 主实验在 Galaxea R1Pro 上评估卷衣、分牌、夹子取物、拧瓶盖和注射器移液五项高灵巧任务，指标包括端到端成功率和 0 到 1 的细粒度任务完成分数。\n- 从 1k 到 20k 小时的预训练实验显示验证损失与数据规模呈近完美对数线性关系，拟合公式为 L=0.024-0.003·ln(D)，R²=0.9983。\n- 下游平均任务完成分数随人类数据规模从 0.30 提升至 0.71，且离线验证损失能够紧密预测真实机器人表现，说明人类数据缩放具有可预测性。\n- 人类预训练结合中期训练在五项任务上表现最佳，相对无预训练基线平均成功率提高 54%，平均任务完成提高超过 55%。\n- 在仅提供 1 条机器人演示和 100 条对齐人类演示时，该方法在叠衬衫上达到 0.88 成功率，在拧水瓶盖上达到 0.55 成功率，体现出涌现的单样本迁移能力。\n- 对配备 7 自由度三指手的 Unitree G1，加入少量 G1 对齐中期数据后，人类预训练策略在两项任务上相对无人类预训练基线取得超过 30 个百分点的绝对提升，但跨本体迁移仍依赖相应适配器和少量本体数据。"
}