{
  "paper_id": "8da5714bd3840bc3ff1a38a84167c7c7",
  "paper_title": "$\\lambda_{0}$: Scaling Open-World Egocentric Human Data for Humanoid Loco-Manipulation",
  "paper_authors": [
    "Chongyang Xu",
    "Jin Chen",
    "Jinhui Ye",
    "Yilun Chen",
    "Yiming Jiang",
    "Zhao Wu",
    "Hu Wei",
    "Lin Qu",
    "Shifeng Zhang",
    "Yisheng He",
    "Yuming Jiang",
    "Zenan Meng",
    "Zheng Wu",
    "Mu Xu",
    "Steven Hoi"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "人形机器人移动操作需要与物理世界进行协调的全身交互，但大规模收集机器人演示的成本仍然很高。人类演示提供了可扩展的替代方案，然而现有自我中心人类监督往往缺少移动和姿态信息，具身差异与控制器动态也会妨碍末端执行器的准确执行。作者提出 HUMANVERSE，这是一个包含500小时开放世界人类移动操作数据的数据集，将自我中心视频与同步的身体和手部运动配对。人到人形机器人流程对齐相机视角和手臂外观，并离线优化运动参考与控制器输入，在保持全身协调的同时降低末端执行器误差。作者通过在 Unitree G1 上零样本迁移到代表性全身操作和长距离移动操作任务来验证该流程，且无需目标任务的机器人演示。在此基础上，作者开发了用于全身移动操作的人形基础模型 λ0，利用与机器人对齐的人类演示进行中期训练。增加全身人类数据能够持续改善下游任务进度；λ0 在 SIMLE 上达到90.0%成功率，在真实世界移动操作任务中达到62.5%成功率。\n",
  "keywords": [
    "人形机器人",
    "移动操作",
    "自我中心视频",
    "全身控制",
    "人类到人形机器人对齐",
    "HUMANVERSE",
    "λ0",
    "视觉-语言-动作模型",
    "流匹配",
    "零样本迁移"
  ],
  "paper_institutions": [
    "Alibaba Token Hub, Alibaba Group",
    "Amap, Alibaba Group"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:39:24.660951Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对人形机器人移动操作依赖昂贵全身遥操作演示、而自我中心人类视频通常只提供腕手轨迹并遗漏行走与姿态协调，且运动重定向几何误差和控制器跟踪误差会损害抓取与接触的问题，论文在通用机器人策略、人类视频学习和人形全身控制相关研究基础上，提出无需机器人在场的 HUMANVERSE 数据采集与人到人形机器人对齐方案，并构建视觉-语言-动作基础模型 λ0。HUMANVERSE 包含500小时、32,993个片段、8700万姿态帧和827类任务，覆盖家庭、零售、工业、办公和户外场景；系统采用与 Unitree G1 同款的 GoPro 并匹配拍摄高度，用 PICO 4 Ultra 和身体追踪器获取24关节身体运动，用 Dyn-HaMR 从视频重建每只手21个关节，这些设置用于在开放世界低成本获得包含接近、转身、弯腰、搬运和操作的完整协调过程，并验证同步全身人类经验能否转换为 G1 可用监督。对齐流程先以 SAM2 遮除人类前臂和追踪器、用 DiffuEraser 修复并合成 G1 手臂，再分人类参考对齐、机器人参考约束逆运动学和动力学感知运动令牌优化三阶段离线修正；其核心学习机制在第二、三阶段使用流匹配，将噪声动作构造成 x_s=(1-s)ε+s a，并让速度场预测 a-ε，再对有效标量目标计算掩码速度场损失，推理时通过10个 Euler 步生成50步动作块。实验在50个约1小时数据的任务上将末端位置误差从17.03 cm降至3.83 cm、姿态误差从36.06°降至10.85°，分别降低77.5%和69.9%；任务专用人类演示在没有目标任务机器人数据的情况下实现全身操作51.7%、长距离移动操作76.2%的平均进度，代表性采集约为100秒对29秒、约3.4倍吞吐；λ0 在 SIMPLE 的180次试验中达到90.0%成功率，在四个真实任务上达到62.5%成功率和80.4%进度，在固定机器人数据下将第二阶段人类数据比例从0%增至100%，使真实进度由59.9%单调提升至80.4%，消融显示全身中期训练比手部预训练贡献更大，并在机器人未见物体实例上取得55.8%的人类引导进度。该方法适用于清洁、烹饪、个人护理、收纳、大件搬运和脚踏开盖等真实场景，但部署仍依赖 G1、SONIC 控制器与 Revo2 手，视角和运动差异、数据转换有效性、安全干预以及模拟结果按任务选择配置而非统一检查点构成约束；后续可研究跨种子稳定性、更大数据范围的外推、更细粒度的物体泛化归因、自动质量控制以及在更多环境和 embodiment 上的可扩展全身数据收集。\n\n### 关键要点\n\n- HUMANVERSE 是500小时的开放世界自我中心全身数据集，包含32,993个片段、8700万姿态帧和827类任务，并将第一人称视频与同步身体、手部运动配对。\n- 采集者只接收活动级提示，不规定关节轨迹，因此数据保留行走路径、初始姿态、物体实例、放置方式、抓取策略和中途修正等自然变化。\n- 观察对齐使用与 G1 相同的相机型号和匹配高度，遮除并修复人类前臂及腕部追踪器，再把渲染的 G1 手臂合成到原场景画面中。\n- 动作对齐依次进行人类参考缩放与末端目标对齐、基于 G1 运动学模型的约束全身逆运动学修正，以及利用滚动反馈和响应模型的动力学感知运动令牌梯度优化。\n- λ0 以 Qwen3.5-2B 视觉语言骨干结合生成式动作专家，G1 的输入状态为44维，动作专家预测50步、每步76维的动作块，其中包括64维 SONIC 运动潜变量和双手各6维 Revo2 指令。\n- 训练分为公共自我中心手部数据预训练、HUMANVERSE 全身人类数据中期训练和有限机器人演示后训练三阶段，后一阶段均由前一阶段的 EMA 检查点初始化。\n- 第二、三阶段采用掩码速度场流匹配损失，缺失标注、填充和已提供的动作前缀不参与损失，部署时不需要人类运动流，只需机器人图像、语言指令和本体状态。\n- 在无目标任务机器人演示的对齐人类数据评估中，四个全身任务和三个长距离任务分别取得51.7%和76.2%的平均进度，代表性任务的人类采集吞吐约为机器人采集的3.4倍。\n- λ0 在 SIMPLE 六个任务、三个难度级别共180次试验中取得90.0%总体成功率，在四个真实移动操作任务中取得25/40成功、62.5%成功率和80.4%平均进度。\n- 固定机器人演示、模型容量和训练预算时，第二阶段数据从0%增加到100%会使真实任务进度从59.9%单调升至80.4%；移除第二阶段会使真实成功率下降40.0个百分点，影响大于移除第一阶段。\n- 对机器人未见过的物体实例，λ0 的人类引导平均进度为55.8%，高于最强基线的46.5%，也比其机器人-only 变体高7.4个百分点，但该实验没有单独隔离未见物体人类演示的贡献。\n- 真实世界每任务使用10个固定初始配置并由盲于模型身份的人员裁决，终端成功需条件保持3秒；约3.4倍吞吐是代表性任务的估算而非全数据集测量，SIMPLE 结果还采用按任务选择最佳配置，不能视为固定检查点比较。"
}