{
  "paper_id": "8da5714bd3840bc3ff1a38a84167c7c7",
  "paper_title": "$\\lambda_{0}$: Scaling Open-World Egocentric Human Data for Humanoid Loco-Manipulation",
  "paper_authors": [
    "Chongyang Xu",
    "Jin Chen",
    "Jinhui Ye",
    "Yilun Chen",
    "Yiming Jiang",
    "Zhao Wu",
    "Hu Wei",
    "Lin Qu",
    "Shifeng Zhang",
    "Yisheng He",
    "Yuming Jiang",
    "Zenan Meng",
    "Zheng Wu",
    "Mu Xu",
    "Steven Hoi"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "人形机器人移动操作需要与物理世界进行协调的全身交互，但大规模收集机器人演示的成本仍然很高。人类演示提供了可扩展的替代方案，然而现有自我中心人类监督往往缺少移动和姿态信息，具身差异与控制器动态也会妨碍末端执行器的准确执行。作者提出 HUMANVERSE，这是一个包含500小时开放世界人类移动操作数据的数据集，将自我中心视频与同步的身体和手部运动配对。人到人形机器人流程对齐相机视角和手臂外观，并离线优化运动参考与控制器输入，在保持全身协调的同时降低末端执行器误差。作者通过在 Unitree G1 上零样本迁移到代表性全身操作和长距离移动操作任务来验证该流程，且无需目标任务的机器人演示。在此基础上，作者开发了用于全身移动操作的人形基础模型 λ0，利用与机器人对齐的人类演示进行中期训练。增加全身人类数据能够持续改善下游任务进度；λ0 在 SIMLE 上达到90.0%成功率，在真实世界移动操作任务中达到62.5%成功率。\n",
  "keywords": [
    "人形机器人",
    "移动操作",
    "自我中心视频",
    "全身控制",
    "人类到人形机器人对齐",
    "HUMANVERSE",
    "λ0",
    "视觉-语言-动作模型",
    "流匹配",
    "零样本迁移"
  ],
  "paper_institutions": [
    "Alibaba Token Hub, Alibaba Group",
    "Amap, Alibaba Group"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:39:24.660951Z",
  "template_tag": "deep_read",
  "summary": "# λ0: Scaling Open-World Egocentric Human Data for Humanoid Loco-Manipulation\n\n\n**作者 / Authors:** humancid Team, Chongyang Xu, Jin Chen, Jinhui Ye, Yilun Chen, Yiming Jiang, Zhao Wu, Hu Wei, Lin Qu, Shifeng Zhang, Yisheng He, Yuming Jiang, Zenan Meng, Zheng Wu, Mu Xu, Steven Hoi\n\n\n**单位 / Institutions:** Alibaba Token Hub, Alibaba Group, Amap, Alibaba Group\n\n\n\n**输出语言 / Output Language:** zh\n\n\n\n\n\n\n## 第一轮：问题与贡献\n\n\n### 材料与类型\n\n材料检查：已见完整正文、附录 A–D、表 1–7 与图 1–13；项目页和代码链接仅出现在文中，未实际访问核验，数据集与模型权重未检查。论文未明确给出发表 venue 与具体日期，故对应字段留空，待核实。\n原型判定：method。理由：核心贡献是“人类到人形”的数据对齐流程与三阶段训练方法，并配套数据集和系统实现；它不是综述，系统属性虽强但方法创新（对齐+训练配方）是主张的中心。\n影响解读的缺口：SIMPLE 结果采用按任务选择最佳配置，作者在附录 D.2 明确不宜视为固定配置比较；真实世界每任务仅 10 次试验且未报告跨种子置信区间；缩放实验每个比例仅单次运行，拟合不外推；3.4× 吞吐是舍入后的代理时间估算，不是全语料实测；人体运动来自穿戴设备运动学而非光学动捕，手部为离线重建。\n\n\n\n\n\n### 问题\n\n问题：人形机器人要完成 loco-manipulation，必须同时协调行走、姿态与双手操作；但大规模机器人示范依赖真机遥操作、硬件可用性和反复复位，成本高、覆盖窄。\n为何重要：数据规模与多样性是训练通用人形策略的瓶颈；若能用开放世界第一视角人类数据替代部分真机采集，就能把数据来源从“机器人可用时间”扩展到日常人类活动。\n现有方法不足：第一视角人类视频虽可规模化，但多数监督只恢复手腕/手指轨迹，缺少支撑全身交互的行走与姿态变化；即使记录全身运动，人体与人形在几何、相机视角和外观上存在 embodiment gap，重定向与全身控制器执行误差还会使末端执行器偏离目标，破坏抓取与接触。论文因此提出核心问题：第一视角全身人类经验能否成为既可迁移到人形、又可规模化获取的监督。\n\n\n\n\n\n### 概览与阅读路线\n\n一句话概览：论文构建 500 小时第一视角全身人类数据集 HUMANVERSE，提出人类到人形的观测/动作对齐流程，并训练三阶段 VLA 策略 λ0，用人类全身数据中训练提升人形 loco-manipulation。\n核心思路与贡献：相对以往只用腕/手轨迹或依赖真机遥操作的工作，作者同时采集第一视角视频、24 关节身体运动与重建双手，先把相机高度/视角和手臂外观对齐到 G1，再通过三阶段离线动作对齐（人体参考缩放、G1 全身 IK、基于 rollout 的动力学感知 motion token 优化）生成机器人可执行的状态-动作监督；λ0 采用 Qwen3.5-2B 骨干+动作专家，按“第一视角手部预训练→HUMANVERSE 全身中训练→机器人后训练”逐步迁移。\n最重要结果与条件：作者报告在 50 个任务约 1 小时数据上把末端位置误差 17.03→3.83 cm、朝向误差 36.06°→10.85°；λ0 在 SIMPLE 达 90.0% 成功率，在四个真实世界任务达 62.5% 成功率/80.4% 进度，分别比最强基线高 3.9% 和 22.5%/25.8%；Stage-II 人类数据从 0% 增至 100% 时真实世界进度单调 59.9%→80.4%。这些是作者主张，证据范围受限于：真实世界每任务 10 次试验、无种子置信区间；SIMPLE 采用任务级配置选择；缩放为单次运行；采集效率的 3.4× 是代理估算。\n优先阅读：Sec. 3.4 与 Fig. 6（对齐三步）、Sec. 4.2 与 Fig. 7（三阶段训练）、Sec. 5.1 的 Fig. 8–9（无目标任务机器人示范与采集成本）、Sec. 5.2 的表 1–2、Sec. 5.3 的 Fig. 11–12 与表 3。下一轮应追问：三阶段对齐各自优化哪些变量、失败/回退如何判定；SONIC/GMR 与数据过滤对结果贡献多大；基线适配是否公平、机器人数据量与计算预算是否匹配；真实世界失败模式与跨种子稳定性。这些将决定“人类数据 scaling”结论的强度。\n过渡：下面先固定问题定义与评价边界，再进入方法与证据细节。\n\n\n\n\n## 第二轮：方法与证据\n\n\n### 方法与公式\n\n输入→关键步骤→输出：数据侧输入为第一视角 GoPro 视频、PICO 24 关节身体运动、离线重建的双手运动与语音/任务标注；先做时间同步与坐标变换，再执行“观测对齐+动作对齐”，输出与 G1 部署同格式的状态-动作监督。策略侧输入为第一视角图像、语言指令和当前状态；输出 50 步动作块，每步 76 维：64 维 SONIC motion latent + 左右手各 6 维 Revo2 命令。\n观测对齐：人体与 G1 都用 GoPro HERO13，并用颈托匹配相机高度；用 SAM2 遮掉人体前臂与腕部 tracker，DiffuEraser 修补，再把按对齐关节渲染的 G1 手臂合成到画面；训练时加随机裁剪、小旋转和光度扰动。作用是缩小视角与手臂外观的 embodiment gap，部署时只用人形图像。\n动作对齐（核心，Fig. 6）：目标末端位姿固定。第 1 步人体参考对齐：把 SMPL 副本缩放到 G1 身高，调整姿态使末端靠近固定目标，把修正施加到人体参考，再经 SONIC rollout 得到更对齐的 G1 运动。第 2 步机器人参考对齐：缩放后的 SMPL 与 G1 几何仍有差异，用 G1 运动学模型做带约束的离线全身 IK，修正机器人参考；重新编码并回放 token 进一步降误差。第 3 步动力学感知优化：仅靠运动学修正无法消除执行动力学误差，用 rollout 反馈和响应模型对 motion token 做梯度更新，多轮“更新 token—rollout”逐步降低末端误差。数据生产时在三阶段中选最佳有效结果；若无改善，回退到原始人体姿态的 SONIC rollout。作者在 50 个任务（约 1 小时数据）上报告位置误差 17.03→3.83 cm、朝向误差 36.06°→10.85°；这是对齐链的整体结果，未给每阶段独立消融。\n策略架构：Qwen3.5-2B 视觉-语言骨干 + 生成式动作专家；G1 状态 44 维 = 29 个身体关节位置 + 左右手各 6 个命令 + 3 维投影重力。Stage I 只用骨干预测未来离散双手状态 token；Stage II 引入动作专家和人类域投影；Stage III 换成机器人域投影后训练。人类数据与机器人数据共享状态-动作格式，但用不同域标识、输入/输出投影和软提示（32 个 prompt token、学习到的 embodiment bias）。\n关键公式与符号（提取文本中这些显示式未给可见编号；附录 D.1 提到 Eq. 6 指 G1 接口，但正文显示式无编号，故不伪造编号）：Stage I 按数据源可用帧数 N_d 的平方根采样，p1(d)=sqrt(N_d)/Σ_{d'∈S_E} sqrt(N_{d'})，动机是提高小数据源相对贡献；φ^(1)=argmin_φ E_{d∼p1,τ∼D_d}[L_token^E(τ;φ)]。双手状态 h_t=[p_t^L,ρ6(R_t^L),g_t^L,p_t^R,ρ6(R_t^R),g_t^R]∈R^138，其中 p 为腕位置、ρ6 为旋转 6D 表示、g 为 20 个非腕关节在腕局部/掌对齐/尺度归一化坐标中的 60 维关键点；每个标量按 π0.5 离散到 [-1,1] 的 256 个均匀 bin，再作为文本 token 输入。\nStage II 目标：θ^(2)=argmin_{θ:φ←EMA(φ^(1))} E_{τ∼Φ_R(D_W)}[L^H(τ;θ)]，Φ_R 表示把 HUMANVERSE 转成 G1 状态-动作格式；Stage III 为 θ^(3)=argmin_{θ←EMA(θ^(2))} E_{τ∼D_R}[L^R(τ;θ)]。Stage II/III 用 flow matching：a 为目标动作块，c_τ 为观测/指令/状态条件，ε∼N(0,I)，s∼U(0,1)，插值 x_s=(1-s)ε+s a；对 s 求导得目标速度 dx_s/ds=a-ε，所以网络 v_θ 回归 a-ε。掩码损失 L^q(τ;θ)=E_{s,ε}[Σ_{h,j} m^q_{h,j}(v^q_{θ,h,j}(x_s,s;c_τ)-(a_{h,j}-ε_{h,j}))^2 / Σ_{h,j} m^q_{h,j}]，q∈{H,R}；m^q_{h,j}=1 仅对有效、未加前缀的标量目标，掩掉缺失标注、padding 和动作前缀。前缀在加噪时保持固定且不计损失，用于实时分块（RTC）；推理从高斯噪声用 10 步 Euler 积分，并保持给定前缀。小例子：若 a=0.2、ε=-0.1、s=0.5，则 x_s=0.05，目标速度为 0.3。\n必要假设与边界：人体穿戴运动学被当作参考而非光学动捕真值；SONIC 控制器与 G1 运动学模型可用；离线 rollout 能代表部署执行；固定末端目标在修正中不变。公式为作者给出或由插值式直接求导，未独立验证其跨种子稳定性。\n\n\n\n\n\n### 评测设置\n\n数据：HUMANVERSE 为 500 小时第一视角人体 loco-manipulation 语料，32,993 个 episode、8,700 万姿态帧、827 类任务，覆盖家庭、零售/超市、工业、办公室和户外；配对第一视角视频、24 关节身体运动学与离线重建双手。Stage I 用 EgoDex、EgoVerse、HO-Cap、HOI4D、HoloAssist、HOT3D、VITRA-1M 七个数据源；Stage II 用 HUMANVERSE 的嵌套 5%/10%/25%/50%/100% 子集；Stage III 用真实 G1 示范。真实世界四个任务为 Bottle Disposal、Toy Storage、Box Transport、Chair Placement；SIMPLE 用六个任务、Levels 0–2。划分按 recording session 在切时间窗之前完成，HUMANVERSE 通用中训练分区与任务特定人示范分离，人选数据不看机器人评测清单。\n训练与计算：2B 模型；Stage I 200k updates、batch 1024、lr 1e-5、骨干 lr 乘 0.1；Stage II 100k；Stage III 50k；EMA 衰减 0.999；每步预测 50 步动作块；中训练/后训练每个观测 4 个独立噪声实现；动作块含前缀的样本最多 8 步前缀。附录 D.1 给出基线适配：GR00T N1.6 用官方 Eagle+N1.6 专家、batch 64、lr 1e-4；Ψ0 用 Qwen3-VL-2B+SonicTrainer、30 帧 SONIC 块、RTC 最大延迟 8；π0.5 用 openpi JAX、batch 32；StarVLA 用 Qwen3-VL-4B+QwenPI-v3、50k 步。GPU 型号、总 GPU 时、能耗、完整每任务机器人示范数未报告。\n评测协议：真实世界每任务 10 个冻结初始配置、每策略 10 次试验，共享物体、目标区域、指令、超时和成功判据；配置顺序随机，人工评分对模型身份盲；报告成功次数与加权 progress（每任务里程碑合计 100，跨任务等权），不合并训练种子、不给种子置信区间。SIMPLE 每任务-等级 10 次 rollout，共 18 个任务-等级对；λ0 用单任务训练，汇总时按任务选最佳记录配置，作者在附录 D.2 明确这不是固定配置比较。缩放实验固定 Stage-I 初始化、模型容量、机器人示范、Stage-III 更新预算和评测配置；五个非零比例同用 100k Stage-II updates、seed 43，验证每 1k 更新一次、验证 seed 20260813；每个比例单次运行。泛化实验每任务/方法/条件 10 次，共 600 次试验。\n基线与公平性缺口：SIMPLE 公开基线保留各自来源协议，StarVLA 与 λ0 由作者自评；真实世界最强外部基线按成功率为 π0.5（16/40=40.0%），按 progress 为 StarVLA（54.6%）。主要缺口是：λ0 的 SIMPLE 任务级配置选择可能高估固定配置性能；真实世界仅 10 次/任务且无跨种子区间；缩放单种子、拟合只描述测量范围；不同方法的数据量、预训练、计算预算未完全匹配；人类数据采集成本含摊销设置但与遥操作的人员计入方式不同，3.4× 为代理估算。\n\n\n\n\n\n### 结果与证据\n\n决定性结果：1）对齐有效性：50 个任务约 1 小时数据上，末端位置误差 17.03→3.83 cm（作者标 77.5% 降幅），朝向 36.06°→10.85°（69.9%），说明离线三阶段对齐确实把人体参考拉近 G1 可执行目标；但这是整体链结果，缺每阶段独立消融，且“数据生产选最佳有效结果”含选择效应。2）无目标任务机器人示范的迁移：四个全身任务平均 progress 51.7%，三个长程任务 76.2%，七任务等权 62.2%；这支持“对齐后的人示范可直接监督 G1”，但任务特定人示范仍非通用语料，且每任务仅 10 次评测。3）采集成本：Close Laptop 与 Pull Curtain 平均从 140.85 降到 33.30 人秒/示范（作者称少 76.4% 劳动力、4.23× 演示/人时）；200 个人示范的任务分 53.3%，50 个机器人示范为 60.0%；长程重定位现场记录/复位从 130 降到 25 秒/示范，5.2× 吞吐。3.4× 是 70/33 与 130/25 的等权代理，不是全语料实测。4）真实世界主结果（Table 1）：λ0 成功 25/40=62.5%、加权 progress 80.4%；π0.5 为 16/40=40.0%/54.0%，StarVLA 为 11/40=27.5%/54.6%。作者写作“高 22.5% 和 25.8%”，按表中数值是 22.5 与 25.8 个百分点；Chair Placement 出现成功 6/10 但 progress 77.0 低于 StarVLA 82.5 的指标分离。5）SIMPLE（Table 2）：λ0 overall 90.0%，比 StarVLA 86.1 高 3.9、比 Ψ0 85.6 高 4.4；Levels 0–2 为 90.0/93.3/86.7，Level 2 对 StarVLA 优势缩到 1.7；Mobile P&P 在 Levels 1/2 为 70% 对 StarVLA 80%，是弱项。该汇总按任务选配置，不能当固定配置结论。6）缩放与消融：Stage-II 人数据从 0% 到 100%，真实 progress 59.9→64.2→67.3→72.1→76.4→80.4，单调增 20.5 个百分点；验证最小损失从 5% 到 100% 在 representative/clean 上降 35.5%/40.6%，log-linear 拟合 R^2=0.9868/0.9901，每翻倍降 0.000900/0.000877，但单次运行、不外推。Table 3 固定机器人监督：完整 62.5%/80.4%；去 Stage I 为 50.0%/75.9%；去 Stage II 为 22.5%/59.9%；两者都去为 15.0%/54.0%。去 Stage II 的真实成功率损失 40.0 个百分点，远大于去 Stage I 的 12.5，支持“全身人中训练是更大贡献项”。7）机器人未见物体泛化：λ0 Human-guided 平均 progress 55.8%，最强基线 π0.5 46.5%；相对 Robot-only 48.4% 提高 7.4 个百分点，但低于 Seen，且该比较混合了人 B 示范、人 A 示范和早期人预训练，未隔离单一因素。\n结论：在作者设定的条件下，证据支持“对齐后人数据可训练 G1 策略，且全身人中训练随数据量提升下游表现”；但跨种子稳定性、固定配置性能、计算匹配和每阶段因果贡献仍不足以支撑强因果或外推声明。\n\n\n\n\n\n### 相关工作\n\n最近邻与差异（按论文描述，未外部核验）：1）EgoHumanoid/EgoAlign 系列（Shi et al., 2026；Jiang et al., 2026b）用同任务 RGB 与穿戴运动，经视角/动作对齐后直接人机联合训练；λ0 的区别是把“通用 500 小时 HUMANVERSE 中训练”与“任务特定人示范后训练”分开，并用三阶段离线对齐产出 SONIC motion token 监督。2）HALOMI（Zhao et al., 2026a）同样做第一视角采集、视角对齐与控制器感知的参考修正，但面向主动感知 loco-manipulation；λ0 额外强调数据集规模、VLA 三阶段训练与固定机器人预算下的数据缩放。3）EMMA（Zhu et al., 2026）把人类全身移动操作示范与静态机器人数据联合训练，避免移动机器人遥操作；λ0 面向双足 G1，差异在于显式修正末端执行器几何误差与控制器执行动力学。4）HAT（Qiu et al., 2025）统一人类/人形状态-动作空间做联合训练；λ0 不只统一接口，还离线优化人体参考、机器人参考与 motion token，并报告人类数据缩放。5）UMI-on-Legs（Ha et al., 2025）用无机器人手持演示加仿真全身控制器迁移到四足操作；λ0 采集的是第一视角全身运动与双手，不是手持夹爪轨迹。6）相对 GMR/SONIC 这类重定向/跟踪接口，λ0 把它们当作对齐链中的组件，再增加动力学感知的 token 优化与回退选择。成本差异：人采集约 33.30 人秒/示范，遥操作约 140.85 人秒/示范，但离线对齐需要额外算力、穿戴设备与质量筛选；论文的 3.4× 吞吐是代理估算，不是全语料实测。代码与项目页链接未实际访问，公开可用性待核实。\n\n\n\n\n\n### 关键图表解读\n\n1）Fig. 6（Sec. 3.4，人体到人形动作对齐）：展示三阶段——人体参考缩放与末端对齐、G1 离线全身 IK 修正机器人参考、用 rollout 反馈对 motion token 做梯度优化；末端目标固定，最后择优并保留原始 SONIC 回退。它支撑“几何+控制器动力学误差可离线降低”的核心主张，配套数字为 50 任务上 17.03→3.83 cm、36.06°→10.85°。解释限制：图注明确渲染姿态只是过程示意、不是实验 rollout；三阶段是整体串联，未给各阶段独立贡献；生产时选最佳有效结果会引入选择偏差。\n2）Fig. 7（Sec. 4.2，三阶段训练）：展示 Stage I 第一视角手部预训练（仅骨干、离散手状态 token）、Stage II 用 HUMANVERSE 对齐数据引入动作专家与人类域接口、Stage III 用机器人示范适配 G1；Stage II 从 Stage-I EMA 初始化，Stage III 从 Stage-II EMA 初始化。它支撑“人中训练是视频预训练与昂贵机器人后训练之间的桥梁”，但这是架构/流程示意，不是性能证据；域投影与软提示的具体贡献需看 Table 3。\n3）Table 1（Sec. 5.2，真实世界四任务）：λ0 成功 62.5%、progress 80.4%，高于 π0.5 的 40.0%/54.0% 与 StarVLA 的 27.5%/54.6%；四任务成功数均最高，Bottle Disposal progress 增益最大（+51.0）。它支撑真实 G1 loco-manipulation 的主 claim。限制：每任务 10 次、无种子置信区间；Chair Placement 出现 6/10 成功但 progress 77.0 低于 StarVLA 82.5，说明成功与部分完成度不一致；基线实现与数据预算未完全匹配。\n4）Table 2（Sec. 5.2，SIMPLE 仿真）：λ0 overall 90.0%，对 StarVLA 86.1、Ψ0 85.6 分别高 3.9/4.4；Level 2 优势仅 1.7，Mobile P&P 在 Levels 1/2 落后 StarVLA（70% 对 80%）。它支撑仿真基准上的竞争力，但作者明确汇总按任务选最佳配置，不是固定 checkpoint/推理设置；公开基线保留来源协议，StarVLA 与 λ0 为作者自评，因此不能当作严格同条件排名。\n5）Fig. 12 + Table 3（Sec. 5.3，缩放与阶段消融）：Fig. 12 给出 Stage-II 人数据 0→100% 时真实 progress 59.9→80.4 的单调上升；Table 3 在固定机器人监督下显示去 Stage II 掉到 22.5%/59.9%，去 Stage I 为 50.0%/75.9%，两者都去为 15.0%/54.0%。这支撑“全身人中训练是更大贡献项、数据缩放有效”。限制：缩放每个比例单次运行、无跨种子误差；0% 参考不做 Stage-II 更新，非零比例计算匹配；SIMPLE 列同样受任务级配置选择影响。\n过渡：这些证据把问题从“方法能否工作”推进到“结论有多稳”，下一模块据此评估其通用性、成本与可复现边界。\n\n\n\n\n\n### 术语表\n\nHUMANVERSE：论文构建的 500 小时第一视角人体 loco-manipulation 语料，含视频、24 关节身体运动学与离线双手；它是中训练数据源，不是机器人数据。λ0：本文的人形全身 VLA 策略，Qwen3.5-2B 骨干+动作专家，经三阶段训练后输出 SONIC motion token 与手命令。loco-manipulation：行走/定位与操作耦合的全身任务，需同时协调步态、姿态和双手。embodiment gap：人体与人形在身高、臂长、相机视角、关节结构和外观上的差异；本文用观测对齐与动作对齐缩小它。motion token：冻结 SONIC 编码器产生的 64 维全身运动潜变量，作为策略输出驱动全身控制器；它比关节轨迹更接近控制器输入空间。SONIC：论文使用的全身跟踪控制器/运动跟踪系统，负责把 motion token 或参考运动变成 G1 执行。GMR：一种人体到人形的运动重定向方法；本文把它视为可能产生末端误差的参考来源之一。SMPL/MANO：常用人体/手部参数化模型；本文用 SMPL 副本做身高缩放与姿态修正，手部由 Dyn-HaMR 等离线重建。VLA：视觉-语言-动作模型，输入图像/指令/状态并输出动作。flow matching：学习从噪声到动作块的连续速度场；本文用插值 x_s=(1-s)ε+s a 与目标速度 a-ε 做 masked MSE。action chunk：一次预测的多步动作序列，本文为 50 步。action prefix：推理/训练时已给定的动作前缀，保持无噪且不计损失，用于实时分块 RTC。RTC：real-time chunking，用动作前缀衔接连续推理。EMA：指数滑动平均参数，Stage I→II、II→III 用它初始化。域标识/域投影/软提示：让人类数据与机器人数据共享模型但使用不同输入输出接口的机制，避免直接混用不同 embodiment 的尺度。D_E、D_W、D_R：Stage I 外部第一视角手-物数据、HUMANVERSE 全身人数据、机器人示范数据。Φ_R：把人体数据转成 G1 状态-动作格式的转换。m^q_{h,j}：flow matching 损失中第 h 步第 j 维的监督掩码，1 表示有效且非前缀。SIMPLE：人形 loco-manipulation 仿真基准，本文用六个任务、Levels 0–2。progress：按任务里程碑累加的部分完成度分数，每任务上限 100，跨任务等权；与“完整成功”不同。robot-unseen：机器人示范中未出现、但在人示范中出现过的物体实例；用于泛化评测。clean/representative holdout：验证集两种口径，clean 取全身与双手标注有效率为上四分位的会话，representative 按数据源与有效率分层；clean 指标注有效性，不是外观或任务难度。\n\n\n\n\n\n### 全部图表索引\n\n说明：提取文本中的图像仅以 images/*.jpg 占位，未直接查看像素内容；以下据图注、正文与表题索引，曲线细节与视觉可读性待核验。\nFig. 1（首页 teaser）：HUMANVERSE+λ0 总览，含对齐误差与采集吞吐摘要；支撑全文动机，吞吐数字是代理估算。\nFig. 2（Sec. 3）：HUMANVERSE 的穿戴采集 setup、任务/运动分布与视频-全身运动配对；支撑数据规模与多样性。\nFig. 3（Sec. 3.1）：从开放场景/任务选择到无机器人采集、整理、机器人对齐的工作流；支撑数据生产流程。\nFig. 4（Sec. 3.2）：60 帧第一视角任务/场景/物体示例，12×5 画廊；仅示定性多样性，不估计任务频率。\nFig. 5（Sec. 3.3）：16 组第一视角 RGB 与 SMPL 身体+MANO 手+camera frusta 的同步示例；支撑运动重建与观测配对。\nFig. 6（Sec. 3.4）：人体到人形动作对齐三阶段；核心证据图，详见 module_d。\nFig. 7（Sec. 4.2）：λ0 三阶段训练流程；核心方法图，详见 module_d。\nFig. 8（Sec. 5.1）：对齐后人示范在四个全身任务与三个长程任务上的 progress；支撑无目标任务机器人示范的迁移，N/R 表示对齐前分数缺失。\nFig. 9（Sec. 5.1）：Close Laptop/Pull Curtain 的任务分数 vs 示范数与采集人工成本；支撑效率 claim，左右面板口径不同。\nFig. 10（Sec. 5.2）：(a) 硬件与遥操作 setup，(b) 四个真实 loco-manipulation 任务，(c) 评测物体（机器人见过/未见）；支撑真实评测配置。\nFig. 11（Sec. 5.3）：(a) 五个数据比例下 representative/clean 验证损失曲线，(b) 最小验证损失 vs 数据量的 log-linear 拟合；支撑缩放趋势，单种子、仅测量范围。\nFig. 12（Sec. 5.3）：真实世界平均 task progress vs Stage-II 人数据比例；核心缩放证据，详见 module_d。\nFig. 13（Sec. 5.4）：(a) Toy storage、(b) Parts-box transport、(c) Bottle disposal、(d) Chair placement 的 Seen/Human-guided/Robot-only 泛化对比；支撑机器人未见物体迁移，混合了多种人数据因素。\nTable 1（Sec. 5.2）：真实世界四任务成功数/10 与加权 progress，含 π0.5、GR00T N1.6、Ψ0、StarVLA、λ0；核心真实结果，详见 module_d。\nTable 2（Sec. 5.2）：SIMPLE 六任务 Levels 0–2 成功率与 overall，含 H-RDT、InternVLA-M1、EgoVLA、Diffusion Policy、GR00T N1.6、π0.5、DreamZero、ACT、Ψ0、StarVLA、λ0；核心仿真结果，详见 module_d。\nTable 3（Sec. 5.3）：固定机器人监督下 Stage I/II 消融，报 SIMPLE 与真实世界成功/progress；核心消融，详见 module_d。\nTable 4（Appendix A）：第一视角人数据资源对比（EgoDex、HOT3D、NymeriaPlus、EgoHumanoid、EgoScale、Index、EgoSuite-Open100K、HUMANVERSE），列小时、身体/手覆盖、SMPL、人形接口、采集 setup；支撑数据定位，NR 表示未报告。\nTable 5（Appendix A）：与 WholeBodyVLA、EgoHumanoid、Ψ0、OpenHLM、ω-0、λ0 的问题级对比（人类信号、训练角色、受控缩放、主要问题）；支撑相关工作差异，非分数排名。\nTable 6（Appendix B.3）：2B 模型默认训练日程，Stage I/II/III 的 optimizer updates 与更新模块；支撑训练配置复现。\nTable 7（Appendix D.3）：四个真实任务的评分阶段、分值（每任务合计 100）与终止成功谓词；支撑 progress/成功判定复现。\n缺失/未读：附录 A–D 的正文已见，但图像像素、视频、代码仓库、项目页、数据集与模型权重未实际访问；论文未给发表 venue/日期，公开版本信息待核实。\n\n\n\n\n## 第三轮：评估与复现\n\n\n### 可信度、局限与复现\n\n可信结论（论文内证据）：\n1）Sec. 3.4/Fig. 6 的离线对齐在 50 个任务、约 1 小时数据上把末端位置误差 17.03→3.83 cm、朝向 36.06°→10.85°，说明“人体参考缩放 + G1 IK + 动力学感知 token 优化”整体上能把人体运动拉近可执行目标；但这是三阶段串联结果，且生产时选最佳有效结果，不能当作无偏的逐阶段因果估计。\n2）Sec. 5.3/Table 3 在固定机器人监督下，完整配方 62.5%/80.4%，去 Stage II 降到 22.5%/59.9%，去 Stage I 为 50.0%/75.9%，两者都去为 15.0%/54.0%；这支持“在本配方中全身人中训练是更大贡献项”，但 Stage I/II 与接口、初始化耦合，仍不是干净消融。\n3）Fig. 12 的 0→100% Stage-II 数据使真实进度 59.9→80.4 单调上升；这是单种子、固定 update 的结果，只能说明测量范围内趋势，不能外推为缩放律。\n4）Table 1–2 的绝对成绩是条件性证据：真实世界每任务 10 次、无种子区间；SIMPLE 汇总按任务选最佳配置，作者在 Appendix D.2 明确不宜视为固定配置比较。\n\n证据不足或需降级：逐阶段对齐贡献、跨种子稳定性、固定配置 SIMPLE 性能、基线计算/数据预算匹配、机器人未见物体泛化的因素隔离、3.4× 吞吐的全语料实测、端到端延迟与长期可靠性。Fig. 9 的 33.30 对 140.85 人秒/示范是较直接的成本证据，但 3.4× 是 70/33 与 130/25 的等权代理。\n\n关键假设：PICO 穿戴运动学足以代表人体参考；Dyn-HaMR 手部重建与同步误差可被掩码/过滤吸收；SONIC 与 G1 运动学模型可复现部署执行；离线 rollout 能代表真实动力学；末端目标在修正中固定；域标识、投影与软提示足以隔离人体/机器人分布。\n失败场景：手-物遮挡或快速接触使手部重建失效；相机高度/视角漂移放大观测差；SONIC 跟踪饱和或足地接触变化使 token 优化过拟合离线 rollout；可变形物体、强接触、动态平衡任务超出发放数据分布；质量筛选把困难样本移除，导致评测乐观。后果是末端误差下降不一定转化为抓取成功率，缩放曲线也可能在更大数据或更多任务上饱和/反转。\n\n复现计划：\n必需产物：论文所列代码/项目页（未访问核验）、HUMANVERSE 或分层子集与 episode manifest、Stage-I 七个数据源、G1 机器人示范、SONIC 编码器/控制器与 G1 模型、Qwen3.5-2B 与动作专家、SMPL、GMR、Dyn-HaMR/ViPE、SAM2、DiffuEraser、Revo2 接口。阻塞项：数据与权重是否公开、SONIC/G1 栈许可、离线对齐的响应模型与优化超参（约束、步长、迭代数、容差）未完整给出。\n关键设置：Stage I 200k updates、batch 1024、lr 1e-5、骨干乘 0.1；Stage II 100k；Stage III 50k；EMA 0.999；每观测 4 个噪声实现；50 步动作块、前缀最多 8 步；状态 44 维、动作 76 维；推理 10 步 Euler。\n验证步骤：a）在小规模 episode 上复现同步、身体/手重建与观测对齐，检查重投影误差；b）在 50 任务子集复现三阶段对齐，逐阶段记录末端误差、回退率与选择率；c）固定机器人预算，对 Stage-II 5/10/25/50/100% 跑多种子，比较验证损失与真实进度；d）做 Stage I/II 析因消融并固定 SIMPLE 单配置；e）真实任务扩到每任务 30–50 次，盲评并报告置信区间。\n成功标准：对齐误差量级接近论文且逐阶段有可解释下降；Stage-II 缩放单调且在多种子下置信区间不重叠地优于 0%；完整配方在固定配置下仍优于去 Stage II；真实世界优势在扩试次后保留。若只有整体对齐复现、缩放随种子翻转或固定配置优势消失，则应把论文结论降级为“特定配方下的工程观察”。\n\n\n\n\n\n### 应用约束\n\n数据约束：HUMANVERSE 为 500 小时、32,993 episodes、827 类任务，采集依赖 GoPro、PICO 4 Ultra 与身体 tracker，手部为离线重建；需要同步、标注、质量检查和离线对齐，不是即采即用。训练数据还依赖 7 个外部第一视角数据集与真实 G1 示范；论文未给每任务机器人示范数、GPU 型号、总 GPU 时与能耗。\n计算与延迟：2B 骨干加动作专家；Stage I 200k、Stage II 100k、Stage III 50k updates；推理为 10 步 Euler、50 步动作块、76 维动作，但端到端控制频率、延迟、失败恢复时间未报告。离线动作对齐需多次 SONIC rollout 与 token 梯度更新，成本未量化。\n部署约束：需要 G1、SONIC 全身控制器与编码器、Revo2 手、机器人域投影；部署时不需要人体运动流，但依赖与训练一致的相机高度/视角和控制器接口。方法面向结构化 loco-manipulation 任务，未证明开放动态环境、强接触/可变形物体、快速运动或长时间自主的可靠性。\n已演示与推断：已演示四类真实任务 10 次/任务、SIMPLE 18 个任务-等级对、采集人工成本 33.30 对 140.85 人秒/示范；3.4× 吞吐是代理估算。推断：若换机器人、相机或手部硬件，域投影与对齐需重做；跨场景泛化与安全性仍待验证。\n\n\n\n\n\n### 探索问题\n\n1）Stage-II 人类数据缩放是否是跨种子稳健的因果效应？验证：固定 Stage-I、机器人示范、Stage-III 预算与评测配置，对 0/5/10/25/50/100% 各跑至少 3 个种子，并同时报告固定 update 与固定计算两种口径；真实任务每任务扩到 30–50 次试验并给置信区间。收益：把 Fig. 12 的单次单调曲线提升为可引用的缩放证据。风险：算力大；不同种子可能改变最优点；若只扩 trials 不扩种子，仍无法区分数据效应与训练噪声。\n2）三阶段动作对齐各自贡献多少，能否简化？验证：在 50 任务子集上分别去掉人体参考缩放、G1 IK、动力学 token 优化，并记录每阶段前后的末端位置/朝向误差、回退率与下游成功率；同时固定“选最佳”规则以消除选择偏差。收益：定位核心误差源，降低离线对齐成本并提高可复现性。风险：阶段间强耦合，单独去掉可能失效；生产时“选最佳有效结果”本身会高估平均性能。\n3）人类数据带来的机器人未见物体泛化能否与数据量分离？验证：分别控制“人 B 示范”“人 A 示范”“早期人预训练”三个因素，在相同机器人 A 数据与评测 B 实例上做析因实验，并变化人 B 数据量。收益：判断泛化来自对象覆盖还是通用先验。风险：B 实例数量与评测功效有限；若人数据与机器人数据采集场景不同，仍可能混杂场景因素。\n\n\n\n\n\n### 引用与核验\n\n核查范围：仅使用所给论文正文与参考文献表，未联网访问代码库、项目页、数据集主页、模型权重或 SIMPLE 排行榜；因此以下均为“论文内引用状态”，不是外部已核验事实。论文未给发表 venue 与日期，公开版本信息待核实。\n\n支撑新颖性与差异化的关键引用：EgoHumanoid（Shi et al., 2026）、EgoAlign（Jiang et al., 2026b）、HALOMI（Zhao et al., 2026a）、EMMA（Zhu et al., 2026）、HAT（Qiu et al., 2025）、UMI-on-Legs（Ha et al., 2025）。论文用它们界定“同任务人-机联合训练、控制器感知参考修正、全身人数据中训练”的差异；这些工作的具体设定与结果未独立核对，不能确认差异陈述是否完全准确。\n最强比较与决定性外部声明：π0.5（Black et al., 2025）、StarVLA（StarVLA Community, 2026）、Ψ0（Wei et al., 2026b）、GR00T N1.6（GEAR Team et al., 2025）支撑 Table 1–2 的基线排名；其实现、数据预算与 checkpoint 仅据 Appendix D.1，未核验。SIMPLE 排行榜“accessed September 13, 2026”与公开基线计数是外部依赖，未访问，待核实。\n复现依赖引用：SONIC（Luo et al., 2026b）、GMR（Araujo et al., 2026）、Dyn-HaMR（Yu et al., 2025）、ViPE（Huang et al., 2025）、SAM2（Ravi et al., 2025）、DiffuEraser（Li et al., 2025）、Qwen3.5（Qwen Team, 2026）、π0.5 的离散化与 flow matching、X-VLA 的 soft prompt。若这些组件版本或接口不匹配，复现会直接受阻。\n外围引用：第一视角数据源 EgoDex、EgoVerse、HO-Cap、HOI4D、HoloAssist、HOT3D、VITRA-1M，以及 Nymeria、Ego4D 等，主要用于数据定位与 Stage-I 来源，未逐篇核查。\n引用问题：首页作者写作“humancid Team”，与 Contributions 中的具体作者名单存在命名/排版不一致，需以正式版本核实；“Eq. 6”在 Appendix D.1 被引用，但正文显示式未见编号，定位不完整；论文所列 GitHub 与项目页未访问，代码/数据/权重可用性不能确认。\n\n\n\n\n\n### 最终判断\n\n总体判断：这是一份工程性强、证据链较完整的人形人类数据中训练报告。最值得信任的是“离线对齐能降低末端误差”和“在固定机器人监督下，去掉 Stage-II 全身人数据会使真实任务性能大幅下降”；最不应直接引用为定论的是固定配置下的绝对排名、跨种子缩放律和 3.4× 采集吞吐。适用方式：把 HUMANVERSE 与三阶段对齐当作数据生产管线，把 λ0 的三阶段训练当作可复现配方，但需自行做多种子、固定配置和计算匹配验证。下一步优先用多种子与固定 SIMPLE 配置复现 Stage-II 缩放，并补做三阶段对齐的逐阶段消融。"
}