---
## 目录
1 引言 ..... 3
2 相关工作 ..... 4
2.1 通用机器人策略 ..... 4
2.2 从人类视频中学习 ..... 4
2.3 类人机器人全身控制 ..... 4
3 HumanVerse：在开放世界中扩展第一人称全身数据采集 ..... 5
3.1 数据采集设置与协议 ..... 5
3.2 数据集范围与覆盖情况 ..... 6
3.3 人类运动重建与标注 ..... 6
3.4 人类到类人机器人的对齐流程 ..... 7
4 $\lambda_{0}$：从人类经验中学习类人机器人运动操控 ..... 8
4.1 策略架构与动作接口 ..... 8
4.2 三阶段训练 ..... 8
4.3 训练目标与部署 ..... 9
5 类人机器人实验：对齐、规模与迁移 ..... 10
5.1 与人类对齐的数据的有效性与效率 ..... 10
5.2 仿真与真实世界任务中的性能表现 ..... 11
5.3 人类数据规模与训练阶段的消融实验 ..... 12
5.4 迁移至未见过的物体实例 ..... 13
6 结论 ..... 14
7 贡献 ..... 14
参考文献 ..... 14
附录 ..... 20
A 相关工作对比 ..... 20
B 动作接口与训练细节 ..... 21
B.1 状态-动作定义 ..... 21
B.2 模型架构 ..... 21
B.3 训练配置 ..... 21
C 数据质量与扩展协议 ..... 22
D 评估协议 ..... 22
D.1 基线实现 ..... 22
D.2 仿真评估 ..... 23
D.3 真实世界评估与评分标准 ..... 23
---
## 1 引言
要在不同任务和环境中掌握类人机器人的运动操控能力，需要能够体现协调运动、姿态调整以及操控动作的演示数据（Jiang等人，2026a；Shi等人，2026；Wei等人，2026b；Hu等人，2026；Figure AI，2026a;b）。全身遥操作虽然能提供视觉观测与机器人动作数据，但要求操作员在每次演示中亲自引导实体类人机器人完成动作（Fu等人，2025a；He等人，2025；Luo等人，2026b；GEAR Team等人，2025；Li等人，2026b）。这种对机器人可用性和操作的依赖，使得获取覆盖更广泛任务和环境的演示数据成本极高（Shi等人，2026；Punamiya等人，2026）。为了拓展类人机器人的学习能力，亟需一种能超越机器人操作采集范围的全身交互经验来源。
以自我为中心的视频能够记录人们在各种任务和环境中的日常互动，且无需借助机器人操作（Grauman等人，2022；Kareer等人，2025；Hoque等人，2026；Punamiya等人，2026；Figure，2026）。近期的研究方法可从这些视频中还原手腕和手部轨迹，将观察到的互动转化为机器人学习的动作监督信号（Li等人，2026a；Yang等人，2026b；Wang等人，2026a）。利用这些带有动作标签的视频进行预训练，能够提升后续的操控性能（Zheng等人，2026c；Punamiya等人，2026）。然而对于类人机器人的运动操控而言，仅依靠手腕和手部轨迹无法涵盖支撑全身交互所需的运动和姿态变化信息（Shi等人，2026；Zhao等人，2026a）。虽然同步记录身体和手部运动可以捕捉这种协调性，但由于几何不匹配和执行不精确等问题，运动重定向和全身跟踪仍可能导致末端执行器出现误差（Araujo等人，2026；Luo等人，2026b），进而影响抓取和接触效果。这引出了我们的核心问题：以自我为中心的全人体经验能否提供既可迁移到类人机器人上、又易于大规模获取的监督信号？
我们开发了一套人-类人机器人对齐流程，无需借助机器人即可采集人类演示数据，并将其观测和动作与后续的类人机器人应用需求相匹配（第3.4节）。我们使摄像头和采集高度与机器人设置保持一致，随后从图像中移除人类前臂和追踪器，再合成渲染出的G1机械臂。动作对齐过程会在离线状态下优化运动参考值和控制器输入，以提升末端执行器的精度，最终生成与机器人兼容的状态-动作监督数据。我们利用这种监督信号训练的策略在Unitree G1机器人上针对七种具有代表性的任务进行了评估，这些任务涵盖了协调型全身操控和远距离运动操控场景（第5.1节）。仅使用特定任务的人类演示数据，而无需目标任务的机器人演示数据，评估结果显示平均任务完成度分别达到了51.7%和76.2%。
利用这套采集装置，我们构建了HUMANVERSE数据集——一个包含500小时人类运动操控数据的语料库，涵盖了开放场景中的各类任务。我们通过轻便的可穿戴传感器记录以自我为中心的视频和身体运动数据，同步数据流后再从视频中重建手部运动。
我们开发了$\lambda_{0}$，这是一种全身类人机器人视觉-语言-动作策略，它依托可规模化的人类经验进行学习，并逐步将其适配到类人机器人控制中（图1）。以自我为中心的手部运动预训练依托多样的人类互动视频；而在HUMANVERSE数据集上的中期训练则提供了可规模化且无机器人参与的监督来源，用于学习协调的身体和手部动作，从而衔接视频预训练和数量有限且成本高昂的机器人演示数据。机器人后期训练会将学到的行为适配到目标类人机器人上。
增加全身人体数据能够降低验证损失，并使现实世界任务进度从训练中途不使用全身数据的59.9%单调提升至使用完整语料库时的80.4%。消融实验表明，在这两个人体数据阶段中，训练中途加入全身数据对现实世界任务的成功贡献更大。完整的$\lambda_0$策略在SIMPLE任务上达到了90.0%的成功率，在四项现实世界的物体操控任务中成功率为62.5%，分别比目前评估中最强的基线模型高出3.9%和22.5%。人体数据训练还能提升机器人在人类演示中出现的未见过的物体实例上的操控进度。我们的贡献如下：
- 我们开发了一套用于全身技能迁移的人体到类人机器人对齐流程，并在没有目标任务机器人演示的情况下，评估了该流程的数据收集效率以及其在G1机器人上的零样本迁移能力。
- 我们推出了HUMANVERSE数据集，该数据集包含500小时的内容，将以自我为中心的视频与开放世界场景及任务中的身体和手部动作同步数据配对在一起。
- 我们开发了$\lambda_{0}$，用于将以自我为中心的人类交互经验逐步适配到类人机器人的控制中，并证明了通过全身监督来扩展人体数据能够改善后续的物体操控性能。
---
## 2 相关工作
### 2.1 通用机器人策略
大规模机器人数据集整合了不同任务和形态下的演示数据，为通用策略的开发提供了支持（Dasari等人，2020年；Jang等人，2022年；Walke等人，2023年；Open X-Embodiment Collaboration，2024年；Brohan等人，2023年；Zitkovich等人，2023年；Khazatsky等人，2024年；Bu等人，2025年；Zhao等人，2026b年）。这些策略会在共享模型中学习来自各类演示的知识（Ghosh等人，2024年；Kim等人，2025年；Chi等人，2025年），这也推动了更可扩展的训练数据收集方式的发展。远程操作技术和便携式演示界面的进步降低了数据收集的工作量（Dass等人，2023年；Qin等人，2023年；Zhao等人，2023年；Fu等人，2025b年；Chi等人，2024年）。UMI on Legs通过将任务级操控策略与仿真训练得到的全身控制器相结合，把无需机器人的手持式演示拓展到了四足机器人的操控领域（Ha等人，2025年）。基于机器人的数据收集方式依赖于硬件的可用性以及反复的重置操作，而便携式界面可实现的动作空间较为有限。
### 2.2 从人类视频中学习
人类视频数据集涵盖了多种多样的活动、物体和环境，为机器人学习提供了丰富的经验（Grauman等人，2022；Damen等人，2022；Goyal等人，2017；Grauman等人，2024；Wang等人，2023b；DeTone等人，2026；Lightwheel AI，2026）。利用这些数据进行学习时，需要将观察结果与动作联系起来。Nymeria将同步的多模态自我中心式记录与300小时野外日常活动中的全身运动数据相结合（Ma等人，2024），为研究情境依赖型人体运动奠定了基础。时间和几何标注描述了交互发生的时间以及手和物体的运动方式（Liu等人，2022；Wang等人，2025；Sener等人，2022；Ragusa等人，2021；Huang等人，2024；Banerjee等人，2025），而运动跟踪与重建则能为动作学习提供人体轨迹（Hoque等人，2026；Punamiya等人，2026；Li等人，2026a；Zheng等人，2026c；Wang等人，2026a）。OpenEgo统一了各自我中心式数据集中的手部姿态标注与时间局部化的动作描述（Jawaid & Xiang，2025）。人类视频还支持视觉表征学习（Nair等人，2023；Sontakke等人，2023；Kumar等人，2020），以及通过模仿和对齐实现机器人控制（Mandlekar等人，2022；Shao等人，2020；Bahl等人，2022；Wang等人，2023a；Bharadhwaj等人，2023；Kareer等人，2025；Lepert等人，2025；Yang等人，2026b）。HAT统一了人类与人形机器人的状态-动作空间，以便基于对齐的PH2D演示数据进行联合训练（Qiu等人，2025）；DexWild则将可穿戴式人机交互数据与机器人演示相结合，以实现跨环境下的灵巧操作（Tao等人，2025）。EgoZero利用形态无关表征，从智能眼镜演示中学习闭环操控技能，且无需依赖机器人数据（Liu等人，2025）；HumanEgo则借助手-物交互表征，从简短的人类录像中学习无需机器人数据的策略（Wang等人，2026b）。除了静态操控之外，EMMA还将人类全身移动操控演示与静态机器人数据联合训练，从而避免了移动机器人遥操作问题，并且随着人类数据的增加，其性能也有所提升（Zhu等人，2026）。我们将同步的身体和手部运动用作双足人形机器人操控的动作监督，并评估在固定机器人演示数据的前提下增加此类数据所带来的益处。
### 2.3 人形机器人全身控制
类人机器人通过全身控制来协调运动、姿态和操作，以支持复杂的物理交互（Fu等人，2025a；He等人，2025年；Luo等人，2026b）。运动重定向是一个关键接口：GMR研究重定向误差如何影响后续的跟踪效果（Araujo等人，2026年），而Human2Humanoid则将形态不变的运动轨迹对齐与符合物理规律的可行性约束相结合（Huang等人，2026年）。类人机器人的策略能够通过潜在视频动作、几何预训练，或基于人类和机器人演示的联合训练，从人类经验中学习任务级行为（Jiang等人，2026a；Wei等人，2026b；Shi等人，2026年；Hu等人，2026年；Bjorck等人，2025年；Luo等人，2026a）。ZeroWBC能够根据初始的以自我为中心的图像和语言指令生成并跟踪全身运动，无需机器人遥操作演示（Yang等人，2026a）；HALOMI则将以自我为中心的演示采集、视角对齐以及控制器感知的参考适配相结合，用于实现主动感知的运动操控（Zhao等人，2026a）。仿真为从人类视频到控制的转化提供了另一条路径：VideoMimic能够重建人类运动和场景以实现情境化控制（Allshire等人，2025年），SUGAR则在提炼自主策略之前对人类视频交互先验进行物理层面的优化（Wu等人，2026年）。GRAIL则利用3D资产和视频先验合成交互数据，通过仿真训练视觉策略（Xie等人，2026年）。LEGS将程序生成的演示与照片级真实感的高斯泼溅场景背景相结合，无需遥操作即可微调类人机器人的运动操控视觉语言模型（Kim等人，2026年）。预测模型和集成式全身系统为连接感知、运动和控制提供了互补的途径（Li等人，2026b；Symbiosis Robotics，2026年；Figure AI，2026a；Parada，2026年；Zheng等人，2026a；Ye等人，2026年；Gao等人，2026年）。我们的对齐方式
---
Figure 2: HUMANVERSE. The wearable capture setup, task and motion distributions, and paired egocentric video and whole-body motions illustrate the dataset's scale and diversity.
该流程解决了运动参考中的几何不匹配问题以及控制器执行误差，从而使记录的人类运动能够用于指导G1所使用的动作接口。
补充表5对比了人类数据接口、训练策略和扩展研究。
## 3 HumanVerse：在开放世界中扩展以自我为中心的全身数据采集
HUMANVERSE包含500小时的以自我为中心的类人机器人运动操控数据，共计32,993个片段和8700万帧姿态数据（图2）。该数据集涵盖了涉及多种物体和场景的827种任务类型，将第一人称视频与同步的身体及手部运动数据相匹配。我们将这些记录转化为与机器人对齐的全身人类数据用于训练；500小时这一数字指的是转换和有效性过滤前所记录的人类数据量。
### 3.1 数据采集设置与协议
我们选用GoPro HERO13以便便捷地采集人类数据，并在下游机器人Unitree G1的头部安装相同的摄像头。我们通过颈部支架将人类摄像头高度与机器人摄像头对齐，同时利用PICO 4 Ultra头戴设备和身体追踪器采集视频同步的身体运动数据。手部运动则是从同一视频中重构得出。图3概述了从开放世界场景与任务选择，到无机器人参与的数据采集、数据整理以及机器人对齐的完整工作流程。
Figure 3: Robot-free capture, curation, and robot alignment. We select open-world scenes and tasks and record egocentric video, body motion, and speech with a robot-matched camera viewpoint. Curation includes synchronization, language/task annotation, body and hand motion reconstruction, observation alignment, action alignment, and quality inspection. Modality thumbnails are schematic.
采集协议：采集者收到的是活动级别的提示，而非预设的关节轨迹，因此行走路径、初始姿态、物体实例、摆放位置、抓取策略以及中间调整均存在多样性。每个片段都保留了所需的接近、重新定位及过渡过程。
---
完成一次交互，而不仅仅是最后的手部动作。采集员在日常场所使用可穿戴界面，无需现场机器人协助，主要进行搬运、整理、清洁以及操作物体和固定装置。我们保留了原始数据流、采集员及会话标识符、活动标签、校准数据以及设备健康记录。现场检查会标记出中断、模态缺失和校准失败等情况。
### 3.2 数据集的范围与覆盖范围
HUMANVERSE仅指这500小时同步的以自我为中心的全身动作数据集。外部的手部-物体数据集和机器人演示数据不包含在其时长及规模子集内；它们的训练作用将在第4.2节中说明。
HUMANVERSE涵盖了家庭、零售店和超市、工业场所、办公室以及户外区域的日常活动。这些活动包括清洁、烹饪、个人护理、洗衣、餐桌布置以及大型物体搬运。例如，与不同高度的物体互动时需要弯腰或伸手，而搬运物体则涉及行走与持续抓握的结合。图2总结了任务、场景、物体和运动分布，补充表4则将本数据集的采集设置和运动覆盖范围与现有的以自我为中心的数据集进行了比较。
定性任务多样性。图4展示了60帧以自我为中心的画面，反映了日常任务、场景及被操纵的物体。每张小图都来自一次采集会话中的某一时刻。这些示例体现了定性多样性，但并不用于估算整个数据集中的任务频率。
Figure 4: Representative examples from HUMANVERSE. Sixty first-person frames are arranged in a $12 \times 5$ gallery to illustrate diversity in tasks, scenes, objects, and hand–object interactions.
### 3.3 人体运动重建与标注
时间同步与语言标注。GoPro和PICO分别采用独立的时钟运行。我们根据约定为每一集分配一个时间偏移量$t_{\text{pico}} = t_{\text{gopro}} + \Delta$，并通过将GoPro陀螺仪测量数据与追踪器得出的身体角速度进行互相关分析，来优化采集时间的先验值。应用该偏移量后，视频和身体姿态会在重叠区间内被重新采样到同一时间轴上，同步质量会被作为明确的诊断指标予以保留。GoPro音轨中的语音指令会被转录为每集对应的语言/任务标签。这些记录保留了稳定的帧索引，便于后续重建和对齐。
身体与手部运动。我们利用可穿戴式身体追踪数据和以自我为中心的视频，重建同步的人体运动序列。PICO系统（PICO，n.d.）提供带时间戳的24个关节的身体运动学数据，而Dyn-HaMR（Yu等人，2025年）则利用ViPE（Huang等人，2025年）的摄像头运动数据来估算每只手21个关节的运动。坐标变换将这些运动轨迹对齐到同步的视频帧上。这些身体和手部轨迹为第3.4节中的机器人对齐提供了参考。
坐标表示方式。我们保留了摄像头轨迹以及可用的摄像头到世界坐标系、身体坐标系的变换关系。手部轨迹既存储在用于重投影的当前摄像头坐标系中，也存储在以首个有效摄像头姿态为锚点的、固定于某一集的坐标系中，以便保留随时间产生的位移信息。手指几何形状则用腕部局部、手掌对齐且经过尺度归一化的坐标来表示。
注释记录。每个派生出的运动序列都会保留源帧索引、坐标变换、转换版本、各轨迹的可见性以及估计器的置信度。原始录音是权威数据源。独立的身体和手部有效性掩码能够在手部缺失或被遮挡时保留可用的身体运动数据，而无需对缺失的姿态进行插值处理。身体数据流由可穿戴设备的运动学数据构成；手部轨迹则通过RGB图像重建而成。相关验证和划分细节详见附录C。
---
Figure 5: Synchronized human motion and egocentric observations. Top: egocentric RGB frames. Bottom: corresponding SMPL body meshes with MANO hand motion and illustrative camera frusta. Camera frusta schematically illustrate viewing direction.
数据质量与划分。我们在提取时间窗口前，先按录制会话对HUMANVERSE数据集进行划分，且仅从固定的通用训练分区中抽取嵌套缩放子集。用于下游训练的任务特定人类演示数据与本语料库相互独立，且人类数据的选取不会参考人形机器人评估清单。附录C详细说明了质量检查、有效性掩码以及划分协议。
图5展示了16个将第一人称视角帧与其重建运动配对的示例。
### 3.4 人类到人形机器人的对齐流程
我们将录制的图像和重建的运动与G1模型对齐（见图3）。观察对齐阶段会匹配相机参数，并将人类手臂替换为渲染出的机器人手臂；动作对齐阶段则会在离线状态下优化运动参考和控制器输入，最终生成用于部署时的动作接口中的人形机器人状态和运动标记。
动作对齐。人形机器人依赖如SONIC（Luo等人，2026b）之类的跟踪策略来实现协调的全身移动操作。通过重定位得到的运动参考（如GMR（Araujo等人，2026））或经由SONIC执行的人类运动，仍可能产生末端执行器姿态误差。几何不匹配会影响参考值，而控制器的跟踪过程又会引入额外的执行误差。
Figure 6: Human-to-humanoid action alignment. The first two stages modify the human and robot references. The third accounts for execution dynamics and directly optimizes motion tokens using gradient-based updates. End-effector targets remain fixed throughout. Rendered poses illustrate the procedure and are not experimental rollouts.
---
这些误差可能会危及抓取和接触操作的准确性。我们分三个阶段离线优化人类参考、机器人参考以及控制器输入（见图6）（Jiang等人，2026b；Chen等人，2026）。(1) 人类参考对齐：人类参考模型与G1之间的高度差异会导致末端执行器偏离目标位置。我们将SMPL模型缩放至G1的高度，调整其姿态以使末端执行器与目标对齐，再将这些修正应用于人类参考模型。经SONIC模拟后，可得到对齐度更高的G1运动。(2) 机器人参考对齐：缩放后的SMPL骨骼仍与G1的身体几何结构存在差异，从而留下残余的末端执行器误差。我们利用G1的运动学模型，通过受限的离线全身逆运动学（IK）来修正机器人参考模型；重新编码修正后的参考模型并回放其标记，可进一步降低此类误差。(3) 动态感知优化：仅靠运动学修正无法消除执行过程中的动态误差。我们利用模拟反馈和响应模型来指导基于梯度的运动标记更新。经过多轮标记更新和模拟后，末端执行器误差会逐渐减小。在数据集制作过程中，我们会从这三个阶段中选取最佳的有效结果；如果对齐过程未能改善效果，则采用原始人类姿态的SONIC模拟结果作为备选。我们在50个任务（约1小时的数据量）上验证了后两个阶段的效果，结果显示任务平均末端执行器位置误差从17.03厘米降至3.83厘米，而方向误差则从$36.06^{\circ}$减小到$10.85^{\circ}$。
观测对齐。我们使用相同的相机模型，并匹配拍摄高度，以减少人类与机器人记录之间的视角差异。为了对齐机械臂的外观，我们利用SAM2（Ravi等人，2025年）对人前臂和腕部安装的PICO追踪器进行掩码处理，再用DiffuEraser（Li等人，2025年）对这些区域进行修复。随后，我们根据对齐后的关节位置渲染G1机械臂，将其贴合到人类的手腕和前臂上，再将其合成到修复后的画面中。这样便能保留场景及交互细节。不过人类和类人机器人的运动仍可能改变相机视角。在训练过程中，随机缩放裁剪、微小旋转以及光度抖动操作可提升模型对这类差异的鲁棒性。最终部署的策略会使用类人机器人的图像。
## 4 $\lambda_{0}$：从人类经验中学习类人机器人的移动操控技术
$\lambda_{0}$采用视觉-语言-动作架构以及特定领域的接口，从人类经验中学习任务相关的动作。离线动作对齐能够提升人类衍生动作的末端执行器执行精度；而VLA训练则利用由此产生的监督信号，学习根据观测数据、语言描述和状态来预测动作。训练过程分为以手动作为主的预训练阶段、以整个人体动作为主的中期训练阶段，以及机器人后期训练阶段（见图7）。第3.4节为第二阶段提供了经过对齐的人类衍生状态与动作数据，这些数据采用与已部署的全身控制器相同的运动标记接口。第三阶段则利用机器人数据对策略进行调整。
### 4.1 策略架构与动作接口
架构与输入。$\lambda_0$将Qwen3.5-2B（Qwen团队，2026年）视觉-语言骨干网络与生成式动作专家模块相结合。在第二和第三阶段，策略会接收以手为中心的图像、语言指令以及当前状态信息。对于G1机器人而言，44维的状态数据包含29个身体关节位置、两侧各6个手部指令，以及3个投影重力分量。遵循$\pi_{0.5}$（Black等人，2025年）的方法，我们会对状态数据进行离散化处理，并将其附加到指令中。骨干网络的逐层特征会为动作专家模块提供条件。
动作接口。动作专家模块会预测一个包含50个步骤的动作序列；对于G1机器人来说，每个步骤包含64维的SONIC运动潜变量以及两个各6维的Revo2手部指令，总计76维。第一阶段仅利用骨干网络来预测未来的离散双侧手部状态标记。动作专家模块在第二阶段引入，并在第三阶段继续使用。人类衍生的中期训练数据与G1机器人的后期训练数据采用相同的状态-动作格式（见附录B.1），但具有不同的领域标识符以及输入/输出投影方式。遵循X-VLA（Zheng等人，2026b）的思路，特定领域的投影机制以及学习到的软提示功能可支持跨领域迁移。
### 4.2 三阶段训练流程
我们的训练流程使用了三种数据源：用于以手为中心视频和手部姿态预训练的公开以手为中心的手物交互数据集（$D_{E}$）、用于整个人体动作中期训练的HUMANVERSE数据集（$D_{W}$），以及用于机器人后期训练的机器人演示数据（$D_{R}$）。
第一阶段在视觉-语言骨干网络中预测未来的手部状态标记。第二和第三阶段则使用第4.3节定义的掩码速度场损失函数$\mathcal{L}^q$，且使用不同的数据源与活跃的动作接口。设$\phi^{(1)}$表示第一阶段的骨干网络参数，$\theta^{(k)}$表示在第二和第三阶段学到的动作策略参数。
---
Figure 7: Three-stage training of $\lambda_{0}$. The policy learns interaction from egocentric data, whole-body coordination from HUMANVERSE, and downstream control from real-robot data.
第二阶段以第一阶段的EMA检查点作为骨干网络的初始化基础，并引入动作专家模块。第三阶段则以第二阶段的EMA检查点作为初始化基础。
第一阶段：以自我为中心的手部动作预训练。我们从视觉-语言检查点初始化主干网络，并训练它根据自我中心观测、当前手部状态以及语言信息来预测未来的一系列离散双侧手部状态标记（图7(a)）。此阶段不训练动作专家。训练所用数据集包括EgoDex、EgoVerse、HO-Cap、HOI4D、HoloAssist、HOT3D和VITRA-1M（Hoque等人，2026年；Punamiya等人，2026年；Wang等人，2025年；Liu等人，2022年；Wang等人，2023b年；Banerjee等人，2025年；Li等人，2026a年），手部姿态的监督信号则来自原始真实标注或由开源方法生成的伪标签。我们用$S_E$来表示这七个数据源。我们按照各数据集可用帧数的平方根比例来采样数据$N_d$，以此提升较小数据源的相对贡献：
$$ p_{1}(d)=\frac{\sqrt{N_{d}}}{\sum_{d^{\prime}\in\mathcal{S}_{E}}\sqrt{N_{d^{\prime}}}},\qquad\phi^{(1)}=\arg\operatorname*{m i n}_{\phi}\mathbb{E}_{d\sim p_{1},\tau\sim\mathcal{D}_{d}}\left[\mathcal{L}_{\mathrm{t o k e n}}^{E}(\tau;\phi)\right]. $$
此处$\mathcal{L}_{\text{token}}^{E}$表示未来手部状态标记的预测损失。每个双侧手部状态包含138个连续维度：三维手腕位置、六维旋转，以及每只手$20 \times 3$个局部关键点坐标。
第二阶段：以自我为中心的人体全身中期训练。第二阶段使用经第3.4节所述流程转换为G1状态-动作格式的HUMANVERSE演示数据（图7(b)）。监督信号仍来源于人类，且采用上述特定领域的接口。用$\Phi_R$表示转换过程，用$\mathcal{L}^H$表示人体领域损失；我们从第一阶段的结果初始化主干网络，引入动作专家和人体数据投影模块，并进行优化。
$$ \theta^{(2)}=\arg\min\limits_{\theta:\phi\gets\mathrm{EMA}(\phi^{(1)})}\mathbb{E}_{\tau\sim\Phi_{R}(\mathcal{D}_{W})}[\mathcal{L}^{H}(\tau;\boldsymbol{\theta})]. $$
在此阶段，我们会更新主干网络、动作专家以及人体数据投影模块。
第三阶段：机器人后期训练。我们在机器人演示数据上对策略进行后期训练，从而将前几个阶段学到的动作与交互模式适配到下游任务中，并实现可执行的机器人控制（图7(c)）。后期训练的目标是
$$ \theta^{(3)}=\arg\min\limits_{\theta\leftarrow\mathrm{EMA}(\boldsymbol{\theta}^{(2)})}\mathbb{E}_{\tau\sim\mathcal{D}_{R}}[\mathcal{L}^{R}(\tau;\boldsymbol{\theta})]. $$
我们会联合优化模型、实体条件化模块以及主动接口。训练日程的详情总结在附录B.3中。
### 4.3 训练目标与部署
第二阶段和第三阶段的训练目标。第二阶段和第三阶段采用遵循$\pi_{0,5}$所提出的流匹配方法（Black等人，2025年）。对于某个领域$q \in \{H, R\}$，设$\mathbf{a}$为目标动作序列，$\mathbf{c}_\tau$为观测、指令及状态条件，$\epsilon \sim \mathcal{N}(\mathbf{0}, \mathbf{I})$和$s \sim \mathcal{U}(0,1)$分别为其他相关变量。在预测结果中，含噪动作表示为$\mathbf{x}_s = (1 - s)\epsilon + s\mathbf{a}$，目标速度则为$\mathbf{a} - \epsilon$。当$m_{h,i}^q = 1$仅针对步骤h处有效的、无前缀的标量目标时，
---
维度j处的掩码速度场损失为
$$ \mathcal{L}^{q}(\tau;\boldsymbol{\theta})=\mathbb{E}_{s,\epsilon}\left[\frac{\sum_{h,j}m_{h,j}^{q}\big(v_{\boldsymbol{\theta},h,j}^{q}(\mathbf{x}_{s},s;\mathbf{c}_{\tau})-(a_{h,j}-\epsilon_{h,j})\big)^{2}}{\sum_{h,j}m_{h,j}^{q}}\right],\qquad q\in\{H,R\}. $$
在加噪过程中，已提供的动作前缀条目保持不变，且不被纳入损失计算范围；该掩码还会排除缺失的标注和填充内容。推理时从高斯噪声开始经过10步欧拉积分即可得到动作，同时保持任何已提供的动作前缀不变。更多细节见附录B.2。
部署阶段，$\lambda_{0}$利用G1的自我中心图像、语言指令以及本体感知状态，结合机器人领域标识符和投影模块来进行运算（图7(c)）。预测得到的64维运动标记会驱动SONIC全身控制器，而两个6维的手部指令则会驱动Revo2机械手。部署过程无需依赖人类运动数据流。
## 5 人形机器人实验：对齐性、规模与迁移能力
我们评估了未包含目标任务机器人数据的、与人类行为对齐的演示数据，随后将$\lambda_{0}$与各类策略基线进行比较，同时改变人类数据的规模以及训练阶段，并测试其在机器人演示中未出现过的物体实例上的迁移效果。
### 5.1 机器人对齐的人类数据的有效性与效率
我们从两个维度评估机器人对齐的人类监督数据：其一是在没有目标任务机器人演示的情况下它能实现的行为，其二是学习这些行为所需的采集成本。我们的评估涵盖了全身操控和远距离操控任务（Chen等人，2026年；Jiang等人，2026b年）。
Figure 8: Task progress from aligned human demonstrations. Scores include partial completion; long-range results average seen and unseen target locations. N/R indicates missing before-alignment scores.
Figure 9: Task performance and collection labor with human or robot supervision. Equal-weight means over Close Laptop and Pull Curtain. Left: task scores versus demonstrations per task, evaluated over 20 trials per policy. Right: person-seconds per demonstration, including capture, amortized setup, calibration, troubleshooting, and resets, with one person for human capture and two for teleoperation.
不同任务类别中的有效性。图8展示了四项全身任务和三项远距离任务的结果，其平均进度分别为51.7%和76.2%（若对七项任务赋予相同权重，则平均进度为62.2%）。成对的全身体验对比显示了对齐带来的优势，而远距离任务评估则涵盖……
---
物体的重新定位、导航以及在已见和未见目标位置的足部交互。这些评估用于测试仅基于特定任务的人类演示、且无需目标任务机器人数据所训练出的策略。后续实验将验证在机器人训练完成后，利用中期训练获得的人类数据是否能提升$\lambda_{0}$的性能。
性能与采集成本的对应关系。图9显示，尽管人类数据采集成本大幅降低，但机器人的性能依然具有竞争力。以“关闭笔记本电脑”和“拉窗帘”两项任务为例，人类采集方式下每次演示所需的平均人力时间从140.85人秒降至33.30人秒（人力成本减少76.4%，即每人每小时可完成的演示数量提升至原来的4.23倍）；基于200个人类演示训练出的策略，其平均任务得分为53.3%，而基于50个机器人演示训练出的策略平均得分为60.0%。对于远距离物体重新定位任务，我们的人类数据采集方案将每次演示的现场录制和重置时间从130秒缩短至25秒，从而使处理效率提升5.2倍。上述测量采用了不同的统计规则。作为简要总结，全身任务机器人/人类采集的时间近似值为70秒/33秒，远距离任务采集时间为130秒/25秒；若将两类任务赋予相同权重，则每次演示的平均时间为100秒/29秒，处理效率提升3.4倍。其中70秒的近似值相当于报告中所提及的两人协作耗时的一半，并非实际测量的耗时；这一总结仅针对代表性任务，并非整个数据集的测量结果。
### 5.2 仿真与真实世界任务中的性能表现
我们通过将$\lambda_{0}$与已有的策略基线进行比较，来评估这种人类监督的训练方法是否能提升仿人机器人在仿真及真实世界任务中的远距离操控能力。
(a) Hardware & Teleoperation Setup
(b) Real-World Loco-manipulation Tasks
(c) Evaluation Objects
Figure 10: Real-world data collection and evaluation. (a) Egocentric teleoperation collects whole-body demonstrations. (b) Four loco-manipulation tasks evaluate task success. (c) Robot-seen and robot-unseen objects are used for standard task and generalization evaluation, respectively.
硬件方面：搭载五个追踪器的PICO 4 Ultra用于捕捉人体动作，SONIC系统会将其转化为Unitree G1的控制信号（见图10(a)）。我们使用HexaCercle M11手套来在遮挡情况下稳定捕捉手部姿态，并将捕捉到的手指运动映射为对BrainCo Revo2手部的控制指令。头戴式GoPro摄像头可提供第一人称视角的RGB图像，该图像会与G1计算机上记录的全身体验数据同步。
评估环节：我们对SIMPLE框架下的六项核心任务（Wei等人，2026a年）在等级0至2范围内进行评估，每个任务-等级组合进行十次运行测试；同时评估图10(b)中展示的四项真实世界任务，每项任务及策略对应十种固定的初始配置。固定的初始条件有助于进行一致的策略对比。我们记录任务成功情况和进度，以反映任务的完全完成或部分完成情况。进度值是对固定里程碑得分求和后归一化到每项任务100分的结果，再对所有任务取平均值（详见附录D.3）。标准测试使用图10(c)中机器人已见过的物体；泛化测试则使用仅在人类演示中出现过的物体。
基准线。仿真基准数据来源于公开的SIMPLE排行榜（Wei等人，2026a）。公开条目保留了其原始协议。我们自行对StarVLA和$\lambda_0$进行了评估。真实世界基准包括$\pi_{0.5}$（Black等人，2025）、GR00T N1.6（GEAR团队，2025）、$\Psi_0$（Wei等人，2026b）以及StarVLA（StarVLA社区，2026）。真实世界方法共享初始配置和评分标准；基准实现细节详见附录D.1。
真实世界评估。表1显示，$\lambda_{0}$的最高平均成功率为62.5%，加权进度为80.4%，分别比最强的外部基准高出22.5%和25.8%。它在所有四项任务中取得的成功次数最多，其中在瓶子处理任务上的进度提升最为显著，达到51.0%。
---
该模型在每项任务上的进度均保持在75%以上。椅子摆放任务中两项指标出现差异：$\lambda_{0}$完成了6/10次试验，而StarVLA仅完成3/10次；但在进度方面，StarVLA略胜一筹（77.0%对比82.5%）。
Table 1: Real-world task performance. We report success rates over ten trials and weighted progress (%) for each task. Averages weight the four tasks equally.
| Method | Bottle Disposal | Toy Storage | Box Transport | Chair Placement | Average |
| $\pi_{{0.5}}$ (Black et al., 2025) | 2/10 | 28.0 | 5/10 | 64.5 | 5/10 | 58.0 | 4/10 | 65.5 | 16/40 | 54.0 |
| GR00T N1.6 (GEAR Team et al., 2025) | 0/10 | 10.0 | 1/10 | 19.0 | 0/10 | 10.0 | 2/10 | 46.0 | 3/40 | 21.3 |
| $\Psi_{{0}}$ (Wei et al., 2026b) | 1/10 | 26.5 | 2/10 | 30.0 | 1/10 | 37.5 | 0/10 | 33.0 | 4/40 | 31.8 |
| StarVLA (StarVLA Community, 2026) | 0/10 | 10.0 | 5/10 | 55.0 | 3/10 | 71.0 | 3/10 | 82.5 | 11/40 | 54.6 |
| $\lambda_{{0}}$ (Ours) | 5/10 | 79.0 | 7/10 | 81.0 | 7/10 | 84.5 | 6/10 | 77.0 | 25/40 | 80.4 |
仿真评估。表2显示，$\lambda_{0}$的整体成功率为90.0%，分别比StarVLA和$\Psi_{0}$高出3.9%和4.4%。本总结采用了按任务选择的配置，相关限制详见附录D.2。它在各个等级上均优于StarVLA（等级0–2分别为90.0%、93.3%和86.7%），不过在等级2时差距缩小至1.7%。它在所有等级下的BendPick任务以及等级1和2的Handover任务中均达到了100%的成功率；Mobile P&P是其表现最弱的任务，在等级1和2中落后于StarVLA（70%对比80%）。
### 5.3 人类数据规模与训练阶段消融实验
我们改变了第二阶段的数据量以测量验证损失和下游任务进度，随后在固定机器人监督下对两个人类数据阶段进行消融分析。
验证损失缩放。为了分离第二阶段的人类数据规模影响，我们使用相同的2B模型，在固定随机种子和优化计划下，针对5%、10%、25%、50%和100%的嵌套子集各训练10万次更新（详见附录C）。每更新1千次，我们会对两个固定的、会话不重叠的测试集进行评估：“clean”测试集包含全身及双手标注有效性处于上四分位数的会话，而“representative”测试集则按数据源和标注有效性分层，以反映完整数据分布。参照EgoScale（Zheng等人，2026c）的方法，我们分析了不同数据规模下的训练动态及最小损失。
(a) Mid-training Validation Loss
(b) Validation Loss Scaling
Figure 11: Human-data scaling of validation loss. (a) Training curves on representative and clean holdouts at five data fractions. (b) Minimum validation loss versus data scale with descriptive log-linear fits over the measured range. Minima are selected independently on each holdout.
训练动态。图11(a)显示，数据规模越大，验证损失的最小值出现得越晚。在5%和10%的数据规模下，“representative”测试集的损失最小值分别出现在6千次和12千次更新时，最终损失分别高出24.7%和19.0%；在“clean”测试集中，这一增幅分别为27.6%和18.1%。而在50%和100%的数据规模下，最终损失与“representative”测试集的最小值相差不超过1.4%，与“clean”测试集相差不超过0.9%。在50%的数据规模下，最小值出现在37千次/58千次更新时。
Table 2: SIMPLE task performance. Success rates (%) at Levels 0–2 with ten trials per task-level pair. Average is computed per level. Overall averages all 18 task-level pairs.
| Model | XMovePick | BendPick | Handover | Mobile P&P | Grasp | XMoveBendPick | Average | Overall |
| H-RDT (Bi et al., 2026) | 0/0/20 | 0/0/10 | 0/10/0 | 0/0/0 | 0/0/0 | 0/0/0 | 0.0/1.7/5.0 | 2.2 |
| InternVLA-M1 (Chen et al., 2025) | 0/0/0 | 50/50/0 | 0/0/0 | 0/0/0 | 0/0/0 | 30/50/70 | 13.3/16.7/11.7 | 13.9 |
| EgoVLA (Yang et al., 2026b) | 0/10/20 | 70/50/80 | 0/40/30 | 0/0/0 | 100/100/70 | 30/50/40 | 33.3/41.7/40.0 | 38.3 |
| Diffusion Policy (Chi et al., 2025) | 30/30/20 | 100/80/60 | 30/20/40 | 40/0/0 | 80/90/80 | 0/0/0 | 46.7/36.7/33.3 | 38.9 |
| GR00T N1.6 (GEAR Team et al., 2025) | 100/100/70 | 70/70/60 | 10/30/30 | 0/0/0 | 90/90/70 | 40/40/10 | 51.7/55.0/40.0 | 48.9 |
| $\pi_{0.5}$ (Black et al., 2025) | 70/50/10 | 100/100/80 | 50/40/50 | 30/30/30 | 100/100/80 | 0/0/0 | 58.3/53.3/41.7 | 51.1 |
| DreamZero (Ye et al., 2026) | 100/100/100 | 90/90/80 | 70/80/90 | 50/30/30 | 90/100/70 | 0/0/10 | 66.7/66.7/63.3 | 65.6 |
| ACT (Zhao et al., 2023) | 100/100/50 | 100/90/90 | 70/70/100 | 50/50/50 | 100/100/80 | 90/100/100 | 85.0/85.0/78.3 | 82.8 |
| $\Psi_0$ (Wei et al., 2026b) | 100/100/60 | 100/100/100 | 70/70/100 | 70/50/60 | 100/100/80 | 100/90/90 | 90.0/85.0/81.7 | 85.6 |
| StarVLA (StarVLA Community, 2026) | 100/90/90 | 70/90/70 | 80/80/100 | 90/80/80 | 90/100/70 | 70/100/100 | 83.3/90.0/85.0 | 86.1 |
| $\lambda_0$ (Ours) | 100/100/80 | 100/100/100 | 90/100/100 | 90/70/70 | 100/90/80 | 60/100/90 | 90.0/93.3/86.7 | 90.0 |
---
在“representative”/“clean”测试集中，100%数据规模下的最小值则出现在99千次/98千次更新时。25%数据规模的实验结果处于中间状态：两个测试集的最小值均出现在约22千次更新时，最终损失仅高出6.4%–6.5%。因此，更大的数据集能够支持更长时间的训练而不致使验证损失上升，而较小的子集则能从较早的检查点选择中受益。仅依据最终检查点无法区分数据规模效应与后期损失增加的影响。
缩放趋势。图11(b)对比了不同数据规模下的最小验证损失。从5%到100%，代表性数据集上的损失降低了35.5%，干净数据集上的损失降低了40.6%。通过拟合$\widehat{L}_{h}(D) = a_{h} + b_{h}\ln D$可得$R^{2} = 0.9868/0.9901$，代表性数据集和干净数据集每翻倍一次损失分别减少0.000900和0.000877。整个过程中干净数据集的损失始终更低，而两者斜率差异仅为2.7%，这表明尽管它们的标注有效性分布不同，但缩放响应相似。这些单次运行得到的拟合结果仅描述了所测量的范围，并未确立跨随机种子的可重复性，也无法用于外推。
下游任务进度缩放。图12显示了在0%、5%、10%、25%、50%和100%的Stage-II数据量下，任务进度分别为59.9%、64.2%、67.3%、72.1%、76.4%和80.4%。这些端点数据与表3中无Stage-II数据和完整训练方案的结果一致。我们固定了Stage-I初始化、模型容量、机器人演示数据、Stage-III更新预算以及评估配置。非零比例的数据共享Stage-II更新预算和检查点选择；附录C详细说明了子集构建及固定控制条件。随着这些数据比例的增加，任务进度呈单调上升趋势，从无Stage-II数据到完整语料库，进度提升了20.5%。
Figure 12: Average real-world task progress versus Stage-II human-data fraction.
固定机器人监督下的训练阶段消融实验。表3在所有变体中均保留了相同的架构、动作表示、视觉-语言初始化以及Stage-III机器人后续训练，同时消融了两个人类数据阶段。采用完整训练方案时，SIMPLE任务成功率为90.0%；去除Stage I后成功率为87.8%；去除Stage II后为82.3%；两者都去除后成功率为79.4%。在真实世界中，完整训练方案下的成功率为62.5%，进度为80.4%；去除Stage I后成功率为50.0%，进度为75.9%；去除Stage II后成功率为22.5%，进度为59.9%；两者都去除后成功率为15.0%，进度为54.0%。去除Stage II对真实世界成功率的影响远大于去除Stage I（分别为40.0% vs 12.5%）：训练中途加入全身信息比来自以自我为中心的手部数据中的交互先验更为重要。
Table 3: Training-stage ablations with fixed robot supervision. Filled/open circles indicate included/removed data. Metrics report SIMPLE success and real-world averages across four tasks. SIMPLE configuration-selection limitations are detailed in Appendix D.2.
| Variant | S1 | S2 | Robot | SIMPLE (%) | Real-world (%) |
| L0 | L1 | L2 | Overall | Success | Progress |
| w/o human-data pretraining | ○ | ○ | ● | 83.3 | 83.3 | 71.7 | 79.4 | 15.0 | 54.0 |
| w/o Stage II mid-training | ● | ○ | ● | 83.6 | 86.7 | 76.7 | 82.3 | 22.5 | 59.9 |
| w/o Stage I pretraining | ○ | ● | ● | 88.0 | 91.7 | 83.7 | 87.8 | 50.0 | 75.9 |
| $\lambda_0$ (Full Recipe) | ● | ● | ● | 90.0 | 93.3 | 86.7 | 90.0 | 62.5 | 80.4 |
### 5.4 迁移至机器人未见过的物体实例
为了评估泛化能力，我们测试了人类演示是否能提升机器人在真实世界四项任务中对未见过的物体实例的性能。对于每种方法，我们利用物体A的机器人演示以及A和B的人类演示来训练策略。Seen（$\mathbf{A} \cdot \mathbf{A} - \otimes$）和Human-guided（$\mathbf{A} \cdot \mathbf{A} - \otimes$）分别在物体A和B上评估同一策略的性能。Robot-only（$\mathbf{A} \cdot \otimes$）则在匹配的初始化和评分条件下，评估仅使用机器人演示的变体在物体B上的表现。与第5.1节不同，该设置允许使用同一任务的物体A的机器人演示，同时测试其向物体B的迁移能力。
$\lambda_{0}$在Human-guided设定下的平均进度达到最高的55.8%，而最强的基线方法$\pi_{0.5}$仅为46.5%（见图13）。与仅使用机器人演示的变体相比，$\lambda_{0}$在所有四项任务上的进度均有提升，平均值从48.4%提高到55.8%，增幅达7.4%。不过在物体B上的进度仍低于Seen设定下的水平。这一对比衡量了人类数据训练的综合益处；它并未区分人类B演示、人类A演示或早期人类预训练各自的贡献，也未改变人类数据的规模。
---
(a) Toy storage
(b) Parts-box transport
(c) Bottle disposal
(d) Chair placement
Figure 13: Generalization with human demonstrations. Seen and Human-guided evaluate the same policy, trained on robot demonstrations of A and human demonstrations of A and B, on A and B respectively. Robot-only evaluates a policy trained without human data, using robot demonstrations of A, on B. B is absent from robot demonstrations in both training recipes; it is human-observed only in the joint-data recipe. Solid checked and dashed object icons indicate presence and absence in robot demonstrations, respectively. Seen scores use separate trials from Table 1.
## 6 结论
我们提出了$\lambda_{0}$，这是一种用于人形机器人运动操控的基础模型，以及HUMANVERSE——一个以人为中心的全身人类动作数据集。该数据集支持从开放世界交互中学习，无需通过机器人操作来采集数据。人与人形机器人之间的动作对齐使得这种体验可用于学习协调的身体和手部动作。在训练过程中利用全身人类动作数据，能够将多样的人类交互视频与有限且成本高昂的机器人演示数据相结合，逐步将手部动作的预训练扩展到全身控制，最终适配目标人形机器人。我们的研究结果表明，增加这种人类监督能显著改善后续的运动操控性能，从而证明以人为中心的全身人类体验可作为人形机器人学习的实用数据源。
## 7 贡献者
在每个类别中，作者均按名字首字母顺序排列。
核心贡献者：徐崇阳、陈进、叶金辉、陈一伦†、蒋一鸣、吴赵
贡献者：韦虎、曲林、张世峰、何一升、蒋玉明、孟泽南、吴正
指导老师：徐穆、Steven Hoi
致谢：我们衷心感谢阿里巴巴集团数据技术团队以及高德地图的具身智能数据团队在数据收集方面提供的支持。我们特别感谢马安杰、朱建成、刘俊杰、杨兰、潘雷、王素玉、赵永拓、孟泽南和吴正。同时，我们也感谢以下数据收集人员在数据采集工作中付出的努力：刁方政、赵赫、潘宏波、王佳乐、张年年、张瑞伟、宋少飞、蒋圣全、甘世泰、朱思宇、孙欣浩、吴亚菲、施毅、许宇、李泽宏和任泽军。
## 参考文献
Arthur Allshire、Hongsuk Choi、张俊毅、David McAllister、Anthony Zhang、Chung Min Kim、Trevor Darrell、Pieter Abbeel、Jitendra Malik和Angjoo Kanazawa。视觉模仿能够实现情境化的人形机器人控制。发表于2025年CoRL会议。
Joao Pedro Araujo、Yanjie Ze、Pei Xu、吴佳俊和C. Karen Liu。重定向至关重要：用于人形机器人动作跟踪的通用动作重定向技术。发表于2026年ICRA会议。
---
Prithviraj Banerjee等人。HOT3D：基于以人为中心的多视角视频的手部和物体追踪技术。发表于2025年CVPR会议。
Homanga Bharadhwaj、Abhinav Gupta、Shubham Tulsiani和Vikash Kumar。从被动人类视频中实现零样本机器人操控。arXiv预印本arXiv:2302.02011，2023年。
毕宏哲、吴凌轩、林天威、谭恒凯、苏志忠、苏航和朱军。H-RDT：增强人手操控的双臂机器人操控技术。发表于2026年AAAI会议。
Johan Bjorck等人。GR00T N1：一种面向通用人形机器人的开源基础模型。arXiv预印本arXiv:2503.14734，2025年。
Kevin Black、Noah Brown、James Darpinian、Karan Dhabalia、Danny Driess、Adnan Esmail、Michael Robert Equi、Chelsea Finn等。$\pi_{0.5}$：一种具备开放世界泛化能力的视觉-语言-动作模型。发表于2025年CoRL会议。
Anthony Brohan等人。RT-1：用于大规模现实世界控制的机器人Transformer模型。发表于2023年RSS会议。
卜庆文等人。AgiBot World Colosseo：一个用于可扩展且智能的具身系统的大规模操控平台。发表于2025年IROS会议。
陈进、蒋一鸣、徐崇阳、史莫迪、彭世佳、陈力、李天宇、徐穆、陈一伦、Steven Hoi和李洪阳。EgoHumanoid-V2：用于运动操控的人与人形机器人之间协调全身技能的迁移技术。arXiv预印本arXiv:2609.37181，2026年。
陈欣怡、陈一伦、付彦伟、高宁、贾佳亚、金伟阳、李浩、穆瑶、庞江淼、乔宇等。InternVLA-M1：一种用于通用机器人策略的空间引导型视觉-语言-动作框架。arXiv预印本arXiv:2510.13778，2025年。
迟程、徐振佳、潘楚尔、埃里克·库西诺、本杰明·伯奇菲尔、冯思远、拉斯·特德雷克和宋舒然。通用操控接口：无需真实机器人即可实现的野外机器人教学。收录于RSS会议论文集，2024年。
迟程、徐振佳、冯思远、埃里克·库西诺、杜一伦、本杰明·伯奇菲尔、拉斯·特德雷克和宋舒然。Diffusion Policy：通过动作扩散实现视觉-运动策略学习。《国际机器人研究杂志》，2025年。
Dima Damen等人。重新定义以自我为中心的视觉：EPIC-KITCHENS-100的数据采集、处理流程及挑战。《国际计算机视觉杂志》，2022年。
达萨里、埃伯特、田斯蒂芬、奈尔、布彻、施梅克佩珀、辛格、莱文和芬恩。RoboNet：大规模多机器人学习。收录于CoRL会议论文集，2020年。
达斯、珀奇、张赫佳、李永云、林兆杰和尼科拉迪斯。PATO：用于规模化机器人数据采集的策略辅助遥操作技术。收录于RSS会议论文集，2023年。
德托内、博戈、黎艾尔-团、弗罗斯特、斯特劳布、西迪基、叶雨婷、恩格尔、纽康姆和马玲妮。NymeriaPlus：为Nymeria数据集补充更多标注与数据。arXiv预印本arXiv:2603.18496，2026年。
图注：Introducing Index——打造全球最大且最多样化的物理数据集。Figure AI公司，2026年8月。网址：。访问日期：2026年9月26日。
Figure AI公司。Introducing Helix 02：全身自主操控技术。Figure AI公司，2026年1月a版。网址：。访问日期：2026年9月26日。
Figure AI公司。Helix 2.5：零样本下的30户家庭场景泛化能力。Figure AI公司，2026年9月b版。网址：。发布日期：2026年9月17日。访问日期：2026年9月26日。
傅子鹏、赵青青、吴琪、韦茨斯坦和芬恩。HumanPlus：仿人机器人的人类行为模仿与跟随技术。收录于CoRL会议论文集，2025年a版。
傅子鹏、赵Tony Z.和芬恩。Mobile ALOHA：利用低成本全身遥操作技术实现双臂移动操控学习。收录于CoRL会议论文集，2025年b版。
高申远、梁威廉、郑凯源等。DreamDojo：基于大规模人类视频训练的通用机器人世界模型。收录于ICML会议论文集，2026年。
---
GEAR团队、阿佐利尼、比约克等。GR00T N1.6：改进后的开源通用仿人机器人基础模型。NVIDIA研究院，2025年。网址：。访问日期：2026年9月26日。
高什、沃尔克、珀奇、布莱克、米斯、达萨里、赫纳、克莱曼、许查尔斯、罗建兰、陈永良、阮匡、肖泰德、桑凯蒂、萨迪格、芬恩和莱文。Octo：开源通用机器人策略。收录于RSS会议论文集，2024年。
戈亚尔等人。“Something Something”视频数据库：用于视觉常识学习与评估的数据集。收录于ICCV会议论文集，2017年。
格劳曼等人。Ego4D：基于3000小时第一人称视频的全球视角数据集。收录于CVPR会议论文集，2022年。
格劳曼等人。Ego-Exo4D：从第一人称与第三人称视角理解熟练人类活动。收录于CVPR会议论文集，2024年。
胡海、高一怀、付子鹏、谭杰和宋舒然。UMI-on-Legs：通过以操作为中心的全身控制器使操控策略具备移动能力。发表于CoRL，2025年。
何泰然、罗正毅、何夏林、肖文丽、张冲、张伟南、Kris M. Kitani、刘昌柳和施冠雅。OmniH2O：通用且灵巧的人机全身遥操作与学习系统。发表于CoRL，2025年。
Ryan Hoque、黄培德、David J. Yoon、Mouli Sivapurapu和张健。EgoDex：从大规模第一人称视频中学习灵巧操控技术。发表于ICLR，2026年。
胡英东等。OpenHLM：一种用于人形机器人全身运动操控的经验性方案。发表于CoRL，2026年。
黄佳辉、周群杰、Rabeti Hesam、Korovko Aleksandr、凌欢、任轩驰、沈天昌、高军、Slepichev Dmitry、林辰轩、任家伟、谢凯文、Biswas Joydeep、Leal-Taixe Laura和Fidler Sanja。ViPE：用于3D几何感知的视频姿态引擎。arXiv预印本arXiv:2508.10934，2025年。
黄天辰、袁飞阳、顾俊驰、方舒瑞、张晓虎、王宇、高伟和张世武。Human2Humanoid：面向人形机器人的物理感知型跨形态运动映射技术。arXiv预印本arXiv:2606.03476，2026年。
黄一飞等。EgoExoLearn：一个用于连接现实世界中异步的第一人称与第三人称视角程序性活动的数据集。发表于CVPR，2024年。
Jang Eric、Irpan Alex、Khansari Mohi、Kappler Daniel、Ebert Frederik、Lynch Corey、Levine Sergey和Finn Chelsea。BC-Z：基于机器人模仿学习的零样本任务泛化技术。发表于CoRL，2022年。
Jawaid Ahad和向宇。OpenEgo：一个用于灵巧操控的大规模多模态第一人称数据集。arXiv预印本arXiv:2509.05513，2025年。
蒋浩然、陈进、卜庆文、陈力、史墨迪、张彦杰、李德龙、索传哲、王闯、彭志辉和李宏扬。WholeBodyVLA：面向全身运动操控控制的统一潜空间VLA模型。发表于ICLR，2026a年。
蒋一鸣、陈进、徐崇阳、陈一伦、郝阿敏和何一升。EgoAlign：缩小人与人形机器人之间在长距离运动操控方面的差距。arXiv预印本arXiv:2609.38046，2026b年。
Kareer Simar、Patel Dhruv、Punamiya Ryan、Mathur Pranay、程硕、王晨、Hoffman Judy和Xu Danfei。EgoMimic：利用第一人称视频扩展模仿学习规模。发表于ICRA，2025年。
Khazatsky Alexander等。DROID：一个大规模的真实场景机器人操控数据集。发表于RSS，2024年。
Kim Hojune、Chen Timothy、孙建凯、Osterberg Lars W.、陈千中、王柯和Schwager Mac。LEGS：在具身高斯泼溅世界中针对人形机器人运动操控微调无需遥操作的VLA模型。arXiv预印本arXiv:2606.01458，2026年。
Kim Moo Jin等。OpenVLA：一种开源的视觉-语言-动作模型。发表于CoRL，2025年。
Kumar Ashish、Gupta Saurabh和Malik Jitendra。从第一人称视频中学习导航子程序。发表于CoRL，2020年。
---
Lepert Marion、方嘉颖和Bohg Jeannette。Phantom：仅利用人类视频即可训练机器人，无需真实机器人参与。发表于CoRL，2025年。
李启修等。利用现实生活中的人类活动视频进行可扩展的视觉-语言-动作模型预训练，以应用于机器人操控领域。发表于ICRA，2026a年。
李晓文、薛浩兰、任佩然和薄立峰。DiffuEraser：一种用于视频修复的扩散模型。arXiv预印本arXiv:2501.10018，2025年。
李哲、张真哲、魏洋洋、张文杰、袁希辰、支沛元、李根、郭欣颖、高凤杰、杨建飞和张尚航。$\omega$-0：一种用于人形机器人同步运动与操作任务的潜在预测性世界动作模型。arXiv预印本arXiv:2608.06375，2026b。
Lightwheel AI公司。EgoSuite-Open100K：面向物理人工智能的10万小时以眼为中心的人类数据。Lightwheel AI公司，2026年8月。网址：。访问日期：2026年9月26日。
刘文森、阿德米·阿德尼吉、詹浩天、西丹特·哈尔达尔、劳纳克·比兰吉、皮特·阿贝尔和勒雷尔·平托。EgoZero：基于智能眼镜的机器人学习。arXiv预印本arXiv:2505.20290，2025年。
刘云泽、刘云、蒋澈、吕康博、万伟康、沈浩、梁博强、付周杰、王赫和李毅。HOI4D：面向类别级人机交互的以眼为中心的4D数据集。载于CVPR会议论文集，2022年。
罗浩、王烨、张万鹏、郑思鹏、习子恒、徐超逸、许海旺、袁浩奇、张驰、王一清、冯一程和卢宗庆。Being-H0.5：为实现跨本体泛化而扩展的人体中心机器人学习框架。载于CoRL会议论文集，2026a。
罗正毅等人。SONIC：用于自然人形机器人全身控制的 motion tracking 技术升级版。《科学·机器人》期刊，2026b。
马玲妮、叶雨婷、洪方舟、弗拉基米尔·古佐夫、蒋一峰、罗万·波斯特耶尼、路易斯·佩斯奎拉、亚历山大·加米诺、维杰·拜亚、金孝珍、凯文·贝利、大卫·索里亚诺·福萨斯、刘慈珊、刘子薇、雅各布·恩格尔、伦佐·德·纳尔迪和理查德·纽科姆。Nymeria：一个包含大量野外多模态以眼为中心日常运动数据的大型数据集。载于ECCV会议论文集，2024年。
曼德尔卡尔·阿杰伊、徐丹菲、黄乔西亚、纳西里安尼·索鲁什、王晨、库尔卡尼·罗亨、李飞飞、萨瓦雷斯·西尔维奥、朱宇科和马丁-马丁·罗伯托。从离线人类演示中学习机器人操作技能的关键因素分析。载于CoRL会议论文集，2022年。
奈尔·苏拉杰、拉杰斯瓦兰·阿拉温德、库马尔·维卡斯、芬恩·切尔西和古普塔·阿宾纳夫。R3M：一种适用于机器人操作的通用视觉表征。载于CoRL会议论文集，2023年。
Open X-Embodiment合作组。Open X-embodiment：机器人学习数据集与RT-X模型。载于ICRA会议论文集，2024年。
帕拉达·卡罗莱娜。Gemini Robotics 2为机器人带来全身智能。Google DeepMind公司，2026年7月。网址：。访问日期：2026年9月26日。
PICO公司。身体追踪技术。PICO开发者文档，无日期。网址：。访问日期：2026年9月26日。
普纳米亚·瑞安等人。EgoVerse：一个来自世界各地的用于机器人学习的以眼为中心的人类数据集。载于RSS会议论文集，2026年。
秦玉哲、杨伟、黄秉豪、范·怀克·卡尔、苏浩、王晓龙、赵宇伟和Fox·迪特尔。AnyTeleop：一种基于视觉的通用灵巧机器人手臂-手部遥操作系统。载于RSS会议论文集，2023年。
邱日昭、杨诗琪、程旭欣、查特拉亚·乔拉、李佳龙、何泰然、严戈、尹大卫·J.、霍克·瑞安、保罗森·拉斯、杨戈、张健、易莎、施冠亚和王晓龙。人形机器人策略$\sim$人类策略。载于CoRL会议论文集，2025年。
通义千问团队。Qwen3.5：迈向原生多模态智能体，2026年2月。网址：。
拉古萨·弗朗切斯科、弗尔纳里·安东诺、利瓦蒂诺·萨尔瓦托雷和法里内拉·乔瓦尼·玛丽亚。MECCANO数据集：在工业类场景中通过以眼为中心的视频理解人机交互行为。载于WACV会议论文集，2021年。
---
尼基拉·拉维、瓦伦丁·加布尔、袁婷胡、洪朗航、柴塔尼亚·里亚利、马腾宇、海瑟姆·凯德尔、罗曼·雷德勒、克洛伊·罗兰、劳拉·古斯塔夫森、埃里克·明顿、潘俊廷、卡利安·瓦苏德夫·阿尔瓦拉、尼古拉斯·卡里翁、吴超远、罗斯·吉尔希克、皮奥特·多拉尔和克里斯托夫·费希滕霍费尔。SAM 2：图像与视频中的任意物体分割。发表于ICLR 2025年会议。
法迪梅·塞纳、迪比亚迪普·查特吉、丹尼尔·谢列波夫、何坤、迪皮卡·辛哈尼亚、罗伯特·王和 Angela Yao。Assembly101：用于理解程序性活动的大规模多视角视频数据集。发表于CVPR 2022年会议。
邵林、Migimatsu Toki、张强、杨凯元和Jeannette Bohg。Concept2Robot：从指令和人类演示中学习操作概念。发表于RSS 2020年会议。
史莫迪等人。利用无机器人第一人称视角演示解锁野外运动操控任务。发表于RSS 2026年会议。
苏梅德·桑塔克、张杰西、Sét Arnold、Karl Pertsch、Erdem Biyik、Dorsa Sadigh、切尔西·芬恩和Laurent Itti。RoboCLIP：仅需一次演示即可学习机器人策略。发表于NeurIPS 2023年会议。
StarVLA社区。StarVLA：一个用于视觉-语言-动作模型开发的乐高式代码库。arXiv预印本arXiv:2604.05014，2026年。
Symbiosis Robotics公司。直接感知控制模型。Symbiosis Robotics公司，2026年。网址：。访问日期：2026年9月26日。
Tony Tao、Mohan Kumar Srirama、刘景舟、Kenneth Shaw和Deepak Pathak。DexWild：面向野外机器人策略的灵巧人机交互技术。发表于RSS 2025年会议。
Homer Rich Walke、Kevin Black、Tony Z. Zhao、Quan Vuong、郑崇义、Philippe Hansen-Estruch、Andre Wang He、Vivek Myers、金茂珍、杜Max、李亚伯拉罕、方宽、切尔西·芬恩和Sergey Levine。BridgeData V2：大规模机器人学习数据集。发表于CoRL 2023年会议。
王晨、范林溪、孙建凯、张若涵、李飞飞、徐丹菲、朱玉科和Anima Anandkumar。MimicPlay：通过观察人类游戏过程实现长时序模仿学习。发表于CoRL 2023a会议。
王继凯、张启凡、赵宇伟、温博文、郭晓虎和向宇。HO-Cap：用于手部与物体交互的3D重建及姿态跟踪捕获系统与数据集。发表于NeurIPS 2025年会议。
王欣等人。HoloAssist：面向现实世界中交互式AI助手的第一人称视角人机交互数据集。发表于ICCV 2023b会议。
王烨、林佩、陈雄辉等人。Ego2Robot：基于第一人称人体数据的大规模机器人数据合成技术。发表于CoRL 2026a会议。
王志、何博涛、余凯琳、李承宰、高若涵、黄富荣和Yiannis Aloimonos。HumanEgo：仅用几分钟的第一人称人体视频即可实现零样本机器人学习。arXiv预印本arXiv:2605.24934，2026b年。
魏松林、倪振豪、刘杰、赵振宇、叶俊杰、景宏毅、夏俊凯、刘晓伟、Michael Leong、恒亮、黄迪和王越。SIMPLE：基于仿真的人形机器人运动操控策略学习与评估框架。发表于CoRL 2026a会议。
魏松林等人。$\Psi_{0}$：面向通用人形机器人运动操控的开源基础模型。发表于RSS 2026b会议。
吴天舒、孔祥奇、陈悦、余启泽、叶航、李佳、王一舟和董浩。SUGAR：一种可扩展的、由人类视频驱动的通用人形机器人运动操控学习框架。发表于NeurIPS 2026年会议。
谢天一、张浩天、朴珍亨、王梓、温博文、李杰峰、李雪婷、本庆伟、翁浩阳、叶宇飞、David Minor、王廷武、蒋晨凡、Sanja Fidler、Jan Kautz、范林希、朱玉科、罗正毅、Umar Iqbal和袁烨。GRAIL：基于3D资产与视频先验生成类人机器人运动操控模型。发表于CoRL会议，2026年。
杨浩然、鲍佳程、辛宇成、宋浩明、田宇阳、赵斌、王东和李学龙。ZeroWBC：利用人类第一视角数据学习自然的类人全身交互行为。arXiv预印本arXiv:2603.09170，2026a年。
---
杨瑞涵、余秦熙、吴烨成、闫瑞、李博瑞、郑安杰、邹雪燕、方云浩、程旭欣、邱日昭等。EgoVLA：从人类第一视角视频中学习视觉-语言-动作模型。发表于IROS会议，2026b年。
Ye Seonghyeon、Ge Yunhao、郑凯元、高申远、余思涵、George Kurian、Suneel Indupuru、Tan You Liang、朱楚宁、向建南等。世界动作模型可作为零样本策略。发表于CoRL会议，2026年。
虞正迪、Stefanos Zafeiriou和Tolga Birdal。Dyn-HaMR：从动态摄像头中恢复4D交互手部运动。发表于CVPR会议，2025年。
Zhao Tony Z.、Kumar Vikash、Levine Sergey和Finn Chelsea。利用低成本硬件学习精细的双臂操控技术。发表于RSS会议，2023年。
赵泽辉、赵宇轩、张高静、刘晨曦、郑茂林和连文照。HALOMI：通过人类演示学习具有主动感知能力的类人机器人运动操控技术。arXiv预印本arXiv:2606.18772，2026a年。
赵振宇等。Humanoid Everyday：一个用于开放世界类人机器人操控的综合数据集。发表于ICRA会议，2026b年。
郑佳、马特利、范玉东、王子凡、杨硕和梁俊伟。MotionWAM：迈向用于实时类人机器人运动操控的基础世界动作模型。arXiv预印本arXiv:2606.09215，2026a年。
郑金良、李建雄、王志豪、刘东秀、康希瑞、冯玉春、郑宜楠、邹家银、陈一伦、曾佳等。X-VLA：作为可扩展的跨本体视觉-语言-动作模型的软提示Transformer。发表于ICLR会议，2026b年。
郑瑞杰等。EgoScale：利用多样化的类人第一视角数据扩展灵巧操控能力。发表于CoRL会议，2026c年。
Zhu Lawrence Y.、Kuppili Pranav、Punamiya Ryan、Patcharapong Aphiwetsa、Patel Dhruv、Kareer Simar、Ha Sehoon和Xu Danfei。EMMA：利用类人第一视角数据扩展移动操控能力。发表于IEEE Robotics and Automation Letters，2026年。
Zitkovich Brianna等。RT-2：视觉-语言-动作模型将网络知识迁移到机器人控制中。发表于CoRL会议，2023年。
---
## 附录
我们为本文提供了项目网站和概述视频。下方的补充材料包含了数据质量与划分验证细节、额外的训练形式化描述及实现细节、基线实现方式，以及验证规模分析细节。
## A 相关工作对比
表4和表5对比了各数据集与方法在采集、运动监督、训练和规模扩展方面的表现。
Table 4: Egocentric human-data resources and documented training interfaces. Body and hand coverage denotes motion supervision. NR denotes an unreported interface, not an incompatible one.
| Resource | Hours | Body / hands | SMPL | Humanoid interface | Capture setup |
| EgoDex (Hoque et al., 2026) | 829 | Upper body and articulated hands | NR | NR in dataset release | Apple Vision Pro |
| HOT3D (Banerjee et al., 2025) | 13.9 | Hands and objects without full-body coverage | NR | NR | Aria / Quest 3 with external tracking |
| NymeriaPlus (DeTone et al., 2026) | $NR^{{a}}$ | Full body, finger motion NR | Provided | NR | Aria, wristbands, XSens |
| EgoHumanoid (Shi et al., 2026) | NR | Full body and articulated hands | NR | G1: wrist targets + locomotion commands | PICO + trackers, ZED X Mini |
| EgoScale (Zheng et al., 2026c) | 20,854 | Wrist and hand action supervision | NR | G1 transfer via wrist / hand interface | Multiple human-data sources |
| Index (Figure, 2026) | NR | Pose schema NR | NR | Figure / Helix, G1 NR | Distributed creator recordings |
| EgoSuite-Open100K (Lightwheel AI, 2026) | $10k^{{b}}$ | Hands, full body in body subsets | NR | NR (LeRobot is a storage format) | Head camera, wrist views in Pro |
| HUMANVERSE (Ours) | 500 | Tracked full body and reconstructed hands | Compatible | SONIC body tokens and G1 training views | Portable PICO + GoPro |
$^{a}$NymeriaPlus对时长达300小时以上的Nymeria语料库进行了升级。经过序列过滤后保留的时长在此未单独说明。$^{b}$2026年8月26日的公告称，计划采集的100千小时数据中，最初可提供的为10千小时，其中包含12千小时的全身子集数据。这些计划中的时长并不计入已发布的全身数据范畴。SMPL兼容性和已验证的机器人接口属于不同概念。我们的身体数据流源自设备的运动学数据，并非光学动作捕捉得到的真实数据。手部几何形状是离线重建的。采集硬件的相关信息已列出，但并未给出未经证实的成本排名。
Table 5: Problem-level comparison with the closest humanoid VLA and world-action studies. “General” denotes human data not collected for the downstream evaluation tasks. “Task-targeted” denotes demonstrations whose task or object coverage is selected for the downstream study. This table compares experimental questions rather than reported scores.
| Method | Human signal | Role in training | Controlled scale | Primary question |
| WholeBodyVLA (Jiang et al., 2026a) | 300 h action-free egocentric video | latent locomotion pre-training, robot manipulation latents, and teleop grounding | 0-100% video $\times$ teleop trajectories | Can visual latent actions reduce loco-manipulation teleoperation? |
| EgoHumanoid (Shi et al., 2026) | same-task RGB and wearable motion | direct human-robot co-training after view/action alignment | 0-300 human demonstrations and sampling ratio | Can task-matched human data improve scene generalization? |
| $\Psi_0$ (Wei et al., 2026b) | 829 h wrist/fingertip-labeled EgoDex video | task-space VLM pre-training before robot joint-action learning | full EgoDex versus 10% | Which staged data recipe yields an effective humanoid foundation model? |
| OpenHLM (Hu et al., 2026) | task-targeted stationary HuMI motion | heterogeneous co-training after whole-body VLA adaptation | whole-body teleop count and data-source choice | Which interfaces and data sources yield a whole-body-native VLA? |
| $\omega$-0 (Li et al., 2026b) | public human video and whole-body motion (ARCTIC, Xperience-10M, Motion-X) | action-token VLM pre-training and SONIC replay for predictive action-latent learning | human-data volume scaling not reported; data-source and model ablations | Can latent visual foresight improve concurrent whole-body loco-manipulation? |
| $\lambda_0$ | 500 h synchronized RGB, full-body motion, and bilateral hands | human-data mid-training followed by robot post-training | 0-100% Stage-II human data with a fixed robot budget | What scales with explicit whole-body human experience under fixed grounding? |
---
## B 动作接口与训练细节
我们定义了第一阶段的手部状态标记，以及适用于第二、三阶段的G1兼容监督机制。
### B.1 状态-动作定义
以自我为中心的手部状态标记接口。对于手部$\chi \in \{L, R\}$，设$\mathbf{p}_t^\chi \in \mathbb{R}^3$和$\mathbf{R}_t^\chi \in \mathrm{SO}(3)$表示腕部姿态，$\rho_6(\mathbf{R}) \in \mathbb{R}^6$为其连续的6D表示，而$\mathbf{g}_t^\chi \in \mathbb{R}^{60}$则包含20个非腕部关节，这些关节位于以腕部为原点、手掌对齐且经过尺度归一化的坐标系中。当前手部状态为
$$ \mathbf{h}_{t}=\left[\mathbf{p}_{t}^{L},\rho_{6}(\mathbf{R}_{t}^{L}),\mathbf{g}_{t}^{L},\mathbf{p}_{t}^{R},\rho_{6}(\mathbf{R}_{t}^{R}),\mathbf{g}_{t}^{R}\right]\in\mathbb{R}^{138}. $$
我们遵循$\pi_{0.5}$（Black等人，2025年）提出的状态离散化方法：每个归一化后的标量会被映射到$[-1,1]$范围内的256个均匀分箱中，分箱索引会被序列化为文本并通过视觉-语言分词器处理。这一规则既应用于输入中的当前手部状态，也应用于作为第一阶段预测目标的未来序列中的每个手部状态。第一阶段无需动作专家或连续动作头即可预测未来的手部状态标记。
G1兼容的全身接口。设$\mathbf{z}_t \in \mathbb{R}^{64}$为冻结的SONIC编码器生成的运动标记。对于转换后的人类数据，闭环自由基座G1展开过程会提供29个身体关节位置以及投影重力$\mathbf{g}_t^{\text{proj}} \in \mathbb{R}^3$；手部重定向则每侧提供六个归一化的Revo2指令。其接口如下：
$$ \begin{align*}\mathbf{s}_{t}^{R}&=\left[\mathbf{q}_{t}^{1:29},\mathbf{u}_{t}^{L},\mathbf{u}_{t}^{R},\mathbf{g}_{t}^{proj}\right]\in\mathbb{R}^{44},\\\mathbf{a}_{t+h}^{R}&=\left[\mathbf{z}_{t+h},\mathbf{u}_{t+h}^{L},\mathbf{u}_{t+h}^{R}\right]\in\mathbb{R}^{76}.\end{align*} $$
原生G1训练后数据采用相同的状态-动作格式，但带有不同的领域标识符以及独立的输入输出投影模块。包括SIMPLE在内的其他实现方式仍保留其原生状态和执行器模块。变宽度的状态和动作仅在合并时才会进行填充。掩码机制会剔除监督信号中的填充内容、剧集边界、转换失败的数据以及不可见的手部信息。
### B.2 模型架构
主干网络与动作专家。Qwen3.5-2B主干网络会将投影后的特征传递给动作专家的各层。特定领域的输入投影模块用于编码含噪动作和正弦噪声嵌入，输出投影模块则用于预测动作速度。参照X-VLA（Zheng等人，2026b）的做法，我们采用了基于实体条件的软提示技术；我们使用32个提示词元以及一个可学习的实体偏差参数。
动作预测。第二、三阶段采用遵循$\pi_{0.5}$（Black等人，2025年）方法的流匹配技术。损失函数会对有效标量目标的平方速度误差取平均值，排除缺失的标注、填充内容以及动作前缀，且不对动作块进行重新加权。在实时分块（RTC）场景下，一半的训练样本没有前缀；其余样本最多包含八个有效的前缀步骤，这些步骤保持无噪声状态且不参与损失计算。训练中期及训练后，每次观测会使用四种独立的噪声实现方式。第一阶段则在主干网络中预测离散的手部状态标记。
### B.3 训练配置
表6总结了默认的2B训练计划。每次优化器步骤后会进行EMA更新，衰减率为0.999。第一阶段主干网络的EMA用于初始化第二阶段；第二阶段策略的EMA则用于初始化第三阶段。
Table 6: Default training schedule for the 2B model. Stages II and III predict 50-step action chunks.
| Stage | Optimizer updates | Updated modules |
| I | 200k | Vision-language backbone |
| II | 100k | Backbone, action expert, human-data projections |
| III | 50k | Backbone, action expert, robot interfaces and conditioning |
第一阶段采用1024的批量大小、$10^{-5}$的学习率，以及0.1的主干网络学习率乘数。我们按照各数据集可用帧数的平方根比例来采样七个第一阶段数据集。VITRA-1M还额外收录了来自Ego4D、EPIC-KITCHENS、Ego-Exo4D和Something-Something V2的活动数据（Grauman等人，2022年；Damen等人，2022年；Grauman等人，2024年；Goyal等人，2017年）。
---
## C 数据质量与扩展协议
数据质量方面，一份冻结的剧集清单会记录数据的来源、采集元数据、标注覆盖范围、转换版本以及划分情况。结构检查会验证时间戳、流重叠与长度、坐标约定以及有限的有效数值。通过手动投影到RGB图像并进行同步视觉检查来评估几何一致性。无效的目标会被屏蔽，而重建诊断信息和转换失败记录则会被保留。数据集摘要涵盖语料库规模与多样性、标注覆盖范围以及转换失败情况；视觉检查则提供定性的重建诊断结果。
数据划分与验证方面，我们在提取时间窗口前先按录制会话对HUMANVERSE进行划分，因此同一剧集内的所有窗口会属于同一划分。为下游训练后阶段收集的特定任务人类演示数据与通用中期训练语料库是分开的。会话、物体实例和评估配置标识符用于追踪实验区分；人类数据的选择不会参考机器人评估清单。
Clean数据集包含那些被保留的会话，这些会话中SONIC全身标注和双手标注的帧加权有效比率均达到原始划分中的上四分位阈值。此处所说的“clean”指的是标注的有效性，而非外观或任务难度。Representative数据集则按数据源和两个有效比率的四分位区间进行分层。这两个集合分别包含1008个和513个剧集，均来自44个拍摄会话。这些会话互不重叠且被排除在训练之外；两组数据在不同数据比例下都保持固定。
扩展协议方面，人类数据扩展程度以冻结的HUMANVERSE训练分区为基准来表示，构建子集时会先排除验证会话。0%、5%、10%、25%、50%和100%的条件构成了图12中的评估网格。非零比例的子集是嵌套式的，在提取数据块前会按活动和录制会话进行分层采样。第一阶段检查点、机器人训练后数据集、第三阶段更新预算、验证集以及评估清单均保持不变。主要的计算匹配对比中，每个非零比例对应的第二阶段优化器更新次数相同；0%的参照组则不包含第二阶段。
图11展示了五个非零比例下的2B模型表现，每个模型均经过10万次更新训练，随机种子设为43。每1千次更新会评估一次总体验证损失，验证用的随机种子为20260813。
参照EgoScale（Zheng等人，2026c）的研究方法，我们分别分析了验证动态和最小损失。每个保留集的最小值是在整个0–100k更新窗口内独立选取的，因此所选的更新步数可能各不相同。我们通过未加权的普通最小二乘法，利用五个测量得到的最小值来拟合$\widehat{L}(D) = a + b \ln D$，其中$D \in \{5, 10, 25, 50, 100\}$代表训练数据的百分比。每个比例仅进行一次运行，没有跨种子误差条。这些拟合结果仅描述观察到的范围；其$R^2$值衡量的是样本内拟合程度，无法证明跨种子的可重复性、斜率一致性或外推准确性。绝对改进幅度相似并不意味着相对改进幅度也相似。闭环机器人性能评估与这些离线预测指标分开进行。
## D 评估协议
### D.1 基线实现
我们将四种基线适配到公式6中的G1接口，采用以50 Hz采样得到的绝对动作以及50帧的未来缓冲区。数据集特定的归一化基于训练统计数据。每种基线都保留了其上游训练实现方式和检查点格式。
GR00T N1.6：我们采用官方的Eagle视觉-语言骨干网络以及N1.6动作专家模块，其动作专家容量为128维。当维度发生变化时，动作投影器会重新初始化。训练时采用50步的动作预测范围，学习率为$10^{-4}$，有效批量大小为64。我们从官方预训练的GR00T N1.6权重开始初始化。
$\Psi_0$：我们选用Qwen3-VL-2B、$\Psi_0$动作专家模块以及SonicTrainer，采用30帧的SONIC动作块，并启用RTC功能，最大延迟为8。我们冻结VLM，并以学习率$10^{-4}$调整动作专家模块，设置1,000步的预热阶段，采用余弦衰减策略，同时保存骨干网络和动作专家模块的检查点。
$\pi_{0.5}$：我们采用OpenPI的JAX实现方式，使用官方预训练的$\pi_{0.5}$参数，有效批量大小为32，并运用原生的动作采样代码。
StarVLA：我们选用Qwen3-VL-4B以及QwenPI-v3分层流匹配动作模型，采用50步的动作预测范围，每个观测值对应四种噪声实现，推理步骤数为十步。所发布的配置如下：
---
VLM的学习率为$10^{-5}$，动作模型的学习率为$10^{-4}$，采用余弦衰减策略，梯度裁剪阈值为1，训练预算为50k步。除非提供了检查点，否则动作专家模块会随机初始化。
### D.2 仿真评估
我们评估表2中的六项SIMPLE任务，每个任务在等级0–2下各进行十次运行。成功率按任务和等级等权平均。$\lambda_{0}$采用单任务训练方式。StarVLA和$\lambda_{0}$的结果来自我们的评估；公开基线则沿用其原始协议。
$\lambda_{0}$的总结部分会为每个任务选取最佳记录配置，无需共享检查点或推理设置。这六项SIMPLE任务均采用速度场动作头。六项任务在180次试验中共取得162次成功。此处进行的配置选择仅作为验证用途，并非正式确立的标准。这些数字不应被理解为固定配置下的比较结果。表3中的“完整配方”行采用了相同的任务级总结方式。不同消融实验间是否采用了匹配的检查点和推理设置尚未经验证。
公开基线的数据来源于2026年9月13日访问的官方排行榜，其中包括更新的ACT结果。Mobile P&P对应的是桌子间的移动抓取任务。
### D.3 实际评估与评分
评估设置。每个策略在每个任务上会针对十种固定的初始配置进行评估，这些配置包含共享的物体、目标区域、指令、超时时间以及成功标准。每种策略对应的配置顺序会被随机化；试验视频和状态日志会保留标识符，而人工评判员则无法知晓模型身份。我们统计十次试验中的成功次数以及平均进展程度，各任务间的数值取平均值，且不会合并训练种子数据，也不会报告基于种子的置信区间。该协议适用于表1和表3中所列的基线对比及训练阶段消融实验。
进展与自主成功判定。进展程度是表7中已完成阶段的得分之和，每个任务的总分为100分；每个阶段的评分独立于前一阶段，不同方法和数据规模下的权重保持一致。仅发生接触并不算作稳定的抓取，要完成提起动作必须让物体脱离支撑面。对于瓶子丢弃任务而言，靠近阶段要求手部进入抓取区域，到达阶段要求姿态适合操作踏板并完成丢弃，只有瓶盖打开足以容纳瓶子时，踏板接触才算得分。五点稳定性阶段要求物体在无支撑的情况下保持三秒且不发生意外碰撞。完整任务的成功情况会单独记录，且要求桌面的终端状态能维持三秒。一旦执行开始后机器人、物体或环境与人发生接触，便无法判定为自主成功；辅助性延续操作会单独记录，每项任务都会记录相关的安全情况及干预信息。
---
Table 7: Operational definitions for the real-world evaluation. Progress is the sum of point values for completed stages (shown in parentheses, totaling 100 per task). Terminal success additionally requires the task-specific predicate to remain satisfied for three seconds.
| Task | Scored task stages (points) | Terminal success predicate |
| Bottle disposal | 1. Approach the bottle (10) | Bottle fully inside the trash can and robot standing without contact assistance |
| 2. Grasp stably (15) |
| 3. Lift clear of the table (15) |
| 4. Arrive at the bin (15) |
| 5. Press the pedal to open the lid (20) |
| 6. Release the bottle into the bin (20) |
| 7. Remain stable after disposal (5) |
| Single-hand toy storage | 1. Approach the toy (10) | Toy fully inside the box, released, and not displaced during hand withdrawal |
| 2. Establish contact (15) |
| 3. Grasp stably (20) |
| 4. Lift clear of the table (15) |
| 5. Transport above the box (15) |
| 6. Place inside the box (20) |
| 7. Release with the toy remaining inside (5) |
| Bimanual transport parts-box | 1. Approach the box (10) | Box inside the target region, both hands released, and no contained parts spilled |
| 2. Establish bilateral contact (15) |
| 3. Establish a stable grasp (20) |
| 4. Lift clear of the table (15) |
| 5. Transport above the target surface (20) |
| 6. Place on the target surface (15) |
| 7. Release with the box remaining stable (5) |
| Chair placement | 1. Approach the chair (10) | Chair footprint, position, and yaw satisfy pre-registered under-table tolerances, with the robot released and stable |
| 2. Turn and align with the chair (15) |
| 3. Establish bilateral contact (10) |
| 4. Grasp stably and initiate pushing (20) |
| 5. Push continuously toward the table (20) |
| 6. Complete insertion under the table (20) |
| 7. Release and stop safely (5) |
泛化能力评估。两种训练方案使用相同的A类机器人演示数据。人类引导评估和纯机器人评估采用相同的B类实例、指令、场景、目标区域、初始机器人配置以及成功标准。图13展示了上述评分规则下，四种任务中每种策略在不同条件下的十次试验的平均加权进展程度（总计600次试验）。