# 通过以自我为中心的全身人类数据预训练构建通用类人机器人运动操控模型
徐崇阳 $^{1,2,*}$、吴钊 $^{1}$、陈进 $^{1,3}$、蒋一鸣 $^{1,4}$、叶金辉 $^{5}$、蒋玉明 $^{1}$、张世峰 $^{1}$、冯子良 $^{2}$、徐牧 $^{1}$、陈一伦 $^{1\dagger\ddagger}$、卢力 $^{2\ddagger}$、黄思哲 $^{1}$
$^{1}$阿里巴巴集团 $^{2}$四川大学 $^{3}$上海创新研究院
$^{4}$北京航空航天大学 $^{5}$香港科技大学
$^{6}$通讯作者。$^{\dagger}$项目负责人。
图1：介绍基于HUMANVERSE-500的$\lambda_0$。我们提出了一种无机器人的以自我为中心的人类数据采集范式，并利用它收集了HUMANVERSE-500——一个包含500小时全身人类运动操控数据的数据集。随后，我们通过三阶段训练流程开发了$\lambda_0$——一种统一的类人机器人视觉-语言-动作策略，该流程结合了大规模互联网操控数据、HUMANVERSE-500以及特定本体数据。最终，$\lambda_0$在模拟和真实世界的运动操控任务中均取得了顶尖性能，并展现出强大的泛化能力。
## 摘要
类人机器人全身操控技术发展迅速，如今已能够让策略协调运动、姿态、双手交互以及灵巧手动作。与此同时，以自我为中心的人类视频提供了大量日常与物体及场景互动的示例，无需借助机器人操作即可提供可扩展的监督信号。然而，现有视频提供的监督信号对全身运动以及与物体交互的协调性覆盖有限；而通过类人机器人遥操作获取此类监督信号成本高昂且难以规模化。因此，我们探索如何利用人类经验来支持类人机器人运动操控的可扩展学习。为支持这项研究，我们推出了HUMANVERSE-500——一个包含500小时多样化人类运动行为的数据集，这些行为均采集自开放世界环境，采集时采用了轻量化的可穿戴系统，可将以自我为中心的视频与身体及手部运动数据同步。基于该数据集，我们开发了$\lambda_0$——一种类人机器人全身视觉-语言-动作策略，其训练分为三个阶段：首先从多样化的以自我为中心的数据集中学习交互能力，接着利用HUMANVERSE-500协调身体与手部运动，最后使策略适配下游任务及机器人本体。在这些阶段中，$\lambda_0$学习了用于人类经验迁移的共享表征空间，同时由特定领域的接口来处理人类与机器人状态及动作之间的差异。我们在SIMPLE基准测试及4个真实世界的运动操控任务上对$\lambda_0$进行了评估，其性能均达到顶尖水平；我们还进一步分析了它的规模化特性、泛化能力以及各训练阶段的贡献，以揭示人类数据如何支撑后续的类人机器人全身控制。我们将发布代码、模型和数据集以支持后续研究。
---
## 1 引言
类人机器人全身操控技术发展迅速，使得机器人能够在统一策略下协调运动、姿态和灵巧操作（Jiang等人，2026年；Shi等人，2026年；Wei等人，2026b年；Hu等人，2026年；Figure AI，2026a、b年）。学习这些协调行为需要能够同时捕捉全身运动和物体交互的演示数据。这类演示可以通过全身遥操作来收集，即由人类操作员引导类人机器人完成协调运动及物体交互（Fu等人，2025a年；He等人，2025年；Luo等人，2026b年；GEAR团队，2025年；Li等人，2026b年）。以这种方式收集多样化的演示数据需要耗费大量的机器人运行时间和人力，因此难以在不同任务和环境中进行扩展（Shi等人，2026年；Punamiya等人，2026年）。
以自我为中心的视频提供了一种可扩展的替代方案，无需操作机器人即可捕捉各种日常交互场景（Grauman等人，2022年；Kareer等人，2025年；Hoque等人，2026年；Punamiya等人，2026年；Figure，2026年）。近期的研究方法能够从这些视频中恢复手腕和手部轨迹，从而将观察到的交互转化为机器人学习的动作监督信号（Li等人，2026a年；Yang等人，2026年；Wang等人，2026年）。利用这些带有动作标签的视频进行预训练，能够提升后续的操控性能，为利用人类经验实现可扩展的机器人学习提供支持（Zheng等人，2026b年；Punamiya等人，2026年）。然而，仅靠手腕和手部轨迹并不能完全涵盖类人机器人运动操控所需的全身协调能力。类人机器人需要接近物体、调整姿态以触及物体，并在搬运过程中保持对物体的抓握（Shi等人，2026年；Zhao等人，2026a年）。学习这些行为需要能够保留身体运动与手-物交互之间时间协调关系的监督信号。因此，我们探讨了如何利用多样化的人类经验为类人机器人运动操控提供可扩展的全身监督。
为解答这一问题，我们推出了HUMANVERSE-500数据集，该数据集包含500小时在开放世界环境中采集的各类人类运动数据。我们使用轻量型可穿戴系统来采集以自我为中心的视频和身体运动数据，随后从视频中重建手部运动信息，以提供同步的全身监督信号。基于HUMANVERSE-500，我们开发了$\lambda_{0}$——一种能够将人类经验转化为机器人控制的全身类人机器人视觉-语言-动作策略（见图1）。我们分三个阶段训练该策略：首先从各类以自我为中心的数据集中学习交互能力，接着利用HUMANVERSE-500协调身体与手部运动，最后适配下游任务和机器人实体。共享的表征空间实现了各阶段之间的知识迁移，而特定领域的接口则用于处理人类与机器人状态及动作之间的差异。
我们在SIMPLE平台及四个真实世界的运动操控任务上对$\lambda_{0}$进行了评估，结果显示其成功率分别比性能最优的基线模型高出3.9个百分点和22.5个百分点。在各类数据规模下，更多的全身人类数据都能降低验证损失并提升真实世界任务中的进展程度。消融实验进一步表明，在两个人类数据训练阶段中，训练中期加入全身数据对真实世界任务成功率的提升作用更为显著；而人类演示数据则能改善机器人在未见过物体上的操控进度。这些结果证明，可扩展的全身人类数据是类人机器人运动操控的监督信号来源。我们的贡献总结如下：
• 我们推出了HUMANVERSE-500数据集，该数据集包含500小时开放世界中的人类运动数据，涵盖了同步采集的以自我为中心的视频、身体运动及手部运动信息。
- 我们开发了$\lambda_{0}$，这是一种全身人形机器人的视觉-语言-动作策略，它通过在共享的人机表征空间中进行三阶段训练来迁移人类经验。
- 我们揭示了全身人体预训练中存在一致的扩展趋势，并证明了其对人形机器人运动操控任务中的下游性能和泛化能力的益处。
## 2 相关工作
### 2.1 通用机器人策略
大规模机器人数据集汇集了不同任务和形态下的演示数据，为通用策略的开发提供了支持（Dasari等人，2020；Jang等人，2022；Walke等人，2023；Open X-Embodiment Collaboration，2024；Brohan等人，2023；Zitkovich等人，2023；Khazatsky等人，2024；Bu等人，2025；Zhao等人，2026b）。这些策略在共享模型中从多样化的演示数据中学习（Ghosh等人，2024；Kim等人，2025；Chi等人，2025），这推动了更多可扩展的训练数据采集方式的探索。
---
遥操作技术和便携式演示接口的进步降低了数据采集的难度（Dass等人，2023；Qin等人，2023；Zhao等人，2023；Fu等人，2025b；Chi等人，2024）。不过，基于机器人的数据采集仍受限于硬件可用性和环境的反复重置，而便携式接口只能在其所支持的动作空间内捕捉运动数据。
### 2.2 从人类视频中学习
人类视频数据集涵盖了多样的活动、物体和环境，为机器人学习提供了丰富的经验来源（Grauman等人，2022；Damen等人，2022；Goyal等人，2017；Grauman等人，2024；Wang等人，2023b；DeTone等人，2026；Lightwheel AI，2026）。从中学习需要建立观察结果与动作之间的关联。时间和几何标注描述了交互发生的时间以及手和物体的运动方式（Liu等人，2022；Wang等人，2025；Sener等人，2022；Ragusa等人，2021；Huang等人，2024；Banerjee等人，2025），而运动跟踪与重建则为人形机器人的动作学习提供了人体轨迹数据（Hoque等人，2026；Punamiya等人，2026；Li等人，2026a；Zheng等人，2026b；Wang等人，2026）。其他互补方法则从人类视频中学习视觉表征（Nair等人，2023；Sontakke等人，2023；Kumar等人，2020），或通过模仿和对齐将人类演示数据与机器人控制联系起来（Mandlekar等人，2022；Shao等人，2020；Bahl等人，2022；Wang等人，2023a；Bharadhwaj等人，2023；Kareer等人，2025；Lepert等人，2025；Yang等人，2026）。人类视频为操控任务提供了可扩展的监督信号，但获取用于人形机器人学习的全身协调数据仍颇具挑战性。
### 2.3 人形机器人全身控制
人形机器人全身控制需要协调运动、姿态和操控行为，以支持复杂的物理交互（Fu等人，2025a；He等人，2025；Luo等人，2026b）。在此控制基础上，人形机器人策略通过潜在视频动作、几何预训练，或对人类和机器人演示数据进行联合训练，从人类经验中学习任务级行为（Jiang等人，2026；Wei等人，2026b；Shi等人，2026；Hu等人，2026；Bjorck等人，2025；Luo等人，2026a）。预测模型和集成式全身系统为连接感知、运动和控制提供了互补途径（Li等人，2026b；Symbiosis Robotics，2026；Figure AI，2026a；Parada，2026；Zheng等人，2026a；Ye等人，2026；Gao等人，2026）。如何将多样化的人类经验转化为可用于人形机器人全身控制的可扩展监督信号，仍是当前面临的挑战。
## 3 HumanVerse-500：以自我为中心的全身人类数据
如图2所示，HUMANVERSE-500包含500小时以人眼视角记录的人类运动数据，共计32,993个片段和8700万帧姿态数据。该数据集涵盖了涉及多种物体和场景的827种任务类型，将第一人称视频与同步的身体及手部动作数据相匹配。我们选用GoPro HERO13来便捷地采集人类数据，并为其配备相应的设备。
Figure 2: HUMANVERSE-500. The wearable capture setup, task and motion distributions, and paired egocentric video and whole-body motions illustrate the dataset's scale and diversity.
---
对于下游机器人Unitree G1，我们也在其头部安装了同样的摄像头。通过颈部支架将人类摄像头高度与机器人摄像头对齐，同时利用PICO 4 Ultra头戴式设备和身体追踪器来捕捉与视频同步的身体动作。随后，我们便从同一视频中重建手部动作。
### 3.1 数据覆盖范围
HUMANVERSE-500记录了室内外环境中的日常活动，包括清洁、烹饪、个人护理、洗衣、餐桌布置以及大型物体搬运等。这些活动涉及不同大小的物体，需要多种运动方式、姿势变化以及手-物交互的组合。例如，操作不同高度的物体时需要弯腰或伸手，而搬运物体则要求行走与持续抓握动作相结合。连续的录像记录了各项任务中的交互转换以及身体与手部的协调过程。图2总结了任务、场景、物体和运动类型的分布情况；图3展示了涵盖家庭、办公室及物体处理活动的代表性第一人称视角画面。
Figure 3: Egocentric task diversity in HUMANVERSE-500. Sixty egocentric frames span carrying, cleaning, plant care, office tasks, and object handling.
### 3.2 全身运动重建
我们通过结合可穿戴设备追踪的身体运动数据与从视频中重建的手部动作来构建全身运动模型。PICO系统（PICO，n.d.）可提供带有时间戳的24个关节身体运动数据，而Dyn-HaMR（Yu等人，2025年）则利用ViPE（Huang等人，2025年）估算的摄像机运动信息来重建每只手21个关节的数据。通过时间戳和坐标变换将身体与手部轨迹与视频帧对齐，同时采用以片段为基准的坐标系来保留手部位移信息。当手部缺失或被遮挡时，有效性掩码会保留可用的身体监督数据。质量检查涵盖了时间戳一致性、数值合理性、手部投影效果以及运动同步性等方面。图4展示了同步的身体运动、手部运动以及第一人称RGB画面。
Figure 4: Whole-body Human Data. Egocentric RGB frames, body motion, and hand motion.
---
### 3.3 人体动作到机器人的映射 $^{R}$
我们利用SONIC（Luo等人，2026b）将采集到的人类运动数据转化为Unitree G1机器人的训练数据。该模型中的冻结编码器能生成身体运动标记，而其控制器则能在MuJoCo环境中追踪人类运动以获取G1的状态信息。我们将重建的手部动作重新映射到双腕BrainCo Revo 2灵巧手上（BrainCo，n.d.），从而得到机器人手部指令。这些配对数据共享第一人称视频和时间戳，同时保留了独立的身体与手部表示形式。图5展示了相应的映射过程。
Figure 5: Whole-body motion retargeting to G1 with dexterous hands.
## 4 $\lambda_{0}$：从人类经验中学习类人机器人控制
我们开发的$\lambda_{0}$采用了共享的视觉-语言-动作架构以及特定领域的接口，以便将人类经验转化为类人机器人的控制能力。训练过程分为交互预训练、全身运动中训练以及针对具体形态的后期训练三个阶段（见图6）。
### 4.1 策略架构与动作接口
给定一张以自我为中心的图片$\mathbf{x}$、一条语言指令$\ell$以及当前状态$\mathbf{s}^{q}$，$\lambda_{0}$会在活动动作空间q中预测一个包含50个步骤的动作序列。主干网络与动作专家模块在多个阶段中共享，而特定领域的动作投影则用于处理目标维度与语义上的差异。
共享的迁移核心。$\lambda_{0}$由Qwen3.5-2B（Qwen团队，2026年）视觉-语言主干网络$V_{0}$和生成式动作专家$F_{\psi}$组成。当前状态会被量化为256个区间，并附加到语言指令之后。主干网络会将这种包含状态信息的指令与图像x一同编码，随后将各层特征传递给动作专家。对于每个动作空间q，输入编码器$E_{q}$会将含噪声的动作及噪声水平映射为动作标记，而输出解码器$D_{q}$则会将共享特征映射为该动作空间中的速度预测值：
$$ \widehat{\mathbf{v}}^{q}=D_{q}\big(F_{\psi}\big(V_{\phi}(\mathbf{x},[\ell;Q(\mathbf{s}^{q})]),E_{q}(\widetilde{\mathbf{a}}^{q},\pmb{\sigma}),e\big)\big). $$
此处e代表实体标识符。主干网络$V_{\phi}$与动作专家$F_{\psi}$在多个阶段中共享，而独立的输入编码器$E_{q}$与输出解码器$D_{q}$则负责处理对应的动作空间。
动作接口方面，以自我为中心的接口会根据视频、语言及双手状态来预测手部运动。机器人兼容的训练中期数据采用了与下游G1训练后数据相同的状态-动作格式，不过这两个阶段所使用的训练领域有所不同。
### 4.2 三阶段训练
我们的训练流程使用了三种数据源：用于以自我为中心的视频和手部姿态预训练的公开以自我为中心的手-物体数据集($D_{E}$)；用于训练中期全身人体运动数据的HUMANVERSE-500($D_{W}$)；以及用于机器人训练后阶段的机器人演示数据($D_{R}$)。
所有阶段均使用第4.3节定义的掩码速度场损失$\mathcal{L}^q$，不过所使用的数据源和活动接口各不相同。用$\theta^{(k)}$表示第k阶段学到的策略参数。第二阶段和第三阶段会从之前的EMA检查点初始化，同时更改监督方式和活动接口。
第一阶段：以自我为中心的手部运动预训练。我们先用视觉-语言检查点初始化主干网络，再将其与动作专家及以自我为中心的手部接口一同训练（见图6(a)）。训练所用数据集包括EgoDex、EgoVerse、HO-Cap、HOI4D、HoloAssist、HOT3D和VITRA-1M（Hoque等人，2026年；Punamiya等人，2026年；Wang等人，2025年；Liu等人，2022年；Wang等人，2023b；Banerjee等人，2025年；Li等人，2026a），手部姿态的监督信息则来自原始真实标注或由开源方法生成的伪标签。用$S_E$表示这七个数据源。我们按照各数据集可用帧数的平方根比例来采样数据$N_d$，以此提升
---
Figure 6: Three-stage training of $\lambda_{0}$. The policy learns interaction from egocentric data, whole-body coordination from HUMANVERSE-500, and downstream control from real-robot data.
较小数据源的相对贡献：
$$ \begin{array}{r l r}{p_{1}(d)=\frac{\sqrt{N_{d}}}{\sum_{d^{\prime}\in\mathcal{S}_{F}}\sqrt{N_{d^{\prime}}}},\quad}&{\pmb{\theta}^{(1)}=\arg\underset{\pmb{\theta}}{\operatorname*{m i n}}\mathbb{E}_{d\sim p_{1},\tau\sim\mathcal{D}_{d}}\left[\mathcal{L}^{E}(\tau;\pmb{\theta})\right].}\end{array} $$
第一阶段会在每个时间步预测一个138维的双臂动作，其中每只手由3D相对腕部位移、6D相对腕部旋转以及$20 \times 3$局部手部关键点坐标来描述。
第二阶段：全身人体运动训练中期。在训练中期，HUMANVERSE-500演示数据会被转换为G1状态-动作格式（图6(b)）。每个动作包含64维的SONIC运动隐变量以及两个各为6维的Revo2手部指令，总计76维。源自人类的数据和机器人原生数据会使用不同的域标识符，并采用独立的输入与输出投影层以适应规模差异。用$\Phi_R$表示这种转换过程，用$\mathcal{L}^H$表示人类域损失，我们据此进行优化。
$$ \theta^{(2)}=\arg\min_{\boldsymbol{\theta}\leftarrow\mathrm{E M A}(\boldsymbol{\theta}^{(1)})}\mathbb{E}_{\tau\sim\Phi_{R}(\mathcal{D}_{W})}[\mathcal{L}^{H}(\tau;\boldsymbol{\theta})]. $$
我们更新主干网络、动作专家模块以及人类数据投影层，同时保持第一阶段的手部模型保持不变。这一阶段仅使用人类数据。机器人演示数据则在第三阶段引入。
第三阶段：机器人训练后期。我们基于机器人演示数据对策略进行后期训练，以便将前几个阶段学到的运动与交互模式适配到下游任务中，并实现可执行的机器人控制（图6(c)）。后期训练的目标是
$$ \theta^{(3)}=\arg\min\limits_{\theta\leftarrow\mathrm{EMA}(\boldsymbol{\theta}^{(2)})}\mathbb{E}_{\tau\sim\mathcal{D}_{R}}[\mathcal{L}^{R}(\tau;\boldsymbol{\theta})]. $$
共享模型、实体条件化机制以及主动接口会一同被优化。
### 4.3 训练目标与部署
掩码速度场目标。我们在干净的动作数据与高斯噪声之间进行插值，并训练模型来预测速度目标$\mathbf{v} = \epsilon - \mathbf{a}$。令$\widehat{\mathbf{v}}$表示预测的速度，$M^q$表示动作空间q中有效的、非前缀的样本时间特征索引集合，其中排除了缺失的标注数据。我们对这些条目计算均方误差并将其最小化：
$$ \mathcal{L}^{q}=\mathbb{E}\left[\frac{1}{|M^{q}|}\sum_{(i,h,j)\in M^{q}}\left(\widehat{v}_{i,h,j}^{q}-v_{i,h,j}^{q}\right)^{2}\right]. $$
推理时，我们从高斯噪声初始化动作块，再通过10个欧拉步从噪声等级1逐步去噪至0。在去噪过程中，任何已提供的动作前缀都会保持固定不变。
部署环节：在部署时，$\lambda_{0}$会接收GI的以自我为中心的观测数据、语言指令以及本体感知状态，同时利用机器人域标识符及其对应的输入与输出投影层进行处理（图6(c)）。预测出的64维运动隐变量会被传递给SONIC控制器以实现全身动作执行，而那两个各为6维的手部指令则会被发送至Revo2机械手。
---
## 5 实验
我们评估这种三阶段训练方案能否将人类数据转化为更优的人形机器人控制能力及物体传输能力。具体而言，我们提出以下问题：Q1. 该模型在人形机器人运动操控方面的表现如何？（第5.2节）；Q2. 人类数据的规模以及训练方案会对学习效果产生何种影响？（第5.3节）；Q3. 扩大人类数据规模能否提升下游任务的迁移能力？（第5.4节）。据此，我们评估了模型的留存学习动态、任务性能以及未见物体的泛化能力。
### 5.1 评估设置与指标
(a) Hardware & Teleoperation Setup
(b) Real-World Loco-manipulation Tasks
(c) Evaluation Objects
Figure 7: Real-world data collection and evaluation. (a) Egocentric teleoperation collects whole-body demonstrations. (b) Four loco-manipulation tasks evaluate task success. (c) Robot-seen and robot-unseen objects are used for standard task and object-generalization evaluation, respectively.
硬件方面：如图7(a)所示，配备五个追踪器的PICO 4U用于捕捉人体运动，随后由SONIC将其转换为Unitree G1的控制信号。我们使用HexaCercle M11手套来在遮挡情况下精准捕捉手部姿态，并将采集到的手指运动数据用于控制BrainCo Revo 2机械手。安装在G1头部的GoPro摄像头负责提供以自我为中心的RGB图像，而G1的计算机则记录同步的全身专家演示数据。
评估。我们在0–2级对六项核心SIMPLE任务（Wei等人，2026a）进行评估，每个任务-级别组合进行十次随机试验；同时评估图7(b)中展示的四项真实世界任务，每项任务和策略采用十个固定的初始配置。这些固定配置通过控制初始条件的差异，来支持不同策略间的一致性比较。我们报告任务成功率和任务进度，既涵盖完整任务完成情况，也包含多阶段行为的部分执行结果。进度计算方式为各固定里程碑得分之和，针对每项任务归一化至100，再取各项任务的平均值。标准试验使用图7(c)中机器人已见过的物体；泛化测试则使用仅在人类演示中出现的机器人未见过的物体。
基线。仿真基线来自公开的SIMPLE排行榜（Wei等人，2026a），公开条目保留其原始协议。我们自行评估StarVLA和$\lambda_0$。真实世界基线包括$\pi_{0.5}$（Black等人，2025）、GR00T N1.6（GEAR团队，2025）、$\Psi_0$（Wei等人，2026b）以及StarVLA（StarVLA社区，2026）。所有方法均采用相同的初始配置和评分标准，以确保比较的一致性。
### 5.2 问题1：该模型在人形机器人移动操控任务上的表现如何？
真实世界评估。表1显示，$\lambda_{0}$的平均成功率最高，达到62.5%，加权进度为80.4%，分别比最强的外部基线高出22.5个和25.8个百分点。它在所有四项任务中的成功次数均最多，表明其在各项任务中均有稳定提升，其中在瓶子处理任务上的提升最为显著（51.0个百分点）。每项任务的进度均保持在75%以上，说明即便在难以完全完成的任务中，也能覆盖广泛的里程碑。在椅子摆放任务中，尽管其进度（77.0%）低于StarVLA（82.5%），但它完成了10次试验中的6次，而StarVLA仅完成3次；这一结果表明部分任务进度与完整完成情况反映了性能的不同层面，应一并报告才能做出更全面的评估。
---
Table 1: Real-world task performance. We report success rates over ten trials and weighted progress (%) for each task. Averages weight the four tasks equally.
| Method | Bottle Disposal | Toy Storage | Box Transport | Chair Placement | Average |
| $\pi_{{0.5}}$ (Black et al., 2025) | 2/10 | 28.0 | 5/10 | 64.5 | 5/10 | 58.0 | 4/10 | 65.5 | 16/40 | 54.0 |
| GR00T N1.6 (GEAR Team et al., 2025) | 0/10 | 10.0 | 1/10 | 19.0 | 0/10 | 10.0 | 2/10 | 46.0 | 3/40 | 21.3 |
| $\Psi_{{0}}$ (Wei et al., 2026b) | 1/10 | 26.5 | 2/10 | 30.0 | 1/10 | 37.5 | 0/10 | 33.0 | 4/40 | 31.8 |
| StarVLA (StarVLA Community, 2026) | 0/10 | 10.0 | 5/10 | 55.0 | 3/10 | 71.0 | 3/10 | 82.5 | 11/40 | 54.6 |
| $\lambda_{{0}}$ (Ours) | 5/10 | 79.0 | 7/10 | 81.0 | 7/10 | 84.5 | 6/10 | 77.0 | 25/40 | 80.4 |
Table 2: SIMPLE task performance. Success rates (%) at Levels 0–2 with ten trials per task–level pair. Average is computed per level. Overall averages all 18 task–level pairs.
| Model | XMovePick | BendPick | Handover | Mobile P&P | Grasp | XMoveBendPick | Average | Overall |
| H-RDT (Bi et al., 2026) | 0/0/20 | 0/0/10 | 0/10/0 | 0/0/0 | 0/0/0 | 0/0/0 | 0.0/1.7/5.0 | 2.2 |
| InternVLA-M1 (Chen et al., 2025) | 0/0/0 | 50/50/0 | 0/0/0 | 0/0/0 | 0/0/0 | 30/50/70 | 13.3/16.7/11.7 | 13.9 |
| EgoVLA (Yang et al., 2026) | 0/10/20 | 70/50/80 | 0/40/30 | 0/0/0 | 100/100/70 | 30/50/40 | 33.3/41.7/40.0 | 38.3 |
| Diffusion Policy (Chi et al., 2025) | 30/30/20 | 100/80/60 | 30/20/40 | 40/0/0 | 80/90/80 | 0/0/0 | 46.7/36.7/33.3 | 38.9 |
| GROOT N1.6 (GEAR Team et al., 2025) | 100/100/70 | 70/70/60 | 10/30/30 | 0/0/0 | 90/90/70 | 40/40/10 | 51.7/55.0/40.0 | 48.9 |
| $\pi_{0.5}$ (Black et al., 2025) | 70/50/10 | 100/100/80 | 50/40/50 | 30/30/30 | 100/100/80 | 0/0/0 | 58.3/53.3/41.7 | 51.1 |
| DreamZero (Ye et al., 2026) | 100/100/100 | 90/90/80 | 70/80/90 | 50/30/30 | 90/100/70 | 0/0/10 | 66.7/66.7/63.3 | 65.6 |
| ACT (Zhao et al., 2023) | 100/100/50 | 100/90/90 | 70/70/100 | 50/50/50 | 100/100/80 | 90/100/100 | 85.0/85.0/78.3 | 82.8 |
| $\Psi_0$ (Wei et al., 2026b) | 100/100/60 | 100/100/100 | 70/70/100 | 70/50/60 | 100/100/80 | 100/90/90 | 90.0/85.0/81.7 | 85.6 |
| StarVLA (StarVLA Community, 2026) | 100/90/90 | 70/90/70 | 80/80/100 | 90/80/80 | 90/100/70 | 70/100/100 | 83.3/90.0/85.0 | 86.1 |
| $\lambda_0$ (Ours) | 100/100/80 | 100/100/100 | 90/100/100 | 90/70/70 | 100/90/80 | 60/100/90 | 90.0/93.3/86.7 | 90.0 |
仿真评估。表2显示，$\lambda_{0}$的整体成功率为90.0%，分别比StarVLA和$\Psi_{0}$高出3.9个和4.4个百分点。其在0–2级的成功率分别为90.0%、93.3%和86.7%，在每个级别上均优于StarVLA，说明这种优势贯穿于各个评估级别。在2级时，其与StarVLA的差距缩小至1.7个百分点，表明相对优势会随评估环境的变化而改变。它在所有级别的BendPick任务以及1级和2级的Handover任务中均取得100%的成功率；而在1级和2级的Mobile P&P任务中，其表现仍低于StarVLA（70%对比80%），说明在移动操控方面仍有改进空间。BendPick和Handover在所有三个级别上均保持强劲性能。
### 5.3 问题2：人类数据规模和训练方案会对学习产生何种影响？
验证损失缩放。为了分离第二阶段中的人类数据规模因素，我们使用相同的20亿参数模型，在固定种子和优化计划下，针对5%、10%、25%、50%和100%的嵌套子集分别训练10万次更新。每更新1千次，我们就评估两个固定的、会话不重叠的测试集：其中“clean”测试集包含全身及双手标注有效性处于上四分位数的会话；“representative”测试集则按数据源和标注有效性分层，以反映完整的数据分布。参照EgoScale（Zheng等人，2026b）的方法，我们分析各规模下的训练动态及最小损失。
(a) Mid-training Validation Loss
(b) Validation Loss Scaling
Figure 8: Human-data scaling of validation loss. (a) Training curves on representative and clean holdouts at five data fractions. (b) Minimum validation loss versus data scale with descriptive log-linear fits over the measured range. Minima are selected independently on each holdout.
训练动态。图8(a)显示，在更大的数据规模下，验证损失的最小值出现得更晚。当数据占比为5%和10%时，代表性损失分别在6000次和12000次更新时达到最小值，最终值分别比最小值高出24.7%和19.0%。在干净数据集上，对应的增幅分别为27.6%和18.1%。当数据占比为50%和100%时，最终
---
损失仅比代表性数据集上的最小值高出1.4%，干净数据集上则仅高出0.9%。在50%数据量下，代表性数据集和干净数据集上的最小值分别出现在37000次和58000次更新时；在100%数据量下，它们分别出现在99000次和98000次更新时。25%数据量的情况属于中间状态：两种数据集上的损失都在约22000次更新时达到最小值，最终值仅比最小值高出6.4%–6.5%。因此，更大的数据集能支持更长时间的训练而不会导致验证损失上升，较小的子集则能从早期的检查点选择中受益。若仅比较最终检查点，就会将数据规模的影响与后期性能退化混淆。
缩放趋势。图8(b)对比了不同数据规模下的最小验证损失。从5%到100%的数据量，代表性数据集上的损失降低了35.5%，干净数据集上则降低了40.6%。拟合$\widehat{L}_{h}(D) = a_{h} + b_{h} \ln D$可得到$R^{2} = 0.9868 / 0.9901$，代表性数据集和干净数据集上每次数据量翻倍带来的损失降低幅度分别为0.000900和0.000877。整个过程中干净数据集的损失始终更低，且两种数据集的斜率差异仅为2.7%，这表明尽管它们的标注有效性分布不同，但缩放响应却相似。这些基于单次实验的拟合结果仅描述了测量范围内的规律，无法用于确定跨随机种子的可复现性或外推。
固定机器人监督下的训练阶段偏差。表5展示了两个人类数据阶段的偏差情况。使用完整流程时，SIMPLE任务的成功率为90.0%；去掉第一阶段后成功率为87.8%，去掉第二阶段后为82.3%，两个阶段都去掉后成功率仅为79.4%。在真实场景中，完整流程下的成功率为62.5%、进度为80.4%；去掉第一阶段后成功率为50.0%、进度为75.9%；去掉第二阶段后成功率为22.5%、进度为59.9%；两个阶段都去掉后成功率为15.0%、进度为54.0%。去掉第二阶段对真实场景成功率的影响比去掉第一阶段更大（分别降低40.0%和12.5个百分点），这凸显了在训练中期引入全身信息的重要性，这类信息并非来自以手为中心的演示数据中所学到的交互先验。
Table 3: Training-stage ablations with fixed robot supervision. Filled/open circles indicate included/removed data. Metrics report SIMPLE success and real-world averages across four tasks.
| Variant | S1 | S2 | Robot | SIMPLE (%) | Real-world (%) |
| LO | L1 | L2 | Overall | Success | Progress |
| w/o human-data pretraining | ○ | ○ | ● | 83.3 | 83.3 | 71.7 | 79.4 | 15.0 | 54.0 |
| w/o Stage II mid-training | ● | ○ | ● | 83.6 | 86.7 | 76.7 | 82.3 | 22.5 | 59.9 |
| w/o Stage I pretraining | ○ | ● | ● | 88.0 | 91.7 | 83.7 | 87.8 | 50.0 | 75.9 |
| $\lambda_0$ (Full Recipe) | ● | ● | ● | 90.0 | 93.3 | 86.7 | 90.0 | 62.5 | 80.4 |
### 5.4 问题3：人类数据缩放能否提升下游迁移能力？
下游任务进度缩放。图9显示了在0%、5%、10%、25%、50%、100%的第二阶段数据量下，任务进度分别为59.9%、64.2%、67.3%、72.1%、76.4%和80.4%。这些端点数据与表3中未使用第二阶段数据和完整流程下的结果一致。我们固定了第一阶段的初始化参数、模型容量、机器人演示数据、第三阶段更新预算以及评估配置。非零比例的数据共享第二阶段的更新预算和检查点选择机制。随着数据比例的增加，任务进度单调上升，从不使用第二阶段数据到使用全部数据，进度提升了20.5个百分点。
Figure 9: Average real-world task progress versus Stage-II human-data fraction.
物体泛化能力。我们评估了人类数据训练是否能提升模型对机器人演示中未出现的物体的迁移能力，测试涵盖了四个真实场景任务。对于每种方法，我们先用机器人的A物体演示数据和人类提供的A、B物体演示数据来训练策略。Seen（$\hat{\mathbf{A}} \cdot \hat{\mathbf{A}} \otimes$）和Human-guided（$\hat{\mathbf{A}} \cdot \hat{\mathbf{A}} \otimes$）分别用同一策略在A和B物体上进行评估；Zero-shot（$\hat{\mathbf{A}} \otimes$）则在初始条件和评分标准一致的情况下，用仅基于机器人的变体在B物体上进行评估。
如图10所示，$\lambda_{0}$的平均Human-guided进度达到55.8%，高于最强基线$\pi_{0.5}$的46.5%。相对于其Zero-shot变体，$\lambda_{0}$在所有四个任务上的进度都有提升，平均值从48.4%提高到55.8%，增幅达7.4个百分点。这些结果证明人类数据训练确实能将操作技能迁移到机器人未曾见过的物体上，不过其性能仍低于Seen设定下的表现。
---
Figure 10: Object-transfer progress. Seen and Human-guided evaluate a joint policy trained on robot-seen object A and human-only data for object B. Zero-shot tests a robot-only policy on B.
## 6 结论
我们提出了$\lambda_{0}$，这是一种全身类人机器人视觉-语言-动作策略，通过三阶段训练来迁移人类经验。我们引入了HUMANVERSE-500，这是一个包含500小时多样化开放世界人类活动的数据集，其中同步记录了以自我为中心的视频、身体运动和手部运动数据。在SIMPLE和四个真实世界任务上的实验表明，该策略在移动操控性能方面有所提升，并且能够迁移到机器人未曾见过的物体上。控制实验揭示了扩展全身人类数据所带来的持续益处，同时凸显了训练中途加入全身信息的重要性。这些发现支持了将可扩展的人类活动作为类人机器人控制的丰富监督信号。
局限性与未来工作。我们的评估仅针对G1机器人，尚未测试其向全尺寸类人机器人的迁移能力。尽管进行了摄像头对齐和运动重定向处理，但由于身体比例、视角以及可行运动的差异，人机对齐仍不完美。未来的工作将通过改进运动重定向技术，并加强以自我为中心的观测、全身轨迹与机器人可执行动作之间的对齐，从而将$\lambda_{0}$扩展到全尺寸类人机器人上。
## 参考文献
Shikhar Bahl、Abhinav Gupta和Deepak Pathak。野外环境下的人类到机器人模仿。载于《机器人学：科学与系统会议论文集》，第18卷，2022年。doi: 10.15607/RSS.2022.XVIII.026。
Prithviraj Banerjee等人。HOT3D：从多视角以自我为中心的视频中追踪手部和物体。载于《IEEE/CVF计算机视觉与模式识别会议论文集》，第7061–7071页，2025年。
Homanga Bharadhwaj、Abhinav Gupta、Shubham Tulsiani和Vikash Kumar。从被动人类视频中实现零样本机器人操控。arXiv预印本arXiv:2302.02011，2023年。
Hongzhe Bi、Lingxuan Wu、Tianwei Lin、Hengkai Tan、Zhizhong Su、Hang Su和Jun Zhu。HRDT：增强人类操控能力的双臂机器人操控方法。载于《AAAI人工智能会议论文集》，第40卷，第18135–18143页，2026年。doi: 10.1609/aaai.v40i22.38875。
Johan Bjorck等人。GR00T N1：一种面向通用类人机器人的开源基础模型。arXiv预印本arXiv:2503.14734，2025年。
Kevin Black、Noah Brown、James Darpinian、Karan Dhabalia、Danny Driess、Adnan Esmail、Michael Robert Equi、Chelsea Finn等。$\pi_{0.5}$：一种具备开放世界泛化能力的视觉-语言-动作模型。载于《机器人学习会议论文集》，第305卷，第17–40页，2025年。
BrainCo。Revo 2概述。BrainCo手部设备文档，无日期。网址：。访问日期：2026年9月26日。
---
Anthony Brohan等人。RT-1：用于大规模真实世界控制的机器人Transformer模型。载于《机器人学：科学与系统会议论文集》，第19卷，2023年。doi: 10.15607/RSS.2023.XIX.025。
Qingwen Bu等人。AgiBot World Colosseo：一个用于可扩展且智能的具身系统的规模化操控平台。载于《IEEE/RSJ智能机器人与系统国际会议论文集》，第3549–3556页，2025年。doi: 10.1109/IROS60139.2025.11247088。
Xinyi Chen、Yilun Chen、Yanwei Fu、Ning Gao、Jiaya Jia、Weiyang Jin、Hao Li、Yao Mu、Jiangmiao Pang、Yu Qiao等。InternVLA-M1：一种用于通用机器人策略的空间引导型视觉-语言-动作框架。arXiv预印本arXiv:2510.13778，2025年。
程驰、徐振佳、潘楚尔、Eric Cousineau、Benjamin Burchfiel、冯思远、Russ Tedrake和宋书然。通用操控接口：无需实地机器人即可实现的野外机器人教学。载于《机器人：科学与系统会议论文集》，第20卷，2024年。doi:10.15607/RSS.2024.XX.045。
程驰、徐振佳、冯思远、Eric Cousineau、杜一伦、Benjamin Burchfiel、Russ Tedrake和宋书然。扩散策略：通过动作扩散实现视觉运动策略学习。《国际机器人研究杂志》，44卷（10–11期）：1684–1704页，2025年。doi:10.1177/02783649241273668。
Dima Damen等人。重新定义第一人称视觉：EPIC-KITCHENS-100的数据采集、处理流程与挑战。《国际计算机视觉杂志》，130卷（1期）：33–55页，2022年。doi: 10.1007/s11263-021-01531-2。
Sudeep Dasari、Frederik Ebert、Stephen Tian、Suraj Nair、Bernadette Bucher、Karl Schmeckpeper、Siddharth Singh、Sergey Levine和Chelsea Finn。RoboNet：大规模多机器人学习。载于《机器人学习会议论文集》，第100卷，第885–897页，2020年。
Shivin Dass、Karl Pertsch、张赫佳、Youngwoon Lee、Joseph J. Lim和Stefanos Nikolaidis。PATO：用于规模化机器人数据采集的策略辅助遥操作。载于《机器人：科学与系统会议论文集》，第19卷，2023年。doi: 10.15607/RSS.2023.XIX.013。
Daniel DeTone、Federica Bogo、Eric-Tuan Le、Duncan Frost、Julian Straub、Yawar Siddiqui、叶雨婷、Jakob Engel、Richard Newcombe和马玲妮。NymeriaPlus：为Nymeria数据集补充更多标注与数据。arXiv预印本arXiv:2603.18496，2026年。
图示。Introducing Index：打造全球最大且最多样化的物理数据集。Figure AI，2026年8月。网址：。访问日期：2026年9月26日。
Figure AI。Introducing Helix 02：全身自主操控技术。Figure AI，2026年1月a。网址：。访问日期：2026年9月26日。
Figure AI。Helix 2.5：零样本适配30种家庭环境的通用模型。Figure AI，2026年9月b。网址：。发布日期：2026年9月17日。访问日期：2026年9月26日。
付子鹏、赵青青、吴琪、Gordon Wetzstein和Chelsea Finn。HumanPlus：仿人机器人对人类动作的模仿与跟随。载于《机器人学习会议论文集》，第270卷，第2828–2844页，2025a年。
付子鹏、Tony Z. Zhao和Chelsea Finn。Mobile ALOHA：利用低成本全身遥操作技术实现双臂移动操控学习。载于《机器人学习会议论文集》，第270卷，第4066–4083页，2025b年。
高申远、梁威廉、郑凯源等。DreamDojo：基于大规模人类视频训练的通用机器人世界模型。载于《国际机器学习会议论文集》，2026年。
GEAR团队、Allison Azzolini、Johan Bjorck等。GR00T N1.6：改进后的开源通用仿人机器人基础模型。NVIDIA Research，2025年。网址：。访问日期：2026年9月26日。
---
Dibya Ghosh、Homer Rich Walke、Karl Pertsch、Kevin Black、Oier Mees、Sudeep Dasari、Joey Hejna、Tobias Kreiman、Charles Xu、Jianlan Luo、You Liang Tan、Lawrence Yunliang Chen、Quan Vuong、Ted Xiao、Pannag R. Sanketi、Dorsa Sadhigh、Chelsea Finn和Sergey Levine。Octo：开源通用机器人策略模型。载于《机器人：科学与系统会议论文集》，第20卷，2024年。doi: 10.15607/RSS.2024.XX.090。
Raghav Goyal等人。用于学习和评估视觉常识的“某物某物”视频数据库。载于《国际计算机视觉会议论文集》，第5842–5850页，2017年。
Kristen Grauman等人。Ego4D：基于3000小时第一人称视角视频的全球场景记录。载于《IEEE/CVF计算机视觉与模式识别会议论文集》，第18995–19012页，2022年。
Kristen Grauman等人。Ego-Exo4D：从第一人称和第三人称视角理解人类熟练动作。载于《IEEE/CVF计算机视觉与模式识别会议论文集》，第19383–19400页，2024年。
Tairan He、Zhengyi Luo、Xialin He、Wenli Xiao、Chong Zhang、Weinan Zhang、Kris M. Kitani、Changliu Liu和Guanya Shi。OmniH2O：通用且灵活的人机全身遥操作与学习系统。载于《机器人学习会议论文集》，第270卷，第1516–1540页，2025年。
Ryan Hoque、Peide Huang、David J. Yoon、Mouli Sivapurapu和Jian Zhang。EgoDex：基于大规模第一人称视频学习灵巧操作技术。载于《国际学习表征会议论文集》，2026年。
Yingdong Hu等人。OpenHLM：一种用于人形机器人全身运动操控的经验性方案。arXiv预印本arXiv:2606.22174，2026年。
Jiahui Huang、Qunjie Zhou、Hesam Rabeti、Aleksandr Korovko、Huan Ling、Xuanchi Ren、Tianchang Shen、Jun Gao、Dmitry Slepichev、Chen-Hsuan Lin、Jiawei Ren、Kevin Xie、Joydeep Biswas、Laura Leal-Taixe和Sanja Fidler。ViPE：用于三维几何感知的视频姿态引擎。载于《英伟达研究白皮书》，2025年。网址：。
Yifei Huang等人。EgoExoLearn：用于连接现实世界中异步第一人称与第三人称视角程序性活动的数据集。载于《IEEE/CVF计算机视觉与模式识别会议论文集》，第22072–22086页，2024年。
Eric Jang、Alex Irpan、Mohi Khansari、Daniel Kappler、Frederik Ebert、Corey Lynch、Sergey Levine和Chelsea Finn。BC-Z：基于机器人模仿学习的零样本任务泛化方法。载于《机器人学习会议论文集》，第164卷，第991–1002页，2022年。
Haoran Jiang、Jin Chen、Qingwen Bu、Li Chen、Modi Shi、Yanjie Zhang、Delong Li、Chuanzhe Suo、Chuang Wang、Zhihui Peng和Hongyang Li。WholeBodyVLA：面向全身运动操控控制的统一潜空间VLA模型。载于《国际学习表征会议论文集》，2026年。
Simar Kareer、Dhruv Patel、Ryan Punamiya、Pranay Mathur、Shuo Cheng、Chen Wang、Judy Hoffman和Danfei Xu。EgoMimic：通过第一人称视频扩展模仿学习规模。载于《IEEE国际机器人与自动化会议论文集》，第13226–13233页，2025年。doi:10.1109/icra55743.2025.11127989。
Alexander Khazatsky等人。DROID：一个大规模的真实场景机器人操控数据集。载于《机器人：科学与系统会议论文集》，第20卷，2024年。doi: 10.15607/RSS.2024.XX.120。
Moo Jin Kim等人。OpenVLA：一种开源的视觉-语言-动作模型。载于《机器人学习会议论文集》，第270卷，第2679–2713页，2025年。
Ashish Kumar、Saurabh Gupta和Jitendra Malik。从第一人称视频中学习导航子程序。载于《机器人学习会议论文集》，第100卷，第617–626页，2020年。
---
Marion Lepert、Jiaying Fang和Jeannette Bohg。Phantom：仅利用人类视频即可训练机器人，无需真实机器人参与。载于《机器人学习会议论文集》，第305卷，第4545–4565页，2025年。
李启秀等人。基于可扩展视觉-语言-动作模型的机器人操控预训练，利用真实人类活动视频。载于《IEEE国际机器人与自动化会议论文集》，2026a年。
李哲、张振哲、魏洋洋、张文杰、袁希晨、支沛元、李根、郭欣颖、高凤杰、杨建飞、张尚航。$\omega$-0：一种用于人形机器人同步运动与操控的潜空间预测世界动作模型。arXiv预印本arXiv:2608.06375，2026b年。
Lightwheel AI公司。EgoSuite-Open100K：面向物理人工智能的10万小时自我中心式人类数据。Lightwheel AI公司，2026年8月。网址：。访问日期：2026年9月26日。
刘云泽、刘云、蒋彻、吕康博、万伟康、沈浩、梁博强、付周杰、王赫、易立。HOI4D：面向类别级人机交互的4D自我中心式数据集。载于《IEEE/CVF计算机视觉与模式识别会议论文集》，第21013–21022页，2022年。
罗浩、王烨、张万鹏、郑思鹏、习子恒、徐超毅、徐海旺、袁浩琪、张驰、王一清、冯一程、卢宗庆。Being-H0.5：实现跨本体泛化的以人为中心的机器人学习扩展方法。载于《机器人学习会议论文集》，2026a年。即将出版。
罗正毅等人。SONIC：用于自然人形机器人全身控制的超大尺寸运动跟踪技术。《科学·机器人》杂志，11卷(117期)：eaed4592，2026b年。doi: 10.1126/scirobotics.aed4592。
曼德勒卡尔·阿杰伊、许丹菲、黄乔西亚、纳斯里安尼·索鲁什、王晨、库尔卡尼·罗汉、李飞飞、萨瓦雷塞·西尔维奥、朱玉珂、马丁-马丁·罗伯托。从离线人类演示中学习机器人操控的关键因素。载于《机器人学习会议论文集》，第164卷，第1678–1690页，2022年。
奈尔·苏拉杰、拉杰斯瓦兰·阿拉温德、库马尔·维卡斯、芬恩·切尔西、古普塔·阿比纳夫。R3M：一种通用的机器人操控视觉表征。载于《机器人学习会议论文集》，第205卷，第892–909页，2023年。
Open X-Embodiment合作组织。Open X-embodiment：机器人学习数据集与RT-X模型。载于《IEEE国际机器人与自动化会议论文集》，第6892–6903页，2024年。doi: 10.1109/icra57147.2024.10611477。
帕拉达·卡罗莱娜。Gemini Robotics 2为机器人带来全身智能。Google DeepMind公司，2026年7月。网址：。访问日期：2026年9月26日。
PICO公司。身体追踪技术。PICO开发者文档，无具体日期。网址：。访问日期：2026年9月26日。
普纳米亚·瑞安等人。EgoVerse：一个来自世界各地的用于机器人学习的自我中心式人类数据集。载于《机器人：科学与系统会议论文集》，第22卷，2026年。doi: 10.15607/RSS.2026.XXII.092。
秦宇哲、杨伟、黄秉豪、范·怀克·卡尔、苏浩、王晓龙、赵宇伟、福克斯·迪特尔。AnyTeleop：一种基于视觉的通用灵巧机器人手臂-手部遥操作系统。载于《机器人：科学与系统会议论文集》，第19卷，2023年。doi: 10.15607/RSS.2023.XIX.015。
通义团队。Qwen3.5：迈向原生多模态智能体，2026年2月。网址：。
---
拉古萨·弗朗切斯科、弗尔纳里·安东尼诺、利瓦蒂诺·萨尔瓦托雷、法里内拉·乔瓦尼·玛丽亚。MEC-CANO数据集：在工业类场景中从自我中心式视频理解人机交互。载于《IEEE/CVF计算机视觉应用冬季会议论文集》，第1569–1578页，2021年。
Fadime Sener、Dibyadip Chatterjee、Daniel Shelepov、Kun He、Dipika Singhania、Robert Wang和Angela Yao。Assembly101：一个用于理解程序性活动的大规模多视角视频数据集。载于《IEEE/CVF计算机视觉与模式识别会议论文集》，第21096–21106页，2022年。
Lin Shao、Toki Migimatsu、Qiang Zhang、Kaiyuan Yang和Jeannette Bohg。Concept2Robot：从指令和人类演示中学习操作概念。载于《机器人：科学与系统会议论文集》，第16卷，2020年。doi: 10.15607/RSS.2020.XVI.082。
Modi Shi等人。利用无机器人第一人称视角演示解锁野外 locomotion 操控任务。载于《机器人：科学与系统会议论文集》，第22卷，2026年。doi: 10.15607/RSS.2026.XXII.204。
Sumedh Sontakke、Jesse Zhang、Sét Arnold、Karl Pertsch、Erdem Biyik、Dorsa Sadigh、Chelsea Finn和Laurent Itti。RoboCLIP：仅需一次演示即可学习机器人策略。载于《神经信息处理系统进展》，第36卷，第55681–55693页，2023年。doi:10.52202/075280-2430。
StarVLA社区。StarVLA：一个用于开发视觉-语言-动作模型的乐高式代码库。arXiv预印本arXiv:2604.05014，2026年。
Symbiosis Robotics。直接感知控制模型。Symbiosis Robotics，2026年。网址：。访问日期：2026年9月26日。
Homer Rich Walke、Kevin Black、Tony Z. Zhao、Quan Vuong、Chongyi Zheng、Philippe Hansen-Estruch、Andre Wang He、Vivek Myers、Moo Jin Kim、Max Du、Abraham Lee、Kuan Fang、Chelsea Finn和Sergey Levine。BridgeData V2：一个用于大规模机器人学习的数据集。载于《机器人学习会议论文集》，第229卷，第1723–1736页，2023年。
Chen Wang、Linxi Fan、Jiankai Sun、Ruohan Zhang、Li Fei-Fei、Danfei Xu、Yuke Zhu和Anima Anandkumar。MimicPlay：通过观看人类游戏过程实现长时序模仿学习。载于《机器人学习会议论文集》，第229卷，第201–221页，2023a年。
Jikai Wang、Qifan Zhang、Yu-Wei Chao、Bowen Wen、Xiaohu Guo和Yu Xiang。HO-Cap：一种用于手部与物体交互的3D重建及姿态跟踪捕获系统与数据集。载于《神经信息处理系统进展》，第38卷，2025年。doi: 10.52202/085713-5683。
Xin Wang等人。HoloAssist：一个用于现实世界中交互式AI助手的第一人称视角人机交互数据集。载于《国际计算机视觉会议论文集》，第20270–20281页，2023b年。
Ye Wang、Pei Lin、Xiong-Hui Chen等。Ego2Robot：从第一人称视角的人类数据中合成可扩展的机器人数据。arXiv预印本arXiv:2608.02580，2026年。
Songlin Wei、Zhenhao Ni、Jie Liu、Zhenyu Zhao、Junjie Ye、Hongyi Jing、Junkai Xia、Xiawei Liu、Michael Leong、Liang Heng、Di Huang和Yue Wang。SIMPLE：基于仿真的类人机器人locomotion操控策略学习与评估。载于《机器人学习会议论文集》，2026a年。即将出版。
Songlin Wei等人。$\Psi_{0}$：面向通用类人机器人locomotion操控的开源基础模型。载于《机器人：科学与系统会议论文集》，第22卷，2026b年。doi: 10.15607/RSS.2026.XXII.021。
Ruihan Yang、Qinxi Yu、Yecheng Wu、Rui Yan、Borui Li、An-Chieh Cheng、Xueyan Zou、Yunhao Fang、Xuxin Cheng、Ri-Zhao Qiu等。EgoVLA：从第一人称视角的人类视频中学习视觉-语言-动作模型。载于《IEEE/RSJ智能机器人与系统国际会议论文集》，2026年。即将出版。
---
叶圣贤、葛云浩、郑凯源、高申远、于思涵、George Kurian、Suneel Indupuru、谭友良、朱楚宁、向建南等。世界动作模型是零样本策略。收录于《机器人学习会议论文集》，2026年。即将发表。
余正迪、Stefanos Zafeiriou和Tolga Birdal。Dyn-HaMR：从动态摄像头恢复四维交互手部运动。收录于《IEEE/CVF计算机视觉与模式识别会议论文集》，2025年6月。网址：。
Tony Z. Zhao、Vikash Kumar、Sergey Levine和Chelsea Finn。利用低成本硬件学习精细的双臂操控技术。收录于《机器人：科学与系统会议论文集》，第19卷，2023年。doi: 10.15607/RSS.2023.XIX.016。
赵泽辉、赵宇轩、张高静、刘晨曦、郑茂林和连文兆。HALOMI：基于人类演示的主动感知类人机器人定位与操控学习。arXiv预印本arXiv:2606.18772，2026a。网址：。
赵振宇等。Humanoid Everyday：一个用于开放世界类人机器人操控的综合数据集。收录于《IEEE国际机器人与自动化会议论文集》，2026b。
郑佳、马特利、范玉东、王子凡、杨硕和梁俊伟。MotionWAM：面向实时类人机器人定位与操控的基础世界动作模型。arXiv预印本arXiv:2606.09215，2026a。
郑瑞杰等。EgoScale：利用多样化的第一人称人类数据扩展灵巧操控能力。收录于《机器人学习会议论文集》，2026b。即将发表。
Brianna Zitkovich等。RT-2：视觉-语言-动作模型将网络知识迁移到机器人控制中。收录于《机器人学习会议论文集》，第229卷，第2165–2183页，2023年。