# Ego2Robot：从以自我为中心的人的数据到可扩展机器人数据合成 王烨$^{1,2,*}$、林佩$^{2,3,4,*}$、陈雄辉$^{2,*}$、袁浩奇$^{2}$、梁志轩$^{2}$、黄一阳$^{2}$、陈安哲$^{2}$、雷子兴$^{2}$、张杰$^{2}$、张涛$^{1}$、李浩洋$^{2}$、张彤$^{2}$、肖晨曦$^{3}$、焦子源$^{4,5}$、金琴$^{1,\dagger}$ $^{1}$中国人民大学AIM3实验室 $^{2}$阿里巴巴集团通义团队。 $^{3}$上海科技大学 $^{4}$北京通用人工智能研究院（BIGAI） $^{5}$北京航空航天大学 $^{*}$贡献相同 $\dagger$通讯作者 摘要：学习具有泛化能力的机器人操控策略需要大规模且多样化的演示数据。以自我为中心的人体操控视频提供了丰富的场景和任务多样性，先前的研究表明，将此类视频重新定位并渲染为机器人格式数据，能够在小规模下生成有效的针对特定任务的策略。然而，这种方法是否能为大规模视觉-语言-动作模型的预训练带来益处，目前尚无人探索。我们提出了Ego2Robot，这是一个可扩展的流程，通过动作重新定位、机械臂视觉合成以及多级质量筛选，将以自我为中心的人体操控视频转换为机器人训练数据。Ego2Robot既支持经过精心策划的数据集，也支持野外视频，能够生成涵盖15种机器人形态、时长达18,561小时的机器人训练数据，这也是迄今为止规模最大的从以自我为中心的数据到机器人数据的转换数据集。为了评估泛化能力，我们在RoboTwin2.0中加入了涵盖视觉外观、场景布局、实体形态以及任务语义的解耦扰动轴。实验表明，在Ego2Robot合成数据与机器人数据上进行联合预训练，能够一致地提升多种扰动类型下的分布外泛化能力，且在真实机器人部署中验证了这一效果。项目页面： 关键词：机器人数据合成、以自我为中心的数据、泛化能力评估 ## 1 引言 近期出现的视觉-语言-动作（VLA）模型[^1] [^2] [^3] [^4] [^5]，通过大规模的机器人演示预训练，在机器人操控领域取得了令人瞩目的进展。然而，这些系统的泛化能力仍然受到可用机器人数据的规模和多样性的根本性制约。尽管有Open X-Embodiment[^6]、DROID[^7]和AgibotWorld[^8]等重大项目，但收集机器人演示数据依然成本高昂、劳动强度大，并且受到硬件可用性、遥操作成本以及交互多样性受限等因素的制约[^9] [^10] [^11]。 以第一人称视角拍摄的人类视频提供了一种极具吸引力的替代方案。与机器人遥操作相比，人类手部交互数据可以在各种物体、环境和任务变体中大规模收集[^12] [^13]。这些视频蕴含着丰富的操作先验知识，而这些知识仅靠机器人难以获取。然而，由于人类与机器人实体形态之间存在巨大差异，将第一人称视角视频直接转化为机器人训练数据仍颇具挑战性。一个有前景的方向是将手部动作重新映射到机器人运动学模型中，并将人类手臂在视觉上替换为渲染出的机器人模型；这种方法在小规模应用中已展现出出色的任务执行效果[^14] [^15]。至于大规模合成的第一人称视角到机器人数据能否作为机器人策略的有效预训练数据，尤其是能否提升模型在分布外场景中的泛化能力，目前尚缺乏深入研究。 在本研究中，我们将“从第一人称视角数据到机器人数据”的合成过程视为一种可扩展的机器人策略预训练范式。我们的核心假设是：尽管实体形态存在差异，但第一人称视角的操作视频中仍包含着可迁移的交互规律，只要经过适当对齐，便能补充机器人数据的不足。 --- ![Image](images/2c4dfeb52010a457f2bdd327bcdcb8922dc5b6d55aa12ad34d67309e59efcbfa.jpg)
Figure 1: Ego2Robot pipeline. Converting egocentric video into 18,561h robot training data across 15 morphologies through action alignment, visual alignment, and quality curation.
基于这一观察，我们提出了Ego2Robot——一套端到端的流程，通过动作对齐、视觉对齐以及多层级质量筛选，将第一人称视角下的人类操作数据转化为特定实体形态的机器人训练数据（见图1）。该流程既支持带有标注的第一人称视角数据集，也适用于纯第一人称视角视频；它处理了来自四个不同来源、总计约1,940小时的第一人称视角视频，涵盖了15种机器人形态，最终生成了18,561小时的有效机器人训练数据。据我们所知，这是迄今为止规模最大的从第一人称视角到机器人的数据集。 为了验证由Ego2Robot合成的数据是否能提升机器人的泛化能力，我们进一步基于RoboTwin2.0引入了分离式评估协议$^{[16]}$。与以往将多种分布偏移整合为单一评分的评估方式不同，该协议将干扰因素分解为四个维度：视觉外观、场景布局、实体形态以及任务语义。这种方式能够细致地分析：结合机器人数据与Ego2Robot合成数据进行预训练究竟在哪些方面带来了益处，以及这些益处源于视觉鲁棒性、实体形态迁移还是语义泛化能力。大量实验表明，Ego2Robot合成数据确实能稳定提升模型在分布外场景中的表现，且对机器人数据具有补充价值。尤其在视觉、实体形态和语义受到干扰时，这种优势更为明显，这表明大规模合成的Ego2Robot数据主要提升了模型的不变性和跨分布鲁棒性，而不仅仅是增加了轨迹覆盖范围。 我们的贡献如下：(1) 我们提出了Ego2Robot，一套完整的第一人称视角到机器人合成流程，包含动作对齐、视觉对齐和多层级质量筛选功能，支持15种机器人形态。(2) 我们构建了迄今为止规模最大的从第一人称视角到机器人的数据集，该数据集包含从多种第一人称视角视频源生成的18,561小时合成机器人训练数据。(3) 我们引入了分离式泛化基准测试，将视觉、场景、实体形态和语义干扰因素分开，以便细致评估机器人策略的鲁棒性。(4) 我们证明了将Ego2Robot合成数据与纯机器人数据相结合，能够提升模型的泛化性能，尤其是在分布外偏移场景下。 ## 2 相关工作 机器人数据缩放以及从人类数据中学习：缩放机器人演示数据对于实现通用化操控至关重要。大规模机器人数据集[^6] [^7] [^8]以及便携式采集系统，已经扩充了可获取的演示数据量，但受限于采集成本和硬件扩展性，数据的多样性依然有限。 --- 这些系统[^10] [^11] [^9] [^17] [^18]虽然扩充了可用的演示数据，但受采集成本和硬件扩展性的限制，数据多样性仍然不足。人类操控视频提供了一种更宽泛的替代方案，因此催生了视觉预训练[^19] [^20] [^21]、奖励学习[^22]、运动先验[^23]以及点跟踪[^24] [^25]等方面的研究；不过这些方法仍依赖机器人数据来填补实体形态上的差异。 更直接的方法是利用人类数据进行机器人策略学习。一类研究会在以自我为中心的视频或人类视频与机器人数据上联合训练[^15] [^26] [^27] [^28] [^29]；另一类则通过重定位与渲染[^14] [^30]或实体形态掩码处理[^15]，将人类演示转化为机器人格式的数据。不过，重定位与渲染方法目前仅在有限的规模下或针对单个任务进行过研究。我们的工作将其扩展到涵盖15种机器人形态的18,561小时数据，并系统评估了其对VLA预训练及分布外泛化能力的益处。 机器人学习中的数据增强技术。数据增强能够在无需额外采集机器人数据的情况下拓展训练样本的多样性。基于仿真的方法[^31] [^32]可在数字孪生环境中生成合成演示数据；而包括RoviAug [^33]、Mirage [^34]和OXEAugE [^35]在内的跨本体方法，则通过图像修复与编辑技术来弥合机器人之间的视觉差异。与这些方法不同，我们的研究将数据增强范围扩展到了规模更大的“以自我为中心”到机器人的领域差异上——利用以自我为中心的人类视频来为15种形态的机器人合成训练数据，并系统评估其在多个扰动维度上的泛化能力。 机器人泛化能力基准测试。现有的操控任务基准测试，如RoboTwin [^36] [^16]、LIBERO [^37]、CALVIN [^38]、RLBench [^39]和SIMPLER [^40]，都是在多重扰动条件下评估策略的泛化能力，因此很难将模型失败归因于特定因素。ManiSkill2/3 [^41] [^42]和RoboCasa [^32]虽支持多种机器人配置，但缺乏标准化的跨本体评估机制。近期的分解式基准测试，包括Colosseum [^43]、LIBERO-Plus [^44]和LIBERO-PRO [^45]，虽然区分了不同的扰动维度，结果显示视觉语言动作模型在单一扰动下性能会显著下降，但仍局限于单臂场景。RoboTwin 2.0 [^16]和EBench [^46]虽可评估双臂操控任务，但仍主要报告多重扰动下的结果。我们对RoboTwin 2.0进行了扩展，引入了涵盖视觉外观、场景布局、本体形态和任务语义的独立扰动维度，同时支持双臂及跨本体评估。 ## 3 Ego2Robot 流程 针对描述人手操作的自中心视频，我们的流程通过三个阶段来生成特定于机器人形态的训练数据：动作对齐、视觉对齐和质量筛选（见图1）。动作对齐阶段通过重定位和时间平滑处理，将手部姿态转换为机器人末端执行器的轨迹。视觉对齐阶段则通过手臂分割、手部移除、基于IK求解的机器人基座位姿搜索以及深度感知渲染，将人类手臂替换为渲染出的机器人手臂。随后，质量筛选会在轨迹、帧和片段层面过滤样本。该流程支持两条输入路径：路径A接受已标注手部姿态的自中心数据集；路径B则先通过WiLoR [^47] [^48]进行逐帧重建，再利用DynHaMR [^49]进行时间优化，从而处理未标注的视频。对于长视频，我们采用Qwen3.5 [^50]将连续录像分割成带有自然语言描述的离散子任务。完成手部姿态估计后，两条路径会共用一个统一的流程，并行为15种受支持的机器人形态生成训练数据。 1. 动作对齐 动作对齐阶段通过重定位和时间平滑处理，将手部姿态转换为平行夹爪式末端执行器的轨迹。 手部到夹爪的重定位。对于检测到手部的每一帧，我们会从21个手部关键点中提取出紧凑的夹爪表示。我们将虚拟指尖定义为食指和中指指尖的加权混合： $$ \mathbf{p}_{vf}=0.7\cdot\mathbf{p}_{index}+0.3\cdot\mathbf{p}_{middle} $$ --- 工具中心点（TCP）和夹爪开口宽度为： $$ \mathbf{p}_{\mathrm{t c p}}=\frac{\mathbf{p}_{\mathrm{t h u m b}}+\mathbf{p}_{\mathrm{v f}}}{2},\quad w=\|\mathbf{p}_{\mathrm{t h u m b}}-\mathbf{p}_{\mathrm{v f}}\| $$ 抓取方向是一个右手正交坐标系 $\mathbf{R} = [\mathbf{x} \mathbf{y} \mathbf{z}]$。抓取轴z沿钳口线方向（拇指尖到虚拟指尖）；它与手腕到指尖的方向 $\mathbf{d} = \mathbf{p}_{vf} - \mathbf{p}_{wrist}$ 共同构成钳口平面，该平面的法线即为夹爪法线轴 $\mathbf{y}$；接近轴 $\mathbf{x}$ 则补全整个坐标系： $$ \mathbf{z}=\frac{s\left(\mathbf{p}_{\mathrm{t h u m b}}-\mathbf{p}_{\mathrm{v f}}\right)}{w},\quad\mathbf{y}=\frac{\mathbf{z}\times\mathbf{d}}{\left\|\mathbf{z}\times\mathbf{d}\right\|},\quad\mathbf{x}=\mathbf{y}\times\mathbf{z} $$ 其中，右手对应 $s = +1$，左手对应 $s = -1$，这样无论左右手，$\mathbf{z}$ 的方向都保持一致，且两只手都能映射到同一个夹爪坐标系。这三个轴分别为：$\mathbf{x}$ 为接近方向，$\mathbf{y}$ 为夹爪法线（垂直于钳口平面），$\mathbf{z}$ 为抓取轴（沿钳口线）。 时间平滑处理。逐帧的手部检测会产生高频噪声。我们对位置和宽度应用Savitzky-Golay滤波，对方向则采用高斯加权的SLERP插值，从而在保留运动结构的同时生成平滑的轨迹。 动作速度对齐。自中心场景下的手部操作速度明显快于机器人遥操作数据。为了对齐两者的速度分布，我们在训练时对每个源视频帧进行二次采样：ANT和EgoDex的帧率被降为原来的60%（$\sim1.7\times$ 更慢），EgoVerse降为45%（$\sim2.2\times$ 更慢），ViTRA则降为25%（$\sim4\times$ 更慢）。 2. 视觉对齐 视觉对齐阶段会将自中心视频中显示的人类手部替换为在同一场景中操作的机器人手臂。 手臂分割。我们采用SAM 3 [^51] 来分割每帧中的人类手臂区域，从而在各帧间获得时间上一致的掩码。 手部移除。借助手臂掩码，ProPainter [^52] 会进行时间上一致的视频修复，以移除人类手臂并重构背景。 机器人基座姿态搜索。将第一人称视频转换为机器人数据时的一个关键难题在于确定机器人的基座位置。与有源基座位置可供参考的机器人间迁移不同，以自我为中心的手部轨迹并不依赖于特定实体：没有物理上的机器人基座可供参照。我们必须找到一个基座姿态 $\mathbf{T}_{\text{base}} = (\mathbf{t}, \mathbf{R}) \in SE(3)$，使得重新映射后的轨迹在目标机器人形态下仍能满足运动学可行性。 我们将此问题表述为对基座位置的优化问题。给定包含N个目标末端执行器姿态的轨迹 $\{\mathbf{T}_i^{\mathrm{ee}}\}_{i=1}^{N}$ 以及具有最大伸展范围 $r_{\mathrm{max}}$ 的机器人，我们寻求： $$ \mathbf{T}_{\mathrm{base}}^{*}=\arg\max_{\mathbf{T}_{\mathrm{base}}}\frac{1}{|\mathcal{K}|}\sum_{k\in\mathcal{K}}\mathbb{1}\left[\mathrm{IK}(\mathbf{T}_{\mathrm{base}}^{-1}\mathbf{T}_{k}^{\mathrm{ee}})is~feasible\right] $$ 其中 $\mathcal{K} \subset \{1, \ldots, N\}$ 是一组用于覆盖轨迹空间极值（位移或方向变化最大的位置）的代表性关键帧，而 $\mathrm{IK}(\cdot)$ 表示MuJoCo中的逆运动学求解器 [^53] [^54]。候选基座位置是通过在轨迹质心周围进行网格搜索生成的，且需受限于特定形态的动力学伸展范围 $r_{max}$。每个候选位置都需通过在所有关键帧处求解 $\mathrm{IK}$ 来验证其可行性，最终选择可行性最高的位置。由于不同臂长和关节配置会导致同一轨迹需要不同的基座位置，因此针对15种机器人形态需分别独立执行此搜索过程。 逆运动学与渲染。确定最优基座位置后，便可在MuJoCo中逐帧求解逆运动学。机器人会从原始摄像头视角进行渲染。 基于深度的合成。机器人从摄像头视角渲染后，会利用深度排序技术将其合成到修复后的场景中： $$ I_{\mathrm{final}}(u,v)=\begin{cases}I_{\mathrm{robot}}(u,v)&\text{if}D_{\mathrm{robot}}(u,v)Figure 2: Evaluation framework. Four generalization dimensions with 12 evaluation settings. Dashed borders: settings decoupled from bundled randomization for independent testing. Solid borders: newly introduced evaluation axes. Gray border: external benchmark (EBench). 其中 $D_{scene}$ 可通过深度传感器获取，或通过单目深度估计得出。这一过程针对15种机器人形态（Panda、UR5e、ARX-L5、xArm7、Sawyer、Kinova Gen3、IIWA、Jaco、FR3、UR10e、ViperX、WidowX、Piper、YAM、Aloha-Agilex）分别独立执行，从而从每段第一人称视频中生成并行的训练数据流。 3. 质量筛选 我们采用三级质量过滤机制。L1级（流水线内部）：处理过程中会标记出存在逆运动学求解失败、自碰撞、动作异常或工作空间覆盖不足的帧。L2级（统计层面）：移除动作值极端、存在突然不连续现象或无效帧比例过高的轨迹。L3级（视觉语言模型一致性）：利用视觉语言模型 [^50] 对合成视频进行审核，确保其渲染出的机器人动作与原始操作意图在语义上保持一致。 我们将该流水线应用于四个第一人称数据源：ANT（7小时，我们内部采集的带手部姿态标注的抓取放置数据集）、EgoDex [^12]（732小时）、ViTRA [^29]（249小时）以及EgoVerse [^13]（954小时），总计约1,940小时的标注第一人称数据。由于第一人称手部操作的移动速度远快于机器人遥操作速度，我们在训练期间会对每个数据源的帧进行二次采样，以匹配机器人的速度分布：ANT和EgoDex采样至原帧率的60%（约慢1.7倍），EgoVerse采样至45%（约慢2.2倍），ViTRA则采样至25%（约慢4倍）。 经过对15种机器人形态的处理和质量筛选后，最终得到了18,561小时的合成机器人训练数据。每个样本包含一个由机器人合成的视频帧、对应的摄像头帧末端执行器动作、摄像头参数以及文本指令。由于以自我为中心的视频是在未知的多样化摄像头位置下采集的，若采用世界坐标系下的动作表示，则需要对每个视频进行校准，且不同来源的动作空间也无法兼容。而摄像头坐标系下的相对末端执行器动作，能够在观察者坐标框架内表达末端执行器的位移，从而自然地将来自不同摄像头设置和机器人形态的数据统一起来。 ## 4 评估框架 要了解哪些泛化维度能从ego2robot合成数据中受益，哪些又受领域差异的限制，就需要现有基准测试所无法提供的细粒度评估能力。诸如RoboTwin 2.0 [^16]之类的现有协议会同时应用多种扰动因素，最终得出一个综合的OOD指标，该指标将视觉、空间、实体形态和语义变化混为一谈。 --- 我们对RoboTwin 2.0进行了扩展，新增了11种独立的扰动设置以及对摄像头坐标系下相对末端执行器动作的支持，同时还补充了EBench [^46]——它在Isaac Sim中提供了7个精密桌面任务，所使用的头戴式摄像头安装位置更高，更接近以自我为中心的视角。如示意图2所示，此次扩展涵盖了四个泛化维度： (1) 视觉外观——可独立控制背景纹理、光照和机器人颜色。背景与光照从原有的随机化设置中分离出来，以便进行单独测试。机器人颜色会对所有机器人连杆施加随机色调偏移，用于测试模型对训练阶段未出现过的实体形态外观变化的视觉不变性。(2) 场景布局——桌高变化（$\pm$4cm）、干扰物以及摄像头视角偏移（$\pm$5cm），这些因素均被分开处理以便于独立评估。这些空间扰动用于检验模型对现实部署中常见的物理排列变化的鲁棒性。(3) 实体形态——用UR5-WSG、ARX-X5和Franka Panda替换默认的Aloha-Agilex，以进行零样本跨实体形态评估，初始末端执行器姿态通过逆运动学算法对齐，以确保起始条件一致。这一设置用于检验摄像头坐标系下的动作表示是否能在无需针对特定实体形态进行微调的情况下，推广到形态各异的机器人上。(4) 任务语义——针对50个任务评估其在训练阶段未见过的物体实例，同时使用505条经过改写的自然语言指令来重新表述命令，这些指令采用了更口语化的表达方式。这一设计用于检验模型对新物体外观的泛化能力以及对语言变异的鲁棒性。这种细分方式能够精准地将泛化能力的提升归因于特定的扰动类型。更多细节详见附录。 ## 5 实验 ### 5.1 实验设置 模型架构。我们采用了一种VLA架构，以Qwen3.5-4B作为视觉-语言骨干网络，搭配扩散变换器（DiT）动作头。该模型可预测包含32个步骤的动作序列，采用摄像头坐标系下的相对末端执行器表示方式，扩散步骤数为8步。 训练协议。所有预训练实验均采用相同的超参数：8张GPU，每张GPU的批量大小为12，学习率为$1e^{-5} \rightarrow 1e^{-6}$并采用余弦衰减策略，使用bf16格式，训练步数达到20万步。由于所有配置的训练步数和批量大小均相同，因此每种设置处理的训练样本数量也完全一致（$\sim19.2M$帧），无论数据集大小如何，都能确保比较的公平性。微调阶段会加载预训练权重，并加入ColorJitter增强处理，训练步数达到5万步。 预训练数据。我们比较了四种配置：(i) 仅机器人数据（DROID [^7] + AgibotWorld [^8] + InternData [^55]，约6,565小时）；以及(ii-iv) Ego2Robot合成数据（简称Ego2R）与机器人数据按1:3、3:1和1:1比例混合的数据。微调与评估。所有模型均在RoboTwin的50个清洁场景任务上微调（每个任务50个演示样本），并在每种扰动设置下对每个任务进行50次测试来评估性能。EBench模型则在其训练集上单独微调。在真实机器人评估中，我们在ARX ACone平台上针对5个长时序操控任务进行测试。更多细节详见附录。 ### 5.2 主要结果 表1展示了用不同比例的Ego2Robot数据与真实机器人数据预训练的模型的成功率。表2进一步对比了这些模型在扩展基准测试中的表现，测试条件从视觉外观、场景和本体形态三个维度进行分解。基于这些结果，我们得出以下结论： 联合训练能提升OOD泛化能力。Ego2R+Robot（1:1）在七个指标中有五个表现最优，在RoboTwin Randomized测试中的成功率达到53.5%（比仅使用机器人数据时高出2.6%），同时在清洁场景下仍保持68.1%的成功率。1:3的比例带来的提升较为有限，而3:1和1:1的比例则能带来显著改进。 视觉外观方面的受益最为明显。表2显示，1:1的比例在所有三个视觉因素上均有改善：源自第一人称视频的场景多样性使背景（+4）和光照（+8）得到改善，而15种形态渲染产生的机器人颜色差异（+6）也提升了相关性能。 ---
Table 1: Main results. Success rates (%) on RoboTwin2.0 and EBench. Green = gain >5% vs. Robot-only.
PretrainingRoboTwinPer-Dimension (RoboTwin)EBench
CleanRandVisualSceneEmbodyTaskAvg
Robot-only62.250.961.452.923.846.239.6
Ego2R+Robot (1:3)61.451.061.252.521.949.547.4
-0.8+0.1-0.2-0.4-1.9+3.3+7.8
Ego2R+Robot (3:1)64.149.262.754.328.251.651.7
+1.9-1.7+1.3+1.4+4.4+5.4+12.1
Ego2R+Robot (1:1)68.153.567.356.927.254.149.8
+5.9+2.6+5.9+4.0+3.4+7.9+10.2
Table 2: Per-perturbation breakdown. Change vs. Robot-only. Green = gain >5%.
PretrainingVisualSceneEmbodimentTask
BGLightColorHeightClutterCameraARXUR5FrankaObjLang
Robot-only66.658.259.460.148.350.444.120.27.029.363.1
Ego2R+Robot (1:3)65.058.360.358.649.349.643.717.64.536.862.2
-1.6+0.1+0.9-1.5+1.0-0.8-0.4-2.6-2.5+7.5-0.9
Ego2R+Robot (3:1)65.560.961.862.049.251.647.631.45.640.063.1
-1.1+2.7+2.4+1.9+0.9+1.2+3.5+11.2-1.4+10.7+0.0
Ego2R+Robot (1:1)70.365.865.862.452.056.351.225.05.339.668.5
+3.7+7.6+6.4+2.3+3.7+5.9+7.1+4.8-1.7+10.3+5.4
场景布局方面也有适度提升。在1:1比例下，相机偏移鲁棒性提高了+6，因为第一人称视频本身就包含多样的头部姿态和视角。 多形态数据有助于本体形态迁移。ARX的性能从44提升至51（1:1比例），UR5在3:1比例下达到31，这直接得益于预训练阶段接触的15种形态。Franka的性能仍低于7%，反映出其运动学特性与训练所用本体形态存在较大差异。 任务语义理解能力也得到稳定提升。由于第一人称视频中包含多样的物体交互场景，未见物体泛化能力从29%提升至40%（3:1比例下提升+11）。1:1比例下，指令表述变化下的鲁棒性达到69%，这得益于更丰富的指令多样性。 EBench测试验证了在更高视角下的提升效果。EBench采用的摄像头安装位置更接近第一人称视角。3:1比例下EBench得分最高（51.7，比仅使用机器人数据时高出12.1），这表明当视角偏差与训练数据匹配度较高时，联合训练的优势会更明显。 ### 5.3 消融研究 图3通过仅使用第一人称数据预训练（不含任何机器人数据）来分离出该流程的贡献。 流程对齐至关重要。仅使用原始第一人称数据联合训练时，在RoboTwin Randomized测试中的成功率仅为28.1%。经过我们的流程处理（Ego2R结合单一形态）后，成功率提升至31.7%，提升了3.6%，这一结果验证了视觉与动作对齐阶段的有效性。 形态种类越多越好。将形态数量从1增加到15后，性能稳步提升（31.7→33.5）。加入原始第一人称数据后…… ![Image](images/725a2bd6b07e6291da335ec849f6952f5c656ecae01a78bbd8f3fe2b6c778f28.jpg)
Figure 3: Pipeline value and embodiment scaling. Success rate on RoboTwin Randomized.
--- ![Image](images/631229784a1f024ac31306532465d6ba653fbac4c48c11976f881ba4f0f8092c.jpg)
Figure 4: Real robot results. Success rates (%) on five tasks on the ARX ACone platform.
![Image](images/ca8999bc3ea85649e930e7f3a2439494155bf11e3ee4d43d6e47cfa66d6b2147.jpg)
Figure 5: Real robot rollouts. Key frames from five evaluation tasks on the ARX ACone platform.
15种形态的Ego2R数据可使性能进一步跃升至37.3%——原始第一人称数据实际上相当于第16种“形态”，其视觉外观和动作分布略有不同，进一步丰富了预训练的多样性。 进一步跳升至37.3%——原始自我数据实际上相当于第16种“形态”，其视觉外观与动作分布略有差异，从而进一步丰富了预训练数据的多样性。 ### 5.4 真实机器人实验 我们在ARX ACone平台上对五项长时序任务进行了评估（见图5）：将水果放入篮子、将积木放入抽屉、折叠毛巾、把垃圾扫进垃圾桶，以及拧入螺丝。针对每项任务，我们收集了20个遥操作演示样本。此外，我们还录制了手部操作的以自我为中心的视频（每个场景约7分钟），并通过我们的Ego2Robot流程生成针对ACone的合成演示数据。我们比较了三种配置（见图4）：仅机器人组仅使用机器人预训练，并在遥操作演示数据上微调；混合组采用Ego2R+Robot（1:1比例）预训练，并使用相同的演示数据；混合+Ego2R Play组则在遥操作演示数据的基础上，混入1:1比例的经流程转换后的自我中心游戏数据（Ego2R）进行微调。 混合+Ego2R Play组在所有五项任务中均取得了最佳结果，其中在“放积木”任务上的提升最为显著（较仅机器人组高出14%），“拧螺丝”任务也提升了13%。这一结果证明，通过我们的流程，随意录制的以自我为中心的视频能够转化为有效的训练信号。仅混合预训练就已优于仅机器人组，而Ego2R Play数据则进一步带来了稳定的性能提升。 --- ## 6 局限性 我们的研究存在若干局限性，这些局限性也为未来的研究方向指明了道路。首先，重映射机制将手部姿态映射到平行夹爪上，从而忽略了精细的指部动作。若能扩展到灵巧的多指手部，就能拓展可迁移技能的范围。其次，视觉对齐依赖于图像修复和基于深度的合成技术，在遮挡严重或光照复杂的情况下可能会产生伪影。若能提高渲染保真度，例如借助生成式模型，就能进一步缩小视觉领域的差距。最后，我们的评估范围仅限于RoboTwin2.0的任务范畴 [^16]。若能扩展到更广泛的任务和实体形态配置，就能增强通用性。 ## 7 结论 我们提出了Ego2Robot，这是一个可扩展的流程，能够将以自我为中心的手部操作视频转换为适用于15种形态机器人的训练数据。我们构建的分离式评估结果显示，Ego2Robot生成的合成数据能够补充机器人数据，且在视觉、实体形态和语义扰动下效果尤为显著。在实际机器人上，将Ego2Robot生成的合成数据与少量演示数据结合，就能实现高效的多任务部署。我们希望本研究能推动人们利用海量的人类操作视频来实现可扩展的机器人学习。 --- ## 参考文献 [^1]: B. Zitkovich, T. Yu, S. Xu, P. Xu, T. Xiao, F. Xia, J. Wu, P. Wohlhart, S. Welker, A. Wahid, et al. Rt-2: Vision-language-action models transfer web knowledge to robotic control. In Conference on Robot Learning, pages 2165–2183. PMLR, 2023. [^2]: M. J. Kim, K. Pertsch, S. Karamcheti, T. Xiao, A. Balakrishna, S. Nair, R. Rafailov, E. Foster, G. Lam, P. Sanketi, et al. Openvla: An open-source vision-language-action model. arXiv preprint arXiv:2406.09246, 2024. [^3]: K. Black, N. Brown, D. Driess, A. Esmail, M. Equi, C. Finn, N. Fusai, L. Groom, K. Hausman, B. Ichter, et al. pi_0: A vision-language-action flow model for general robot control. arXiv preprint arXiv:2410.24164, 2024. [^4]: P. Intelligence, K. Black, N. Brown, J. Darpinian, K. Dhabalia, D. Driess, A. Esmail, M. Equi, C. Finn, N. Fusai, et al. pi_{0.5}: a vision-language-action model with open-world generalization. arXiv preprint arXiv:2504.16054, 2025. [^5]: J. Bjorck, F. Castañeda, N. Cherniadev, X. Da, R. Ding, L. Fan, Y. Fang, D. Fox, F. Hu, S. Huang, et al. Gr00t n1: An open foundation model for generalist humanoid robots. arXiv preprint arXiv:2503.14734, 2025. [^6]: A. O'Neill, A. Rehman, A. Maddukuri, A. Gupta, A. Padalkar, A. Lee, A. Pooley, A. Gupta, A. Mandlekar, A. Jain, et al. Open x-embodiment: Robotic learning datasets and rt-x models: Open x-embodiment collaboration 0. In 2024 IEEE International Conference on Robotics and Automation (ICRA), pages 6892–6903. IEEE, 2024. [^7]: A. Khazatsky, K. Pertsch, S. Nair, A. Balakrishna, S. Dasari, S. Karamcheti, S. Nasiriany, M. K. Srirama, L. Y. Chen, K. Ellis, et al. Droid: A large-scale in-the-wild robot manipulation dataset. arXiv preprint arXiv:2403.12945, 2024. [^8]: Q. Bu, J. Cai, L. Chen, X. Cui, Y. Ding, S. Feng, S. Gao, X. He, X. Hu, X. Huang, et al. Agibot world colosseo: A large-scale manipulation platform for scalable and intelligent embodied systems. arXiv preprint arXiv:2503.06669, 2025. [^9]: C. Chi, Z. Xu, C. Pan, E. Cousineau, B. Burchfiel, S. Feng, R. Tedrake, and S. Song. Universal manipulation interface: In-the-wild robot teaching without in-the-wild robots. arXiv preprint arXiv:2402.10329, 2024. [^10]: T. Z. Zhao, V. Kumar, S. Levine, and C. Finn. Learning fine-grained bimanual manipulation with low-cost hardware. arXiv preprint arXiv:2304.13705, 2023. [^11]: P. Wu, Y. Shentui, Z. Yi, X. Lin, and P. Abbeel. Gello: A general, low-cost, and intuitive teleoperation framework for robot manipulators. In 2024 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pages 12156–12163. IEEE, 2024. [^12]: R. Hoque, P. Huang, D. J. Yoon, M. Sivapurapu, and J. Zhang. Egodex: Learning dexterous manipulation from large-scale egocentric video. arXiv preprint arXiv:2505.11709, 2025. [^13]: R. Punamiya, S. Kareer, Z. Liu, J. Citron, R.-Z. Qiu, X. Cai, A. Gavryushin, J. Chen, D. Liconti, L. Y. Zhu, et al. Egoverse: An egocentric human dataset for robot learning from around the world. arXiv preprint arXiv:2604.07607, 2026. [^14]: M. Lepert, J. Fang, and J. Bohg. Phantom: Training robots without robots using only human videos. In Conference on Robot Learning, pages 4545–4565. PMLR, 2025. ## [^15]: S. Kareer, D. Patel, R. Punamiya, P. Mathur, S. Cheng, C. Wang, J. Hoffman, and D. Xu. Egomimic: Scaling imitation learning via egocentric video. In 2025 IEEE International Conference on Robotics and Automation (ICRA), pages 13226–13233. IEEE, 2025 --- [^16]: T. Chen, Z. Chen, B. Chen, Z. Cai, Y. Liu, Z. Li, Q. Liang, X. Lin, Y. Ge, Z. Gu, et al. Robotwin 2.0: A scalable data generator and benchmark with strong domain randomization for robust bimanual robotic manipulation. arXiv preprint arXiv:2506.18088, 2025. [^17]: N. M. M. Shafiullah, A. Rai, H. Etukuru, Y. Liu, I. Misra, S. Chintala, and L. Pinto. On bringing robots home. arXiv preprint arXiv:2311.16098, 2023. [^18]: L. Pei, H. Yuzhe, L. Wanlin, X. Chenxi, and J. Ziyuan. Dexmove: Learning tactile-guided non-prehensile manipulation with dexterous hands. In The Fourteenth International Conference on Learning Representations, 2026. URL . [^19]: S. Nair, A. Rajeswaran, V. Kumar, C. Finn, and A. Gupta. R3m: A universal visual representation for robot manipulation. arXiv preprint arXiv:2203.12601, 2022. [^20]: I. Radosavovic, T. Xiao, S. James, P. Abbeel, J. Malik, and T. Darrell. Real-world robot learning with masked visual pre-training. In Conference on Robot Learning, pages 416–426. PMLR, 2023. [^21]: Y. J. Ma, S. Sodhani, D. Jayaraman, O. Bastani, V. Kumar, and A. Zhang. VIP: Towards universal visual reward and representation via value-implicit pre-training. arXiv preprint arXiv:2210.00030, 2022. [^22]: A. S. Chen, S. Nair, and C. Finn. Learning generalizable robotic reward functions from "in-the-wild" human videos. arXiv preprint arXiv:2103.16817, 2021. [^23]: C. Wang, L. Fan, J. Sun, R. Zhang, L. Fei-Fei, D. Xu, Y. Zhu, and A. Anandkumar. Mimicplay: Long-horizon imitation learning by watching human play. arXiv preprint arXiv:2302.12422, 2023. [^24]: M. Xu, Z. Xu, Y. Xu, C. Chi, G. Wetzstein, M. Veloso, and S. Song. Flow as the cross-domain manipulation interface. arXiv preprint arXiv:2407.15208, 2024. [^25]: J. Ren, P. Sundaresan, D. Sadigh, S. Choudhury, and J. Bohg. Motion tracks: A unified representation for human-robot transfer in few-shot imitation learning. In 2025 IEEE International Conference on Robotics and Automation (ICRA), pages 8802–8810. IEEE, 2025. [^26]: R. Zheng, D. Niu, Y. Xie, J. Wang, M. Xu, Y. Jiang, F. Castañeda, F. Hu, Y. L. Tan, L. Fu, et al. Egoscale: Scaling dexterous manipulation with diverse egocentric human data. arXiv preprint arXiv:2602.16710, 2026. [^27]: H. Luo, Y. Feng, W. Zhang, S. Zheng, Y. Wang, H. Yuan, J. Liu, C. Xu, Q. Jin, and Z. Lu. Being-h0: vision-language-action pretraining from large-scale human videos. arXiv preprint arXiv:2507.15597, 2025. [^28]: H. Luo, Y. Wang, W. Zhang, S. Zheng, Z. Xi, C. Xu, H. Xu, H. Yuan, C. Zhang, Y. Wang, et al. Being-h0.5: Scaling human-centric robot learning for cross-embodiment generalization. arXiv preprint arXiv:2601.12993, 2026. [^29]: Q. Li, Y. Deng, Y. Liang, L. Luo, L. Zhou, C. Yao, L. Zeng, Z. Feng, H. Liang, S. Xu, et al. Scalable vision-language-action model pretraining for robotic manipulation with real-life human activity videos. arXiv preprint arXiv:2510.21571, 2025. [^30]: T. Zhang, S. Xia, Y. Wang, and Q. Jin. Easymimic: A low-cost framework for robot imitation learning from human videos. arXiv preprint arXiv:2602.11464, 2026. ## [^31]: A. Mandlekar, S. Nasiriany, B. Wen, I. Akinola, Y. Narang, L. Fan, Y. Zhu, and D. Fox. Mimicgen: A data generation system for scalable robot learning using human demonstrations. arXiv preprint arXiv:2310.17596, 2023 --- [^32]: S. Nasiriany, A. Maddukuri, L. Zhang, A. Parikh, A. Lo, A. Joshi, A. Mandlekar, and Y. Zhu. Robocasa: Large-scale simulation of everyday tasks for generalist robots. arXiv preprint arXiv:2406.02523, 2024. [^33]: L. Y. Chen, C. Xu, K. Dharmarajan, M. Z. Irshad, R. Cheng, K. Keutzer, M. Tomizuka, Q. Vuong, and K. Goldberg. Rovi-aug: Robot and viewpoint augmentation for cross-embodiment robot learning. arXiv preprint arXiv:2409.03403, 2024. [^34]: L. Y. Chen, K. Hari, K. Dharmarajan, C. Xu, Q. Vuong, and K. Goldberg. Mirage: Cross-embodiment zero-shot policy transfer with cross-painting. arXiv preprint arXiv:2402.19249, 2024. [^35]: G. Ji, H. Polavaram, L. Y. Chen, S. Bajamahal, Z. Ma, S. Adebola, C. Xu, and K. Goldberg. Oxe-auge: A large-scale robot augmentation of oxe for scaling cross-embodiment policy learning. arXiv preprint arXiv:2512.13100, 2025. [^36]: Y. Mu, T. Chen, Z. Chen, S. Peng, Z. Lan, Z. Gao, Z. Liang, Q. Yu, Y. Zou, M. Xu, et al. Robotwin: Dual-arm robot benchmark with generative digital twins. In Proceedings of the computer vision and pattern recognition conference, pages 27649–27660, 2025. [^37]: B. Liu, Y. Zhu, C. Gao, Y. Feng, Q. Liu, Y. Zhu, and P. Stone. Libero: Benchmarking knowledge transfer for lifelong robot learning. Advances in Neural Information Processing Systems, 36:44776–44791, 2023. [^38]: O. Mees, L. Hermann, E. Rosete-Beas, and W. Burgard. Calvin: A benchmark for language-conditioned policy learning for long-horizon robot manipulation tasks. IEEE Robotics and Automation Letters, 7(3):7327–7334, 2022. [^39]: S. James, Z. Ma, D. R. Arrojo, and A. J. Davison. Rlbench: The robot learning benchmark \& learning environment. IEEE Robotics and Automation Letters, 5(2):3019–3026, 2020. [^40]: X. Li, K. Hsu, J. Gu, K. Pertsch, O. Mees, H. R. Walke, C. Fu, I. Lunawat, I. Sieh, S. Kirmani, et al. Evaluating real-world robot manipulation policies in simulation. arXiv preprint arXiv:2405.05941, 2024. [^41]: J. Gu, F. Xiang, X. Li, Z. Ling, X. Liu, T. Mu, Y. Tang, S. Tao, X. Wei, Y. Yao, et al. Maniskill2: A unified benchmark for generalizable manipulation skills. arXiv preprint arXiv:2302.04659, 2023. [^42]: S. Tao, F. Xiang, A. Shukla, Y. Qin, X. Hinrichsen, X. Yuan, C. Bao, X. Lin, Y. Liu, T.-k. Chan, et al. Maniskill3: Gpu parallelized robotics simulation and rendering for generalizable embodied ai. arXiv preprint arXiv:2410.00425, 2024. [^43]: W. Pumacay, I. Singh, J. Duan, R. Krishna, J. Thomason, and D. Fox. The colosseum: A benchmark for evaluating generalization for robotic manipulation. arXiv preprint arXiv:2402.08191, 2024. [^44]: S. Fei, S. Wang, J. Shi, Z. Dai, J. Cai, P. Qian, L. Ji, X. He, S. Zhang, Z. Fei, et al. Libero-plus: In-depth robustness analysis of vision-language-action models. arXiv preprint arXiv:2510.13626, 2025. [^45]: X. Zhou, Y. Xu, G. Tie, Y. Chen, G. Zhang, D. Chu, P. Zhou, and L. Sun. Libero-pro: Towards robust and fair evaluation of vision-language-action models beyond memorization. arXiv preprint arXiv:2510.03827, 2025. ### [^46]: S. A. Laboratory. Ebench: Elemental mobile manipulation benchmark, 2026. URL . Preprint coming soon --- [^47]: R. A. Potamias, J. Zhang, J. Deng, and S. Zafeiriou. Wilor: End-to-end 3d hand localization and reconstruction in-the-wild. In Proceedings of the Computer Vision and Pattern Recognition Conference, pages 12242–12254, 2025. [^48]: C. Si, Y. Liu, B. Ai, J. Xie, R. A. Potamias, C. Zheng, and H. Su. Anyhand: A large-scale synthetic dataset for rgb (-d) hand pose estimation. arXiv preprint arXiv:2603.25726, 2026. [^49]: Z. Yu, S. Zafeiriou, and T. Birdal. Dyn-hamr: Recovering 4d interacting hand motion from a dynamic camera. In Proceedings of the Computer Vision and Pattern Recognition Conference, pages 27716–27726, 2025. [^50]: Q. Team. Qwen3.5: Accelerating productivity with native multimodal agents, february 2026. URL . [^51]: N. Carion, L. Gustafson, Y.-T. Hu, S. Debnath, R. Hu, D. Suris, C. Ryali, K. V. Alwala, H. Khedr, A. Huang, et al. Sam 3: Segment anything with concepts. arXiv preprint arXiv:2511.16719, 2025. [^52]: S. Zhou, C. Li, K. C. Chan, and C. C. Loy. Propainter: Improving propagation and transformer for video inpainting. In Proceedings of the IEEE/CVF international conference on computer vision, pages 10477–10486, 2023. [^53]: E. Todorov, T. Erez, and Y. Tassa. Mujoco: A physics engine for model-based control. In 2012 IEEE/RSJ international conference on intelligent robots and systems, pages 5026–5033. IEEE, 2012. [^54]: K. Zakka. Mink: Python inverse kinematics based on MuJoCo, Feb. 2026. URL . ### [^55]: Y. Tian, Y. Yang, Y. Xie, Z. Cai, X. Shi, N. Gao, H. Liu, X. Jiang, Z. Qiu, F. Yuan, et al. Interdata-a1: Pioneering high-fidelity synthetic data for pre-training generalist policy. arXiv preprint arXiv:2511.16651, 2025 --- ### Ego2Robot附录 A Ego2Robot流程详情 14 B 评估框架详情 17 C 模型架构详情 19 D 训练详情 19 E 实际机器人实验详情 20 F 额外的实验结果 21 ### A Ego2Robot流程详情 ### A.1 手部姿态估计（路径B） 逐帧重建。WiLoR [^47]负责逐帧检测手部并回归MANO参数（ $\theta, \beta, t$），从而为每个帧生成21个关键点 $\{\mathbf{p}_j\}_{j=0}^{20}$ 以及手部网格。检测结果会通过SAM 3生成的手部掩码进行过滤：如果超过80%的投影关键点落在掩码之外，该帧就会被丢弃。 跨帧关联。WiLoR采用基于YOLO的手部检测器，输出边界框以及初始的左右标签。为了构建时间上一致的轨迹，检测得分（左+右）最高的帧被用作种子帧。以该种子帧为起点，我们双向传播轨迹：在每一帧中，每个新检测到的手部都会被分配到其先前腕部位置在图像空间中距离最近的那只手（$\ell_2$距离）。当多个检测结果竞争同一只手时，得分最高的结果会被保留。关联完成后，跳跃滤波器会移除那些3D腕部速度超过$\max(4 \times \text{median velocity}, 0.003\ \text{m/frame})$的帧，这类帧通常代表误检。 时间优化。DynHaMR [^49]通过在整个序列上联合优化MANO姿态和形状参数来细化轨迹，最小化以下目标函数： $$ \mathcal{L}_{\mathrm{d y n}}=\mathcal{L}_{\mathrm{d a t a}}+\lambda_{\mathrm{s m o o t h}}\mathcal{L}_{\mathrm{s m o o t h}}+\lambda_{\mathrm{b i o}}\mathcal{L}_{\mathrm{b i o}} $$ 其中，$\mathcal{L}_{\mathrm{data}}$用于确保与每帧的WiLoR估计结果保持一致，$\mathcal{L}_{\mathrm{smooth}}$会对腕部位置和手指关节角的加速度进行惩罚，而$\mathcal{L}_{\mathrm{bio}}$则用于保证符合生物力学的关节限制。重建出的手部深度被限制在距摄像头0.05米到0.4米之间。 间隙处理。当连续多帧缺少手部检测结果时，我们会应用针对间隙的特定插值方法。对于大于10帧的大间隙，会用机器人的初始配置来填充，并在间隙边界处进行平滑过渡。过渡长度为$n = \max(5, \min(90, [0.6n_{\text{pos}} + 0.4n_{\text{rot}}]))$帧，其中$n_{\text{pos}} = \Delta p/3.25$毫米和$n_{\text{rot}} = \Delta \theta/1.08^\circ$分别表示以固定过渡速度覆盖该位移所需的帧数。对于小于$\leq 10$帧的小间隙，则采用线性位置插值结合SLERP方法。 ### A.2 子任务分割（路径B） 对于较长的连续录像，我们会在60秒的边界处预先拆分视频。每段剪辑会被发送给VLM（Qwen3.5 [^50]），并附上以下提示模板： 你正在观看一段第一人称操作视频（时长：{duration}秒）。 任务：{"task_desc"} 请按照完整的任务目标对视频进行分割。每个子任务都应是 --- 一个独立且完整的目标。 为每个子任务编写一条简短的英文动作指令（5–12个单词）。 仅输出JSON数组：[{"description":..., "start_time":..., "end_time":...}, ...] VLM会返回子任务的边界信息以及自然语言描述，这些将作为训练指令使用。 ### A.3 动作对齐细节 左右手标识。抓取轴定义中的符号s由手的左右属性决定：右手对应$s = +1$，左手对应$s = -1$，这样无论哪只手，抓取轴$\mathbf{z}$的方向都保持一致，且两只手都能映射到同一个夹持器坐标系下。构成夹持器法线轴$\mathbf{d} = \mathbf{p}_{\mathrm{vf}} - \mathbf{p}_{\mathrm{wrist}}$的腕部到指尖向量$\mathbf{y}$直接取自MANO关键点。 退化方向问题。当拇指尖与虚拟指尖几乎重合时（夹持器宽度$w < 0.01$米），抓取方向会发生退化；此时我们会将其冻结为上一个有效的估计值。当$\mathbf{z}$与$\mathbf{d}$几乎平行时（$\|\mathbf{z} \times \mathbf{d}\| \approx 0$），也会采用同样的回退策略。 速度滤波。通过速度滤波器去除每帧中的检测跳变。对于位置速度$v_t = \|\mathbf{p}_t - \mathbf{p}_{t-1}\|$，其阈值为： $$ \tau_{t}=\max(5\cdot median(\{v_{s}\}_{s}),0.9/fps) $$ 旋转速度采用的类似阈值下限为10.0/fps弧度/帧。超过$\tau_{t}$的帧会通过相邻帧插值来替换。这一过程会迭代执行2轮。 时间平滑处理。位置和夹爪宽度：采用Savitzky-Golay滤波器，窗口大小为$\min(21, n)$，多项式阶数为$\min(3, window-1)$。方向：采用高斯加权的SLERP插值，涉及$\sigma=10$帧，核大小为21。在进行插值之前，相邻的四元数会先进行半球校正$(q_t \to -q_t \text{ when } q_t \cdot q_{t-1} < 0)$。 ## A.4 视觉对齐细节 手臂分割。SAM 3 [^51]使用文本提示“person”，并以中间帧作为时间传播的提示锚点。长视频以400帧为一块进行处理，块间重叠50帧；重叠区域的掩码通过按位或运算合并。后处理步骤包括：(i) 长度不超过3帧的间隙通过插值相邻掩码来填充；(ii) 掩码面积小于局部中位数（窗口大小为11）50%的帧会被替换为最近的有效掩码；(iii) 使用$5 \times 5$椭圆核进行形态学闭运算。 手部移除。ProPainter [^52]在fp16精度下运行，参数设置为neighbor_length=10、ref_stride=10、sub-video_length=80、mask_dilation=4、RAFT迭代次数=20。 基座姿态搜索。优化目标在方程4中定义。此处我们详细介绍候选姿态的生成与评分方法。候选姿态在相机坐标系下生成，其偏移量按伸展范围r进行缩放： • 横向（左右）：$r \times \{0.3, 0.4, 0.5, 0.6, 0.8, 1.0, 1.2\}$（共7个层级，每只手臂的符号相反） • 前后方向：$r \times \{-0.1, 0.0, 0.1, 0.3, 0.5, 0.7, 0.9\}$（共7个层级） • 垂直方向：$r \times \{0.4, 0.2, 0.0, -0.2, -0.4\}$（共5个层级） • 方向：俯仰角$\{30^{\circ}, 45^{\circ}, 60^{\circ}\} \times \mathrm{yaw}$ $\{-45^{\circ}, -20^{\circ}, 0^{\circ}, 20^{\circ}, 45^{\circ}\} \times \mathrm{roll}$ $\{-15^{\circ}, 0^{\circ}, 15^{\circ}\}$ 若候选姿态的相机距离小于0.20米，或者其轨迹点超出基座0.9r范围或距离基座小于0.08米，则该候选姿态会被排除。剩余的候选姿态根据以下规则评分： $$ S=\operatorname{F R}(\mathbf{T}_{\mathrm{b a s e}})-5.0\cdot|\bar{\rho}-0.65| $$ 其中FR表示在最多20个关键帧上的IK可行性比率（使用mink IK求解器，quadprog后端，迭代100次，阈值设为$10^{-5}$）。第二项为伸展惩罚项：$\bar{\rho} = \frac{1}{|\mathcal{K}|} \sum_k \| \mathbf{T}_{\text{base}}^-1 \mathbf{p}_k^{\text{ee}} \| / r$ --- 该值表示末端执行器到基座的平均距离经运动学伸展范围r归一化后的结果，当$\bar{\rho} = 0.65$时惩罚项最小，这促使机器人在其最大伸展范围的65%处操作，以便为操控保留足够的运动学余量。我们分别对每只手臂的前5个候选姿态进行筛选，随后联合验证所有25种左右组合，从而确定最终的基座位置。 基于深度的合成处理。正文部分（方程5）给出了统一的深度排序规则。实际操作中，我们利用MuJoCo的逐几何体分割掩码将机器人分为手臂主体和夹爪区域。手臂主体掩码（robot_mask=1 ∧ gripper_mask=0）总是被合成到修复后的场景中，因为手臂位于相机和工作台之间，不会被场景物体遮挡。夹爪掩码（gripper_mask=1）则需进行逐像素深度比较：当场景深度$(u, v)$大于夹爪像素处的深度$D_{\text{scene}}(u, v) < D_{\text{sim}}(u, v)$，且该像素不在膨胀后的手部掩码区域内时，该夹爪像素会被隐藏，其中$D_{\text{scene}}$由Depth Anything V3估算，$D_{\text{sim}}$由MuJoCo渲染。在合成前，手部掩码会用$5 \times 5$核进行1次膨胀处理，以防止沿原始手臂轮廓暴露出修复边界。最终的合成结果如下： $$ \begin{aligned}I_{out}(u,v)&=\begin{cases}I_{sim}(u,v)&if(u,v)\in M_{arm}\cup M_{gripper\_vis}\\I_{inpaint}(u,v)&otherwise\end{cases}\\I_{gripper}\setminus\{(u,v):D_{scene} 0），(iv) 无自碰撞（通过MuJoCo接触检测判断）。其他无效情况包括：双臂交叉接触次数 > 1，或机器人遮罩面积占图像比例 > 70%。 稳定性侵蚀。位于无效区域之间的短效有效序列（帧数 < [0.3 × fps]）会被判定为无效。 L2（统计层面）。应用两个事后统计过滤器：(i) Q1/Q99过滤器：针对每个动作维度，先计算数据集内各维度的Q1和Q99统计量（排除此前已标记为无效的帧）。超出[Q1 - 3(Q99 - Q1), Q99 + 3(Q99 - Q1)]范围的帧会被标记。 (ii) 突变过滤器：对每个时间步，计算状态/动作轨迹上的残差、加速度和抖动值。超过各维度阈值（根据数据集分布计算得出）的步骤会被标记。经过这两个过滤器处理后，若某剧集的无效帧比例超过60%，则该剧集将被完全丢弃。 L3（VLM一致性）。使用VLM（Qwen3.5）对每段合成视频的语义一致性进行审核。视频以4帧/秒的速率采样，并与子任务描述一同提交。提示词如下： 你需要判断一段操作视频是否与其文字描述相符。这是一个机器人操作数据集。“手部”指的是机器人的夹爪/末端执行器。许多任务会使用虚拟或模拟物体来替代真实物体，这是正常现象。任务描述：{description}。请确定机器人的动作是否与描述的任务一致。需标记的重大不匹配情况包括：动作类型错误、物体类别错误、目标位置错误或执行失败。对于虚拟/玩具类物体、细微的外观差异、小的空间偏差以及不同的抓取方式，可予以容忍。请以JSON格式回复：{"is_consistent": true/false, "confidence": 0.0-1.0, "reasoning": "..."} 被判定为不一致的剧集将被丢弃。 ### A.6 颜色随机化 每个渲染出的机器人都会在HSV空间中经历确定性的颜色随机化：$H \sim U(0,1)$、$S \sim U(0.3,1)$、$V \sim U(0.4,1)$，且这种随机化会均匀应用于所有连杆。 ---
Table 3: Supported robot morphologies.
RobotDOFGripper (mm)Reach (m)
Panda70-801.272
Kinova Gen370-851.337
IIWA70-851.411
Sawyer714-791.420
FR370-801.272
xArm770-851.290
UR5e60-851.236
UR10e60-851.627
Jaco60-1251.200
ViperX615-870.911
WidowX611-550.787
ARX-L560-880.855
Piper60-700.883
YAM64-750.866
Aloha-Agilex67-1020.853
![Image](images/15ab79801604dc4cc0741f8830b455aa6ed9809e118d8facfb26a32d51a38631.jpg)
Figure 6: 15 supported robot morphologies. 3D models of all 15 robots.
### A.7 支持的机器人形态 表3列出了15种形态。图6展示了全部15种机器人的3D模型。 ### B 评估框架详情 ## B.1 扰动参数 随机化（标准OOD）。原始的RoboTwin 2.0设置会同时应用背景纹理替换、光照随机化、桌子高度偏移以及杂物干扰。我们在下文中将这些因素拆解为独立的维度，并新增相机偏移、机器人颜色、改写后的指令以及未见过的物体作为新的评估维度。 视觉外观：背景。桌子和地面纹理会被替换为从素材库中随机选取的纹理；光照方面，光源位置和强度会被随机化。机器人颜色方面，对所有机器人连杆统一应用$[0^{\circ}, 360^{\circ})$的色调偏移。 场景布局：桌子高度会有$\pm4$厘米的垂直偏移；杂物方面，会有3–5个姿态随机的干扰物体；相机偏移方面，头部相机在每个轴上最多可偏移5厘米。 --- 任务语义：改写后的指令共有505条口语化重新表述的命令（由人类和LLM生成）。未见过的物体方面，有50个新任务使用的物体实例并未出现在微调演示中（属于同一类别，但外观/几何形状不同），涵盖七大类操作任务： • 移动到垫子/锅具上（10）：移动奶瓶垫、移动杯子垫、移动碗垫、移动杯子锅、移动奶瓶锅、移动马克杯锅、移动苹果锅、移动密封罐锅、移动药瓶锅、移动碗锅 - 放入篮子中（11）：放入肥皂篮、放入马克杯篮、放入香水篮、放入茶盒篮、放入玩具车篮、放入苹果篮、放入奶瓶篮、放入杯子篮、放入咖啡盒篮、放入酱料罐篮、放入汉堡篮 • 放置在支架上（4）：放置杯子支架、放置马克杯支架、放置奶瓶支架、放置苹果支架 • 放置在秤上（3）：放置奶瓶秤、放置杯子秤、放置马克杯秤 • 放入橱柜中（3）：放入苹果橱柜、放入密封罐橱柜、放入碗橱柜 • 双手从A处放置到B处（12）：将杯子放在瓶子左侧、将马克杯放在苹果右侧、将奶瓶放在杯子左侧、将密封罐放在马克杯右侧、将马克杯放在杯子左侧、将苹果放在马克杯左侧、将奶瓶放在苹果右侧、将密封罐放在杯子左侧、将马克杯放在瓶子左侧、将苹果放在杯子右侧、将杯子放在密封罐右侧、将奶瓶放在苹果左侧 • 移走物品（7）：移走杯子、移走奶瓶、移走苹果、移走马克杯、移走密封罐、移走碗、移走药瓶 具体实现：跨本体迁移。默认的本体为Aloha-Agilex，以单个双臂URDF的形式加载。为了进行零样本跨本体评估，我们将其替换为ARX-X5、UR5-WSG或Franka Panda。每种替代本体都以两个独立的单臂URDF形式加载，对称地放置在工作区中心两侧，双臂基座间距分别为0.6米（ARX-X5）、0.59米（UR5-WSG）和0.65米（Franka），以适应不同的机械臂长度。初始的末端执行器姿态通过逆运动学算法对齐，且三种本体下的所有摄像头外参（头部摄像头+两个腕部摄像头）均保持一致，以确保在摄像头坐标系下的动作空间具备相同的起始条件。 ### B.2 任务列表 共50个任务：调整奶瓶、用锤子敲打积木、按RGB排序积木、按大小排序积木、点击闹钟、点击铃铛、清空大垃圾桶、抓取滚筒、传递积木、传递麦克风、悬挂马克杯、提起锅具、移动易拉罐锅、移动药瓶垫、移走扑克牌、移动订书机垫、打开笔记本电脑、打开微波炉、挑选各类奶瓶、同时挑选两个奶瓶、将物品从A处放到B处（左侧）、将物品从A处放到B处（右侧）、放入面包篮、放入煎锅中的面包、放置汉堡和薯条、放入易拉罐篮、放入塑料盒中的易拉罐、放入盛物盘、放置两只鞋子、放入空杯子、放置风扇、放置鼠标垫、放入物品篮、放置称重秤上的物品、放置物品支架、放置手机支架、放置鞋子、按压订书机、将奶瓶扔进垃圾桶、将物品放入橱柜、旋转二维码、扫描物品、摇晃奶瓶、水平摇晃奶瓶、堆叠三个积木、堆叠两个积木、堆叠三个碗、堆叠两个碗、盖印章、拨动开关。 每个任务的步数限制范围从400步（如点击铃铛、调整奶瓶）到1700步（将奶瓶扔进垃圾桶），大多数任务的步数限制为400步。复杂的多步骤任务采用更高的步数限制：打开微波炉1500步、积木排序1200步、堆叠三个积木1200步、堆叠碗类900–1200步、悬挂马克杯900步、堆叠两个积木/传递积木800步、放入塑料盒中的易拉罐800步。全新未见过的任务默认步数限制为1000步。 ### B.3 实验流程 每个任务进行50轮测试，判定标准为是否成功。汇总指标如下：视觉指标=背景、光照、机器人颜色的平均值；场景指标=高度、杂乱程度、摄像头参数的平均值；本体指标=ARX、UR5、Franka的平均值；任务指标=物体类别、语言描述的平均值。 ### B.4 EBench桌面场景 EBench [^46] 在 Isaac Sim 中提供了 7 项桌面任务：收集咖啡豆、翻转杯子并收集饼干、将相框对准笔架、安装齿轮、将销钉插入孔中、把玻璃杯放入玻璃盒、拧紧螺母。其摄像头位置比 RoboTwin 更高，更接近以自我为中心的视角。 --- ## C 模型架构细节 Qwen3.5-4B 视觉语言骨干网络会处理多视角 RGB 图像（每个时间步 2–3 个视角）以及结构化的文本提示，生成一系列隐藏状态 $\mathbf{H} \in \mathbb{R}^{L \times d}$，这些状态共同编码了视觉与语言信息。摄像头内参 $\mathbf{K} \in \mathbb{R}^{3 \times 3}$ 和外参 $\mathbf{T}_{wc} \in SE(3)$ 通过 mRoPE 位置编码被注入到视觉特征中，从而使模型能够推理摄像头与场景之间的三维空间关系。DiT 动作头通过交叉注意力机制以 $\mathbf{H}$ 为条件：上下文生成器利用 8 个可学习的查询令牌将 $\mathbf{H}$ 压缩为条件特征 $\mathbf{C}$，而 DiT 层在通过流匹配预测 32 步的动作块时会关注 $\mathbf{C}$（训练时 8 步/推理时 4 步）。 ### C.1 结构化提示 文本输入采用双字段格式： 实体形态：{type}_{model} instruction: {任务描述} embodiment 用于编码数据源和机器人型号：robot_aloha（真实机器人）、h2r_arx（配备 ARX 的 Ego2R）、human_ego（原始自我视角数据）。训练期间有 15% 的概率将其设为“None”，而 instruction 则永远不会被省略。 ### C.2 摄像头坐标系下的末端执行器相对位置 每个动作步骤为7维：3D位置增量$\Delta\mathbf{p}$、3D旋转增量$\Delta\boldsymbol{\omega}$（旋转向量）、1D夹爪控制量。给定末端执行器到摄像头的变换矩阵$\mathbf{T}_{ce} = \mathbf{T}_{wc}^{-1}\mathbf{T}_{we}$及其旋转分量$\mathbf{R}_{ce}$，可将其转换为基座坐标系下的增量： $$ \Delta\mathbf{p}_{c c}=\mathbf{R}_{c e}\,\Delta\mathbf{p}_{e e},\quad\Delta\mathbf{R}_{c c}=\mathbf{R}_{c e}\,\Delta\mathbf{R}_{e e}\,\mathbf{R}_{c e}^{\top} $$ 正如第 3 节所述，这种方式无需显式的外部校准，就能自然统一来自不同摄像头设置和机器人形态的数据。 ### C.3 流匹配 给定干净的动作序列 $\mathbf{a}_0$ 和噪声 $\boldsymbol{\epsilon} \sim \mathcal{N}(\mathbf{0}, \mathbf{I})$，在 $t \in [0, 1]$ 时刻的带噪样本为： $$ \mathbf{a}_{t}=\left(1-t\right)\mathbf{a}_{0}+t\mathbf{\epsilon} $$ 训练目标为： $$ \mathcal{L}=\mathbb{E}_{t,\mathbf{a}_{0},\epsilon}\left\|\mathbf{v}_{\theta}(\mathbf{a}_{t},t,\mathbf{c})-(\epsilon-\mathbf{a}_{0})\right\|^{2} $$ 其中 c 表示视觉-语言条件信息。推理时使用 4 步欧拉法 ($\Delta t=1/4$)。 ### D 训练细节 ## D.1 预训练 8×A100 GPU，每 GPU batch 12，backbone 学习率 $10^{-5} \to 10^{-6}$ 余弦（5K 预热），action head 学习率 $10 \times (10^{-4} \to 10^{-5})$，AdamW ($\beta_1=0.9$, $\beta_2=0.95$)，bf16，ZeRO-1，200K 步（$\sim$19.2M 帧），8 个扩散步/前向。无图像增强。 ### D.2 预训练数据 机器人数据来源于三个渠道：DROID [^7]（约 511 小时）提供了使用 Franka 机械臂在各类物体和场景中采集的真实世界遥操作演示数据；AgibotWorld [^8]（约 2,404 小时）是一个大规模真实遥操作数据集，涵盖了人形机器人平台上的 180 项操作任务；InternData [^55]（约 3,650 小时）提供了基于模拟生成的、涉及 Franka、人形机器人和 Aloha 形态的演示数据。三者合计约 6,565 小时。Ego2R 数据则源自四种自我中心视角来源。 --- ![Image](images/751466fe1cb0031c9791316aedf3b10d140bc1b713b5426529a5f3928883f607.jpg) ![Image](images/d15f2a99b5e1db74689ad5d5757edc9872e199217a8eab1723e282ae365ce00a.jpg)
Figure 7: Pretraining data composition. Slices show per-source sampling weights (training mix); panel titles give the total data volume. (a) Robot (~6,565 h). (b) Ego2R (~18,561 h).
原始数据来源包括ANT 7小时、EgoDex 732小时、ViTRA 249小时、EgoVerse 954小时，处理前总时长达到$\sim$1,940小时，这些数据会以15种形态呈现，经过流水线处理和质量筛选后，最终生成18,561小时的训练数据。混合比例（Ego2R与Robot为1:3、3:1、1:1）是通过各数据源的采样权重来实现的；所有配置处理的帧总数均相同。图7展示了各组内使用的各数据源采样权重。 ### D.3 微调 所有微调实验均加载预训练权重。$8 \times \text{A100 GPUs}$，每个GPU批量大小为12，主干网络的学习率采用$10^{-5} \rightarrow 10^{-6}$余弦退火策略（包含5K步的预热期），动作头的学习率为$10 \times (10^{-4} \rightarrow 10^{-5})$，优化器选用AdamW（参数设为$\beta_1=0.9$和$\beta_2=0.95$），训练时启用bf16精度、ZeRO-2技术，同时应用ColorJitter增强，每次前向传播包含8个扩散步骤。 RoboTwin Clean数据集：包含50个任务、$\times$50个演示样本（共2,500个片段），训练步数为50K，数据块大小为20，每16步重新规划一次路径。 EBench桌面任务数据集：包含7个桌面相关任务，对应$\times$400个演示样本（共2,800个片段），训练步数为50K，数据块大小为32。 真实机器人实验：数据详情见E节。Ego2R与遥操作数据的混合比例为1:1，训练步数为50K，数据块大小为32。 ### D.4 消融实验配置 消融实验（见图3）仅使用源自自我视角的数据（原始自我视角视频或Ego2R数据）进行预训练，排除真实机器人数据，旨在分离出流水线本身对模型性能的贡献： • 原始自我视角数据（$\sim$1,940小时）：经过流水线质量筛选后的自我中心视频，但未经过机器人渲染处理。 • Ego2R数据，1种形态（$\sim$1,237小时）：经过流水线处理后的数据，仅包含ARX-L5形态。 • Ego2R数据，5种形态（约6,187小时）：涵盖Aloha-Agilex、ARX-L5、FR3、ViperX、xArm7五种形态。 • Ego2R数据，10种形态（约12,374小时）：涵盖Aloha-Agilex、ARX-L5、FR3、IIWA、Jaco、Piper、UR5e、ViperX、YAM、xArm7十种形态。 • Ego2R数据，15种形态（$\sim$18,561小时）：包含所有15种形态的数据。 • Ego2R（15种形态）+ 原始自我视角数据（$\sim$20,501小时）：即15种形态的Ego2R数据加上原始自我视角数据。 所有消融实验中的模型均仅用指定的自我视角数据预训练（不使用真实机器人数据），随后在RoboTwin Clean数据集上进行微调。 ### E 真实机器人实验详情 ## E.1 平台与任务 ARX ACone双臂机器人（每条臂有6个自由度，配备平行夹爪，头部及两只手腕处各装有一台RGB摄像头，控制频率为15Hz，每32步重新规划一次路径）。 • 放置水果（3个步骤）：将3个水果放入篮子中。 --- ![Image](images/213e420d51d4708e243386ee1b6d97f553daa8df89acf357dd467c0bcec94ac5.jpg)
Figure 8: Ego play $\rightarrow$ Ego2R synthesis on real-world scenes. Top: original egocentric human manipulation. Bottom: Ego2R pipeline output with ACone robot overlay.
Table 4: Real robot scoring.
TaskStep 1Step 2Step 3Step 4
Put Fruits33.333.333.3—
Put Blocks25252525
Fold Towel5050——
Sweep Trash25252525
Insert Screw25252525
• 放置积木（4个步骤）：打开抽屉，放入2块积木，再关闭抽屉。 • 折叠毛巾（2个步骤）：连续折叠两次。 • 清扫垃圾（4个步骤）：拿起扫帚，清扫垃圾，倒掉垃圾，再将扫帚放回原处。 • 拧入螺丝（4个步骤）：双手协作传递并拧入2颗螺丝。 ### E.2 数据 每个任务对应20个遥操作演示样本（总计100个），此外还有在5个场景中获取的约35分钟的自我视角游戏视频。这些自我视角游戏视频通过Path B流程（WiLoR、DynHaMR、Qwen3.5、Ego2R）处理后，可生成675个AConesynthetic片段。微调阶段会将遥操作数据与Ego2R数据按1:1的比例混合使用。 ### E.3 自我视角游戏视频到Ego2R的可视化效果 图8展示了来自自我视角游戏视频的代表性帧以及对应的Ego2R合成结果。上一行显示的是原始的自我中心人类操作画面；下一行展示的是流水线输出结果，其中机器人（ACone）被叠加在修复后的场景上。 ### E.4 评分标准 子步骤部分评分（表4）：每项任务100分，共进行20次试验。 ## F 额外的实验结果 ### F.1 与Pi0.5的对比 Pi0.5 [^4] 在相同的RoboTwin EEF设置下进行评估（采用OpenPI框架，以相机坐标系为基准的EEF）。Pi0.5使用了不同的主干网络和预训练数据。图9展示了相关结果。Ego2R+Robot（1:1）在几乎所有设置下的表现都优于仅使用机器人的基线模型。 ---
(a) Visual Appearance
![Image](images/960433daf5c5df3ceb0d64ca32aada8786c0520b8fa9a1715e020c72ac5797d5.jpg)
(b) Scene Layout
![Image](images/c8ae78d719374a9e95b1158412bfad268c9b50e4c35d4b62fb121fe5ed6aaff5.jpg)
(c) Embodiment
(d) Task Semantics
![Image](images/ac87a10b96ef4d850a472305af73a2782651d81509c71af36d20f0c3299326d4.jpg) ![Image](images/33875e959787a6f668f93c11161f98bff0c67c00f15c11c8a5a9d257f9506b20.jpg)
Figure 9: Comparison with Pi0.5 across RoboTwin settings.
### F.2 各任务的结果 表5记录了五种模型在Clean和Randomized设置下对全部50个RoboTwin任务的单任务成功率，这五种模型分别为Pi0.5以及我们的四种模型。 ---
Table 5: Per-task results on RoboTwin including Pi0.5 (success rate %).
TaskPi0.5Robot-onlyEgo2R (1:3)Ego2R (3:1)Ego2R (1:1)
CleanRandCleanRandCleanRandCleanRandCleanRand
adjust_bottle62.018.094.077.092.079.0100.072.089.091.0
beat_block_hammer48.016.063.027.064.056.057.018.065.071.0
blocks_ranking_rgb74.016.056.060.064.063.049.043.078.060.0
blocks_ranking_size32.00.030.022.046.021.043.07.052.016.0
click_alarmclock44.056.096.093.0100.087.0100.085.0100.0100.0
click_bell32.040.0100.095.0100.094.0100.093.0100.0100.0
dump_bin_bigbin72.070.054.073.072.069.081.076.086.072.0
grab_roller94.046.098.071.068.048.091.064.089.063.0
handover_block16.00.05.02.018.04.039.09.036.09.0
handover_mic26.04.069.013.086.034.083.017.097.023.0
hanging_mug10.04.014.016.014.09.012.09.010.010.0
lift_pot8.02.093.028.084.014.095.044.093.044.0
move_can_pot28.00.047.050.030.040.042.085.047.065.0
move_pill_bottle_pad60.044.063.060.068.069.041.067.074.082.0
move_playing_card_away90.052.074.058.088.092.088.042.092.063.0
move_stapler_pad22.06.023.019.034.021.030.013.043.031.0
open_laptop68.020.077.061.074.056.064.046.075.058.0
open_microwave26.08.077.059.042.029.037.032.050.025.0
pick_diverse_bottles56.018.060.037.058.053.071.050.070.050.0
pick_dual_bottles82.014.091.059.080.077.083.055.097.054.0
place_a2b_left60.010.040.055.058.042.054.048.073.044.0
place_a2b_right58.014.042.049.052.041.053.051.064.053.0
place_bread_basket68.044.075.055.072.064.076.059.079.062.0
place_bread_skillet86.046.076.041.076.050.080.061.087.053.0
place_burger_fries90.078.096.083.098.081.097.088.096.088.0
place_can_basket40.00.049.025.038.09.034.015.034.016.0
place_cans_plasticbox94.074.090.068.054.068.097.059.070.059.0
place_container_plate96.058.086.076.092.079.093.073.093.081.0
place_dual_shoes54.012.050.030.034.027.035.017.035.019.0
place_empty_cup74.056.073.074.086.083.088.078.088.066.0
place_fan36.030.048.054.048.024.041.050.039.046.0
place_mouse_pad18.00.041.034.022.036.030.025.029.033.0
place_object_basket24.04.065.050.076.028.077.051.069.048.0
place_object_scale58.044.038.046.040.033.052.045.040.047.0
place_object_stand94.040.070.075.080.077.087.071.082.082.0
place_phone_stand40.04.065.049.048.063.070.061.075.045.0
place_shoe64.024.084.084.078.084.063.058.075.076.0
press_stapler42.032.086.071.082.062.076.070.083.062.0
put_bottles_dustbin14.02.025.020.042.032.041.019.050.039.0
put_object_cabinet22.00.041.020.030.019.039.036.043.029.0
rotate_qrcode50.02.031.017.054.016.054.036.069.037.0
scan_object62.038.062.037.066.046.066.046.056.033.0
shake_bottle96.072.091.075.088.089.099.075.096.087.0
shake_bottle_horizontally98.074.098.081.084.087.099.084.097.092.0
stack_blocks_three68.016.014.023.014.028.010.013.028.023.0
stack_blocks_two80.056.075.070.082.075.077.056.095.061.0
stack_bowls_three38.036.050.041.040.043.048.050.047.045.0
stack_bowls_two82.044.076.078.066.073.073.067.072.072.0
stamp_seal32.02.035.042.046.030.034.030.044.042.0
turn_switch56.040.055.042.040.042.053.041.050.048.0
Average54.927.762.250.961.451.064.149.268.153.5