{
  "paper_id": "5b1e076871791062163128f5f1c167cb",
  "paper_title": "METIS: Multi-Source Egocentric Training for Integrated Dexterous Vision-Language-Action Model",
  "paper_authors": [
    "Yankai Fu",
    "Ning Chen",
    "Junkai Zhao",
    "Shaozhe Shan",
    "Guocai Yao",
    "Pengwei Wang",
    "Zhongyuan Wang",
    "Shanghang Zhang"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "构建能够在多样任务中感知、推理并行动的通用机器人仍是一项开放挑战，在灵巧操作领域尤其如此。其主要瓶颈是遥操作困难且成本高昂，导致缺乏大规模带动作标注的灵巧技能数据。人类数据规模庞大、操作行为丰富，可为机器人动作学习提供有价值的先验；但已有利用人类演示的方法往往受限于场景覆盖不足以及人类与机器人之间的显著视觉差异。为消除这些限制，本文提出METIS，一种在多源第一视角数据集上预训练的灵巧操作视觉-语言-动作（VLA）模型。作者首先构建EgoAtlas，将来自多个来源的大规模人类与机器人数据统一到一致的动作空间中；随后提出运动感知动力学，即一种紧凑、离散化的运动表示，为VLA训练提供高效且富有表达力的监督。基于此，METIS将推理与行动集成到统一框架中，可有效部署到下游灵巧操作任务。该方法在八个真实世界任务中取得最高平均成功率，并在分布外场景中展现出优异的泛化性与鲁棒性，表明其是迈向通用灵巧操作模型的重要一步。\n",
  "keywords": [
    "视觉-语言-动作模型",
    "灵巧操作",
    "多源第一视角数据",
    "EgoAtlas",
    "运动感知动力学",
    "推理与行动统一",
    "模仿学习",
    "人形机器人"
  ],
  "paper_institutions": [
    "State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University",
    "Beijing Academy of Artificial Intelligence"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:19:54.493427Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文针对灵巧操作中高质量机器人动作演示稀缺、遥操作成本高昂，而现有人类视频方法又存在场景同质化、人-机视觉与动作空间差异等问题，提出在多源第一视角数据上预训练的统一VLA模型METIS。相关研究背景包括从人类视频学习可供性、潜在动作和关键点流，以及OpenVLA、RT-2、π0、GR00T等VLA框架，但这些方法多聚焦夹爪操作或缺乏显式灵巧运动建模。作者构建EgoAtlas数据集，整合8个异构来源、343K条轨迹和89.72M个图像-动作对，覆盖互联网人类数据、机器人数据和利用可穿戴手套-追踪器系统采集的10K条高保真增强人类数据，并通过FK/IK与运动重定向将所有数据统一到18维腕部位姿和30维指尖位姿组成的状态-动作空间；选择该设置是为了同时缓解数据稀缺、场景偏差和具身形态鸿沟。方法上，METIS基于Prismatic-7B初始化，采用SigLIP与DINOv2混合视觉编码器和LLaMA-2 7B骨干，将视觉动力学与运动动力学分别离散为特殊动作词元：前者用逆/正动力学模型和VQ-VAE捕捉运动条件下的场景语义变化，后者用PoseNet与RQ-VAE编码从粗到细的手腕、指尖运动，再由动作解码器结合视觉、动力学和本体感知特征预测未来32步、约一秒的低层动作；其核心自回归目标为 \\(\\mathcal{L}_{ar}=\\mathbb{E}_{o_t,l,a_{d,<i}}[-\\sum_{i=1}^{N}\\log\\pi_\\phi(\\hat a_{d,i}\\mid o_t,l,a_{d,<i})]\\)，实验中N=44，包括4个视觉动力学词元和40个运动动力学词元。METIS还通过[BOR]与[BOD]词元门控在推理模式和行动模式间自适应切换，仅在子任务转换时生成高层子任务描述，从而兼顾长程规划与低延迟执行。实验在Unitree G1人形机器人和Inspur 6自由度灵巧手上进行，六个标准灵巧任务和两个工具使用任务各采集100条演示、默认评估20次，采用成功率SR和进度成功率PSR，验证多源预训练、紧凑动力学与显式推理的有效性；METIS在Pick and Place、Close Laptop、Open Drawer等任务中分别达到85%、95%、90%，在Pour Drinks和Water Flowers上达到80%和60%，并取得八个任务最高平均成功率，44个词元对应28.30 Hz吞吐，仅用10%下游数据即可在Pick and Place和Open Drawer上达到约50%成功率。模型在未见背景、光照、物体和杂乱场景中保持65%至70%成功率，并可迁移到22自由度SharpaWave灵巧手，在Grasp Apple into Basket和Tool Use上分别达到85%和70%。真实应用约束包括单一第一视角视野受限、小物体或大范围操作易受遮挡，以及高自由度手的IK可能产生奇异解和指尖抖动；未来可引入腕戴或外部相机、大规模第三视角/多视角数据、学习式IK预测和更多运动约束，以进一步提升几何感知与复杂操作稳定性。\n\n### 关键要点\n\n- EgoAtlas整合8个异构人类与机器人数据源，包含343K条轨迹和89.72M个图像-动作对，并使用加权采样平衡来源分布。\n- 可穿戴采集系统使用Manus Quantum手套、VIVE Tracker和头戴相机，以20Hz记录25个手部关键点、6自由度腕部姿态和第一视角RGB画面。\n- 统一动作空间由双手合计18维腕部位姿和30维指尖三维位置组成，通过机器人FK/IK及人类运动重定向消除具身形态差异。\n- 视觉动力学模块以逆动力学编码器融合相邻图像与连续运动，再用VQ-VAE量化为4个词元，并通过正动力学解码器预测未来高层语义特征。\n- 运动动力学模块使用PoseNet结合多尺度时序卷积和轨迹自注意力，再通过两层RQ-VAE生成40个层次化运动词元。\n- METIS扩展LLaMA词表并将视觉、运动动力学索引映射为特殊词元，使7B语言模型能够在保留语言先验的同时自回归生成灵巧动作表示。\n- 动作解码器聚合动力学词元、视觉嵌入和当前本体感知状态，一次预测未来32步可执行动作，训练目标由自回归损失与动作回归损失组成。\n- 自适应推理机制在子任务边界附近按 \\(p_{BOR}(t)=1-|t-\\tau_k|/20\\) 的概率监督[BOR]，其余时刻使用[BOD]直接行动，以减少每步推理带来的延迟。\n- 真实机器人实验覆盖短程、长程和工具使用任务，METIS在多数任务上优于ACT、OpenVLA-OFT、π0.5和GR00T N1.5，并在长程任务上取得最高PSR。\n- 运动感知动力学将预测32步动作所需词元从朴素分词器的1440个和FAST分词器的138个降至44个，在H100上实现28.30 Hz吞吐。\n- 泛化实验表明，METIS可应对未见背景、光照、物体和杂乱环境，并能迁移到22自由度灵巧手；但单一第一视角和IK误差仍是主要失败来源。"
}