{
  "paper_id": "c3a8ff256b125923e7c51cfe09749fbb",
  "paper_title": "EgoVLA: Learning Vision-Language-Action Models from Egocentric Human Videos",
  "paper_authors": [
    "Ruihan Yang",
    "Qinxi Yu",
    "Yecheng Wu",
    "Rui Yan",
    "Borui Li",
    "An-Chieh Cheng",
    "Xueyan Zou",
    "Yunhao Fang",
    "Xuxin Cheng",
    "Ri-Zhao Qiu",
    "Hongxu Yin",
    "Sifei Liu",
    "Song Han",
    "Yao Lu",
    "Xiaolong Wang"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "真实机器人数据采集推动了机器人模仿学习的发展，但数据收集过程必须依赖机器人硬件，从根本上限制了数据规模。本文探索利用第一人称人类视频训练视觉-语言-动作（VLA）模型。人类视频不仅规模庞大，更包含丰富的场景与任务。通过在人类视频上训练预测人类手腕和手部动作的VLA，可利用逆运动学与动作重定向将人类动作转换为机器人动作，再使用少量机器人操作演示微调得到机器人策略EgoVLA。作者还提出Ego Humanoid Manipulation Benchmark仿真基准，设计了多种带演示的双手操作任务。在该基准上的微调与评估表明，EgoVLA相较基线取得显著提升，消融实验验证了人类数据的重要性。\n",
  "keywords": [
    "视觉-语言-动作模型",
    "第一人称人类视频",
    "模仿学习",
    "灵巧操作",
    "人形机器人",
    "动作重定向",
    "逆运动学",
    "MANO"
  ],
  "paper_institutions": [
    "UC San Diego",
    "UIUC",
    "MIT",
    "NVIDIA"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:38:57.885085Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对机器人模仿学习严重依赖真实硬件、专家遥操作和大规模机器人演示，导致数据规模、场景与任务多样性受限的问题，本文在现有VLA通常需要大量机器人数据、而多数人类视频方法未充分利用细粒度手腕与手部姿态的背景下，提出直接从第一人称人类视频学习通用操作策略的EgoVLA。作者构建包含HOI4D、HOT3D、HoloAssist和TACO的Ego-Centric Human Manipulation数据集，提供第一人称RGB、手腕姿态、手部姿态和相机姿态；这些数据被选用于覆盖单手与双手操作、刚性物体、工具使用以及换电池、家具组装等复杂任务，并通过世界坐标相机投影、3 FPS采样和均衡HoloAssist比例形成约50万个图像-动作对，以验证大规模人类视频能否提供可迁移的操作先验。EgoVLA以紧凑的NVILA-2B视觉语言模型为骨干，输入6帧384×384第一人称图像、语言指令、动作查询词元及人类本体状态，由6层、隐藏维度1536的300M动作头预测双手未来1秒、30个时间步的动作；动作包括相机坐标系中rot6D手腕位姿和MANO前15个PCA手部参数，核心训练机制为加权损失 L = λ_wrist trans L_wrist trans + λ_wrist rot L_wrist rot + λ_joint L_joint，其中平移和关节项采用L2损失，旋转项采用rot6D旋转损失。为跨越人体与机器人本体差异，作者先用最小化机器人指尖观测与MANO正向运动学预测指尖差异的方式，把机器人演示重定向到统一人类动作空间，推理时再将预测手腕位姿做三维变换并通过逆运动学求解手臂关节，用轻量MLP将三维手部关键点映射为机器人手指关节命令，该映射平均指尖位置误差为5×10^-5米。实验基于NVIDIA Isaac Lab搭建Ego Humanoid Manipulation Benchmark，使用Unitree H1人形机器人和两只Inspire灵巧手，包含7个短时序原子任务与5个长时序多阶段任务，每任务100条成功演示，并通过5种房间纹理、5种桌面纹理、物体位置随机化以及已见/未见视觉配置评估泛化；选择仿真环境是为了获得可扩展、可复现、安全且低成本的评估，而非直接进行sim-to-real迁移。评估采用成功率SR和进度率PSR，EgoVLA在短时序任务已见配置下达到77.78% SR和84.92% PSR、未见配置下达到69.11% SR和76.26% PSR，在长时序任务已见配置下达到45.93% SR和80.78% PSR、未见配置下达到28.79% SR和69.11% PSR，显著优于ACT专家策略和无人类视频预训练的EgoVLA-NoPretrain，支持了人类视频预训练可学习跨本体通用手部技能、提升域内表现和视觉泛化的核心创新。人类动作建模中手腕平移平均误差约8厘米、二维归一化误差约0.13，且改变语言指令会使轨迹相应改变，说明模型理解语义意图；但零样本部署成功率为0%，仅用50%机器人演示时性能明显下降，表明仍需适量域内机器人演示微调。未来方向包括更本体无关的预训练和零样本迁移，现实适用场景涵盖家庭、装配和服务环境中的双手灵巧操作，主要约束是人类数据需带手腕与手部姿态标注、机器人形态仍存在外观和运动学差异，且基准结论主要在受控仿真中验证。\n\n### 关键要点\n\n- EgoVLA以NVILA-2B为视觉语言骨干，并接入6层Transformer动作头，根据视觉历史、语言指令、动作查询词元和本体状态预测双手未来动作序列。\n- 模型使用统一人类动作空间，输出相机坐标系中的手腕三维平移、rot6D旋转以及MANO手部模型的前15个PCA参数。\n- 预训练数据整合HOI4D、HOT3D、HoloAssist和TACO，共约50万个图像-动作对，覆盖单手操作、双手交互、工具使用和复杂长时序任务。\n- 数据处理使用世界坐标相机姿态将未来手腕位置投影到当前相机坐标，并以3 FPS采样训练样本，以兼顾计算效率和时间连续性。\n- 机器人演示通过优化MANO参数对齐机器人指尖位置，从而被重定向到人类动作表示，使同一模型可直接在机器人数据上继续微调。\n- 推理时，预测手腕位姿经坐标变换和逆运动学转为手臂关节，手部关键点则由四层轻量MLP映射为机器人手指命令。\n- Ego Humanoid Manipulation Benchmark基于NVIDIA Isaac Lab，包含12个短时序或长时序双手任务，每个任务提供100条成功专家演示。\n- 基准通过5种房间纹理和5种桌面纹理构成25种视觉背景，并对物体生成位置进行随机化，以测试视觉和空间泛化能力。\n- 在短时序和长时序任务上，EgoVLA的SR和PSR均优于ACT和EgoVLA-NoPretrain，且在未见背景下仍保持较强进度率。\n- 人类视频预训练带来的增益在精细操作和长时序任务上尤其明显，长时序已见配置下平均成功率比无预训练版本高约20%。\n- 不进行机器人数据微调时，EgoVLA在所有任务上零样本成功率为0%，说明外观、感知和运动学差异仍需域内适配。"
}