{
  "paper_id": "9b44c8e3cb6c720e09e9f6f11ec97782",
  "paper_title": "Being-H0: Vision-Language-Action Pretraining from Large-Scale Human Videos",
  "paper_authors": [
    "Hao Luo",
    "Yicheng Feng",
    "Wanpeng Zhang",
    "Sipeng Zheng",
    "Ye Wang",
    "Haoqi Yuan",
    "Jiazheng Liu",
    "Chaoyi Xu",
    "Qin Jin",
    "Zongqing Lu"
  ],
  "publication_date": "2025年7月21日",
  "publication_venue": "unknown",
  "abstract": "本文提出 Being-H0，一个基于大规模人类视频训练的灵巧视觉-语言-动作（VLA）模型。现有 VLA 在需要高度灵巧性的复杂操作任务上表现不佳，且对新场景和新任务的泛化能力较差，主要原因是其依赖存在显著 sim-to-real 差距的合成数据，或缺乏规模与多样性的遥操作演示。为突破这一数据瓶颈，作者提出将人手作为“基础操作器”，利用网络数据中丰富的灵巧性和可扩展性。方法核心是物理指令微调，这一新型训练范式结合了人类视频大规模 VLA 预训练、面向三维推理的物理空间对齐以及机器人任务后训练适配。同时，论文提出部件级运动分词方法，以毫米级重建精度建模精确手部轨迹；还构建了整合动捕、VR 和纯 RGB 视频等异质来源的数据处理管线，形成包含数百万运动指令实例的大规模数据集。实验表明，Being-H0 在手部运动生成和指令遵循方面表现优异，并能随模型和数据规模良好扩展；随着物理指令微调的应用，该模型在真实机器人操作中也取得了预期收益。\n",
  "keywords": [
    "视觉-语言-动作模型",
    "灵巧操作",
    "人类视频",
    "物理指令微调",
    "运动分词",
    "分组残差量化",
    "UniHand",
    "机器人学习"
  ],
  "paper_institutions": [
    "Peking University",
    "Renmin University of China",
    "BeingBeyond"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:28:42.373784Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对现有 VLA 受困于遥操作数据规模小、合成数据 sim-to-real 差距大以及简单夹爪缺少手指精细控制等问题，本文以人手为“基础操作器”，提出由人类视频预训练、物理空间对齐和机器人后训练组成的物理指令微调范式，并构建统一自回归架构 Being-H0。该架构以 InternVL3 的 InternViT-300M 和语言模型为基础，将 RGB、文本和 MANO 手部运动放入同一 token 序列，通过共享注意力建立视觉场景、语言意图与手指动作之间的依赖，预训练目标为 \\(\\theta^{*}=\\arg\\min_{\\theta} -\\sum_{j=1}^{L}\\log P_{\\Theta}(y_j\\mid \\mathcal{X}_Q,\\hat y_{1:j-1})\\)，从而支持视觉到运动生成、运动转译和上下文运动预测。为保证连续动作可被离散语言模型建模，作者采用 MANO-D162 特征和分组残差量化（GRQ），将手腕全局运动与手指精细运动分开分词，在 15 FPS、时间下采样 4 倍、每秒每只手 128 个运动 token 的设置下实现毫米级重建，并通过弱透视投影对齐、深度缩放和平面内旋转平衡多相机视角分布。数据方面，UniHand 聚合 11 个动捕、VR 和伪标注 RGB 来源，包含 44.41 万条轨迹、约 1.3 亿帧、1155 小时视频和 1.665 亿条指令样本；因计算成本，研究采用均衡采样的 UniHand-2.5M 进行预训练，以检验网络规模人类视频能否提供可迁移的灵巧操作先验。评测保留 5% 视频，并按 EgoDex 头部来源与 TACO、HOI4D、H2O、OakInk2 尾部来源划分，使用 MPJPE、MWTE、PA-MPJPE、M2T R@3、FID、T2M R@3 和有效生成率衡量空间精度、时序连贯与语义一致性。结果显示，扩大模型规模可稳定降低误差，Being-H0-14B 在视觉接地生成中的头部、尾部 MPJPE 分别为 6.87 cm 和 8.11 cm，自由格式运动块有效率达 100%；长序列在软格式约束下误差随长度增加，但大模型保持更稳定的空间精度。真实系统采用 7-DoF Franka Research 3 机械臂、6-DoF Inspire 灵巧手和 RealSense 相机，每任务使用 50–100 条遥操作轨迹后训练，并在 20 次随机试验中以成功率评估；Being-H0 在已见、未见、杂乱场景取放玩具以及关闭工具箱、合盖、倒水、展开衣物任务上分别取得 75%、65%、60%、85%、60%、100%、75% 的成功率，整体优于 GR00T N1.5 与无手部运动预训练的 InternVL3，且仅用 25% 演示数据即可在部分任务追平或超过基线使用更多数据的表现，支持显式运动分词和物理指令微调提升泛化、数据效率与精细控制的结论。该方法当前受限于人手与机器人之间的运动学差异、仅使用简单 MLP 投影、视频缺少力和摩擦等物理属性、未建模物体 6D 姿态，并排除频繁遮挡或动态相机样本；未来可引入深度、触觉、音频等多传感物理线索，扩展到工具使用、多物体交互和长程推理，并结合仿真与强化学习实现更安全、鲁棒的真实部署。\n\n### 关键要点\n\n- Being-H0 的核心方法是物理指令微调，包含人类视频 VLA 预训练、物理空间对齐和机器人任务后训练三个阶段。\n- 模型采用基于 InternVL3 的统一自回归架构，通过视觉、文本和运动 token 之间的共享注意力实现跨模态推理。\n- 部件级运动分词将 MANO-D162 手部特征拆分为手腕运动和手指运动，并分别使用 GRQ 分词器建模。\n- 分词器在 15 FPS、时间下采样率为 4 的设置下，将每秒每只手的运动编码为 128 个 token，同时保持毫米级重建精度。\n- UniHand 整合 11 个动捕、VR 和伪标注 RGB 数据源，包含 44.41 万条序列、约 1.3 亿帧、1155 小时视频和 1.665 亿条指令样本。\n- 受计算成本限制，预训练实际使用均衡采样的 UniHand-2.5M，以覆盖不同任务类型和数据来源。\n- 物理空间对齐通过弱透视投影统一相机空间，并利用深度缩放和平面内旋转增强视角不变性与数据分布平衡。\n- 手部运动评测设置 EgoDex 头部划分和 TACO、HOI4D、H2O、OakInk2 尾部划分，以同时检验主导模式学习和长尾泛化。\n- Being-H0-14B 在视觉接地手部运动生成中取得头部 6.87 cm、尾部 8.11 cm 的 MPJPE，且运动块有效生成率达到 100%。\n- 在真实机器人评测中，Being-H0 的倒水成功率为 100%，展开衣物为 75%，关闭工具箱为 85%，整体优于 GR00T N1.5 和 InternVL3。\n- 数据效率实验表明，手部运动预训练提供的先验使模型在部分任务中仅使用 25% 遥操作数据即可达到基线使用 50% 或 100% 数据时的表现。"
}