{
  "paper_id": "f3e54e25a3de4fd2aa96834a9d980763",
  "paper_title": "Scalable Vision-Language-Action Model Pretraining for Robotic Manipulation with Real-Life Human Activity Videos",
  "paper_authors": [
    "Qixiu Li",
    "Yu Deng",
    "Yaobo Liang",
    "Lin Luo",
    "Lei Zhou",
    "Chengtang Yao",
    "Lingqi Zeng",
    "Zhiyuan Feng",
    "Huizhi Liang",
    "Sicheng Xu",
    "Yizhong Zhang",
    "Xi Chen",
    "Hao Chen",
    "Lily Sun",
    "Dong Chen",
    "Jiaolong Yang",
    "Baining Guo"
  ],
  "publication_date": "",
  "publication_venue": "2026 IEEE International Conference on Robotics and Automation (ICRA)",
  "abstract": "本文提出一种利用大量无脚本真实人类手部活动视频预训练机器人操作视觉-语言-动作（VLA）模型的方法。作者将人类手视为灵巧机器人末端执行器，证明无需任何标注的野外第一视角人类视频可以被转换为与现有机器人V-L-A训练数据在任务粒度和标签上完全对齐的数据格式。为此，论文提出全自动的整体人类活动分析方法，能够生成原子级手部活动片段及其语言描述，并为每个片段提供逐帧3D手部运动和相机运动。作者处理了大量第一视角视频，构建包含约100万个片段、2600万帧的手部VLA训练数据集，覆盖广泛物体、概念、灵巧操作任务和真实环境变化，远超现有机器人数据的覆盖范围。论文还设计了灵巧手VLA模型架构并在该数据集上预训练；模型在完全未见过的真实世界观测上表现出较强的零样本能力，在少量真实机器人动作数据上微调后，真实机器人实验中的任务成功率和对新物体的泛化能力均显著提升。\n",
  "keywords": [
    "视觉-语言-动作模型",
    "机器人灵巧操作",
    "人类活动视频",
    "3D手部姿态估计",
    "原子动作分割",
    "扩散动作专家",
    "零样本泛化",
    "预训练与微调"
  ],
  "paper_institutions": [],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:26:22.190558Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对机器人V-L-A数据主要依靠实验室遥操作采集、成本高且灵巧手数据尤其稀缺，而海量真实人类视频又缺乏分段、语言和3D动作标签的问题，本文提出一种全自动数据转换与VLA预训练方法；相关研究虽已从人类视频学习视觉语言表示、可供性、点轨迹或潜在动作，但尚未利用完全无标注的非结构化真实视频进行显式3D动作预训练，同期使用3D手部动作的工作又多依赖脚本化实验室采集。该方法将人类双手视为机器人末端执行器，通过整体人类活动分析流水线实现任务对齐与标签对齐：先根据背景光流判断相机运动，用DroidCalib、MoGe-2和DeepCalib估计内参，再用HaWoR重建逐帧相机空间3D手，并用替换MoGe-2深度先验的改进MegaSAM跟踪移动相机位姿，从而得到世界坐标手部运动；随后基于3D手腕速度局部极小值作为切点，对左右手独立分割原子动作，无需额外模型推理；最后对每个片段均匀采样8帧并叠加手掌到片段末尾的轨迹，用GPT-4.1生成祈使句描述或过滤无意义动作。作者使用Ego4D、Epic-Kitchen、EgoExo4D和SSV2的原始视频且不使用原数据集动作标注，构建约100万片段、2600万帧的手部VLA数据集，其中77%来自Ego4D、12%来自Epic-Kitchen、6%来自EgoExo4D、5%来自SSV2，覆盖烹饪、清洁、建造、维修、手工和绘画等场景，以真实世界的物体、技能与环境多样性检验模型的零样本和跨场景泛化。模型核心可写为π(l, o_t, s_t) → (a_t, …, a_{t+N})，即根据语言指令、当前视觉观测和机器人本体状态预测未来动作块；架构采用PaliGemma2 3B作为VLM、DiT-Base作为扩散动作专家，通过可学习cognition token和AdaLN注入条件，预测相机坐标下102维双手动作，并用动作掩码统一单手/双手任务，同时采用轨迹感知增强和因果动作去噪避免片段末端零填充污染早期预测。在人类动作预测中，47个未见环境、396个物体的抓取基准以预测手指轨迹到目标物体点的最小距离评估，117个未见真实环境通过23名参与者对30个场景的动作排序进行用户研究；完整模型取得8.8/6.2厘米的平均/中位手物距离和1.91用户分，优于实验室EgoDex数据、原始人工标注、无增强、双向注意力和Being-H0等方案，支持显式3D标签、自动分段、数据增强和因果注意力的有效性。真实机器人实验使用配备12自由度XHand灵巧手和RealSense头部相机的Realman机器人，仅用1200条遥操作轨迹对抓取放置、功能抓握、倾倒和清扫四类任务微调，并通过拓扑最近关节将XHand映射到MANO动作空间；本文方法在可见设置平均成功率达71.0%，在新物体、新背景及新类别等未见设置平均达64.6%，显著优于VPP、π0、无VLA预训练、潜在动作预训练和OXE预训练，证明真实人类活动数据能缩小预训练与微调差距并增强少样本泛化。该方法适用于可由低成本单目视频扩展技能的日常操作场景，但仍受标注工具噪声制约，未来可改进遮挡手、多人手、异常颜色手套、手指类型误判以及人手到机器人手的动作空间映射等问题。\n\n### 关键要点\n\n- 方法将人类双手视为灵巧机器人末端执行器，把无脚本、无标注的第一视角真实视频转换为与机器人短时序V-L-A数据对齐的语言、图像和逐帧3D动作片段。\n- 3D运动标注阶段结合相机自标定、HaWoR手部重建和改进MegaSAM相机位姿跟踪，输出相机视场、逐帧相机位姿以及包含手腕6D位姿和MANO关节角的手部姿态。\n- 原子动作分割依据世界坐标中3D手腕速度的局部极小值确定动作切换点，并对左右手独立处理，因此高效且不需要预标注文本或额外模型推理。\n- 指令标注阶段为每个片段采样8帧并可视化手掌未来轨迹，再由GPT-4.1生成祈使句动作描述，同时将缺乏有意义操作的片段标记为“N/A”。\n- 构建的手部VLA数据集包含约100万个片段和2600万帧，来源包括Ego4D、Epic-Kitchen、EgoExo4D和SSV2，且训练时不使用这些数据集原有的人工动作标注。\n- VLA模型由PaliGemma2 3B视觉语言模型和DiT-Base扩散动作专家组成，通过cognition token、AdaLN条件注入和动作掩码统一处理单手、双手及无效动作维度。\n- 模型预测相机坐标下102维双手动作，包括左右手手腕相对平移、旋转和15个手部关节角，并使用因果注意力防止短片段末端零填充影响前面的动作预测。\n- 在未见环境人类动作预测基准上，完整模型取得8.8/6.2厘米的平均/中位手物距离和1.91用户分，优于实验室数据、人工标注、无增强、双向注意力和Being-H0基线。\n- 真实机器人使用Realman臂、12自由度XHand和RealSense相机，仅用1200条遥操作轨迹微调后，在可见任务平均成功率为71.0%，在未见物体、背景和类别设置平均成功率为64.6%。\n- 主要约束包括手部重建在遮挡时误差增大、多人手部可能混淆、特殊颜色手套可能漏检、GPT-4.1偶尔误判手指类型，以及人工抽检中约88%的片段具有合理分段和描述。"
}