{
  "paper_id": "dd4e3f35ccd3d36ad2692b1ecb8a52b5",
  "paper_title": "Humanoid Policy ~ Human Policy",
  "paper_authors": [
    "Ri-Zhao Qiu",
    "Shiqi Yang",
    "Xuxin Cheng",
    "Chaitanya Chawla",
    "Jialong Li",
    "Tairan He",
    "Ge Yan",
    "David Yoon",
    "Ryan Hoque",
    "Lars Paulsen",
    "Ge Yang",
    "Jian Zhang",
    "Sha Yi",
    "Guanya Shi",
    "Xiaolong Wang"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "训练人形机器人的操作策略时，多样化数据能够增强其在不同任务和平台上的鲁棒性与泛化能力，但仅依靠机器人演示学习需要昂贵且劳动密集的遥操作数据采集，难以扩展。本文研究将第一人称人类演示作为更可扩展的机器人学习跨具身训练数据来源，并从数据和建模两个角度缓解人类与人形机器人之间的具身鸿沟。作者收集了与人形机器人操作演示直接对齐的第一人称任务导向数据集 PH²D，并训练名为 Human Action Transformer（HAT）的人-人形机器人行为策略。HAT 在人类和人形机器人之间使用统一的状态-动作空间，并可通过可微重定向转换为机器人动作。与规模较小的机器人数据协同训练后，HAT 无需额外监督即可将人形机器人和人类建模为不同具身。实验表明，人类数据能够以显著更高的数据采集效率提升 HAT 的泛化能力和鲁棒性。\n",
  "keywords": [
    "机器人操作",
    "跨具身",
    "人形机器人"
  ],
  "paper_institutions": [
    "UC San Diego",
    "CMU",
    "Apple",
    "University of Washington",
    "MIT"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:32:52.230105Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对真实机器人遥操作演示昂贵、缓慢且难以扩展，而互联网人类视频又往往缺乏任务对齐、三维动作监督并存在视角和具身差异的问题，本文提出将任务导向的第一人称人类演示作为人形机器人操作策略的可扩展跨具身数据来源。相关研究通常通过可供性、关键点或物体表征等中间 surrogate 对齐人类视频与机器人，容易累积复合误差；本文则从数据与建模两端同时缩小人类与人形机器人的差异，构建 Physical Human-Humanoid Data（PH²D），并提出 Human Action Transformer（HAT）。PH²D 使用 Apple Vision Pro 内置相机、Meta Quest 3/Apple Vision Pro 搭配 ZED 相机等消费级 VR 设备和 ARKit/手部追踪 SDK，采集第一人称图像、世界坐标系头部与双手 6D 位姿、十指三维关键点和语言标注；数据集包含约 302 万帧、26,824 条人类演示，以及约 66.8 万帧、1,552 条机器人演示，任务、物体、场景和相机更丰富，并与机器人执行任务直接对齐。为缩小动作域差距，作者要求采集者保持上身直立以减少机器人难以复现的全身运动，并按人类与人形机器人的平均完成时间对人类平移和旋转动作插值，所有任务采用慢速因子 α_slow=4。HAT 采用与 ACT 相同的动作块 Transformer 思路和冻结 DinoV2 ViT-S 视觉编码器，但在统一的人类中心状态-动作空间中混合采样人类与机器人数据；该空间由头部、左右腕的 6D 旋转，左右腕 xyz 位置和十个指尖组成，共 54 维本体感受向量，部署时再通过逆运动学和灵巧手重定向映射到机器人。其核心训练目标是 $\\mathcal{L}=\\ell_1(\\pi(s_i),a_i)+2\\cdot\\ell_1(\\pi(s_i)_{\\mathrm{EEF}},a_{i,\\mathrm{EEF}})$，在常规动作重建损失外额外强调左右腕末端执行器平移。实验在 Unitree H1（Humanoid A）和臂部构型不同的 Unitree H1-2（Humanoid B）上进行，二者均配备 6 自由度 Inspire 灵巧手和可转动颈部；每个任务检查点约使用 250–400 条机器人演示，并评估递杯、水平抓取、垂直抓取和倾倒四项任务，区分与机器人训练数据相近的 I.D. 设置以及只在人类数据中出现的背景、纹理、物体位置和机器人-桌子关系等 O.O.D. 设置。结果显示，仅用机器人数据的 ACT 在总体 I.D./O.O.D. 上为 42/60 与 59/170，而使用人类数据并采用不同具身归一化的 HAT 达到 49/60 与 101/170，在机器人未见设置上取得接近一倍的相对提升；背景泛化中 HAT 为 72/80、ACT 为 55/80，物体外观泛化中为 21/40 对 16/40，垂直抓取网格采样效率实验中混合数据为 35/90、纯机器人数据为 28/90。仅用 20 条 Humanoid B 演示时，加入 Humanoid A 与人类数据的协同训练也在独立环境和新臂部构型上持续优于单独训练，说明人类先验有助于低数据量跨人形平台迁移。数据采集时间进一步验证了可扩展性：佩戴 VR 的人类抓取和倾倒平均只需 4.09 秒和 4.90 秒，而 VR 遥操作机器人需要 19.72 秒和 37.31 秒。该方法适用于双臂、灵巧手、第一视角的桌面操作和需要背景、物体位置与外观鲁棒性的现实场景，但当前评估仍限于带灵巧手的人形机器人，VR SDK 在严重遮挡时会丢失手部关键点，人类更大工作空间也会造成状态分布偏差；未来可扩展为语言条件化的大型跨具身策略，并随全身控制和硬件改进放松对最小化身体运动的要求。\n\n### 关键要点\n\n- PH²D 是大规模任务导向第一人称人-人形机器人数据集，包含约 302 万帧、26,824 条人类演示和约 66.8 万帧、1,552 条机器人演示，并带有三维手部位姿、指尖关键点和语言标注。\n- 数据采集使用消费级 VR 设备，包括 Apple Vision Pro 内置相机以及 Meta Quest 3/Apple Vision Pro 搭配 ZED 相机的方案，以降低硬件成本并增加相机和场景多样性。\n- 为处理人类动作更快且含不自觉全身运动的问题，数据集要求采集者保持直立，并对人类动作进行统一的 4 倍慢速插值。\n- HAT 将人类和双臂人形机器人放入同一 54 维人类中心状态-动作空间，包含头部与左右腕 6D 姿态、左右腕位置和十个指尖位置，而不是为两类数据使用独立关节空间。\n- 训练时从人类或机器人演示中混合采样状态-动作对，由冻结 DinoV2 ViT-S 编码图像，Transformer 预测未来动作块，并通过末端执行器加权 L1 损失强调手腕位置。\n- 对相机色调和末端执行器外观差异，论文发现颜色抖动、高斯模糊等基础图像增强即可有效正则化，无需视觉伪影处理或生成式图像转换。\n- 真实机器人评估覆盖递杯、水平抓取、垂直抓取和倾倒四项任务，并分别检验背景、物体纹理/外观、物体放置位置和机器人-桌子空间关系的泛化。\n- 在主实验中，HAT 加具身归一化取得 49/60 的 I.D. 成功率和 101/170 的 O.O.D. 成功率，而纯机器人 ACT 基线为 42/60 和 59/170。\n- 消融表明统一状态空间和人类动作慢速插值都不可或缺；前者可避免策略利用具身身份走捷径，后者可避免预测速度在人类快速动作和机器人慢速遥操作之间波动。\n- 在 Humanoid B 的少样本迁移中，仅使用 20 条该平台演示时，结合 Humanoid A 和人类数据的策略显著优于仅用 Humanoid B 数据训练的策略。\n- 20 分钟等时采集对比显示，混合 30 条机器人演示与 120 条人类演示训练出的垂直抓取策略达到 35/90，高于 60 条纯机器人演示的 28/90，体现人类数据的单位时间采样效率。\n- 方法的主要约束包括当前只在配备灵巧手的人形机器人上验证、VR 手部追踪在严重遮挡下可能失败，以及语言条件化能力和更多机器人形态仍有待扩展。"
}