{
  "paper_id": "cf482841be251e78235192a468eba971",
  "paper_title": "TOWARDS A GENERAL HUMANOID LOCO-MANIPULATION MODEL VIA EGOCENTRIC WHOLE-BODY HUMAN DATA PRETRAINING",
  "paper_authors": [
    "Chongyang Xu",
    "Zhao Wu",
    "Jin Chen",
    "Yiming Jiang",
    "Jinhui Ye",
    "Yuming Jiang",
    "Shifeng Zhang",
    "Ziliang Feng",
    "Mu Xu",
    "Yilun Chen",
    "Li Lu",
    "Steven C.H. Hoi"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "人形全身操作发展迅速，已能让策略协同步行、姿态、双手交互和灵巧手运动。第一视角人类视频可提供跨物体、跨场景的多样日常交互，并在无需操作机器人的情况下提供可扩展监督；但现有视频监督对全身运动及手物协调的覆盖有限，而通过人形遥操作获取此类监督又成本高昂、难以扩展。为此，作者提出HUMANVERSE-500，这是一个500小时的开放世界人类移动操作行为数据集，由轻量可穿戴系统同步采集第一视角视频、身体运动和手部运动。基于该数据集，作者开发全身人形视觉—语言—动作策略λ0，通过三阶段训练先从多样第一视角数据学习交互，再利用HUMANVERSE-500协调身体与手部运动，最后适配下游任务和机器人具身。λ0学习用于人类经验迁移的共享表示空间，并通过领域特定接口处理人与机器人状态和动作差异。论文在SIMPLE和四个真实移动操作任务上评估λ0，取得最优性能，并进一步分析其规模效应、泛化能力和训练阶段贡献。代码、模型和数据将开放。\n",
  "keywords": [
    "人形机器人",
    "全身移动操作",
    "第一视角人类视频",
    "HUMANVERSE-500",
    "视觉-语言-动作策略",
    "三阶段训练",
    "人类经验迁移",
    "掩码速度场",
    "运动重定向",
    "泛化"
  ],
  "paper_institutions": [
    "Alibaba Group",
    "Sichuan University",
    "Shanghai Innovation Institute",
    "Beihang University",
    "Hong Kong University of Science and Technology"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:43:10.788481Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对人形全身移动操作所需演示昂贵、遥操作难扩展，而现有第一视角人类视频通常只恢复腕部与手部轨迹、缺少接近、弯腰、搬运等身体运动和手物交互时序协同的问题，论文结合通用机器人策略、人类视频动作学习与人形全身控制的相关进展，提出以无机器人的第一视角全身人类数据进行可扩展预训练。作者用轻量可穿戴系统构建HUMANVERSE-500：该数据集含500小时、32,993个片段、约8,700万姿态帧和827类任务，覆盖室内外清洁、烹饪、个人护理、洗衣、摆桌和大物体搬运；GoPro HERO13通过颈挂对齐Unitree G1头部相机高度，PICO 4 Ultra与身体追踪器提供24关节身体运动，Dyn-HaMR借助ViPE相机位姿从同一视频重建每只手21个关节，有效性掩码和质量检查保证同步监督。人体运动经SONIC在MuJoCo中重定向为G1状态与64维运动潜量，手部动作重定向为双侧BrainCo Revo2的各6维指令，从而在保留统一时间戳的同时处理人与机器人状态动作差异。在此基础上，论文提出λ0，其核心为共享的Qwen3.5-2B视觉—语言骨干Vφ与生成式动作专家Fψ，并按动作空间使用专用编码器Eq、解码器Dq和具身标识e：\\[\\widehat{\\mathbf{v}}^{q}=D_{q}\\!\\left(F_{\\psi}\\!\\left(V_{\\phi}(\\mathbf{x},[\\ell;Q(\\mathbf{s}^{q})]),E_{q}(\\widetilde{\\mathbf{a}}^{q},\\sigma),e\\right)\\right)\\]状态被量化到256个箱并追加到语言指令，模型一次预测50步动作块。训练分三阶段：先用EgoDex、EgoVerse、HO-Cap、HOI4D、HoloAssist、HOT3D、VITRA-1M七类第一视角手物数据学习交互，并按可用帧数平方根采样以提升小数据源贡献；再仅用HUMANVERSE-500进行全身中训，使人与机器人投影分离并冻结第一阶段手部接口头；最后用机器人演示后训练，将先验适配到下游任务和可执行控制。各阶段采用掩码速度场目标，在干净动作与高斯噪声间插值并预测速度v=ε-a，只对有效非前缀条目的速度预测做均方误差；推理时从高斯噪声初始化，经10个Euler步去噪且固定动作前缀，部署时64维潜量交SONIC控制器、手部指令送Revo2。选择这些数据与设置是因为公开第一视角数据提供广域手物交互先验，HUMANVERSE-500补足全身协调，机器人数据消除执行域差距，进而验证人类经验能否跨相机、身体比例和动作接口迁移。实验在SIMPLE六个核心任务的0–2级、每任务—级别10次回合，以及瓶子处置、玩具收纳、箱体搬运、椅子摆放四个真实任务的10个冻结初始构型上，用成功率和任务进度共同评价完整完成与多阶段局部进展；λ0在SIMPLE取得90.0%总体成功率，较StarVLA高3.9个百分点，且0–2级分别为90.0%、93.3%、86.7%，真实任务取得25/40即62.5%成功率和80.4%进度，分别较最强外部成功率基线π0.5和最强进度基线StarVLA高22.5和25.8个百分点。规模实验显示从5%到100%中训数据，代表性和干净留出集的最低验证损失分别下降35.5%和40.6%，对数线性拟合R2达0.9868/0.9901；固定机器人监督后，真实任务进度随中训比例由0%增至100%从59.9%单调升至80.4%，消融表明去除第二阶段会使真实成功率下降40.0个百分点，影响大于去除第一阶段的12.5个百分点，支持全身中训和共享表示是关键创新。在仅出现在人类演示中的机器人未见物体上，λ0的人类引导进度为55.8%，高于π0.5的46.5%，也较其机器人仅零样本变体的48.4%提高7.4个百分点，说明人类数据有助于物体泛化。主要约束是评估集中于Unitree G1、未验证全尺寸人形，且身体比例、视角和可行动作差异使人机对齐仍不完美，Mobile P&P在1、2级也落后StarVLA；未来将通过改进运动重定向、拉近第一视角观测、全身轨迹和可执行动作并扩展到全尺寸人形。该工作适用于家庭、办公和开放场景中需要走动、姿态调整、双手操作和灵巧抓握的任务，并承诺发布代码、模型和数据。\n\n### 关键要点\n\n- HUMANVERSE-500包含500小时第一视角人类移动操作数据，共32,993个片段、约8,700万姿态帧和827类任务。\n- 数据采集使用GoPro HERO13、PICO 4 Ultra和身体追踪器；颈挂设计用于对齐人类与Unitree G1的头部相机高度。\n- 全身运动由PICO提供的24关节身体运动和Dyn-HaMR重建的每只手21个关节组成，并通过ViPE估计相机运动。\n- 人体到机器人重定向使用SONIC在MuJoCo中获得G1状态，手部动作则映射到双侧BrainCo Revo2灵巧手。\n- λ0以Qwen3.5-2B视觉—语言骨干和生成式动作专家为共享核心，并通过动作空间专属编码器、解码器和具身标识处理跨域差异。\n- 三阶段训练依次使用七类公开第一视角手物数据集、HUMANVERSE-500和机器人演示数据，分别学习交互、全身协调和可执行控制。\n- 训练采用掩码速度场损失，推理时从高斯噪声初始化50步动作块，并用10个Euler步完成去噪。\n- 评测覆盖SIMPLE六个任务的0–2级和四个真实任务，指标包括成功率与由固定里程碑计算的任务进度。\n- λ0在SIMPLE上达到90.0%总体成功率，在真实任务上达到62.5%成功率和80.4%进度，均为所评设置中的最佳结果。\n- 消融显示全身中训对真实成功贡献最大；移除第二阶段会使真实成功率从62.5%降至22.5%。\n- 在机器人未见物体上，λ0的人类引导进度为55.8%，较零样本变体提高7.4个百分点，但仍低于已见物体设置。\n- 论文局限在于仅评估Unitree G1，未验证全尺寸人形，且人机身体比例、视角和可行动作对齐仍不完美。"
}