{
  "paper_id": "ab89a90a865f539be80ffc4953b45984",
  "paper_title": "RoboWheel: A Data Engine from Real-World Human Demonstrations for Cross-Embodiment Robotic Learning",
  "paper_authors": [
    "Yuhong Zhang",
    "Zihan Gao",
    "Shengpeng Li",
    "Ling-Hao Chen",
    "Kaisheng Liu",
    "Runqing Cheng",
    "Xiao Lin",
    "Junjia Liu",
    "Zhuoheng Li",
    "Jingyi Feng",
    "Ziyan He",
    "Jintian Lin",
    "Zheyan Huang",
    "Zhifang Liu",
    "Haoqian Wang"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "RoboWheel是一种将真实世界人手—物体交互视频转换为跨形态机器人学习可用监督的数据引擎。系统以单目RGB或RGB-D视频为输入，完成高精度手物交互重建，并通过强化学习优化器在接触与穿透约束下修正手物相对位姿。重建出的富接触轨迹随后被重定向到带简单末端执行器的机械臂、灵巧手和人形机器人，生成可执行动作与仿真回放。为扩大覆盖范围，系统在Isaac Sim中构建仿真增强框架，通过形态、轨迹、物体检索、背景纹理和手部镜像等域随机化丰富轨迹与观测分布，同时保持空间关系和物理合理性。论文在主流视觉—语言—动作模型和模仿学习架构上验证这些数据，表明其生成轨迹与遥操作轨迹同样稳定，并能带来相近的持续性能提升；相比遥操作，RoboWheel仅需单个单目RGB(D)相机即可提取通用、与形态无关且可灵活重定向的运动表示。作者还结合多相机采集、单目视频和公共手物交互语料构建了大规模多模态数据集HORA。\n",
  "keywords": [
    "RoboWheel",
    "跨形态机器人学习",
    "手物交互",
    "数据引擎",
    "运动重定向",
    "物理合理性优化",
    "强化学习",
    "仿真数据增强",
    "域随机化",
    "视觉—语言—动作模型",
    "模仿学习",
    "HORA数据集"
  ],
  "paper_institutions": [
    "Tsinghua University",
    "Synapath",
    "CUHK",
    "HKU",
    "PolyU"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:41:01.813074Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对遥操作和工作室动捕成本高、硬件绑定强，而海量真实手物交互视频又存在重建噪声、手物穿模、接触不一致和形态失配等问题，论文提出RoboWheel数据引擎，将真实人类操作视频转换为可训练机器人的跨形态监督数据。相关研究已能基于MANO/SMPL-H和6D物体位姿跟踪从单目RGB/RGB-D中恢复几何与运动，但常出现接触不稳定、时间不平滑以及违反运动学和动力学约束的问题；为此，RoboWheel集成手部、身体和物体估计器，先以TSDF碰撞惩罚避免穿模并引导接触，再用残差RL修正手物相对位姿，其核心机制可用奖励 r_t = λ_geo·Φ_geo(‖Δh_t‖+‖Δp_t‖) + λ_dyn·Φ_dyn(‖Δḣ_t‖+‖Δṗ_t‖) + λ_con·Φ_con(C_t) 表示，在几何跟踪、动态平滑和接触力之间取得平衡。所得轨迹经DROID-SLAM提升到世界坐标并对齐到规范化动作空间，然后按全手参与或仅指尖参与两类手势映射到平行夹爪，同时通过运动学相似性和接触保持约束扩展到灵巧手与人形机器人。系统在Isaac Sim中使用cuRobo GPU逆运动学，将轨迹重放到UR5/UR5e、Franka、KUKA iiwa、Kinova Gen3和Sawyer五种机械臂，并实施物体检索替换、分段轨迹变换、背景纹理、光照、杂物桌面和手部镜像等增强；选择这些设置是为了验证同一HOI源能否在保持接触语义的同时覆盖不同形态、物体和视觉分布。数据方面，论文构建约15万条轨迹的HORA数据集，来源包括带触觉手套的多视角动捕、自建RGB(D)录制和公共HOI语料，可同时支持HOI分析与下游机器人学习；重建实验在HO-Cap上与HORT、HOLD和DiffHOI公平比较，下游实验在8项真实家庭任务上训练ACT、DP、RDT和Pi0，并用Qwen2.5-VL结合腕部和第三人称视角自动判定仿真回放成败。结果方面，RoboWheel取得CD 5.1cm、F5 63.4%、F10 89.1%、手部抖动0.92cm/s²、W-MPJPE 7.81mm、相对位姿平移波动0.26cm和旋转波动1.9°；先用5千条HORA预训练的Pi0在简单和困难任务上分别达到75.0%和47.5%的宏平均成功率，相同轨迹数量下HORA与遥操作微调性能相当，增强后RDT在未见背景下的平均表现由1.5/10提升到4/10，所提重定向方法真实直接回放宏平均成功率达91.7%，共同支持物理优化、跨形态重定向和仿真增强的有效性。该系统面向家庭抓取、放置、倾倒、扶正等真实场景，主要约束包括单目遮挡导致的重建误差、逆运动学可达性与自碰撞限制、仿真到现实差距以及接触语义必须保持；论文也指出灵巧手和人形机器人的真实跨形态实验仍然有限，未来需要扩大真实与仿真环境中的跨域验证。\n\n### 关键要点\n\n- RoboWheel以单目RGB或RGB-D手物交互视频为输入，先恢复手部或全身运动以及被操作物体的网格和6D位姿，再将结果统一到同一世界坐标系。\n- 物理合理性优化使用TSDF惩罚手物穿模并引导接触，残差RL在可达性和稳定性先验下进一步修正手物相对位姿。\n- 系统通过DROID-SLAM估计相机内参和相机到世界变换，并基于髋、肩关节构造参考帧，将不同来源轨迹对齐到规范化动作空间。\n- 平行夹爪重定向用kNN区分全手参与和仅指尖参与：前者由掌指关节构造稳定掌框，后者由食指—拇指连线定义夹爪轴。\n- 夹爪开合状态由CoTracker跟踪物体关键点的位移判断，关键点静止时判为张开，发生位移时判为闭合，以减轻严重遮挡造成的视觉歧义。\n- 在Isaac Sim中，cuRobo GPU逆运动学将末端6D轨迹映射到五种6/7自由度机械臂，并在求解中加入关节限位、自碰撞约束和上一时刻解种子。\n- 仿真增强包括物体检索替换、接触段轨迹变换、背景纹理与光照随机化、杂物桌面配置和手部镜像，镜像动作还需通过回放检查。\n- HORA约含15万条轨迹，由多视角触觉动捕、自建RGB(D)录制和公共HOI三个子集组成，提供HOI标注、物体资产、机器人观测、末端轨迹和任务描述。\n- 在HO-Cap重建对比中，RoboWheel在CD、F5、F10、手部抖动、W-MPJPE和相对位姿一致性上均优于HORT、HOLD和DiffHOI。\n- 8项真实家庭任务实验表明，相同数量下HORA训练可取得与遥操作相当的效果，5千条HORA预训练对Pi0和RDT的提升在复杂任务上更明显。\n- 增强后的HORA将RDT在未见背景下的平均成功次数由1.5/10提升到4/10，并在未见物体和杂乱场景中各提升0.5/10。\n- 该方法的限制包括单目重建误差、仿真到现实差距、IK可达性与碰撞约束，以及灵巧手和人形机器人真实实验范围仍然有限。"
}