{
  "paper_id": "5665a4ed1cebdac5970ab03fb0c9214d",
  "paper_title": "FastUMI: A Scalable and Hardware-Independent Universal Manipulation Interface with Dataset",
  "paper_authors": [
    "Zhaxizhuoma",
    "Kehui Liu",
    "Chuyue Guan",
    "Zhongjie Jia",
    "Ziniu Wu",
    "Xin Liu",
    "Tianyu Wang",
    "Shuai Liang",
    "Pengan Chen",
    "Pingrui Zhang",
    "Haoming Song",
    "Delin Qu",
    "Dong Wang",
    "Zhigang Wang",
    "Nieqing Cao",
    "Yan Ding",
    "Bin Zhao",
    "Xuelong Li"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "真实世界中的机械臂操作数据对于训练通用动作策略至关重要，但现有采集方法成本高、依赖特定硬件且搭建复杂，导致数据稀缺。本文提出FastUMI，对通用操作接口UMI进行系统性重新设计，以实现快速部署、简化软硬件集成并增强真实数据采集的稳定性。FastUMI采用解耦硬件设计和大量机械改进，在保持一致观察视角的同时去除对专用机器人部件的依赖；算法流程用现成跟踪模块替代复杂视觉惯性里程计，在保持精度的同时显著降低部署难度；系统还构建了覆盖数据采集、校验以及与ACT、Diffusion Policy等模仿学习算法集成的生态。作者开源了包含超过10000条真实演示轨迹、覆盖22项日常任务的高质量数据集，是目前任务多样性最高的UMI类数据集之一。实验表明，FastUMI能够快速部署、降低成本与人力需求，并在多种操作场景中保持稳健性能，从而推动可扩展的数据驱动机器人学习。\n",
  "keywords": [
    "机器人操作",
    "数据采集",
    "通用操作接口",
    "硬件解耦",
    "RealSense T265",
    "模仿学习",
    "ACT",
    "扩散策略",
    "开源数据集",
    "第一人称视角"
  ],
  "paper_institutions": [
    "Shanghai AI Lab",
    "Shanghai Jiao Tong University",
    "University of Bristol",
    "Fudan University",
    "The University of Hong Kong",
    "Xi'an Jiaotong-Liverpool University",
    "Institute of AI, China Telecom Corp Ltd"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:41:27.945760Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对大规模真实机械臂交互数据稀缺的问题，论文在遥操作成本高、视觉示范动作不够精细、传感器增强型UMI虽有潜力但受限于专用夹爪和复杂VIO流程的背景下，提出可扩展、硬件无关的FastUMI。该系统采用物理解耦、视角一致和操作独立设计：手持端用155°视场角GoPro采集宽视角环境图像，并用RealSense T265提供稳定位姿跟踪；机器人端通过ISO标准法兰、可插拔指尖和可调相机支架适配不同机械臂与夹爪，五种指尖附件覆盖Open X-Embodiment等数据集中超过90%的常见夹爪。软件侧由ROS相机节点、跟踪节点和存储节点记录GoPro图像、T265位姿及HDF5数据，利用统一时钟、线程缓冲和20Hz同步子采样实现多模态对齐，并通过跟踪置信度、速度、加速度和相对朝向阈值进行质量控制，配合T265重初始化与蓝色3D打印凹槽回环纠正漂移。系统可生成绝对TCP、相对TCP和绝对关节轨迹，并用ArUco标记像素距离线性映射夹爪宽度；为应对近距第一人称视角、场景几何多变和单目深度不足，论文进一步提出Smooth-ACT、PoseACT和Depth-Enhanced DP，其中Depth Anything V2从裁剪后的GoPro图像估计深度，在RTX 4090上实现20Hz推理。针对非平行夹爪闭合时TCP沿局部Z轴偏移的问题，其核心补偿机制为 d(i)=d_close-(d_close-d_open)/W_max·W(i)，随后沿TCP局部Z轴反方向修正位置并通过IK求解关节角。开源数据集包含10000条真实演示、22项日常任务、19类物体和12种操作技能，由5名操作员使用3台设备在家庭场景采集，每条约6至12秒，丰富的背景、光照和遮挡样本用于验证跨场景泛化与鲁棒采集。位姿实验以光学动捕系统为真值并用evo计算毫米误差，T265在Pick Cup和Open Container中的平均位置误差分别为10.5mm和17.7mm，RoboBaton MINI分别为15.2mm和11.2mm，表明T265在低遮挡场景更精确，而MINI跨遮挡表现更稳定。策略评测默认使用xArm 6，每任务选取200条同源演示训练并执行15次，以任务成功率衡量性能；Depth-Enhanced DP在Pick Lid上将成功率从53.33%提升到80.00%，在Open Ricecooker上从20.00%提升到93.33%，支持深度线索对精确定位和按压任务的关键作用；Smooth-ACT将Pick Bear和Sweep Trash成功率分别从20.00%、6.67%提升到60.00%、26.67%，PoseACT相对版进一步达到73.33%和60.00%，验证了时间平滑与末端位姿表示的有效性；训练数据从200条增至800条时，Pick Cup成功率由20.00%升至53.33%。FastUMI适用于家庭环境中的取放、铰链开合、拔插、扫推和按键等场景，但当前主要依赖视觉、缺少力或触觉反馈，尚未适配移动机械臂等复杂形态，有线传输也限制了便携和野外部署，未来可融合触觉与力传感、扩展非静态基座平台并发展无线化和板载计算。\n\n### 关键要点\n\n- FastUMI通过模块化机械结构解除原UMI对Weiss WSG-50等专用部件的依赖，使用户能够将同一手持采集流程迁移到多种机械臂和夹爪。\n- 手持设备包含155°视场角GoPro、RealSense T265、指尖标记和固定上盖，其中GoPro负责高分辨率宽视角观测，T265负责末端位姿跟踪。\n- 机器人端采用ISO标准法兰、可插拔指尖和可横向、纵向调节的GoPro支架，以在不同臂和夹爪几何结构下复现手持端视角。\n- 系统规定GoPro鱼眼图像底部与夹爪指尖底部对齐，并通过动态误差补偿缓解xArm等非平行夹爪开合时有效长度变化造成的视角偏差。\n- 原始采集由三个ROS节点完成，GoPro可输出1920×1080、60fps图像，T265以200Hz输出七维位姿，最终统一存储为HDF5文件。\n- 多传感器数据通过统一ROS时钟、独立线程队列和20Hz最大公共频率子采样完成同步，T265帧与最近图像帧配对以降低时间错位。\n- 数据质量检查要求至少95%的采样位姿达到T265高置信度，低置信度帧被剔除并由相邻帧插值，同时检测速度、加速度和相对朝向突变。\n- 训练数据可表示绝对TCP、相对TCP和绝对关节轨迹，关节轨迹通过机器人URDF和IK逐帧求解，夹爪宽度则由ArUco标记距离归一化得到。\n- FastUMI数据集包含10000条真实演示、22项日常任务、19类物体和12种技能，由5名操作员使用3台设备采集，并提供HDF5及可转换的Zarr格式。\n- 12项策略评测任务覆盖铰链、取放、 pick-push和按键操作；每任务使用200条演示训练并进行15次测试，ACT与DP在不同任务类型上表现出互补优势。\n- Depth-Enhanced DP在Pick Lid和Open Ricecooker上分别带来26.67和73.33个百分点的成功率提升，Smooth-ACT与PoseACT也显著改善第一人称视角下的非法关节动作和平台迁移问题。\n- 系统当前局限在于感知模态单一、机器人兼容性仍限于单臂或双臂平台，并且依赖有线数据传输，暂不适合需要精细力控、全身控制或高移动性的场景。"
}