{
  "paper_id": "2f78d8cf817a8f4a55ab650d9a2f3132",
  "paper_title": "Universal Manipulation Interface: In-The-Wild Robot Teaching Without In-The-Wild Robots",
  "paper_authors": [
    "Cheng Chi",
    "Zhenjia Xu",
    "Chuer Pan",
    "Eric Cousineau",
    "Benjamin Burchfiel",
    "Siyuan Feng",
    "Russ Tedrake",
    "Shuran Song"
  ],
  "publication_date": "",
  "publication_venue": "Robotics: Science and Systems XX",
  "abstract": "本文提出通用操作接口（UMI），一种将真实世界中的人类演示直接转化为可部署机器人策略的数据采集与策略学习框架。UMI采用手持夹爪与精细接口设计，可便携、低成本、信息丰富地采集双臂和动态操作演示；策略接口引入推理时延匹配和相对轨迹动作表示，使学到的策略不依赖特定硬件，可部署到多种机器人平台。仅需为每个任务更换训练数据，UMI即可实现零样本泛化的动态、双臂、精确和长时程行为。真实机器人实验表明，基于多样化人类演示训练的策略能够零样本泛化到新环境和新物体；硬件与软件已开源。\n",
  "keywords": [
    "通用操作接口",
    "手持夹爪",
    "模仿学习",
    "行为克隆",
    "扩散策略",
    "视觉惯性SLAM",
    "时延匹配",
    "相对轨迹",
    "零样本泛化",
    "双臂操作"
  ],
  "paper_institutions": [
    "Stanford University",
    "Columbia University",
    "Toyota Research Institute"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:18:30.225686Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对机器人复杂技能数据采集中，远程操作成本高且依赖真实机器人、野外人类视频存在具身鸿沟且缺少显式动作、已有手持夹爪因视觉上下文不足、单目SfM尺度模糊、训练推理时延不一致和策略表征能力弱而多限于抓取或准静态拾放的问题，本文提出UMI。其演示端以装有GoPro的扳机式3D打印平行夹爪为唯一传感器，通过155°鱼眼镜头保留中心分辨率并扩大视野，用物理侧镜生成隐式立体视角，用GoPro IMU与基于ORB-SLAM3的惯性单目SLAM恢复具有绝对尺度的6DoF轨迹，并连续追踪夹爪宽度、按目标机器人运动学过滤演示；策略端以同步RGB图像、相对末端位姿和夹爪宽度序列为观测，用Diffusion Policy输出相对末端轨迹与夹爪宽度，核心机制可写为 `a_{t0:tH} = {(T_{t0}^{t}, w_t)}`，其中 `T_{t0}^{t} ∈ SE(3)` 是时刻t期望末端位姿相对于推理起始时刻t0当前位姿的变换，从而避免绝对坐标标定和delta动作误差累积。为消除硬件差异，系统在观测侧按最慢流时间戳插值同步，在动作侧提前发送指令并丢弃过期动作；双臂场景通过先建图再重定位获得夹爪间相对位姿。数据选择覆盖四类真实任务以分别检验精确与非抓取、动态、双臂协调和长时程能力：杯具摆放305条演示、2人采集，UMI达到20/20，同一检查点在Franka FR2上达到18/20；动态投掷280条演示，120个物体中成功率87.5%，关闭时延匹配降至57.5%；双臂叠衣250条演示，成功率70%，去除夹爪间相对本体感知降至30%；洗碗258条演示并微调CLIP ViT-B/16，成功率70%，从零训练ResNet-34为0/10。野外泛化实验在12人时内由3人在30个地点采集1400条演示、含15种杯具，采用CLIP ViT-L/14，在未见过的咖啡馆桌和喷泉场景综合43/60=71.7%，训练杯70%、未见杯75%，而仅用窄域数据的同骨干模型为0%。SLAM在7个单臂和7个双臂任务的动捕基准上取得位置ATE 6.1mm、旋转3.5°，夹爪间RPE 10.1mm、0.8°；采集吞吐在杯具任务上比spacemouse远程操作快3倍以上、达到徒手48%，投掷任务达到徒手64%而远程操作15分钟无成功演示。这些结果验证了硬件接口、时延匹配、相对轨迹和扩散策略对复杂技能迁移与零样本泛化的支撑。UMI适用于家庭、办公室、餐厅、户外桌面以及移动底盘等目标可触及场景，但仍受目标机器人运动学约束、SLAM需充足纹理、夹爪重量和自由度低于人手等限制；未来可研究具身感知策略、第三人称相机或标记辅助低纹理跟踪、轻量化人体工学设计，或由灵巧手直接迁移人类动作。\n\n### 关键要点\n\n- UMI手持夹爪重780g，外形为310mm×175mm×210mm，指部行程80mm；3D打印夹爪物料成本73美元，GoPro及配件298美元，增加第二只夹爪即可采集双臂数据。\n- 策略直接使用155°原始鱼眼图像而不去畸变；在杯具摆放任务中，将图像处理为69°视场的基线只成功11/20，完整UMI达到20/20。\n- 夹爪两侧的物理镜子可在同一图像中形成隐式立体视角；数字翻转镜中画面并交换左右镜视图后达到20/20，直接提供镜像为17/20，无镜子为18/20。\n- GoPro加速度计和陀螺仪与视觉跟踪联合优化，可在运动模糊或快速运动时维持跟踪并恢复真实尺度；动捕基准显示单夹爪ATE为6.1mm、3.5°，但该方法仍要求环境具备足够纹理。\n- 夹爪通过基准标记连续追踪手指宽度，并利用软指变形隐式记录抓取力；运动学过滤会根据恢复出的绝对末端位姿剔除不符合目标机器人运动学或动力学可行性的轨迹。\n- UMI策略以RGB图像、历史相对末端位姿和夹爪宽度为观测，用Diffusion Policy输出相对末端轨迹和连续夹爪宽度；相对位姿锚定在当前末端坐标系，避免全局坐标标定和delta动作的误差累积。\n- 观测侧按延迟最高的数据流对齐图像、末端位姿和夹爪宽度并进行时间插值；动作侧根据硬件执行延迟提前发送指令，同时丢弃已经过期的预测动作。\n- 双臂系统通过场景建图和重定位计算两只夹爪间的相对位姿；集中式策略在叠衣任务中达到14/20，移除夹爪间相对本体感知后仅为6/20。\n- 动态投掷任务将料箱放在机器人可达范围之外，使用280条混合演示训练，在120个物体上达到87.5%成功率；关闭时延匹配后因动作抖动和释放时机错位降至57.5%。\n- 洗碗任务包含7个顺序依赖步骤，258条演示还包含追加番茄酱后的恢复行为；微调CLIP ViT-B/16的策略达到14/20，从零训练ResNet-34的策略为0/10且不会响应场景变化。\n- 野外杯具摆放数据包含30个地点、15种杯具的1400条演示；策略在两个新环境综合成功43/60=71.7%，其中训练杯28/40、未见杯15/20，而使用相同预训练骨干但仅用窄域数据的模型成功率为0%。\n- 在15分钟吞吐测试中，UMI在杯具任务上比spacemouse远程操作快3倍以上，达到徒手速度的48%；在投掷任务中达到徒手速度的64%，而远程操作未能产生一条成功演示。",
  "available_templates": [
    "deep_read",
    "simple"
  ]
}