# 通用操控接口：无需真实机器人即可进行的野外机器人教学 程驰 $^{*1,2}$、徐振佳 $^{*1,2}$、潘楚尔 $^{1}$、埃里克·库辛诺 $^{3}$、本杰明·伯奇菲尔 $^{3}$、冯思远 $^{3}$、拉斯·特德雷克 $^{3}$、宋舒然 $^{1,2}$ $^{1}$斯坦福大学、$^{2}$哥伦比亚大学、$^{3}$丰田研究院 ![Image](images/2e3216e876438e673a3553edee9e80cdcac1ffa056091a43397c747512dad5f6.jpg)
for Any Actions (action diversity)
![Image](images/3295b2ec7983683183719f54202691a4d34b6e8e1ecaca4e0c7b1d2f3e70ffc9.jpg) ![Image](images/c4464abc9986f669f264ff2814db9cd88b917dd3a7f92d8b1088079c2be83b9f.jpg) 适用于多种机器人的操控（本体多样性） ![Image](images/2d81847a5f2c4e8d9cae10eb0239f74745a4d6349d1f186b4819fb132dc35c16.jpg) ![Image](images/d132806e3335b42b9e99e9e6c6ff5c681053cc7c11ed5585a2f152f3ce475a4a.jpg) ![Image](images/657f4977e4853516a66d0caa1107f5300ae8712a2ca3e4fd6026fc32979c8a76.jpg) ![Image](images/50b49f0a916e1dd5b4b928d9d949233143c28d101289e3ce8b6f88b063417dd9.jpg)
Fig. 1: Universal Manipulation Interface (UMI) is a portable, intuitive, low-cost data collection and policy learning framework. This framework allows us to transfer diverse human demonstrations to effective visuomotor policies. We showcase the framework for tasks that would be difficult with traditional teleoperation, such as dynamic, precise, bimanual and long-horizon tasks.
摘要—我们提出了通用操控接口（UMI）——这是一种数据收集与策略学习框架，能够将野外人类演示中的技能直接迁移到可部署的机器人策略中。UMI采用手持式夹爪，并结合精心的界面设计，从而实现便携、低成本且信息丰富的数据收集，适用于复杂的双手协同及动态操控演示。为了促进可部署的策略学习，UMI采用了精心设计的策略接口，具备推理时延迟匹配功能以及相对轨迹动作表示方式。由此学到的策略具有硬件无关性，可在多个机器人平台上部署。凭借这些特性，UMI框架解锁了新的机器人操控能力：仅需更换各任务的训练数据，就能实现零样本泛化的动态、双手协同、高精度及长时序行为。我们通过全面的实地实验验证了UMI的多功能性与有效性——基于UMI学到的策略，在利用多样化的人类演示进行训练后，能够零样本地适配新环境和物体。UMI的软硬件系统已在 开源。 ## 一、引言 我们应当如何为机器人演示复杂的操控技能以供其学习呢？该领域的研究主要从两个方向着手解决这一问题：一是通过遥操作收集针对特定场景的实验室机器人数据集，二是利用非结构化的野外人类视频。遗憾的是，这两种方法都不够完善：遥操作需要高昂的硬件与专业操作员成本，而人类视频则与机器人存在较大的本体差异。 近年来，将带传感器的手持式夹爪用作数据收集接口 [^41] [^51] [^36]，已成为一种颇具前景的中间方案——它既能缩小本体差异，又具备直观性和灵活性。尽管潜力巨大，这类方法仍难以兼顾动作多样性与可迁移性。虽然理论上用户可利用这些手持设备收集任意动作，但其中大部分数据无法被有效转化为机器人策略。因此，尽管所收集的数据在数百种环境中展现出出色的视觉多样性，但这些动作仍局限于简单的抓取 [^41] 或准静态的拾取放置 [^51] [^36]，缺乏动作多样性。 以往研究中阻碍动作迁移的因素有哪些？我们发现了几个细微却至关重要的问题： - 视觉上下文不足：虽然使用腕部安装的摄像头对于对齐观测空间、提升设备便携性至关重要，但它会限制场景的视觉覆盖范围。摄像头距离被操控物体过近往往会导致严重遮挡，从而无法为动作规划提供充足的视觉上下文。 - 动作不精确：大多数手持设备依赖单目结构光运动（SfM）来还原机器人动作。然而，这类方法往往难以应对尺度模糊、运动模糊或纹理不足等问题，从而无法还原精确的全局动作，这严重限制了系统可执行的任务精度。 --- ![Image](images/1ec9dcede9691264895032e52daf45f9b8158f66309d6bf8cc6bd80371825c32.jpg)
④ IMU-aware Pose Tracking ⑤ Continuous Gripper Tracking
⑥ 基于运动学的数据过滤
Fig. 2: UMI Demonstration Interface Design. Left: Hand-held grippers for data collection, with a GoPro as the only sensor and recording device. Middle: Image from the GoPro's $155^{\circ}$ Fisheye view. Note the physical side mirrors highlighted in green which provide implicit stereo information. Right: UMI-compatible robot gripper and camera setup make observation similar to hand-held gripper view.
由于上述原因，系统能执行的任务精度会受到显著限制。 • 延迟差异：在手持数据采集过程中，观测与动作记录是同步进行的，不存在延迟。但在推理阶段，系统中会出现传感器延迟、推理延迟和执行延迟等多种延迟源。若策略未考虑这些延迟差异，就会接收到分布外输入，进而生成不同步的动作。这一问题在快速且动态的动作中尤为突出。 - 策略表达能力不足：以往的研究通常采用简单的策略表达方式（如多层感知机）并结合动作回归损失函数，这限制了其捕捉人类数据中固有的复杂多模态动作分布的能力。因此，即便能够精准还原示范动作且消除了所有差异，最终得到的策略仍可能难以准确拟合数据。这进一步阻碍了大规模、分布式的人类数据采集，因为演示者越多，动作的多模态性就越强。 在本文中，我们通过精心设计示范与策略接口来解决这些问题： - 首先，我们致力于确定一种适合人类示范的物理接口：它既要直观易用，又能捕获策略学习所需的所有信息。具体而言，我们使用鱼眼镜头来扩大视野和视觉上下文，并在夹持器上添加侧镜以提供隐式的立体观测能力。结合GoPro内置的惯性测量单元传感器，我们就能在快速运动下实现稳定的跟踪。 - 其次，我们探索合适的策略接口（即观测与动作表示方式），以使策略具备硬件无关性，从而实现有效的技能迁移。具体来说，我们采用推理时延迟匹配机制来处理不同的传感器观测与执行延迟，使用相对轨迹作为动作表示以消除对精确全局动作的需求，最后应用扩散策略[^9]来建模多模态动作分布。 最终的系统——通用操控接口（Universal Manipulation Interface, UMI），提供了一个实用且易于获取的框架，能够解锁新的机器人操控技能，让我们能够在任何环境中演示任意动作，同时保持从人类示范到机器人策略的高可迁移性。 仅需在手持夹持器上安装一个腕部摄像头（如图2所示），我们便证明UMI能够完成各类操控任务，包括动态、双臂协作、高精度及长时序动作，且只需针对每项任务更换训练数据即可（如图1所示）。此外，当用多样化的人类示范数据进行训练后，最终策略能对新环境和物体实现零样本泛化，在分布外测试中取得了70%的惊人成功率，这种泛化水平在其他行为克隆框架中极为罕见。我们已在开源了相关的硬件与软件系统。 ### 二、相关工作 对于任何数据驱动的机器人系统而言，数据本身都是关键支撑。在此，我们回顾几种典型的机器人操控领域数据采集流程。 ### A. 遥操作机器人数据 模仿学习通过专家演示来学习策略。行为克隆（BC）利用远程操控的机器人演示，因其可直接迁移而备受瞩目。然而，为收集数据而对真实机器人进行远程操控存在巨大挑战。以往的方法采用了多种接口来实现远程操控，例如 3D 空间鼠标 [^9] [^55]、VR 或 AR 控制器 [^35] [^3] [^13] [^19] [^31] [^52] [^12]、智能手机 [^44] [^46] [^22]，以及触觉设备 [^38] [^48] [^43] [^26] [^4]。这些方法要么成本极高，要么由于延迟高且缺乏用户友好性而难以使用。尽管近期诸如 ALOHA [^54] [^15] 和 GELLO [^47] 等主从式（即遥控操作）设备取得了进展，提供了直观且低成本的接口，但其在数据收集过程中对真实机器人的依赖，限制了系统获取“野外”数据时可访问的环境类型和数量。外骨骼设备 [^14] [^20] 虽然消除了数据收集时对真实机器人的依赖，但在部署前仍需利用远程操控的真实机器人数据进行微调。此外，上述设备生成的数据和策略具有特定的实体形态依赖性，无法在不同机器人上重复使用。 --- 不过，外骨骼设备在进行数据收集时无需依赖真实机器人，但却需要在部署前利用远程操控的真实机器人数据进行微调。此外，上述设备生成的数据和策略具有特定的实体形态依赖性，无法在不同机器人上重复使用。 相比之下，UMI 在数据收集过程中无需使用实体机器人，还提供了一种更便携的野外机器人教学接口，能够生成可迁移至不同机器人实体形态（如 6 自由度或 7 自由度机械臂）的数据和策略。 ### B. 来自人类视频的视觉演示 有一类专门的研究致力于从野外视频数据（如 YouTube 视频）中学习策略。最常见的方式是从多样的人类被动演示视频中学习。利用这类被动的人类演示，以往的研究能够学习任务成本函数 [^37] [^8] [^1] [^21]、可供性函数 [^2]、密集物体描述符 [^40] [^24] [^39]、动作对应关系 [^33] [^28]，以及预训练的视觉表征 [^23] [^49]。 不过，这种方法面临三大挑战。首先，大多数视频演示缺乏明确的动作信息，而这些信息对于学习可泛化的策略至关重要。为了从被动的人类视频中推断动作数据，以往的研究要么借助手部姿态检测器 [^44] [^1] [^38] [^28]，要么将人类视频与同领域的遥操作机器人数据结合来预测动作 [^33] [^20] [^34] [^28]。其次，人类与机器人之间明显的本体差异阻碍了动作的迁移。为弥合这一差距，研究人员尝试通过手部姿态重定位来学习人类到机器人的动作映射 [^38] [^28] [^45]，或提取与本体无关的关键点 [^50]。尽管有这些尝试，本体差异本身仍会使从人类视频到实体机器人的策略迁移变得复杂。第三，这类研究中由本体差异引发的固有观测差异，会导致训练与推理阶段的观测数据出现不可避免的不匹配，进而加剧所生成策略的迁移难度，即便研究人员已努力使演示观测数据与机器人观测数据对齐 [^20] [^28]。 相比之下，使用UMI采集的数据在动作和观测空间上均存在极小的本体差异，这得益于通过可靠的视觉-惯性相机跟踪技术实现精准的操作动作提取，以及教学与测试阶段使用的共用鱼眼腕部摄像头。因此，这使得动态、双臂、精细且长时程的操作任务能够实现野外环境下的零样本策略迁移。 ### C. 用于准静态动作的手持式夹爪 手持式夹爪 [^41] [^51] [^10] [^32] [^27] [^25] 能够减小操作数据采集中的观测本体差异，具备便携性和直观的界面，便于在野外高效采集数据。然而，从这些设备中提取精确的6自由度末端执行器姿态仍颇具挑战性，这阻碍了基于此类数据训练的机器人策略在精细操作任务中的应用。 以往的研究试图通过多种方法来解决这一问题，例如SfM [^51] [^25]，但它存在尺度模糊的问题；RGB-D融合技术 [^41] 则需要昂贵的传感器和强大的机载计算能力；还有外部运动追踪技术 [^32] [^27]，这类方法仅适用于实验室环境。 ![Image](images/82a35d11d498bf6aa29d8caa7021f2c5fa3e941fd4f80ce87eaf86acd5e85f09.jpg)
(a) Raw Fisheye Image
![Image](images/45c5bf20f07b826bbcb41e2ded11403caa01388d95ddeecc921741178a01d1e5.jpg)
(b) Rectified Image
Fig. 3: Fisheye vs Rectilinear (a) UMI policies use raw Fisheye image as observation. (b) Rectifying a large $155^{\circ}$ FoV image to the pin-hole model severely stretches the peripheral view (outside of blue line), while compresses the most important information at the center to a small area (inside of red line).
由于电肌信号追踪的精度和鲁棒性较低，这些设备只能用于准静态动作场景，且往往需要笨重的机载计算机或外部动作捕捉系统，这大大降低了它们在野外数据采集中的可行性。相比之下，UMI将最先进的SLAM技术 [^6] 与GoPro内置的惯性测量单元数据相结合，能够精准捕捉全局尺度下的六自由度动作。这种高精度数据有助于训练出的行为克隆策略学习双手协同任务。通过精确的延迟匹配，UMI还能实现可部署于现实世界的动态动作策略，比如投掷动作。 最近，Dobb-E [^36] 提出了一种搭载iPhone的“抓取工具”，用于为Stretch机器人收集单臂操作演示数据。不过，Dobb-E仅展示了针对准静态任务的策略部署情况，且需要针对特定环境对策略进行微调。相比之下，仅使用UMI采集的数据训练出的策略，就能零样本地适配全新的真实环境、未见过的物体以及多种机器人形态，甚至能应对动态、双臂操作、高精度及长时序任务。 ### 三、方法 通用操控接口（UMI）是一种手持式数据采集与策略学习框架，能够实现从真实场景中的人类演示到可部署机器人策略的直接转化。其设计主要基于以下目标： • 便携性。手持式UMI夹爪可携带至任何环境中，几乎无需任何准备时间即可开始数据采集。 - 功能强大。能够捕捉并转化自然且复杂的人类操控技能，而不仅限于简单的取放操作。 - 信息充足。采集到的数据应包含足以用于学习高效机器人策略的信息，同时包含极少的特定本体相关信息，从而避免阻碍策略的迁移应用。 - 可复现性：研究人员和爱好者应能够稳定地制作UMI夹爪，并利用相关数据训练自己的机器人，即便所使用的机械臂型号不同也无妨。 后续章节将介绍我们如何通过硬件与策略接口设计来实现上述目标。 --- ### A. 演示接口设计 UMI的数据采集硬件采用触发式手持3D打印平行夹爪，配有软质指套，仅搭载GoPro相机作为传感器和记录设备（见HD1）。对于双臂操作场景，只需简单添加另一个夹爪即可扩展UMI的功能。我们在此需要解决的关键研究问题是： ## 仅依靠腕部安装的相机，我们如何能采集到适用于各类任务的充足信息？ 具体而言，在观测层面，该设备需采集充足的视觉上下文信息，以便推断动作HD2及关键的深度信息HD3；在动作层面，它需捕捉人类快速运动下的精准机器人动作HD4、夹持宽度的细微调整信息HD5，还能自动判断每次演示是否符合机器人硬件的运动学特性HD6。后续章节将详细介绍我们如何实现这些目标。 HD1. 将腕部安装的相机作为输入观测源。我们仅依赖腕部安装的相机，无需任何外部摄像设备。将UMI部署到机器人上时，我们会把GoPro相机安装在与手持夹爪上相同的位置、对应相同的3D打印指套处。这种设计具有以下优势： 1) 缩小观测层面的本体差异。得益于我们的硬件设计，腕部安装相机所拍摄的视频在人类演示和机器人部署场景下几乎无法区分，因此策略输入对本体特性的敏感度更低。 2) 机械结构稳固。由于相机相对于指套的位置是固定的，将UMI安装到机器人上时无需进行相机-机器人-环境的校准。因此该系统对机械冲击的耐受性更强，更便于部署。 3) 便携式硬件设置。由于无需外部固定摄像头或额外的机载计算设备，我们大大简化了数据采集设置，使整个系统具备极高的便携性。 4) 通过摄像头运动实现自然的数据多样化。实验中我们发现的一个附带好处是：使用移动摄像头训练时，策略会学会专注于与任务相关的物体或区域，而非背景结构（效果类似于随机裁剪）。因此，最终生成的策略在推理阶段自然能更好地抵御干扰物的影响。 不使用外部固定摄像头也会给后续的策略学习带来额外挑战。例如，策略现在需要应对非静态且不完整的观测数据。我们通过采用广视场鱼眼镜头HD2以及鲁棒的视觉跟踪技术HD4来缓解这些问题，相关内容将在后续章节中介绍。 HD2. 用于提供视觉上下文的鱼眼镜头。我们在腕部安装的GoPro摄像头上加装了155度鱼眼镜头，它能为各类任务提供足够的视觉上下文，如图2所示。作为策略的输入，我们直接… ![Image](images/6ce75f8d21f31cc90da32dc20102cf63a2cc45064d01019f07079bec8bbe0f5e.jpg)
Fig. 4: UMI Side Mirrors. The ultra-wide-angle camera coupled with strategically positioned mirrors, facilitates implicit stereo depth estimation. (a): The view through each mirror effectively creates two virtual cameras, whose poses are reflected along the mirror planes with respect to the main camera. (b): Ketchup on the plate, occluded from the main camera view, is visible inside the right mirror, proving that mirrors simulate cameras with different optical centers. (c): We digitally reflect the content inside mirrors for policy observation. Note the orientation of the cup handle becomes consistent across all 3 views after reflection.
使用未经畸变校正的原始鱼眼图像，因为鱼眼效应能很好地保留图像中心区域的分辨率，同时压缩周边视野中的信息。相比之下，校正后的针孔图像（图3右侧）存在严重畸变，由于视场角较大，不适合用于学习。除了能通过增加视觉特征和重叠区域来提升SLAM的鲁棒性[^53]外，我们的定量评估（第V-A节）表明，鱼眼镜头通过提供必要的视觉上下文，能够提升策略性能。 HD3. 用于生成隐式立体图像的侧镜。为了弥补单目摄像头视角下缺乏直接深度感知的问题，我们在摄像头的周边视野中放置了一对物理镜子，从而在同一幅图像中生成隐式的立体视图。如图4(a)所示，镜子中的图像相当于沿镜面反射后从额外摄像头中看到的内容，且无需额外成本和重量。为了利用这些镜像视图，我们发现对镜子中的图像进行数字反射处理（如图4(c)所示）能为策略学习带来最佳效果（第V-A节）。需要注意的是，若不进行数字反射，通过侧镜看到的物体方向与主摄像头视角中的方向相反。 HD4. 感知IMU数据的跟踪技术。UMI利用GoPro内置的记录IMU数据（加速度计和陀螺仪）到标准mp4视频文件的功能[^18]，能够捕捉具有绝对尺度的快速运动。通过联合优化视觉跟踪与惯性位姿约束，我们基于ORB-SLAM3构建的惯性-单目SLAM系统[^7]即便在因运动模糊或视觉特征缺失（例如低头看向桌面）导致视觉跟踪失效时，也能在短时间内保持跟踪能力。这使得UMI能够捕捉并执行诸如投掷等动态动作（如图7所示）。此外，视觉与惯性的联合优化还能直接恢复真实的度量尺度，这对动作的精确性以及夹持器间的位姿本体感知至关重要，而PD2.3正是实现双臂策略的关键要素。 --- ![Image](images/4b88addaf126b030abe7032106066ec59ce907f2e27b160d65f13c3f339be26f.jpg)
Fig. 5: UMI Policy Interface Design. (b) UMI policy takes in a sequence of synchronized observations (RGB image, relative EE pose, and gripper width) and outputs a sequence of desired relative EE pose and gripper width as action. (a) We synchronize different observation streams with physically measured latencies. (c) We send action commands ahead of time to compensate for robots' execution latency.
能够捕捉并执行诸如投掷等动态动作（如图7所示）。此外，视觉与惯性的联合优化还能直接恢复真实的度量尺度，这对动作的精确性以及夹持器间的位姿本体感知至关重要，而PD2.3正是实现双臂策略的关键要素。 HD5. 连续式夹持器控制。与以往研究中采用的二进制开合动作不同[^41] [^44] [^55]，我们发现连续控制夹持器宽度能显著拓展平行夹爪夹持器可完成的任务范围。例如，投掷任务（图7）需要精准的释放时机。由于物体宽度各异，二进制夹持动作很难满足这种精度要求。在UMI夹持器上，通过基准标记可连续追踪手指宽度[^16]（图2左侧）。利用串联弹性末端执行器原理[^42]，UMI能够通过连续调节夹持器宽度来控制软指变形，从而隐式记录并调控抓取力。 HD6. 基于运动学的数据过滤。虽然数据采集过程与机器人类型无关，但我们仍会应用简单的基于运动学的数据过滤方法，为不同机器人型号筛选出有效的轨迹。具体而言，当已知机器人的基座位置和运动学参数时，通过SLAM恢复的末端执行器绝对位姿便可用于对演示数据进行运动学和动力学可行性过滤。基于过滤后的数据集进行训练，可确保策略符合特定型号的动力学约束。 综合来看，UMI夹持器重量为780克，外部尺寸为$L310mm \times W175mm \times H210mm$，手指行程达80毫米。这款3D打印夹持器的物料清单成本为73美元，而GoPro相机及配件的总成本为298美元。如图2所示，我们可为任何机械臂配备兼容的夹持器和相机装置。 ### B. 策略接口设计 借助收集到的演示数据，我们可以训练一种视觉运动策略，该策略接收一系列同步观测值（RGB图像、末端执行器的六自由度位姿以及夹持器宽度），并输出一系列动作（末端执行器位姿和夹持器宽度），如图5(b)所示。在本文中，所有实验均采用Diffusion Policy[^9]，而其他框架如ACT[^54]也可作为直接替代方案。 UMI策略接口设计的一个重要目标是确保该接口与底层机器人硬件平台无关，从而使在一个数据源（即手持式夹持器）上训练出的策略能够直接部署到不同的机器人平台上。为实现这一目标，我们需要解决以下两个关键挑战： - 硬件相关的延迟问题。不同硬件（流媒体相机、机器人控制器、工业夹持器）在不同系统部署中的延迟差异很大，从几十毫秒到数百毫秒不等。相比之下，UMI夹持器采集的所有信息流相对于图像观测而言延迟为零，这得益于GoPro相机的同步视频、惯性测量单元数据以及基于视觉的夹持器宽度估算技术。 • 特定型号的本体感知问题。常用的本体感知观测值（如关节角度和末端执行器位姿）仅针对特定的机械臂和基座布局才有明确定义。而UMI需要在多种环境中采集数据，并具备适配多种机器人型号的能力。 在后续章节中，我们将介绍三种用于解决这些挑战的策略接口设计。 PD1. 推理时的延迟匹配。虽然UMI的策略接口假设观测流是同步的且能立即执行动作，但实际的机器人系统并不符合这一假设。如果不妥善处理，训练与测试之间的时间不匹配可能会导致在需要快速运动和精确手眼协调的动态操控任务中性能大幅下降，这一点在第V-B节中有详细展示。在本文中，我们分别处理观测端和动作端的时间差异： PD1.1) 观测延迟匹配。在实际机器人系统中，不同的观测流（RGB图像、末端执行器姿态、夹爪开合度）是由分布式微控制器采集的，因此会产生不同的观测延迟。 --- 对于每种观测流，我们会分别测量其延迟（详情见§A1-A3）。在推理时，我们将所有观测数据与延迟最高的流（通常是摄像头）对齐。具体来说，我们首先将RGB摄像头的观测数据按所需频率（通常为10-20Hz）进行时间下采样，然后利用每张图像的捕获时间戳$t_{obs}$来线性插值夹爪和机器人本体感知数据流。在双臂系统中，我们通过寻找最近邻帧来实现两个摄像头的软同步，最大偏差不超过$\frac{1}{60}$秒。最终得到的是一系列符合UMI策略要求的同步观测数据，如图5(a)所示。 PD1.2) 动作延迟匹配。UMI策略假设输出的动作是一系列同步的末端执行器姿态和夹爪开合度。然而实际上，机械臂和夹爪只能以一定的执行延迟来跟踪期望的姿态序列，且该延迟会因不同机器人硬件而有所差异。为了确保机器人和夹爪能在策略指定的时间到达期望姿态，我们需要提前发送指令来补偿执行延迟，如图5(c)所示。执行延迟校准的详情见§A4。 在执行过程中，UMI策略会从观测的最后一步开始预测动作序列$t_{obs}$。由于观测延迟$t_{input} - t_{obs}$、策略推理延迟$t_{output} - t_{input}$以及执行延迟$t_{act} - t_{output}$的存在，最初预测的几步动作会立刻过时。我们只需丢弃这些过时的动作，仅执行在$t_{act}$之后、对应各硬件的期望时间戳的动作即可。 PD2. 相对末端执行器姿态。末端执行器姿态在UMI的观测空间和动作空间中都占据核心地位。为避免对特定本体或部署环境的坐标产生依赖，我们将所有末端执行器姿态表示为相对于夹爪当前姿态的相对姿态。 PDZ.1) 相对末端执行器轨迹作为动作表示。先前的研究已经证明了动作空间选择对任务性能的显著影响[^9]，实验结果表明绝对位置动作优于增量动作。但我们发现，一种相对轨迹表示方法能提升系统在数据采集期间应对跟踪误差和摄像头位移的能力：该方法针对从$t_0$开始的动作序列，用一系列SE(3)变换来表示t时刻相对于初始末端执行器姿态$t_0$的期望姿态。 PD2.2) 将相对EE轨迹作为本体感知。同样，我们将历史EE姿态的本体感知表示为相对轨迹。当观测范围设为2时，这种表示方式能为策略有效提供速度信息。结合我们安装在手腕上的摄像头观测空间，相对轨迹使得我们的系统无需校准。只要物体仍在可触及范围内，执行过程中移动机器人基座也不会影响任务表现（见图10(a)），这也使得UMI框架能够应用于移动操纵器。 PD2.3) 相对夹持器间本体感知。在双臂设置中使用UMI时，我们发现为策略提供两个夹持器之间的相对姿态对于双臂协调与任务成功至关重要，如 ![Image](images/1270fc717fc2f82fe1e72309f577ad783d98c74971a8e9e8ce87e835fff2bb80.jpg)
Fig. 6: Relative Trajectory as Action Representation. Relative trajectory, used by UMI, is a sequence of end-effector (EE) poses relative to the same current EE pose for each inference step. In contrast, Delta action represents each action step relative to its immediate previous action, therefore accumulates error. Absolute action requires a global coordinate frame for all actions, which is difficult to define for in-the-wild data collection.
第V-C节所示。当两个摄像头之间的视觉重叠较小时，夹持器间本体感知的作用尤为显著。这种夹持器间本体感知是通过我们的“先建图再定位”的数据收集方案实现的，该方案构建了场景级的全局坐标系HD4。对于每个新场景，我们首先采集视频以建立该场景的地图；随后，在此场景中采集的所有演示数据都会被重新定位到同一张地图上，从而共享相同的坐标系。尽管来自每个夹持器的视频是分别重新定位的，但利用它们共享的坐标，就能计算出每个时间步下两个夹持器之间的相对姿态。 ### IV. 评估 在我们的实验中，我们旨在从三个方面评估UMI框架在可部署策略学习方面的有效性： - 能力：我们将UMI演示转化为有效机器人策略的效果如何？尤其是对于复杂的、动态的、双臂的以及长时序的操作技能而言。 • 泛化能力：在多样化环境中野外采集的数据能否帮助策略泛化到未见过的环境和物体上？ - 数据采集效率：使用UMI采集操作数据的速度有多快？SLAM系统的精度如何？ 为了评估能力与泛化能力，我们在狭窄领域和野外环境中对4个真实世界机器人任务进行了UMI评估，如图7所示。为了衡量数据采集效率，我们将UMI夹持器与人手演示以及典型的遥操作界面进行了对比。详细的数据采集协议见§B。 ### V. 能力实验 我们通过四个任务研究了UMI捕捉并迁移单手、双臂、动态及长时序操作技能的能力。在能力实验中，所有任务均在数据采集时的同一环境中进行评估，但机器人与物体的初始状态会被随机化。为了确保比较的公平性， --- ![Image](images/21e86bb10bf6115c85208146416170d472a31c74f3ef505c4d436c6f86d3667b.jpg)
Fig. 7: Policy Rollouts. We test UMI on a variety of challenging real-world tasks. Cup arrangement tests UMI's ability to learn both prehensile and non-prehensile actions, and to capture multi-modal action distribution (clockwise and counter-clockwise rotation). This task is evaluated in both narrow-domain and unseen environments as well as two robot embodiments. Dynamic tossing tests UMI's ability to capture and transfer rapid human motions as well as precise hand-eye coordination. Bimanual cloth folding tests UMI's ability to synchronize two-arm coordination. Dish washing tests UMI's ability to handle long-horizon tasks that involve multiple rigid, deformable, and articulated objects. Please check videos on our website for more details.
我们通过手动将场景与预先录制的图像对齐，使所有方法下的机器人与物体初始状态完全一致。详细的评估协议及所有实验的视频见§C。 ### A. 杯子摆放 任务：将浓缩咖啡杯放在茶托上，且杯柄朝向机器人的左侧，见图7。我们将任务成功定义为：杯子直立放置在茶托上，且其杯柄位于左侧$\pm15^{\circ}$范围内。 能力要求（该任务为何具有挑战性？）此任务旨在测试系统学习抓握动作（拾取与放置）和非抓握动作（例如推动杯子以改变其方向）的能力。当杯柄朝向远离机器人的方向时，顺时针旋转和逆时针旋转这两种同样可行的解决方案便构成了多模态动作分布。该任务还能检验UMI通过单目摄像头及侧镜感知相对深度的能力。 性能表现：训练数据集包含由两名演示者收集的305个样本，评估阶段共设置20个测试用例，测试初始状态分布如图8(a)所示。UMI能够全部完成这20次任务。接下来的段落将探讨围绕我们关键设计决策所开展的消融研究。 跨机器人泛化能力：为验证UMI的跨本体通用性，我们将同一策略检查点部署在Franka Emika FR2机器人上，相关展示见图1和图8。该实验的成功率为18/20=90%，其中两次失败均源于关节限位问题；若我们将FR2机器人安装在不同位置，便可避免此类问题。 无鱼眼镜头[HD2]：为探究广视场角（FoV）鱼眼镜头的重要性，我们对数据集进行了后处理：将每张图像校正并裁剪为正方形，其水平和垂直视场角均为$69^\circ$。这一设定大致模拟了RealSense D415（水平视场角$69^\circ$，垂直视场角$42^\circ$）以及iPhone广角摄像头（水平视场角$69^\circ$，垂直视场角$51^\circ$）的效果。该基线方法的成功率仅为11/20=55%。除了杯子超出摄像头视野这一预期内的失败模式外，我们发现即便物体可见，该基线策略的表现也差得惊人，且动作往往存在抖动现象。我们推测，训练过程中较差的物体可见性迫使策略采用了不必要的多模态设计。 替代动作空间[PD2]：作为相对轨迹这一动作表示方式的替代方案，我们同样考虑了绝对动作空间和增量动作空间，如图6所示。由于 --- ![Image](images/2fa3d492d561dd166eb0032bc97708bcf7724f7df30bc5b2446f4ebaa90f649e.jpg) ![Image](images/ebda0bad46220f05dbb5839b3181956af515e635a629bdedf50c74471b6afa6f.jpg) ![Image](images/33e097aa2ad170a41b31dc3644e0a514be9fec4ab73f2d059b9cdc235ef1c556.jpg) ![Image](images/30c95423a0a9192fc0e9c12759461e58397a633b7cb1b554c61fd07f3b89b439.jpg) ![Image](images/bff0dbb4a9140252fb5a35f44aa34426a1416d95de2c0a23363dea9a943cc29b.jpg)
Right SleeveLeft SleeveFold BottomRotateFold FinalOverall
No Rel Pose0.900.700.350.400.300.30
Ours0.900.900.901.000.800.70
![Image](images/b3f7501298b37af419d77bc51c5717652be8e3b27e40c5e95d3a317c7395f986.jpg)
Fig. 8: Narrow-domain Evaluation Results. (a) Initial states for all evaluation episodes overlayed together. For each task, all methods start with the same set of initial states, matched manually with reference images. (b) Typical failure mode of the baseline/ablation policy. The red arrow indicates failure behavior, green arrow indicates desired behavior. (c) Success rate over 20 evaluation episodes, best performance for each column are bolded. Please check our website for more comparison videos.
SLAM系统输出的是相对于建图视频第一帧的姿态信息（详见§D节），因此我们只能利用SLAM输出直接计算相对动作和增量动作。若要计算以机器人基座为参考系的绝对动作，我们需要对SLAM坐标系、机器人坐标系以及放置在桌面的基准标记[^16]进行校准。 增量动作基线的成功率为16/20=80%。绝对动作基线的表现却差得惊人，成功率仅为5/20=25%，这表明其动作选择存在明显偏差，很可能是由于SLAM坐标系与机器人基座坐标系之间的校准不准确所致（见图8(b)）。尽管理论上若校准更精准，该基线的性能可接近相对轨迹方法，但此次实验凸显出即便在受控实验室环境中，获取绝对坐标下的动作数据也十分困难。 侧镜的影响[HD3]：出乎意料的是，直接提供镜面图像会使成功率从18/20=90%（无镜面）降至17/20=85%。为充分利用侧镜，我们需要对镜内内容进行数字反射处理，并交换左右镜面图像，如此方可达到20/20=100%的成功率。我们推测，若无数字反射处理，主视图与镜像中观察到的相反动作可能会干扰视觉编码器，尤其是那些具备平移等变性特性的编码器。 ### B. 动态投掷 任务：机器人需将随机放置在桌面的6个YCB物体[^5]分类放入对应的收纳盒中。其中，3个球形物体（棒球、橙子、苹果）应被扔进圆形收纳盒，而3块乐高得宝积木则放入矩形收纳盒（见图7）。由于这些收纳盒位于机器人的运动范围之外，因此凸显出完成此任务时采取动态操作的重要性。 能力体现：这项动态投掷任务展现了UMI捕捉并传递流畅且快速的人类动作的能力，以及精准的手眼协调能力（RGB视觉与本体感知之间）和时序同步能力（机器人动作与夹持器动作之间）。 性能表现：我们为这项任务收集了280个演示样本，涵盖多物体和单物体抓取及投掷场景。我们的策略在匹配推理时延的前提下，成功将物体投入对应收纳盒的数量占比达到105/120 = 87.5%，即成功率为87.5%。 --- ![Image](images/4d14389e0ca9842aa3b476be9587d47fa9abebb254f00a1d949437e24863d106.jpg) ![Image](images/87b71d289f4fc43e3049cb8e26ed41e804476dd13757cb6232bf1725ff3bb6ae.jpg) ![Image](images/2a033127740732b7cc23ce3e010e190a5452592175ecec09f77c0355939ef0af.jpg) ![Image](images/925b22497c25cb1e788a6cd7818c40d1694ef5fb9bcbb0cc875afb8373afa3ab.jpg) ![Image](images/2f6482ae1dd2a86d7d65d786a74857bd1294871cb1fa5d70223d60f67690501b.jpg) ![Image](images/e3173b2d911e7e7246d3ff68ce0e18c1bc8429219b3441fc3895f81f9143ac68.jpg) ![Image](images/11ca7301349fe1f16616eb923384df79850f94834343301cbabd764b594c0e5b.jpg) ![Image](images/3fe995c01376a7e3eb3277a988a2caec3d7d924ecd033ea03e9e6efdc8ae1798.jpg) ![Image](images/c0ef096ee9455b4532760c596327706c2de6950f693ff611fce2651f6e6d216f.jpg)
(b) Typical Failure Case of Policy using Narrow-domain data
(a) Generalization to novel environments and novel cups
Cafe TableWater FountainSuccess Rate
CLIP ViT finetune with narrow-domain Data0 / 100 / 100.0
In-the-wild DataTraining Cup16 / 2512 / 150.7
Unseen Cup6 / 109 / 100.75
Overall22 / 3521 / 250.72
(c) Quantitative Comparison in Unseen Environments
Fig. 9: In-the-wild Cup Arrangement Evaluation. (a) The policy, trained with in-the-wild data, demonstrates strong generalization capability to novel environments and novel objects. (b) With only narrow-domain data, the policy struggles to generalize to new environments. (c) Comprehensive qualitative results are provided, and additional comparison videos can be found on our website.
无时延匹配[PD1]：使用同一训练好的策略，我们将所有观测流与动作流的实测时延设为0，从而禁用推理时延匹配功能。从视觉效果上可以观察到，由于观测与执行不同步，策略的动作显得更加抖动。 虽然这种抖动对抓取动作的影响较小，但对投掷性能的影响却十分显著——它会干扰机器人产生预期的投掷速度，如图8中的肘关节速度曲线所示。此外，夹持器与机器人动作之间的错位（源于两者执行时延不同）会导致投掷时物体释放不理想。最终，成功率降至$69/120 = 57.5\%$。 ### C. 双手衣物折叠 $\underline{\text{Task}}$ 两只机械臂需要协同作业，先将毛衣袖子向内折叠，再折起下摆，旋转90度，最后将毛衣再次对折（见图7）。详细的评估方案见§C节。 能力体现：由于可变形物体具有复杂的动力学特性且难以被完全驱动，操控这类物体具有较高的自由度是一项极具挑战性的任务。此外，该任务还要求两只机械臂紧密配合。例如，提起毛衣下摆时需要两只机械臂同时抓取；若其中一只机械臂的动作稍快或稍慢，这一步骤就会失败。 性能表现：我们从两名演示者处收集了250个演示样本，通过平移或旋转衬衫、折叠袖子等方式制造随机初始状态。我们使用单一集中式策略为两只机械臂及夹持器生成动作指令。我们的策略成功率达到$14/20 = 70\%$。 缺乏夹持器间的本体感知信息[PD2.3]：无论是在训练还是评估阶段，若没有夹持器间的本体感知信息，两只机械臂的协调性会显著变差。最明显的失败案例出现在两只机械臂提起衬衫下摆时，基线策略常因抓取动作不同步而导致其中一次抓取失败（见图8(b)）。最终，基线策略的成功率仅为6/20 = 30%。相比之下，UMI策略会通过先抵达预抓取姿态、等待两只机械臂就位后再同时抓取并折叠的方式来实现同步操作。 ### D. 洗碗任务 任务：机器人需依次执行7个相互关联的动作（打开水龙头、抓取盘子、拿起海绵、清洗并擦拭盘子直至番茄酱残留被清除、放置盘子、放置海绵、关闭水龙头），具体过程见图7。详细的评估方案见§C节。 能力方面，这项任务在多个维度上拓展了机器人操控能力的边界：1）这是一项超长时程任务，每一步的成功都依赖于前一步的结果；2）机器人需要感知并操控复杂的流体，包括牛顿流体（即水）和非牛顿流体（即番茄酱）；3）擦拭动作需要使用可变形工具（即海绵），同时要根据水流情况协调双臂的动作；4）操控受约束的铰接物体（即开关水龙头）需要依靠软指提供的机械顺应性；5）策略还需要对“清洁”这一概念具备语义上的鲁棒性。如果在清洗过程中甚至清洗完成后又有新的番茄酱被添加，机器人需要继续完成清洗和擦拭工作。 性能方面，单名演示者收集了258个初始状态随机的演示样本，这些随机因素包括番茄酱的分布形态、盘子和海绵的位置，以及水龙头的角度。收集到的演示样本还包含了新增番茄酱时的恢复行为演示。针对这项任务，我们通过微调预训练的CLIP [^29] ViT-B/16 [^11]视觉编码器来训练扩散策略。总体而言，UMI的成功率为14/20=70%。此外，我们还验证了该策略对各种干扰物、不同种类的酱料（芥末酱、巧克力糖浆、焦糖糖浆）以及外界扰动的鲁棒性，详情可见图10及我们网站上的视频。 未使用CLIP预训练的ViT视觉编码器。对于这项视觉复杂度较高的任务，我们发现从头开始训练ResNet-34 [^17]并不够。 --- ![Image](images/97d2aa0400d43c2116e99f9805f7c59127f6557de9972dde4b30aa2ff7897890.jpg)
Fig. 10: Robustness Test. We test the policy robustness with different inference time perturbations such as moving robot base, novel objects, different lighting conditions, and adding different and more condiments for the dish-washing task. The learned policy is robust against these perturbations and completes the task. Please check the video on our website for more details.
具体而言，基于ResNet-34的基线策略表现出无反应性行为，会忽略盘子或海绵位置的任何变化。因此，它无法完成该任务，$0/10 = 0\%$。 ### 六、野外场景泛化实验 以往的行为克隆研究通常只在数据采集的同一环境中进行评估，往往受限于无法收集足够多样的数据集来实现泛化。UMI无需依赖真实机器人的遥操作，就能在任何环境中低成本地采集数据，我们将这类数据称为野外数据。 我们通过将第五节A部分的杯子摆放任务扩展到新环境和新物体上，来评估UMI生成可泛化视觉运动策略的能力。在12个人工时的时间内，3名演示者为杯子摆放任务在30个不同的物理地点收集了1400个演示样本，这些地点包括住宅、办公室、餐厅和户外环境。演示样本涉及15种不同颜色、形状（圆柱形和锥形）以及材质（陶瓷、玻璃和金属）的咖啡杯。为确保模型具备足够的容量，我们将视觉编码器进一步升级为预训练的CLIP [^30] ViT-L/14 [^11]。我们在两个未见过的环境中评估了UMI策略的表现（见图9第一列）： - 咖啡馆桌面的场景位于一家繁忙咖啡馆的户外就餐区，那里有大量行人作为天然干扰源。训练集中包含5种杯子，测试阶段使用2种未见过的杯子，每种杯子有5种初始姿态，共计进行35次实验。 • 这个水景喷泉是一个黑色的立方体喷泉，中心处有薄薄的水流不断喷出，覆盖整个顶面。这种环境属于显著的分布外情况，因为我们所有的演示数据都是在非黑色桌面上收集的，更不用说水的存在会导致表面动力学发生变化。我们测试了3个训练用杯子和2个测试用杯子，每个杯子有5种初始姿态，总共进行了25次实验。 我们挑选的2个测试用杯子中，一个具有分布外颜色（深蓝色），另一个则具有从未见过的纹理（棕色环纹）。在每个测试用例中，我们都会改变杯子和茶托的初始姿态。 我们的UMI策略在训练用杯子上的成功率为28/40 = 70%，在测试用杯子上的成功率为15/20 = 75%，综合成功率为43/60 = 71.7%。更多定性和定量结果如图9所示。 没有野外数据。为了验证泛化能力源自野外数据而非预训练的视觉骨干网络，我们训练了另一个模型，该模型仅使用在同一实验室环境中收集的窄领域实验数据（详见第V-A节），并采用相同的预训练ViT视觉骨干网络。如图9(b)所示，在同样未见过的环境中，采用基线策略的机器人甚至无法朝杯子移动，因此其成功率为0%。 结论：这一结果表明，仅用窄领域数据对大型预训练模型进行微调，不足以生成可部署于野外环境的策略。因此，收集多样化的野外数据对于实现对新环境和物体的有效泛化仍然至关重要。 ### 七、数据采集吞吐量及准确性 吞吐量：UMI在人体工程学和直观性方面优于远程操作方式，因此也提升了数据采集的吞吐量。为了证明这一效果，我们记录了使用三种不同方法在相同操作条件下15分钟内可采集到的演示数量（图11）：1）人手演示；2）UMI夹爪；3）基于空间鼠标的远程操作，这是许多基于演示的学习研究中常用的远程操作界面 [^9] [^55]。我们在两项任务上测量数据吞吐量：1）杯子摆放；2）动态抛掷。需注意，重置环境、随机化物体以及处理机器人故障（诸如自碰撞等情况）所花费的时间也计入本次实验，以准确反映真实世界中的数据采集吞吐量。 --- ![Image](images/ee2049f181aa4f6dd21c335e1204133812982fb40adac2194b45d3091c99a9a4.jpg) ![Image](images/6ef47ddc57bafa25f78a1c45ba540a746336c753896e7e1f8c88354cf335b05c.jpg) ![Image](images/71611fa3f40807ac5a8974b77fc224911abf1535974caabd5c296555aa6e7b3d.jpg) ![Image](images/08a9745c713c1bd55f51c8bc1100586d66cdaf56dd726a5c386efdedb725506d.jpg)
(a) UMI Demonstration
![Image](images/45b1bd1b425cd93ac58f3b8ce438d7bbb569760f60b11742aff931bd560f2912.jpg)
(b) Bare Hand Demonstration
(c) Teleoperation
![Image](images/962e3d77ba37f3d2326c646a93446ad6829889ab18fd80884b248cfe91afb71c.jpg)
(d) Throughput Comparison
Fig. 11: Data Collection Throughput Comparison among UMI, bare hand, and teleoperation with a space mouse. UMI is not only faster than traditional teleoperation but also able to perform tasks that were not possible with typical teleoperation interfaces (e.g., dynamic tossing).
![Image](images/1c7088b058e10ae4742e52dd6771a9d3ac4717054e2ad898bbc4d2e859a4d0e7.jpg)
SLAM Tracking Mean Error
Position (mm)Rotation (degree)
Per-gripper ATE6.13.5
Inter-gripper RPE10.10.8
Fig. 12: SLAM Accuracy. We evaluate the SLAM accuracy with a MoCap benchmark including 7 single-gripper tasks and 7 bimanual tasks. Overall, we can achieve less than 1 cm and $4^{\circ}$ tracking error.
本实验还将自碰撞等情况也纳入统计，以便准确反映真实世界中的数据采集效率。 在杯子摆放任务中，UMI夹爪的速度比远程操作方法快$3 \times$以上，达到人手速度的48%，如图11(d)所示。需要注意的是，由于人距离物体更近，因此在重置和随机化环节上速度明显更快。在动态抛掷任务中，UMI夹爪的速度为人手速度的64%，而远程操作方法在15分钟内未能产生一次成功的演示。 准确性：为了独立评估我们基于SLAM的跟踪系统的准确性，我们收集了一个包含动作捕捉基准真值的SLAM基准数据集。该数据集包含7个单夹爪任务和7个双夹爪任务，其中均有各种可移动物体入镜，且涵盖了自然、快速的人体动作。如图12所示，我们的SLAM系统在位置上的平均绝对轨迹误差（ATE）为6.1毫米，旋转误差为3.5°。由于两个夹爪均基于同一地图定位，我们还能获得两个夹爪之间的相对姿态（即夹爪间姿态PD2.3）。两个夹爪之间的平均相对姿态误差（RPE）在位置上为10.1毫米，旋转上为0.8°。 ### 八、局限性与未来工作 尽管UMI在各类任务和场景中均展现出良好的策略效能，但仍存在一些局限性。首先，由于数据采集阶段无法获知下游部署机器人的运动学限制，我们依靠数据过滤来确保所生成策略的运动学可行性。未来的研究可以开发一种考虑实体特性的策略学习框架，从而能够将技能从物理上可行但硬件上不可行的动作中迁移过来。 其次，我们基于SLAM的动作恢复系统继承了视觉SLAM对环境中足够纹理的要求。未来的研究可以利用静态的第三人称视角摄像头，再结合安装在UMI夹爪上的额外基准标记，即便在墙壁为纯白色等纹理匮乏的环境中也能恢复动作。 第三，如第VII节所示，使用UMI夹爪采集数据的效率仍低于人类手工演示。这一方面是由于夹爪的重量和体积较大，另一方面是因为其自由度的数量少于人类手部。未来的研究可以探索更轻质的材料，进一步改进UMI夹爪的机械设计和人体工程学特性；或者也可以研发具备足够能力的灵巧机械手及相应策略，使其能直接从人类动作中迁移学习。 ### 九、结论 我们提出了通用操控接口（Universal Manipulation Interface, UMI），该框架能够直接从野外采集的人类演示数据中学习具备强大能力且可泛化的操控策略。UMI夹爪作为一种手持式演示接口，能够捕获足够的信息来学习一些具有挑战性的操控任务，包括清洗脏盘子、双手叠毛衣以及动态物体的投掷与分类。同时，凭借其便携性、低成本和操作简便性，UMI在野外数据采集方面具有极高的扩展性。由于所有信息都被记录在一个标准化的MP4文件中，UMI采集的数据可通过互联网轻松共享，从而能够从大量非专业演示者那里收集到地理分布广泛的数据。我们的目标是让机器人数据采集实现大众化，推动机器人领域涌现出庞大、多样且去中心化的数据集。 --- ## 致谢 本研究部分得到了丰田研究院、美国国家科学基金会项目#2037101和#2132519的支持。我们要感谢谷歌和丰田研究院提供的UR5机器人，也要感谢IRIS和IPRLab提供的Franka机器人硬件。本文所陈述的观点和结论是作者们的观点，并不一定代表资助方的官方政策，无论明示或暗示均如此。 我们要感谢Andy Zeng、Pete Florance、Huy Ha、Yihuai Gao、Samir Gadre、Mandi Zhao、Mengda Xu、Alper Canberk、Kevin Zakka、Zeyi Liu、Dominik Bauer、Tony Zhao、Zipeng Fu和Lucy Shi，感谢他们的深入讨论。感谢Alex Alspach、Brandan Hathaway、Aimee Goncalves、Phoebe Horgan和Jarod Wilson在硬件设计与原型制作方面的帮助。感谢Naveen Kuppuswamy、Dale McConachie和Calder Phillips-Graffine在底层控制器方面的协助。感谢John Lenard、Frank Michel、Charles Richter和Xiang Li在SLAM方面的建议。感谢Eric Dusel、Nwabisi C.和Letica Priebe Rocha在动作捕捉数据集采集方面的帮助。感谢Chen Wang、Zhou Xian、Moo Jin Kim和Marion Lepert在Franka设备设置方面的协助。我们尤其要感谢Steffen Urban在GoPro SLAM和相机-惯性测量单元校准方面的开源项目，以及John @ 3D printing world对夹爪结构的灵感启发。 ## 参考文献 [^1]: Shikhar Bahl, Abhinav Gupta, and Deepak Pathak. Human-to-robot imitation in the wild. In Proceedings of Robotics: Science and Systems (RSS), 2022. [^2]: Shikhar Bahl, Russell Mendonca, Lili Chen, Unnat Jain, and Deepak Pathak. Affordances from human videos as a versatile representation for robotics. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 13778–13790, 2023. [^3]: Anthony Brohan, Noah Brown, Justice Carbajal, Yevgen Chebotar, Joseph Dabis, Chelsea Finn, Keerthana Gopalakrishnan, Karol Hausman, Alex Herzog, Jasmine Hsu, et al. Rt-1: Robotics transformer for real-world control at scale. In Proceedings of Robotics: Science and Systems (RSS), 2023. [^4]: Anais Brygo, Ioannis Sarakoglou, Nadia Garcia-Hernandez, and Nikolaos Tsagarakis. Humanoid robot teleoperation with vibrotactile based balancing feedback. In Haptics: Neuroscience, Devices, Modeling, and Applications: 9th International Conference, EuroHaptics 2014, Versailles, France, June 24-26, 2014, Proceedings, Part II 9, pages 266–275. Springer, 2014. [^5]: Berk Calli, Arjun Singh, Aaron Walsman, Siddhartha Srinivasa, Pieter Abbeel, and Aaron M. Dollar. The ycb object and model set: Towards common benchmarks for manipulation research. In 2015 International Conference on Advanced Robotics (ICAR), pages 510–517, 2015. doi: 10.1109/ICAR.2015.7251504. [^6]: Carlos Campos, Richard Elvira, Juan J Gómez Rodríguez, José MM Montiel, and Juan D Tardós. Orb-slam3：一个用于视觉、视觉惯性以及多地图SLAM的精确开源库。《IEEE机器人学汇刊》，37卷第6期：1874–1890页，2021年。 [^7]: Carlos Campos, Richard Elvira, Juan J. Gómez Rodríguez, José M. M. Montiel, and Juan D. Tardós. Orb-slam3: An accurate open-source library for visual, visual-inertial, and multimap slam. IEEE Transactions on Robotics, 37(6):1874–1890, 2021. doi: 10.1109/TRO.2021.3075644. [^8]: Annie S Chen, Suraj Nair, and Chelsea Finn. Learning generalizable robotic reward functions from “in-the-wild” human videos. In Proceedings of Robotics: Science and Systems (RSS), 2021. [^9]: Cheng Chi, Siyuan Feng, Yilun Du, Zhenjia Xu, Eric Cousineau, Benjamin Burchfiel, and Shuran Song. Diffusion policy: Visuomotor policy learning via action diffusion. In Proceedings of Robotics: Science and Systems (RSS), 2023. [^10]: Kiran Doshi, Yijiang Huang, and Stelian Coros. On hand-held grippers and the morphological gap in human manipulation demonstration. arXiv preprint arXiv:2311.01832, 2023. [^11]: Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, Jakob Uszkoreit, and Neil Houlsby. An image is worth 16x16 words: Transformers for image recognition at scale. In International Conference on Learning Representations, 2021. [^12]: Jiafei Duan, Yi Ru Wang, Mohit Shridhar, Dieter Fox, and Ranjay Krishna. Ar2-d2: Training a robot without a robot. arXiv preprint arXiv:2306.13818, 2023. [^13]: Frederik Ebert, Yanlai Yang, Karl Schmeckpeper, Bernadette Bucher, Georgios Georgakis, Kostas Danilidis, Chelsea Finn, and Sergey Levine. Bridge data: Boosting generalization of robotic skills with cross-domain datasets. In Proceedings of Robotics: Science and Systems (RSS), 2022. [^14]: Hongjie Fang, Hao-Shu Fang, Yiming Wang, Jieji Ren, Jingjing Chen, Ruo Zhang, Weiming Wang, and Cewu Lu. Low-cost exoskeletons for learning whole-arm manipulation in the wild. arXiv preprint arXiv:2309.14975, 2023. [^15]: Zipeng Fu, Tony Z Zhao, and Chelsea Finn. Mobile aloha: Learning bimanual mobile manipulation with low-cost whole-body teleoperation. arXiv preprint arXiv:2401.02117, 2024. [^16]: S. Garrido-Jurado, R. Muñoz-Salinas, F.J. Madrid-Cuevas, and M.J. Marín-Jiménez. Automatic generation and detection of highly reliable fiducial markers under occlusion. Pattern Recognition, 47(6):2280–2292, 2014. ISSN 0031-3203. doi: . URL . ## [^17]: Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. corr --- abs/1512.03385（2015年），2015年。 [^18]: GoPro Inc. Gpmf introduction: Parser for gpmf™ formatted telemetry data used within gopro® cameras. . Accessed: 2023-01-31. [^19]: Eric Jang, Alex Irpan, Mohi Khansari, Daniel Kappler, Frederik Ebert, Corey Lynch, Sergey Levine, and Chelsea Finn. Bc-z: Zero-shot task generalization with robotic imitation learning. In Conference on Robot Learning (CoRL), volume 164, pages 991–1002. PMLR, 2022. [^20]: Moo Jin Kim, Jiajun Wu, and Chelsea Finn. Giving robots a hand: Broadening generalization via hand-centric human video demonstrations. In Deep Reinforcement Learning Workshop NeurIPS, 2022. [^21]: Yecheng Jason Ma, Shagun Sodhani, Dinesh Jayaraman, Osbert Bastani, Vikash Kumar, and Amy Zhang. VIP: Towards universal visual reward and representation via value-implicit pre-training. In The Eleventh International Conference on Learning Representations, 2023. [^22]: Ajay Mandlekar, Yuke Zhu, Animesh Garg, Jonathan Booher, Max Spero, Albert Tung, Julian Gao, John Emmons, Anchit Gupta, Emre Orbay, et al. Roboturk: A crowdsourcing platform for robotic skill learning through imitation. In Conference on Robot Learning (CoRL), volume 87, pages 879–893. PMLR, 2018. [^23]: Suraj Nair, Aravind Rajeswaran, Vikash Kumar, Chelsea Finn, and Abhinav Gupta. R3m: A universal visual representation for robot manipulation. In Proceedings of The 6th Conference on Robot Learning (CoRL), volume 205, pages 892–909. PMLR, 2022. [^24]: Chuer Pan, Brian Okorn, Harry Zhang, Ben Eisner, and David Held. Tax-pose: Task-specific cross-pose estimation for robot manipulation. In Proceedings of The 6th Conference on Robot Learning (CoRL), volume 205, pages 1783–1792. PMLR, 2023. [^25]: Jyothish Pari, Nur Muhammad Shafiullah, Sridhar Pandian Arunachalam, and Lerrel Pinto. The surprising effectiveness of representation learning for visual imitation. In Proceedings of Robotics: Science and Systems (RSS), 2022. [^26]: Luka Peternel and Jan Babič. Learning of compliant human-robot interaction using full-body haptic interface. Advanced Robotics, 27(13):1003–1012, 2013. [^27]: Pragathi Praveena, Guru Subramani, Bilge Mutlu, and Michael Gleicher. Characterizing input methods for human-to-robot demonstrations. In 2019 14th ACM/IEEE International Conference on Human-Robot Interaction (HRI), pages 344–353. IEEE, 2019. [^28]: Yuzhe Qin, Yueh-Hua Wu, Shaowei Liu, Hanwen Jiang, Ruihan Yang, Yang Fu, and Xiaolong Wang. Dexmv: Imitation learning for dexterous manipulation from human videos. In European Conference on Computer Vision, pages 570–587. Springer, 2022. [^29]: Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, et al. Learning transferable visual models from natural lan- 语言监督技术。载于《国际机器学习会议》，第8748–8763页。PMLR出版社，2021年。 [^30]: Harish Ravichandar, Athanasios S Polydoros, Sonia Chernova, and Aude Billard. Recent advances in robot learning from demonstration. Annual review of control, robotics, and autonomous systems, 3:297–330, 2020. [^31]: Erick Rosete-Beas, Oier Mees, Gabriel Kalweit, Joschka Boedecker, and Wolfram Burgard. Latent plans for task-agnostic offline reinforcement learning. In Proceedings of The 6th Conference on Robot Learning (CoRL), volume 205, pages 1838–1849. PMLR, 2023. [^32]: Felipe Sanches, Geng Gao, Nathan Elangovan, Ricardo V Godoy, Jayden Chapman, Ke Wang, Patrick Jarvis, and Minas Liarokapis. Scalable. intuitive human to robot skill transfer with wearable human machine interfaces: On complex, dexterous tasks. In 2023 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pages 6318–6325. IEEE, 2023. [^33]: Karl Schmeckpeper, Annie Xie, Oleh Rybkin, Stephen Tian, Kostas Daniilidis, Sergey Levine, and Chelsea Finn. Learning predictive models from observation and interaction. In European Conference on Computer Vision, pages 708–725. Springer, 2020. [^34]: Karl Schmeckpeper, Oleh Rybkin, Kostas Daniilidis, Sergey Levine, and Chelsea Finn. Reinforcement learning with videos: Combining offline observations with interaction. In Proceedings of the 2020 Conference on Robot Learning (CoRL), volume 155, pages 339–354. PMLR, 2021. [^35]: Mingyo Seo, Steve Han, Kyutae Sim, Seung Hyeon Bang, Carlos Gonzalez, Luis Sentis, and Yuke Zhu. Deep imitation learning for humanoid loco-manipulation through human teleoperation. In 2023 IEEE-RAS 22nd International Conference on Humanoid Robots (Humanoids), pages 1–8. IEEE, 2023. [^36]: Nur Muhammad Mahi Shafiullah, Anant Rai, Haritheja Etukuru, Yiqian Liu, Ishan Misra, Soumith Chintala, and Lerrel Pinto. On bringing robots home. arXiv preprint arXiv:2311.16098, 2023. [^37]: Lin Shao, Toki Migimatsu, Qiang Zhang, Karen Yang, and Jeannette Bohg. Concept2robot: Learning manipulation concepts from instructions and human demonstrations. The International Journal of Robotics Research, 40(12-14):1419–1434, 2021. [^38]: Kenneth Shaw, Shikhar Bahl, and Deepak Pathak. Videodex: Learning dexterity from internet videos. In Proceedings of The 6th Conference on Robot Learning (CoRL), volume 205, pages 654–665. PMLR, 2023. [^39]: William Shen, Ge Yang, Alan Yu, Jansen Wong, Leslie Pack Kaelbling, and Phillip Isola. Distilled feature fields enable few-shot language-guided manipulation. In Proceedings of The 7th Conference on Robot Learning (CoRL), volume 229, pages 405–424. PMLR, 2023. ## [^40]: Anthony Simeonov, Yilun Du, Andrea Tagliasacchi, Joshua B Tenenbaum, Alberto Rodriguez, Pulkit Agrawal, and Vincent Sitzmann. Neural descriptor fields --- 用于操控任务的Se(3)等变物体表征。载于2022年国际机器人与自动化会议（ICRA），第6394–6400页。IEEE出版社，2022年。 [^41]: Shuran Song, Andy Zeng, Johnny Lee, and Thomas Funkhouser. Grasping in the wild: Learning 6dof closed-loop grasping from low-cost demonstrations. Robotics and Automation Letters, 2020. [^42]: H.J. Terry Suh, Naveen Kuppuswamy, Tao Pang, Paul Mitiguy, Alex Alspach, and Russ Tedrake. SEED: Series elastic end effectors in 6d for visuotactile tool use. In 2022 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pages 4684–4691, 2022. doi:10.1109/IROS47612.2022.9982092. [^43]: Alexander Toedtheide, Xiao Chen, Hamid Sadeghian, Abdeldjalil Naceri, and Sami Haddadin. A force-sensitive exoskeleton for teleoperation: An application in elderly care robotics. In 2023 IEEE International Conference on Robotics and Automation (ICRA), pages 12624–12630. IEEE, 2023. [^44]: Chen Wang, Linxi Fan, Jiankai Sun, Ruohan Zhang, Li Fei-Fei, Danfei Xu, Yuke Zhu, and Anima Anand-kumar. Mimicplay: Long-horizon imitation learning by watching human play. In Proceedings of The 7th Conference on Robot Learning (CoRL), volume 229, pages 201–221. PMLR, 2023. [^45]: Chen Wang, Haochen Shi, Weizhuo Wang, Ruohan Zhang, Li Fei-Fei, and C Karen Liu. Dexcap: Scalable and portable mocap data collection system for dexterous manipulation. arXiv preprint arXiv:2403.07788, 2024. [^46]: Josiah Wong, Albert Tung, Andrey Kurenkov, Ajay Mandlekar, Li Fei-Fei, Silvio Savarese, and Roberto Martín-Martín. Error-aware imitation learning from teleoperation data for mobile manipulation. In Proceedings of the 5th Conference on Robot Learning (CoRL), volume 164, pages 1367–1378. PMLR, 2022. [^47]: Philipp Wu, Fred Shentu, Xingyu Lin, and Pieter Abbeel. GELLO: A general, low-cost, and intuitive teleoperation framework for robot manipulators. In Towards Generalist Robots: Learning Paradigms for Scalable Skill Acquisition @ CoRL2023, 2023. [^48]: Keenan A Wyrobek, Eric H Berger, HF Machiel Van der Loos, and J Kenneth Salisbury. Towards a personal robotics development platform: Rationale and design of an intrinsically safe personal robot. In 2008 IEEE International Conference on Robotics and Automation, pages 2165–2170. IEEE, 2008. [^49]: Tete Xiao, Ilija Radosavovic, Trevor Darrell, and Jitendra Malik. Masked visual pre-training for motor control. arXiv:2203.06173, 2022. [^50]: Haoyu Xiong, Quanzhou Li, Yun-Chun Chen, Homanga Bharadhwaj, Samarth Sinha, and Animesh Garg. Learning by watching: Physical imitation of manipulation skills from human videos. In 2021 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pages 7827–7834. IEEE, 2021. [^51]: Sarah Young, Dhiraj Gandhi, Shubham Tulsiani, Abhinav Gupta、Pieter Abbeel和Lerrel Pinto。简化视觉模仿过程。载于机器人学习会议（CoRL），第155卷，第1992–2005页。PMLR出版社，2021年。 [^52]: Tianhao Zhang, Zoe McCarthy, Owen Jow, Dennis Lee, Xi Chen, Ken Goldberg, and Pieter Abbeel. Deep imitation learning for complex manipulation tasks from virtual reality teleoperation. In 2018 IEEE International Conference on Robotics and Automation (ICRA), pages 5628–5635. IEEE, 2018. [^53]: Zichao Zhang, Henri Rebecq, Christian Forster, and Davide Scaramuzza. Benefit of large field-of-view cameras for visual odometry. In 2016 IEEE International Conference on Robotics and Automation (ICRA), pages 801–808, 2016. doi: 10.1109/ICRA.2016.7487210. [^54]: Tony Z Zhao, Vikash Kumar, Sergey Levine, and Chelsea Finn. Learning fine-grained bimanual manipulation with low-cost hardware. In Proceedings of Robotics: Science and Systems (RSS), 2023. [^55]: Yifeng Zhu, Abhishek Joshi, Peter Stone, and Yuke Zhu. Viola: Imitation learning for vision-based manipulation with object proposal priors. In Proceedings of The 6th Conference on Robot Learning (CoRL), volume 205, pages 1199–1210. PMLR, 2023.