# Open-TeleVision：具备沉浸式主动视觉反馈的遥操作技术
程旭欣 $^{*1}$ 李佳龙 $^{*1}$ 杨诗琪 $^{1}$ 杨戈 $^{2}$ 王晓龙 $^{1}$
加州大学圣地亚哥分校 $^{1}$ 麻省理工学院 $^{2}$
Autonomous
Teleoperation
Figure 1: Autonomous and teleoperated sessions using our setup. a-e: robots executing long-horizon precision-sensitive tasks autonomously. f-j: robots executing fine-grained tasks with our immersive teleoperation system. a: unloading, in-hand passing; b: H1 can-sorting; c: GR-1 cansorting; d: can-insertion; e: towel folding; f: earplugs packing; g: drilling; h: pipetting; i: two operators teleoperate two robots interactively. The operator of H1 robot is at Boston while both robots and GR-1 operator are at San Diego (approximately 3000 miles away). j: interactions with humans.
摘要：遥操作是收集机器人学习所需在机数据的重要方法。遥操作系统的直观性和易用性对于确保数据的质量、多样性和可扩展性至关重要。为此，我们提出了一种沉浸式遥操作系统Open-TeleVision，它允许操作员以立体方式主动感知机器人的周围环境。此外，该系统会将操作员的手臂和手部动作同步映射到机器人上，营造出仿佛操作员意识被传输到机器人躯体中的沉浸式体验。我们通过收集数据并在四种长时序、高精度任务（罐头分类、罐头插入、折叠和卸货）上为2种不同的人形机器人训练模仿学习策略，来验证系统的有效性，随后还将其部署到现实世界中。该系统已开源，链接为：
---
Figure 2: Teleoperated data collection and learning setup. Left: our teleoperation system. VR devices stream the hand, head, and wrist poses to the server. The server retargets the human poses to the robot and sends joint position targets to the robot. Right: we train an imitation policy for each task with action chunking transformer. The transformer encoder captures the relationship of image and proprioception tokens and the transformer decoder outputs action sequences of a certain chunk size.
## 1 引言
得益于大规模真实机器人数据 [^1] [^2]，基于学习的机器人操控技术在过去几年里取得了新进展。遥操作在模仿学习的数据收集中发挥着重要作用：它不仅能提供精准的操控演示，还能生成自然流畅的轨迹，使学得的策略能够适配新的环境配置和任务。目前已有多种遥操作方法被研究，包括使用VR设备 [^3] [^2] [^4] [^5]、RGB摄像头 [^6] [^7] [^8]、可穿戴手套 [^9] [^10] [^11]，以及定制硬件 [^12] [^13]。
大多数遥操作系统包含两大核心组件：驱动模块和感知模块。在驱动方面，采用关节映射的方式来操控机器人，能够实现高控制带宽和高精度 [^12] [^14] [^15]。但这种方式要求操作员与机器人处于同一物理位置，无法实现远程控制；且每种机器人硬件都需要搭配特定的遥操作硬件。更重要的是，这类系统尚无法操控多指灵巧手。在感知方面，最直接的方式是让操作员通过第三人称视角 [^7] [^6] [^3] 或第一人称视角 [^16] [^17] 观察机器人的任务空间。但这必然会导致遥操作过程中操作员视线被遮挡（例如被机器人手臂或躯干遮挡），操作员也无法确定所收集的演示数据是否包含了策略学习所需的视觉信息。尤其对于精细操控任务而言，遥操作员很难在操控过程中近距离、直观地观察物体。显示第三人称静态摄像头画面或在VR头盔中使用透视模式 [^3] [^2] [^18]，也会面临类似的挑战。
在本文中，我们提出重新审视配备VR设备的遥操作系统。我们推出了Open-TeleVision——一个通用框架，能够以高精度实现遥操作，适用于不同机器人及机械臂上的各类VR设备。我们在双臂操控任务中对两台仿人机器人进行了实验：一台是配备多指手部的Unitree H1 [^19]仿人机器人，另一台是配备夹爪的Fourier GR1 [^20]仿人机器人（见图1）。通过捕捉人类操作员的手部姿态，我们执行重定位操作，从而控制多指机器人手或平行夹爪。我们依靠运动学逆解算法，将操作员的手部根部位置转换为机器人手臂末端执行器的位置。
我们在精细操控方面的主要贡献源于感知技术，该技术将VR系统与主动视觉反馈相结合。我们在机器人头部安装了一台具备2或3个自由度驱动能力的主动立体RGB摄像头，模拟人类头部运动以观测更大的工作空间。在遥操作过程中，摄像头会随操作员头部一同移动，向VR设备实时传输以操作者为中心的3D观测数据。人类操作员能看到机器人所看到的内容。
---
(a) Head movements.
(b) Arm and hand movements.
Figure 3: Open-TeleVision enables high-DOF control of a head-mounted active camera and upper body movements. Left: the robot's head follows the movement of the operator, providing intuitive spatial perception. Right: the robot's arm and hand movements are mapped from the operator with IK and motion retargeting.
这种第一人称主动感知技术对遥操作和策略学习均有益处。对于遥操作而言，它为用户提供了一种更直观的机制：在移动机器人头部时能探索更广阔的视野，并聚焦于需要精细交互的重要区域。对于模仿学习而言，我们的策略会模仿如何同步移动机器人头部与执行操控动作。与采用进一步采集的静态视图作为输入不同，主动摄像头提供了一种自然的注意力机制，能够聚焦下一步操控相关的区域并减少需处理的像素数量，从而实现流畅、实时且精确的闭环控制。感知方面的另一项重要创新是将来自机器人视角的立体视频流传输至人眼。操作员能获得更好的空间理解能力，我们的实验表明这对完成任务至关重要。我们还证实，使用立体图像帧进行训练能提升策略的性能。
我们的实验遵循遥操作与模仿学习的范式。如图1所示，我们在两台机器人上开展了多项精细操控任务实验。在遥操作方面，我们从定性角度展示了使用主动摄像头能够实现更直观、更集中的观测；从定量角度则表明，流式立体视频能提升不同用户的任务成功率并缩短完成时间。在模仿学习方面，我们定量报告称主动摄像头感知能加快实时流畅控制的推理速度，而使用立体输入则能取得更好的操控性能。我们的策略能够完成长时序任务，例如依次插入多个罐头。我们系统的一项关键优势在于支持操作员通过互联网进行远程控制。其中一位作者、麻省理工学院的杨戈（位于东海岸）能够远程操控位于加州大学圣地亚哥分校（西海岸）的H1机器人。我们的网站上还收录了跨海岸遥操作的视频。
## 2 TeleVision系统
图2展示了我们的系统概览。我们基于Vuer [^21]开发了一台网页服务器。VR设备会将操作员的手部、头部及腕部在SE(3)空间中的姿态流式传输至服务器，由服务器负责人类动作到机器人动作的重新定位。图3展示了机器人的头部、手臂和手部如何跟随人类操作员的动作。反过来，机器人会以$480 \times 640$的分辨率向每只眼睛传输立体视频。整个循环的频率达到60 Hz。虽然我们的系统不局限于特定型号的VR设备，但本文中我们选择Apple VisionPro作为VR设备平台。
硬件方面：我们选用了如图4所示的两台人形机器人：Unitree H1 [^19] 和 Fourier GR-1 [^20]。我们仅利用它们的主动感知颈部、两个7自由度机械臂以及末端执行器，其他自由度则不予使用。H1的每只手拥有6个自由度（源自 [^22]），而GR-1则配备了一个1自由度的颚式夹爪。为了实现主动感知功能，我们在H1的躯干顶部安装了一个具备两个旋转自由度（偏航和俯仰）的云台。该云台由3D打印部件组装而成，并由DYNAMIXEL XL330-M288-T电机 [^23] 驱动。对于GR-1而言，我们直接使用制造商提供的具备3个自由度（偏航、横滚和俯仰）的颈部结构。两台机器人都配备了ZED Mini [^24] 立体相机，用于提供立体RGB视频流。我们在系统中主要选用人形机器人，是因为当前系统在遥操作过程中存在的遮挡问题以及缺乏直观性最为突出。虽然我们的系统
---
Figure 4: Reference design of Open-TeleVision on two types of hardware. Left: Unitree H1 [^19] with 6 DoF Inspire [^22] hands. The head contains yaw and pitch motors. Right: Fourier GR-1 [^20] with jaw gripper. The active neck is from the manufacturer with yaw roll and pitch motors.
是专门为人形机器人设计的，旨在最大化沉浸式遥操作体验的能力，但它也具备足够的通用性，可应用于任何配备双臂和相机的系统。
机械臂控制：首先会将人类手腕的姿态转换到机器人的坐标系下。具体而言，希望机器人末端执行器与机器人头部之间的相对位置，能与人类手腕与头部之间的相对位置相匹配。机器人手腕的方向则与人类手腕的绝对方向保持一致，这一方向是在Apple VisionPro手部追踪后端初始化时估算得出的。对末端执行器的位置和方向采取这种差异化的处理方式，能够确保当机器人头部随人类头部移动时，机器人末端执行器仍能保持稳定。我们采用基于Pinocchio [^25] [^26] [^27] 的闭环逆运动学（CLiK）算法来计算机器人机械臂的关节角度。输入的末端执行器姿态会通过SE(3)群滤波器进行平滑处理，该滤波器借助Pinocchio的SE(3)插值功能实现，从而提升逆运动学算法的稳定性。为了进一步降低逆运动学计算失败的风险，当机械臂的可操纵性接近极限时，我们的实现方案中会引入关节角度偏移量。这种校正操作对末端执行器的跟踪性能影响极小，因为偏移量会被投影到机器人机械臂雅可比矩阵的零空间内，从而在满足约束条件的同时保持跟踪精度。
手部控制：通过dex-retargeting库 [^6] 将人类手部关键点转换为机器人关节角度指令，该库是一款功能强大且计算速度快的运动映射库。我们的方法在灵巧手和夹爪结构上均运用了向量优化器。向量优化器会将映射问题表述为一个优化问题 [^6] [^28]，而优化的依据则是用户选定的向量：
$$ \min_{q_{t}}\sum_{i=0}^{N}||\alpha v_{t}^{i}-f_{i}(q_{t})||^{2}+\beta||q_{t}-q_{t-1}||^{2}. $$
在上述公式中，$q_t$ 表示时间 t 时的机器人关节角度，而 $v_t^i$ 则是人手上第 i 个关键点的向量。函数 $f_i(q_t)$ 利用关节角度 $q_t$ 通过正运动学计算出机器人手上第 i 个关键点的向量。参数 $\alpha$ 是一个缩放因子，用于补偿人手与机器人手之间的尺寸差异（对于 Inspire 手，我们将其设为 1.1）。参数 $\beta$ 用于对惩罚项进行加权，以确保相邻步骤间的时间一致性。优化过程采用序列最小二乘二次规划（SLSQP）算法 [^29] 实时进行，该算法在 NLopt 库 [^30] 中得以实现。正运动学及其导数的计算则在 Pinocchio [^26] 中完成。
对于灵巧手，我们使用七个向量来同步人手与机器人手：其中五个向量表示手腕与各指尖关键点之间的相对位置；另外两个向量从拇指指尖延伸至主指尖（食指和中指），旨在提升精细操作时的运动精度。对于夹持器而言，优化是通过单个向量实现的，该向量定义于人的拇指与食指之间。这个向量与夹持器上下两端间的相对位置对齐，从而只需通过操作者的食指与拇指捏合动作，就能直观地控制夹持器的开合。
---
(a) 机器人拾起随机放置的罐子（#1），将红色罐子放入左侧盒子（#2），再拾起下一个罐子（#3），将绿色罐子放入右侧盒子（#4）。当桌子边缘的分拣盒为空（如 #1、#3 所示）且桌上没有更多罐子时，机器人会做出结束手势（End）。
(b) GR-1 robot doing the same Can Sorting task as in Fig. 5a.
罐子插入
(c) The robot picks up the can (#1), inserts the can into the slot (#2), uses the other hand to repeat picking and inserting (#3, #4). When all six slots have been filled, the robot poses the ending gesture (End).
毛巾折叠
(d) The robot picks up the two corners of the towel (#1), folds the towel (#2), gently moves the towel to the edge of the table (#3), folds the towel twice (#4). When the towel has been folded into a satisfactory configuration, the robot poses the ending gesture (End).
卸货
(e) The robot extracts the tube from a random slot (#1, #4), passes from right hand to left (#2), places the tube in the designated position (#3). When there is not a tube anymore, the robot poses the ending gesture (End).
Figure 5: Data collection using H1 on four tasks. Each row represents one task. At the end of each task, the operator postures to the same ending gesture to signify the successful completion of one demonstration. Then our system will stop recording data. We do not crop the ending gesture from our dataset. The learned policy can successfully react to ending conditions.
## 3 实验
在本节中，我们旨在回答以下问题：
• 系统的关键设计选择对模仿学习结果的性能有何影响？
• 我们的遥操作系统在数据采集方面的效果如何？
我们选择 ACT [^12] 作为模仿学习算法，并做了两项关键修改。首先，我们用更强大的视觉骨干网络 DinoV2 [^31] [^32] 替换了 ResNet，这是一种通过自监督学习得到的预训练视觉Transformer（ViT）。其次，我们使用两张立体图像而非四张单独排列的 RGB 相机图像作为 Transformer 编码器的输入。DinoV2 骨干网络为每张图像生成 $16 \times 22$ 个标记。状态标记是从机器人当前的关节位置投影而来的。我们将绝对关节位置用作动作空间。对于 H1 机器人，动作维度为 28（每条臂 7 维，每只手 6 维，颈部活动维度为 2）。对于 GR-1 机器人，动作维度为 19（每条臂 7 维，每个夹持器 1 维，颈部活动维度为 3）。本体感知标记是从相应的关节位置读数投影而来的。
---
对于 H1 机器人，动作维度为 28（每条臂 7 维，每只手 6 维，颈部活动维度为 2）。对于 GR-1 机器人，动作维度为 19（每条臂 7 维，每个夹持器 1 维，颈部活动维度为 3）。本体感知标记是从相应的关节位置读数投影而来的。
我们在图5中选取了四项任务来展示所提出的遥操作系统的有效性，这些任务着重考察精度、泛化能力和长时程表现。这些任务要求利用单个主动摄像头在工作区左右方进行主动观察，否则就需要在桌面上布置多摄像头系统。此外，它们还涉及大量的物体位置随机化以及不同的操控策略。我们通过对这四项任务开展用户研究，并将结果与人类执行相同任务的情况进行比较，进一步展示了数据收集的直观性与高效性。具体任务如下：
易拉罐分类：如图5a所示，该任务要求在桌面上对随机摆放的可乐罐（红色）和雪碧罐（绿色）进行分类。罐子会逐个被放置在桌上，位置和类型（可乐或雪碧）均为随机。目标是将桌上的每个罐子捡起并扔进指定的盒子：左边放可乐罐，右边放雪碧罐。完成这项任务需要机器人能够根据每个罐子的位置和朝向自适应地调整以精准抓取。同时，策略还需能根据当前所持罐子的颜色来调整规划的动作。每一轮任务需连续分类10个罐子（随机包含5个雪碧罐和5个可乐罐）。
易拉罐插入：如图5c所示，该任务要求从桌上捡起软饮料罐，并按照预定顺序将其小心地插入容器内的插槽中。虽然这项任务与之前的任务都涉及饮料罐的操控，但前者需要更精确、更精细的动作，因为成功插入需要极高的准确度。此外，这项任务采用了不同的抓取策略。在之前的易拉罐分类任务中，机器人只需将罐子扔进指定区域，因此我们采用的抓取方式是手掌和五指共同配合，这种策略容错率高但精确度较低。而在这项任务中，由于要将罐子插入仅比罐身稍大的插槽（易拉罐直径约为5.6厘米，插槽直径约为7.6厘米），我们采用了类似捏取的策略，仅用拇指和食指操作，从而能对罐子的放置位置进行更精细的调整。这两种截然不同的抓取策略表明，我们的系统能够完成对手部动作要求复杂的任务。这一任务的每一轮需将全部六个罐子捡起并放入对应的插槽中。
折叠任务：如图5d所示，该任务要求将毛巾折叠两次。这项任务的独特之处在于它体现了系统操控像毛巾这类柔软且具形变能力的材料的能力。其动作流程如下：捏住毛巾的两个角；提起并折叠；轻轻将毛巾移至桌边为第二次折叠做准备；再次捏住、提起并折叠。这一任务的每一轮即完成一次完整的毛巾折叠。
卸货任务：如图5e所示，这是一项复合操作，包含管状物体提取和手持传递两个环节。在该任务中，一个芯片管会被随机放入分拣盒的四个插槽之一。目标是找到装有管子的插槽，用右手取出管子，再传递给左手并将管子放置到预定位置。要成功执行这项任务，机器人既需要视觉推理能力来识别管子的位置，也需要精准的动作协调能力来完成提取和手持传递。这一任务的每一轮需从四个随机插槽中捡起4根管子，传递给另一只手，最后将它们放在桌上。
### 3.1 模仿学习结果
我们摒弃了系统的关键设计选择，并通过真实世界的实验展示了它们的有效性。两个基线模型分别是使用原始ACT视觉骨干网络ImageNet预训练ResNet18的模型[^33]，以及仅采用左图像视觉令牌而非双图像的“无立体输入”模型。所有模型均使用AdamW优化器进行训练[^34] [^35]，学习率为$5e^{-5}$，批量大小为45，在单张RTX 4090 GPU上迭代训练25k次。我们在H1和GR-1机器人上进行了罐头分类任务测试；其他任务则仅在H1机器人上进行。
从表1所示的实验结果中可以发现，原始的ResNet骨干网络（ImageNet预训练）无法充分完成全部四项任务。在原始的ACT实现中，使用了四个摄像头（两个固定摄像头、两个安装在手腕上的摄像头）来弥补使用RGB图像时空间信息获取的不足。
---
| Baselines | H1 Can Sorting | GR-1 Can Sorting | Can Insertion |
| Pick | Place | Pick | Place | Pick | Insert |
| w. DinoV2 (Ours) | 92% | 88% | 87% | 60% | 90% | 87% |
| w. ResNet18 | 74% | 58% | 83% | 50% | 53% | 70% |
| w/o Stereo Input | 46% | 52% | 73% | 63% | 47% | 63% |
| Baselines | Folding | Unloading |
| Lift | Fold | Move | Fold | Extract | Pass | Place |
| w. DinoV2 (Ours) | 100% | 100% | 100% | 100% | 100% | 100% | 100% |
| w. ResNet18 | 100% | 100% | 100% | 100% | 85% | 100% | 95% |
| w/o Stereo Input | 100% | 100% | 60% | 100% | 70% | 95% | 100% |
Table 1: Success rate of autonomous policy. We record 5 real-world episodes for each task. Each episode contains a complete task cycle defined in Sec. 3. On GR-1, each Can Sorting roll-out contains 6 pickings and 6 placings, accumulating 30 trials for each sub-task.
我们的设置仅涉及两个立体RGB摄像头，这可能会使ResNet骨干网络获取空间信息变得更加困难。
罐头分类任务：我们分别评估拾取罐头的成功率以及将其放入指定盒子的准确性。根据表1中H1机器人的测试结果，我们的模型在这两项评价指标上均表现最佳。“使用ResNet18”模型在拾取和分类环节的表现明显较差，这很可能源于其骨干网络的局限性。由于缺乏立体输入提供的隐式深度信息，“无立体输入”模型无法成功拾取罐头（成功率为23/50）。其较低的分类准确性（26/50）与前期表现不佳密切相关——实验人员经常需要协助它抓取罐头，而这种操作会干扰视觉推理过程。
表1也记录了GR-1机器人执行罐头分类任务的结果。在拾取子任务中，我们的模型始终优于另外两种基线模型；但在放置子任务中，所有模型都未能达到理想准确度。这一现象可归因于灵巧手与夹爪之间的形态差异：当机器人手抓取罐头时，摄像头能够识别罐头的颜色并据此采取行动；相比之下，夹爪抓取罐头时，由于严重遮挡，摄像头几乎无法辨认颜色（见图5b），从而增加了视觉推理的难度。另一个局限在于，ACT进行长时程推理的能力取决于其分块大小。在我们的设置中，采用60 Hz的推理频率且分块大小为60，实际上只为机器人提供了1秒的记忆时间；当机器人需要在没有直接视觉确认的情况下放下罐头时，它很可能已经忘记了拾取时刻可见的罐头颜色。
罐头插入任务：我们分别评估拾取和插入的成功率。结果（见表1）表明，我们的模型在这两项指标上均优于基线模型。仅用两根手指捏起易拉罐并调整其姿态以使其适配插槽，这一过程需要以空间推理为基础的精准控制能力，而“无立体输入”模型明显不具备这种能力。
折叠任务：我们根据策略执行两次连续折叠且不掉落毛巾的能力来评估其成功率。结果如表1所示。我们的模型和w. ResNet18模型在折叠任务中均达到了100%的成功率。我们推测，所有模型在该任务中之所以能取得高成功率，是因为其动作具有高度重复性。另一方面，无立体输入的情况下，机器人有时会在第三阶段失败（共5次中有2次失败），这一阶段要求机器人将毛巾轻轻移至桌边以完成第二次折叠。我们观察到，无立体输入的模型往往会用过大的力按压桌面，从而阻碍了毛巾的正常移动。这很可能是由于仅使用单张RGB图像时缺乏深度信息所致——该步骤需要机器人根据与桌面的距离来调整手部施加的力。
卸货任务：我们分别对三个连续阶段——取出管子、手持传递和放置——的成功率进行评估。如表1所示，我们的模型在这三个阶段均达到了100%的成功率。
---
Figure 7: Comparison between wide-angle lenses and cropped views. Left: H1 Can Sorting. Right: Unloading. Wide angle images are of resolution $1280 \times 720$ and have a $102^{\circ}(H)$ x $57^{\circ}(V)$ field-of-view. Cropped images are cropped from the bottom middle from the original wide-angle images, and are of resolution 640x480. Red marks are the points of interests (PoIs) for the tasks. For Can Sorting, the PoIs are the bin with cans to be sorted, pick location, coke bin and sprite bin. For Unloading, the PoIs are tube slot, in-hand passing, and the drop location.
在这三个阶段中，w. ResNet18模型和无立体输入的模型在从特定插槽中取出管子时均会失败（分别有20次中的3次和6次失败）。对于无立体输入的模型而言，取管尤其困难，部分原因是它无法准确估计管子与手之间的相对方位。手持传递和放置相对简单，因为这两个阶段在数据收集过程中随机性较低。尽管如此，w. ResNet18模型和无立体输入的模型偶尔仍会在这些阶段失败（均为20次中的1次），而我们的模型却能毫无差错地完成这两个阶段。
### 3.2 泛化能力
我们评估了模型在随机条件下的泛化能力。在使用H1机器人进行的罐头分类任务中，我们测试了其在4×4网格中拾取物体的成功率，每个单元格的尺寸为3厘米，如图6（左）所示。详细结果见图6（右），表明我们的策略能够很好地泛化到数据集中覆盖的大面积区域，且保持100%的成功率。即便是在演示中罕见或不存在的边缘区域，我们的模型仍展现出适应性，能够完成抓取操作。
Figure 6: Distribution of can placements. Left: The cans are placed in a f $4 \times 4$ grid. Right: number of successful pickings heatmap with 5 trials at each location.
为何采用主动感知？我们在图7中对比了广角摄像头的视角与我们采用的带有裁剪视角的主动摄像头方案。单台静态广角摄像头仍难以捕捉到所有的感兴趣点（PoI）。人们必须安装多台摄像头[^12] [^14]，或为每项任务调整摄像头位置。如表2所示，静态广角摄像头还会捕获大量无关信息，从而增加训练和部署时的计算成本。我们的TeleVision系统在相同批量大小下训练速度提升了2倍，且在4090 GPU上单次批量可处理的数据量达到原来的4倍。推理阶段，我们的系统速度同样提升2倍，为逆运动学和映射计算留出充足时间，从而实现60Hz的部署控制频率。若以广角图像作为输入，推理速度会稍低，约为每秒42帧。
此外，使用静态摄像头时，操作员需要注视图像边缘的感兴趣点，这会带来额外的不适感且不符合直觉——因为人类通常使用中央视觉（视网膜中央凹）来聚焦[^36] [^37]。
---
| Method | Average Training Batch Time (s) | Average Deploying Step Time (s) |
| Cropped Active 45 (Ours) | 0.41 | 0.012 (83Hz) |
| Cropped Active 10 | 0.10 | - |
| Wide Angle 10 | 0.32 | 0.024 (42Hz) |
Table 2: Computation cost comparisons between the active vs non-active vision setup. We sample 100 batches for training and 100 deployment steps and average their computation time. The number in the baseline name indicates batch size. Cropped Active is down-sampled from 640x480 to 308x224, resulting in 352 image tokens for each camera. Wide Angle is down-sampled with the same scale to 588x336, resulting in 1008 image tokens for each camera. We use batch size 10 for Wide Angle due to the memory limit of an RTX 4090 GPU.
| User | Stereo | Mono |
| Can Sorting | Can Insertion | Folding | Unloading | Can Sorting | Can Insertion | Folding | Unloading |
| #1 | 67 | 54 | 30 | 73 | 110 | 116 | 49 | 94 |
| #2 | 59 | 55 | 44 | 87 | 91 | 92 | 67 | 119 |
| #3 | 55 | 59 | 27 | 52 | 76 | 68 | 37 | 96 |
| #4 | 82 | 62 | 36 | 55 | 88 | 62 | 47 | 78 |
| Mean | 66 | 58 | 34 | 67 | 91 | 85 | 50 | 97 |
(a) Completion time for individual participant in second.
| User | Stereo | Mono |
| Can Sorting | Can Insertion | Folding | Unloading | Can Sorting | Can Insertion | Folding | Unloading |
| #1 | 100% | 100% | 100% | 100% | 100% | 33% | 100% | 50% |
| #2 | 100% | 100% | 100% | 100% | 100% | 83% | 100% | 50% |
| #3 | 100% | 100% | 100% | 100% | 90% | 83% | 100% | 50% |
| #4 | 100% | 100% | 100% | 100% | 80% | 83% | 100% | 50% |
| Mean | 100% | 100% | 100% | 100% | 93% | 71% | 100% | 50% |
(b) Success rate for individual participant.
Table 3: User study results. Users see stereo video stream in Stereo and see a single RGB video from the left camera in Mono.
远程操控性能。在图8中，我们展示了系统能够完成的更多远程操控任务。木板钻孔任务表明，由于该系统与灵巧手兼容，因此能够操作专为人类设计的重物（1公斤）工具，并能对木板施加足够大的力以将其钻穿。这类任务对于夹爪而言几乎是不可能完成的。耳塞包装任务则体现出该系统具备足够的灵巧性和响应能力，可完成敏捷的双臂-手部协调操作。移液管操作任务证明该系统也能执行精确动作。这也是夹爪极难或无法完成的任务，因为移液管的使用专门针对仿人手部设计。尽管H1人形机器人所配备的电机属于带行星减速器的准直驱电机，这类电机存在齿轮间隙，精度和刚性较差，但在人类操作员的参与下，我们的系统仍能实现高精度操控。如图9所示，该系统还能实现远程操控。具体可视化效果请观看我们的视频。
用户研究。我们通过用户研究验证了在VR头盔中流式传输并显示立体图像这一设计选择。该研究共有四名参与者参加，他们此前接触VR设备的情况各不相同。参与者为20至25岁的研究生。每位参与者都
---
(a) 机器人用左手握住一块厚度为2厘米的木板，并使用电钻在板上钻出2个孔。这项任务需要用食指精准控制电钻的触发装置。此外，我们的系统能对手部进行精细控制，因此在钻完第一个孔后，机器人能让木板在手中滑动，为第二个钻孔留出空间。
(b) 机器人会拾取桌上随机放置的耳塞，并将它们放入随机放置的卡扣盒中。机器人需要具备灵巧的双手内部操控能力，并做出相应调整才能顺利关闭卡扣盒。
(c) The robot utilizes its thumb DoF to control a pipette to transfer liquid from a petri dish to a centrifuge tube. The diameter of the tube is only $1.5 \, cm$ so it requires high precision to complete the task.
Figure 8: More teleoperation experiments. These experiments aim to show our system's reliability and precision for a wide variety of tasks.
Figure 9: Our system enables cross-country teleoperation over the internet. The operator at Boston, USA can operate a robot at San Diego, USA (approximately 3000 miles away). The robot and operator pictures are flipped left to right for better illustration.
他们被要求在指导下完成全部四项任务，并有大约五分钟的时间熟悉系统和任务。表3详细列出了他们在立体视觉和单目（Mono）设置下的表现。两项指标（任务完成时间和成功率）均显示，立体视觉模式的表现大幅优于单目模式。此外，从用户反馈的定性结果来看，使用立体图像的效果明显优于使用单张RGB图像。通常来说，人眼足以从单张RGB图像中推断出深度和空间关系。但在远程操控场景中，操作员必须主动与不同物体互动，此时这种直觉往往不够用。利用立体图像中包含的空间信息，能显著减轻仅依靠图像进行机器人远程操控时的不适感。
---
| Teleop System | Actuation | Hand | Bimanual | Perception | Remote | Depth |
| OPEN TEACH[^2] | VR Controller | ✓ | ✓ | Direct View+RGB | ✗ | ✓ |
| HATO[^3] | VR Tracking | ✓ | ✓ | Direct View | ✗ | ✓ |
| AnyTeleop[^6] | RGB(D) Tracking | ✓ | ✗ | Direct View/RGB | ✓ | ✓ |
| Telekinesis[^7] | RGB Tracking | ✓ | ✗ | Direct View/RGB | ✓ | ✓ |
| Transteleop[^8] | IMU+Depth | ✓ | ✗ | Direct View | ✗ | ✓ |
| ALOHA[^12] | Joint Copy | ✗ | ✓ | Direct View | ✗ | ✓ |
| AirExo[^13] | Joint Copy | ✗ | ✓ | Direct View | ✗ | ✓ |
| GELLO[^15] | Joint Copy | ✗ | ✓ | Direct View | ✗ | ✓ |
| Mobile ALOHA[^16] | Joint Copy | ✗ | ✓ | Direct View | ✗ | ✓ |
| DexCap[^17] | SLAM+Mocap | ✓ | ✓ | Direct View | ✗ | ✓ |
| Open-TeleVision | VR Tracking | ✓ | ✓ | Stereo | ✓ | ✓ |
Table 4: Comparing Open-TeleVision's capabilities with prior teleoperation systems. A more detailed analysis to the contents in this table is in Appendix. A.
## 4 相关工作
数据收集。基于学习的方法利用大量仿真数据和Sim2Real迁移技术，在运动控制领域取得了巨大成功[^38] [^39] [^40] [^41] [^42] [^43] [^44] [^45] [^46] [^47] [^48] [^49] [^50]。另一方面，为模仿学习收集真实机器人演示已被证明是机器人操控的更有效途径[^51] [^52] [^1] [^53] [^54]。这主要是由于操纵器与物体及周围环境之间的复杂接触会导致较大的Sim2Real差距。为了收集真实世界的数据，遥操作已成为主流方式，其借助RGB摄像头[^6] [^7] [^8]、动作捕捉手套[^9] [^10] [^11]以及VR设备[^3] [^2]。此外，还有一些较为传统的框架利用外骨骼设备[^13]或用于关节复制的镜像臂[^12] [^14] [^15]。例如，最近的ALOHA框架[^12]能够通过精确的关节映射，对精细操控任务实现精准控制。在本文中，我们并未采用关节复制方式，而是发现基于VR的遥操作系统配合手部重定向技术，同样能够实现对精细操控任务的精准控制。表4总结了我们的系统与以往遥操作系统之间的差异。
双手遥操作。要收集高保真演示数据，一个直观且响应迅速的遥操作系统至关重要。现有的大多数遥操作系统局限于使用夹爪[^13] [^55] [^15] [^16]或单手设置[^56] [^57] [^58]，这类系统往往要么不够直观，要么功能受限。我们认为，在三维空间中利用多指手进行操控，能够应对各类任务并实现更稳健的操作，相比现有遥操作系统具有显著优势。例如，对于平行夹爪而言，要稳定抓取品客薯片筒绝非易事。至于少数的双手操作设置[^3] [^2]，它们要求操作员在执行任务时直接观察机器人的手部，或查看固定摄像头拍摄的RGB图像来控制机器人。相比之下，我们的系统集成了第一人称立体显示功能与主动头部旋转功能，提供了直观的界面，仿佛机器人就是操作员自身的化身。我们的系统允许操作员远程控制机器人（例如从东海岸控制西海岸的机器人）。这也是我们的工作区别于同类人形机器人遥操作研究的主要创新点[^59] [^60]。我们的系统能够对精细任务实现流畅的遥操作，并为长时序执行提供精准的控制策略。
模仿学习。模仿学习这一主题在文献中已有广泛探讨。若按演示数据的来源对现有研究进行分类，可将其分为基于真实机器人专家数据的学习[^16] [^12] [^14] [^61] [^62] [^63] [^64] [^52] [^65] [^1] [^66] [^53] [^67] [^68]、基于游戏数据的学习[^69] [^70] [^71]，以及基于人类演示的学习[^70] [^72] [^73] [^74] [^75] [^76] [^77] [^58]。除了操作任务外，针对实体角色和真实机器人的动作模仿也已在相关领域得到广泛研究[^78] [^79] [^42] [^80] [^81] [^82] [^83] [^84] [^85] [^83] [^86] [^87] [^88] [^89] [^90] [^91]。本文属于利用人类远程操控所采集的真实机器人数据进行的操作任务模仿学习研究。
## 5 结论与局限性
在本文中，我们提出了一种配备立体视频流传输和带驱动颈部主动感知功能的沉浸式远程操控系统。结果表明，该系统能够实现精确且长时程的操作任务，
---
利用该系统采集的数据可直接供模仿学习算法使用。我们还通过用户研究证明了立体感知对于操作员的重要性。虽然立体感知对操作员的空间理解至关重要，但目前仍缺乏其他形式的反馈，例如在第一人称视觉遮挡及触觉密集型任务中通常占主导地位的触觉反馈。能够重新标注专家数据的系统对提升任务成功率将大有裨益，而这正是我们当前系统所欠缺的。未来的工作可拓展至移动版本，充分利用机器人的全部自由度。
## 参考文献
[^1]: A. Brohan, N. Brown, J. Carbajal, Y. Chebotar, J. Dabis, C. Finn, K. Gopalakrishnan, K. Hausman, A. Herzog, J. Hsu, et al. Rt-1: Robotics transformer for real-world control at scale. arXiv preprint arXiv:2212.06817, 2022.
[^2]: A. Iyer, Z. Peng, Y. Dai, I. Guzey, S. Haldar, S. Chintala, and L. Pinto. Open teach: A versatile teleoperation system for robotic manipulation, 2024.
[^3]: T. Lin, Y. Zhang, Q. Li, H. Qi, B. Yi, S. Levine, and J. Malik. Learning visuotactile skills with two multifingered hands. arXiv:2404.16823, 2024.
[^4]: S. Dafarra, U. Pattacini, G. Romualdi, L. Rapetti, R. Grieco, K. Darvish, G. Milani, E. Valli, I. Sorrentino, P. M. Viceconte, A. Scalzo, S. Traversaro, C. Sartore, M. Elobaid, N. Guedelha, C. Herron, A. Leonessa, F. Draicchio, G. Metta, M. Maggiali, and D. Pucci. icub3 avatar system: Enabling remote fully immersive embodiment of humanoid robots. Science Robotics, 9(86): eadh3834, 2024. doi:10.1126/scirobotics.adh3834. URL .
[^5]: L. Fritsche, F. Unverzag, J. Peters, and R. Calandra. First-person tele-operation of a humanoid robot. In 2015 IEEE-RAS 15th International Conference on Humanoid Robots (Humanoids), pages 997–1002, 2015. doi:10.1109/HUMANOIDS.2015.7363475.
[^6]: Y. Qin, W. Yang, B. Huang, K. Van Wyk, H. Su, X. Wang, Y.-W. Chao, and D. Fox. Anyteleop: A general vision-based dexterous robot arm-hand teleoperation system. In Robotics: Science and Systems, 2023.
[^7]: A. Sivakumar, K. Shaw, and D. Pathak. Robotic telekinesis: Learning a robotic hand imitator by watching humans on youtube. arXiv preprint arXiv:2202.10448, 2022.
[^8]: S. Li, J. Jiang, P. Ruppel, H. Liang, X. Ma, N. Hendrich, F. Sun, and J. Zhang. A mobile robot hand-arm teleoperation system by vision and imu. In 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pages 10900–10906. IEEE, 2020.
[^9]: M. Caeiro-Rodríguez, I. Otero-González, F. A. Mikic-Fonte, and M. Llamas-Nistal. A systematic review of commercial smart gloves: Current status and applications. Sensors, 21(8):2667, 2021.
[^10]: H. Liu, Z. Zhang, X. Xie, Y. Zhu, Y. Liu, Y. Wang, and S.-C. Zhu. High-fidelity grasping in virtual reality using a glove-based system. In 2019 international conference on robotics and automation (icra), pages 5180–5186. IEEE, 2019.
[^11]: H. Liu, X. Xie, M. Millar, M. Edmonds, F. Gao, Y. Zhu, V. J. Santos, B. Rothrock, and S.-C. Zhu. A glove-based system for studying hand-object manipulation via joint pose and force sensing. In 2017 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pages 6617–6624. IEEE, 2017.
## [^12]: T. Z. Zhao, V. Kumar, S. Levine, and C. Finn. Learning fine-grained bimanual manipulation with low-cost hardware. arXiv preprint arXiv:2304.13705, 2023
---
[^13]: H. Fang, H.-S. Fang, Y. Wang, J. Ren, J. Chen, R. Zhang, W. Wang, and C. Lu. Low-cost exoskeletons for learning whole-arm manipulation in the wild. arXiv preprint arXiv:2309.14975, 2023.
[^14]: L. X. Shi, Z. Hu, T. Z. Zhao, A. Sharma, K. Pertsch, J. Luo, S. Levine, and C. Finn. Yell at your robot: Improving on-the-fly from language corrections. arXiv preprint arXiv: 2403.12910, 2024.
[^15]: P. Wu, Y. Shentui, Z. Yi, X. Lin, and P. Abbeel. Gello: A general, low-cost, and intuitive teleoperation framework for robot manipulators. arXiv preprint arXiv:2309.13037, 2023.
[^16]: Z. Fu, T. Z. Zhao, and C. Finn. Mobile aloha: Learning bimanual mobile manipulation with low-cost whole-body teleoperation. arXiv preprint arXiv:2401.02117, 2024.
[^17]: C. Wang, H. Shi, W. Wang, R. Zhang, L. Fei-Fei, and C. K. Liu. Dexcap: Scalable and portable mocap data collection system for dexterous manipulation. arXiv preprint arXiv:2403.07788, 2024.
[^18]: Y. Park and P. Agrawal. Using apple vision pro to train and control robots, 2024. URL .
[^19]: Unitree Robotics, H1, 2024, , [Online; accessed Feb. 2024].
[^20]: Fourier Intelligence, GR-1, 2024, , [Online; accessed Jun. 2024].
[^21]: Vuer, 2024, docs.vuer.ai/en/latest, [Online; accessed Jun. 2024].
[^22]: Inspire Robots, Dexterous Hands, 2024, , [Online; accessed Jun. 2024].
[^23]: Dynamixel-X, 2024, , [Online; accessed Jun. 2024].
[^24]: Zed Mini, Stereo Camera, 2024, , [Online, accessed Jun. 2024].
[^25]: J. Carpentier, G. Saurel, G. Buondonno, J. Mirabel, F. Lamiraux, O. Stasse, and N. Mansard. The pinocchio c++ library – a fast and flexible implementation of rigid body dynamics algorithms and their analytical derivatives. In IEEE International Symposium on System Integrations (SII), 2019.
[^26]: J. Carpentier, F. Valenza, N. Mansard, et al. Pinocchio: fast forward and inverse dynamics for poly-articulated systems. , 2015–2021.
[^27]: Pinocchio CLIK, 2024, gepettoweb.laas.fr/doc/stack-of-tasks/pinocchio/master/doxygen-html/md_doc_b-examples_i-inverse-kinematics.html, [Online, accessed Jun. 2024].
[^28]: A. Handa, K. Van Wyk, W. Yang, J. Liang, Y.-W. Chao, Q. Wan, S. Birchfield, N. Ratliff, and D. Fox. Dexpilot: Vision-based teleoperation of dexterous robotic hand-arm system. In 2020 IEEE International Conference on Robotics and Automation (ICRA), pages 9164–9170. IEEE, 2020.
[^29]: D. Kraft. Algorithm 733: TOMP–fortran modules for optimal control calculations. ACM Transactions on Mathematical Software, 20:262–281, 1994. doi:10.1145/192115.192124.
## [^30]: S. G. Johnson. The NLopt nonlinear-optimization package. , 2007
---
[^31]: M. Oquab, T. Darcet, T. Moutakanni, H. V. Vo, M. Szafraniec, V. Khalidov, P. Fernandez, D. Haziza, F. Massa, A. El-Nouby, R. Howes, P.-Y. Huang, H. Xu, V. Sharma, S.-W. Li, W. Galuba, M. Rabbat, M. Assran, N. Ballas, G. Synnaeve, I. Misra, H. Jegou, J. Mairal, P. Labatut, A. Joulin, and P. Bojanowski. Dinov2: Learning robust visual features without supervision, 2023.
[^32]: T. Darcet, M. Oquab, J. Mairal, and P. Bojanowski. Vision transformers need registers, 2023.
[^33]: K. He, X. Zhang, S. Ren, and J. Sun. Deep residual learning for image recognition. In 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 770–778, 2016. doi:10.1109/CVPR.2016.90.
[^34]: D. P. Kingma and J. Ba. Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980, 2014.
[^35]: I. Loshchilov and F. Hutter. Decoupled weight decay regularization. In International Conference on Learning Representations, 2019. URL .
[^36]: W. S. Tuten and W. M. Harmening. Foveal vision. Current Biology, 31(11):R701–R703, 2021.
[^37]: I. Levy, U. Hasson, G. Avidan, T. Hendler, and R. Malach. Center-periphery organization of human object areas. Nature neuroscience, 4(5):533–539, 2001.
[^38]: G. B. Margolis, G. Yang, K. Paigwar, T. Chen, and P. Agrawal. Rapid locomotion via reinforcement learning. arXiv preprint arXiv:2205.02824, 2022.
[^39]: A. Kumar, Z. Fu, D. Pathak, and J. Malik. Rma: Rapid motor adaptation for legged robots. arXiv preprint arXiv:2107.04034, 2021.
[^40]: Z. Fu, A. Kumar, J. Malik, and D. Pathak. Minimizing energy consumption leads to the emergence of gaits in legged robots. Conference on Robot Learning (CoRL), 2021.
[^41]: J. Fu, Y. Song, Y. Wu, F. Yu, and D. Scaramuzza. Learning deep sensorimotor policies for vision-based autonomous drone racing, 2022.
[^42]: A. Escontrela, X. B. Peng, W. Yu, T. Zhang, A. Iscen, K. Goldberg, and P. Abbeel. Adversarial motion priors make good substitutes for complex reward functions. 2022 ieee. In International Conference on Intelligent Robots and Systems (IROS), volume 2, 2022.
[^43]: Z. Li, X. Cheng, X. B. Peng, P. Abbeel, S. Levine, G. Berseth, and K. Sreenath. Reinforcement learning for robust parameterized locomotion control of bipedal robots. In 2021 IEEE International Conference on Robotics and Automation (ICRA), pages 2811–2817. IEEE, 2021.
[^44]: J. Siekmann, K. Green, J. Warila, A. Fern, and J. Hurst. Blind bipedal stair traversal via sim-to-real reinforcement learning. arXiv preprint arXiv:2105.08328, 2021.
[^45]: A. Agarwal, A. Kumar, J. Malik, and D. Pathak. Legged locomotion in challenging terrains using egocentric vision. In Conference on Robot Learning, pages 403–415. PMLR, 2023.
[^46]: X. Cheng, A. Kumar, and D. Pathak. Legs as manipulator: Pushing quadrupedal agility beyond locomotion. In 2023 IEEE International Conference on Robotics and Automation (ICRA), 2023.
[^47]: Z. Fu, X. Cheng, and D. Pathak. Deep whole-body control: learning a unified policy for manipulation and locomotion. In Conference on Robot Learning, pages 138–149. PMLR, 2023.
[^48]: H. Duan, B. Pandit, M. S. Gadde, B. J. van Marum, J. Dao, C. Kim, and A. Fern. Learning vision-based bipedal locomotion for challenging terrain. arXiv preprint arXiv:2309.14594, 2023.
## [^49]: Z. Zhuang, Z. Fu, J. Wang, C. Atkeson, S. Schwertfeger, C. Finn, and H. Zhao. Robot parkour learning. In Conference on Robot Learning (CoRL), 2023
---
[^50]: X. Cheng, K. Shi, A. Agarwal, and D. Pathak. Extreme parkour with legged robots. arXiv preprint arXiv:2309.14341, 2023.
[^51]: A. Gupta, A. Murali, D. P. Gandhi, and L. Pinto. Robot learning in homes: Improving generalization and reducing dataset bias. Advances in neural information processing systems, 31, 2018.
[^52]: A. Khazatsky, K. Pertsch, S. Nair, A. Balakrishna, S. Dasari, S. Karamcheti, S. Nasiriany, M. K. Srirama, L. Y. Chen, K. Ellis, P. D. Fagan, J. Hejna, M. Itkina, M. Lepert, Y. J. Ma, P. T. Miller, J. Wu, S. Belkhale, S. Dass, H. Ha, A. Jain, A. Lee, Y. Lee, M. Memmel, S. Park, I. Radosavovic, K. Wang, A. Zhan, K. Black, C. Chi, K. B. Hatch, S. Lin, J. Lu, J. Mercat, A. Rehman, P. R. Sanketi, A. Sharma, C. Simpson, Q. Vuong, H. R. Walke, B. Wulfe, T. Xiao, J. H. Yang, A. Yavary, T. Z. Zhao, C. Agia, R. Baijal, M. G. Castro, D. Chen, Q. Chen, T. Chung, J. Drake, E. P. Foster, J. Gao, D. A. Herrera, M. Heo, K. Hsu, J. Hu, D. Jackson, C. Le, Y. Li, K. Lin, R. Lin, Z. Ma, A. Maddukuri, S. Mirchandani, D. Morton, T. Nguyen, A. O'Neill, R. Scalise, D. Seale, V. Son, S. Tian, E. Tran, A. E. Wang, Y. Wu, A. Xie, J. Yang, P. Yin, Y. Zhang, O. Bastani, G. Berseth, J. Bohg, K. Goldberg, A. Gupta, A. Gupta, D. Jayaraman, J. J. Lim, J. Malik, R. Martin-Martin, S. Ramamoorthy, D. Sadigh, S. Song, J. Wu, M. C. Yip, Y. Zhu, T. Kollar, S. Levine, and C. Finn. Droid: A large-scale in-the-wild robot manipulation dataset. 2024.
[^53]: A. Brohan, N. Brown, J. Carbajal, Y. Chebotar, X. Chen, K. Choromanski, T. Ding, D. Driess, A. Dubey, C. Finn, et al. Rt-2: Vision-language-action models transfer web knowledge to robotic control. arXiv preprint arXiv:2307.15818, 2023.
[^54]: N. M. M. Shafiullah, A. Rai, H. Etukuru, Y. Liu, I. Misra, S. Chintala, and L. Pinto. On bringing robots home. arXiv preprint arXiv:2311.16098, 2023.
[^55]: M. Seo, S. Han, K. Sim, S. H. Bang, C. Gonzalez, L. Sentis, and Y. Zhu. Deep imitation learning for humanoid loco-manipulation through human teleoperation. In 2023 IEEE-RAS 22nd International Conference on Humanoid Robots (Humanoids), pages 1–8. IEEE, 2023.
[^56]: S. P. Arunachalam, I. Güzey, S. Chintala, and L. Pinto. Holo-dex: Teaching dexterity with immersive mixed reality. In 2023 IEEE International Conference on Robotics and Automation (ICRA), pages 5962–5969. IEEE, 2023.
[^57]: Y. Qin, H. Su, and X. Wang. From one hand to multiple hands: Imitation learning for dexterous manipulation from single-camera teleoperation. IEEE Robotics and Automation Letters, 7(4): 10873–10881, 2022.
[^58]: J. Wang, Y. Qin, K. Kuang, Y. Korkmaz, A. Gurumoorthy, H. Su, and X. Wang. CyberDemo: Augmenting Simulated Human Demonstration for Real-World Dexterous Manipulation. arXiv preprint arXiv: 2312.09237, 2024.
[^59]: T. He, Z. Luo, X. He, W. Xiao, C. Zhang, W. Zhang, K. Kitani, C. Liu, and G. Shi. Omnih2o: Universal and dexterous human-to-humanoid whole-body teleoperation and learning. In arXiv, 2024.
[^60]: Z. Fu, Q. Zhao, Q. Wu, G. Wetzstein, and C. Finn. Humanplus: Humanoid shadowing and imitation from humans. In arXiv, 2024.
[^61]: C. Chi, Z. Xu, C. Pan, E. Cousineau, B. Burchfiel, S. Feng, R. Tedrake, and S. Song. Universal manipulation interface: In-the-wild robot teaching without in-the-wild robots. In Proceedings of Robotics: Science and Systems (RSS), 2024.
## [^62]: C. Chi, S. Feng, Y. Du, Z. Xu, E. Cousineau, B. Burchfiel, and S. Song. Diffusion policy: Visuomotor policy learning via action diffusion. In Proceedings of Robotics: Science and Systems (RSS), 2023
---
[^63]: J. Pari, N. M. Shafiullah, S. P. Arunachalam, and L. Pinto. The surprising effectiveness of representation learning for visual imitation. arXiv preprint arXiv:2112.01511, 2021.
[^64]: A. Mandlekar, D. Xu, J. Wong, S. Nasiriany, C. Wang, R. Kulkarni, L. Fei-Fei, S. Savarese, Y. Zhu, and R. Martín-Martín. What matters in learning from offline human demonstrations for robot manipulation. In arXiv preprint arXiv:2108.03298, 2021.
[^65]: A. Padalkar, A. Pooley, A. Jain, A. Bewley, A. Herzog, A. Irpan, A. Khazatsky, A. Rai, A. Singh, A. Brohan, et al. Open x-embodiment: Robotic learning datasets and rt-x models. arXiv preprint arXiv:2310.08864, 2023.
[^66]: M. Shridhar, L. Manuelli, and D. Fox. Perceiver-actor: A multi-task transformer for robotic manipulation. In Conference on Robot Learning, pages 785–799. PMLR, 2023.
[^67]: Y. Ze, G. Zhang, K. Zhang, C. Hu, M. Wang, and H. Xu. 3d diffusion policy: Generalizable visuomotor policy learning via simple 3d representations. In Proceedings of Robotics: Science and Systems (RSS), 2024.
[^68]: C. Cardenas-Perez, G. Romualdi, M. Elobaid, S. Dafarra, G. L'Erario, S. Traversaro, P. Morerio, A. Del Bue, and D. Pucci. Xbg: End-to-end imitation learning for autonomous behaviour in human-robot interaction and collaboration. arXiv preprint arXiv:2406.15833, 2024.
[^69]: Z. J. Cui, Y. Wang, N. M. M. Shafiullah, and L. Pinto. From play to policy: Conditional behavior generation from uncurated robot data. arXiv preprint arXiv:2210.10047, 2022.
[^70]: C. Wang, L. Fan, J. Sun, R. Zhang, L. Fei-Fei, D. Xu, Y. Zhu, and A. Anandkumar. Mimicplay: Long-horizon imitation learning by watching human play. arXiv preprint arXiv:2302.12422, 2023.
[^71]: R. Mendonca, S. Bahl, and D. Pathak. Alan : Autonomously exploring robotic agents in the real world. ICRA, 2023.
[^72]: H. Xiong, R. Mendonca, K. Shaw, and D. Pathak. Adaptive mobile manipulation for articulated objects in the open world. arXiv preprint arXiv:2401.14403, 2024.
[^73]: S. Bahl, A. Gupta, and D. Pathak. Human-to-robot imitation in the wild. arXiv preprint arXiv:2207.09450, 2022.
[^74]: K. Shaw, S. Bahl, and D. Pathak. Videodex: Learning dexterity from internet videos. CoRL, 2022.
[^75]: K. Grauman, A. Westbury, E. Byrne, Z. Chavis, A. Furnari, R. Girdhar, J. Hamburger, H. Jiang, M. Liu, X. Liu, et al. Ego4d: Around the world in 3,000 hours of egocentric video. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 18995–19012, 2022.
[^76]: Y. Zhu, A. Lim, P. Stone, and Y. Zhu. Vision-based manipulation from single human video with open-world object graphs. arXiv preprint arXiv:2405.20321, 2024.
[^77]: R. Mendonca, S. Bahl, and D. Pathak. Structured world models from human videos. RSS, 2023.
[^78]: X. B. Peng, E. Coumans, T. Zhang, T.-W. Lee, J. Tan, and S. Levine. Learning agile robotic locomotion skills by imitating animals. Apr. 2020.
[^79]: Y. Wang, Z. Jiang, and J. Chen. Amp in the wild: Learning robust, agile, natural legged locomotion skills. arXiv preprint arXiv:2304.10888, 2023.
## [^80]: Y. Fuchioka, Z. Xie, and M. Van de Panne. Opt-mimic: Imitation of optimized trajectories for dynamic quadruped behaviors. In 2023 IEEE International Conference on Robotics and Automation (ICRA), pages 5092–5098. IEEE, 2023
---
[^81]: R. Yang, Z. Chen, J. Ma, C. Zheng, Y. Chen, Q. Nguyen, and X. Wang. Generalized animal imitator: Agile locomotion with versatile motion prior. arXiv preprint arXiv:2310.01408, 2023.
[^82]: X. B. Peng, Z. Ma, P. Abbeel, S. Levine, and A. Kanazawa. Amp: Adversarial motion priors for stylized physics-based character control. ACM Transactions on Graphics (ToG), 40(4):1–20, 2021.
[^83]: X. B. Peng, Y. Guo, L. Halper, S. Levine, and S. Fidler. Ase: Large-scale reusable adversarial skill embeddings for physically simulated characters. ACM Trans. Graph., 41(4), July 2022.
[^84]: C. Tessler, Y. Kasten, Y. Guo, S. Mannor, G. Chechik, and X. B. Peng. Calm: Conditional adversarial latent models for directable virtual characters. In ACM SIGGRAPH 2023 Conference Proceedings, SIGGRAPH '23, New York, NY, USA, 2023. Association for Computing Machinery. ISBN . doi:10.1145/3588432.3591541. URL .
[^85]: M. Hassan, Y. Guo, T. Wang, M. Black, S. Fidler, and X. B. Peng. Synthesizing physical character-scene interactions. 2023. doi:10.1145/3588432.3591525. URL .
[^86]: J. Won, D. Gopinath, and J. Hodgins. A scalable approach to control diverse behaviors for physically simulated characters. ACM Trans. Graph., 39(4), 2020. URL .
[^87]: T. Wang, Y. Guo, M. Shugrina, and S. Fidler. Unicon: Universal neural controller for physics-based character motion, 2020.
[^88]: H. Zhang, Y. Yuan, V. Makoviychuk, Y. Guo, S. Fidler, X. B. Peng, and K. Fatahalian. Learning physically simulated tennis skills from broadcast videos. ACM Trans. Graph., 42(4), jul 2023. ISSN 0730-0301. doi:10.1145/3592408. URL .
[^89]: X. B. Peng, P. Abbeel, S. Levine, and M. van de Panne. Deepmimic: Example-guided deep reinforcement learning of physics-based character skills. ACM Trans. Graph., 37(4):143:1–143:14, July 2018. ISSN 0730-0301. doi:10.1145/3197517.3201311. URL .
[^90]: X. Cheng, Y. Ji, J. Chen, R. Yang, G. Yang, and X. Wang. Expressive whole-body control for humanoid robots. arXiv preprint arXiv:2402.16796, 2024.
### [^91]: T. He, Z. Luo, W. Xiao, C. Zhang, K. Kitani, C. Liu, and G. Shi. Learning human-to-humanoid real-time whole-body teleoperation. In arXiv, 2024
---
### Erin
我们从远程操控的两个关键维度——驱动与感知——展开讨论。
驱动方式。为了通过人类指令远程操控机器人，研究人员已经探讨了多种方法，包括视觉跟踪、动作捕捉设备以及借助定制硬件实现的关节复制技术。虽然使用动作捕捉手套进行远程操控看似最为直观，但市面上现有的此类手套不仅价格昂贵，而且无法提供手腕姿态估计功能。随着ALOHA $^{[12]}$的成功问世，关节复制方法近年来受到了广泛关注。该方法能够实现精准且灵巧的控制。过去，这种方法因需要额外配备一对相同的机械臂用于远程操控而成本较高；不过，采用低成本的外骨骼设备来传输指令后，这一问题便得到了缓解 $^{[13]}$。尽管结构相对简单，但目前的关节复制系统仍仅限于使用夹持器，尚未拓展到多指手的操作。相比之下，视觉跟踪技术利用现成的手部姿态提取器来追踪手指运动，但仅依赖RGB或RGBD图像往往会导致数据噪声大且精度低。近期虚拟现实技术的迅猛发展催生了利用VR跟踪技术的远程操控系统。VR头显制造商通常会集成内置的手部跟踪算法，这些算法能够融合来自多种传感器的数据，包括多个摄像头、深度传感器以及惯性测量单元。通过VR设备收集的手部跟踪数据通常被认为比自行开发的视觉跟踪系统更为稳定且精确，后者仅利用了上述传感器中的一部分（如RGB+RGBD $^{[6]}$、Depth+IMU $^{[8]}$等）。
感知环节。作为远程操控的另一关键组成部分，感知领域的研究程度远不及驱动方式。大多数现有的远程操控系统都要求操作员直接用肉眼观察机器人的手部。直接观看能为操作员提供深度感知能力，这得益于人类固有的立体视觉能力，但这种方式限制了系统的远程性，要求操作员必须身处现场。一些远程操控系统通过传输RGB图像来规避这一限制，从而实现远程控制 $^{[6, 7]}$。然而，一旦操作员选择通过观看RGB流来进行远程控制，人眼所提供的深度感知优势便不复存在。尽管这些系统能够同时实现远程控制和深度感知，但这两种功能在系统中是相互排斥的。OPEN TEACH $^{[2]}$以混合现实的方式将两者结合，但它仍要求操作员靠近机器人，否则就无法获得深度感知数据。在Open-TeleVision问世之前，没有系统能同时提供远程控制和深度感知功能：操作员被迫在直接观看（需现场操作）和RGB流传输（会丢失深度信息）之间做出选择。我们的系统通过采用立体流技术，首次在单一配置中实现了这两种功能。
## B 视觉遮挡讨论
为了验证我们所提出的假设——即GR-1在罐头分类任务中表现不佳是由于其夹持器末端造成的视觉遮挡所致，我们开展了一项对照实验。在新实验中，我们在罐头上加贴彩色标签以减轻遮挡因素的影响，如图10左侧所示。其他设置与文中描述的GR-1罐头分类任务完全一致。实验结果记录在表5中。
实验结果表明，使用带有标签的罐头后，所有三个基准模型在放置任务中的成功率均有显著提升。我们的模型在放置任务中达到了100%的准确率，而此前仅为0.60；其他基准模型也显示出明显的进步：采用ResNet18的模型准确率从0.50提升至0.97，未使用立体输入信息的模型准确率则从0.63提高到0.93。另一方面，虽然我们的模型和采用ResNet18的模型在抓取任务中的成功率也有所提高，但未使用立体输入信息的模型并未表现出类似的改善。这种差异进一步印证了我们的观点：要成功抓取罐头，需要来自立体图像的空间信息。
---
| Baselines | GR-1 Can Sorting |
| Pick(new) | Pick(old) | Place(new) | Place(old) |
| w. DinoV2 (Ours) | 97% | 87% | 100% | 60% |
| w. ResNet18 | 90% | 83% | 97% | 50% |
| w/o Stereo Input | 47% | 73% | 93% | 63% |
Table 5: Success rate for GR-1 Can Sorting. The experiments are conducted under identical settings and number of trials as outlined in Tab. 1. Columns marked as (old) contain the original results using unlabeled cans, while the columns marked as (new) contain the results of the new experiment using labeled cans.
与第3.2节中的H1实验类似，我们开展了相关实验来评估模型在GR-1机器人上使用带标签罐头进行罐头分类任务时的泛化能力。实验结果同样采集自4×4的网格（与图5左侧相同），每个单元格的尺寸为3厘米。泛化结果展示在图10右侧的热图中。结果显示，我们的模型能够轻松适应实验中涵盖的大多数随机位置，在网格上几乎所有位置的抓取准确率都达到了100%。此处展示的GR-1罐头分类实验结果也
Figure 10: Can labeling and generalization results. Left: Figure depicting labeled cans. Right: number of successful pickings heatmap with 5 trials at each location.
明显优于图5中展示的H1罐头分类实验结果。这种差异也可能源于末端执行器形态的不同。抓取易拉罐对灵巧性的要求较低且容错率较高，因此夹爪比机械手更适合完成此类任务。
## C 灵巧手
对于H1机器人的配置，我们使用的仿人手由Inspire Robots提供[^22]。图11展示了其中一只Inspire手的特写。每只手有五个手指和12个自由度，其中6个为驱动自由度：拇指上有2个驱动自由度，其余手指各1个。每个非拇指手指在掌指关节处有一个驱动旋转关节，作为整个手指的驱动自由度。这四个手指的近节指间关节通过连杆机构由掌指关节驱动，由此增加4个欠驱动自由度。拇指在腕掌关节处有2个驱动自由度。拇指的掌指关节和指间关节也通过连杆机构驱动，进而增加2个欠驱动自由度。
Figure 11: Inspire Hand [^22].
## D 遥操作界面
图12展示了我们的基于网页的跨平台界面，不仅可以在VR设备上使用，也能在笔记本电脑、平板电脑和手机上访问。
## E 实验细节与超参数
### E.1 实验细节
更多实验细节列于表6中。除罐头分类任务（包括H1罐头分类和GR-1罐头分类）外，所有任务均使用20个人类演示样本进行训练。相比之下，罐头分类任务仅使用10个演示样本。做出这一选择主要是鉴于该任务的重复性特点：
---
Figure 12: Our web-based cross-platform system enables access across different devices. Left: Apple Vision Pro. Middle: Meta Quest. Right: Macbook, iPad and iPhone. On VR devices, the users can enter an immersive session to start teleoperation with hand and wrist pose streaming. On other devices, hand and wrist streaming are not available but the user can still see the streamed images and control the robot's active neck by dragging on the devices' screen.
| Tasks | Average Episode Length (s) | Number of Episodes |
| H1 Can Sorting | $93 \pm 5$ | 10 |
| GR-1 Can Sorting | $61 \pm 5$ | 10 |
| Can Insertion | $84 \pm 7$ | 20 |
| Folding | $44 \pm 5$ | 20 |
| Unloading | $93 \pm 6$ | 20 |
Table 6: Details about collected demonstration data for each task.
每个训练回合包含10次（GR-1罐头分类为6次）单独的罐头分类操作。因此，10个演示样本涵盖了100次单独的分类操作，能够为训练提供充足的数据。
### E.2 超参数
训练ACT [^12]模型时所采用的超参数详见表7。尽管大多数超参数在所有基准模型和所有任务中保持一致，但仍有一些例外，包括数据块大小和时间权重。具体说明如下。
| KL weight | 10 |
| chunk size | 60 |
| hidden dimension | 512 |
| batch size | 45 |
| feedforward dimension | 3200 |
| epochs | 25000 |
| learning rate | 5e-5 |
| temporal weighting | 0.01 |
Table 7: Hyperparameters of ACT.
在动作分块操作中，分块大小的定义在原始的ACT论文中已有阐述$^{[12]}$。对于所有任务，我们均采用60作为分块大小，唯有“Can Insertion”任务例外，该任务的分块大小为100。在我们的设置中，采用60的分块大小能为机器人提供大约一秒的记忆容量，这与我们60Hz的推理及动作频率相匹配。不过我们发现，在“Can Insertion”任务中，使用更大的分块大小——即纳入更多历史动作——有助于模型生成正确的动作序列。
在时间聚合操作中，时间权重的定义在原始的ACT论文中已有说明[^12]，该论文采用了指数加权方案$w_i = exp(-m \cdot i)$来为不同时间步的动作分配权重。$w_0$代表最旧动作的权重，这一设定与ACT论文中的描述一致。m则是表7中所提及的时间权重超参数。随着m值的减小，模型会更侧重于较新的动作。
---
这意味着模型的反应性更强，但稳定性稍差。我们发现，对于大多数任务而言，将时间权重参数m设为0.01就能在响应性与稳定性之间取得令人满意的平衡。不过，针对“Unloading”和“Can Sorting”任务，我们会根据它们的具体需求调整这一参数：在“Unloading”任务中，将m设为0.05，以确保机器人抓持物品传递时的稳定性；在“Can Sorting”任务中，将m设为0.005，以实现更快速的动作。