# 用于复杂任务的双手灵巧操作杨佳辉 Kenneth Shaw $^{*}$ 李宇龙 $^{*}$ 莫汉·库马尔、斯里拉玛·雷、刘浩宇、熊浩宇 Russell Mendonca $^{\dagger}$ Deepak Pathak $^{\dagger}$ 卡内基梅隆大学 ![Image](images/76eae85cc363bab91701e3629c53bcfa47da74c5cadcdc5b6c5ca21b1a8d8b74.jpg) ![Image](images/7b2a105fdb96a5dfa0a5c8052e5578ffba3097f733de9d708ab6362e6a34d543.jpg) ![Image](images/48f938a22b6a73b70c4758f1a49435a594584ae1cb21e7588d0e62a31461319b.jpg) ![Image](images/d343fd4869f9934c02c31754a42c5eea9386e0cac44ecd3ea388cbf2e5faf3ce.jpg) ![Image](images/f63168085c04a4b4500866f69f0efebb4d8d35a766ce5c1d98ab25ff1b2efd43.jpg) ![Image](images/76dbadd704a44d2904d0e385223a1aafbcabd9d4ca21f105dd78651a742141ad.jpg) ![Image](images/50f1987eb3bf1071a9facba5eae4fd9183e67679bb1523a379b5e5e0cad89684.jpg) ![Image](images/7b226d4c470cb7863a3d7e18ecf9f8cf532d176279907d76dae7e748ec763d7d.jpg) ![Image](images/d4c63d42000af2c29abf0150bbfa50471161f8195270369ee746420599ea1722.jpg)

Figure 1: Bimanual Dexterity: BiDex can effortlessly teleoperate various complex tasks including pouring, scooping, hammering, chopstick picking, hanger picking, picking up basket, drilling, plate pickup and pot picking to train high-quality behavior cloning policies with over 50 degrees of freedom. Our teleoperation system and two LEAP hands [^1] costs around $12k in total and is readily reproducible by academic labs.

摘要：为了训练通用机器人策略，机器学习方法通常需要大量的专家人类遥操作数据。理想的数据采集用机器人应当能高度模仿人类：具备双臂和灵巧手。然而，打造这样一个拥有超过50个自由度的双手遥操作系统是一项巨大挑战。为解决这一问题，我们推出了BiDex——一款极其灵巧、低成本、低延迟且便携的双手灵巧遥操作系统，它依托动作捕捉手套和教师臂来实现操作。我们将BiDex与Vision Pro遥操作系统及SteamVR系统进行了对比，发现BiDex能以更快的速度为更复杂的任务生成质量更高的数据。此外，我们还展示了BiDex操控移动式双手机器人完成野外任务的能力。视频结果及BiDex复现指南请参阅。该机器人手部($5k) and teleoperation system ($7k)易于复现，可适配多种机器人手臂，包括两台xArm（$16k）。关键词：双手操作、灵巧手、行为克隆 --- ## 1 引言在人类环境中，通用机器人需要执行各类极具挑战性的操作任务。这些任务涵盖从拧小螺丝、切菜、操作工具到搬运家具等复杂动作，均是以人类活动为基础设计的。人类双手的多功能性对于书写、艺术创作、键盘输入等精细操作而言至关重要。因此，构建此类多功能机器人系统的一种思路是采用类似人类的硬件形态，即配备两只装有灵巧多指手的臂。随着数据驱动的机器学习方法和低成本硬件的出现，人们对人形机器人和灵巧手的兴趣再度高涨。利用大量数据，机器学习方法有望实现对高维度机器人系统的有效自主控制[^2] [^3] [^4] [^5] [^6]。但一个关键问题依然存在：如何为双手机器人收集高质量的专家数据？这样的数据采集系统必须成本低廉、易于搭建和使用、延迟低，最重要的是精度足够高。遥操作员应能轻松采集机器人执行感兴趣复杂任务的高质量数据，用以训练机器人策略。为了解决这个问题，由于内置的身体追踪系统易于使用，VR头戴设备变得越来越普及 [^7] [^8]。然而我们发现，手腕追踪往往存在抖动现象，手指追踪也不够精确。为缓解这一问题，SteamVR [^9]采用了激光雷达技术，虽然能提供噪声更少的估算结果，但需要外接追踪设备，因此无法用于移动机器人场景的数据采集。为了实现更高精度的读数，现有研究采用了动作捕捉及基于反射标记的技术，如Vicon或Optitrack [^10]，但这类设备价格极其昂贵且难以搭建。近年来在机器人学习领域得到应用的一种动作捕捉技术是可穿戴手套 [^11] [^1] [^12] [^13]，它们通过电磁传感器记录人类指尖位置。我们在系统中使用了精度极高的Manus Meta手套。 [^14] 在手臂追踪方面，机器人领域的研究人员近期开始采用针对双指夹持器的关节级遥操作技术 [^15] [^16]。Wu等人 [^16] 发现，一种低成本、可3D打印的缩小版教师臂模型，只要其运动学连杆结构与大型机械臂一致，就能用于实现精准高效的遥操作。不过这些方法仅能提供单个自由度的手指追踪，而人类手部拥有22个以上的自由度。我们的核心思路是开发一套系统，将这种基于关节的手臂追踪技术与动作捕捉指尖手套相结合，从而实现低成本且高精度的手臂与手部系统遥操作。我们的成果是BiDex——一套适用于任意环境中双手臂和手部操作的灵巧型低成本遥操作系统。使用时，用户只需戴上两只动作捕捉手套，自然活动即可完成各类灵巧的日常任务。手套能精准捕捉手指动作，从而将人的动作自然映射到机械手上。受GELLO [^16] 启发设计的手臂追踪系统，能精准定位人类手腕位置及机械臂的关节角度。该系统采集的数据可用于通过模仿学习训练出高效的策略，之后双臂机器人系统便能自主完成相应任务。BiDex的成本约为$6k for a pair of Manus gloves and few hundred dollars for the arm teleoperation which works for many existing robot arms. Even including the robot arms ($8千美元（xArms x2），演示中使用的机械手成本为$3k LEAP Hand V2 x2), the total cost is under$3万美元。我们将数据采集的精度和速度与另外两种常用系统——VR头戴设备和SteamVR进行了对比。相关成果视频及搭建指南已发布在我们的网站上。 ## 2 相关工作机器人手臂遥操作常见的遥操作方法包括使用操纵杆、空间鼠标 [^17]、基于视觉的方法 [^18] [^19]，以及通过逆运动学控制机械臂的VR头戴设备 [^20] [^8] [^7]。基于关节的遥操作控制已应用于示教编程、Brantner和Khatib [^21] 的研究、ABB YuMi [^22] 及达芬奇手术机器人 [^23] 等领域；近期 [^24] [^25] 推出了采用Trossen机器人手臂的低成本镜像版方案。GELLO [^16] 则利用轻便且成本低廉的3D打印教师臂来控制全尺寸机械臂，由于其低成本、高精度、便携的特点，我们也在BiDex系统中采用了这一设计。 --- 这是一种成本低廉的3D打印教师机械臂，用于操控全尺寸机器人手臂。由于成本低、精度高且便于携带，我们在BiDex系统中采用了这种机械臂。机器人手遥操作：由于维度较高，追踪人类手部动作尤为困难。要控制机器人手，许多基于视觉的技术——如[^26]、[^27]和[^19]——无需特殊设备，但精度欠佳。Shadow Hand开发了一套专业系统，利用SteamVR和两只手套来操控两只Shadow Hand机器人手[^28]。近年来，双机器人手及其追踪技术已能被学术实验室所使用。Dexcap采用LEAP Hand机器人手[^1]，通过佩戴手套的用户及基于SLAM技术的机器人摄像头来追踪其动作[^11]。Hato则借助VR头盔和控制器来操控两只6自由度Psyonic Hand机器人手[^29]、[^30]。控制机器人手的关键问题之一，是如何将人类手部形态映射到机器人手关节上。相关论文介绍了基于逆运动学的方法，用以优化人类手与机器人手之间的捏握动作[^11]、[^26]、[^19]、[^27]。动作捕捉：动作捕捉与图形处理技术在机器人遥操作领域往往具有重要价值。外置式动作捕捉方案利用外部传感技术来追踪人体或其他物体。SteamVR采用外部激光器和可穿戴的无线激光接收器 [^9]；基于Vicon的系统则利用反光球和外部摄像头进行追踪。内置式方案如XSens [^31] 或Rokoko套装依赖安装在身上的惯性测量单元，但这些方案往往会随时间产生漂移，需要重新校准 [^32]、[^29]。针对手部数据，许多基于视觉的方案（如Frankmocap [^33]）能输出MANO [^34] 参数，进而可将其转换为机器人手关节角度。从专家演示中学习：近年来，随着模仿学习算法的发展，机器人学习领域在从演示中学习方面取得了显著成果 [^35]、[^36]。为配合这些进展，人们也投入大量精力扩充机器人数据集规模，以助力开发出更强大的机器人系统 [^37]、[^38]、[^39]、[^40]。尽管付出了这些努力，获取机器人数据仍是一项成本高昂且极具挑战性的工作。为解决这些问题，低成本硬件的发展在普及机器人技术方面发挥了重要作用，从而推动了更广泛的研究与应用 [^41]、[^24]、[^25]、[^42]。不过，这类系统主要侧重于简单的夹持功能；而实现更复杂的灵巧操作和直观控制仍是机器人系统面临的挑战，这也正是我们研发双腕灵巧遥操作系统的原因。 ## 3 双腕机器人手与机械臂系统我们推出了BiDex系统，该系统能让任何操作员轻松远程操控双腕机器人手和手臂装置。BiDex的设计具备极高的精确度、低成本、低延迟和便携性，能够控制任何类人形的灵巧手，即便是自由度超过20度的手部机构也不例外。它借助Manus VR手套系统[^14]来精准追踪人类手部动作，通过受GELLO启发的系统[^16]来追踪人类手臂动作。我们在算法1中概述了利用双腕手部发送指令并采集数据的流程。重要的是，我们的解决方案在桌面和移动环境中都能无缝运行，因为它无需外部追踪设备且便携性极强。在第5节中，我们通过两款开源机器人手——LEAP Hand [^1]和LEAP Hand V2 [^43]，证明了与如今广泛使用的VR头盔及SteamVR等方法相比，我们的系统更具直观性、精确性和性价比。 ### 3.1 多指手部追踪手部追踪系统必须能为拥有超过20个自由度的人类手部提供精确且低延迟的关节信息。许多现有的基于视觉的追踪方案，比如采用FrankMocap [^33] [^44]技术的方案或VR头盔方案，由于遮挡问题和光照条件的变化，往往会出现显著误差，这一点已在第5节中讨论过。相比之下，近期采用电磁场传感器的动作捕捉手套能提供精度更高且价格合理的追踪数据。它们避免了基于视觉的方法常见的遮挡问题，还能提供关于人类手部骨骼关节结构的详细数据。此外，这类手套佩戴舒适，不会妨碍活动。在BiDex系统中，我们选用了Manus手套[^14]，该手套展现出可靠的追踪性能，既不会过热，也不会像Rokoko手套[^32] [^29]那样出现校准问题。然而，将人类手部的数据映射到机器人手上仍颇具挑战性， --- ![Image](images/69e296e8573cf6cadad413c6128b24b9aef14c4bd18d093bc5232e0ed79cd940.jpg)

Figure 2: Mobile bimanual teleoperation system Left: An operator strapped into BiDex. Right: Our bimanual robot setup including two xArm robot arms, two LEAP Hands [^1] and three cameras on an AgileX base.

因为两者在形态结构上存在差异。我们该如何将操作员手指发出的指令转化为机器人手的动作呢？毕竟机器人手的运动学结构可能与人类手部并不相同。如果机器人手的运动学结构与人类手部大致相似，一种方法就是直接将人类手指关节的角度映射到机器人手的对应关节上。虽然这些手套无法提供真实的关节角度，但可以通过对标准人体骨骼应用逆向运动学求解器来计算出这些角度。不过，如果机器人手指在尺寸和比例上与人类手指差异较大，最终产生的动作可能无法完美匹配。尤其是人类拇指的关节结构十分复杂，很多机器人手无法准确复现，这就给直观的拇指控制带来了困难。这可能会导致捏握动作出现误差，进而影响任务执行的可靠性，因为有效的操作高度依赖于指尖的相对位置。以往的研究[^26] [^19]已经着手解决这一难题，旨在确保人类手部与机器人手之间的捏握动作保持一致。Wang等人[^11]证明，通过优化映射方式即可实现有效的动作转换。 ```pseudo // Algorithm 1: Teleoperation Data System Require: Two robot arms Al, Ar Require: Two robot multi-fingered hands Hl, Hr Require: Kinematic models for two arms Kl, Kr Require: Gloves with fingertip trackers Gl, Gr Require: Robot hand IK model for fingertips Q_{l,r}() Require: RGB workspace cameras \{I_{c}\} Require: Number of trajectories to be collected N 1: Initialize Data buffer D 2: for trajectory 1:N do 3: Initialize trajectory T = {} 4: while task not completed do 5: Read camera images \{I_{c}\}_{t} 6: Read arm joints Al_{t}, Ar_{t} 7: Read robot hand joints Hl_{t}, Hr_{t} 8: Observation o_{t} = \{Al_{t}, Ar_{t}, Hl_{t}, Hr_{t}, \{I_{c}\}_{t}\} 9: Read kinematic arm model joints Kl_{t}, Kr_{t} 10: Read glove fingertip positions Gl_{t}, Gr_{t} 11: Finger joints ql_{t} = Q_{l}(Gl_{t}), qr_{t} = Q_{r}(Gr_{t}) 12: Action a_{t} = \{Kl_{t}, Kr_{t}, ql_{t}, qr_{t}\} 13: Add (o_{t}, a_{t}) \mapsto T 14: Set joints of Al using Kl_{t} and Ar using Kr_{t} 15: Set joints of Hl using ql_{t} and Hr using qr_{t} 16: end while 17: Add T \mapsto D 18: end for 19: return Data buffer D ``` 通过SDLS逆运动学求解器来确定每个手指的指尖与倒数第二个关节（DIP）相对于手腕的位置，从而确保人类手部与机器人手部之间的相似性 [^45]。我们采用了Manus手套 [^14]，同样利用逆运动学方法来实现精准的捏取动作以及正确的拇指定位。 --- ### 3.2 手臂追踪我们的系统必须能够精确追踪人类手腕的姿态，以便控制两只机械臂。传统上，动作捕捉领域和机器人学界都开发了多种相关方法。然而，其中许多方法依赖于经过校准的外部追踪设备，这类设备要么成本高昂，要么延迟较高。此外，这些外部追踪设备不具备便携性，难以应用于移动系统。因此，我们借鉴了Zhao等人 [^15] 以及Wu等人 [^16] 的研究成果：他们均采用较轻质的“教师臂”附着在人类手臂上，以此来控制机器人手臂与手部系统。具体而言，我们参照Wu等人提出的GELLO系统 [^16] 来远程操控全尺寸机器人手臂。一个关键问题是：如何将该手臂追踪系统安装在人类的手腕与手上？如果机器人手以类似人类的方式安装在手臂上，那么手套也需要以类似人类的方式安装在“教师臂”上以保持匹配。但这种安装方式会导致人类手臂与教师臂平行，进而不断发生碰撞，这不仅会让操作者感到不适，还会造成困扰。在BiDex系统中，我们将机器人手安装在手臂下方，其朝向与夹持器类似，如图2所示。当在“教师臂”上模仿这种布局时，人类手臂与教师臂的输出方向会相互垂直且不会发生碰撞，使用起来更加舒适。由于动作捕捉手套重量较大，我们必须对“教师臂”进行加固处理：包括在“教师臂”的基座关节处添加坚固的轴承，并加装橡皮筋以使其他关节偏向关节范围的中心位置。 ### 3.3 机器人配置桌面操作方面，对于桌面场景，机器人手臂的摆放位置与Zhao等人 [^15] 的设计类似，即彼此相对；GELLO教学臂也采用同样的配置。与Wang等人 [^11] 采用的并排配置相比，这种设置具有三大优势：1）人类操作者不会与教学臂发生碰撞；2）该设置能提供更佳的工作空间视野，而并排的机器人手臂配置会遮挡视线；3）机器人手臂拥有更宽广的共享工作空间。移动操作方面，BiDex无需依赖外部追踪系统且重量较轻，因此非常适合移动场景。教学臂被安装在一个紧凑的移动小车上。对于移动机器人，我们在可上下移动的关节式躯干上安装两只机器人手臂，以便抓取高处物体或地面物品，这一设计类似于PR2 [^46]，如图2所示。包含手臂与躯干的机器人组件被安装在AgileX Ranger Mini上，能够在任意SE(2)方向上移动 [^47] [^48]。另一名操作员通过操纵杆来控制移动底座并重置任务。 ## 4 实验设置 ### 4.1 基线遥操作方案基于视觉的VR头戴设备。近年来，采用多摄像头手部追踪技术的低成本VR头戴设备因其便捷性而广泛应用于远程操作领域，例如在[^7]和[^8]中。我们以Apple Vision Pro作为基准设备，它能输出类似MANO参数的手指数据[^44]以及手腕坐标系数据。手指数据的处理方式与BiDex中的方法一致，即通过基于逆向运动学的重定向技术将其指令发送至机器人手部；而手腕数据则会经过方向调整、逆向运动学计算后，最终将关节配置指令发送给机械臂。 SteamVR追踪技术。在游戏圈广受欢迎的SteamVR技术，近期也受到了工业界[^28]和学术界的高度关注[^12] [^49]。该技术依靠主动发光的激光灯塔，这些灯塔需被精心布置在工作区域周边；操作员身上会佩戴内置惯性测量单元和激光接收器的追踪器。在我们的实验中，操作员的双腕各佩戴一个追踪器，腹部也佩戴一个。手腕位置会相对于腹部姿态确定，随后映射到机器人手臂上，再通过逆向运动学计算出关节角度。手部追踪手套的选择与BiDex中使用的相同。 --- ![Image](images/f3a866bbf3dbdfbcf8e44e93617276a3786439039674e072e44b7f889a5f8e86.jpg)

Figure 3: All Tasks: Teleoperation of the mobile robot systems with BiDex. Top: Picking up trash from a table and discarding it into a bin. Bottom: Grasping a chair and moving it to align with a table.

### 4.2 灵巧末端执行器的选择 Leap Hand。Shaw等人推出的LEAP Hand[^1]是一款成本低、易于组装的机器人手，拥有16个自由度和4根手指。LEAP Hand采用了一种全新的关节结构，既优化了灵巧性，又能实现类人的抓取效果。我们在论文中开展了多项实验时都使用了这款手，因为它是一种易于获取、适合用于对比研究的灵巧手。 LEAP Hand V2。我们希望能有一款比LEAP Hand更小、柔韧性更好的手。LEAP Hand V2的设计旨在模仿人类手的柔软度和力量：其手指部分采用3D打印的柔性外层，内部则有类似骨骼的坚固框架。这种手指不会折断，受到撞击时会弯曲形变。我们还为它设计了可活动的手掌，集成了两个电动关节，一个用于控制手指活动，另一个用于控制拇指，从而实现自然且紧实的抓取效果。LEAP Hand V2拥有21个自由度，尺寸与人类手相当，易于组装且成本低廉。由于其尺寸和运动学特性与人类手相似，因此很容易进行重定向，能够成功完成更多灵巧任务。 ### 4.3 任务描述桌面场景。在“物品传递”任务中，机器人会用右手拿起薯片罐，再将其从空中传递到左手；在“倾倒液体”任务中，机器人会用一只手拿着玻璃瓶，将瓶内液体倒入另一只手拿着的塑料杯中；在“桌面杯子堆叠”任务中，机器人会将一个杯子叠放在另一只手中的杯子上。移动场景。在“运输盒子”任务中，机器人会用双手将一个盒子从一张桌子搬到另一张桌子上；在“移动推椅”任务中，机器人需要先抓住椅子，再将其对准桌子；在“清理垃圾”任务中，机器人会将桌上的垃圾扫入垃圾桶。我们在图3中展示了推椅和清理垃圾任务的过程。 ## 5 实验结果我们针对桌面场景和移动野外场景中的BiDex遥操作技术进行了研究，并将其与几种基准方法进行了对比。在这些对比中，我们选用了Shaw等人开发的LEAP Hand [^1]，因为它是一款开源且易于组装的机械手，任何机器人实验室都能轻松获取。我们还使用了搭载更新版LEAP Hand v2的BiDex，该机械手由刚性和柔性材料混合制成，能够执行更复杂的任务。 ---

	Completion Rate			Time Taken
	Handover	Cup Stacking	Bottle Pouring	Handover	Cup Stacking	Bottle Pouring
Vision Pro VR	60	40	70	21.6	38.8	35.5
SteamVR	80	85	60	17.5	16.5	15.5
BiDex	95	75	85	6.5	15.5	14.9

Table 1: Tabletop Teleoperation: We compare BiDex on the handover, cup stacking, and bottle pouring tasks to two baseline methods, SteamVR and Vision Pro. BiDex enables more reliable and faster data collection, especially for harder tasks like bottle pouring.

Vision Pro VR	Completion Rate			Time Taken
	Chair Pushing	Box Carry	Clear Trash	Chair Pushing	Box Carry	Clear Trash
	75	75	50	15.0	33.7	79.8
BiDex	95	95	75	16.4	29.7	74.6

Table 2: Mobile Teleoperation: Completion rate and time taken averaged across 20 trials using a mobile bimanual system with LEAP Hand [^1], for different tasks. BiDex is versatile and compact enough to be adopted to successfully collect data for mobile tasks.

### 5.1 双手灵巧遥操作结果 BiDex能提供更稳定的手臂追踪效果。教师臂系统让BiDex的可靠性极高，其抖动极小、延迟低且运行时间长，因此非常适合用于手臂追踪。教师臂重量较轻，对用户的干扰仅相当于手套的重量。来自手臂阻力的运动学反馈虽很细微，但能帮助操作者直观地避开手臂奇异点。如表1和表2所示，BiDex能让遥操作员在更短的时间内完成更多任务。相比之下，Vision Pro经常会出现手臂追踪抖动现象，这会加大执行更复杂任务的难度。虽然低通滤波能在一定程度上缓解这一问题，但会引入不必要的延迟。有时系统甚至会完全停止运行，这会让用户感到不安。 SteamVR系统提供无线连接功能，使用户无需受线缆束缚，且通常能提供精确的追踪效果。不过，它每隔5-10分钟就会出现短暂的高延迟或断连现象，这种体验颇为突兀。值得注意的是，由于需要在遥操作环境周围设置外部追踪灯塔，SteamVR系统无法在移动场景下使用。 BiDex能提供更精准的手部追踪效果。使用Manus手套时，BiDex的指尖追踪精度极高。在映射到不同机器人时，针对不同手型的操作者仅需对逆运动学做微调即可。在不同条件下，掌指关节的外展和内收精度依然可靠。这些优势在LEAP Hand V2上尤为关键，因为执行复杂任务时精准度至关重要。相比之下，Vision Pro在不同光照条件下难以应对手型差异，这使得将其映射到机器人手部的过程更具挑战性。此外，遮挡现象会影响手指外展和内收的估算结果，进而妨碍复杂任务的执行。其延迟现象也很明显，会给遥操作带来重大问题。

	Can Handover	Cup Stacking	Bottle Pouring
Leap Hand	7/10	14/20	16/20

Table 3: Imitation learning: We train ACT from [^15] using data collected by BiDex and find that our system can perform well even in this 44 dimension action space. This demonstrates that our robot data is high quality for training robot policies.

--- ![Image](images/6547f7de62a95a19e12cb2685141e0efd2e842e3a6137ead9a39bc2ca38c31f0.jpg)

Figure 4: Clearing the Dishes: In this task, we use BiDex to perform a long horizon task to place bowls and spoons into a drying rack and lift the drying rack away from the table.

### 5.2 利用BiDex训练灵巧视觉运动策略为了验证我们的系统采集的数据质量是否较高且对机器学习有用，我们训练了单任务闭环行为克隆策略。具体来说，我们利用约50次演示数据，以30Hz的频率、16的时间范围，用[^15]训练动作分块Transformer模型，并采用来自[^50]的预训练权重。状态空间包括机器人手的当前关节角度以及摄像头拍摄的图像。在LEAP Hand的情况下，每只手的动作空间为16维，每条手臂的动作空间为6维，总计44维。在策略展开过程中，其行为非常平滑，体现了遥操作数据的高质量。在YCB Pringles罐[^51]递送等任务中，我们甚至看到策略能很好地泛化到罐子的不同初始位置。 ### 5.3 利用LEAP Hand V2实现极致灵巧性为了将BiDex的性能推向极致，我们采用了LEAP Hand V2：这是一款具备21个自由度、极其灵巧且成本低廉的混合式机械手，相关介绍详见第4.2节。为实现这一目标，我们在图1和图4中展示了多种极具挑战性的任务，包括倒水、舀取、锤击、用筷子夹取物品、抓取衣架、提起篮子、钻孔、拾取盘子和锅具、再次抓取衣架以及提起桌子。在模仿学习部分，我们还利用LEAP v2训练了AC1模型，训练任务包括提篮、钻孔、拾取盘子和锅具。实验结果表明，BiDex能够很好地适配这款高自由度的机械手，操控这款软硬结合的机械手时体验十分自然。我们在网站上提供了表4以及视频结果，详情请查看。

	Drill	Lift Pot	Bottle Pouring	Plate Pickup
Leap Hand v2	15/20	15/20	15/20	13/20

## 6 讨论与局限性 ## 在本文中，我们介绍了BiDex——一种便携、低成本且精度极高的双腕类人机器人手与手臂系统遥操作方法。我们验证了该系统在桌面环境和移动场景中的适用性，并展示了其与SteamVR、Vision Pro等替代方案相比，在执行双腕灵巧任务时的高效性。不过，我们的BiDex并非没有局限性：由于缺乏触觉反馈，操作人员只能依靠视觉反馈进行遥操作，无法感知机械手所接触物体的情况；此外，他们也无法实现精细的力控制，仅能操控机械手与手臂的运动学参数，这会给精细操作任务带来挑战。未来一个有前景的方向是将触觉反馈集成到系统中，从而进一步挖掘收集极端灵巧数据的潜力。 --- ## 致谢我们感谢Ankur Handa、Artnur Ausnire、Ioru Lin和Nancy Ouard就本文内容进行的讨论。我们也感谢Manus Meta公司的Maarten Witteveen和Sarah Shaban在手套方面提供的帮助；感谢Diya Dinesh和Lukas Kebuladze在遥操作方面的协助。本研究部分得到了DARPA机器常识项目资助、AFOSR FA9550-23-1-0747项目资助、ONR N00014-22-1-2096项目资助、AIST CMU项目资助以及谷歌研究奖的支持。 ## 参考文献 [^1]: K. Shaw, A. Agarwal, and D. Pathak. Leap hand: Low-cost, efficient, and anthropomorphic hand for robot learning. arXiv preprint arXiv:2309.06440, 2023. [^2]: S. Levine, C. Finn, T. Darrell, and P. Abbeel. End-to-end training of deep visuomotor policies. Journal of Machine Learning Research, 17(39):1–40, 2016. [^3]: I. Akkaya, M. Andrychowicz, M. Chociej, M. Litwin, B. McGrew, A. Petron, A. Paino, M. Plappert, G. Powell, R. Ribas, et al. Solving rubik's cube with a robot hand. arXiv preprint arXiv:1910.07113, 2019. [^4]: J. Hwangbo, J. Lee, A. Dosovitskiy, D. Bellicoso, V. Tsounis, V. Koltun, and M. Hutter. Learning agile and dynamic motor skills for legged robots. Science Robotics, 4(26):eaau5872, 2019. [^5]: A. Kumar, Z. Fu, D. Pathak, and J. Malik. Rma: Rapid motor adaptation for legged robots. arXiv preprint arXiv:2107.04034, 2021. [^6]: D. Kalashnikov, A. Irpan, P. Pastor, J. Ibarz, A. Herzog, E. Jang, D. Quillen, E. Holly, M. Kalakrishnan, V. Vanhoucke, et al. Scalable deep reinforcement learning for vision-based robotic manipulation. In Conference on robot learning, pages 651–673. PMLR, 2018. [^7]: R. Ding, Y. Qin, J. Zhu, C. Jia, S. Yang, R. Yang, X. Qi, and X. Wang. Bunny-visionpro: Bimanual dexterous teleoperation with real-time retargeting using vision pro. 2024. [^8]: Y. Park and P. Agrawal. Using apple vision pro to train and control robots, 2024. URL . [^9]: Valve Corporation. . [Virtual reality platform]. [^10]: Vicon. . [Motion capture technology]. [^11]: C. Wang, H. Shi, W. Wang, R. Zhang, L. Fei-Fei, and C. K. Liu. Dexcap: Scalable and portable mocap data collection system for dexterous manipulation. arXiv preprint arXiv:2403.07788, 2024. [^12]: P. Mannam, K. Shaw, D. Bauer, J. Oh, D. Pathak, and N. Pollard. Designing anthropomorphic soft hands through interaction. In 2023 IEEE-RAS 22nd International Conference on Humanoid Robots (Humanoids), pages 1–8, 2023. doi:10.1109/Humanoids57100.2023.10375195. [^13]: K. Shaw, S. Bahl, A. Sivakumar, A. Kannan, and D. Pathak. Learning dexterity from human hand motion in internet videos. The International Journal of Robotics Research, 43(4):513–532, 2024. doi:10.1177/02783649241227559. URL . [^14]: Manus. . [VR haptic gloves]. ## [^15]: T. Z. Zhao, V. Kumar, S. Levine, and C. Finn. Learning fine-grained bimanual manipulation with low-cost hardware. arXiv preprint arXiv:2304.13705, 2023 --- [^16]: P. Wu, Y. Shentui, Z. Yi, X. Lin, and P. Abbeel. Gello: A general, low-cost, and intuitive teleoperation framework for robot manipulators. arXiv preprint arXiv:2309.13037, 2023. [^17]: H. Liu, S. Nasiriany, L. Zhang, Z. Bao, and Y. Zhu. Robot learning on the job: Human-in-the-loop autonomy and learning during deployment. arXiv preprint arXiv:2211.08416, 2022. [^18]: H. Ravichandar, A. S. Polydoros, S. Chernova, and A. Billard. Recent advances in robot learning from demonstration. Annual review of control, robotics, and autonomous systems, 3:297–330, 2020. [^19]: A. Sivakumar, K. Shaw, and D. Pathak. Robotic telekinesis: Learning a robotic hand imitator by watching humans on youtube. arXiv preprint arXiv:2202.10448, 2022. [^20]: S. P. Arunachalam, I. Güzey, S. Chintala, and L. Pinto. Holo-dex: Teaching dexterity with immersive mixed reality. In 2023 IEEE International Conference on Robotics and Automation (ICRA), pages 5962–5969. IEEE, 2023. [^21]: G. Brantner and O. Khatib. Controlling ocean one: Human–robot collaboration for deep-sea manipulation. Journal of Field Robotics, 38(1):28–51, 2021. [^22]: J. Liang, J. Mahler, M. Laskey, P. Li, and K. Goldberg. Using dvrk teleoperation to facilitate deep learning of automation tasks for an industrial robot. In 2017 13th IEEE Conference on Automation Science and Engineering (CASE), pages 1–8, 2017. doi:10.1109/COASE.2017.8256067. [^23]: C. Freschi, V. Ferrari, F. Melfi, M. Ferrari, F. Mosca, and A. Cuschieri. Technical review of the da vinci surgical telemanipulator. The International Journal of Medical Robotics and Computer Assisted Surgery, 9(4):396–406, 2013. [^24]: T. Z. Zhao, V. Kumar, S. Levine, and C. Finn. Learning fine-grained bimanual manipulation with low-cost hardware. arXiv preprint arXiv:2304.13705, 2023. [^25]: Z. Fu, T. Z. Zhao, and C. Finn. Mobile aloha: Learning bimanual mobile manipulation with low-cost whole-body teleoperation. arXiv preprint arXiv:2401.02117, 2024. [^26]: A. Handa, K. Van Wyk, W. Yang, J. Liang, Y.-W. Chao, Q. Wan, S. Birchfield, N. Ratliff, and D. Fox. Dexpilot: Vision-based teleoperation of dexterous robotic hand-arm system. In 2020 IEEE International Conference on Robotics and Automation (ICRA), pages 9164–9170. IEEE, 2020. [^27]: Y. Qin, W. Yang, B. Huang, K. Van Wyk, H. Su, X. Wang, Y.-W. Chao, and D. Fox. Anyteleop: A general vision-based dexterous robot arm-hand teleoperation system. arXiv preprint arXiv:2307.04577, 2023. [^28]: Shadow Robot Company. . [Robotic hand]. [^29]: T. Lin, Y. Zhang, Q. Li, H. Qi, B. Yi, S. Levine, and J. Malik. Learning visuotactile skills with two multifingered hands. arXiv:2404.16823, 2024. [^30]: Psyonic. . [Bionic hand]. [^31]: Movella. . [Motion capture technology]. [^32]: Rokoko. . [Motion capture hardware and software]. ## [^33]: Y. Rong, T. Shiratori, and H. Joo. Frankmocap: A monocular 3d whole-body pose estimation system via regression and integration. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 1749–1759, 2021 --- [^34]: J. Romero, D. Tzionas, and M. J. Black. Embodied hands: Modeling and capturing hands and bodies together. arXiv preprint arXiv:2201.02610, 2022. [^35]: A. Mandlekar, D. Xu, J. Wong, S. Nasiriany, C. Wang, R. Kulkarni, L. Fei-Fei, S. Savarese, Y. Zhu, and R. Martín-Martín. What matters in learning from offline human demonstrations for robot manipulation. arXiv preprint arXiv:2108.03298, 2021. [^36]: C. Chi, S. Feng, Y. Du, Z. Xu, E. Cousineau, B. Burchfiel, and S. Song. Diffusion policy: Visuomotor policy learning via action diffusion. arXiv preprint arXiv:2303.04137, 2023. [^37]: S. Dasari, F. Ebert, S. Tian, S. Nair, B. Bucher, K. Schmeckpeper, S. Singh, S. Levine, and C. Finn. Robonet: Large-scale multi-robot learning. arXiv preprint arXiv:1910.11215, 2019. [^38]: A. Padalkar, A. Pooley, A. Jain, A. Bewley, A. Herzog, A. Irpan, A. Khazatsky, A. Rai, A. Singh, A. Brohan, et al. Open x-embodiment: Robotic learning datasets and rt-x models. arXiv preprint arXiv:2310.08864, 2023. [^39]: A. Khazatsky, K. Pertsch, S. Nair, A. Balakrishna, S. Dasari, S. Karamcheti, S. Nasiriany, M. K. Srirama, L. Y. Chen, K. Ellis, et al. Droid: A large-scale in-the-wild robot manipulation dataset. arXiv preprint arXiv:2403.12945, 2024. [^40]: H. R. Walke, K. Black, T. Z. Zhao, Q. Vuong, C. Zheng, P. Hansen-Estruch, A. W. He, V. Myers, M. J. Kim, M. Du, et al. Bridgedata v2: A dataset for robot learning at scale. In Conference on Robot Learning, pages 1723–1736. PMLR, 2023. [^41]: S. Song, A. Zeng, J. Lee, and T. Funkhouser. Grasping in the wild: Learning 6dof closed-loop grasping from low-cost demonstrations. IEEE Robotics and Automation Letters, 5(3):4978–4985, 2020. [^42]: C. Chi, Z. Xu, C. Pan, E. Cousineau, B. Burchfiel, S. Feng, R. Tedrake, and S. Song. Universal manipulation interface: In-the-wild robot teaching without in-the-wild robots. arXiv preprint arXiv:2402.10329, 2024. [^43]: K. Shaw and D. Pathak. LEAP hand v2: Dexterous, low-cost anthropomorphic hybrid rigid soft hand for robot learning. In 2nd Workshop on Dexterous Manipulation: Design, Perception and Control (RSS), 2024. URL . [^44]: G. Pavlakos, D. Shan, I. Radosavovic, A. Kanazawa, D. Fouhey, and J. Malik. Reconstructing hands in 3D with transformers. In CVPR, 2024. [^45]: S. R. Buss and J.-S. Kim. Selectively damped least squares for inverse kinematics. Journal of Graphics tools, 10(3):37–49, 2005. [^46]: J. Bohren, R. B. Rusu, E. G. Jones, E. Marder-Eppstein, C. Pantofaru, M. Wise, L. Mösenlechner, W. Meeussen, and S. Holzer. Towards autonomous robotic butlers: Lessons learned with the pr2. In 2011 IEEE International Conference on Robotics and Automation, pages 5568–5575. IEEE, 2011. [^47]: H. Xiong, R. Mendonca, K. Shaw, and D. Pathak. Adaptive mobile manipulation for articulated objects in the open world. arXiv preprint arXiv:2401.14403, 2024. [^48]: AgileX Robotics. Ranger mini. , 2023. Omnidirectional mobile robot platform. [^49]: A. Agarwal, S. Uppal, K. Shaw, and D. Pathak. Dexterous functional grasping. In Conference on Robot Learning, pages 3453–3467. PMLR, 2023. ## [^50]: S. Dasari, M. K. Sriram, U. Jain, and A. Gupta. An unbiased look at datasets for visuo-motor pre-training. In Conference on Robot Learning, pages 1183–1198. PMLR, 2023 --- [^51]: B. Calli, A. Singh, J. Bruce, A. Walsman, K. Konolige, S. Srinivasa, P. Abbeel, and A. M. Dollar. Yale-cmu-berkeley dataset for robotic manipulation research. The International Journal of Robotics Research, 36(3):261–268, 2017. ## [^52]: A. Dosovitskiy, L. Beyer, A. Kolesnikov, D. Weissenborn, X. Zhai, T. Unterthiner, M. Dehghani, M. Minderer, G. Heigold, S. Gelly, et al. An image is worth 16x16 words: Transformers for image recognition at scale. arXiv preprint arXiv:2010.11929, 2020 --- ## 7 网站上的视频、组装说明与软件如需查看视频、组装说明和软件，请访问我们的项目网站。这些信息有助于复现BiDex，并利用高质量动作捕捉手套打造其变体。 ## 8 详细的成本分析有关BiDex的详细物料清单及成本明细，请参阅表5和表6。这些价格数据截至论文提交时有效。虽然我们称BiDex为低成本产品，但也承认它对于业余爱好者而言仍属昂贵。我们认为，随着技术进步以及本领域及其他相关领域需求的增长，动作捕捉手套的价格将会持续下降。总体而言，机器人手臂、机械手及遥操作系统的总成本约为3万美元，这一价格对于学术或工业实验室而言是可承受的。

Object	Quantity	Total
Pair of Manus Meta Gloves	1	$6000
Dynamixel XL330-M288 (Gello)	12	$300
U2D2 Control PCB	2	$40
5v 20A Power Supply	2	$25
14 AWG Cabling	1	$20
PLA Printer Plastic	N/A	$10
Total		$6395

Table 5: We present the bill of materials of BiDex for two tracker arms and gloves. The total cost is around $6000, mostly due to the Manus Meta gloves.

Object	Quantity	Total
xArm 6	2	$18000
Ubuntu Laptop	1	$2000
Mobile Base	1	$6000
Zed Camera	3	$1200
LEAP Hand or LEAP Hand V2	2	$4000
Total		$31,2000

Table 6: We present the bill of materials of the mobile robot setup. The robot and BiDex costs around $35,000 in total which we believe is reasonable for a dexterous bimanual robot hand setup with 50+ degrees of freedom.

## 9 用户研究为了进一步评估BiDex的性能，我们开展了一项用户研究，邀请新手用户分别测试BiDex和Apple Vision Pro系统。每位参与者在每种系统上都会进行10次薯片传递任务，每种系统使用前均有3分钟的练习时间。我们收集了任务平均完成时间、成功率数据，以及用户对两种系统的准确性、响应速度、易用性及自信度方面的评分（评分范围为1到5分）。研究结果汇总于图8中。我们的研究结果表明，用户使用BiDex完成任务的速度明显更快。虽然所有参与者使用BiDex时都取得了很高的成功率，但Apple Vision Pro的性能表现则存在较大差异。值得注意的是，有一位用户（用户5）在控制Apple Vision Pro时遇到困难，导致机器人手损坏，该次试验的成功率为零。不过，也有少数用户使用Apple Vision Pro取得的成功率与BiDex相当。总体而言，参与者认为BiDex更精准、响应更灵敏且更易用，他们对使用BiDex也更有信心。 --- ## 10 策略性能对比我们提供了额外的结果，用于比较和评估基于BiDex和Apple Vision Pro收集的数据训练出的策略。具体而言，我们使用这两种系统分别采集了100组薯片罐递送任务的演示数据，并基于不同数量的演示数据训练策略。随后，我们在大致相同的起始姿态下对每种策略进行10次试验评估。我们将结果总结在图6中。总体来看，我们发现策略性能会随着演示数量的增加而提升，这一结果并不令人意外，它凸显了开发高效且有效的遥操作系统的必要性，以便收集大量机器人数据。评估前我们曾假设：在演示数量相同的情况下，基于不同数据源训练的策略性能会相近。但出乎意料的是，基于Apple Vision Pro训练的策略性能更差，主要原因如“Apple Vision Pro与我们的方法对比”一节所示，是手腕动作过于突兀所致。我们推测，两种遥操作系统在动作空间上的差异导致了性能差别：Apple Vision Pro的命令是在末端执行器空间发出的，微小的预测误差就可能在关节空间引发较大偏差；而BiDex的命令直接作用于关节空间，因此动作更平滑。 ## 11 关于Manus手套我们使用的是Manus Meta Quantum Metagloves [^14]，它采用霍尔效应传感器，精度极高，采样率可达120Hz，能够测量$6000 tracking Mocap glove. Each finger is tracked by the glove and returns the fingertip positions as xyz-quaterion and also 4 different angles for each finger$\theta_{MCP_{side}}、\theta_{MCP_{fwd}}、\theta_{PIP}、\theta_{DIP}等参数。我们使用其Windows API（发布时暂不支持Linux），并发布了经过修改的版本，可将数据发送至运行ROS的Linux机器。这些手套可在购买，我们的软件可在项目网站上获取。 ## 12 SteamVR基准测试对于手腕追踪的SteamVR基准测试，我们使用Manus Meta SteamVR追踪器，它们与手套相连，可通过前述Windows API无缝传输数据。这些追踪器为无线设备，但需要在工作区周围设置SteamVR灯塔。测试中我们将4个SteamVR追踪器安装在天花板上，以尽量减少遮挡情况；我们也将4个追踪器按推荐配置，呈16英尺见方的阵列安装在遥操作者站立位置周围。我们将发布相关代码，供其他研究者在其对比研究中复用。 ## 13 Apple Vision Pro基准测试 Apple Vision Pro基准测试基于[^8]。利用这些数据，我们采用与Manus手套相同的方式通过逆运动学来控制手部。对于手臂部分，我们先根据机器人实体进行缩放、平移和旋转处理，再通过逆运动学来控制手臂动作。 ![Image](images/816f7ba9238357313b9312a576b26aba0fa9409dab61ed0b928753437b823287.jpg)

Figure 5: Behavior Cloning Policy Architecture

--- ![Image](images/19c31d4b5084e57ce9ef1b1575ca11d5984088266783dc98c83351bcba805313.jpg)

Figure 6: Training autonomous policies with BiDex enables a higher success rate with less data than an Apple Vision Pro baseline. This is thanks to the higher quality data.

## 14 行为克隆策略架构与超参数我们在图5中展示了我们的策略架构。我们的行为克隆策略以RGB图像和当前手部关节角度（本体感知）作为输入。我们通过ViT [^52] 获取图像观测的标记，通过线性层获取关节本体感知的标记。ViT的权重初始化自 [^50] 中的Soup 1M模型。这些标记随后会经过动作分块Transformer [^15]——一种编码器-解码器Transformer——以输出一系列动作。动作空间为两只手臂和两只手的绝对值关节角度。一个能显著提升策略泛化能力的关键决策是：将当前手臂关节信息排除在本体感知之外。从直觉上讲，这或许能迫使模型从图像观测中提取物体信息，而非过度拟合以预测与当前手臂状态相近的动作。我们在表7中列出了行为策略训练的关键超参数。总体而言，仅需20到50个演示样本，以及在RTX4090上花费1小时的训练时间，我们就能得到性能出色的策略。借助我们易于使用的遥操作系统，我们能快速为复杂的双臂灵巧任务生成多样化的策略。 ![Image](images/7a3d6ebbb6a2485d432e3a6c8418855f066465efd15c0d0b08d89b94c438393a.jpg) ![Image](images/6ee4ab11d21af31c1f38f60acef3cfbdd48f483c5c397d6f90ffb7a84fd7096a.jpg)

Figure 7: We compare BiDex to the GELLO system designed for 1 DOF grippers. Our system uses a motion capture glove to capture full fingertip information and is reinforced to handle the wears and tears of this additional weight.

---

Hyperparameter	Value
Behavior Policy Training
optimizer	AdamW
base learning rate	$3e^{-4}$
weight decay	0.05
optimizer momentum	$\beta_{{1}}, \beta_{{2}} = 0.9, 0.95$
batch size	64
learning rate schedule	cosine decay
total steps	10000
warmup steps	500
augmentation	GaussianBlur, Normalize, RandomResizedCrop
GPU	RTX4090 (24 gb)
Wall-clock time	~ 1 hour
Visual Backbone ViT Architecture
patch size	16
#layers	12
#MHSA heads	12
hidden dim	768
class token	yes
positional encoding	sin cos
Action Chunking Transformer Architecture
# encoder layers	6
# decoder layers	6
#MHSA heads	8
hidden dim	512
feedforward dim	2048
dropout	0.1
positional encoding	sin cos
action chunk	100

Table 7: Hyperparameters for Behavior Cloning Policy Training

--- ![Image](images/1099cdc8bf5416775e680793483131d53fbd2324db688c76bdc062136e7ce72d.jpg)

(a) Bidex has consistently better user success rates. User Completion Time

![Image](images/386ab97186b0daba00545d8af0aa6487aff9c7fee8473412ee36bda342d0b355.jpg)

(b) Bidex is faster as seen in these user mean and standard deviation completion times.

![Image](images/d869874a79d825df8a144ea14fb15a190ba9a58a3722dda86a46111b319abfe7.jpg)

(c) Users feedback on accuracy, responsiveness, ease of use, and confidence in using each system shows that Bidex is empirically easier to use.

Figure 8: Novice operators were asked to complete the Pringles can handover tasks for ten trials with BiDex and the Apple Vision Pro. * User 5 found it hard to control the system with the Apple Vision Pro and broke robot hands during operation, resulting in zero success rate.

--- ## 参考文献 [^1]: K. Shaw, A. Agarwal, and D. Pathak. Leap hand: Low-cost, efficient, and anthropomorphic hand for robot learning. arXiv preprint arXiv:2309.06440, 2023. [^2]: S. Levine, C. Finn, T. Darrell, and P. Abbeel. End-to-end training of deep visuomotor policies. Journal of Machine Learning Research, 17(39):1–40, 2016. [^3]: I. Akkaya, M. Andrychowicz, M. Chociej, M. Litwin, B. McGrew, A. Petron, A. Paino, M. Plappert, G. Powell, R. Ribas, et al. Solving rubik's cube with a robot hand. arXiv preprint arXiv:1910.07113, 2019. [^4]: J. Hwangbo, J. Lee, A. Dosovitskiy, D. Bellicoso, V. Tsounis, V. Koltun, and M. Hutter. Learning agile and dynamic motor skills for legged robots. Science Robotics, 4(26):eaau5872, 2019. [^5]: A. Kumar, Z. Fu, D. Pathak, and J. Malik. Rma: Rapid motor adaptation for legged robots. arXiv preprint arXiv:2107.04034, 2021. [^6]: D. Kalashnikov, A. Irpan, P. Pastor, J. Ibarz, A. Herzog, E. Jang, D. Quillen, E. Holly, M. Kalakrishnan, V. Vanhoucke, et al. Scalable deep reinforcement learning for vision-based robotic manipulation. In Conference on robot learning, pages 651–673. PMLR, 2018. [^7]: R. Ding, Y. Qin, J. Zhu, C. Jia, S. Yang, R. Yang, X. Qi, and X. Wang. Bunny-visionpro: Bimanual dexterous teleoperation with real-time retargeting using vision pro. 2024. [^8]: Y. Park and P. Agrawal. Using apple vision pro to train and control robots, 2024. URL . [^9]: Valve Corporation. . [Virtual reality platform]. [^10]: Vicon. . [Motion capture technology]. [^11]: C. Wang, H. Shi, W. Wang, R. Zhang, L. Fei-Fei, and C. K. Liu. Dexcap: Scalable and portable mocap data collection system for dexterous manipulation. arXiv preprint arXiv:2403.07788, 2024. [^12]: P. Mannam, K. Shaw, D. Bauer, J. Oh, D. Pathak, and N. Pollard. Designing anthropomorphic soft hands through interaction. In 2023 IEEE-RAS 22nd International Conference on Humanoid Robots (Humanoids), pages 1–8, 2023. doi:10.1109/Humanoids57100.2023.10375195. [^13]: K. Shaw, S. Bahl, A. Sivakumar, A. Kannan, and D. Pathak. Learning dexterity from human hand motion in internet videos. The International Journal of Robotics Research, 43(4):513–532, 2024. doi:10.1177/02783649241227559. URL . [^14]: Manus. . [VR haptic gloves]. [^15]: T. Z. Zhao, V. Kumar, S. Levine, and C. Finn. Learning fine-grained bimanual manipulation with low-cost hardware. arXiv preprint arXiv:2304.13705, 2023. [^16]: P. Wu, Y. Shentui, Z. Yi, X. Lin, and P. Abbeel. Gello: A general, low-cost, and intuitive teleoperation framework for robot manipulators. arXiv preprint arXiv:2309.13037, 2023. [^17]: H. Liu, S. Nasiriany, L. Zhang, Z. Bao, and Y. Zhu. Robot learning on the job: Human-in-the-loop autonomy and learning during deployment. arXiv preprint arXiv:2211.08416, 2022. ## [^18]: H. Ravichandar, A. S. Polydoros, S. Chernova, and A. Billard. Recent advances in robot learning from demonstration. Annual review of control, robotics, and autonomous systems, 3:297–330, 2020 --- [^19]: A. Sivakumar, K. Shaw, and D. Pathak. Robotic telekinesis: Learning a robotic hand imitator by watching humans on youtube. arXiv preprint arXiv:2202.10448, 2022. [^20]: S. P. Arunachalam, I. Güzey, S. Chintala, and L. Pinto. Holo-dex: Teaching dexterity with immersive mixed reality. In 2023 IEEE International Conference on Robotics and Automation (ICRA), pages 5962–5969. IEEE, 2023. [^21]: G. Brantner and O. Khatib. Controlling ocean one: Human–robot collaboration for deep-sea manipulation. Journal of Field Robotics, 38(1):28–51, 2021. [^22]: J. Liang, J. Mahler, M. Laskey, P. Li, and K. Goldberg. Using dvrk teleoperation to facilitate deep learning of automation tasks for an industrial robot. In 2017 13th IEEE Conference on Automation Science and Engineering (CASE), pages 1–8, 2017. doi:10.1109/COASE.2017.8256067. [^23]: C. Freschi, V. Ferrari, F. Melfi, M. Ferrari, F. Mosca, and A. Cuschieri. Technical review of the da vinci surgical telemanipulator. The International Journal of Medical Robotics and Computer Assisted Surgery, 9(4):396–406, 2013. [^24]: T. Z. Zhao, V. Kumar, S. Levine, and C. Finn. Learning fine-grained bimanual manipulation with low-cost hardware. arXiv preprint arXiv:2304.13705, 2023. [^25]: Z. Fu, T. Z. Zhao, and C. Finn. Mobile aloha: Learning bimanual mobile manipulation with low-cost whole-body teleoperation. arXiv preprint arXiv:2401.02117, 2024. [^26]: A. Handa, K. Van Wyk, W. Yang, J. Liang, Y.-W. Chao, Q. Wan, S. Birchfield, N. Ratliff, and D. Fox. Dexpilot: Vision-based teleoperation of dexterous robotic hand-arm system. In 2020 IEEE International Conference on Robotics and Automation (ICRA), pages 9164–9170. IEEE, 2020. [^27]: Y. Qin, W. Yang, B. Huang, K. Van Wyk, H. Su, X. Wang, Y.-W. Chao, and D. Fox. Anyteleop: A general vision-based dexterous robot arm-hand teleoperation system. arXiv preprint arXiv:2307.04577, 2023. [^28]: Shadow Robot Company. . [Robotic hand]. [^29]: T. Lin, Y. Zhang, Q. Li, H. Qi, B. Yi, S. Levine, and J. Malik. Learning visuotactile skills with two multifingered hands. arXiv:2404.16823, 2024. [^30]: Psyonic. . [Bionic hand]. [^31]: Movella. . [Motion capture technology]. [^32]: Rokoko. . [Motion capture hardware and software]. [^33]: Y. Rong, T. Shiratori, and H. Joo. Frankmocap: A monocular 3d whole-body pose estimation system via regression and integration. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 1749–1759, 2021. [^34]: J. Romero, D. Tzionas, and M. J. Black. Embodied hands: Modeling and capturing hands and bodies together. arXiv preprint arXiv:2201.02610, 2022. [^35]: A. Mandlekar, D. Xu, J. Wong, S. Nasiriany, C. Wang, R. Kulkarni, L. Fei-Fei, S. Savarese, Y. Zhu, and R. Martín-Martín. What matters in learning from offline human demonstrations for robot manipulation. arXiv preprint arXiv:2108.03298, 2021. ## [^36]: C. Chi, S. Feng, Y. Du, Z. Xu, E. Cousineau, B. Burchfiel, and S. Song. Diffusion policy: Visuomotor policy learning via action diffusion. arXiv preprint arXiv:2303.04137, 2023 --- [^37]: S. Dasari, F. Ebert, S. Tian, S. Nair, B. Bucher, K. Schmeckpeper, S. Singh, S. Levine, and C. Finn. Robonet: Large-scale multi-robot learning. arXiv preprint arXiv:1910.11215, 2019. [^38]: A. Padalkar, A. Pooley, A. Jain, A. Bewley, A. Herzog, A. Irpan, A. Khazatsky, A. Rai, A. Singh, A. Brohan, et al. Open x-embodiment: Robotic learning datasets and rt-x models. arXiv preprint arXiv:2310.08864, 2023. [^39]: A. Khazatsky, K. Pertsch, S. Nair, A. Balakrishna, S. Dasari, S. Karamcheti, S. Nasiriany, M. K. Srirama, L. Y. Chen, K. Ellis, et al. Droid: A large-scale in-the-wild robot manipulation dataset. arXiv preprint arXiv:2403.12945, 2024. [^40]: H. R. Walke, K. Black, T. Z. Zhao, Q. Vuong, C. Zheng, P. Hansen-Estruch, A. W. He, V. Myers, M. J. Kim, M. Du, et al. Bridgedata v2: A dataset for robot learning at scale. In Conference on Robot Learning, pages 1723–1736. PMLR, 2023. [^41]: S. Song, A. Zeng, J. Lee, and T. Funkhouser. Grasping in the wild: Learning 6dof closed-loop grasping from low-cost demonstrations. IEEE Robotics and Automation Letters, 5(3):4978–4985, 2020. [^42]: C. Chi, Z. Xu, C. Pan, E. Cousineau, B. Burchfiel, S. Feng, R. Tedrake, and S. Song. Universal manipulation interface: In-the-wild robot teaching without in-the-wild robots. arXiv preprint arXiv:2402.10329, 2024. [^43]: K. Shaw and D. Pathak. LEAP hand v2: Dexterous, low-cost anthropomorphic hybrid rigid soft hand for robot learning. In 2nd Workshop on Dexterous Manipulation: Design, Perception and Control (RSS), 2024. URL . [^44]: G. Pavlakos, D. Shan, I. Radosavovic, A. Kanazawa, D. Fouhey, and J. Malik. Reconstructing hands in 3D with transformers. In CVPR, 2024. [^45]: S. R. Buss and J.-S. Kim. Selectively damped least squares for inverse kinematics. Journal of Graphics tools, 10(3):37–49, 2005. [^46]: J. Bohren, R. B. Rusu, E. G. Jones, E. Marder-Eppstein, C. Pantofaru, M. Wise, L. Mösenlechner, W. Meeussen, and S. Holzer. Towards autonomous robotic butlers: Lessons learned with the pr2. In 2011 IEEE International Conference on Robotics and Automation, pages 5568–5575. IEEE, 2011. [^47]: H. Xiong, R. Mendonca, K. Shaw, and D. Pathak. Adaptive mobile manipulation for articulated objects in the open world. arXiv preprint arXiv:2401.14403, 2024. [^48]: AgileX Robotics. Ranger mini. , 2023. Omnidirectional mobile robot platform. [^49]: A. Agarwal, S. Uppal, K. Shaw, and D. Pathak. Dexterous functional grasping. In Conference on Robot Learning, pages 3453–3467. PMLR, 2023. [^50]: S. Dasari, M. K. Sriram, U. Jain, and A. Gupta. An unbiased look at datasets for visuo-motor pre-training. In Conference on Robot Learning, pages 1183–1198. PMLR, 2023. [^51]: B. Calli, A. Singh, J. Bruce, A. Walsman, K. Konolige, S. Srinivasa, P. Abbeel, and A. M. Dollar. Yale-cmu-berkeley dataset for robotic manipulation research. The International Journal of Robotics Research, 36(3):261–268, 2017. [^52]: A. Dosovitskiy, L. Beyer, A. Kolesnikov, D. Weissenborn, X. Zhai, T. Unterthiner, M. Dehghani, M. Minderer, G. Heigold, S. Gelly, et al. An image is worth 16x16 words: Transformers for image recognition at scale. arXiv preprint arXiv:2010.11929, 2020.