# Bunny-VisionPro：用于模仿学习的实时双手法灵巧遥操作

丁润宇 $^{1,2*}$、秦宇哲 $^{1*}$、朱继月 $^{1*}$、贾承哲 $^{1}$、杨世奇 $^{1}$、杨瑞涵 $^{1}$、齐晓娟 $^{2}$ 以及王晓龙 $^{1}$

摘要—遥操作是收集人类演示数据的重要工具，但利用双手法控制机器人仍面临挑战。现有的遥操作系统难以应对双手协调完成复杂操作的复杂性。我们推出了Bunny-VisionPro——一种基于VR头盔的实时双手法灵巧遥操作系统。与以往的基于视觉的遥操作系统不同，我们设计了新型低成本设备来为操作者提供触觉反馈，从而提升沉浸感。我们的系统通过创新设计兼顾了碰撞与奇异点规避机制，在保障安全的同时维持实时性能。在标准任务测试中，Bunny-VisionPro的表现优于现有系统，不仅成功率更高，任务完成时间也更短。此外，高质量的遥操作演示数据能够提升后续模仿学习的性能，进而增强模型的泛化能力。值得注意的是，Bunny-VisionPro能够实现复杂的多阶段、长时程灵巧操作任务的模仿学习，而这类任务在以往的研究中鲜有涉及。该系统在兼顾安全性与实时性的同时，还能处理双手法操作，因此成为推动灵巧操作与模仿学习发展的有力工具。我们的网页地址为 <https://dingry.github.io/projects/bunny_visionpro>。

## I. 引言

玩虚拟现实（VR）游戏是一种沉浸式且直观的体验，玩家的手部和手臂动作会无缝转化为虚拟角色的动作。现在，想象一下能以同样的便捷性在现实世界中操控双手法机器人：操作者用自己的动作引导机器人的运动，就像在VR游戏中一样。这种机器人遥操作模式的转变，为更直观、更易用的人机交互开辟了令人兴奋的可能性。苹果Vision Pro等VR技术的最新进展让这一概念成为了现实。

![Image](images/533695836b761ddd5f1a1b866ff10b075a04f577e252d1726552ab42b08d9028.jpg)

然而，要将这一概念转化为实用的遥操作系统，由于实现类人操作所需的动作极为复杂，因此面临巨大挑战。对于自由度（DoF）较高的手-臂系统而言，这种复杂性更是被进一步放大——操作者必须协调两只手臂和手来完成需要时空同步的任务。实现响应式控制至关重要，因为延迟会导致机器人动作不精确 [^1]。此外，通过降低碰撞与奇异点等风险来确保安全性，又增添了另一层复杂性 [^2]。

在本文中，我们介绍了Bunny-VisionPro——一种新型的实时双手法灵巧遥操作系统。如图所示

![Image](images/23ccb41ef48c686ad6ba7d55ccded0ecf88100b2ad0212c8d131d74fe413789c.jpg)

(b) 用于模仿学习的遥操作任务

<div style="text-align: center;">Fig. 1: System Overview and Task Suits. (a) Hand poses captured by Apple Vision Pro are converted into robot motion control commands for real-time teleoperation. The robot provides sensory feedback, including vision and touch, to operators via Vision Pro and actuator-equipped finger cots. (b) We design diverse short-horizon (left-column) and long-horizon tasks (right-column) to evaluate teleoperation performance and its application for imitation learning.</div>

在图1中，我们的系统利用Vision Pro的追踪功能来捕捉操作员的手部动作，并将这些动作转化为精确的机器人指令。该系统同时兼顾机械臂与灵巧手的控制，着重保障安全性与实时性能。关键在于，Bunny-VisionPro包含三个创新模块：(i) 机械臂运动控制模块，无需高性能GPU即可实时处理机器人奇异性与碰撞规避问题。该模块能确保机械臂在复杂的双手操作场景中也能平稳安全地运行。(ii) 灵巧手映射模块，能够将人类手指动作精准地映射到机器人手上。该模块的独特之处在于能够实时为具有环形关节的机器人（如四杆机构）完成动作映射。(iii) 触觉反馈模块，采用低成本的偏心旋转质量块（ERM）执行器（每个仅1.2美元）来提供触感。这种新颖的设计搭配VR头盔，能在机器人与环境互动时带来更沉浸、逼真的体验，让操作员产生身临其境的感觉，仿佛自己就是机器人本身。

Bunny-VisionPro的强大功能使得研究人员能够收集用于灵巧操作、双手协作以及长时序模仿学习任务的高质量演示数据。借助这套直观且响应迅速的遥操作系统，操作员可以完成复杂的操作任务，并为学习算法收集多样化的数据，从而有效帮助模型学习并推广到新场景。

我们在Telekine-数据集上对Bunny-VisionPro系统进行了评估。

---

在[^3]基准测试中，与现有系统相比，我们的系统成功率高出了11%，任务完成时间缩短了45%。在多阶段、长时序任务中，这种优势尤为明显。基于该系统收集的演示数据训练出的模仿学习策略，在 Novel poses 和未见过的物体上的泛化能力较使用以往研究中的数据时提升了20% [^4]。这些结果充分证明了该系统在执行复杂双手操作任务时的卓越性能，以及其收集高质量数据的有效性。

### II. 相关工作

带夹持器的遥操作技术。传统的遥操作方法可根据控制目标分为两大类。第一类以ALOHA [^5]、[^6]、[^7]为代表，采用主从式结构下的关节空间映射 [^8]。虽然这种方法能实现出色的双手操作，但它针对特定机器人，要求主从机器人之间具备运动学等效性 [^9]。此外，它还将碰撞与奇异性管理的工作负担转嫁给了操作员。第二类方法侧重于末端执行器的控制 [^10]，通过逆运动学计算机械臂的关节位置。各类输入设备，如动作捕捉系统 [^11]、[^12]、惯性传感器 [^13] 以及VR控制器 [^14]、[^15]、[^16]、[^17] 均已被应用于此类系统。不过，这些系统通常采用简单的1或2自由度夹持器，限制了其灵巧性。相比之下，我们的工作旨在遥操作高自由度的手-臂系统，以完成复杂的操作任务。

灵巧遥操作。由于灵巧手具有大量的自由度和复杂的运动学特性，对其进行遥操作颇具挑战性。基于手套的系统[^18]、[^19]、[^20]、[^21]，比如特斯拉机器人所使用的MANUS手套[^22]，能够追踪操作者的手指动作，但这类系统成本较高且对手部尺寸有特定要求。近期出现的基于视觉的方法，如AnyTeleop[^4]，可利用摄像头[^3]、[^23]、[^24]、[^25]或VR头盔[^26]、[^27]、[^28]来实现灵巧手与手臂的遥操作。不过，AnyTeleop需要借助强大的GPU来处理手臂运动计算，且主要面向单臂设计。另一项同期研究[^29]通过握持按钮来控制自由度较低的Ability手，为了规避重定位延迟而牺牲了灵巧的指尖操控能力。相比之下，我们的重定位模块仅用一个CPU核心就能以300Hz的频率处理Ability手的四杆连杆结构，从而实现完全灵巧的操作。我们的系统还集成了碰撞与奇异性规避功能，同时能保持实时性能。

基于演示的模仿学习。模仿学习使机器人能够通过专家指导来模仿人类行为。早期利用深度学习[^30]、[^31]、[^32]、[^33]的研究开发了相关策略，以便根据图像[^5]、[^34]、[^35]、[^36]、[^37]、[^38]和点云数据[^39]、[^40]、[^41]、[^42]生成机器人控制指令，并在双臂系统方面取得了进一步进展[^18]、[^5]、[^6]、[^43]。此外，近期的研究还引入了触觉数据[^44]、[^29]，以丰富机器人学习的感官数据来源。鉴于演示数据的收集工作既耗时又对有效的模仿学习至关重要，我们的系统提供了一种极具吸引力的解决方案，能够高效收集高质量的双臂灵巧数据，从而显著提升各类学习算法的准确性和泛化能力。

### III. 遥操作系统

### A. 概述

Bunny-VisionPro是一款模块化遥操作系统，它利用VR头盔的手部与手腕追踪功能来控制高自由度的双臂机器人，如图2所示。该系统由三个相互独立的组件构成：手部运动重定位、手臂运动控制以及人体触觉反馈。

手部运动重定位模块会将操作者的手指姿态映射到机器人的灵巧手上，从而实现直观的灵巧操控。与此同时，手臂运动控制模块会以操作者的手腕姿态为输入，在计算机器人手臂的关节角度时兼顾碰撞规避与奇异性处理。人体触觉反馈模块则会将安装在机器人手上的传感器所采集到的触觉读数转化为驱动信号，用以激活操作者手上佩戴的偏心旋转质量（ERM）执行器。这为操作者提供了实时触觉反馈，不仅增强了他们的临场感，还能实现更精准的操控。

在远程操控过程中协调双机械臂时，还需要保持两只机械手之间的距离，使其与操作者的双手间距相匹配，从而实现自然、协调的运动。不过，机械手初始时的间距可能与人类双手的间距不一致。为解决这一问题，我们设计了多种初始化模式，以便在机器人开始移动时能将机械手迅速对齐到操作者的手上。不同的任务可能适合不同的初始化模式。这一步骤能创建一个一致的起点，从而在整个远程操控过程中实现直观且高效的双臂任务执行。

在通信方面，我们通过 [^45] 将 Vision Pro 上的手部姿态数据流式传输到计算机。这种模块化架构具有更好的扩展性，能够让各个模块在不同的计算进程中运行，从而避免系统中出现延迟累积现象，确保实时控制得以实现。

### B. 机械手运动映射

手部运动映射模块会将人类的手指姿态转换为对应的机械手关节位置。其原理是最小化人类手部指尖关键点向量 [^46] 与机械手指尖关键点向量之间的差异，这一过程被构建为一个在线优化问题。

 $$ L_{\mathrm{h a n d}}=\sum_{i=1}^{N}||\alpha v_{i}-\mathrm{F K}_{i}(q)||_{2}^{2}+\beta||\Delta q||_{2}^{2}\quad\mathrm{s.t.}\quad q^{l}\leq q\leq q^{u}. $$

目标函数 $L_{\text{hand}}$ 由两项组成：(i) 第一项最小化缩放后的人手关键点向量 $\alpha v_i$ 与由正向运动学函数 $\text{FK}_i(q)$ 计算得到的机器人手关键点向量之间的距离，其中 $v_i$ 表示第 $i^{th}$ 个指尖关键点向量， N 为向量总数， $\|\cdot\|_2$ 表示欧几里得范数， $\alpha$ 是用于调整人手与机器人手尺寸差异的缩放因子，且 q 为机器人手的关节位置，受下限 $q^l$ 和上限 $q^u$ 约束。(ii)

---

![Image](images/c098fe8822a3731e0dd9381df67d3c11632dc8597362dafc5db4b71419b1d1be.jpg)

<div style="text-align: center;">Fig. 2: Teleoperation System. The operator controls the robot hand and arm using finger and wrist poses, respectively. The system's visual and haptic feedback, combined with its four real-time capabilities, provides an intuitive and immersive VR experience for the operator.</div>

第二项通过惩罚连续帧之间较大的关节位置变化 $\Delta q$ 来强制保证运动的时间平滑性，该项的权重为 $\beta$。优化变量为 q，该目标函数通过序列二次规划（SQP）[^47]、[^48] 来求解，这是一种基于梯度的方法，能够迭代求解问题的二次近似解。

我们的研究独特地解决了灵巧手中常见的环形关节实时处理问题，这类手的关节数量超过了实际的自由度。对于拥有 n 个关节的机器人而言，$n-k$ 个被动关节的位置取决于其余 k 个主动关节，其关系可表示为：

 $$ q_{j}=c_{j}(q_{1},q_{2},...,q_{k}),\mathrm{f o r}j\in\{k+1,\ldots,n\}, $$

其中，被动关节 j 的位置 $q_{j}$ 并非独立存在，而是受到函数 $c_{j}$ 的约束，n 为关节位置的总数。我们并未像公式 (1) 中那样给优化问题添加等式约束，因为高度非线性的正运动学函数 $\mathrm{FK}(q)$ 会导致系统不稳定且计算时间增加；相反，我们将问题重新表述为低维形式，此时优化变量仅为 k 个维度（主动关节），而非 n 个（全部关节）。具体来说，在优化的前向传播阶段，被动关节的位置按公式 (2) 计算；在后向传播阶段，被动关节的梯度会被反向传播至主动关节，并叠加到其原始梯度上。由此，主动关节 i 的梯度为：

 $$ grad_{i}=\frac{\partial L_{\mathrm{hand}}}{\partial q_{i}}+\sum_{j=k+1}^{n}\frac{\partial c_{j}}{\partial q_{i}}\frac{\partial L_{\mathrm{hand}}}{\partial q_{j}}. $$

这种方法无需让SQP处理约束条件的仿射近似，从而简化了问题的求解难度。表I中的实验结果显示，使用该方法求解Ability Hand中的四杆连杆结构（一种环形关节）时，计算速度可提升$10.2x$。

### C. 机械臂运动控制

手臂运动控制需要根据Vision Pro检测到的手腕姿态来计算机械臂的关节轨迹。传统方法通常依赖逆运动学（IK）的闭式解，并通过利用零空间 [^49] 来处理奇异性等约束问题。然而，对于典型的7自由度机械臂而言，1自由度的零空间可能无法提供足够的灵活性。现代方法将这一问题转化为优化任务 [^50]，类似于动作重定向技术。该方法放宽了逆运动学的严格约束，以便纳入更多影响因素。受这些研究的启发，我们提出了公式(4)中所描述的统一且高效的优化目标函数 $L_{arm}$，它集成了逆运动学、碰撞规避和奇异性管理功能，可实现实时运动控制。

 $$ L_{\mathrm{a r m}}=L_{\mathrm{i k}}+L_{\mathrm{s i n}}+L_{\mathrm{c o l}}, $$

第一项涉及逆运动学目标：

 $$ \begin{array}{r}{L_{\mathrm{i k}}=\beta_{\mathrm{p o s}}||p_{\mathrm{e e}}-p_{\mathrm{w r i s t}}||_{2}+\beta_{\mathrm{r o t}}\cdot\mathrm{a r c c o s}(2\langle q_{\mathrm{e e}},q_{\mathrm{w r i s t}}\rangle^{2}-1).}\end{array} $$

此处，$p_{ee}$和$p_{wrist}$分别代表机器人末端执行器和人类腕部的位置，而$q_{ee}$和$q_{wrist}$则是它们对应的四元数。$\langle\cdot,\cdot\rangle$表示内积。权重$\beta_{pos}$和$\beta_{rot}$可用于平衡位置误差和旋转误差。此外，奇异性规避和碰撞规避的目标函数如下：

 $$ L_{\mathrm{s i n}}=\left\{\begin{array}{c c}{1-\frac{\sqrt{\operatorname*{d e t}\left[\mathbf{J J}^{\mathbf{T}}\right]}}{\lambda},}&{\mathrm{i f}s_{0}<s_{\mathrm{l o w}}}\\ {0,}&{\mathrm{o t h e r w i s e}}\\ \end{array}\right., $$

 $$ \begin{array}{r}{L_{\mathrm{c o l}}=\frac{1}{\sum_{i=1}^{m}\sum_{j=1}^{m}\mathsf{d i s t}(e_{i},e_{j})\mathbb{1}(e_{i},e_{j})+\epsilon}.}\end{array} $$

在奇异性规避目标函数$L_{\mathrm{sin}}$中，J代表空间雅可比矩阵，$s_0$是最小奇异值，$s_{\mathrm{low}}$是用于惩罚奇异性的条件触发项，$\lambda$则作为温度因子。理论上，$s_0$和可操作度指数$\sqrt{\det[J\mathbf{J}^{\mathrm{T}}]}$均可用于衡量奇异性[^51]，当这两个数值较低时，说明机器人正接近奇异性状态。由于可操作度指数更适合基于梯度的优化过程，因此我们选择将其作为目标函数，同时用$s_0$作为判断条件。如此一来，只有当机器人接近奇异性时，$L_{\mathrm{sin}}$才会生效。

在碰撞检测方面，虽然通常会采用GJK算法[^52]，但即便针对凸面网格，该算法也可能耗费较多时间。为了高效计算自碰撞代价$L_{col}$，我们将每个机器人连杆建模为若干个球体的集合。函数$\text{dist}(\cdot,\cdot)$用于计算球体$e_i$和$e_j$之间的欧几里得距离，而$\mathbf{1}(\cdot,\cdot)$则作为指示函数，用于判断是否需要执行碰撞检测，$\epsilon$用于保证数值稳定性。同一连杆内的球体之间，以及父连杆与其直接子连杆的球体之间的碰撞会被忽略。

---

![Image](images/72e9a754857ab9bdae600d70399fcd23ef0fe71fcf7221866286f55a49ee73fe.jpg)

<div style="text-align: center;">(a) Human haptic feedback from robot tactile readings</div>

![Image](images/aa17444c3975f858169d1fdc4001e5090d4b55f9cd445b9ea60aa31a89563f01.jpg)

<div style="text-align: center;">(b) Zero-drift calibration of tactile data</div>

<div style="text-align: center;">Fig. 3: Human Haptics Feedback Device. Tactile readings from FSR sensors located in the robot's fingertips undergo calibration and low-pass filtering. The processed tactile signals then drive ERM motors to deliver touch feedback to human.</div>

这种简化不仅加快了计算速度，还使得距离函数具备可微性。

### D. 人体触觉反馈装置

有效的人机操控依赖于视觉与触觉反馈的有机结合。然而，许多基于视觉的遥操作系统[^4]、[^23]、[^26]、[^28]、[^3]往往忽略了触觉反馈。为解决这一局限，我们开发了一种采用偏心旋转质量块（ERM）执行器的低成本触觉反馈系统（图3(a)）。该系统首先处理来自机器人手的触觉信号（步骤I），随后驱动振动电机来模拟触觉感受（步骤II）。尽管成本较低，但我们的系统能让操作者更直观地感知并响应环境，提供更沉浸式的体验，从而提升操控性能。

步骤I：触觉信号处理。Ability手（图3(a)）利用压阻式力传感器（FSR）来测量手指压力。不过，FSR传感器存在精度不足和零漂移问题[^53]、[^54]，这些问题还会因可变形包裹材料而加剧。为解决此问题，我们通过记录不同关节位置的FSR基准读数，并在运行时从实时读数中减去插值后的基准值来进行零漂移校准。这种高效的校准可在每次启动遥操作时自动执行。此外，我们还应用低通滤波器来降低噪声并平滑触觉数据。如图3(b)所示，这些信号处理技术显著提升了触觉反馈的质量与可靠性。

步骤II：振动电机驱动。在此步骤中，我们利用ELEGOO UNO板将处理后的触觉信号转换为ERM执行器的振动。由于ERM电机需要恒定输入电压，我们采用脉冲宽度调制（PWM）技术，通过调节脉冲宽度来控制ERM的振动强度，进而模拟连续的触觉效果。为了进一步提升触觉信号的稳定性以及系统的鲁棒性，我们在每个ERM执行器与其对应的

<div style="text-align: center;">TABLE I: Profiling Results. We measure module latencies in our system.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Module</td><td style='text-align: center; word-wrap: break-word;'>Time (ms)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Retargeting:</td><td style='text-align: center; word-wrap: break-word;'></td></tr><tr><td style='text-align: center; word-wrap: break-word;'>w/o loop joints</td><td style='text-align: center; word-wrap: break-word;'>2.54</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Loop joints (baseline, as constraints)</td><td style='text-align: center; word-wrap: break-word;'>34.98</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Loop joints (ours)</td><td style='text-align: center; word-wrap: break-word;'>3.43</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Motion Control:</td><td style='text-align: center; word-wrap: break-word;'></td></tr><tr><td style='text-align: center; word-wrap: break-word;'>IK only</td><td style='text-align: center; word-wrap: break-word;'>0.74</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>+ Collision</td><td style='text-align: center; word-wrap: break-word;'>7.85</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>+ Singularity</td><td style='text-align: center; word-wrap: break-word;'>10.42</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>+ Collision + Singularity</td><td style='text-align: center; word-wrap: break-word;'>15.93</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Haptic Feedback (PWM)</td><td style='text-align: center; word-wrap: break-word;'>0.04</td></tr></table>

<div style="text-align: center;">TABLE II: Teleoperation Results in Telekinesis Benchmark. 10 single-arm tasks are evaluated.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Task</td><td style='text-align: center; word-wrap: break-word;'>Telekinesis [^3]</td><td style='text-align: center; word-wrap: break-word;'>AnyTeleop [^4]</td><td style='text-align: center; word-wrap: break-word;'>Ours</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Pickup Box Object</td><td style='text-align: center; word-wrap: break-word;'>9/10</td><td style='text-align: center; word-wrap: break-word;'>10/10</td><td style='text-align: center; word-wrap: break-word;'>20/20</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Pickup Fabric Toy</td><td style='text-align: center; word-wrap: break-word;'>9/10</td><td style='text-align: center; word-wrap: break-word;'>10/10</td><td style='text-align: center; word-wrap: break-word;'>20/20</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Box Rotation</td><td style='text-align: center; word-wrap: break-word;'>6/10</td><td style='text-align: center; word-wrap: break-word;'>6/10</td><td style='text-align: center; word-wrap: break-word;'>18/20</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Scissor Pickup</td><td style='text-align: center; word-wrap: break-word;'>7/10</td><td style='text-align: center; word-wrap: break-word;'>8/10</td><td style='text-align: center; word-wrap: break-word;'>15/20</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Cup Stack</td><td style='text-align: center; word-wrap: break-word;'>6/10</td><td style='text-align: center; word-wrap: break-word;'>9/10</td><td style='text-align: center; word-wrap: break-word;'>20/20</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Two Cup Stacking</td><td style='text-align: center; word-wrap: break-word;'>3/10</td><td style='text-align: center; word-wrap: break-word;'>7/10</td><td style='text-align: center; word-wrap: break-word;'>19/20</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Pouring Cubes onto Plate</td><td style='text-align: center; word-wrap: break-word;'>7/10</td><td style='text-align: center; word-wrap: break-word;'>7/10</td><td style='text-align: center; word-wrap: break-word;'>20/20</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Cup Into Plate</td><td style='text-align: center; word-wrap: break-word;'>8/10</td><td style='text-align: center; word-wrap: break-word;'>10/10</td><td style='text-align: center; word-wrap: break-word;'>20/20</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Open Drawer</td><td style='text-align: center; word-wrap: break-word;'>9/10</td><td style='text-align: center; word-wrap: break-word;'>10/10</td><td style='text-align: center; word-wrap: break-word;'>20/20</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Open Drawer &amp; Pickup Object</td><td style='text-align: center; word-wrap: break-word;'>6/10</td><td style='text-align: center; word-wrap: break-word;'>9/10</td><td style='text-align: center; word-wrap: break-word;'>20/20</td></tr></table>

PWM引脚之间添加了双极性结型晶体管（BJT）。这确保了每个ERM电机的触觉反馈能够独立调节，仅在脉冲宽度内激活，且能抵抗电路噪声干扰。

### 四、系统评估

我们通过以下方式验证系统：(1) 性能分析以验证实时能力（第四节A部分）；(2) 在真实机器人灵巧任务中与先进的遥操作系统进行性能对比（第四节B部分）；(3) 针对未经训练的操作者开展用户研究，以评估触觉功能的可用性（第四节C部分）。

### A. 性能分析结果

我们使用i7-12700KF CPU对系统中的模块延迟进行了分析（见表I）。我们的方法在Ability手上重新定位手部运动，其处理带关节环路的情况与不带关节环路的方法效率相当，且远快于基于约束的方法（表I中的基线结果）。我们的

---

<div style="text-align: center;">TABLE III: Teleoperation System Evaluation. We measure collection success rate (Success), episode length (EpLen), collection time in minutes (Time), and joint position changes of the arms ( $\Delta Q_{pos}$).</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Task</td><td style='text-align: center; word-wrap: break-word;'>Description</td><td style='text-align: center; word-wrap: break-word;'>Arm</td><td style='text-align: center; word-wrap: break-word;'>System</td><td style='text-align: center; word-wrap: break-word;'>Success ( $\uparrow$)</td><td style='text-align: center; word-wrap: break-word;'>Time ( $\downarrow$)</td><td style='text-align: center; word-wrap: break-word;'>EpLen ( $\downarrow$)</td><td style='text-align: center; word-wrap: break-word;'>$\Delta$Qpos ( $\downarrow$)</td></tr><tr><td colspan="8">Short-horizon Tasks</td></tr><tr><td rowspan="2">Grasp Toy</td><td rowspan="2">Grasp toy and place in box.</td><td rowspan="2">single</td><td rowspan="2">AnyTeleop+ Ours</td><td style='text-align: center; word-wrap: break-word;'>50 / 54</td><td style='text-align: center; word-wrap: break-word;'>28.9</td><td style='text-align: center; word-wrap: break-word;'>145 $\pm$24</td><td style='text-align: center; word-wrap: break-word;'>0.77</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>50 / 55</td><td style='text-align: center; word-wrap: break-word;'>24.3</td><td style='text-align: center; word-wrap: break-word;'>142 $\pm$21</td><td style='text-align: center; word-wrap: break-word;'>0.35</td></tr><tr><td rowspan="2">Clean Pan</td><td rowspan="2">Grasp panhandle and sponge to clean the pan.</td><td rowspan="2">dual</td><td rowspan="2">AnyTeleop+ Ours</td><td style='text-align: center; word-wrap: break-word;'>50 / 78</td><td style='text-align: center; word-wrap: break-word;'>74.6</td><td style='text-align: center; word-wrap: break-word;'>282 $\pm$23</td><td style='text-align: center; word-wrap: break-word;'>0.98</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>50 / 58</td><td style='text-align: center; word-wrap: break-word;'>30.4</td><td style='text-align: center; word-wrap: break-word;'>186 $\pm$17</td><td style='text-align: center; word-wrap: break-word;'>0.58</td></tr><tr><td rowspan="2">Uncover &amp; Pour</td><td rowspan="2">Grasp container, remove lid, and pour into bowl.</td><td rowspan="2">dual</td><td rowspan="2">AnyTeleop+ Ours</td><td style='text-align: center; word-wrap: break-word;'>50 / 77</td><td style='text-align: center; word-wrap: break-word;'>63.2</td><td style='text-align: center; word-wrap: break-word;'>189 $\pm$21</td><td style='text-align: center; word-wrap: break-word;'>1.26</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>50 / 63</td><td style='text-align: center; word-wrap: break-word;'>41.5</td><td style='text-align: center; word-wrap: break-word;'>183 $\pm$15</td><td style='text-align: center; word-wrap: break-word;'>0.86</td></tr><tr><td colspan="8">Long-horizon Tasks</td></tr><tr><td rowspan="2">Wipe Glass</td><td rowspan="2">Pull out wipes to clean glass</td><td rowspan="2">dual</td><td rowspan="2">AnyTeleop+ Ours</td><td style='text-align: center; word-wrap: break-word;'>30 / 53</td><td style='text-align: center; word-wrap: break-word;'>69.0</td><td style='text-align: center; word-wrap: break-word;'>517 $\pm$51</td><td style='text-align: center; word-wrap: break-word;'>1.44</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>30 / 41</td><td style='text-align: center; word-wrap: break-word;'>32.2</td><td style='text-align: center; word-wrap: break-word;'>360 $\pm$35</td><td style='text-align: center; word-wrap: break-word;'>0.68</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Sweep Floor</td><td style='text-align: center; word-wrap: break-word;'>Sweep and dump trash using dustpan and broom</td><td style='text-align: center; word-wrap: break-word;'>dual</td><td style='text-align: center; word-wrap: break-word;'>AnyTeleop+ Ours</td><td style='text-align: center; word-wrap: break-word;'>30 / 61</td><td style='text-align: center; word-wrap: break-word;'>129.4</td><td style='text-align: center; word-wrap: break-word;'>786 $\pm$118</td><td style='text-align: center; word-wrap: break-word;'>1.99</td></tr><tr><td rowspan="3">Prepare Coffee</td><td rowspan="3">Pour coffee into bottle, stir and hand it over to human</td><td rowspan="3">dual</td><td rowspan="3">AnyTeleop+ Ours</td><td style='text-align: center; word-wrap: break-word;'>30 / 40</td><td style='text-align: center; word-wrap: break-word;'>45.4</td><td style='text-align: center; word-wrap: break-word;'>570 $\pm$77</td><td style='text-align: center; word-wrap: break-word;'>1.30</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>30 / 52</td><td style='text-align: center; word-wrap: break-word;'>95.3</td><td style='text-align: center; word-wrap: break-word;'>705 $\pm$42</td><td style='text-align: center; word-wrap: break-word;'>1.87</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>30 / 44</td><td style='text-align: center; word-wrap: break-word;'>55.2</td><td style='text-align: center; word-wrap: break-word;'>576 $\pm$33</td><td style='text-align: center; word-wrap: break-word;'>1.05</td></tr></table>

运动控制模块，包括奇异性与碰撞规避功能，能以超过60 Hz的频率实时运行。

### B. 真实机器人遥操作实验

任务集。Teleskinesis[^3]基准测试包含十项单臂手部操控任务，详见表II。为进一步评估系统主要在双手灵巧操控方面的能力，我们设计了三项短期任务——抓取玩具、清洁平底锅以及揭开盖子并倾倒液体——还有三项长期任务——擦拭玻璃、清扫地板以及准备咖啡，如图1所示。除抓取玩具外，这些任务都需要双手之间的精细协作。

真实世界的机器人设置。我们的双臂灵巧系统由两只UFactory xArm-7机械臂组成，每只机械臂都配备了6自由度的Ability手，从而构成一个拥有26自由度的系统。每只手上分布着30个触觉传感器，位于五个指尖处。为了收集数据，两台RealSense L515摄像头被放置在机器人工作区的前方和上方，以捕捉充足的视觉信息。

基准测试。我们在Teleskinesis基准测试中评估我们的系统，将其与Teleskinesis [^3]以及AnyTeleop [^4]进行比较，对比数据取自原始论文中的报告结果。对于我们的自定义任务，为确保公平比较，我们将AnyTeleop与我们基于Vision-Pro的手部追踪技术结合，创造出AnyTeleop+，并使用与Bunny-VisionPro相同的真实机器人设置。

遥操作结果。如表II所示，在10个任务中，Bunny-VisionPro有9个任务的表现与基线方法持平或更佳，这证明了其在手部操控遥操作方面的精确性和鲁棒性。不过，在剪刀拾取任务中，我们的系统表现略逊一筹，原因是Ability手的自由度有限，导致难以将手指插入剪刀柄中。

在我们自行设计操控任务中（见表III），我们的系统性能优于AnyTeleop+ [^4]，成功率高出11%，任务完成时间缩短45%。这一表现证实了其在复制人类动作方面的精确性，以及响应速度和效率。此外，BunnyVisionPro展现出更强的稳定性和鲁棒性，情节长度缩短了19%，且变异性更低。相比之下，AnyTeleop+在处理复杂轨迹和大型末端执行器姿态变化时存在困难，常常导致关节运动过于剧烈，从而产生不可预测且可能不安全的机器人控制情况；任务中机械臂关节位置变化幅度增加了43%便证明了这一点。另外，在双臂长时程任务中，我们系统的优势尤为明显，它能实现双手之间的实时、精细协调，从而带来更好的遥操作体验。

### C. 触觉反馈的用户研究

![Image](images/d9ff7384e468e7b9395e63558c40f2bdbe38cdb8c1b5523c55ae002d7eee14c5.jpg)

![Image](images/632b183be6bdbbf442d75ceb52e622a0b154c7bad584d0186940b2bd79228087.jpg)

![Image](images/aaabc60f9b9c0a9b48c8894acfa6cd8f2d0e1e30a83f57381bc01c683e63f0e0.jpg)

![Image](images/527883a73e21007a928ad0d0ee592db981180bde90881a4cdb8096790f5a69e3.jpg)

<div style="text-align: center;">Fig. 4: User Study. It evaluates the impact of haptic feedback on success rates and time efficiency.</div>

我们针对五名未经训练的操作员开展了关于人体触觉反馈的用户研究。参与者需完成玩具递送和球体移动任务，每项任务进行五次试验，并记录任务成功率和平均完成时间。如图4所示，在视觉部分受阻且触觉感知至关重要的球体移动任务中，触觉反馈显著提升了成功率和效率。这种提升源于机器人与物体之间交互意识的增强，从而避免了压力不足或过大，进而促进了更安全、更快速的操作。玩具递送任务的成功率也有轻微提升。这可能是由于操作人员在使用触觉反馈时，即便存在视觉障碍，对遥操作的信心也增强了。更多触觉对比内容可在项目页面查看。

---

<div style="text-align: center;">TABLE IV: Imitation Learning for Real-World Tasks. The Success Rate (SR) is based on 10 trials, with SR-SG indicating success rates for spatial generalization and SR-U for unseen objects.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td rowspan="2">Task</td><td rowspan="2">Data Collection System</td><td colspan="3">ACT [^5]</td><td colspan="3">Diffusion Policy [^34]</td><td colspan="3">DP3 [^40]</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>SR</td><td style='text-align: center; word-wrap: break-word;'>SR-SG</td><td style='text-align: center; word-wrap: break-word;'>SR-U</td><td style='text-align: center; word-wrap: break-word;'>SR</td><td style='text-align: center; word-wrap: break-word;'>SR-SG</td><td style='text-align: center; word-wrap: break-word;'>SR-U</td><td style='text-align: center; word-wrap: break-word;'>SR</td><td style='text-align: center; word-wrap: break-word;'>SR-SG</td><td style='text-align: center; word-wrap: break-word;'>SR-U</td></tr><tr><td rowspan="2">Grasp toy</td><td style='text-align: center; word-wrap: break-word;'>AnyTeleop+</td><td style='text-align: center; word-wrap: break-word;'>8/10</td><td style='text-align: center; word-wrap: break-word;'>6/10</td><td style='text-align: center; word-wrap: break-word;'>7/10</td><td style='text-align: center; word-wrap: break-word;'>4/10</td><td style='text-align: center; word-wrap: break-word;'>3/10</td><td style='text-align: center; word-wrap: break-word;'>3/10</td><td style='text-align: center; word-wrap: break-word;'>10/10</td><td style='text-align: center; word-wrap: break-word;'>5/10</td><td style='text-align: center; word-wrap: break-word;'>5/10</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ours</td><td style='text-align: center; word-wrap: break-word;'>8/10</td><td style='text-align: center; word-wrap: break-word;'>4/10</td><td style='text-align: center; word-wrap: break-word;'>5/10</td><td style='text-align: center; word-wrap: break-word;'>7/10</td><td style='text-align: center; word-wrap: break-word;'>6/10</td><td style='text-align: center; word-wrap: break-word;'>4/10</td><td style='text-align: center; word-wrap: break-word;'>10/10</td><td style='text-align: center; word-wrap: break-word;'>6/10</td><td style='text-align: center; word-wrap: break-word;'>7/10</td></tr><tr><td rowspan="2">Clean pan</td><td style='text-align: center; word-wrap: break-word;'>AnyTeleop+</td><td style='text-align: center; word-wrap: break-word;'>7/10</td><td style='text-align: center; word-wrap: break-word;'>3/10</td><td style='text-align: center; word-wrap: break-word;'>2/10</td><td style='text-align: center; word-wrap: break-word;'>5/10</td><td style='text-align: center; word-wrap: break-word;'>4/10</td><td style='text-align: center; word-wrap: break-word;'>1/10</td><td style='text-align: center; word-wrap: break-word;'>6/10</td><td style='text-align: center; word-wrap: break-word;'>1/10</td><td style='text-align: center; word-wrap: break-word;'>4/10</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ours</td><td style='text-align: center; word-wrap: break-word;'>9/10</td><td style='text-align: center; word-wrap: break-word;'>6/10</td><td style='text-align: center; word-wrap: break-word;'>5/10</td><td style='text-align: center; word-wrap: break-word;'>7/10</td><td style='text-align: center; word-wrap: break-word;'>4/10</td><td style='text-align: center; word-wrap: break-word;'>7/10</td><td style='text-align: center; word-wrap: break-word;'>8/10</td><td style='text-align: center; word-wrap: break-word;'>4/10</td><td style='text-align: center; word-wrap: break-word;'>5/10</td></tr><tr><td rowspan="2">Uncover &amp; pour</td><td style='text-align: center; word-wrap: break-word;'>AnyTeleop+</td><td style='text-align: center; word-wrap: break-word;'>2/10</td><td style='text-align: center; word-wrap: break-word;'>0/10</td><td style='text-align: center; word-wrap: break-word;'>1/10</td><td style='text-align: center; word-wrap: break-word;'>3/10</td><td style='text-align: center; word-wrap: break-word;'>2/10</td><td style='text-align: center; word-wrap: break-word;'>2/10</td><td style='text-align: center; word-wrap: break-word;'>5/10</td><td style='text-align: center; word-wrap: break-word;'>4/10</td><td style='text-align: center; word-wrap: break-word;'>3/10</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ours</td><td style='text-align: center; word-wrap: break-word;'>8/10</td><td style='text-align: center; word-wrap: break-word;'>4/10</td><td style='text-align: center; word-wrap: break-word;'>8/10</td><td style='text-align: center; word-wrap: break-word;'>6/10</td><td style='text-align: center; word-wrap: break-word;'>2/10</td><td style='text-align: center; word-wrap: break-word;'>3/10</td><td style='text-align: center; word-wrap: break-word;'>7/10</td><td style='text-align: center; word-wrap: break-word;'>5/10</td><td style='text-align: center; word-wrap: break-word;'>7/10</td></tr></table>

### V. 模仿学习

为了评估我们的系统收集的演示数据与AnyTeleop+相比的质量，我们考察了它们对模仿学习的影响。我们使用三种方法训练策略：ACT [^5]、Diffusion Policy [^34]和DP3 [^40]，然后测试它们在未见场景中的泛化能力。这使我们能够独立于特定学习算法来衡量数据质量。此外，我们还研究了触觉数据在模仿学习中的有效性。

### A. 主要结果

如表IV所示，Bunny-VisionPro在三项任务中使用三种不同策略时，其成功率平均比AnyTeleop+高出22%。这充分体现了我们系统所采集演示数据的优质性。该系统在双手协作任务中表现尤为突出，例如清洁平底锅以及揭开盖子并倒水。这一改进的一个可能原因是：我们的系统能够精细地处理双机械臂的对齐问题，从而采集到动作更为自然的演示数据。

泛化能力。我们通过比较基于AnyTeleop+数据和Bunny-VisionPro数据训练出的策略，来考察数据质量对策略泛化能力的影响。我们针对随机物体姿态下的空间泛化能力（SR-SG）以及形状、大小和颜色各异的未见物体的操控能力（SR-U）进行评估。在基于各数据集训练的三种策略中，使用Bunny-VisionPro数据的策略在SR-SG和SR-U方面分别取得了14%和26%的稳定提升（见表IV）。这表明我们的系统能够实现高质量且轨迹稳定的数据采集，进而助力模仿学习的泛化。

长时序任务。对于复杂的多阶段任务，仅凭借30个演示样本，该策略就能取得显著的成功率——子任务成功率达73%，整个任务成功率达38%。这充分体现了我们系统在长时序数据采集方面的可靠性，能够为高级操控任务的学习提供支持。

### B. 触觉数据作为策略输入

触觉数据处理。FSR传感器可捕捉机器人抓取物体时的压力信号。这些信号还可经处理后通过时间微分计算出冲量。在触觉学习方面，触觉信号会被表示为向量，通过MLP进行编码；或可视化为点集，用于视觉嵌入学习，这与DexPoint [^55]的原理类似。

结果与讨论。如表VI所示，使用触觉数据并不一定能提升效果，可能是因为仅靠视觉就足以完成这些任务。触觉

<div style="text-align: center;">TABLE V: DP3 Results for Long-Horizon Tasks. SR-subtask is subtask success rate.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td rowspan="2">Task</td><td colspan="2">DP3 [^40]</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>SR-subtask</td><td style='text-align: center; word-wrap: break-word;'>SR</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Wipe glass</td><td style='text-align: center; word-wrap: break-word;'>7/10</td><td style='text-align: center; word-wrap: break-word;'>7/10</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Sweep floor</td><td style='text-align: center; word-wrap: break-word;'>8/10</td><td style='text-align: center; word-wrap: break-word;'>4/10</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Prepare coffee</td><td style='text-align: center; word-wrap: break-word;'>7/10</td><td style='text-align: center; word-wrap: break-word;'>4/10</td></tr></table>

<div style="text-align: center;">TABLE VI: Ablation of Touch as DP3 Policy Input. Success rates are reported for two bimanual tasks.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Signal</td><td style='text-align: center; word-wrap: break-word;'>Representation</td><td style='text-align: center; word-wrap: break-word;'>Clean pan</td><td style='text-align: center; word-wrap: break-word;'>Uncover &amp; pour</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>/</td><td style='text-align: center; word-wrap: break-word;'>/</td><td style='text-align: center; word-wrap: break-word;'>8/10</td><td style='text-align: center; word-wrap: break-word;'>7/10</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>force</td><td style='text-align: center; word-wrap: break-word;'>vector</td><td style='text-align: center; word-wrap: break-word;'>7/10</td><td style='text-align: center; word-wrap: break-word;'>4/10</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>impulse</td><td style='text-align: center; word-wrap: break-word;'>vector</td><td style='text-align: center; word-wrap: break-word;'>8/10</td><td style='text-align: center; word-wrap: break-word;'>7/10</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>force</td><td style='text-align: center; word-wrap: break-word;'>point cloud</td><td style='text-align: center; word-wrap: break-word;'>7/10</td><td style='text-align: center; word-wrap: break-word;'>6/10</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>impulse</td><td style='text-align: center; word-wrap: break-word;'>point cloud</td><td style='text-align: center; word-wrap: break-word;'>7/10</td><td style='text-align: center; word-wrap: break-word;'>8/10</td></tr></table>

反馈仅在手部与物体接触时才会被激活，因此无法辅助识别或定位物体。此外，与冲量数据相比，使用力数据得到的性能略差，这可能是由于触觉读数随时间推移会出现零点漂移现象。这种漂移很可能是由传感器嵌入件中所用粘性材料的变形导致的，它会在任务执行期间持续改变力读数，从而造成性能不稳定。相比之下，冲量对这种变化的抵抗能力更强。

### VI. 结论与局限性

局限性。我们的系统存在两大主要局限：(i) 当手指相互遮挡时，Vision Pro的手部追踪精度会下降，进而导致控制指令出现抖动。通过将可穿戴设备的数据与Vision Pro的数据融合，或许能缓解这一问题。(ii) 当机器人轻触物体时，细微的触觉反馈难以被感知。在未来的研究中，我们将考虑采用接触面积更大、灵敏度更高的执行器，例如压电式执行器，来解决这一问题。

结论。在本文中，我们介绍了Bunny-VisionPro——一种用于实时机器人控制的双腕灵巧遥操作系统。我们的系统利用Vision Pro来追踪手部姿态并将其转化为控制指令，解决了环路关节手部重定向、碰撞避免以及奇异性等问题，从而确保操作的精准性、安全性和响应性。此外，我们还研发了一种能为操作者提供触觉反馈的装置，以此提升控制精度并营造更具沉浸感的体验。

---

## 参考文献

[^1]: K. Hauser, “Recognition, prediction, and planning for assisted teleoperation of freeform tasks,” Autonomous Robots, vol. 35, pp. 241–254, 2013.

[^2]: N. Zhong and K. Hauser, “Attentiveness map estimation for haptic teleoperation of mobile robot obstacle avoidance and approach,” IEEE Robotics and Automation Letters, 2024.

[^3]: A. Sivakumar, K. Shaw, and D. Pathak, “Robotic telekinesis: Learning a robotic hand imitator by watching humans on youtube,” in Proceedings of Robotics: Science and Systems (RSS), 2022.

[^4]: Y. Qin, W. Yang, B. Huang, K. Van Wyk, H. Su, X. Wang, Y.-W. Chao, and D. Fox, "Anyteleop: A general vision-based dexterous robot arm-hand teleoperation system," in Proceedings of Robotics: Science and Systems (RSS), 2023.

[^5]: T. Z. Zhao, V. Kumar, S. Levine, and C. Finn, “Learning fine-grained bimanual manipulation with low-cost hardware,” in Proceedings of Robotics: Science and Systems (RSS), 2023.

[^6]: Z. Fu, T. Z. Zhao, and C. Finn, “Mobile aloha: Learning bimanual mobile manipulation with low-cost whole-body teleoperation,” arXiv preprint arXiv:2401.02117, 2024.

[^7]: H. Fang, H.-S. Fang, Y. Wang, J. Ren, J. Chen, R. Zhang, W. Wang, and C. Lu, "Low-cost exoskeletons for learning whole-arm manipulation in the wild," arXiv preprint arXiv:2309.14975, 2023.

[^9]: P. Wu, Y. Shentui, Z. Yi, X. Lin, and P. Abbeel, “Gello: A general, low-cost, and intuitive teleoperation framework for robot manipulators,” arXiv preprint arXiv:2309.13037, 2023.

[^8]: A. Toedtheide, X. Chen, H. Sadeghian, A. Naceri, and S. Haddadin, “A force-sensitive exoskeleton for teleoperation: An application in elderly care robotics,” in 2023 IEEE International Conference on Robotics and Automation (ICRA). IEEE, 2023, pp. 12624–12630.

[^10]: A. Tung, J. Wong, A. Mandlekar, R. Martín-Martín, Y. Zhu, L. Fei-Fei, and S. Savarese, “Learning multi-arm manipulation through collaborative teleoperation,” in 2021 IEEE International Conference on Robotics and Automation (ICRA). IEEE, 2021, pp. 9212–9219.

[^11]: W. Zhao, J. Chai, and Y.-Q. Xu, "Combining marker-based mcap and rgb-d camera for acquiring high-fidelity hand motion data," in Proceedings of the ACM SIGGRAPH/eurographics symposium on computer animation, 2012, pp. 33–42.

[^12]: S. Liu, H. Jiang, J. Xu, S. Liu, and X. Wang, “Semi-supervised 3d hand-object poses estimation with interactions in time,” in CVPR, 2021.

[^13]: H. Zhang, Z. Zhao, Y. Yu, K. Gui, X. Sheng, and X. Zhu, "A feasibility study on an intuitive teleoperation system combining imu with semg sensors," in Intelligent Robotics and Applications: 11th International Conference, ICIRA 2018, Newcastle, NSW, Australia, August 9–11, 2018, Proceedings, Part I 11. Springer, 2018, pp. 465–474.

[^14]: T. Zhang, Z. McCarthy, O. Jow, D. Lee, X. Chen, K. Goldberg, and P. Abbeel, “Deep imitation learning for complex manipulation tasks from virtual reality teleoperation,” in ICRA, 2018.

[^15]: J. DelPreto, J. I. Lipton, L. Sanneman, A. J. Fay, C. Fourie, C. Choi, and D. Rus, "Helping robots learn: A human-robot master-apprentice model using demonstrations via virtual reality teleoperation," in 2020 IEEE International Conference on Robotics and Automation (ICRA), 2020, pp. 10226–10233.

[^16]: Y. Pan, C. Chen, D. Li, Z. Zhao, and J. Hong, “Augmented reality-based robot teleoperation system using rgb-d imaging and attitude teaching device,” Robotics and Computer-Integrated Manufacturing, vol. 71, p. 102167, 2021.

[^17]: A. Iyer, Z. Peng, Y. Dai, I. Guzey, S. Haldar, S. Chintala, and L. Pinto, “Open teach: A versatile teleoperation system for robotic manipulation,” arXiv preprint arXiv:2403.07870, 2024.

[^18]: C. Wang, H. Shi, W. Wang, R. Zhang, L. Fei-Fei, and C. K. Liu, "Dexcap: Scalable and portable mocap data collection system for dexterous manipulation," arXiv preprint arXiv:2403.07788, 2024.

[^19]: H. Liu, Z. Zhang, X. Xie, Y. Zhu, Y. Liu, Y. Wang, and S.-C. Zhu, "High-fidelity grasping in virtual reality using a glove-based system," in 2019 international conference on robotics and automation (icra). IEEE, 2019, pp. 5180–5186.

[^20]: M. Mosbach, K. Moraw, and S. Behnke, “Accelerating interactive human-like manipulation learning with GPU-based simulation and high-quality demonstrations,” in Humanoids, 2022.

[^21]: M. Schwarz, C. Lenz, A. Rochow, M. Schreiber, and S. Behnke, “Nimbro avatar: Interactive immersive telepresence with force-feedback telemanipulation,” in 2021 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 2021, pp. 5312–5319.

[^22]: MANUS Meta, “Manus meta quantum mocap metagloves,” <https://www.manus-meta.com/products/quantum-mocap-metagloves>.

[^23]: A. Handa, K. Van Wyk, W. Yang, J. Liang, Y.-W. Chao, Q. Wan, S. Birchfield, N. Ratliff, and D. Fox, "Dexpilot: Vision-based teleoperation of dexterous robotic hand-arm system," in ICRA, 2020.

[^24]: S. Li, N. Hendrich, H. Liang, P. Ruppel, C. Zhang, and J. Zhang, "A dexterous hand-arm teleoperation system based on hand pose estimation and active vision," IEEE Transactions on Cybernetics, 2022.

[^25]: Y. Qin, H. Su, and X. Wang, “From one hand to multiple hands: Imitation learning for dexterous manipulation from single-camera teleoperation,” RA-L, vol. 7, no. 4, pp. 10873–10881, 2022.

[^26]: S. P. Arunachalam, I. Güzey, S. Chintala, and L. Pinto, “Holo-dex: Teaching dexterity with immersive mixed reality,” arXiv preprint arXiv:2210.06463, 2022.

[^27]: L. S. Yim, Q. T. Vo, C.-I. Huang, C.-R. Wang, W. McQueary, H.-C. Wang, H. Huang, and L.-F. Yu, "Wfh-vr: Teleoperating a robot arm to set a dining table across the globe via virtual reality," in 2022 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 2022, pp. 4927–4934.

[^28]: P. Ponomareva, D. Trinitatova, A. Fedoseev, I. Kalinov, and D. Tsetserukou, “Grasplook: a vr-based telemanipulation system with r-cnn-driven augmentation of virtual environment,” in 2021 20th International Conference on Advanced Robotics (ICAR). IEEE, 2021, pp. 166–171.

[^29]: T. Lin, Y. Zhang, Q. Li, H. Qi, B. Yi, S. Levine, and J. Malik, “Learning visuotactile skills with two multifingered hands,” arXiv preprint arXiv:2404.16823, 2024.

[^30]: E. Jang, A. Irpan, M. Khansari, D. Kappler, F. Ebert, C. Lynch, S. Levine, and C. Finn, "Bc-z: Zero-shot task generalization with robotic imitation learning," in Conference on Robot Learning. PMLR, 2022, pp. 991–1002.

[^31]: A. Brohan, N. Brown, J. Carbajal, Y. Chebotar, J. Dabis, C. Finn, K. Gopalakrishnan, K. Hausman, A. Herzog, J. Hsu, J. Ibarz, B. Ichter, A. Irpan, T. Jackson, S. Jesmonth, N. Joshi, R. Julian, D. Kalashnikov, Y. Kuang, I. Leal, K.-H. Lee, S. Levine, Y. Lu, U. Malla, D. Manjunath, I. Mordatch, O. Nachum, C. Parada, J. Peralta, E. Perez, K. Pertsch, J. Quiambao, K. Rao, M. Ryoo, G. Salazar, P. Sanketi, K. Sayed, J. Singh, S. Sontakke, A. Stone, C. Tan, H. Tran, V. Vanhoucke, S. Vega, Q. Vuong, F. Xia, T. Xiao, P. Xu, S. Xu, T. Yu, and B. Zitkovich, "Rt-1: Robotics transformer for real-world control at scale," arXiv preprint arXiv:2212.06817, 2022.

[^32]: A. Brohan, N. Brown, J. Carbajal, Y. Chebotar, X. Chen, K. Chormanski, T. Ding, D. Driess, A. Dubey, C. Finn, P. Florence, C. Fu, M. G. Arenas, K. Gopalakrishnan, K. Han, K. Hausman, A. Herzog, J. Hsu, B. Ichter, A. Irpan, N. Joshi, R. Julian, D. Kalashnikov, Y. Kuang, I. Leal, L. Lee, T.-W. E. Lee, S. Levine, Y. Lu, H. Michalewski, I. Mordatch, K. Pertsch, K. Rao, K. Reymann, M. Ryoo, G. Salazar, P. Sanketi, P. Sermanet, J. Singh, A. Singh, R. Soricut, H. Tran, V. Vanhoucke, Q. Vuong, A. Wahid, S. Welker, P. Wohlhart, J. Wu, F. Xia, T. Xiao, P. Xu, S. Xu, T. Yu, and B. Zitkovich, "Rt-2: Vision-language-action models transfer web knowledge to robotic control," arXiv preprint arXiv:2307.15818, 2023.

[^33]: S. Reed, K. Zolna, E. Parisotto, S. G. Colmenarejo, A. Novikov, G. Barth-Maron, M. Giménez, Y. Sulsky, J. Kay, J. T. Springerberg, T. Eccles, J. Bruce, A. Razavi, A. Edwards, N. Heess, Y. Chen, R. Hadsell, O. Vinyals, M. Bordbar, and N. de Freitas, "A generalist agent," Transactions on Machine Learning Research, 2022, featured Certification, Outstanding Certification. [Online]. Available: <https://openreview.net/forum?id=1ikK0kHjvj>

[^34]: C. Chi, S. Feng, Y. Du, Z. Xu, E. Cousineau, B. Burchfiel, and S. Song, "Diffusion policy: Visuomotor policy learning via action diffusion," in Proceedings of Robotics: Science and Systems (RSS), 2023.

[^35]: J. Pari, N. M. Shafiullah, S. P. Arunachalam, and L. Pinto, “The surprising effectiveness of representation learning for visual imitation,” in Proceedings of Robotics: Science and Systems (RSS), 2022.

[^36]: A. Mandlekar, D. Xu, J. Wong, S. Nasiriany, C. Wang, R. Kulkarni, L. Fei-Fei, S. Savarese, Y. Zhu, and R. Martín-Martín, "What matters in learning from offline human demonstrations for robot manipulation," arXiv preprint arXiv:2108.03298, 2021.

[^37]: S. Haldar, J. Pari, A. Rai, and L. Pinto, “Teach a robot to fish: Versatile imitation from one minute of demonstrations,” in Proceedings of Robotics: Science and Systems (RSS), 2023.

## [^38]: C. Wang, L. Fan, J. Sun, R. Zhang, L. Fei-Fei, D. Xu, Y. Zhu

---

以及 A. Anandkumar 所著的《Mimicplay：通过观看人类游戏进行长时程模仿学习》，发表于第7届机器人学习会议（CoRL）论文集，2023年。

[^39]: M. Shridhar, L. Manuelli, and D. Fox, “Perceiver-actor: A multi-task transformer for robotic manipulation,” in Proceedings of the 6th Conference on Robot Learning (CoRL), 2022.

[^40]: Y. Ze, G. Zhang, K. Zhang, C. Hu, M. Wang, and H. Xu, "3d diffusion policy: Generalizable visuomotor policy learning via simple 3d representations," in Proceedings of Robotics: Science and Systems (RSS), 2024.

[^41]: A. Goyal, J. Xu, Y. Guo, V. Blukis, Y.-W. Chao, and D. Fox, "Rvt: Robotic view transformer for 3d object manipulation," arXiv:2306.14896, 2023.

[^42]: T. Gervet, Z. Xian, N. Gkanatsios, and K. Fragkiadaki, “Act3d: 3d feature field transformers for multi-task robotic manipulation,” in 7th Annual Conference on Robot Learning, 2023. [Online]. Available: <https://openreview.net/forum?id=-HFJuX1uqs>

[^43]: J. Grannen, Y. Wu, B. Vu, and D. Sadigh, “Stabilize to act: Learning to coordinate for bimanual manipulation,” in Conference on Robotic Learning (CoRL), 2023.

[^44]: W. Yang, A. Angleraud, R. S. Pieters, J. Pajarinen, and J.-K. Kämäräinen, “Seq2seq imitation learning for tactile feedback-based manipulation,” in 2023 IEEE International Conference on Robotics and Automation (ICRA). IEEE, 2023, pp. 5829–5836.

[^45]: Y. Park, “Teleopeation system using apple vision pro.” [Online]. Available: <https://github.com/Improbable-AI/VisionProTeleop>

[^46]: Y. Qin, Y.-H. Wu, S. Liu, H. Jiang, R. Yang, Y. Fu, and X. Wang, "Dexmv: Imitation learning for dexterous manipulation from human videos," in European Conference on Computer Vision. Springer, 2022, pp. 570–587.

[^47]: P. T. Boggs and J. W. Tolle, “Sequential quadratic programming,” Acta numerica, vol. 4, pp. 1–51, 1995.

[^48]: S. G. Johnson and J. Schueller, "Nlopt: Nonlinear optimization library," Astrophysics Source Code Library, pp. ascl–2111, 2021.

[^49]: A. Dietrich, T. Wimbock, A. Albu-Schaffer, and G. Hirzinger, “Reactive whole-body control: Dynamic mobile manipulation using a large number of actuated degrees of freedom,” IEEE Robotics & Automation Magazine, vol. 19, no. 2, pp. 20–33, 2012.

[^50]: M. Bhardwaj, B. Sundaralingam, A. Mousavian, N. D. Ratliff, D. Fox, F. Ramos, and B. Boots, “Storm: An integrated framework for fast joint-space model-predictive control for reactive manipulation,” in Conference on Robot Learning. PMLR, 2022, pp. 750–759.

[^51]: T. Yoshikawa, “Manipulability of robotic mechanisms,” The international journal of Robotics Research, vol. 4, no. 2, pp. 3–9, 1985.

[^52]: E. G. Gilbert, D. W. Johnson, and S. S. Keerthi, “A fast procedure for computing the distance between complex objects in three-dimensional space,” IEEE Journal on Robotics and Automation, vol. 4, no. 2, pp. 193–203, 1988.

[^53]: A. Barnea, C. Oprisan, and D. Olaru, “Force sensitive resistors calibration for use in gripping devices,” Mechanical testing and diagnosis, vol. 2, no. 3, pp. 18–27, 2012.

[^54]: G. S. Lakshmi and R. Hemavathi, “Calibration of force sensitive resistor used in force controlled grippers,” Int. J. Eng. Res. Technol, vol. 9, pp. 356–358, 2020.

[^55]: Y. Qin, B. Huang, Z.-H. Yin, H. Su, and X. Wang, “Dexpoint: Generalizable point cloud reinforcement learning for sim-to-real dexterous manipulation,” in Conference on Robot Learning. PMLR, 2023, pp. 594–605.