# ARCap：借助增强现实反馈采集高质量人类演示数据以用于机器人学习
陈思睿 $^{*}$、王晨 $^{*}$、Kaden Nguyen、李飞飞、刘凯伦
摘要—近年来，基于人类演示的模仿学习在教授机器人操控技能方面取得了令人瞩目的成果。为了进一步扩大训练数据集的规模，近期的研究开始采用无需实体机器人硬件的便携式数据采集设备。然而，由于数据采集过程中缺乏机器人端的反馈，数据质量严重依赖于用户的专业水平，且许多设备仅适用于特定形态的机器人。我们提出了ARCap——一种便携式数据采集系统，它通过增强现实（AR）提供视觉反馈以及触觉警告，引导用户采集高质量的演示数据。通过广泛的用户研究我们发现，ARCap能够帮助新手用户采集出符合机器人运动学特性且不会与场景发生碰撞的、可供机器人执行的数据。利用ARCap采集的数据，机器人能够完成复杂的任务，比如在杂乱环境中的操控以及跨形态的长时序操控。ARCap完全开源且易于校准；所有组件均采用现成的产品制成。更多详情和结果可访问我们的网站：stanford-tml.github.io/ARCap
## 一、引言
开发能够协助完成家务任务的机器人，有望提升人类生活质量并拓展人类的能力边界。要实现这一目标，机器人必须能够在无结构且往往杂乱的环境中操控日常物品。近年来，基于人类演示的模仿学习取得了显著进展。通过遥操作机器人系统采集的演示数据，能够提供精确的领域内观测值与动作对，从而通过监督学习实现高效的机器人策略学习 [^46]。然而，前期对机器人系统以及熟练操作人员的需求，极大地限制了数据采集的可及性与规模化程度。
另一种方式是采用无需实体机器人硬件的便携式系统来采集人类演示数据 [^35] [^6] [^38]。这类系统利用人类的灵巧性与适应性，直接在真实场景中操控物体，从而助力创建大规模、多样化的人类演示数据集。然而，由于缺乏机器人硬件，在经历多步骤流程之前，无法立刻判断所采集的演示数据是否适用于训练机器人策略。首先，人类与机器人之间的形态差异要求对数据进行重新映射；其次，必须将重新映射后的数据在实际机器人上运行并与真实物体交互来验证其有效性；最后，才能利用验证后的数据训练机器人策略。演示的成功与否，关键在于演示者是否具备相关经验，以及是否了解机器人与人类在几何结构与能力上的差异。
(a). Human Data Collection
(b). AR Feedbacks
(c). Robot Rollout
Fig. 1: ARCap System Overview. (a) Collect human hand motion data. (b) Provide real-time AR feedback, visualizing a virtual robot retargeted to the human hand in AR display. (c) Rollout robot policies trained with the collected data.
在重新映射阶段，由于机器人的关节与速度限制，可能会导致失败；在验证阶段，可能因意外碰撞而失败；在策略训练阶段，则可能因无效数据的混入而导致失败。
这让我们不禁想问：有没有办法在数据采集过程中告知用户可能出现的故障，从而让他们及时调整以收集更高质量的数据呢？从机器人遥操作实验中可以发现一个关键现象：当人类观察到机器人动作有误时，会迅速调整遥操作方式以纠正错误。这种强烈的视觉反馈有助于用户收集可被执行且符合机器人特性的数据。鉴于视觉反馈在遥操作中取得的成功，我们不禁要问：能否在便携式数据采集系统中模拟类似的反馈机制，引导用户收集高质量的演示数据呢？
我们提出了ARCap——一种全新的数据采集系统，它能实时重定向并可视化机器人的运动，在数据采集期间为演示者提供即时视觉反馈，引导他们收集可被机器人执行的演示数据。该系统借助增强现实（AR）技术来实现这一功能：AR既可作为交互式显示屏，也能作为捕捉用户对环境视角的强大传感器。通过AR显示屏，我们可以模拟机器人的运动学特性，将其叠加在头显中，并为潜在的故障模式提供视觉提示，比如超出机器人的关节或速度限制（例如虚拟机器人无法跟随人类手部动作）。此外，凭借AR设备在场景重建领域的最新进展，我们还能对虚拟机器人与重建后的环境进行碰撞检测。一旦检测到碰撞，系统会通过显示屏闪烁效果和触觉振动来提醒用户，促使其调整动作。
---
同时，该系统还会为机器人的运作留出充足空间。除了提升数据质量外，ARCap还能模拟任意形态的机器人，从而实现针对不同机器人（如平行夹爪、多指灵巧手）的数据采集。我们的用户研究表明，毫无数据采集经验的新手用户也能借助ARCap收集高质量数据。这些数据足以用于训练模仿学习策略，即便是杂乱环境中的操控任务——这类任务在缺乏反馈机制的旧有系统中根本无法完成。我们还证实，ARCap能够跨不同机器人形态采集数据，助力机器人完成具有挑战性的长时序操控任务，比如堆叠多层乐高积木塔。
### II. 相关工作
从演示中学习。模仿学习（IL）在帮助机器人执行各种操作任务方面已被证明是有效的 [^4] [^20] [^34] [^23] [^11] [^13] [^2] [^1]。虽然传统的IL方法如DMP和PrMP [^33] [^24] [^29] [^30]具有极高的样本利用效率，但它们在处理高维观测空间时面临挑战。相比之下，近期利用深度神经网络的IL方法能够直接从原始图像输入中学习策略 [^27] [^14] [^49]，甚至适用于配备双臂操作器的复杂机器人系统 [^47] [^17] [^42]。尽管这些方法效果显著，但扩大训练数据的规模仍是一大难题。遥操作是近期研究中常用的数据收集方法 [^44] [^14] [^26] [^21] [^39] [^48] [^3] [^41] [^16] [^25] [^46] [^15] [^5] [^31] [^19] [^9] [^32] [^18]。许多基于VR控制器或手部追踪技术 [^22] [^5] [^9] [^18]以及主从关节映射机制 [^46] [^15] [^45] [^42] [^37] [^12]的低成本遥操作系统被广泛采用。然而，尽管这些动作输入设备成本低廉，但使用遥操作收集数据仍需实际机器人的参与，这导致其大规模推广成本高昂。相比之下，我们的方法顺应了无需机器人硬件即可收集机器人数据的趋势 [^10] [^40] [^7] [^38] [^35]，从而能够更高效地扩充训练数据。
无需机器人的数据收集系统。无需机器人参与就能在现实环境中收集数据并据此训练机器人，已成为降低系统总成本的有效途径。诸如 [^7] [^38] [^35] 等先前的研究提出了低成本的野外数据收集系统。与直接使用人类视频进行训练相比 [^36]，这些系统能捕捉更细致的人体动作，帮助机器人完成沏茶 [^38]、擦盘子 [^7] [^38] 和使用空气炸锅 [^35] 等复杂任务。我们的ARCap系统也是一种便携式的野外数据收集系统；与现有系统相比，它能提供视觉与触觉反馈，帮助没有数据收集经验的用户察觉到机器人与人类之间的实体差异。与ARCap最相关的工作是AR2-D2 [^10] [^40]。不过，ARCap侧重于提供实时视觉反馈，并利用重建的场景地图进行机载碰撞检测。此外，ARCap还能通过在增强现实显示中呈现重新定位后的机器人模型，帮助用户为不同形态的机器人收集数据，例如平行夹爪和多指灵巧手。
### 三、方法
ARCap是一种基于增强现实的数据收集界面与策略学习框架，旨在将人类手部动作捕捉数据转化为机器人控制策略。ARCap系统设计的主要特点包括：
- 实时反馈。AR技术能够实时可视化机器人状态，引导用户收集高质量且能被机器人复现的演示数据，而无需依赖实体机器人。
- 跨本体适配。AR可视化功能既支持平行夹爪，也支持多指灵巧手，用户可利用同一系统为不同类型的机器人硬件收集数据。
- 便携性。该系统配备独立电源、存储模块和无线追踪装置，能够在野外环境中进行数据采集。
在本节中，我们首先介绍实现上述功能的系统设计，随后说明用于控制真实机器人的训练策略。
### A. ARCap系统设计
近期，便携式机器人数据采集界面[^38] [^7] [^35]取得了显著进展，这使得无需实体机器人就能扩大机器人数据采集规模。然而，由于数据采集过程中没有来自机器人的实时反馈，无法保证所收集的数据能在真实机器人上被复现。目前已观察到几种故障模式：(1) 人类动作过快，导致机器人无法复制；(2) 人类与机器人之间的尺寸差异会使机器人与环境发生碰撞，即便人类并未发生碰撞；(3) 一种数据采集系统仅适用于某一种机器人本体，更换不同机器人末端执行器时便需重新设计。这些现象引出了一个问题：我们如何在数据采集过程中提醒人类注意这些问题，并引导他们收集可被机器人复现的数据呢？
富有信息量的AR反馈。在ARCap系统中，我们同时采用了视觉和触觉反馈，向用户告知摄像头可见范围、机器人运动学参数、关节速度限制，以及机器人与环境之间可能发生的碰撞情况。
a) 实时可见性检查：模仿学习常见的一个故障模式是操作场景并非始终可见。这一问题频繁出现是因为机器人使用的RGB-D摄像头视野通常比用于数据采集的摄像头——在本研究中即Quest 3的透视摄像头——更窄。为了帮助演示者在数据采集期间始终将操作场景保持在深度摄像头的视野内，我们渲染了一个矩形框来显示RGB-D摄像头的实际视野，如图2所示。采集数据时，用户需要主动将场景保持在框内，以确保视觉数据能被正确记录。
---
(a). Recording
(b). Collision Warning
(c). Fast Motion Warning
(d). Out of frame, out of sight
Fig. 2: Visualization of AR Feedback. (a) Normal data recording: the red frame indicates visible region of the RGB-D camera. (b) Collision warning: when the virtual robot collides with the environment, the controller on the human gloves vibrates, and the frame blinks blue. (c) Fast motion warning: when the user moves faster than the robot's speed limits, the frame turns yellow. (d) Users can check if target objects are within camera's view during data collection.
b) 实时重定向：在为特定机器人采集数据时，该机器人的运动学特性可能与人类手臂和手部存在显著差异。为了提醒用户注意这种运动学限制，我们在增强现实（AR）中渲染了一个虚拟机器人，并将其重定向到用户的手上。不同的末端执行器可能需要采用不同的重定向方法，我们将在下一节中详细讨论。在数据采集前，用户会将虚拟机器人放置在世界坐标系中的固定位置。数据采集期间，虚拟机器人的末端执行器会追踪用户的手；每当用户用手与场景中的物体交互时，他们需考虑虚拟机器人是否能够完成此类动作。例如，对于配备平行夹爪的虚拟机器人，如果用户试图通过手指滑动来重新定位物体，虚拟机器人执行的动作将显得无效，如附带的视频所示。由于机器人手臂的每个关节都存在速度限制，虚拟机器人也会遵循这些限制，不会超出速度上限来追踪用户的输入。若用户移动手部的速度过快，其手部与机器人末端执行器之间会出现明显的视觉偏差；此时矩形框架会闪烁黄色，以提醒用户机器人存在速度限制。
c) 实时碰撞检测：为了提醒用户注意机器人与环境之间可能发生的碰撞，我们还会检测实际场景与虚拟机器人之间的碰撞情况。我们发现人类很难通过透视摄像头准确感知深度；仅观察虚拟机器人的运动并不足以避免碰撞。当虚拟机器人与预先扫描的静态场景发生碰撞时，我们会通过振动所连接的控制器来提供额外的触觉反馈。如图2所示，矩形框架也会闪烁以发出更强的碰撞反馈信号。
(a). Parallel-jaw Gripper
(b). Dexterous Hand
Fig. 3: Cross-Embodiment Data Collection. (a) ARCap can collect data for parallel-jaw grippers by guiding the user to form their hands into a gripper-like shape. If the user changes the hand gesture, the retargeting error will be large. (b) For a multi-finger dexterous hand, ARCap retargets the robot's fingertips to match the human fingertips, with the robot's wrist orientation determined by the orientation of the controller mounted on the user's gloves.
借助这些实时反馈信号，用户可以调整数据采集策略，或删除存在严重约束违规的演示数据。
基于单一系统的跨形态适配：ARCap能够可视化重定向到用户手上的各种末端执行器，从而无需进行硬件修改即可采集不同机器人形态的数据。对于任何新的机器人形态，只要存在能够令机器人复现人类演示的重定向流程，便可利用ARCap进行数据采集。我们针对安装在Franka Panda机械臂上的两种不同末端执行器，展示了两种实时重定向流程：(1) Leap Hand，一种全驱动、四指灵巧手；(2) Fin-ray夹爪，一种柔性平行夹爪。
基于单一系统的跨本体操作。ARCap能够可视化各种末端执行器并将其映射到用户手上，从而无需修改硬件即可收集不同机器人本体的数据。只要存在能将机器人动作与人类演示相对应的映射过程，就能利用ARCap为任何新型机器人本体收集数据。我们针对安装在Franka Panda机械臂上的两种不同末端执行器，提出了两种实时映射方案：(1) Leap Hand——一种全驱动的四指灵巧手；(2) Fin-ray夹持器——一种柔性平行夹爪。
• 灵巧手。与[^38]类似，我们通过逆运动学将灵巧手的指尖与人类指尖在世界坐标系中对齐。逆运动学问题分为两步解决：首先调整Leap Hand的机械腕部姿态，使其匹配Quest控制器提供的人类手腕姿态；接着确定机器人指尖的位置，使其匹配Rokoko数据手套追踪到的人类指尖位置。由于Leap Hand的每根手指都有一个冗余自由度，因此我们需要加入零空间调节机制，以促使手部保持自然姿态并避免手指间发生碰撞。
---
Fig. 4: ARCap System Layout. The user wears an AR headset and motion capture gloves, with controllers mounted on the gloves for tracking the 6D pose of the palms. Data is stored on a laptop carried in the backpack.
我们采用了Pybullet中的零空间逆运动学求解器[^8]，该求解器能根据先前的解实时计算出当前的关节角度。
- 平行夹爪。对于平行夹爪，用户可以用食指和拇指来模拟其动作。如图3所示，夹爪尖端的中点会与用户食指和拇指之间的中点对齐，而控制器追踪到的手腕方向则决定了夹爪的方向。由于夹爪只能完全张开或闭合，其状态由用户食指与拇指之间的距离决定：若该距离大于夹爪在张开状态下的宽度，则夹爪被设为张开状态；否则为闭合状态。在实际机器人中，夹爪对张开/闭合指令的响应频率为1Hz。在我们的映射过程中，如果用户频繁开合手掌，虚拟夹爪要等到状态改变1秒后才会相应动作。
便携且可复现的设计。ARCap被设计成一套低成本、便携的系统，易于复现和校准，同时能精准捕捉精细的手部动作。它还能确保在各类任务中最大程度减少对用户的干扰，保障使用舒适度。为实现这些目标，ARCap以Meta Quest 3 VR头显为核心，如图4所示。该头显既作为反馈显示的载体，又充当传感器中枢，为其自身及两个控制器提供空间追踪功能。一个RealSense D435摄像头通过3D打印的支架安装在头显顶部，用于采集3D视觉信息，这些信息会以点云形式存储。由于难以访问Quest 3的内部摄像头，未来版本的ARCap或许可以利用AR头显内置的RGB-D摄像头。
针对手腕和手部动作的捕捉，Quest 3控制器被安装在Rokoko数据手套的顶部。控制器负责追踪手腕相对于头显的位置和方向，而数据手套则捕捉指尖相对于手腕的位置。借助头显内置的SLAM功能，我们就能在世界坐标系下获取视觉和运动数据。
由于需要微调各组件间的相对变换参数，系统校准可能会比较耗时。
(a). Before Calibration
(b). After Calibration
Fig. 5: AR-based Camera Calibration. When calibrating the camera, users align the virtual robot's base with the actual robot's base.
为了简化这一流程，摄像头直接安装在头显上，控制器则用独特的3D打印支架固定在手套上，这样后续的ARCap设备就能复用相同的校准参数。一台笔记本电脑会连接上来处理视觉数据，并为收集到的数据提供额外存储空间。与DexCap [^38]类似，ARCap系统便携性极佳，可装入背包携带，无需依赖外部基础设施即可采集数据。
### B. 模仿学习
1) 数据处理：ARCap会记录以下数据：
• 摄像头坐标系下的彩色点云
• 通过逆运动学求解得到的虚拟机器人关节角度
- 世界坐标系下的头显姿态
- 世界坐标系下的虚拟机器人姿态
收集到的数据只需经过简单的后处理流程，即可用于模仿学习。我们首先将所有数据转换到世界坐标系下。对于点云数据，我们会在世界坐标系下对其进行裁剪，以去除背景物体和桌面。在收集的数据中，可以看到人类用户的手部和手臂。为缩小视觉差异，我们在点云数据集中叠加了深度摄像头所能捕捉到的虚拟机器人的点云。处理后，单个任务的所有数据会被存储在一个hdf5文件中。
2) 训练与测试：利用处理后的数据，我们采用扩散策略进行模仿学习。对于3D点云的编码，类似于[^38]和[^43]，我们使用简单的PointNet网络将彩色点云压缩为潜向量。随后，该潜向量会与机械臂及手部的当前关节角度拼接起来，作为观测值o。生成的动作a包含机械臂和手部的目标关节角度；对于灵巧手而言，a由每个手指的目标关节角度组成；对于平行夹爪而言，a则包含开合指令。我们的训练与测试流程基于robomimic[^28]——一个用于机器人模仿学习的统一框架。在测试训练好的策略时，我们可以利用ARCap系统来简化手眼标定过程。如图5所示，为了计算相机相对于机器人基座的姿态，我们会在ARCap应用中将虚拟机器人的基座与实际机器人的基座对齐。
---
(a). Cluttered pick and place
(b). Single-stage lego assembly
(c). Long-horizon lego assembly
Fig. 6: Experiment Tasks. (a) Pick-and-place in a cluttered scene with a dexterous robot hand. (b) Single-stage Lego assembly with a parallel-jaw gripper. (c) Long-horizon assembly of three Lego blocks.
### 四、实验
我们设计了实验来回答以下问题：
问题1：ARCap能否帮助普通用户收集更高质量的数据？
问题2：ARCap收集的数据能否帮助机器人在杂乱环境中完成操作？
问题3：ARCap收集的数据能否应用于形态差异显著的机器人上？
问题4：ARCap生成的数据是否足以实现长时序操作？
### A. 实验设置
实验中我们使用了两台Franka Panda机械臂，一台配备了Leap灵巧手，另一台则装有Fin-ray夹爪。两台机器人共享同一工作空间。在数据收集阶段，Quest 3头戴设备会运行Unity应用程序以实现可视化与数据流传输，而搭载i5-13200H CPU的Windows笔记本电脑则用于求解逆运动学并存储数据。在训练和测试自主策略时，我们采用了配备单块RTX3090 GPU和i7-13700 CPU的工作站。测试时，我们按照上述流程标定相机，并将头戴设备安装在假人头模型上以充当RGB-D相机，如图7所示。
### B. 用户研究
为回答问题1，我们开展了用户研究，邀请了20名参与者分别使用带有视觉触觉反馈的新系统ARCap以及没有反馈功能的旧系统DexCap。这些用户对VR/AR设备的接触程度各不相同，其中一半人没有数据收集或机器人学习经验；图8.(c,e)展示了参与者的人口统计信息。此外，所有参与者在参与本研究前均未使用过ARCap或DexCap。
要求测试参与者为图6中所示的两个任务收集数据：(1) 使用灵巧的Leap手在有障碍物的环境中拾取并放置网球。
Fig. 7: Setups for Real Robot Evaluation. During evaluation, we mounted the headset on a tripod and connected its camera to the robot workstation. The trained policy takes point cloud observations from the camera attached to the headset and outputs actions to control the robots.
(2) 使用Fin-ray平行夹爪组装单个乐高积木。第一个任务旨在验证ARCap提供的反馈是否能帮助用户在有杂乱物体的环境中避免碰撞；第二个任务则旨在检验反馈是否能帮助用户在不同末端执行器形态下收集有效数据。每个任务有3种初始状态，受试者需要在每种初始状态下收集3条轨迹。
基于训练模仿学习策略的经验。
---
(b). Helpfulness of visual feedback
(a). User study snapshots
(d). Helpfulness of haptic feedback (e). VR/AR experience
(f). Trajectory replay success rate
(g). Scene visible rate
Fig. 8: Results of User Study. (a) We invited 20 users with different backgrounds to collect data with DexCap [^38] and ARCap. (b)-(e) Survey results of user experience. (f)-(g) On-robot evaluation results with collected data.
轨迹的可复现性和场景可见性是决定采集到的演示数据质量的两个关键因素。在我们的用户研究中，为了定量衡量所采集数据的质量，我们测试了机器人能否重现采集到的轨迹并完成相同任务，以及数据采集过程中操作场景是否始终可见。
为了回答Q3和Q4，我们还证明了ARCap能够采集到高质量的数据，且机器人的具身形式差异对采集结果影响显著。
图8展示了两项任务的回放成功率和场景可见率；与DexCap相比，ARCap的回放成功率高出40%以上，场景可见率更是高出60%以上。我们的评估发现，在两项任务中ARCap都能有效避免由碰撞或运动学限制导致的失败情况。它还能大幅减少因用户忽视夹爪闭合速度限制而引发的失败案例。参与者参与了后续调查，结果汇总于图8(b,d)。结果显示，大多数参与者认为视觉和触觉反馈有助于他们优化数据采集策略。
### D. 不同具身形式的长时程操作
为了验证ARCap采集的数据是否真的能帮助机器人模仿学习，从而实现在杂乱环境中的操作，我们使用两种系统分别采集了时长均为30分钟的两组数据集，并在每组数据集上训练了两种扩散策略。这两组数据集由本文作者采集，他们对ARCap和DexCap都十分熟悉。训练完成后，我们通过20次不同初始状态的试验来评估策略性能。如表I所示，与DexCap相比，ARCap的成功率高出35%，且测试ARCap策略时从未发生碰撞。我们还将用户研究中多名首次使用者提供的30分钟众包数据合并，基于这些数据训练自主策略。ARCap策略在3个指定初始状态下能达到60%的成功率，而DexCap策略在不同试验中每次都失败，具体数据见表I。
### C. 杂乱环境中的操作
| Cluttered pick and place | Expert | User |
| DexCap [^38] | 0.25 | 0 |
| ARCap | 0.7 | 0.6 |
| Long-horizon lego assembly | Stage 1 | Stage 2 | Stage 3 | Full |
| DexCap [^38] | 0.5 | 0.15 | 0.05 | 0.0 |
| ARCap | 0.7 | 0.8 | 0.85 | 0.4 |
TABLE I: Success Rate of Autonomous Policy
该能力优于人类操作，能帮助机器人通过模仿学习完成任务。我们以图6(c)所示的采用平行夹爪的长时程三阶段乐高拼装任务为例来展示这一能力。该任务颇具挑战性，因为它要求策略针对不同阶段的乐高积木学会不同的抓取和拼装动作。我们使用DexCap和ARCap分别采集了时长均为一小时的两组人类操作数据，并基于这些数据训练了两种策略。我们首先独立评估不同阶段的成功率：每次试验后，人类会将乐高塔重置为拼装前的上一阶段。如表I所示，ARCap在第1、2、3阶段的成功率分别达到70%、80%和85%。我们还评估了策略自主完成全部3个阶段拼装的情况，此时人类会将乐高塔重置为最底层；ARCap策略在完全自主拼装中的成功率达到40%，平均而言比DexCap策略高出51%。正如补充视频中所展示的，当人类拆解乐高塔时，该策略也能在不同阶段做出相应反应。
### V. 结论与未来工作
我们提出了ARCap，这是一种便携式数据收集系统，能够让没有相关经验的用户通过视觉和触觉反馈，在不同实体上收集高质量数据。借助ARCap，我们可以在杂乱环境中训练机器人操控技能，并通过模仿学习实现跨实体的操控能力。未来，通过对反馈机制和重定向流程的进一步优化，ARCap还能记录人体躯干的运动数据，用于移动机器人或人形机器人的研发。目前，用户只能从反馈中被动改进数据收集策略；而借助VLM技术，ARCap就能为用户提供指导，帮助他们主动优化数据收集策略并提升效率。
---
[^1]: Brenna D Argall et al. “A survey of robot learning from demonstration”. In: Robotics and autonomous systems 57.5 (2009), pp. 469–483.
[^2]: Aude Billard et al. “Robot programming by demonstration”. In: Springer handbook of robotics. Springer, 2008, pp. 1371–1394.
[^3]: Anthony Brohan et al. “Rt-1: Robotics transformer for real-world control at scale”. In: arXiv preprint arXiv:2212.06817 (2022).
[^4]: Sylvain Calinon et al. “Learning and reproduction of gestures by imitation”. In: IEEE Robotics & Automation Magazine 17.2 (2010), pp. 44–54.
[^5]: Xuxin Cheng et al. “Open-TeleVision: teleoperation with immersive active visual feedback”. In: arXiv preprint arXiv:2407.01512 (2024).
[^6]: Cheng Chi et al. “Universal Manipulation Interface: In-The-Wild Robot Teaching Without In-The-Wild Robots”. In: arXiv preprint arXiv:2402.10329 (2024).
[^7]: Cheng Chi et al. “Universal manipulation interface: In-the-wild robot teaching without in-the-wild robots”. In: arXiv preprint arXiv:2402.10329 (2024).
[^8]: Erwin Coumans. “Bullet physics simulation”. In: ACM SIGGRAPH 2015 Courses. 2015, p. 1.
[^9]: Runyu Ding et al. “Bunny-VisionPro: Real-Time Bi-manual Dexterous Teleoperation for Imitation Learning”. In: arXiv preprint arXiv:2407.03162 (2024).
[^10]: Jiafei Duan et al. "AR2-D2: Training a Robot Without a Robot". In: arXiv preprint arXiv:2306.13818 (2023).
[^11]: Peter Englert and Marc Toussaint. “Learning manipulation skills from a single demonstration”. In: The International Journal of Robotics Research 37.1 (2018), pp. 137–154.
[^12]: Hongjie Fang et al. “Low-cost exoskeletons for learning whole-arm manipulation in the wild”. In: arXiv preprint arXiv:2309.14975 (2023).
[^13]: Chelsea Finn et al. “One-shot visual imitation learning via meta-learning”. In: Conference on robot learning. PMLR. 2017, pp. 357–368.
[^14]: Peter Florence, Lucas Manuelli, and Russ Tedrake. "Self-supervised correspondence in visuomotor policy learning". In: IEEE Robotics and Automation Letters 5.2 (2019), pp. 492–499.
[^15]: Zipeng Fu, Tony Z Zhao, and Chelsea Finn. “Mobile aloha: Learning bimanual mobile manipulation with low-cost whole-body teleoperation”. In: arXiv preprint arXiv:2401.02117 (2024).
[^16]: Jensen Gao et al. “Efficient Data Collection for Robotic Manipulation via Compositional Generalization”. In: arXiv preprint arXiv:2403.05110 (2024).
[^17]: Jennifer Grannen et al. “Stabilize to Act: Learning to Coordinate for Bimanual Manipulation”. In: Conference on Robot Learning. PMLR. 2023, pp. 563–576.
[^18]: Jonne van Haastregt et al. “Puppeteer Your Robot: Augmented Reality Leader-Follower Teleoperation”. In: arXiv preprint arXiv:2407.11741 (2024).
[^19]: Tairan He et al. “OmniH2O: Universal and Dexterous Human-to-Humanoid Whole-Body Teleoperation and Learning”. In: arXiv preprint arXiv:2406.08858 (2024).
[^20]: A.J. Ijspeert, J. Nakanishi, and S. Schaal. "Movement imitation with nonlinear dynamical systems in humanoid robots". In: Proceedings 2002 IEEE International Conference on Robotics and Automation (Cat. No.02CH37292). Vol. 2. 2002, 1398–1403 vol.2. DOI: 10.1109/ROBOT.2002.1014739.
[^21]: Liyiming Ke et al. “Telemanipulation with chopsticks: Analyzing human factors in user demonstrations”. In: 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE. 2020, pp. 11539–11546.
[^22]: Alexander Khazatsky et al. "Droid: A large-scale in-the-wild robot manipulation dataset". In: arXiv preprint arXiv:2403.12945 (2024).
[^23]: Jens Kober and Jan Peters. “Imitation and reinforcement learning”. In: IEEE Robotics & Automation Magazine 17.2 (2010), pp. 55–62.
[^24]: Jens Kober and Jan Peters. “Learning motor primitives for robotics”. In: 2009 IEEE International Conference on Robotics and Automation. IEEE. 2009, pp. 2112–2118.
[^25]: Toru Lin et al. “Learning Visuotactile Skills with Two Multifingered Hands”. In: arXiv:2404.16823 (2024).
[^26]: Ajay Mandlekar et al. “Scaling robot supervision to hundreds of hours with roboturk: Robotic manipulation dataset through human reasoning and dexterity”. In: 2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE. 2019, pp. 1048–1055.
[^27]: Ajay Mandlekar et al. “What Matters in Learning from Offline Human Demonstrations for Robot Manipulation”. In: 5th Annual Conference on Robot Learning. 2021. URL: .
[^28]: Ajay Mandlekar et al. “What matters in learning from offline human demonstrations for robot manipulation”. In: arXiv preprint arXiv:2108.03298 (2021).
[^29]: Alexandros Paraschos et al. “Probabilistic Movement Primitives”. In: Advances in Neural Information Processing Systems. Ed. by C.J. Burges et al. Vol. 26. Curran Associates, Inc., 2013. URL: .
[^30]: Alexandros Paraschos et al. “Using probabilistic movement primitives in robotics”. In: Autonomous Robots 42.3 (2018), pp. 529–551.
## [^31]: Aaditya Prasad et al. “Consistency policy: Accelerated visuomotor policies via consistency distillation”. In: arXiv preprint arXiv:2405.07503 (2024)
---
[^32]: Yuzhe Qin et al. “Anyteleop: A general vision-based dexterous robot arm-hand teleoperation system”. In: arXiv preprint arXiv:2307.04577 (2023).
[^33]: Stefan Schaal. “Dynamic movement primitives—a framework for motor control in humans and humanoid robotics”. In: Adaptive motion of animals and machines. Springer, 2006, pp. 261–280.
[^34]: Stefan Schaal. “Is imitation learning the route to humanoid robots?” In: Trends in cognitive sciences 3.6 (1999), pp. 233–242.
[^35]: Nur Muhammad Mahi Shafullah et al. “On bringing robots home”. In: arXiv preprint arXiv:2311.16098 (2023).
[^36]: Kenneth Shaw, Shikhar Bahl, and Deepak Pathak. "VideoDex: Learning Dexterity from Internet Videos". In: CoRL (2022).
[^37]: Kenneth Shaw et al. “Bimanual Dexterity for Complex Tasks”. In: 8th Annual Conference on Robot Learning. 2024.
[^38]: Chen Wang et al. "Dexcap: Scalable and portable mocap data collection system for dexterous manipulation". In: arXiv preprint arXiv:2403.07788 (2024).
[^39]: Chen Wang et al. “Generalization through hand-eye coordination: An action space for learning spatially-invariant visuomotor control”. In: 2021 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE. 2021, pp. 8913–8920.
[^40]: Jun Wang et al. “EVE: Enabling Anyone to Train Robot using Augmented Reality”. In: arXiv preprint arXiv:2404.06089 (2024).
[^41]: Philipp Wu et al. “Gello: A general, low-cost, and intuitive teleoperation framework for robot manipulators”. In: arXiv preprint arXiv:2309.13037 (2023).
[^42]: Shiqi Yang et al. “ACE: A Cross-Platform Visual-Exoskeletons System for Low-Cost Dexterous Teleoperation”. In: CoRL (2024).
[^43]: Yanjie Ze et al. “3d diffusion policy”. In: arXiv preprint arXiv:2403.03954 (2024).
[^44]: Tianhao Zhang et al. “Deep imitation learning for complex manipulation tasks from virtual reality teleoperation”. In: 2018 IEEE international conference on robotics and automation (ICRA). IEEE. 2018, pp. 5628–5635.
[^45]: Tony Z Zhao et al. “ALOHA Unleashed: A Simple Recipe for Robot Dexterity”. In: 8th Annual Conference on Robot Learning. 2024.
[^46]: Tony Z Zhao et al. “Learning fine-grained bimanual manipulation with low-cost hardware”. In: arXiv preprint arXiv:2304.13705 (2023).
[^47]: Tony Z Zhao et al. “Learning fine-grained bimanual manipulation with low-cost hardware”. In: arXiv preprint arXiv:2304.13705 (2023).
[^48]: Yifeng Zhu et al. “Viola: Imitation learning for vision-based manipulation with object proposal priors”. In: arXiv preprint arXiv:2210.11339 (2022).
[^49]: Yifeng Zhu et al. “Viola: Imitation learning for vision-based manipulation with object proposal pri-
等等”。载于《机器人学习会议论文集》。PMLR出版社，2023年，第1199–1210页。