# FastUMI：一种可扩展且硬件无关的通用操控接口及数据集
查西卓玛$^{1\dagger}$、刘可辉$^{1\dagger}$、关楚月$^{1\dagger}$、贾中杰$^{1,2\dagger}$、吴子牛$^{1,3\dagger}$、刘鑫$^{1,2\dagger}$、王天宇$^{1,4*}$、梁帅$^{1,2*}$、陈鹏安$^{1,5*}$、张平瑞$^{1,4*}$、宋浩明$^{1,2}$、曲德林$^{1,4}$、王东$^{1}$、王志刚$^{1}$、曹聂青$^{6}$、丁燕$^{1\dagger\dagger}$、赵斌$^{1\dagger}$、李学龙$^{1,7}$
$^{1}$上海人工智能实验室、$^{2}$上海交通大学、$^{3}$布里斯托大学、$^{4}$复旦大学、$^{5}$香港大学、$^{6}$西交利物浦大学、$^{7}$中国电信股份有限公司人工智能研究院
† * 贡献相同，‡项目负责人，项目网站：
摘要—涉及机械臂的真实世界操控数据对于开发通用动作策略至关重要，但此类数据依然十分稀缺，因为现有的数据采集方法受到成本高昂、硬件依赖性强以及设置要求复杂等因素的制约。在这项工作中，我们推出了FastUMI——对通用操控接口（UMI）系统的重大改进版本，它通过实现快速部署、简化软硬件集成流程，并在真实世界数据采集方面展现出稳健的性能，从而解决了上述难题。与UMI相比，FastUMI具备多项优势：1）它采用解耦式硬件设计，并进行了大量机械方面的改进，消除了对专用机器人组件的依赖，同时保留了一致的观测视角；2）它还优化了算法流程，用现成的跟踪模块取代了复杂的视觉惯性里程计（VIO）实现方式，在保持精度的同时大幅降低了部署复杂度；3）FastUMI包含一套用于数据采集、验证以及与现有及新开发的模仿学习算法集成的生态系统，能够加速策略学习的进展。此外，我们还开源了一个包含超过1万条真实世界演示轨迹的高质量数据集，涵盖22种日常任务，是迄今为止最多样化的类UMI数据集之一。实验结果证实，FastUMI能够实现快速部署，降低运营成本和人力需求，且在各类操控场景中均能保持稳健的性能，从而推动可扩展的数据驱动型机器人学习的发展。
## I. 引言
大规模、高质量的真实世界交互数据稀缺，仍是机器人操控领域发展的主要瓶颈，这主要是由于高效且可扩展的数据收集方法面临诸多挑战 [^3] [^10] [^50]。目前的方法大致可分为基于遥操作的技术 [^51] [^16] [^47] [^42]、基于视觉的演示方式 [^3] [^26]，以及传感器增强型接口 [^6] [^40] [^48]。虽然遥操作能够实现精确的数据采集，但该方法仍具有劳动强度大、成本高的问题，且受限于人机映射不直观且依赖特定任务的问题 [^49] [^35] [^19]。基于视觉的方法能够提供大规模、低成本的数据，但通常缺乏策略学习所需的丰富且精细的交互动态信息。相比之下，传感器增强型接口——以通用操控接口（Universal Manipulation Interface, UMI）这类系统为代表 [^10]——则提供了一种极具前景的替代方案。它们能够直接采集与机器人机载传感模态高度匹配的多模态信号，既保证了数据的保真度和精确度，又能将人类演示数据无缝迁移到机器人框架中。此外，这类接口的制造和部署成本较低，因此能够在真实世界条件下实现更快、更高质量的数据采集。如此一来，它们便缩小了人类演示与机器人自主执行之间的差距，从而实现快速且高质量的数据采集。
尽管UMI系统解决了人类演示数据采集中的关键难题，并能支持多种场景下的动作策略学习，但其当前的系统设计与实现仍存在两大局限。首先，该系统与特定机器人组件（如Weiss WSG-50夹爪）紧密耦合，限制了其适应性，同时也增加了经济和后勤方面的负担。要将UMI集成到不同的机器人平台中，不仅需要特定的夹爪及相关硬件，还需进行大量的调整工作，包括机械重新设计、传感器校准以及代码参数修改。这些调整会带来巨大的劳动投入，且缺乏通用性，最终阻碍了其在不同部署环境和应用场景中的广泛应用。
第二个局限源于软件框架，尤其是其对基于GoPro的视觉惯性里程计（VIO）流程与开源SLAM算法的依赖 $^{[7]}$。通过实验评估我们发现，UMI系统在涉及长时间遮挡的任务（如铰链操作）中会遇到困难。因此，当视觉信号间歇性丢失时，UMI软件配置难以维持稳定的运行，进而降低了数据质量及其在后续学习任务中的实用性。此外，VIO过程对参数设置较为敏感，需要复杂的校准程序和多次坐标转换。这些因素共同增加了操作复杂度，妨碍了
---
Fig. 1. Physical prototypes of FastUMI. Left: The handheld device, used to collect demonstration data from human operators, includes a GoPro $^{®}$ for visual feedback, a RealSense T265 $^{®}$ for end-effector pose tracking, fingertip markers $^{④⑤}$ to measure the gripper aperture, and a top cover $^{③}$ to secure both the GoPro and T265. Middle: A robot-mounted device, used for executing learned policies on the robotic arm, mirrors the handheld configuration. It features an ISO-standard-compatible camera mounting solution (including gopro mount $^{⑥}$, extension arms $^{⑦,⑧}$, and flange plate $^{⑨}$) that adapts to varying arm and gripper geometries. This design maintains consistent GoPro perspectives across different setups, enabling direct transfer of human demonstration views to autonomous robotic executions. Right: FastUMI can be easily deployed on various robotic arms and grippers. To distinguish FastUMI's hardware configuration from that of the original UMI, we employ a color-coding scheme.
结果的可重复性，也削弱了整个框架的用户友好性。
为克服UMI的上述局限，我们围绕三个主要目标开展了全面的重新设计：
- 通过硬件解耦来提升适应性。通过消除对特定机器人组件的严格依赖，我们的硬件设计能够无缝集成到各种机械臂和夹爪中，从而便于在不同平台上快速部署。
- 借助软件驱动的即插即用功能来提高效率。我们的软件栈注重即时可用性，只需极少的配置和用户培训。这种设计选择有助于快速收集数据，并显著降低操作复杂度。此外，它能自动适配不断变化的硬件配置，确保其在当前及未来的机器人平台上都能保持长期兼容性和可靠性。
- 构建强大的生态系统以确保数据质量和算法兼容性。我们的生态系统旨在支持各类模仿学习算法（例如基于Transformer的动作分块算法（ACT）[^49] 和扩散策略算法（DP）[^9]），为此提供了末端执行器轨迹和关节轨迹等关键数据类型。此外，我们还提供快速数据验证工具，确保收集到的数据集始终符合提升操控能力所需的质量标准。
在原有UMI的基础上，我们推出了FastUMI——一款经过重新设计的系统，它从硬件和软件两方面着手解决相关问题，以实现既定目标。在硬件方面，我们推出了一套标准化的、即插即用的指尖附件，这些附件与手持设备上的附件完全相同，可轻松安装到各类常用的机器人夹爪上。为应对机器人机械臂和夹爪几何形状的差异，我们提供了一种符合ISO标准的多功能摄像头安装方案。通过调整该安装座，用户就能在不同硬件配置下保持统一的GoPro视角。这种模块化设计确保了视角的一致性，使得基于手持设备收集的数据训练的模型能够无缝迁移到机器人搭载的场景中。此外，我们还简化了手持式和机器人搭载式组件的机械结构，从而提升了长时间数据收集过程中的稳定性和耐用性。
在软件方面，我们用RealSense T265模块取代了UMI中基于视觉惯性观测（VIO）的定位方式。该模块能整合视觉和惯性数据，从而在部分被遮挡的环境中提供更稳定的跟踪能力。虽然GoPro仍可用于拍摄高分辨率视频，但它不再被用作主要的视觉跟踪传感器。这一调整消除了对独立VIO流程的需求，也减少了复杂的校准步骤，进而简化了系统集成流程并实现快速部署。此外，我们还提供了强大的数据收集、验证和处理流程，以提升系统的通用性和易用性。FastUMI支持生成两种不同类型的数据集——末端执行器轨迹和关节轨迹——以满足不同算法的特定输入要求。具体而言，该框架兼容两类主流的模仿学习算法：ACT和DP。为应对FastUMI数据带来的独特策略学习挑战——包括近距离的第一人称视角、
---
多变的场景几何结构以及有限的深度信息——我们开发了多种定制化的算法变体，从而拓展了该框架在不同操控场景中的适用性和灵活性。
为了验证观测结果的一致性和数据收集的可靠性，我们进行了严格的测试，确认FastUMI的性能与原有的UMI系统相近，同时显著降低了用户的使用负担。全面的实验评估表明，重新设计的系统提供了一种集成化且用户友好的解决方案，能够将手持界面与机器人搭载的设备无缝衔接，从而高效、可扩展地采集用于机器人学习的数据。我们开源了在现实环境中收集的超过10,000条演示轨迹，涵盖22种日常任务，使该数据集成为在任务种类方面最全面的类UMI数据集之一。这些多样化的任务场景包含了多种操作情形，其中不乏视觉遮挡的情况，能够模拟视觉数据偶尔被遮挡的现实环境。通过收集如此多样且具有挑战性的数据集，我们不仅展示了FastUMI在各种操作场景下的适应性与鲁棒性，还为模仿学习算法提供了宝贵的训练资源。
### A. 硬件设计挑战
### II. 以硬件为中心的原型设计
FastUMI系统基于解耦设计理念，采用了以硬件为中心的重新设计方案。本节将介绍这一设计思路背后的指导原则，并概述相关的硬件组件。
为了实现既定目标，我们的硬件设计必须克服若干关键挑战。首要挑战在于使系统摆脱对特定机器人硬件的依赖。通过设计能够与各种机械臂和夹爪无缝集成的机械部件——这些部件在尺寸、形状和机械接口上各不相同——我们旨在减少重新设计的工作量及配置开销。第二个主要挑战是保持手持设备与机器人搭载设备之间的视觉一致性，这对于机器人学习算法中的策略迁移至关重要。鉴于夹爪尺寸的多样性，在不同硬件配置下保持统一的摄像头视角显得尤为重要。
此外，我们的设计还需兼容更多种类的机器人搭载式夹爪，突破平行夹爪的限制，从而拓宽其在各类机器人平台上的应用范围。同时，快速部署也是关键要求，因此我们致力于打造即插即用的解决方案，简化用户的设置流程，尽量减少校准和配置工作，以促进该系统的广泛应用。最后，确保高质量的数据是整个工作的基础。可靠的硬件对于获取准确且一致的数据至关重要，进而消除下游学习任务中的障碍并提升整体系统性能。
为应对这些挑战，FastUMI采用了支撑其硬件架构的解耦设计理念。该系统在三个主要维度上实现了系统性解耦。相关细节将在第II-B节和第II-C节中阐述。
- 物理解耦：标准化接口和模块化组件能够实现与各类机器人平台的无缝集成，无需进行大量的硬件针对性修改。
- 视觉一致性：手持配置与机器人搭载配置之间保持统一的摄像头视角，使得在一个场景下采集的数据可直接应用于另一个场景，而无需复杂的重新校准。这种一致性让人机演示数据能够直接用于机器人执行。
- 操作独立性：该系统采用了独立运行的跟踪与传感模块，减少了对外部计算框架的依赖，从而能在各种部署场景中保持稳定的性能。
### B. 手持设备设计
这款手持设备（见图1左侧子图）可用于手动采集数据，以训练动作策略。它由三个主要部件组成：
- 鱼眼摄像头模块 $^{②}$：搭载鱼眼镜头扩展的GoPro相机能够拍摄视角达155度的广角图像，大幅减少了视野遮挡现象，为机器人任务提供了更广阔的视角。这一视角远大于RealSense D435i等常用相机的视角；在我们的测试中，这类视角较窄的相机在采集第一人称视角数据时的表现并不理想。相比之下，鱼眼相机更宽的覆盖范围能有效捕捉更多环境信息，提升视觉特征提取能力，进而改善策略学习的效果。
Fig. 2. Left: D435i camera with a narrower field of view. Right: GoPro with a 155-degree wide-angle view.
- 姿态跟踪模块 $^{①}$：由于该手持接口没有内置关节反馈机制，也未配备外部动作捕捉系统，因此我们选用RealSense T265来实现可靠的跟踪功能。T265配备了高性能集成式惯性测量单元，可替代UMI原有的视觉里程计解决方案，省去了复杂的校准步骤，提升了易用性。在我们的实验中，该模块在多种场景下都能持续提供稳定的姿态估计结果，包括存在部分视觉遮挡的情况（如打开橱柜和抽屉）。
---
这种改进后的硬件设计能适应更广泛的使用条件，这对数据采集而言至关重要。此外，我们的系统对不同型号的相机具有良好的兼容性，无需对现有流程做大幅修改即可顺利集成其他传感器。例如，我们已验证RoboBaton MINI的性能可与T265媲美，且数据接口完全兼容，能够保障高质量的数据采集并维持系统的可用性。T265与MINI的对比情况详见第X-A节。
- 顶盖、指尖与标记点 $^{③④⑤}$：在最初的UMI设计中，顶盖常常会进入GoPro的视野范围，导致硬件无法完全分离。为解决这一问题，我们将GoPro的位置移近指尖，确保顶盖处于鱼眼镜头的视野之外，从而适配无需顶盖的场景（如将设备安装在机器人上）。虽然将相机移近指尖会自然产生更明显的图像畸变，但我们通过优化标记点的大小与位置来应对这一挑战。这些改进减轻了镜头畸变的影响，提高了标记点的检测精度，同时增强了耐用性与安装便捷性。这一重新设计提升了系统的灵活性与可靠性。
在此配置下，相机已完成出厂校准并与指尖对齐，无需用户进一步调整，即可实现即插即用的体验。我们在FastUMI中使用了两个摄像头模块，各自承担不同功能：T265即便在部分遮挡条件下也能提供精准的姿态跟踪数据；而GoPro则负责捕捉广阔的环境视野，以满足环境信息采集、演示验证以及算法学习的需求。由于GoPro不负责姿态跟踪，因此它可以更灵活地安装，以保证手持设备与机器人搭载设备能保持一致的视角；T265则被放置在更为受保护的位置，以确保姿态跟踪性能的稳定。
### C. 机器人搭载设备设计
该机器人搭载设备（见图1中间的子图）遵循与手持设备相同的设计原则，但专为与各类机械臂和夹爪广泛兼容而设计。与手持配置不同，该机器人搭载设备并未配备T265摄像头。其主要组件包括：
- 法兰盘 $^{⑨}$：该法兰盘的设计符合ISO标准，可与各类机械臂兼容，从而确保无缝集成并大幅缩短设置时间。
- Plug-in Fingertip®：这些模块在外形上与手持设备中使用的附件一致，其内部轮廓则经过特殊设计，可适配不同形状的夹爪，同时保留统一的外部交互点，进而实现有效的策略迁移。可更换的指尖模块建立了标准化的物理交互点，支持与各类机器人及手持夹爪兼容。为了适配多种机器人夹爪，我们基于Open X-Embodiment [^30]等开源数据集中常用的夹爪类型，设计了五种定制化的指尖附件（如xArm夹爪和Robotiq 2f-85），覆盖了这些数据集中超过90%的夹爪类型。尽管目前尚未支持所有类型的夹爪，但我们的设计可根据需求灵活调整。图4展示了我们的指尖设计与xArm夹爪的集成效果。
- 可调式摄像头安装结构 $^{⑥⑦⑧}$：模块化扩展臂可帮助将GoPro摄像头与夹爪的指尖精准对齐，从而确保在不同机器人配置下都能获得一致视角。该结构包含两个关键部件：1）GoPro机器人安装座 $^{⑥}$ 作为GoPro摄像头的主要固定点；2）GoPro扩展臂 $^{⑦⑧}$ 可实现横向定位（由蓝色箭头指示）和纵向定位（由红色箭头指示），从而使摄像头与机器人夹爪对齐，如图1所示。标准化的公母接口允许依次连接多个扩展臂，在将长度调节至所需尺寸的同时将振动降至最低（经测试最多可连接三个扩展臂）。通过调整扩展臂，即便夹爪的尺寸或形状差异较大，用户也能复现手持设备的摄像头视角。可插入的指尖扩展件进一步确保了在不同硬件配置下都能获得一致的视角。
视觉对齐：为确保手持设备与机器人搭载设备之间的视觉一致性，我们采用了一条简单规则：“GoPro鱼眼镜头图像的底部与夹爪指尖的底部对齐”，如图3所示。这一标准化视角能确保所有用户获取几乎一致的观测结果，从而提升不同部署场景下的互操作性。虽然也可以定义其他标准，但偏离这一对齐方式会降低共享数据集在更广泛应用场景中的实用性。如果夹爪尺寸存在差异，我们可调节的机械设计能通过精细调整臂长来维持视觉对齐。实际应用中，手持设备采用固定的摄像头配置，而由于机械臂几何形状和末端执行器设计的差异，机器人搭载设备则需要可调节的设置。
Continuous Gripper Tracking
Fig. 3. Visual alignment between the handheld device (Left) and the robot-mounted device (Right). The two views demonstrate the consistent positioning of the GoPro's fisheye lens image, with the bottom of the gripper's fingertips aligned to the red dashed lines.
---
尽管我们的手持设备采用的是平行运动夹爪，但许多安装在机器人上的夹爪（如xArm夹爪或Robotiq夹爪）并不能严格保持平行运动。例如，xArm夹爪在完全打开和闭合位置之间移动时，其有效长度会变化约1厘米（见图4）。这种夹爪运动的差异会导致摄像头视角出现偏差，尤其是在将手持设备上采集的演示数据迁移到不同的机器人搭载系统中时。为解决这一难题，我们开发了一种动态误差补偿算法，能够在推理过程中补偿特定夹爪的运动差异，从而确保人类演示与机器人执行之间的视觉对齐保持一致（详见第IV-E节）。
Fig. 4. Our plug-in fingertip design integrated with the xArm Gripper; The effective length of the xArm Gripper changes by approximately 1 centimeter between fully closed and open positions, potentially causing misalignment when transferring demonstrations.
### D. 其他设计优化
为了提升FastUMI的稳定性和耐用性，我们引入了三项结构改进：
- 加固的按键安装结构：增强结构完整性以减少振动。
- 碳纤维组件：在强化材料性能的同时尽量减轻重量。
- 标准化的公母接口设计：允许依次连接延长臂来调整长度，且不会引发显著振动。
总体而言，这些详尽的硬件相关设计确保了数据采集过程中的可靠性能，同时也简化了用户的硬件调整操作。此外，我们的系统配置支持单个标准化手持设备在多个用户间共享，而机器人搭载设备则能适配各种夹爪或机械臂。这种解耦式的设计保持了统一的数据采集流程，也推动了我们让FastUMI惠及更广泛用户群体的目标。
### III. 以软件为核心的框架
### A. 原始数据采集
整体数据采集流程：FastUMI利用三个主要的ROS节点来记录多模态演示数据。首先，摄像头节点会持续从GoPro相机流式传输广角图像（例如，$1920\times1080$，帧率为60 fps）。其次，跟踪节点会以更高的速率（例如200 Hz）提供来自T265传感器的位姿估计值。每个位姿表示为$(x,y,z,q_x,q_y,q_z,q_w)$，其中$(x,y,z)$代表平移向量，$(q_x,q_y,q_z,q_w)$代表四元数形式的方向。最后，存储节点会将这些数据流汇总并同步到分层数据格式版本5（HDF5）文件中，以供后续处理。由于各传感器独立运行，只需添加相应的ROS节点，系统就能轻松扩展以支持更多模态（如触觉传感器）。
FastUMI对T265传感器的依赖不仅提升了部分遮挡情况下的可靠性，还省去了繁琐的校准和VIO参数调优步骤，大幅加快了部署速度。不过，这也带来了更严格的双传感器同步和漂移管理要求，具体如下所述。
数据二次采样与同步：在多传感器数据融合中，不同的采样速率和数据模式常常阻碍数据的精确对齐。为解决这些难题，我们采用统一的ROS时钟来实现一致的时间戳标记，利用多线程缓冲机制独立处理各传感器的数据流，并以最大公共频率进行同步二次采样。这种集成策略能够在不损害数据完整性的前提下，实现稳健的多模态数据对齐。采取此类措施十分必要，因为某些传感器的采样速率并不匹配（例如T265为200 Hz，GoPro为60 Hz），这会增加数据错位和系统过载的风险。实际应用中，每个传感器的数据都会被打上统一时钟标签，并被送入专用的线程安全队列，以防止高吞吐量下的数据丢失。每次录制前，这些队列都会被重置，以保证缓冲区有序。随后，我们将两路数据流均以20 Hz的频率进行二次采样——这一数值正是200 Hz和60 Hz的最大公共频率——具体做法是从每三帧摄像头图像中保留一帧，并将该帧与时间上最接近的T265位姿配对。这种方法能将时间偏移控制在亚毫秒级，远小于T265的1/200秒时间间隔，从而最大限度减少插值误差，确保为后续学习任务提供高度同步的数据。
T265的累积漂移校正：尽管T265能提供可靠的位姿估计，但在剧烈运动（如突然加速）时仍可能出现累积漂移现象。针对这一问题，我们采取了两种主要策略：1）重新初始化。最简单的解决办法是在静止状态下将T265重启至预设的参考位姿。此举可重置设备内部状态，恢复精确的位姿跟踪能力。2）闭环检测。另一种策略是利用视觉特征明显的参考区域——桌面上一个蓝色的3D打印凹槽（见图5左侧）——来实现闭环检测。当T265再次经过该区域时，会重新识别之前映射过的视觉特征，通常就能将估算出的轨迹与初始参考位置重新对齐（在图5右侧的RVIZ界面中显示为绿色虚线框），此时漂移程度较小。然而，如果即使返回标记区域后仍存在明显错位，则说明闭环检测无效，必须重新初始化T265才能恢复准确的位姿跟踪。
---
Fig. 5. Left: The blue 3D-printed groove on the table, serving as a clear visual reference to aid loop closure. Right: The T265's trajectory in RVIZ, illustrating alignment with the initial reference, highlighted as a green dashed box, after revisiting the blue groove.
### B. 原始数据质量评估
确保演示数据的可靠性对后续学习任务至关重要；不过据我们所知，现有研究尚未能全面量化何为“理想”的数据质量。实践中，我们通过传感器置信度和轨迹平滑度检查来保证数据的一致性。T265提供了四个离散的置信度等级——Failed、Low、Medium和High；为避免出现长时间的低置信度数据，我们首先通过验证至少95%的样本位姿达到High置信度来确认环境条件适宜。测试表明，光照条件对T265的性能影响显著，昏暗或低光环境往往会导致置信度降低且漂移加剧。实际录制过程中，任何低置信度的位姿都会被排除，并通过相邻帧插值来保持数据连续性。同时，用户设定的速度、加速度和相对方位阈值能识别出突变情况，进一步提升了数据的保真度。虽然这些策略无法为数据质量提供绝对的评判标准，但有助于建立严格的采集规范，减少可能传导至后续建模与推理环节的错误。
### C. 用于训练的数据准备
数据类型概述：为了满足各类模仿学习算法的需求，我们将轨迹数据分为两大类——TCP轨迹（包括绝对轨迹和相对轨迹）以及关节轨迹。在软件层面，FastUMI能够以极少的配置实现各种数据格式与不断演进的算法需求之间的无缝集成。下文将介绍生成这三种数据格式的具体流程。
输入数据与假设：主要的原始输入是来自T265相机的姿态估计值，即相机局部坐标系下的$\mathbf{p}_i$（位置）和$\mathbf{R}_i$（朝向）。此外还需要以下额外信息：
- 已知的机器人手臂统一机器人描述格式（URDF）。
- 从 T265 $\Delta_{c2g}$amera 中心到 $\underline{\text{c}}$ 中心的已知偏移量 $\underline{\text{gripper}}$（在相机坐标系中表示），如图 6（左）所示。
Fig. 6. Illustration of the offset $\Delta_{c2g}$ from the T265 center to the gripper center, and the gripper center pose $(\mathbf{p}_{b2g}, \mathbf{R}_{b2g})$ in the robot base frame.
- 夹爪中心在机器人 $\left(\mathbf{p}_{b2g}, \mathbf{R}_{b2g}\right)$ 坐标系中的已知位姿 $\underline{\text{base}}$，如图 6（右）所示，其中 $\mathbf{p}_{b2g}$ 为位置，$\mathbf{R}_{b2g}$ 为旋转。
我们假设手持设备的运动与机器人末端执行器的运动完全一致。在此前提下，可推导出以下三种轨迹：1）绝对TCP轨迹；2）相对TCP轨迹；3）绝对关节轨迹。具体细节如下。
绝对TCP轨迹：要计算该轨迹，首先需将T265坐标系与机器人基座坐标系对齐。在每个时间戳i，T265会提供$(\mathbf{p}_i, \mathbf{R}_i)$，用于描述相机相对于初始姿态的运动情况。相机在机器人基座坐标系下的绝对姿态可由下式得出：
$$ \mathbf{p}_{\mathrm{c a m}}^{(i)}=\mathbf{p}_{\mathrm{b2g}}+\mathbf{p}_{i}-\mathbf{R}_{\mathrm{b2g}}\Delta_{c2g}, $$
$$\mathbf{R}_{\mathrm{c a m}}^{(i)}=\mathbf{R}_{\mathrm{b a s e}}~\boldsymbol{\cdot}~\mathbf{R}_{i}.$$
随后，结合相机到夹持器的偏移量$(p_{ee}^{(t)}, R_{ee}^{(t)})$，即可获得绝对TCP姿态$\Delta_{c2g}$：
$$ \mathbf{p}_{\mathrm{e e}}^{(i)}=\mathbf{p}_{\mathrm{c a m}}^{(i)}+\mathbf{R}_{\mathrm{c a m}}^{(i)}\Delta_{c2g}, $$
$$ \mathbf{R}_{ee}^{(i)}=\mathbf{R}_{cam}^{(i)}. $$
最终得到的序列$\left\{(\mathbf{p}_{\mathrm{ee}}^{(t)},\mathbf{R}_{\mathrm{ee}}^{(t)})\right\}$即为机器人基座坐标系下的绝对TCP轨迹。
相对TCP轨迹：该轨迹由连续的绝对TCP帧构成。对于相邻帧i和$i+1$，其绝对姿态分别为$(\mathbf{p}_{\mathrm{ee}}^{(i)}, \mathbf{R}_{\mathrm{ee}}^{(i)})$和$(\mathbf{p}_{\mathrm{ee}}^{(i+1)}, \mathbf{R}_{\mathrm{ee}}^{(i+1)})$，相应的相对变换关系为：
$$ \mathbf{p}_{\mathrm{r e l}}^{(i)}=\mathbf{p}_{\mathrm{e e}}^{(i+1)}-\mathbf{p}_{\mathrm{e e}}^{(i)}, $$
$$ \mathbf{R}_{\mathrm{r e l}}^{(i)}=\left(\mathbf{R}_{\mathrm{e e}}^{(i)}\right)^{-1}\cdot\mathbf{R}_{\mathrm{e e}}^{(i+1)}. $$
这种表达方式消除了对全局参考系的依赖，有助于形成更均匀的数据分布，从而在基座姿态发生变化时提升模型的泛化能力。
绝对关节轨迹：要获取该轨迹，需利用机器人的URDF文件，通过迭代求解器对每个绝对TCP位姿$\left(\mathbf{p}_{ee}^{(i)}, \mathbf{R}_{ee}^{(i)}\right)$进行逆运动学计算。为保证连续性，第i帧的解会作为初始猜测值使用。
---
用于第$i+1$帧的计算。如果URDF模型仅涵盖到法兰部分，则在逆运动学计算中需计入法兰到夹持器的偏移量，以确保得到准确的关节解。
夹持器开口宽度的连续计算：我们提出了一种基于标记的方法，该方法将软件与底层机械结构解耦，从而能够适配多种夹持器设计。具体而言，我们测量夹持器爪面上的ArUco标记[^20]之间的像素距离，并将其线性映射为夹持器的实际开口宽度。这种方法无需依赖特定的硬件，减少了设计限制，简化了新款或不同尺寸夹持器的集成流程。
在我们的设置中，我们将两个 ArUco 标记附着到夹爪上，并定义两个超参数：$d_{\max}$ 和 $d_{\min}$。这两个值分别表示在夹爪最大和最小开口时标记之间的像素距离。对于每个图像帧，我们检测标记并计算像素距离 d。如果仅识别出一个标记，我们通过将已知标记围绕夹爪中心轴镜像来估计 d；如果未检测到任何标记，则插入一个插补值以保持连续性。因此，每一帧都能保证获得有效的标记距离。最后，物理夹爪宽度记为 W，通过将测量距离相对于 $d_{\max}$ 和 $d_{\min}$ 进行归一化，再按 $G_{\max}$ 缩放来确定，该值表示夹爪的最大物理开口：
$$ W=\frac{d-d_{\min}}{d_{\max}-d_{\min}}\times G_{\max}. $$
### IV. 针对FastUMI的算法改进
### A. 动机：超越硬件解耦
在前面的章节中，我们介绍了FastUMI如何实现硬件解耦。这种设计降低了系统在各类异构平台上的部署成本和复杂度，包括手持式和机器人搭载式配置。然而，虽然硬件解耦能够支持在不同场景下无缝采集数据，但它本身并不能解决由FastUMI的数据分布带来的独特策略学习挑战（详见第IV-B节）。因此，仅靠硬件解耦无法充分发挥FastUMI的潜力。通过将数据驱动的优化措施融入基础算法，以适应FastUMI独特的数据特征，我们就能实现高效的多平台部署，确保持续的高性能表现，同时也为未来开发更先进的方法奠定基础。
### B. FastUMI面临的数据挑战
与传统的第三人称或固定视角相比，FastUMI采用腕部或手持式安装方式，会引入若干独特的数据特征：
- 近距离第一人称视角：安装在末端执行器附近的摄像头能捕捉到详细的操作线索，但对整个机械臂的视野有限，这就增加了对先验知识的依赖以维持运动学可行性。
- 多变的几何结构与场景布局：FastUMI的硬件无关设计导致不同机械臂配置、基座坐标系和环境下生成的数据具有异质性，这给实现一致的策略学习带来了困难。
- 深度信息有限：单视图鱼眼图像缺乏明确的三维空间线索，因此难以精确估计深度。在需要精准定位的任务中，比如物体对齐和夹爪闭合，一旦缺少深度信号就极易出现误差。
为解决这些挑战，我们针对两种主要的模仿学习算法——ACT和DP提出了改进方案。这些改进能够促进稳健的策略执行，确保运动学可行性，并为对精度要求更高的任务引入深度感知能力。
### C. 面向第一人称视角的增强版ACT算法
标准的ACT模型能够预测机械臂的绝对关节轨迹，在第三人称或固定摄像头场景下表现良好。然而，在FastUMI所采用的第一人称腕部视角下，机械臂的大部分区域无法被观察到，这导致ACT在推理过程中容易产生非法的关节配置。这些配置可能表现为极端的末端执行器姿态，不仅违反运动学约束，还会与演示轨迹产生显著偏差。因此，我们针对原始ACT模型提出了两项针对性改进，以解决第一人称数据中存在的可见性限制问题。
1) Smooth-ACT：局部时间平滑处理。为解决关节过渡突兀或不可行的问题，我们引入了Smooth-ACT。该算法通过在Transformer解码器之上添加门控循环单元（GRU）层来提升动作的连续性[^12]。Transformer负责捕捉全局的时空模式，而GRU则负责优化局部连续性，从而平滑连续帧之间的突变。训练过程中会生成两个动作序列：来自Transformer解码器的$\hat{a}$和来自GRU层的$\hat{a}_{GRU}$。两者均会与真实动作进行对比，并通过损失函数$\mathcal{L}$进行计算：
$$ \mathcal{L}=\|\hat{a}-a\|_{1}+\|\hat{a}_{\mathrm{G R U}}-a\|_{1}+\lambda\mathrm{K L}\big(\mu,\log\sigma^{2}\big), $$
其中$\text{KL}(\mu, \log \sigma^2)$用于对模型输出进行正则化以保证稳定性。这种分层结构既保留了Transformer的全局注意力能力，又实现了局部平滑处理，进而减少了运动学上无效的动作。
2) PoseACT：末端执行器姿态预测。除了缓解轨迹不连续性问题外，我们还通过引入PoseACT来进一步提升ACT模型的鲁棒性。该变体用末端执行器（TCP）的姿态表示来替代绝对关节预测。这种表述方式同时涵盖了绝对和相对运动轨迹，具有两大优势：
- 平台无关性：以末端执行器的局部运动来表达动作，可降低对基座坐标系或机械臂几何结构的敏感性，从而便于跨平台策略迁移。
---
Fig. 7. Illustration of the depth-mapping process from Step 0 to Step 119. The top row displays the cropped GoPro frames (rectified from their original circular format), and the bottom row presents corresponding depth estimations produced by Depth Anything V2.
基础坐标系或机械臂几何结构的差异，有助于实现多平台策略迁移。
- 数值稳定性：相对轨迹通常变异程度更低，能减轻异常值的影响，进而提升对新配置的泛化能力。
推理阶段，策略会输出相对姿态，随后通过机器人的运动学模型将其映射为绝对关节角度。评估结果表明，这种与基座无关的方法能够增强策略的鲁棒性，并减少极端关节指令的产生，尤其是在第一人称观测受限的情况下。
### D. 深度增强型扩散策略
我们将原始UMI中的DP算法（包含相对TCP轨迹预测和延迟匹配功能）应用到我们的机器人平台上，初步结果令人鼓舞。但我们发现其存在局限性：DP在处理需要高精度深度估计的任务时表现不佳。例如，它有时无法准确到达目标位置，或过早闭合夹爪。这表明在缺乏深度信息的情况下，当前策略的性能存在不足，尤其在需要精确空间推理的场景中更是如此。
为了解决这个问题，我们引入深度信息来改进原有的DP算法，从而得到了一种称为“深度增强型DP”的变体。虽然现有将深度信息融入DP的研究通常依赖专用传感器来采集实时深度数据 [^46] [^24]，但我们旨在探索一种更轻量且高效的方法，无需增加硬件复杂度或额外成本。具体来说，我们采用后处理策略来生成深度图。利用开源深度估计工具Depth Anything V2 [^43]，我们为数据集中的每一帧补充对应的深度图。然而，我们的图像中包含大量黑色边缘，这会负面影响Depth Anything V2的性能。为克服这一难题，我们对图像进行预处理：先裁剪掉圆形区域外的部分，仅保留内切矩形区域，再将其缩放至 $448 \times 448$，如图7所示。这样既能获得高质量的深度图，又能聚焦于机械爪的操作区域。此外，RGB图像也会去除两侧的黑色边缘，随后缩放至 $448 \times 448$，以提高图像观测的准确性。
训练过程中，我们将单通道深度数据扩展为三通道伪彩色深度图，然后与RGB图像一起，分别通过基于ViT的CLIP视觉编码器（ViT-Base Patch 16，输入尺寸为224 $\times$224） [^32] 进行编码。得到的嵌入向量会被拼接起来，用于后续处理。在扩散策略执行期间的实时推理阶段，我们采用预训练好的Depth Anything V2模型 [^43]，在RTX 4090 GPU上可实现20 Hz的推理频率。这一改进无需额外的传感器或多视角摄像头配置，为在精度要求极高的应用中提升策略性能提供了一种实用且高效的解决方案。
### E. 动态误差补偿算法
机器人手臂上的非平行夹爪在闭合时会导致TCP位置偏移。由于夹爪向内移动，有效的TCP往往会沿机械爪的局部Z轴发生平移，从而在抓取小物体等需要高精度操作的任务中引发对齐误差。为缓解这种偏移现象，我们提出了一种能实时调整指令TCP位置的动态误差补偿算法。该算法包含两个阶段。
阶段1：补偿距离。设 $W(i)$ 为第i帧时测量得到的夹爪宽度，用 $W_{max}$ 表示夹爪的最大宽度。我们定义补偿距离 $d(i)$，用于抵消非平行夹爪引起的TCP位移。令 $d_{close}$ 为夹爪完全闭合时的最大补偿距离，$d_{open}$ 为夹爪完全打开时的最小补偿距离。接下来我们计算：
$$ d(i)=d_{close}-\frac{d_{close}-d_{open}}{W_{max}}W(i). $$
随着 $W(i)$ 的减小，末端执行器会沿TCP坐标系的负Z轴进一步移动，从而抵消因夹爪闭合而产生的正向运动。
阶段2：姿态校正。设 $\mathbf{p}_{ee}^{(i)}$ 和 $\mathbf{R}_{ee}^{(i)}$ 分别为第i帧时期望的TCP位置和姿态。旋转矩阵 $\mathbf{R}_{ee}^{(i)}$ 定义了TCP坐标系相对于机器人基座坐标系的姿态。
---
为了确定位移方向，我们首先提取TCP坐标系的局部Z轴，该轴以基座坐标系表示：
$$ \mathbf{z}_{axis}^{(i)}=\mathbf{R}_{ee}^{(i)}\hat{\mathbf{e}}_{z}, $$
其中 $\hat{\mathbf{e}}_z = [0, 0, 1]^\top$ 表示TCP坐标系的局部Z轴。随后，在基座坐标系中计算出的修正后TCP位置为 $\mathbf{p}_{ee}^{\prime(i)}$：
$$ \mathbf{p}_{\mathrm{e e}}^{\prime(i)}=\mathbf{p}_{\mathrm{e e}}^{(i)}-d(i)\mathbf{z}_{\mathrm{a x i s}}^{(i)}. $$
最后，利用修正后的TCP位置 $\mathbf{p}_{ee}^{(i)}$ 来求解逆运动学（IK）问题，同时保持原有的姿态 $\mathbf{R}_{ee}^{(i)}$，最终得到关节向量 $\boldsymbol{\theta}^{(i)}$：
$$ \begin{array}{r}{\mathbf{\boldsymbol{\theta}}^{(i)}=\operatorname{I K}\big(\mathbf{p}_{\mathrm{e e}}^{\prime(i)},\mathbf{R}_{\mathrm{e e}}^{(i)}\big).}\end{array} $$
### V. 开源数据集
### A. 数据集概述
我们推出了FastUMI数据集，包含10,000个演示序列，每个序列均记录了在家庭环境中同步采集的Go-Pro视频与末端执行器轨迹。该数据集涵盖了22项任务、19类物体以及12种不同的操作技能，每个演示时长约为6至12秒，其中大多数演示时长为9秒。图8（左）展示了所选采集环境中的代表性帧；橙色文本框标示了具体任务，蓝色数字则对应各任务的演示次数。图8（右）给出了两张分布图：上图详细说明了各任务的比例，下图则展示了操作技能的分类情况（如抓取、打开等）。
### B. 数据集采集流程
该数据集由五名操作员使用三台FastUMI设备采集而成，以确保用户交互方式与环境背景的多样性。每项记录的任务都涉及一个固定的目标物体（如特定的抽屉或容器），而周围的背景（如桌面杂物、光照条件）则被随机化处理以增加变异性。采集过程中，操作员借助RVIZ进行实时可视化，从而验证T265传感器的输出结果并确保演示质量。我们实施了严格的质量保障机制，持续监测关键指标（如T265跟踪置信度），并剔除或重新录制因传感器漂移而受影响的序列。
### C. 数据集存储与格式
所有原始传感器数据最初均在本地记录，随后才进行后处理。为了支持各类模仿学习与控制范式，我们提供了多种数据表现形式——最主要是关节轨迹与TCP轨迹。每个演示都被存储在专门的HDF5文件中，这些文件将观测数据（如图像、跟踪位姿）与动作指令（如夹爪控制命令）整合在同一个数据集中。为了增强兼容性，我们还提供了将HDF5文件转换为Zarr格式的脚本，这种格式在保持分层结构的同时，还提供了更灵活的存储后端、分块、压缩及并行访问能力。关于数据集架构与文件组织的详细说明，请参阅第X-B节。
### VI. 系统评估
我们从四个主要维度对系统进行评估：1）数据质量，2）基线性能，3）算法改进，以及4）其他影响因素，相关内容分别在第VI-A、VI-B、VI-C和VI-D节中详述。首先，我们评估T265模块与MINI模块在位姿跟踪方面的可靠性，以确保所采集的数据能满足后续应用的需求。接着，我们通过涵盖多种操作任务的大量实验来展示系统的有效性，从而利用基线ACT与DP方法凸显其鲁棒性。随后，我们量化了因算法优化所带来的任务成功率提升幅度。最后，我们研究了鱼眼相机的应用以及训练数据集规模等其他变量对策略性能的影响。
在展示实验结果之前，我们先介绍用于策略推理评估的12项任务，如图9所示。这些任务旨在涵盖各类现实世界的操作挑战，包括铰接操作和抓取放置活动，从而为评估所提出的系统提供一个全面的基准。除非另有说明，所有实验均使用xArm 6机器人平台进行。
### A. 数据质量
在表I中，我们总结了T265和MINI在三项代表性任务中的姿态估计误差：“抓取杯子”是一项简单的抓取放置动作（如图10右侧所示）；“打开容器”涉及铰接运动且存在部分遮挡；“重新排列可乐瓶”则是一个遮挡情况较为复杂的场景。为了确立真实轨迹，我们在手持设备上固定了四个反光标记点，并通过光学动作捕捉系统进行追踪（图10左侧）。同时，设备的姿态信息也通过我们的数据采集流程记录下来。所有数据流通过统一的时间戳在ROS中同步，每项任务为每个传感器采集十条轨迹。所有报告的误差均通过evo工具包计算得出 [^21]。
### 在遮挡较少的“抓取杯子”场景中，T265的平均定位误差为10.5毫米，而MINI的误差平均为15.2毫米。在“打开容器”场景中，T265的误差增大到17.7毫米，这反映出其视野受到部分阻挡，而MINI的误差则减小到11.2毫米。在“重新排列可乐瓶”场景中，由于物体被放入柜内导致严重遮挡，T265的性能进一步下降。这些发现表明，T265在近距离下极易受到严重视觉遮挡的影响。相比之下，MINI虽然精度略低，但在不同任务中表现出相对稳定的性能。
---
Fig. 8. Left: Representative GoPro frames from the FastUMI dataset, with orange labels indicating specific tasks and blue numerals showing demonstration counts. Right: Two distribution plots—the top plot depicts the proportion of various tasks in the dataset, while the bottom plot shows the distribution of manipulation skills.
(1) Open Container
(2) Open Roaster
(3) Open Drawer
(4) Open Suitcase
(5) Rearrange Coke
(9) Pick Lid
(6) Fold Towel
(7) Pick Bear
(10) Pick Pen
(8) Unplug Charger
(11) Sweep Trash
(12) Open Ricecooker
Fig. 9. Twelve tasks used for policy inference evaluation, covering a broad range of real-world manipulation challenges. These include hinged operations (Tasks 1–4), pick-and-place activities (Tasks 5–10), pick-push manipulation (Task 11), and button press actions (Task 12), providing a comprehensive benchmark for the proposed system.
在低遮挡场景下，当视觉输入基本不受阻碍时，T265的定位能力更优；而在不同程度的遮挡条件下，MINI的表现则更为稳定。我们还观察到，VIO误差通常在每条轨迹的起点和终点较低，但在中间阶段会明显增大。图11展示了T265在“抓取杯子”任务中的这一规律：当机械爪靠近桌面时，遮挡减少了可见特征，从而导致两个明显的误差峰值。在中间移动过程中，部分可见性会导致中等程度的误差，尽管仍高于起始阶段的误差。到了最后阶段，由于回到初始视角后可见特征增多，闭环机制使跟踪精度恢复到接近初始水平。
### B. 基线性能
### 我们对两种策略推理的基线方法——输出绝对关节空间结果的ACT和输出基于TCP的相对结果的DP——在12项多样化的操作任务中进行了比较研究。每项任务的训练数据是从我们的开源数据集中随机选取的200个演示样本。
---
TABLE I
ERROR ANALYSIS OF TRAJECTORIES FOR DIFFERENT TASKS (VALUES IN MM).
| Pose Tracking Module | Task | Traj 1 | Traj 2 | Traj 3 | Traj 4 | Traj 5 | Traj 6 | Traj 7 | Traj 8 | Traj 9 | Traj 10 |
| RealSense T265 | Pick Cup | 11 | 10 | 12 | 11 | 11 | 12 | 11 | 10 | 7 | 10 |
| Open Container | 19 | 16 | 18 | 17 | 19 | 17 | 17 | 17 | 18 | 19 |
| Rearrange Coke | 36 | 21 | 21 | 20 | 19 | 22 | 21 | 25 | 22 | 26 |
| RoboBaton MINI | Pick Cup | 17 | 15 | 16 | 14 | 13 | 15 | 15 | 14 | 16 | 17 |
| Open Container | 10 | 11 | 10 | 11 | 11 | 12 | 11 | 12 | 12 | 12 |
TABLE II
SUCCESS RATES FOR DP AND ACT IN DIFFERENT TASKS, SORTED BY MANIPULATION TYPE.
| Index | Task | Manipulation Type | Success Rate (%) of DP (Relative TCP) | Success Rate (%) of ACT (Absolute Joint) |
| 1 | Open Container | Hinged | 93.33 | 86.67 |
| 2 | Open Roaster | Hinged | 80.00 | 86.67 |
| 3 | Open Drawer | Hinged | 53.33 | 80.00 |
| 4 | Open Suitcase | Hinged | 40.00 | 86.67 |
| 5 | Rearrange Coke | Pick-Place | 80.00 | 86.67 |
| 6 | Fold Towel | Pick-Place | 93.33 | 73.33 |
| 7 | Pick Bear | Pick-Place | 80.00 | 20.00 |
| 8 | Unplug Charger | Pick-Place | 86.67 | 86.67 |
| 9 | Pick Lid | Pick-Place | 53.33 | 93.33 |
| 10 | Pick Pen | Pick-Place | 53.33 | 20.00 |
| 11 | Sweep Trash | Pick-Push | 46.67 | 6.67 |
| 12 | Open Ricecooker | Button Press | 20.00 | 80.00 |
Fig. 10. Left: Four reflective markers attached to the FastUMI handheld device, tracked by an optical motion-capture system for ground-truth trajectory collection. Right: Example scenarios from the "Pick Cup" task.
Fig. 11. Representative T265 VIO error over time during the "Pick Cup" task. Error peaks appear when the gripper nears the table and occludes visual features, then recover once it returns to the original viewpoint.
在这200条数据中，每50条为一组。同一组内的机械臂初始配置和环境是固定的，而目标物体的位置则在预定范围内变化。不同组之间，机械臂的初始姿态和场景布置都会发生改变。每种算法均在相同的训练数据上训练。测试时，我们使用训练集中出现过的物体姿态，但将其置于新的场景环境中。每项任务尝试15次，并记录成功率。
结果如表II所示。ACT和DP在大多数任务中均取得了较高的成功率，这表明所收集的数据集具有足够的多样性和通用性，能够支持不同的策略表示。值得注意的是，涉及大量遮挡的任务（如“重新排列可乐瓶”和“打开容器”）仍能得到有效处理，说明我们的数据收集策略对部分可见性问题是具备鲁棒性的。
在需要精确深度估计的任务中——例如“打开抽屉”、“拾取盖子”和“打开电饭煲”——基线DP算法的局限性便显现出来。尤其是“打开电饭煲”任务中的按压操作，DP算法在相对运动出现微小偏差时便无法成功按下按钮。相比之下，基线ACT算法在“打开手提箱”等任务中展现出更精准的深度推理能力，但对特定轨迹要求的敏感度较低。在“拾取玩偶”任务中，ACT偶尔会生成训练期间未出现过的关节配置（例如，当数据集主要显示TCP朝下时，ACT却产生了完全倒置的夹持器姿态），这凸显了原始ACT方法的一个已知局限——该方法通常依赖第三人称视角。
---
用于全局状态估计。类似问题也出现在“拾取笔”和“清扫垃圾”任务中，其中后者还暴露出工作空间不匹配的问题：如果训练数据中的轨迹超出了xArm的操作范围，ACT的绝对关节预测有时会得出无法到达的目标位置。相比之下，DP的增量式相对位置策略在一定程度上缓解了这一问题，不过像“清扫垃圾”这样的多步骤任务对两种模型而言仍具挑战性。
### C. 算法改进
我们在“拾取盖子”和“打开电饭煲”这两个任务上评估了算法改进效果，基线DP算法在这两类任务中的深度估计表现最差。对于ACT和DP，我们采用了与先前实验相同的训练数据和参数，并沿用相同的测试协议。
在深度增强型DP中，我们将深度信息融入原始的DP算法。如表III所示，“拾取盖子”任务的成功率提升了26.67%，“打开电饭煲”任务的成功率更是提升了73.33%。这些结果凸显了深度线索对于精确物体操控任务的重要性，尤其是那些需要精准垂直对齐或施力的任务。对于ACT算法，我们引入了Smooth-ACT和PoseACT两种变体，它们分别采用了基于GRU的时间建模，并整合了TCP（末端执行器状态）输入。如表IV所示，这两种变体相比原始ACT算法在成功率上均有显著提升。此外，我们还探索了相对TCP方法以减少对绝对坐标的依赖，旨在更稳健地捕捉轨迹的形状与动态特征。表格显示，这种改进在涉及较长或重复轨迹的任务（如“清扫垃圾”）中表现良好。然而，对于需要精确高度估计的任务（如“拾取玩偶”），去除绝对位姿信息会降低垂直定位精度，这也体现了相对坐标表示与绝对坐标表示之间的权衡。
TABLE III
COMPARISON OF SUCCESS RATES FOR DP AND DP + DEPTH IN TASKS WITH SIGNIFICANT DEPTH-ESTIMATION CHALLENGES.
| Task | Success Rate (%) of Original DP | Success Rate (%) of Depth-Enhanced DP |
| Pick Lid | 53.33% | 80.00% |
| Open Ricecooker | 20.00% | 93.33% |
TABLE IV
COMPARISON OF SUCCESS RATES FOR DIFFERENT ACT VARIANTS ACROSS REPRESENTATIVE TASKS.
| Task | Joint | TCP |
| ACT | Smooth-ACT | PoseACT\n(Absolute) | PoseACT\n(Relative) |
| Pick Bear | 20.00% | 60.00% | 80.00% | 73.33% |
| Sweep Trash | 6.67% | 26.67% | 53.33% | 60.00% |
### D. 其他因素
我们进一步研究了相机配置和训练数据量对策略推理性能的影响。表V对比了抓取放置操作和铰接操作中的不同相机设置。对于每种配置（即相机型号和镜头类型），我们在相同的场景设置下收集了50个演示样本，仅将目标物体的位置在较小范围内随机变化。所有轨迹均通过直接遥操作获得。随后，在训练时见过的物体位置上评估原始的ACT算法，但在新试验中测试，每种情况重复15次以计算成功率。值得注意的是，安装在末端执行器上的鱼眼镜头所达到的性能可与多视角设置相媲美，这可能是因为其广阔的视野能捕捉到更丰富的上下文信息，从而辅助决策制定。
接下来，为了评估训练数据量对泛化能力的影响，我们针对“拾取杯子”任务进行了实验，分别使用200、400和800个演示样本（见表VI）。在该场景中，杯子和杯垫各自被放置在五个不同的位置上，且每次放置时手柄方向各不相同，每种情况重复三次。原始的ACT模型不仅要学习位置信息，还要掌握手柄方向才能生成合适的抓取轨迹。随着数据集规模的扩大，成功率显著提升，这表明数据量的增加有助于增强模型在不同物体摆放位置和方向上的泛化能力。
TABLE V
COMPARISON OF TASK PERFORMANCE UNDER VARYING CAMERA SETUPS (LENS TYPE AND VIEWPOINT).
| D435i\n(First-Person) | GoPro with Flat Lens\n(First-Person) |
| Pick Bear | 0% | 6.67% |
| Open Container | 0% | 93.33% |
| D435i\n(First-Person&Third-person) | GoPro with Fisheye Lens\n(First-Person) |
| Pick Bear | 86.67% | 80.00% |
| Open Container | 100.00% | 100.00% |
TABLE VI
SUCCESS RATES IN THE “PICK CUP” TASK USING DIFFERENT TRAINING DATASET SIZES.
| Task | Data Size (200) | Data Size (400) | Data Size (800) |
| Pick Cup | 20.00% | 26.67% | 53.33% |
### 七、局限性
尽管FastUMI在各类任务中均能展现出有效的策略执行能力，但仍存在若干局限性：
1) 感知模态有限。FastUMI目前仅依赖视觉数据，这对于需要精确力反馈或触觉反馈的任务——比如处理易碎物体——可能并不足够。集成触觉或力传感器能够提供更丰富的环境表征，从而促进更稳健的策略学习，
---
尤其是在需要精细操作或高精度交互的任务中。
2) 机器人兼容性受限。虽然FastUMI支持单臂或双臂平台，但尚未适配更复杂的机械结构，包括需要全身控制的移动操纵器。未来的工作可以着眼于扩展硬件和软件生态系统，以支持具有更大工作空间和非固定基座的高级平台。
3) 有线数据传输。依赖有线连接限制了其便携性，也制约了在移动性或独立操作至关重要的现场应用中的使用。具备机载处理能力或无缝网络连接的无线解决方案将大大拓展FastUMI的应用范围，促进其更广泛地部署。
### 八、相关工作
### A. 数据采集方法
高质量数据是学习算法取得成功的基础[^4]。在此，我们介绍了几种数据收集系统，并将它们与我们的Fast-UMI进行比较。遥操作系统是模仿学习中最为广泛采用的数据收集方法之一。这种方法使研究人员能够直观地采集演示数据，从而建立观察到的视觉输入与相关动作之间的直接对应关系[^48]。为了构建遥操作系统，人们开发了各种控制接口，包括AR控制器[^31] [^8]、触觉控制器[^29] [^13]、3D空间鼠标[^27]，以及新近探索的领导者-跟随者系统[^42]。然而，这些系统在数据收集过程中本质上依赖于真实的机械臂。此外，硬件相关的限制往往要求对其进行修改才能实现跨平台兼容性，这大大降低了效率。相比之下，Fast-UMI仅需一个手持设备即可实现便携且灵活的数据收集。
另一种数据收集模式是采集多视角的人类演示视频。机器人可以利用对抗性学习目标[^28]、上下文注释[^37]以及混合CNN-概率解析技术[^44]，从这些录像中提取可操作的知识。这种方法无需依赖物理机器人平台，有助于构建可复用的数据集。不过，它也存在一些固有的局限性。由于动作数据是从原始视频中推断得出的，这些动作有时可能无法精确反映真实动作，进而阻碍通用策略的形成。此外，实体不匹配仍是一个长期存在的难题：数据收集领域与部署环境之间的差异可能导致策略失效[^15]。相比之下，Fast-UMI在演示过程中直接采集精确的动作信息，并通过对齐手持设备和机器人上的腕部摄像头所拍摄的视频，最大限度地减少了域偏移现象。
传感器增强型接口（即手持式夹具）为数据收集提供了一种有前景的替代方案，能够解决上述部分挑战。然而，获取精确的TCP位姿信息并非易事。现有的解决方案包括基于视频流的SLAM估计[^10]、动作捕捉系统[^40]以及基于视觉的跟踪算法[^36]。不过，这些技术往往需要大量的后期处理，或依赖固定基础设施，从而降低了整体效率。相比之下，Fast-UMI利用T265直接捕获精确的位姿数据，无需繁琐的SLAM流程或动作捕捉系统。此外，其腕部安装的GoPro摄像头能以可变帧率记录高分辨率的视觉数据，为策略学习提供丰富的观测数据集。
## B. 模仿学习
与那些严重依赖人工编程[^1]和特定任务奖励函数[^2] [^11]的方法不同，模仿学习（Imitation Learning, IL）使机器人能够通过学习专家演示来自主执行任务[^34] [^22] [^17] [^38] [^45]。近年来，随着大规模机器人操作数据集的收集[^30] [^39] [^5] [^25] [^23] [^18]，模仿学习在机器人操作领域得到了广泛应用，在各类任务中均展现出卓越的性能。根据所收集数据的类型，模仿学习算法可以利用真实机器人的演示[^49] [^19] [^35]、没有显式动作标签的基于视频的观察数据[^40] [^3]，或是从分离式手持跟踪设备获取的数据[^10] [^14] [^33]。此外，在灵巧手操作任务中，模仿学习还被拓展为从人类手部运动演示中学习[^41] [^8]。ACT算法将模仿学习应用于从机械臂采集的绝对关节位姿数据，并利用固定长度动作序列上的时间集成技术来实现平滑且自主的双臂控制[^49]。某项研究[^35]将语言模态整合到ACT算法中，通过微调视觉-语言模型来促进与双臂机器人的基于语言的交互。DP通过条件去噪过程在机器人动作空间中生成动作，具有能够表达多模态动作分布、处理高维输出空间以及训练稳定的优势[^9]。UMI证明，类似UMI的数据可有效用于训练扩散策略，并能取得令人满意的结果[^10]。在我们的研究中，我们利用通过ACT[^49]和DP[^9]采集的数据来验证系统的性能。我们进一步分析了Fast-UMI采集的数据特征，并评估其对这些算法的影响。基于这一分析，我们实施了一系列优化与调整，提升了这些算法在处理Fast-UMI数据时的性能。
### 九、结论
在本研究中，我们介绍了FastUMI——一个基于原有UMI系统重新设计的、用于简化机器人操作领域真实世界数据采集的系统。我们对硬件的改进使其能够快速部署于各类机械臂和夹爪上，无需依赖专用组件。通过用基于T265的跟踪技术取代复杂的SLAM技术，FastUMI
---
减少了校准开销，即便在存在遮挡的情况下也能保持稳健的性能。我们还开源了一个包含10,000个真实世界演示的数据集，涵盖22种日常任务。实验表明，FastUMI能够降低成本、简化部署流程，并支持大规模数据驱动的策略学习。未来的工作将侧重于整合更丰富的传感模态，并将FastUMI拓展至更复杂的平台。
### 参考文献
[^1]: Constructions Aeronautiques, Adele Howe, Craig Knoblock, ISI Drew McDermott, Ashwin Ram, Manuela Veloso, Daniel Weld, David Wilkins Sri, Anthony Barrett, Dave Christianson, et al. Pddl—the planning domain definition language. Technical Report, Tech. Rep., 1998.
[^2]: Kai Arulkumaran, Marc Peter Deisenroth, Miles Brundage, and Anil Anthony Bharath. Deep reinforcement learning: A brief survey. IEEE Signal Processing Magazine, 34(6):26–38, 2017.
[^3]: Shikhar Bahl, Abhinav Gupta, and Deepak Pathak. Human-to-robot imitation in the wild, 2022. URL .
[^4]: Suneel Belkhale, Yuchen Cui, and Dorsa Sadigh. Data Quality in Imitation Learning. In A. Oh, T. Naumann, A. Globerson, K. Saenko, M. Hardt, and S. Levine, editors, Advances in Neural Information Processing Systems, volume 36, pages 80375–80395. Curran Associates, Inc., 2023. URL .
[^5]: Anthony Brohan, Noah Brown, Justice Carbajal, Yevgen Chebotar, Joseph Dabis, Chelsea Finn, Keerthana Gopalakrishnan, Karol Hausman, Alex Herzog, Jasmine Hsu, et al. Rt-1: Robotics transformer for real-world control at scale. arXiv preprint arXiv:2212.06817, 2022.
[^6]: Serkan Cabi, Sergio Gómez Colmenarejo, Alexander Novikov, Ksenia Konyushkova, Scott Reed, Rae Jeong, Konrad Zolna, Yusuf Aytar, David Budden, Mel Vecerik, Oleg Sushkov, David Barker, Jonathan Scholz, Misha Denil, Nando de Freitas, and Ziyu Wang. Scaling data-driven robotics with reward sketching and batch reinforcement learning, 2020. URL .
[^7]: Carlos Campos, Richard Elvira, Juan J Gómez Rodríguez, José MM Montiel, and Juan D Tardós. Orb-slam3: An accurate open-source library for visual, visual-inertial, and multimap slam. IEEE Transactions on Robotics, 37(6):1874–1890, 2021.
[^8]: Sirui Chen, Chen Wang, Kaden Nguyen, Li Fei-Fei, and C Karen Liu. Arcap: Collecting high-quality human demonstrations for robot learning with augmented reality feedback. arXiv preprint arXiv:2410.08464, 2024.
[^9]: Cheng Chi, Zhenjia Xu, Siyuan Feng, Eric Cousineau, Yilun Du, Benjamin Burchfiel, Russ Tedrake, and Shuran Song. Diffusion policy: Visuomotor policy learning via
动作扩散。《国际机器人研究杂志》，第02783649241273668页，2023年。
[^10]: Cheng Chi, Zhenjia Xu, Chuer Pan, Eric Cousineau, Benjamin Burchfiel, Siyuan Feng, Russ Tedrake, and Shuran Song. Universal manipulation interface: In-the-wild robot teaching without in-the-wild robots. arXiv preprint arXiv:2402.10329, 2024.
[^11]: Christian Daniel, Malte Viering, Jan Metz, Oliver Kroemer, and Jan Peters. Active reward learning. In Robotics: Science and systems, volume 98, 2014.
[^12]: Rahul Dey and Fathi M Salem. Gate-variants of gated recurrent unit (gru) neural networks. In 2017 IEEE 60th international midwest symposium on circuits and systems (MWSCAS), pages 1597–1600. IEEE, 2017.
[^13]: Runyu Ding, Yuzhe Qin, Jiyue Zhu, Chengzhe Jia, Shiqi Yang, Ruihan Yang, Xiaojuan Qi, and Xiaolong Wang. Bunny-VisionPro: Real-Time Bimanual Dexterous Teleoperation for Imitation Learning, July 2024. URL . arXiv:2407.03162 [cs].
[^14]: Kiran Doshi, Yijiang Huang, and Stelian Coros. On hand-held grippers and the morphological gap in human manipulation demonstration. arXiv preprint arXiv:2311.01832, 2023.
[^15]: Chrisantus Eze and Christopher Crick. Learning by Watching: A Review of Video-based Learning Approaches for Robot Manipulation, September 2024. URL . arXiv:2402.07127 [cs].
[^16]: Wen Fan, Xiaoqing Guo, Enyang Feng, Jialin Lin, Yuanyi Wang, Jiaming Liang, Martin Garrad, Jonathan Rossiter, Zhengyou Zhang, Nathan Lepora, Lei Wei, and Dandan Zhang. Digital twin-driven mixed reality framework for immersive teleoperation with haptic rendering. IEEE Robotics and Automation Letters, 8(12):8494–8501, 2023. doi: 10.1109/LRA.2023.3325784.
[^17]: Bin Fang, Shidong Jia, Di Guo, Muhua Xu, Shuhuan Wen, and Fuchun Sun. Survey of imitation learning for robotic manipulation. International Journal of Intelligent Robotics and Applications, 3:362–369, 2019.
[^18]: Hao-Shu Fang, Hongjie Fang, Zhenyu Tang, Jirong Liu, Chenxi Wang, Junbo Wang, Haoyi Zhu, and Cewu Lu. Rh20t: A comprehensive robotic dataset for learning diverse skills in one-shot. In 2024 IEEE International Conference on Robotics and Automation (ICRA), pages 653–660. IEEE, 2024.
[^19]: Zipeng Fu, Tony Z Zhao, and Chelsea Finn. Mobile aloha: Learning bimanual mobile manipulation with low-cost whole-body teleoperation. arXiv preprint arXiv:2401.02117, 2024.
[^20]: S. Garrido-Jurado, R. Muñoz-Salinas, F.J. Madrid-Cuevas, and M.J. Marín-Jiménez. Automatic generation and detection of highly reliable fiducial markers under occlusion. Pattern Recognition, 47(6):2280–2292, 2014. ISSN 0031-3203. doi: . URL .
## [^21]: Michael Grupp. evo: Python package for the evaluation
---
关于里程计与SLAM的内容。，2017年。
[^22]: Ahmed Hussein, Mohamed Medhat Gaber, Eyad Elyan, and Chrisina Jayne. Imitation learning: A survey of learning methods. ACM Computing Surveys (CSUR), 50(2):1–35, 2017.
[^23]: Dmitry Kalashnikov, Alex Irpan, Peter Pastor, Julian Ibarz, Alexander Herzog, Eric Jang, Deirdre Quillen, Ethan Holly, Mrinal Kalakrishnan, Vincent Vanhoucke, et al. Scalable deep reinforcement learning for vision-based robotic manipulation. In Conference on robot learning, pages 651–673. PMLR, 2018.
[^24]: Tsung-Wei Ke, Nikolaos Gkanatsios, and Katerina Fragkiadaki. 3d diffuser actor: Policy diffusion with 3d scene representations. arXiv preprint arXiv:2402.10885, 2024.
[^25]: Alexander Khazatsky, Karl Pertsch, Suraj Nair, Ashwin Balakrishna, Sudeep Dasari, Siddharth Karamcheti, Soroush Nasiriany, Mohan Kumar Srirama, Lawrence Yunliang Chen, Kirsty Ellis, et al. Droid: A large-scale in-the-wild robot manipulation dataset. arXiv preprint arXiv:2403.12945, 2024.
[^26]: Sergey Levine, Peter Pastor, Alex Krizhevsky, and Deirdre Quillen. Learning hand-eye coordination for robotic grasping with deep learning and large-scale data collection, 2016. URL .
[^27]: Huihan Liu, Soroush Nasiriany, Lance Zhang, Zhiyao Bao, and Yuke Zhu. Robot learning on the job: Human-in-the-loop autonomy and learning during deployment. The International Journal of Robotics Research, page 02783649241273901, October 2024. ISSN 0278-3649. doi: 10.1177/02783649241273901. URL . Publisher: SAGE Publications Ltd STM.
[^28]: Oier Mees, Markus Merklinger, Gabriel Kalweit, and Wolfram Burgard. Adversarial Skill Networks: Unsupervised Robot Skill Learning from Video. In 2020 IEEE International Conference on Robotics and Automation (ICRA), pages 4188–4194, May 2020. doi: 10.1109/ICRA40945.2020.9196582. URL . ISSN: 2577-087X.
[^29]: Parker Owan, Joseph Garbini, and Santosh Devasia. Faster Confined Space Manufacturing Teleoperation Through Dynamic Autonomy With Task Dynamics Imitation Learning. IEEE Robotics and Automation Letters, 5(2):2357–2364, April 2020. ISSN 2377-3766. doi:10.1109/LRA.2020.2970653. URL . Conference Name: IEEE Robotics and Automation Letters.
[^30]: Abby O’Neill, Abdul Rehman, Abhiram Maddukuri, Abhishek Gupta, Abhishek Padalkar, Abraham Lee, Acorn Pooley, Agrim Gupta, Ajay Mandlekar, Ajinkya Jain, et al. Open x-embodiment: Robotic learning datasets and rt-x models: Open x-embodiment collaboration 0. In 2024 IEEE International Conference on Robotics and Automation (ICRA), pages 6892–6903. IEEE, 2024.
[^31]: Younghyo Park, Jagdeep Singh Bhatia, Lars Ankile, and Pulkit Agrawal. DexHub and DART: Towards Internet Scale Robot Data Collection, November 2024. URL . arXiv:2411.02214 [cs].
[^32]: Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, et al. Learning transferable visual models from natural language supervision. In International conference on machine learning, pages 8748–8763. PMLR, 2021.
[^33]: Felipe Sanches, Geng Gao, Nathan Elangovan, Ricardo V Godoy, Jayden Chapman, Ke Wang, Patrick Jarvis, and Minas Liarokapis. Scalable. intuitive human to robot skill transfer with wearable human machine interfaces: On complex, dexterous tasks. In 2023 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pages 6318–6325. IEEE, 2023.
[^34]: Stefan Schaal. Is imitation learning the route to humanoid robots? Trends in cognitive sciences, 3(6):233–242, 1999.
[^35]: Lucy Xiaoyang Shi, Zheyuan Hu, Tony Z Zhao, Archit Sharma, Karl Pertsch, Jianlan Luo, Sergey Levine, and Chelsea Finn. Yell at your robot: Improving on-the-fly from language corrections. arXiv preprint arXiv:2403.12910, 2024.
[^36]: Shuran Song, Andy Zeng, Johnny Lee, and Thomas Funkhouser. Grasping in the Wild: Learning 6DoF Closed-Loop Grasping From Low-Cost Demonstrations. IEEE Robotics and Automation Letters, 5(3):4978–4985, July 2020. ISSN 2377-3766. doi: 10.1109/LRA.2020.3004787. URL . Conference Name: IEEE Robotics and Automation Letters.
[^37]: Sumedh Sontakke, Jesse Zhang, Séb Arnold, Karl Pertsch, Erdem B1 y1 k, Dorsa Sadigh, Chelsea Finn, and Laurent Itti. RoboCLIP: One Demonstration is Enough to Learn Robot Policies. In A. Oh, T. Naumann, A. Globerson, K. Saenko, M. Hardt, and S. Levine, editors, Advances in Neural Information Processing Systems, volume 36, pages 55681–55693. Curran Associates, Inc., 2023. URL .
[^38]: Simon Stepputtis, Joseph Campbell, Mariano Phielipp, Stefan Lee, Chitta Baral, and Heni Ben Amor. Language-conditioned imitation learning for robot manipulation tasks. Advances in Neural Information Processing Systems, 33:13139–13150, 2020.
[^39]: Homer Rich Walke, Kevin Black, Tony Z Zhao, Quan Vuong, Chongyi Zheng, Philippe Hansen-Estruch, Andre Wang He, Vivek Myers, Moo Jin Kim, Max Du, et al. Bridgedata v2: A dataset for robot learning at scale. In Conference on Robot Learning, pages 1723–1736. PMLR, 2023.
## [^40]: Chen Wang, Linxi Fan, Jiankai Sun, Ruohan Zhang, Li Fei-Fei, Danfei Xu, Yuke Zhu, and Anima Anand
---
Kumar. Mimicplay：通过观看人类操作进行长时域模仿学习，2023年。URL 。
[^41]: Chen Wang, Haochen Shi, Weizhuo Wang, Ruohan Zhang, Li Fei-Fei, and C Karen Liu. Dexcap: Scalable and portable mocap data collection system for dexterous manipulation. arXiv preprint arXiv:2403.07788, 2024.
[^42]: Philipp Wu, Yide Shentui, Zhongke Yi, Xingyu Lin, and Pieter Abbeel. Gello: A general, low-cost, and intuitive teleoperation framework for robot manipulators. In 2024 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pages 12156–12163. IEEE, 2024.
[^43]: Lihe Yang, Bingyi Kang, Zilong Huang, Zhen Zhao, Xiaogang Xu, Jiashi Feng, and Hengshuang Zhao. Depth anything v2, 2024. URL .
[^44]: Yezhou Yang, Yi Li, Cornelia Fermuller, and Yiannis Aloimonos. Robot Learning Manipulation Action Plans by "Watching" Unconstrained Videos from the World Wide Web. Proceedings of the AAAI Conference on Artificial Intelligence, 29(1), March 2015. ISSN 2374-3468. doi: 10.1609/aaai.v29i1.9671. URL . Number: 1.
[^45]: Maryam Zare, Parham M Kebria, Abbas Khosravi, and Saeid Nahavandi. A survey of imitation learning: Algorithms, recent developments, and challenges. IEEE Transactions on Cybernetics, 2024.
[^46]: Yanjie Ze, Gu Zhang, Kangning Zhang, Chenyuan Hu, Muhan Wang, and Huazhe Xu. 3d diffusion policy. arXiv preprint arXiv:2403.03954, 2024.
[^47]: Dandan Zhang, Ziniu Wu, Jin Zheng, Yifan Li, Zheng Dong, and Jialin Lin. Hubotverse: Toward internet of human and intelligent robotic things with a digital twin-based mixed reality framework. IEEE Robotics Automation Magazine, pages 2–12, 2024. doi: 10.1109/MRA.2024.3417090.
[^48]: Tianhao Zhang, Zoe McCarthy, Owen Jow, Dennis Lee, Xi Chen, Ken Goldberg, and Pieter Abbeel. Deep imitation learning for complex manipulation tasks from virtual reality teleoperation, 2018. URL .
[^49]: Tony Z Zhao, Vikash Kumar, Sergey Levine, and Chelsea Finn. Learning fine-grained bimanual manipulation with low-cost hardware. arXiv preprint arXiv:2304.13705, 2023.
[^50]: Zhaxizhuoma, Pengan Chen, Ziniu Wu, Jiawei Sun, Dong Wang, Peng Zhou, Nieqing Cao, Yan Ding, Bin Zhao, and Xuelong Li. Alignbot: Aligning vlm-powered customized task planning with user reminders through fine-tuning for household robots, 2024. URL .
[^51]: Yifeng Zhu, Abhishek Joshi, Peter Stone, and Yuke Zhu. Viola: Imitation learning for vision-based manipulation with object proposal priors. In Conference on Robot Learning, pages 1199–1210. PMLR, 2023.
### A. RealSense T265与RoboBaton MINI对比
We compare the main parameters between T265 and MINI. TABLE VII DEVICE SPECIFICATIONS COMPARISON
| T265 | MINI |
| Output Frequency (Hz) | 200 | 20 |
| Accuracy (mm) | 10 | 10 |
| FOV | 163°(D) | 164.7°(D) |
| 164.7°(H) |
| 123.8°(V) |
| Resolution | 848×800 | 640×480 |
| Weight (g) | 55 | 68 |
| Dimensions (mm) | 108×24.5×12.5 | 101.6×32.25×17.70 |
| SDK | Windows/Linux | Windows/Linux |
| ROS1 | HTTP/ROS2 |
Fig. 12. The RoboBaton MINI product image.
### B. FastUMI数据集
我们的数据集包含来自22项日常任务的超过10000个演示样本。该数据集被拆分成了多个小文件。用户下载后需要合并这些文件才能还原原始数据集。每个文件的命名与其对应的任务名称一致，且每个文件包含的HDF5文件数量不超过50个。每个HDF5文件对应一个 episode，其中封装了观测数据与动作信息。以下是HDF5文件的层级结构：
episode_.hdf5
|-- observations/
| |-- images/
| | `-- （数据集）
| `-- qpos（数据集）
|-- action（数据集）
'-- attributes/
'-- sim = False
变量“sim”用于标识数据是在仿真环境（True）中记录的还是真实世界（False）中记录的。“images”存储的是来自摄像头的图像数据，数据类型为uint8，其形状为（num_frames, height=1920, width=1080, channels=3）。“qpos”存储的是每个时间步的位置与姿态数据。
---
其形状为（num_timesteps, 7），其中7个列分别对应[Pos X、Pos Y、Pos Z、Q_X、Q_Y、Q_Z、Q_W]。“actions”存储的是每个时间步对应的动作数据。在本脚本中，动作数据与qpos数据保持一致。