Fig. 1: EgoKit-PICO use case. EgoKit provides a unified egocentric data collection workflow across six types of devices—PICO 4 Ultra (EgoKit-PICO), Apple Vision Pro (EgoKit-AVP), Project Aria (EgoKit-Aria), iPhone (EgoKit-iOS), Android (EgoKit-Android), and Meta Quest 3 (EgoKit-Quest)—to capture ego-view and wrist-view video with off-the-shelf low-cost accessories. On headsets, such as PICO 4 Ultra and Meta Quest 3, it additionally logs 6 DoF head tracking and OpenXR standard 26-joint hand tracking data.
摘要—第一人称视频正日益被用作机器人学习、活动理解与具身人工智能研究的数据源，但大规模采集这类数据在实践中仍面临碎片化问题：每种候选宿主设备，比如安卓手机、iPhone、iPad、智能眼镜或扩展现实（XR）头显，都采用不同的软件开发工具包，对原始摄像头访问的规则也不同，且在外部USB摄像头及设备端追踪功能上存在各自的限制。因此，同步采集第一视角与手腕视角的画面，要么需要依赖单一专有平台，要么得搭建无法跨设备使用的定制装置。为填补这一空白，我们推出了EgoKit工具包，它能在六种异构宿主设备上实现统一的第一人称录制流程。在所有受支持的设备上，EgoKit都提供相同的录制交互方式，且生成的本地存储视频具有统一的日志格式；在XR头显上，它还能记录头部姿态以及与视频流对齐的OpenXR标准26关节手部追踪数据。配套的配件包括两个带支架的手腕摄像头、头带和USB-C集线器，无需定制硬件即可为任何受支持的宿主设备增添手腕视角采集功能。EgoKit可在Fig. 2: Devices supported by EgoKit. From left to right: Samsung Galaxy S23, iPhone 16 Pro, iPad Pro 2018, Project Aria (Gen 1), PICO 4 Ultra, Meta Quest 3, and Apple Vision Pro.
这些平台各有自己的软件开发工具包、原始摄像头访问规则，以及外部USB摄像头和设备端追踪功能的限制，没有能覆盖所有平台的统一工作流程。
已有多项研究尝试解决部分相关问题。EgoVerse基于手机的方案[^1]利用头戴式绑带和iPhone实现1080p超广角视角的第一人称视频采集，并在服务器端重建头部与手部姿态，从而降低了仅用单一设备进行第一人称视频录制的技术门槛；但该方案并未涉及手腕视角采集、设备上实时追踪功能，也不支持iPhone之外的其他主机设备。像Project Aria这样的研究级平台[^2]能够输出高质量的带有校准后的头部与手部信号的第一人称视频流，但其硬件并未广泛普及，且本身也仅能作为单一设备使用。GenRobot DAS Ego[^3]、Sunday's Skill Capture Glove[^4]、PiKa[^5]以及Lumos的FastUMI Ego[^6]等商用数据收集产品将第一人称视角与手腕视角采集功能集成到一体化套件中，但每款产品都依赖其专属的硬件架构，无法兼容任意主机设备。在远程操作领域，XRoboToolkit[^7]证明了基于OpenXR的抽象层能够将来自PICO 4 Ultra和Meta Quest 3的头部、控制器及手部数据流统一到一个通用接口中；不过该研究旨在实现机器人控制而非数据收集，且并未拓展到手机或智能眼镜设备。目前所欠缺的是一套录制端解决方案：即一种能覆盖手机、平板电脑、智能眼镜及XR头显设备、将手腕视角作为核心信号予以支持，且能在大多数团队现有硬件上运行的统一工作流程。
我们推出的EgoKit工具包填补了这一空白，它能在六种异构主机设备上提供统一的第一人称视频录制工作流程：包括安卓手机、iPhone、Project Aria眼镜、Apple Vision Pro、Meta Quest 3以及PICO 4 Ultra；如图2所示，iPad还可作为手腕视角录制设备被支持。EgoKit并未选择设计新硬件，而是将每台设备视为主机，并为不同平台开发了相应的应用程序来实现共享的录制流程：操作员在每台设备上触发录制的操作方式完全一致，每次会话生成的本地存储视频均采用统一的日志格式；在支持该功能的XR头显设备上，系统还会记录头部姿态及26个关节点的手部追踪数据，并将其与视频流对齐。要为上述任何主机设备添加手腕视角采集功能，EgoKit会将软件与完全由现成零部件制成的消费级配件搭配使用：包括两个带支架的USB手腕摄像头、头戴式绑带以及一个USB-C集线器。这些配件成本约为151美元，无需定制加工，且能适配所有受支持的设备。凭借这些设计思路，团队即可使用统一的操作流程，在任何受支持的主机上采集同步的第一人称视角与手腕视角数据，而无需局限于某一厂商的硬件生态。
本研究的贡献如下：
- 一系列应用程序。我们发布了EgoKit-Android、EgoKit-iOS、EgoKit-iPad、EgoKit-Aria、EgoKit-AVP、EgoKit-Quest和EgoKit-PICO，它们为所有受支持的设备提供了统一的第一人称视频录制工作流程；在XR头显设备上，还能记录头部追踪数据以及符合OpenXR标准的26个关节点手部追踪数据。
- 跨平台的配件配置方案。这些配件由低成本的现成消费级零部件制成，无需定制硬件，即可为上述任何主机设备扩展双摄像头手腕视角采集功能。
- 完整的平台级限制清单。我们明确了各平台上实际存在的操作系统层面及SDK层面的限制，涵盖原始摄像头访问策略、外部USB摄像头支持情况、追踪API可用性以及授权要求等内容。
- 针对各设备的测量数据及选型指南。我们报告了在各设备上测得的视频与跟踪特性，并据此为团队选择用于自身第一人称拍摄流程的硬件提供实用指导。
### 2. 相关工作
#### 2.1. 用于操作任务的第一人称数据
仿真技术能够在不进行物理部署的情况下保留交互式监督：Lucid-XR在XR头显中运行MuJoco类物理引擎，并将运动轨迹与可通过语言控制的视觉增强功能相结合，从而生成可跨不同实体移植的以末端执行器为中心的数据 [^8]。在另一极端，DemoBot表明：当把密集的手部-物体估计视为残差强化学习的运动先验而非单纯的模仿对象时，单个第三人称RGB-D视频片段就能催生出富含接触信息的双臂操作技能 [^9]。介于这两者之间的是一大类方法。
---
Fig. 3: Examples of industry products for egocentric and/or wrist video data collection. Images are courtesy of the official product trailers.
这类方法从以人为中心的视频中训练视觉-语言-动作模型：EgoVLA根据第一人称画面和语言预测手腕及MANO参数化的手部运动，再通过逆运动学和动作映射技术将其应用于机器人 [^10]；VITRA利用基于重建的3D手部模型、基于运动的分割技术和语言标注，将自然场景中的视频自动转化为短时长的VLA训练片段 [^11]；CLAP将视频过渡与基于真实机器人轨迹的离散编码对齐，确保潜在的“动作”仍具备可执行性 [^12]；InternVLA-A1将机器人轨迹、仿真数据和人类视频整合到统一的理解-生成-动作架构中 [^13]；EgoScale在预训练阶段扩展第一人称数据的应用范围，并在训练中途加入小型的人机配对感知数据集进行对齐 [^14]；EgoHumanoid则针对便携式第一人称拍摄设备采集的数据以及有限的机器人遥操作数据，开展全身运动操控相关研究 [^15]。视频-动作建模和世界模型理论指出，动态特性不应仅从静态VLM中学习：mimic-video将基于流的逆动力学解码器与预训练视频骨干网络生成的潜在规划相绑定 [^16]；DexWM根据来自第一人称人类视频和非灵巧机器人片段的关键点差异动作来预测潜在未来状态 [^17]；DreamDojo在适配机器人控制之前，会先利用数万小时的第一人称视频数据进行含连续潜在动作的预训练 [^18]。合成场景生成技术（SAGE）通过生成符合仿真器要求的3D布局和指导策略来补充第一人称视频数据，无需人工录制 [^19]。表1中的对应行汇总了这些研究项目的感知模态和明确的数据采集理念。
#### 2.2. 用于人形机器人及全身控制的第一人称数据
全身与移动场景会同时提升自我感知的价值与难度：HoMMI通过头戴式摄像头和商用设备提供的全局姿态来增强手持操作界面，再通过体现身体特征的视觉反馈与宽松的视线指令来实现控制[^20]；HumDex则采用基于惯性测量单元的密集人体追踪技术以及经过训练的手部重定向算法，用于人形机器人的遥操作，也可进行人机预训练[^21]；ActiveGlasses通过眼镜记录立体自我视频和头部运动数据，并部署以物体为中心的控制策略，搭配可移动的“主动”摄像臂[^22]；MTC采用基于虚拟现实的方式收集全身运动数据，记录操作员在做出避障决策时所看到的自我视频，以及从沉浸式虚拟现实中重定向得到的全身运动轨迹[^23]。灵巧硬件的异质性促使人们制定通用的手部URDF模型与共享动作空间，以实现跨手型训练[^24]；而OmniXtreme则通过生成式预训练结合执行感知优化来解决可扩展的人形机器人动态追踪问题[^25]。当真实接触数据稀缺时，UltraDexGrasp提供了大规模纯合成的双臂抓取数据集[^26]；OmniStream则致力于打造统一的流式视觉骨干网络，以支持后续的视觉语言任务与控制应用[^27]。单目鱼眼相机获取的自我中心全身姿态，仍可作为无手套捕捉的上游感知基础[^28]。mimic-one是通过手套或头戴设备驱动的遥操作方式，在定制手上实现高保真机器人侧灵巧动作记录的典型代表[^29]。这些内容对应表1中的运动、遥操作与表征相关行。
#### 2.3. 自我中心与具身数据集
公开数据集在锚点缩放方面的成果与评估：EgoLive发布了高分辨率的长时立体自拍视频，配有丰富的几何与语义标注，可用于面向操作的任务[^31]；HumanNet则提供了一个时长达一百万小时、涵盖第一人称和第三人称视角的人为中心视频数据集，该数据集采用系统化的筛选机制，并包含以交互为中心的标注（字幕、动作描述、手部及身体信号），能够为具身智能体提供具备动作感知与交互感知能力的预训练数据[^32]；EgoVerse采取了一种与众不同的策略，即打造一个持续扩展、规模堪比联盟的“动态数据集”，而非静态发布版本；它汇总了来自学术实验室（Project Aria、EgoVerse-A）、行业合作伙伴（定制设备、EgoVerse-I）以及面向大众的手机拍摄工具所产生的1,362小时以自我为中心的数据，涵盖1,965个任务、240个场景以及2,087名演示者；所有数据通过EgoDB云系统被统一为包含3D手部姿态、头部姿态及语言标注的片段，并通过在三种机器人平台上的跨实验室人机迁移研究对其进行了验证[^1]；HOT3D提供了来自Project Aria和Quest 3的多视角自拍流，在受控拍摄条件下具备精准的手部与物体对应关系标注[^33]；Assembly101则融合了静态与自我视角，记录了漫长的装配过程，并附有密集的时间戳标签[^34]。Open X-Embodiment汇集了来自多个平台的超过一百万条真实机器人运动轨迹，用于跨具身策略研究[^37]。诸如EgoDex[^35]、Harmony4D[^38]、Gen2 Pilot[^36]等社区平台也发挥了重要作用。
---
| Work | Data Type | Hardware / Sensors | Main Contribution / Collection Method |
| HoMMI [^20] | Whole-body mobile manipulation | UMI gripper + iPhone head camera | Captures coordinated locomotion and manipulation demonstrations with global head pose. |
| HumDex [^21] | Humanoid dexterous manipulation | IMU suits + learned hand retargeting | Simplified humanoid teleoperation pipeline with optional human pretraining. |
| ActiveGlasses [^22] | Egocentric manipulation demonstrations | XREAL smart glasses + ZED stereo | Stereo egocentric video and head motion capture with an active-vision camera arm. |
| HOCap [^30] | Hand-object capture | Wearable cameras + external tracking | Capture system producing dense 3D hand-object interaction annotations. |
| EgoLive [^31] | Large-scale egocentric dataset | Wearable first-person cameras | 1,680 h stereo ego @ 60 FPS; real-world human task routines. |
| EgoVerse [^1] | Consortium-scale egocentric demonstrations | Project Aria (academic), custom rigs (industry), head-strapped iPhone (community) | 1,362 h, 1,965 tasks, 240 scenes, 2,087 demonstrators; unified 3D hand and head poses via EgoDB; cross-lab human-to-robot transfer study on three robots. |
| HumanNet [^32] | First- and third-person human-centric video | Internet-sourced video; no bespoke capture rig | 1M-hour corpus with systematic curation and interaction-centric annotations (captions, motion descriptions, hand/body signals) for embodied pretraining. |
| EgoScale [^14] | Wild egocentric manipulation video | Curated wild ego video; aligned Vive + Manus + R1Pro | 20 k h wild ego corpus with a two-stage human pretrain plus aligned mid-train methodology. |
| HOT3D [^33] | 3D hand-object interaction | Project Aria + Quest 3 | Multi-view egocentric RGB, depth, IMU, eye tracking, and hand-object ground truth. |
| Assembly101 [^34] | Assembly task dataset | 8 static + 4 ego cameras | 4,321 sequences over 101 toy assemblies; long procedural activities with dense temporal labels. |
| EgoDex [^35] | Egocentric dexterous manipulation | Wearable cameras | Dexterous hand-object interaction dataset from first-person views. |
| Gen2 Pilot [^36] | Embodied AI dataset | Project Aria Gen 2 sensors | Egocentric demonstrations with spatial tracking and multimodal sensing. |
| UltraDexGrasp [^26] | Synthetic bimanual grasp data | Simulation | Large-scale synthetic bimanual dexterous grasping corpus. |
HOCap [^30] 和 Meta 的 UmeTrack [^39] 拓宽了手部姿态、试点环境以及跟踪工具的覆盖范围；在合并不同数据子集之前，读者应核实相关许可情况及任务重叠程度。表1中的数据集行与此小节内容相对应。
#### 2.4. 硬件与采集平台
商用硬件降低了以自我为中心的数据采集门槛，例如GenRobot的DAS Ego（图3(1)）[^3]、Sunday的Skill Capture手套（图3(2)）[^4]、PiKa的设备（图3(3)）[^5]以及Lumos的FastUMI Ego（图3(4)）[^6]。
EgoVerse基于手机的采集方案是一个密切相关的参考案例：将iPhone固定在头部以录制1080p/30fps的超广角自我视角视频，通过云端视觉追踪还原6自由度头部姿态，手部姿态则由服务器端估算出21个关键点[^1]。EgoKit同样支持单设备仅采集自我视角数据的场景，此外还支持腕部摄像头以及XR头显上的本地头部/手部追踪功能，兼容的设备范围也扩展到了安卓手机、iPad、智能眼镜、Apple Vision Pro、Meta Quest 3和PICO 4 Ultra。这些平台并非用来替代数据集相关论文，而是用于阐明在实际试点项目中如何获取监督数据；表1汇总了具有代表性的硬件与采集流程，便于快速对比。若要从概念层面梳理迁移机制与数据集的发展趋势，Ma等人的综述[^40]仍是最全面的参考资料。
### 3. EgoKit工具包
#### 3.1. 概述
各设备的用户界面如图4所示，标签会标明项目名称。图4(1)是运行在iPhone上的界面，图4(2)是运行在安卓手机上的界面。图4(1)仅通过头戴装置采集自我视角画面，图4(2)则是用于采集腕部视角的对应界面。图4(3)是运行在安卓手机上的应用程序，可独立工作。
---
Fig. 4: User Interface of the EgoKit family. Please refer to Section 3.1 for their explanations.
图4(4)是运行在安卓手机上用于采集腕部视角的应用程序，而自我视角画面则来自连接并由该安卓手机控制的Project Aria眼镜。图4(5)是运行在iPad上用于采集腕部视角的界面，可由图4(1)控制。图4(6)展示的是Apple Vision Pro上的界面。尽管该设备支持两个腕部摄像头，但受限于Apple Vision Pro无法同时录制两个USB摄像头的特性，目前仅连接并预览一个摄像头，且由于原始摄像头访问需要特定权限，自我视角录制被替换为内部视图录制。开始录制时界面会消失，按下数码表冠按钮后录制停止，界面便会重新出现。图4(7)是运行在Meta Quest 3头显上的界面，三个预览窗口分别显示自我视角、腕部视角以及手部模型。按下音量+键开始录制时，摄像头预览和手部模型会消失，按下音量-键停止录制时它们又会重新出现。图4(8)是运行在PICO 4 Ultra头显上的界面，会显示自我视角、两个腕部视角以及手部骨骼模型。按下音量+键开始录制时它们会消失，按下音量-键停止录制时又会重新出现。触发停止录制操作后，视频会自动保存。
简单一致的交互方式。主要交互操作
#### 3.2. 设计选择
我们旨在为以自我为中心的数据采集设计一个统一的接口。同时，必须考虑到不同设备之间的能力差异。例如，Android平台比iOS平台开放得多，而头戴式设备相比手机能提供更多功能，比如手部追踪。此外，各SDK之间的差异也会带来额外限制；比如EgoKit支持的智能眼镜就没有对应的移动端SDK。这种交互方式对于数据采集操作员来说也应足够简单直观。在此语境下，主机设备指的是运行应用程序的设备，可以是手机或头戴式设备。
TABLE 2: Devices used to run the EgoKit applications.
TABLE 3: Accessories used for wrist view recording.