{
  "paper_id": "7f5e272e4c34e7118072f43b3add24d0",
  "paper_title": "EgoKit: Towards Unified Low-Cost Egocentric Data Collection with Heterogeneous Devices",
  "paper_authors": [
    "Liuchuan Yu",
    "Erdem Murat",
    "Beichen Wang",
    "Yan Zeng",
    "Tingting Luo",
    "Huizhen Zhou",
    "Shanghao Li",
    "Huining Feng",
    "Zhigen Zhao",
    "Ning Yang",
    "Ke Jing",
    "Yunhao Liu",
    "Ruoya Sheng"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "Egocentric video is increasingly used as a data source for robot learning, activity understanding, and embodied AI research, but collecting it at scale remains fragmented in practice: each candidate host device, such as an Android phone, iPhone, iPad, smart glasses, or extended reality (XR) headset, exposes a different SDK, a different policy on raw camera access, and different limitations on external USB cameras and on-device tracking. Synchronized ego-view and wrist-view capture is therefore typically obtained by either committing to a single proprietary platform or building one-off rigs that do not transfer across devices. To address this gap, we present EgoKit, a toolkit that exposes the same egocentric recording workflow across six heterogeneous host devices. Across all supported devices, EgoKit presents the same recording interaction and produces locally stored video with a uniform log format; on XR headsets, it additionally logs head pose and OpenXR-standard 26-joint hand tracking aligned to the video streams. The companion accessories, including two wrist cameras with mounts, a head strap, and a USB-C hub, add wrist-view capture to any supported host without custom hardware fabrication. EgoKit is available at <https://egokit.chuange.org/>.\n",
  "keywords": [
    "第一视角视频",
    "数据收集",
    "异构设备",
    "机器人学习",
    "具身AI",
    "XR头显",
    "手部跟踪",
    "腕部视角",
    "跨平台工具包",
    "低成本硬件"
  ],
  "paper_institutions": [],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:39:44.751437Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文针对第一视角视频在机器人学习、活动理解和具身AI研究中大规模采集时面临的碎片化问题——不同主机设备（Android手机、iPhone、iPad、智能眼镜、XR头显）具有不同的SDK、原始摄像头访问策略、外部USB摄像头限制和设备端跟踪能力，导致同步的自我视角与腕部视角采集通常只能绑定单一专有平台或构建无法跨设备迁移的临时装置——提出了EgoKit工具包。该工具包通过为每个平台提供实现共享记录工作流的应用程序，在Android手机、iPhone、Project Aria眼镜、Apple Vision Pro、Meta Quest 3和PICO 4 Ultra六种异构主机设备上提供统一的记录交互，每次会话生成本地存储的视频和统一日志格式，在XR头显上额外记录与视频流对齐的头部姿态和OpenXR标准26关节手部跟踪数据。配套配件包括两个带支架的USB腕部摄像头、一个头带和一个USB-C集线器，全部采用现成消费级部件，总成本约151美元，无需定制硬件制造。研究在七款具体设备上进行了实现和测量，包括Samsung Galaxy S23（Android 15）、iPhone 16 Pro（iOS 26.4.2）、iPad Pro 2018（iPadOS 18.7.1）、Project Aria Gen 1、Apple Vision Pro（visionOS 26.3）、Meta Quest 3（Horizon OS 85.0）和PICO 4 Ultra（PICO OS 5.15.4.U），选择这些设备覆盖了从手机、平板、智能眼镜到XR头显的广泛硬件类型，验证了统一工作流在不同平台约束下的可行性。通过测量各设备的视频分辨率、帧率、比特率以及跟踪能力，结果显示XR头显提供最完整的第一视角捕获范围，其中PICO 4 Ultra实际限制最少，自我视角可达1280×960@89.31fps并支持头部和手部跟踪，而Apple Vision Pro因企业API权限要求和不支持双USB摄像头同时录制而适用性受限。核心机制可概括为“统一交互层+平台适配层+硬件编码层”：Volume+/-键在所有设备上映射为开始/停止记录，视频采用H.264/HEVC硬件编码，元数据和姿态数据以纯文本存储以保证跨平台兼容性。未来探索方向包括在EgoKit采集的大规模数据集上微调VLA模型或世界模型以验证可用性、改进精确时间同步、设计支持供电的USB-C集线器以适应工厂长时间录制、采用鱼眼摄像头和定制紧凑支架改善腕部视角、以及集成语音交互和实时数据质量评估。该工具包适用于需要低成本、跨平台、可扩展第一视角操作演示数据采集的机器人学习和具身AI研究场景，但受限于各平台的OS级和SDK级约束，如iOS不支持外部USB摄像头、Project Aria缺乏公开移动SDK、以及USB设备供电对长时间录制的影响。\n\n### 关键要点\n\n- EgoKit发布了七个平台应用（EgoKit-Android、EgoKit-iOS、EgoKit-iPad、EgoKit-Aria、EgoKit-AVP、EgoKit-Quest、EgoKit-PICO），在所有支持设备上提供相同的第一视角记录工作流。\n- 跨平台配件配置完全由低成本现成消费级部件构成，包括两个USB腕部摄像头及支架、头带、USB-C集线器和螺丝，总成本约151美元，无需定制硬件加工。\n- 所有录制内容本地存储，视频保存为MP4/MOV文件（H.264或HEVC编码），元数据和姿态数据保存为纯文本，确保跨平台兼容性。\n- 在XR头显（Meta Quest 3和PICO 4 Ultra）上，EgoKit额外记录6DoF头部姿态和OpenXR标准的每手26关节手部跟踪数据，并与视频流时间对齐。\n- EgoKit-Android通过Camera2 API捕获1920×1080自我视角，通过AndroidUSBCamera库支持最多两个腕部摄像头，使用MediaCodec硬件编码和MediaMuxer合成H.264 MP4。\n- Project Aria因无公开移动SDK，采用完全解耦架构：眼镜以Profile 18录制1408×1408鱼眼VRS（10fps），配对Android手机通过无障碍服务操控官方Aria应用并录制腕部摄像头。\n- iOS 26限制iPhone同时使用内置摄像头和外部USB设备，因此EgoKit-iOS将自我视角和腕部视角分离到iPhone和Android手机或iPad上，通过TCP套接字协调启动。\n- Apple Vision Pro仅支持单个活动USB输入，双摄像头时通过约100Hz软轮询切换输入，导致双腕部摄像头录制帧率低于1fps；原始场景摄像头访问需要企业API授权，当前实现改用内部视图录制。\n- 设备测量显示PICO 4 Ultra自我视角可达1280×960@89.31fps、比特率8.45Mbps，腕部视角1280×720@27.36fps，且支持头部和手部跟踪，是测试头显中实际限制最少的设备。\n- Meta Quest 3自我视角为1280×720@59.42fps，腕部视角1280×720@27.37fps，需要Horizon OS版本低于2.x，通过PassthroughCameraAccess获取原始摄像头访问。\n- 当前方案存在精确时间同步、USB-C集线器不支持供电导致长时间录制受限、消费级腕部支架结构不紧凑且可能遮挡视角等限制。\n- 未来工作包括在EgoKit采集的大规模数据集上验证VLA或世界模型微调、实时数据质量反馈、语音优先交互、鱼眼摄像头与定制紧凑支架、以及支持供电的定制USB-C集线器。"
}